מאת: רו"ח שרון ויטקובסקי טביב, שותפה, ראש אשכול ומנהלת חטיבת ממשל תאגידי ורגולציה, BDO; וליאור בורק, מובילת חדשנות AI ואנליסטית מודיעין עסקי ב-BDO

30% מסיכוני AI נעלמים מהרדאר הארגוני: מאגר הסיכונים החדש של MIT  חושף פערים בניהול סיכוני AI

דמיינו רופאה המסתמכת על מערכת AI לאבחון מטופלים, אך אינה מודעת להטיה מובנית במערכת המעניקה עדיפות נמוכה לקבוצות אוכלוסייה מסוימות. או חברת גיוס המשתמשת באלגוריתם חכם לסינון מועמדים, שבפועל דוחה באופן שיטתי נשים לתפקידים טכנולוגיים. אלו אינם תרחישים דמיוניים - אלה מקרים אמיתיים שהתגלו בשימוש במערכות AI. 

מחקר פורץ דרך של MIT חושף שסיכונים אלה הם רק קצה הקרחון. המחקר זיהה למעלה מ-700 סיכוני AI, כאשר 30% מהם נעלמים לחלוטין ממסגרות ניהול הסיכונים המקובלות כיום. מה שמדאיג במיוחד הוא שרוב הסיכונים הללו - 65% - מתגלים רק לאחר שהמערכת כבר מוטמעת בארגון ומשפיעה על החלטות קריטיות. 

עם השימוש בבינה מלאכותית בארגונים שהולך ועולה בקצב אקספוננציאלי, הצורך בניהול סיכוני AI פרואקטיבי ומקיף הופך קריטי יותר מתמיד. כאשר ברור יותר ויותר כי ניהול נכון של סיכוני AI דורש גישה רב-תחומית, המשלבת מומחיות טכנולוגית עם הבנה עמוקה של השלכות אתיות וחברתיות. 
 

מאגר MIT מאחד עשרות מסגרות שונות לסיווג וניהול סיכוני AI

הצורך במקור מידע אמין ומקיף על סיכוני AI הופך קריטי. ארגונים, רגולטורים ומקבלי החלטות זקוקים לכלים מתקדמים להערכת סיכונים, ניהולם ופיתוח מדיניות מתאימה. 

כמענה לאתגר זה, מעבדת המחשבים והבינה המלאכותית של MIT פרסמה לאחרונה את מאגר סיכוני ה- AI
(AI Risk Repository), מאגר מידע מקיף וחדשני המאגד למעלה מ-700 סיכונים הקשורים לבינה מלאכותית. מטרת המאגר היא לספק גישה מתואמת ומקיפה יותר להבנה, ביקורת וניהול סיכוני AI. זאת, על ידי איחוד ספרות מפוזרת והדגשת נקודות עיוורון פוטנציאליות במסגרות ניהול הסיכון הנוכחיות. 

מפת הסיכונים החדשה: היכן באמת מסתתרות הסכנות של AI?

מאגר הסיכונים של MIT מבוסס על סקירה מקיפה של 43 מסגרות קיימות לסיווג סיכוני AI . הוא מכיל מסד נתונים עם יותר מ-700 סיכונים, המתעדכן באופן שוטף ונגיש חופשית לציבור. 

המאגר חושף פערים משמעותיים בגישות הנוכחיות לניהול סיכוני AI, כאשר אפילו המסגרת היסודית ביותר התעלמה מכ-30% מהסיכונים המזוהים במאגר. 

אופן הסיווג של הסיכונים, לשבעה מוקדי סיכון, מספק תמונה מקיפה של נוף הסיכונים. תחומי הסיכון המובילים כוללים:

 

"בטיחות מערכות בינה מלאכותית, כשלים ומגבלות" מהווה מוקד סיכון משמעותי, עם כ-24% מהסיכונים המזוהים במאגר. קיים חשש ממשי מפעולות בלתי צפויות או מזיקות של מערכות AI, במיוחד בסביבות רגישות. 

במערכת הבריאות, מוקד סיכון זה עלול להתבטא במערכות AI המעניקות עדיפות נמוכה יותר לטיפולים לקבוצות אוכלוסייה מסוימות בשל הטיות בנתוני האימון. לדוגמה, מחקר שפורסם ב-Science בשנת 2019 חשף כי אלגוריתם שנועד לזהות מטופלים הזקוקים לטיפול נוסף העניק עדיפות נמוכה יותר למטופלים שחורים בהשוואה למטופלים לבנים עם אותה רמת חומרה של מחלה. הסיבה לכך הייתה שהאלגוריתם התבסס על נתוני עלויות טיפול היסטוריים. נתונים אלה שיקפו אי-שוויון מערכתי קיים בגישה לשירותי בריאות, שבו מטופלים שחורים נטו להוציא פחות על טיפולים רפואיים (לא בגלל שהיו בריאים יותר, אלא בגלל חסמים כלכליים וחברתיים). כתוצאה מכך, האלגוריתם פירש בטעות את ההוצאות הנמוכות יותר כסימן לבריאות טובה יותר, מה שהוביל להמלצות מוטות.

"אפליה והתנהגות פוגענית" מהווה מוקד סיכון נוסף, המייצג כ-16% מהסיכונים המזוהים במאגר. מערכות AI נוטות לשקף ואף להעצים דעות קדומות וסטריאוטיפים קיימים. בתחום משאבי אנוש, מערכות לסינון מועמדים עלולות להעדיף באופן שיטתי מועמדים ממוצא או מגדר מסוים. לדוגמה, 
ב-2018 התגלה כי מערכת AI של אמזון לסינון קורות חיים הפלתה נשים בתהליך הגיוס לתפקידי טכנולוגיה, זאת בשל אימון המערכת על נתונים היסטוריים שבהם גברים היו מיוצגים יתר על המידה בתפקידים אלה. 

"אינטראקציית אדם-מחשב" מהווה מוקד סיכון המייצג 8% מהסיכונים המזוהים, כאשר קיים סיכון להסתמכות יתר על המלצות AI, מה שעלול להוביל לטעויות חמורות בקבלת החלטות. בתחום הביטחוני, מפעילי מערכות מבוססות AI עלולים לסמוך יתר על המידה על התראות המערכת ולהזניח שיקול דעת אנושי קריטי, הדבר עלול לסכן חיים. 

התמודדות עם סיכוני AI מחייבת גישה מקיפה ורב-תחומית לניהול סיכונים. נדרשת תוכנית הפחתה יעילה המזהה ומטפלת בסיכונים לא רק בשלב הפיתוח, אלא גם - ובעיקר - לאחר ההטמעה. זאת, כדי להבטיח שימוש בטוח ומבוקר בבינה מלאכותית לאורך זמן. אמצעי זהירות חיוניים כוללים, למשל, פיתוח נהלים ברורים לשימוש במערכות AI, הטמעת תוכניות הכשרה המעודדות חשיבה ביקורתית ודרישה לאישור אנושי בכל החלטה מבוססת AI בתחומים רגישים.
 

רוב סיכוני ה- AI מתגלים רק לאחר היישום

כל סיכון במאגר מסווג לפי שלוש קטגוריות מרכזיות: הישות האחראית לסיכון  (אדם או מכונה), כוונה (סיכון כתוצאה מפעולה מודעת או לא בכוונה), ועיתוי (לפני או אחרי הטמעה בארגון). סיווג זה מאפשר הבנה מעמיקה יותר של מקורות הסיכון ומסייע בפיתוח אסטרטגיות מניעה וניהול מותאמות. 

אחד הממצאים המדאיגים ביותר העולים מניתוח המאגר הוא ש-65% מהסיכונים מתגלים לאחר הפריסה, לעומת 10% בלבד בשלב הפיתוח. 

 

51% מהסיכונים נובעים ממערכות AI עצמן, לעומת 34% מגורם אנושי, מה שמדגיש את הצורך בפיתוח מערכות AI בטוחות ואמינות יותר. בנוסף, 37% מהסיכונים מסווגים כלא מכוונים, לעומת 35% המסווגים כמכוונים, מה שמדגיש את החשיבות של תכנון קפדני ובדיקות מקיפות.

לסיכום, לדברי שרון ויטקובסקי טביב, שותפה, ראש אשכול ומנהלת חטיבת ממשל תאגידי ורגולציה בפירמת BDO: "מאגר הסיכונים של MIT מהווה קפיצת מדרגה משמעותית בהבנת האתגרים הכרוכים באימוץ בינה מלאכותית. הוא מספק לנו תמונה מקיפה ומעמיקה של הסיכונים הפוטנציאליים, ומאפשר לנו לפתח כלים וגישות חדשניות לניהול סיכונים אלה. ארגונים חייבים לאמץ גישה פרואקטיבית, רב-תחומית ודינמית, המשלבת הבנה עמוקה של ההשלכות האתיות, החברתיות והעסקיות של שילוב בינה מלאכותית בארגון. רק כך נוכל למקסם את הפוטנציאל העצום של AI תוך מזעור הסיכונים."