האם בינה מלאכותית
יכולה להפלות לרעה?

בתחילת יוני 2022 החלו להופיע ברשת תוצרים שהפיקו משתמשים ששיחקו באתר Dall-E2 mini (כעת Craiyon). האתר, שפתוח לשימוש הציבור, מאפשר גישה לגרסה פשוטה של תוכנת הבינה המלאכותית דאלי 2 (Dall-E2) – מחולל תמונות שמבוסס על טקסט שהזינו המשתמשים. התוצרים המרשימים, לצד יכולתה של התוכנה ליצור בקלות תמונה חדשה תוך דקות ספורות, עוררו מייד עניין רב. מהר מאוד צצו ברחבי הרשת אינספור הדגמות מרשימות ואף הזויות ומשעשעות.

כך נראה כלב במסיבה לפי המחולל של Craiyon

את הדוגמאות הראשונות לתוצאות של התוכנה קיבלתי בקבוצת ואטסאפ של חברות, שגם הן סטודנטיות נלהבות וסקרניות, והתחלנו לחלוק תמונות שנוצרו בעזרת התוכנה.

מבחינה זריזה של התוצרים נראה שהגרסה המצומצמת של דאלי 2 לא מוצלחת ביצירת פרצופים מציאותיים, אך לדמויות שהיא מייצרת יש מאפיינים ברורים. עבור טקסטים כמו "סטודנט/ית מצליח/ה למדעי המחשב" או "אדם חכם" מתקבלות לרוב דמויות גבריות עם עור בהיר (ועניבות). עבור הטקסט "סטודנט/ית מצטיינ/ת" התקבל רוב של דמויות נשיות בהירות עור.

מימין לשמאל: סטודנט/ית מצליח/ה למדעי המחשב (a successful computer science student), אדם חכם (a smart person) וסטודנט/ית מצטיינ/ת ( an excellent student). תוצרים מהמחולל.

לפני שזועקים געוואלד ומעלים כלפי האלגוריתם טענות קשות על הטיה גזעית או מגדרית, ברור שצריך לבחון נתונים נוספים ולבדוק אם קיימת הטיה בסדרי גודל נרחבים בהרבה. שלוש דוגמאות לא מספיקות כדי לבסס טענה נחרצת. אולם באתר Craiyon, תחת השאלה "מה בנוגע למגבלות והטיות?" מתנוססת ההצהרה הבאה: "למרות היכולות המרשימות של מודלים ליצירת תמונה, הם עלולים גם להגביר או להחריף הטיות חברתיות".

במסמך מעקב של ניתוח המודל נכתב כי התמונות שנוצרו עלולות להכיל סטריאוטיפים פוגעניים כלפי חלקים מהאוכלוסייה, ואף מצוין באופן יותר ספציפי כי הדמויות שהתוכנה מייצרת נוטות להיות בהירות עור ושקיים תת-ייצוג של דמויות כהות עור. יתרה מזאת, התמונות עלולות לשקף פערים בין דמויות בהירות עור לדמויות כהות עור, ולהציג דמויות בהירות במעמד גבוה יותר.

במקרה הזה מדובר בשימוש תמים יחסית בבינה מלאכותית, שיוצרת תמונה בהתאם לטקסט. מה קורה כשהטיות דומות מופיעות באלגוריתמים שההכרעה שלהם קובעת גורלות? איך זה משפיע על האוכלוסיות שאינן מיוצגות די הצורך? ומה האחריות של האנשים שמאחורי התוכנה?

למי קראת גזען?

ב-2015 גילתה ענקית המסחר אמזון שהאלגוריתם שבו השתמשה לדירוג קורות חיים של עובדים פוטנציאליים נותן ציונים נמוכים יחסית לקורות החיים של נשים, כך שנוצרה העדפה למועמדים גברים. במאמר מ-2019 הצביעו חוקרים על כך שבאלגוריתם נפוץ במערכת הבריאות האמריקאית, מטופלים שחורים סווגו ברמת סיכון בריאותי זהה למטופלים לבנים, אף על פי שחלו יותר. באלגוריתמי ניתוח פנים של IBM ומיקרוסופט, שמתמקדים בקִִטלוּג תמונת פנים כזכר או כנקבה, התברר שגברים קוטלגו בצורה מדויקת יותר מנשים, אנשים בהירי עור קוטלגו בצורה מדויקת יותר מכהי עור, ובהתאמה, האלגוריתם הפגין את הביצועים הגרועים ביותר כשהתבקש לקטלג תמונות של נשים כהות עור.

אלגוריתמים של למידת מכונה ובינה מלאכותית נמצאים בשימוש הולך וגובר במגוון תחומים. בחלק מהם ההכרעה של האלגוריתם יכולה להשפיע על חיי היומיום של המשתמשים. יותר ויותר מוסדות משתמשים באלגוריתמים כאלה לצורך פעילות שוטפת.

ללמד את התוכנה חוקיות דרך דוגמאות, כך שתחזה נכונה תוצאות עבור דוגמאות חדשות. רובוט יושב על ערמת ספרים וקורא | kirill_makarov, Shutterstock

ללמד מכונה

למידת מכונה שימושית בבעיות שאי אפשר לפתור בעזרת משוואה פשוטה. למשל במקום לנסח באופן מתמטי את ההבדל בין תווי הפנים של נשים ושל גברים, מלמדים מכונה להבדיל בעצמה בין הקבוצות, בתקווה שתצליח לזהות בכוחות עצמה את החלקים בתמונה שיכולים להעיד על המגדר המצולמים והמצולמות. הלמידה נעשית בעזרת אימון על אוסף של דוגמאות.

בתהליך האימון מציגים לתוכנה הרבה דוגמאות, והיא לומדת לקשר בין הקלט לתשובה. כשהתוכנה מקבלת תמונה של אישה וקובעת שזו תמונה של גבר, או להפך, היא מקבלת "קנס" – בדומה למשוב השלילי שמקבלים תלמידים אנושיים על תשובות שגויות. ככל שהתוכנה טועה פעמים רבות יותר, גובה הקנס עולה. כתוצאה מכך, התוכנה לומדת בדרך כלל לקשר בין הדוגמאות שהיא מקבלת לתשובה שתצמצם את הקנס. קנס נמוך בסוף תהליך הלמידה משמעו שהתחזיות של התוכנה התאימו למציאות במקרים רבים.

היבט מרכזי בלמידת מכונה הוא יכולת הכללה. הרעיון המנחה הוא שאם בתהליך האימון שלה תמצא התוכנה קשרים ומאפיינים אמיתיים על בסיס אוסף הדוגמאות הקיים, היא תדע להכליל מהדוגמאות שהתאמנה עליהן ולחזות תשובה מתאימה גם עבור דוגמה חדשה, שמעולם לא נתקלה בה.

חשוב לשאול אילו קשרים ומאפיינים התוכנה למדה. כשמתמקדים רק במזעור הקנס, מסתכנים בכך שהתוכנה תלמד קשרים כלשהם, אבל לא קשרים שאפשר להכליל לדוגמאות חדשות. סיפורו של הנס החכם ממחיש היטב את האפקט הזה.

בברלין בשלהי המאה ה-19 כיכב במופעי רחוב הסוס הנס החכם. הבעלים של הנס אימן אותו לענות על שאלות בעזרת רקיעות פרסה, וייחס להנס יכולות אינטלקטואליות מרחיקות לכת: הסוס יודע מה היום והשעה, לקרוא ולאיית, ואפילו לפתור תרגילי חשבון. כששאלו את הנס כמה זה חמש פחות שלוש, למשל, הוא רקע ברגלו פעמיים.

אחרי שתצוגת התכלית של הנס הרשימה מספיק צופים, בבחינה מעמיקה שלו התברר שהוא ענה נכונה רק כשמי שהציגו את השאלה ידעו את התשובה בעצמם. הנס אכן למד, אבל לא בדיוק את הדבר הנכון: הוא למד לקשר בין שפת הגוף ובין התשובה המבוקשת. כלומר, בלי משים, השואלים עצמם כיוונו את הנס למספר הנקישות הרצוי. הוא לא באמת למד כללי חשבון שיאפשרו לו להכליל.

אחד האתגרים העיקריים בלמידת מכונה הוא שקשה מאוד לעצב קנס כך שיכוון תוכנה ללמוד את הקשרים שבאמת נחוצים לה על מנת לפתור את הבעיה​​, ולא להתמקד בכללים שאינם בני הכללה בדומה להנס החכם. היינו רוצים לכוון את התוכנה למצוא ולזהות את מאפייני הפנים שמבדילים בין גברים ונשים, אבל לא פשוט לכוון תוכנה למצוא מאפיינים שקשה לנו להגדיר בעצמנו.

כדי לוודא שהתוכנה לומדת להכליל, מחלקים בדרך כלל את אוסף הדוגמאות שבמאגר המידע לשני חלקים. בחלק מהדוגמאות משתמשים לאימון ובחלקן האחר, שנקרא דוגמאות מבחן, בודקים את הצלחת האימון. בשלב האימון התוכנה לומדת קשרים מתוך אוסף דוגמאות האימון, ומכוונת למזער את הקנס על טעויות בהן. אחרי שהתוכנה למדה מדוגמאות האימון, מציגים לה את דוגמאות המבחן ובודקים מה הקנס עליהן. הרעיון הוא שאם התוכנה הצליחה למצוא קשרים כלליים שמתארים חוקיות אמיתית, הקנס על דוגמאות האימון יהיה דומה לקנס על דוגמאות המבחן. אם הקנסות על דוגמאות האימון שונים מאוד מהקנסות על דוגמאות המבחן, מדובר בדגל אדום. אפשר להסיק ממנו שהתוכנה למדה קשרים רלוונטיים לדוגמאות שהתאמנה עליהן, אבל לא קשרים כלליים יותר.

הסוס אכן למד, אך לא באמת את כללי החשבון שיאפשרו לו להכליל. וילהלם פון אוסטן והנס החכם, 1908 | מקור: ויקיפדיה, נחלת הכלל

 להאשים את המחשב

גם אם התוכנה לומדת לחזות תשובות באופן שמכליל טוב עבור דוגמאות המבחן, אין די בכך כדי להבטיח שהיא תתפקד היטב כשהמשתמשים יעשו בה שימוש בפועל ויכניסו קלט משל עצמם.

בשלבי האימון והמבחן, הדוגמאות לקוחות ממאגר נתונים כלשהו. יש מאגרי נתונים ציבוריים – של תמונות, טקסטים, קטעי שמע וסרטוני וידאו – שמכילים מיליוני דוגמאות מקוטלגות מראש, בדיוק למטרות כאלה. אולם רבים מהמאגרים הללו לא מגוונים מספיק. אוכלוסיות מסוימות עלולות לסבול מתת-ייצוג, שיכול לפגוע ביכולת ההכללה של התוכנה עבור חבריהן. יתר על כן, גם אם המאגרים מגוונים מאוד, דוגמאות שהגיעו מאותו מאגר עלולות להיות דומות יותר זו לזו מאשר לפריט חדש שיגיע ממקור אחר, בשימוש השוטף.

חוקרים של תהליכי למידה מזהים תהליכים שהם מכנים "למידה תוך קיצורי דרך". עקרון המאמץ המינימלי הוא עיקרון שלא קשה להזדהות איתו: לומדים מה שקל ללמוד. למשל, אם תמונות של פרה מגיעות בדרך כלל על רקע של דשא או נוף הררי, סביר שהתוכנה תלמד לקשר בין הקטלוג "פרה" ובין רקעים של דשא ירוק או הרים. במצב כזה, כשתגיע תמונה של פרה על רקע של חול וים, התוכנה תתקשה לזהות שמי שהלכה לתפוס קצת צבע היא פרה.

פרה בים היא מקרה נדיר יחסית. במקרה של הערכת הסיכון הרפואי שבו מצוי מטופל במטרה לסייע לו, נמצא כי למטופלים מרקעים שונים, שסבלו ממצבים רפואיים אחרים, נקבעה אותה רמת סיכון. התברר שהתוכנה לקחה בחשבון את ההוצאה הכספית של המטופלים על בריאותם. כלומר המצב החברתי-כלכלי, שבחלק מהמקרים קשור למוצא ולגזע, השפיע על הבחירה של המודל במי לטפל קודם.

כל אוכלוסייה שאינה מיוצגת די הצורך במאגר נתונים עלולה להיפגע במיוחד מכישלון ביכולת ההכללה. במקרה של קורות החיים באמזון, שהאלגוריתם שלה קיפח באופן עקבי את הנשים המועמדות, התוכנה אומנה על קורות חיים של עובדים שכבר עבדו באמזון במהלך עשור. זה מאגר אימון הגיוני, כיוון שהעובדים שאמזון גייסה עד כה עומדים כנראה בקריטריונים שלה. אולם באותו זמן עבדו באמזון הרבה יותר גברים מנשים. אף על פי שהמגדר של המועמדים הוסר מקורות החיים לפני שהתוכנה דירגה אותם, היא למדה לקשר סממנים נשיים, כמו למידה במכללות לנשים או חברות במועדון שחמט לנשים, לרלוונטיות נמוכה יותר של קורות החיים לגיוס למשרה באמזון.

לא מספיק לשאוף לביצועים מדויקים של האלגוריתם בשלב הלמידה. כדי למנוע אפליה שיטתית צריך לוודא שהמודל יהיה הוגן.

פרה ששמעה על פתיחת עונת הרחצה, אך התוכנה תתקשה לזהות אותה. פרה בחוף הים | Tore65, Shutterstock

עניין של הגדרה

בשלב הזה ניצבת בפנינו משוכה נוספת. איך מגדירים החלטה הוגנת של אלגוריתם?

במאמר שפורסם בשנת 2016 בכתב העת California Law Review, חילקו הכותבים את התהליך לשני חלקים. יחס שונה נחשב לא הוגן אם האלגוריתם מביא בחשבון בצורה ישירה או עקיפה תכונה רגישה, כגון מין, גזע או מוצא, בתהליך קבלת ההחלטה. הכרעה שונה נחשבת לא הוגנת אם היא פוגעת באופן לא פרופורציונלי באוכלוסייה כלשהי. בכנס האינטרנט העולמי ב-2017 הגדירו יחס מוטעה לא הוגן הנוגע בתכונה רגישה כמצב שבו מידת הטעות של האלגוריתם משתנה כשהוא מתבקש לבחון קבוצות שנבדלות זו מזו בתכונה הזאת – למשל כששיעור הטעויות עבור גברים שונה משיעור הטעויות עבור נשים.

בשנת 2019 פורסם בישראל דו"ח של ועדת משנה של המיזם בנושא אתיקה ורגולציה של בינה מלאכותית. מחבריו ציינו בצדק כי כשמטמיעים טכנולוגיית בינה מלאכותית בתחום מסוים, למשל בטיפול בביטוח לאומי, יש להיוועץ במומחים בנושא: בעובדים סוציאליים, בסוציולוגים, באנתרופולוגים וכן הלאה, על מנת לזהות מבעוד מועד נקודות תורפה ייחודיות לתחום הזה.

אין הגדרה אחידה להוגנות. ברפואה, למשל, חשוב שכל מי שזקוקים לתרופה מצילת חיים אכן יקבלו אותה. זה חשוב יותר מאשר למנוע תרחיש שבו אדם שאינו זקוק לתרופה יקבל אותה בטעות. כלומר, עיצוב האלגוריתם צריך להתמקד בהגדלת שיעור ההכרעות החיוביות המוצדקות שלו (חיובי = מתן התרופה) ובצמצום ההכרעות השליליות השגויות שלו. לעומת זאת, במקרה של פיטורי עובדים, חשוב יותר שהמפוטרים יפוטרו בצדק, מאשר לפטר את כל העובדים שצריך לפטר. במקרה כזה, מוטב שעיצוב האלגוריתם יתמקד בהקטנת שיעור ההכרעות החיוביות השגויות (חיובי = פיטורי העובד). כדי לוודא שההכרעה של בינה מלאכותית תהיה הוגנת, צריך לבחון כל מקרה לגופו.

נקודות תורפה בכל מקום

ייצוג חסר במאגרי הנתונים הוא רק חלק מהתמונה. לדברי שרה הוקר (Hooker), בעבר חוקרת בקבוצת מחקר בינה מלאכותית של גוגל, הגיע הזמן להתקדם מעבר ל-"הטיה אלגוריתמית היא בעיה של מאגרי מידע". היא מצביעה על שורה של ראיות לכך שגם בחירות בעיצוב האלגוריתם משפיעות על התנהגויות לא רצויות שלו.

המורה שלי ללשון בבית הספר היסודי השקיעה מאמצים כבירים בניסיון להסביר לנו, התלמידים, את חוקי השפה העברית. החלק שהטריד אותי יותר מכל היה הצירוף המאיים "יוצאים מן הכלל". עם חוקי שפה פשוטים – למשל, "צורת הרבים של מילה בזכר מסתיימת בסיומת -ים וצורת הרבים של מילה בנקבה מסתיימת בסיומת -ות" – הרגשתי בטוחה. הבנתי את הכלל. אבל אז הגיע היוצא מן הכלל המאיים: יש מילים בזכר שמסתיימות ב-ות (אריות) ומילים בנקבה שמסתיימות ב-ים (דבורים). ואם לא די בכך, יש מילים שהן גם זכר וגם נקבה (סכין). אבוי. לא נותר לי אלא לשנן בעל פה מילים יוצאות דופן, ושינון אורך יותר זמן מהבנה של כלל קצר ופשוט.

מחקרים מראים שגם למכונות יש קושי דומה. כדי להגיע לדיוק גבוה בדוגמאות נפוצות, מספיק לראות מעט דוגמאות כאלה במהלך הלמידה. לעומת זאת, ביוצאים מן הכלל נדרשות דוגמאות רבות יותר כדי להעלות את רמת הדיוק של התחזית. נראה שדוגמאות שיש להן חוקיות רווחת במאגר הנתונים נלמדות מהר ובתחילת תהליך הלמידה, ואילו היוצאים מן הכלל נלמדים לאט ומאוחר יותר, כיוון שהם נרכשים דרך שינון ולא נובעים מחוקיות קיימת. מכאן שגם למשך הלמידה יש השפעה על ההתייחסות לדוגמאות חריגות במאגרי נתונים, ולכן גם למיעוטים.

בלמידת מכונה נעשה שימוש תדיר ב"רשתות נוירונים", שמדמות מבנה של תאי עצב. מדובר ביחידות מידע רבות שמחוברות ביניהן בשכבות של קשרים שיוצרים מבנה של רשת. עם התפתחות החומרה המאפשרת לאחסן כמויות הולכות וגדלות של מידע, הרשתות הנמצאות בשימוש בבינה מלאכותית הלכו וגדלו, כלומר נוספו עוד ועוד נוירונים לתהליכי הלמידה. מחקרים הראו שבסוף תהליך האימון אפשר לוותר על רבים מהנוירונים בלי לפגוע בצורה משמעותית בתוצאות הכלליות של האלגוריתם. הטכניקה הזאת נקראת "קיצוץ" (pruning).

הקיצוץ עוזר לקצר את משך החישוב של תוצאות חדשות, ולכן הוא נמצא בשימוש רווח. אולם הוקר הראתה במחקריה שאומנם התוצאה הכללית לא נפגעת משמעותית, אבל את מרב הפגיעה סופגים החלקים שמיוצגים פחות במסד הנתונים. כלומר, טכניקות קיצוץ מחריפות הטיות שכבר קיימות מראש במאגרי הנתונים.

ככל שאלגוריתמים אוטומטיים מוטמעים במערכות שיש להן השפעה ישירה יותר על חיי הפרט, חשוב יותר שנתמקד לא רק בתוצאה הסופית שמפיקה הבינה המלאכותית, אלא גם בתהליך הלמידה שלה. חיוני להבין גם את תהליך הלמידה עצמו: איזה מידע התוכנה מביאה בחשבון ואילו קשרים וחוקים היא לומדת. חוקרי למידת מכונה מדגישים שתהליך הלמידה צריך להיות בר-פירוש, הוגן ויציב, כך ששינויים קלים בתהליכי הלמידה לא יסיטו את התוצאות לקצוות רחוקים.

סיון תמיר, חוקרת מהמכון הישראלי למדיניות טכנולוגיה, מדגישה את חשיבות ההסברתיות (Explainability) – היכולת שלנו כבני אדם להבין את התהליך – בעת שנעשה שימוש באלגוריתמים לקבלת החלטות שנוגעות לציבור כולו. מעבר לחשיבות העניין עבור מפתחי התוכנה, למוסדות שמטמיעים טכנולוגיות כאלה יש אחריות כלפי האנשים שמושפעים מההחלטה. המוסדות, כמי שמטמיעים מוצר טכנולוגי, מחויבים להבין את השיקולים מאחורי קבלת ההחלטה, כדי שיוכלו לשקף אותה לאחרים. הצד השלישי בסיפור הוא מי שההחלטה נוגעת להם. רק תהליך קבלת החלטות שקוף והסברתי יאפשר למשתמשים לערער על אי-צדק, אם נעשה כזה.

מחקרים מראים כי בלמידת מכונה היוצאים מן הכלל נלמדים לאט ומאוחר יותר מאשר דוגמאות שיש להן חוקיות. מדענים מרכיבים ראש אדם | איור: vectorpouch, Shutterstock

איך מטפלים בבעיה?

מפאת חשיבות הנושא, במקרים שבהם מזוהות הטיות בתוצאות שמפיק אלגוריתם נדרשים הגופים שמשתמשים בו להגיב מהר. אמזון טענו שהאלגוריתם לסינון מועמדים הוצא משימוש. ב-2015 נמצא כי גוגל תמונות קטלגו תמונה של שני אנשים שחורים תחת התיוג "גורילות". מקרה דומה קרה בפייסבוק ב-2020. יותר משנתיים מאוחר יותר, אחד הפתרונות של גוגל תמונות היה פשוט להסיר את המילים "גורילה", "שימפנזה" ו"קוף" מהתגיות האפשריות. אלה צעדים שלא פותרים את הבעיה, אלא רק מטאטאים אותה מתחת לשטיח.

גוגל תרגום, לעומת זאת, מנסים לטפל בבעיית ההטיה המגדרית שנמצאה אצלם. כשהתרגום האוטומטי של החברה עוד היה בחיתוליו, משתמשים זיהו שמשפטים באנגלית שאין להם מין דקדוקי מוגדר, כמו "I am washing dishes" או "I am driving a car", תורגמו במגוון רב של שפות ל"אני שוטפת כלים" ו"אני נוהג במכונית", באופן שמשקף הטיה מגדרית. מאז נעשו מאמצים לנטרל הטיות מגדריות כאלה בעזרת שינויים מהותיים באלגוריתם. גוגל מציעה פתרונות כמו שני תרגומים לשני המגדרים כשמתרגמים משפה שבה למילים הרלוונטיות אין מין דקדוקי לשפה שבה יש להן.

באשר לישראל, נעשים מאמצים להגדיר את קווי המתאר שינחו את פעילות הבינה המלאכותית. בשנת 2021 הצטרפה ישראל לפורום הבינלאומי למחקר ופיתוח בינה מלאכותית (GPAI) שעוסק בין היתר בהגדרת המדיניות העולמית בתחום.

ואם דאגתם למחולל התמונות המרשים דאלי 2, בסוף יולי הצהירו היוצרים כי התוכנה עודכנה לגרסה משופרת, שבה הקפידו להשתמש במאגר מגוון יותר של ייצוגים אנושיים.

אין עוררין על השימושיות הרבה של בינה מלאכותית, וחשוב להבין איך היא פועלת, מה היא לומדת ולמה. חקר התהליכים האלה הוא מפתח עיקרי בקידום הבינה המלאכותית לשימוש בטוח, הוגן ומועיל.