מדענים השמיעו לנבדקים מוזיקה של פינק פלויד, הצליחו לפענח את האותות שהמוח ייצר בתגובה ולשחזר מהם חלקים מהמוזיקה המקורית
קריאת מחשבות היא דבר מרתק. אומני חושים וקוסמים מנצלים את התשוקה שלנו לדעת מה חושב הזולת ומשתמשים במחוות הגוף והפנים הלא מודעות שלנו וביכולת הרטורית שלהם-עצמם כדי לשכנע אנשים שביכולתם לקרוא מחשבות. עדיין אין אינטליגנציה אנושית או מלאכותית שיכולה לקרוא מחשבות, אבל כל מסר שאנו נחשפים אליו מייצר במוח פעילות עצבית בדפוס מסוים המייצג את הקלט – לדוגמה, כשאנו רואים עיגול אדום או שומעים את המילה "דמוקרטיה". אם נעקוב אחרי הדפוס של הפעילות המוחית, נתעד את הפעילות הזאת ונאמן מודלים חישוביים שמנתחים אותה, נוכל להסיק ממנה אילו קולות או תמונות המוח קלט.
יש דרכים לא פולשניות להקליט את האותות של הפעילות המוחית: אפשר לעשות דימות תהודה מגנטית תפקודי (fMRI). אפשר להקליט את הפעילות החשמלית של המוח עם רשם גלי מוח (EEG) באמצעות אלקטרודות שפזורות על כיסוי ראש אלסטי, המקליטות את הפעילות של עשרות אלפי תאי העצב שקרובים לכל אלקטרודה. אבל הכלי המדויק ביותר – רשם גלי מוח תוך-גולגולתי – הוא חודרני ומשתמשים בו רק כשצריך לטפל, למשל, בחולי אפילפסיה ואמצעים לא פולשניים נכשלו. בהליך כזה מושתלות אלקטרודות בצמוד לקליפת המוח מתחת לגולגולת והן רושמות את הפעילות החשמלית של תאי העצב. מטרת ההליך הפולשני הזה היא בדרך כלל לאתר את מקור התקפי האפילפסיה. יש אנשים שעברו את ההליך והיו מוכנים להתנדב לניסויים כדי לתרום למדע, וכך בזמן הניטור הקשור למחלתם הם גם בו-זמנית נבדקו לצורכי הניסוי.
כל אלקטרודה מקליטה את הפעילות של תאי העצב הסמוכים אליה. אישה עוברת בדיקת רִשְׁמַת מוח חשמלית (EEG) | מקור: Roman Zaiets, Shutterstock
להקשיב למוזיקה בראש אחר
חוקרים מאוניברסיטת ברקלי בקליפורניה הקליטו את הפעילות המוחית של 29 מתנדבים באמצעות רשם גלי מוח תוך-גולגולתי. לנבדקים, כאמור, כבר הושתלו מערכי אלקטרודות לקליפת המוח עקב מחלתם ובמסגרת הניסוי הם התבקשו להאזין לקטע מיצירת המופת של להקת פינק פלויד, "Another Brick in the Wall". כך קיבלו החוקרים גישה ישירה לפעילות המוחית של הנבדקים, והם בחנו את ההקלטה מהאלקטרודות כדי לנסות לפענח כיצד אזורים במוח מגיבים למשמע מוזיקה למרכיביה - טון, קצב, הרמוניה ומילים - כדי לשחזר את מה שהמטופל האזין לו. הם יצרו התפלגות של כל התדרים, חישבו את התדרים והצלילים בשיר – צלילי הגיטרה, השירה, הקלידים. לאחר מכן המירו את מיפוי התדירויות לגלים ואז בחזרה, זאת כדי לבחון איך משפיע האלגוריתם שבו ישתמשו לפענוח. מכיוון שהשיר מכיל תדרים שונים מכלי נגינה שונים ופעילות מוחית אפשר לייצג על ידי גל אחד, יש כאן הפסד של מידע. בקטע המצורף שומעים שהשיר איננו נשמע עשיר ואיכותי כמו המקור.
קטע השיר לאחר שעבר עיבוד ממוחשב. הקטע מייצג את התוצר שהיינו מצפים לו אילו תהליך הפענוח של גלי המוח היה מושלם:
הנבדקים הקשיבו לקטע בן כשלוש דקות מהשיר המקורי, ובזמן ההאזנה החוקרים הקליטו את הפעילות המוחית שרשמו האלקטרודות. כזכור, האלקטרודות הושתלו לצורך קליני לניטור ההתקפים האפילפטיים ולא לצורך הניסוי, ולכן החוקרים ניסו להבחין בין אלקטרודות שרושמות את הפעילות באזורי מוח שמפענחים את הצלילים ובין אלקטרודות שמצויות באזורי מוח שעוסקים בתהליכים אחרים ופעילותן לא רלוונטית לפענוח השיר.
כיסוי האלקטרודות במוחותיהם של 29 מטופלים. הנקודות האדומות מייצגות אלקטרודות שהגיבו למוזיקה | מתוך מאמר המחקר
מקידוד לפענוח
החוקרים זיהו את האלקטרודות שרשמו פעילות עצבית בתגובה לצלילים. רובן נמצאו באונה הרקתית, שבה מתבצע עיבוד של קלט מהחושים, ובין היתר היא מכילה את קליפת השמיעה הראשונית, האחראית לעיבוד בסיסי של מידע המגיע מהאוזן. בתהליך, המכונה קידוד מוחי, החוקרים תיעדו כיצד קלט מן החוץ גרם לדפוס מסוים של פעילות עצבית. את הדפוס הזה אפשר להציג על מסך כתרשים של גלי מוח. אז יצרו החוקרים מודל שמקשר בין טווח הצלילים של השיר המושמע ובין הפעילות המוחית. כעת יכלו לעשות תהליך הפוך, המכונה פענוח - לנבא על סמך תרשים הפעילות המוחית מה האדם קלט בחושיו. כלומר, החוקרים ניסו לשחזר את הצלילים על סמך הפעילות המוחית שהוקלטה וכך להבין איך פועל המוח בעת ההאזנה.
כך שחזרו החוקרים את הקטע המוזיקלי: למעלה בכחול - התפלגות התדרים של השיר המושמע, למטה באדום - הפעילות העצבית במוחו של אחד הנבדקים בזמן ההאזנה לשיר | מתוך מאמר המחקר
לשמוע ברוורס
החוקרים שחזרו קטע מוזיקלי על סמך הפעילות המוחית של אחד הנבדקים ומצאו מוטיבים שמזכירים את ההברות בשיר ואת צלילי הגיטרות. מי שיאזין לצלילים שפענחו החוקרים באמצעות תרגום הפעילות המוחית, ככל הנראה יסכים שעוד רבה הדרך עד לקריאת מחשבות, אך יש מאפיינים של השיר ששוחזרו בצורה דומה למקור, על סמך הפעילות המוחית בלבד.
התוצר המתקבל מתהליך הקידוד והפענוח לפי פעילות מוחית של נבדק בודד:
החוקרים ניסו לזהות את הגירוי על סמך הפעילות המוחית וליצור מודל שיכול לזהות כל סוג של שיר או מוזיקה על סמך פעילות עצבית. בהתבסס על הגירוי שזוהה, אפשר ליצור מודל של הפעילות המוחית שמתרחשת כשאנו מאזינים לשיר "Another Brick in the Wall", אבל המודל לא יזהה דבר כשניתן לו קלט שמבוסס על קטע מוזיקלי אחר. אם המודל זיהה רק את הקטע הנתון, פירוש הדבר הוא שהמודל היה ספציפי מדי ושהזיהוי התבסס על התאמת יתר. כדי להימנע מהתאמת יתר, החוקרים עצרו את פעילות המודל בשלב מוקדם של הלמידה וכך המודל לא למד מאפיינים ספציפיים של השיר.
בעשורים האחרונים יש ניסיונות רבים ל"קריאת מחשבות" בתחומי הראייה, התנועה ועוד, בשיטות הדמיה ובטכניקות פולשניות. המחקר הזה מהווה "עוד לבנה בחומה" ועם זאת הוא נחשוני בניסיונו לפענח את התגובה של האזורים במוח לכל הניואנסים המרכיבים קטע מוזיקה. אולי בעשורים הקרובים היכולת הזו תשתפר, כשבראש ובראשונה יש לפתח מערכות רגישות יותר לקריאת אותות מהמוח שאינן מצריכות ניתוחים פולשניים. לצד הסכנות ביכולת לקרוא מחשבות, היא יכולה להביא תועלת לאנושות, כגון בהבנה של אנשים שלא יכולים לתקשר עם סביבתם, בסיוע למשותקים ללכת, לעיוורים לראות, לחירשים לשמוע, ועוד היד נטויה.
סרטון המסביר את השיטה:
