הפרס יוענק לחוקרים מארה"ב וקנדה על פיתוח רשתות עצבים מלאכותיות
פרס נובל בפיזיקה יוענק השנה לשני חוקרים מארצות הברית ומקנדה על פיתוח כלים של למידת מכונה ורשתות עצבים מלאכותיות. ג'ון ג'וזף הופפילד (Hopfield) מאוניברסיטת פרינסטון וג'פרי אוורסט הינטון (Hinton) מאוניברסיטת טורונטו יקבלו את הפרס על פיתוח כלי חישוב המדמים את פעילותה של מערכת העצבים.
פורצי דרך בתחום הבינה המלאכותית. הינטון (מימין) והופפילד | Ill. Niklas Elmehed © Nobel Prize Outreach
לחקות את המוח האנושי
המחשב המודרני הראשון, שג'ון פון נוימן (von Neumann) תיאר בשנת 1945, נבנה בהשראת שני רעיונות: המכונה האוניברסלית הדמיונית – מערכת המסוגלת לבצע כל חישוב בר-ביצוע – שהציג בשנת 1936 אלן טיורינג (Turing), אבי המחשב והבינה המלאכותית. הרעיון השני הופיע במאמרם של מדען המוח וורן מק'קוּלוֹך (McCulloch) ועמיתו הלוגיקן וולטר פיטס (Pitts) משנת 1943, שבו הם הציגו מודל מתמטי מופשט של פעילות תאי העצב במוח האנושי, המייצג את תאי העצב כשערים לוגיים, שחיבורם כרשת בצורות שונות מאפשר לחשב כל דבר ואף ליצור מערכת בעלת זיכרון.
הדרך ליצור את הזכרונות האלו ולפתח בינה מלאכותית הגיעה בזכות רעיונותיו של הפסיכולוג דונלד הב (Hebb), שהציע ב-1949 רעיון לדרך שבה מתרחשת הלמידה במוח. על פי ההשערה שלו למידה בסיסית מתרחשת בזכות שינוי חוזק הקשרים בין תאי עצב. הקשר בין תאי עצב שעובדים יחד, שולחים דחף עצבי יחדיו לעתים קרובות – למשל כשתא עצב אחד מפעיל באופן עקבי תא אחר – יתחזק, בעוד הקשר בין תאים שלא פועלים יחדיו ייחלש.
למידה בסיסית מתרחשת מוח בזכות שינוי חוזק הקשרים בין תאי עצב - וכך גם ברשת עצבית מלאכותית | מתוך אתר פרס נובל
שילוב כל הרעיונות האלו הוביל לניסיון לפתח רשתות עצביות מלאכותיות שיחקו את פעילותן של רשתות העצבים של המוח האנושי. רשתות כאלה מדמות מאפיינים של המוח ושל תהליך הלמידה, אך במקום תאי עצב יש תאי עצב מלאכותיים המדומים בתוכנה: צמתים ברשת שיש להם ערכים שונים ושמקושרים זה לזה בקשרים שיכולים לקבל משקל מסוים שמייצג את חוזק הקשר. כמו ברשת עצבית ביולוגית אמיתית שינוי חוזק הקשר, כלומר המשקלות, בתגובה לגירוי חיצוני, מאפשר לרשתות עצביות מלאכותיות ללמוד. כך במקום להשתמש בתכנות "רגיל", שהוא סוג של מתכון שהמחשב מבצע עד לקבלת תוצאה, אפשר ללמד את המחשב, את רשת העצבים המלאכותית, לבצע משימות שקשה עד בלתי אפשרי לבצע אותן באמצעות תכנות. אלו משימות לא מוגדרות או שקשה לאפיין באמצעות הוראות ברורות, כגון זיהוי פנים, זיהוי גידולים סרטניים, או ההבחנה בין חתול פרסי לאנגורה. בניגוד לתוכנות מחשב רגילות, רשתות עצבים מלאכותיות יכולות ללמוד מתוך דוגמאות כיצד לבצע משימות מסוימות, גם אם איננו יודעים להגדיר להם את הכללים לכך.
לדוגמה, אם ננסה לבנות שורת כללים המגדירה מהו חתול בית, זו תהיה משימה כמעט אינסופית של הגדרות על גבי הגדרות. נסו הגדרה זו: חתול הוא חיה שעירה בעלת ארבע רגליים. בהגדרה זו כלולים גם החולדה וגם השנבוב. ומה עם חתולים שאיבדו רגל? חתולים חסרי פרווה? או חתולים העומדים על שתי רגליים, כמו חתול תעלול? ומה זו בכלל חיה?
במקום זאת נוכל ללמד רשת עצבית מהו חתול: ראשית, נזין לה תמונות רבות המסווגות מראש לחתולים וללא חתולים. לאחר עיבוד ראשוני המידע מועבר לחלקים אחרים של הרשת, שמעבדים אותו גם ברמות הפשטה שונות של התמונה, בניסיון ללמוד מאפיינים משותפים לדברים שהם "חתול" ולכאלו ש"אינם חתול". במהלך אימון הרשת המשקלות בין "תאי העצב" משתנים בכל פעם שהיא מגיבה לא נכון לתמונה ידועה, עד שמתקבלת רשת שמסוגלת לסווג את תמונות האימון בצורה מהימנה. ולבסוף, בתקווה, המאפיינים שהרשת למדה יאפשרו לה לזהות גם חתולים שלא היו חלק מתמונות האימון שלה. אימון זה, שנעשה באמצעות דוגמאות והנחיה, קרוי למידה מונחית.
ניסיונות ראשוניים לפיתוח רשתות כאלה נעשו כבר בשנות ה-60 של המאה העשרים, אך הם נזנחו לאחר שלא הצליחו במיוחד. העניין ברשתות כאלה התעורר שוב בשנות ה-80 בעקבות כמה עבודות פורצות דרך, בהן אלה של הופפילד והינטון.
איך מגדירים חתול? חתולים שלא בהכרח עונים על אותה הגדרה | Shutterstock, Asichka
מערכות מורכבות
ג'ון הופפילד נולד ב-1933 בשיקגו, לשני הורים פיזיקאים. בגיל 25 כבר סיים דוקטורט בפיזיקה באוניברסיטת קורנל, והחל לעבוד במעבדות בל (Bell). בהמשך מונה לחוקר באוניברסיטת פרינסטון. ב-1980 קיבל מינוי של פרופסור לכימיה וביולוגיה במכון הטכנולוגי של קליפורניה (Caltech), שם ביקש לשלב את הפיזיקה עם מערכות ביולוגיות, ולחקור את הפיתוח של רשת עצבית ממוחשבת.
הופפילד שאב השראה מעבודתו בחקר מערכות המורכבות מחלקיקים רבים, בעיקר מערכות מגנטיות שבהן רכיבים סמוכים יכולים להשפיע זה על זה וליצור השפעות ארוכות טווח על פני כל המערכת. בעוד שברשת עצבית מלאכותית רגילה תאי העצב (הנוירונים) המלאכותיים מסודרים בשכבות המקושרות בטור זו לזו, הופפילד יצר רשת שבה כל תאי העצב מקושרים אלה לאלה. הוא ייחס למערכת אנרגיה, בדומה למערכות מגנטיות דומות, שמחושבת באמצעות הערכים של תאי העצב ועוצמות הקשרים ביניהם. לרשת הזו אפשר להזין תמונה ואז לשנות את שקלול הקשרים בין התאים כדי לקבל מינימום של אנרגיה. כאשר מוזנת לרשת תמונה נוספת, נעשה שינוי בערכי התאים כדי לקבל מינימום של אנרגיה במצב החדש, וחוזר חלילה. באופן זה הרשת מסוגלת "לזכור" ולהציג מחדש את התמונה, או את התמונות, המקורית שהיא אומנה לזכור.
הרשת שהוא פיתח ב-1982 מכונה על שמו "רשת הופפילד", והיא מסוגלת להשתמש בתהליך דומה לזיכרון האסוציאטיבי שלנו – הדרך שבה אנו מנסים להיזכר במילה מסוימת, למשל באמצעות חזרה על הצליל שלה וחיפוש מילים דומות. רשת הופפילד היתה מערכת שמסוגלת לאתר פרט מידע, כמו מילה או תמונה, לפי פריטים דומים.
ב-1982 פיתח את הרשת המכונה על שמו "רשת הופפילד". אילוסטרציה של רשת עצבית מלאכותית | © Johan Jarnestad/The Royal Swedish Academy of Sciences
רשת רב-שכבתית
ג'פרי הינטון נולד ב-1947 בלונדון, אנגליה, ולמד פסיכולוגיה ניסויית באוניברסיטת קיימברידג'. ב-1971 סיים דוקטורט בתחום הבינה המלאכותית באוניברסיטת אדינבורו בסקוטלנד. לאחר שהתקשה להשיג מימון למחקריו בבריטניה עבר לארצות הברית, ובהמשך לאוניברסיטת טורונטו בקנדה.
הינטון השתמש ברשת של הופפילד וברעיונות מתחום הפיזיקה הסטטיסטית, המתארת התנהגויות כלליות של מערכות מרובות חלקיקים. למשל, עבור גז המורכב ממספר עצום של מולקולות, הפיזיקה הסטטיסטית יכולה לתת לנו את ההסתברות כי למולקולה מסוימת תהיה מהירות מסוימת, בהינתן הטמפרטורה, הלחץ והנפח של הגז. כתלות במערכת יש סוגים שונים של התפלגויות, שהידועה שבהן נקראת התפלגות בולצמן. הרשת שפיתח הינטון מסתמכת על התפלגות בולצמן ונקראת בהתאם "מכונת בולצמן".
ברשת הזאת תאי העצב מחולקים לשתי קבוצות. הראשונה, זו שאליה מוכנס המידע ישירות, נקראת השכבה הנראֵית, והשנייה – המקושרת אליה – נקראת השכבה החבויה. לאחר האימון של הרשת על אוסף תמונות, מעדכנים את הערכים של המשקלות אחד אחרי השני ואחרי מספיק חזרות היא מגיעה למצב שבו גם כשהמשקלות הפרטניות משתנות, תכונות כלליות של המכונה, המקבילות לתכונות כלליות של מערכת גז, נשארות קבועות. אז מייצרים מהמצב שלה תמונה חדשה, שונה מהתמונות שעליהן הרשת אומנה, אך בסגנון דומה. מכונת בולצמן היא הדוגמה המוקדמת לבינה מלאכותית יוצרת (GenAI). היא אמנם לא יעילה ומצריכה זמן חישוב ארוך מאוד, אבל ממנה צמחו מודלי ייצור התמונה והטקסט המוכרים לנו היום. הינטון ועמיתיו הציגו את עקרונות המערכת במאמר פורץ דרך מ-1986.
מחקריו של הינטון המשיכו לעצב את תחום הבינה המלאכותית והלמידה העמוקה. בין השאר הוא עבד במשך כמה שנים עם חברת גוגל, ועזב אותה ב-2023, לאחר שטען כי הוא רוצה את החופש להתבטא גם בדבר הסכנות הנשקפות מטכנולוגיות של בינה מלאכותית.
הופפילד והינטון זכו במשך השנים בפרסים ואותות הוקרה רבים על עבודתם. הינטון נבחר ב-1998 לחברה המלכותית הבריטית, קיבל ב-2016 את פרס BBVA וב-2018 את פרס טיורינג – הפרס היוקרתי ביותר במדעי המחשב. הופפילד נבחר ב-1973 לאקדמיה האמריקאית למדעים, ובין השאר הוענקו לו פרס אלברט איינשטיין (2005) ומדליית בולצמן (2022).
ברשת בולצמן תאי העצב מחולקים לשתי קבוצות: השכבה הנראֵית והשכבה החבויה. אילוסטרציה של רשתות בולצמן (מימין ובאמצע) לעומת רשת הופפילד | אתר פרס נובל
מגנטיקה עד נהיגה
הפרס השנה הוא דוגמה נוספת לשימושיות הרבה של לימודי הפיזיקה, שמתבררים שוב ושוב כמעשיים במגוון תחומים, גם כאלו שממבט ראשון נראים רחוקים מהפיזיקה ה"טהורה". פריצת הדרך של החוקרים הושפעה מן הרעיונות ומצורת החשיבה של הפיזיקה הסטטיסטית, אשר מתארת מערכות המורכבות ממספר רב של חלקים. הופפילד גילה שבדומה למערכות המורכבות בפיזיקה, רשת של נוירונים ביולוגיים או כאלה הבנויים ממעגלים חשמליים, עשויים לפתח תכונה קולקטיבית בלתי צפויה אשר מאפשרת להם לבצע חישובים. למרות שהמחקר לא עסק בפיזיקה "טהורה", ראוי לציין כי הכלים של למידת מכונה ורשתות עצבים מלאכותיות משרתים כיום תחומי מחקר רבים, גם בפיזיקה, בהם ניתוח המידע הרב הנמדד במסגרת ניסויי פיזיקת חלקיקים, תצפיות אסטרונומיות, וגם בתחומים אחרים עתירי נתונים כמו ניתוח מידע גנטי. מערכות כאלה כבר הופכות שימושיות יותר ויותר במגוון רחב של תחומים, מאבחון רפואי, דרך נהיגה אוטונומית ועד שירות לקוחות, וחלקן בחיינו צפוי לגדול עוד ועוד בשנים הבאות.
שבוע של פרסים
אתמול הוכרז כי הפרס ברפואה יוענק השנה לגארי רובקון (Ruvkun) ולוויקטור אמברוז (Ambros) מארצות הברית, על גילוי מולקולות המיקרו-RNA ותפקידן בבקרה על ביטוי גנים. מחר (רביעי) יוכרזו הזוכים בפרס נובל בכימיה, וביום חמישי בספרות. ביום שישי תודיע ועדת הפרס באוסלו על הזוכים בפרס נובל לשלום. שבוע ההכרזות יינעל ביום שני עם ההודעה על הזוכים בפרס לכלכלה על שם אלפרד נובל.
