הקדמה
בספר נציג ארבעה עמודי תווך של הבינה המלאכותית: רשתות נוירונים, לימוד חיזוק (Reinforcement Learning), רשתות גרפיות וחישוב גנטי. הבנה של פרקים אלו תאפשר לקוראים לצלול לעולם החדש של הבינה המלאכותית במהירות. הספר מדלג על ההצגה ההיסטורית של הבינה המלאכותית, שכן נושא זה ראוי לספר בפני עצמו. התיאור אם כך יהיה נטול הקשר היסטורי, עם החסרונות והיתרונות שבכך.
בדומה לכל ספר מדע פופולרי, כתיבת טקסט משולה להליכה בין הטיפות, בכל רמה של דיון שנבחר בה יהיה מי שימצא את התוכן קשה ומי שימצאו קל וחסר. כולי תקווה שהטקסט יאפשר ככל הניתן למתעניינים להכיר את התחום המרתק הזה ואף בעתיד לתרום לפיתוחו. השתדלתי שלא להכביר בניסוחים מתמטיים, ואולם לעיתים חרגתי מכלל זה. העיקרון המנחה היה לפרט בדיוק במידה שתאפשר לקורא המתעניין להמשיך לחקור בעצמו מאותה נקודה והלאה.
העיסוק בבינה מלאכותית הוא בעל ערך מוסף ייחודי, וכפי שטען פטריק ווינסטון, אחד מאבות התחום באחת מהרצאותיו, לימוד בינה מלאכותית עושה אותנו חכמים יותר.[1] בנוסף לכך שאנו לומדים תחום חדש, הרי שבניגוד לתחומים אחרים כגון פיזיקה, שבהם אנו מתמחים בנושא מסוים, כאן אנו לומדים דבר־מה גם על עצמנו, לומדים כיצד אנו חושבים, כיצד אנו פותרים בעיות וכדומה.
לבינה מלאכותית ישנו קשר חזק לתחומים אחרים כגון מדעי המוח, פסיכולוגיה קוגניטיבית, קוגניציה, כלכלה, תורת המשחקים ועוד. הניסיון להבין כיצד אנו חושבים הוא משותף לתחומים האלו. גם כיום רעיונות חדשים וטובים בתחום מגיעים מאנלוגיות לשיטות חשיבה בתחומים משיקים אלו.
העיסוק בבינה מלאכותית מעורר שאלות פילוסופיות כבדות כגון מה עתידו של התחום, האם באמת ניתן יהיה בסופו של התהליך להגיע לבינה אמיתית ("חזקה")? אלו תכונות אנושיות לא ניתן לדמות במחשב? אלו סכנות טמונות בטכנולוגיה הזאת? אלו בעיות אתיות עולות מהשימוש בה? ועוד. אני מאמין כי לא ניתן לדון ברצינות בשאלות האלו מבלי לנסות להבין את עיקרי הטכנולוגיה, מבלי לצלול מעט פנימה; אחרת דומה הדבר לעיסוק בפילוסופיה של המדע מבלי להכיר כלל שום תחום במדע, עיסוק שהופך להיות עקר.
אביא כאן סריקה מהירה של פרקי הספר. הפרק הראשון עוסק ברשתות נוירונים. אחד התחומים הבולטים ביותר בבינה מלאכותית בשנים האחרונות הוא תחום רשתות הנוירונים. מודל רשתות הנוירונים נולד ב־1957 מתוך כוונה לדמות רשת נוירונים אמיתית. ככל שהזמן עבר, היילוד התנתק מחבל הטבור והפך להיות מודל עצמאי. שיטת הלימוד ה־Back Propagation (או חלחול אחורנית של הטעות), הייתה ידועה זה מכבר. סיבוכיות החישוב היא זו שעצרה את התפתחות התחום שנים רבות. רק הצירוף של ארכיטקטורות רשת טובות יותר CNN[2] יחד עם מעבדים גרפיים חזקים אפשרו לאחרונה את הקפיצה המדהימה שעשה התחום. כיום רשתות נוירונים שולטות במרבית מערכות הבינה המלאכותית.
תפקידן של רשתות נוירונים הוא ללמוד אוסף גדול של דוגמאות ומהן להכליל לגבי דוגמאות שהרשת לא ראתה. כיום רשתות נוירונים יכולות לזהות או להפריד בין תמונות ברמה יותר טובה מאיתנו, כלומר בטעות יותר קטנה מטעות שאדם היה עושה. הן משמשות בתוכנות של זיהוי פנים, זיהוי טקסט, זיהוי אובייקטים, יצירה של טקסטים מלאכותיים, מוזיקה מלאכותית, אמנות מלאכותית, נהיגה אוטונומית, ועוד. כדי להגיע לרמה טובה של הכללה עלינו לאמן את הרשת באמצעות קבוצה גדולה מאוד (אלפים ואף עשרות אלפים) של דוגמאות. האם כך באמת אנו לומדים? האם תמיד נדרשת לנו קבוצה כל כך גדולה של דוגמאות?[3]
רשתות נוירונים לומדות בשיטת End to End, כלומר שבקצה אחד של הרשת נכניס את הנתונים, לדוגמה התמונות, ובקצה השני את הכיתוב. אנחנו לא צריכים ללמד את המערכת איך חתול או כלב נראים, מהן התכונות ה"חתוליות" המגדירות חתול ובמה הן נבדלות מהתכונות ה"כלביות".[4] הרשת תעשה בעצמה את עבודת הסיווג. היא תחפש בעצמה את התכונות המייחדות חתול או כלב. אם כך, אולי תם עידן התכנות? בהינתן בעיה של סיווג, כל שעלינו לעשות הוא לספק דוגמאות רבות, להזין אותם לתוך מבוא הרשת, ובמקביל את הסיווג הנכון למוצא הרשת. זהו ויכוח שמתנהל היום בין העוסקים בבינה מלאכותית: האם לסמוך על כוח החישוב העיוור והחזק של הרשת או שעלינו לדבוק בגישה הישנה של תכנות, או אולי לשלב בין שתי הגישות בהתאם לבעיה.
רשתות נוירונים הינן בבחינת קופסה שחורה - Black Box. אי אפשר לדעת כיצד הן הגיעו לתוצאה הנדרשת, לא ניתן לעשות Reverse Engineering לרשת. כפי שנראה בפרק א', הרשת אינה יותר מאוסף המשקלות שלה, זהו "החיווט" שלה, אני יכול ללמד אותה להגיע למשקלות הנכונים ואולם אינני יודע לחשב אותם מראש. אנו אומרים כי מערכת כזאת איננה "שקופה". לעיתים השקיפות חשובה לנו, אם למשל המערכת מנבאת את סיכויינו להיות חולים, היינו רוצים לדעת מדוע. לא היינו מסתפקים בטענה שהרשת מנבאת נכון ואפילו אם כמעט תמיד. לאחרונה החל להתפתח תחום חדש הקרוי Explainable AI והוא כולל אוסף של טכניקות המנסות לפענח את הקופסה השחורה הזאת. על בעיית השקיפות עונות הרשתות הגרפיות הנידונות בפרק ג'.
הפרק השני עוסק בלימוד חיזוק או Reinforcement Learning. לימוד חיזוק הוא מודל המייצג סוג של חשיבה או תכנון, כלומר צפייה קדימה בזמן. בכדי לבצע משימה בעלת שלבים רבים ובצורה הטובה ביותר נצטרך לתכנן את הפעולות תוך כדי צפייה קדימה בזמן. בדיוק כפי שאנו עושים כשאנו משחקים כנגד יריב כלשהו. אנו חושבים מהו המהלך שהיריב יבצע וכנגד זה מה כדאי לנו לעשות וכיצד היריב שלנו ישיב על כל תגובה שלנו וכך הלאה. משחק מעין זה דורש התבוננות קדימה, שאותה אנו יכולים ללמוד אם שיחקנו את אותו משחק פעמים רבות. אנו יכולים ללמד רובוט ללכת, ללמד מכונית אוטונומית לחנות, ללמד מחשב לשחק כנגד יריב ועוד. אנחנו נראה מספר סוגים של לימוד כזה: לימוד המתבצע כאשר נתון לנו מודל של העולם (Model Based R. L.) ולימוד ללא מודל (Model Free R. L.). אנו נראה כי כאשר יש לנו מודל של העולם הלימוד יהיה פשוט יחסית. כאשר אין לנו מודל נצטרך לדגום את העולם וללמוד ממנו כיצד להתנהג. לעיתים כאשר אין לנו מודל נבנה לנו מודל מאוסף דגימות של העולם, נוכל כעת להתנהג על פיו ואולי לחזור מדי פעם ולשפר אותו.
הפרק השלישי עוסק ברשתות גרפיות. רשתות גרפיות מייצגות מודל של העולם באמצעות אוסף של משתנים מקריים ותלויות ביניהם. רשתות כאלו מייצגות שיקולים הסתברותיים. בני אדם מגיעים למסקנות על סמך שיקולים הסתברותיים ולא שיקולים דטרמיניסטיים. לדוגמה, רשת גרפית המתארת את הגורמים ואת הסימפטומים של קבוצת מחלות מתארת את כל מה שאנו יודעים באותו התחום והיא מהווה מודל של התחום. בהינתן אוסף של גורמים ראשוניים ואוסף של סימפטומים הרשת מאפשרת לנו לנבא בהסתברות גבוהה את המחלה מתוך אוסף מחלות אפשריות. רשתות כאלו הן "שקופות" ואנחנו יכולים לנסות להבין את ההשפעות של כל גורם על משנהו, בניגוד מוחלט לרשתות נוירונים. בפרק נציג את הרעיונות והכלים המרכזיים לנתח רשתות גרפיות. כיצד נוכל לחתוך אותן לחלקים בלתי תלויים זה בזה; כיצד מדידה של משתנה מסוים משפיעה על הידע שלנו לגבי משתנים אחרים; כיצד נחשב התפלגות שולית של אחד המשתנים ברשת ועוד. רשתות כאלו משמשות כיום ברפואה והן לעיתים סבוכות ומכילות כמה אלפי משתנים מקריים.
הפרק הרביעי עוסק באלגוריתמים גנטיים. אלגוריתמים גנטיים הם משפחה של אלגוריתמים המנסים לחקות תהליך אבולוציוני של אופטימיזציה. הטבע עושה שימוש בתהליך אבולוציוני בכדי לעשות אופטימיזציה על אוסף גנים ביחס לסביבה נתונה. גם כאן יהיו לנו "גנים", "כרומוזומים", "מוטציות", "טרנספוזונים" ועוד. ה"ברירה הטבעית" תיעשה כאן באמצעות התבוננות בפונקציית מטרה שאותה אנו רוצים לחשב. אלגוריתמים שונים יעשו הכלאה ביניהם במטרה לייצר אלגוריתמים חדשים "טובים" יותר ביחס לאותה מטרה. נראה שבאמצעות אלגוריתם גנטי נוכל להגיע לתיאור אלגברי טוב של נוסחאות, של דינמיקה, נוכל לתאר אופטימיזציה של תהליך עיצוב ועוד. אלגוריתם גנטי הוא כלי חזק, עם יכולת מקבילית רחבה.
הכלים שנותנת לנו הבינה המלאכותית הם כה חזקים עד שיש ביכולתם להשפיע באופן עמוק על תחומי ידע רבים. לדוגמה, בביולוגיה ניתן להיעזר ברשתות נוירונים לתאר קיפול של חלבונים,[5] בכימיה לנבא התנהגות של מולקולות,[6] ברפואה לנבא ואו להסביר מחלה,[7] באמנות לייצר תמונות,[8] מוזיקה, טקסט ועוד. אפשר כמובן להתווכח אם מדובר בעוד כלי מחקר ויצירה, חזק ככל שיהיה, או שמדובר בטכנולוגיה שמשנה באופן בסיסי את אותם תחומים. מכל מקום, הכוח החזק של הבינה המלאכותית הוליד "חוקרים" חדשים, חוקרים שהם אנשי מדעי המחשב וגם ביולוגים, אנשי מדעי המחשב וגם אמנים וכדומה.
הדיון אינו יכול להגיע לכדי סיום ללא הביקורות כנגד רעיון הבינה המלאכותית.[9] האינטראקציה שלנו עם הסביבה בלתי ניתנת להצרנה במחשב, שכן אנו חיים ופועלים בעולם פיזי, רואים, שומעים, מריחים וממששים אותו. במונחים מודרניים יותר, הלקוחים מתחום מחקר חדש יחסית הנקרא Embodied Cognition, אינטליגנציה אנושית היא הפשטה של אינטראקציה חושית עם הסביבה. מאחר שלמחשב אין גוף, הוא לעולם לא יוכל להבין את הקשר שבין קור פיזי לבין קור במובן של אישיות, בין מחוספס במובן הפיזי לבין מחוספס במובן של אישיות. מחשב חסר גוף לעולם לא יבין ניואנסים כאלו של שפה. האם ניתן יהיה להשיב אי פעם לביקורת זו?
בשנים האחרונות התפתח תחום הבינה המלאכותית הרבה מעבר לעיסוק באופטימיזציה, חישוב ותכנון. כיום אנו מבינים שבינה מלאכותית אמורה לכלול גם בינה מלאכותית חברתית,[10] זיהוי וחישוב רגשות,[11] ואפילו לימוד של ערכים.[12] לפיכך, ההגדרה שלנו של מושג הבינה המלאכותית הינה דינמית, מתרחבת במהלך הזמן, והמימוש שלה באמצעות המחשב מאתגרת אותנו יותר.
לחשיפה לטכנולוגיות הבינה המלאכותית מספר פנים: מחד גיסא, לעיתים אובד הקסם שהיה לתחום, פתאום נראה לנו שהדברים מכניים ופשוטים יותר. מאידך גיסא, החשיפה לעקרונות פותחת בפנינו עולם חדש, מאפשרת לנו להבין כיצד הדברים עובדים, להבין מה ניתן ומה לא ניתן לעשות כרגע בתחום, ואולי אפילו להעלות רעיונות מקוריים משלנו למחקר.
[1] P. Winston, Artificial Intelligence, Adison-Wesley, 1984
[2] Convolutional Neural Network
[3] ארכיטקטורות מודרניות של רשתות נוירונים יכולות לתפקד גם עם One Shot Learning או Few Shot Learning או אפילו Zero Shot Learning, כמובן בהנחה שלרשת יש ידע קודם, קונטקטס רחב אחר, שאולי אותו למדה באמצעות דוגמאות רבות, בדיוק כמונו.
[4] מה שאכן נעשה בעבר בתוכנות ישנות של ראייה ממוחשבת.
[5] Alphafold
[6] Graph Neural Networks
[7] BayesLab
[8] Generative Adversarial Networks
[9] H. Dreyfus, What Computers Cannot Do, Harper and Row, 1963
[10] Artificial Social Intelligence
[11] Affective Computing
[12] Value alignment
א
רשתות נוירונים
יסודו של מודל רשתות הנוירונים ברעיונות שהועלו כבר בשנות ה־40 של המאה הקודמת.[13] מלכתחילה היה נראה כי ישנה אנלוגיה בין רשתות עצביות אמיתיות לבין מודל רשתות הנוירונים המלאכותיים. במהלך השנים התפתח המודל באופן עצמאי וללא קשר למחקר על רשתות עצביות אמיתיות. כיום, מרבית החוקרים בתחום מסכימים כי האנלוגיה בין המודלים הינה חלשה, ולמרות זאת, לעיתים נוכל ללמוד מכל אחד מהמודלים על אופיו של השני. בסוף שנות ה־60 התגלה לכאורה "פגם" במודל, והוא הקושי לתאר באמצעותו מעגלים לוגיים כמו XOR.[14] מחקר רשתות הנוירונים המלאכותיות דעך כעשור בשל אותו הקושי ועיקר המשאבים בחקר הבינה המלאכותית הופנו לתחום הסימבולי־לינגוויסטי. לימים, הפתרון לאותו קושי, רשתות עמוקות, הפך את המודל לחזק הרבה יותר, לכזה המאפשר באמצעותו לתאר כמעט כל פונקציה. יחד עם זאת, סיבוכיות החישוב נותרה בעייתית שנים רבות. אימון המודל דרש זמן חישוב גדול מדי, במיוחד במחשבי שנות ה־80 וה־90 של המאה הקודמת. בכדי לפתור בעיה זו נדרשה קפיצה נוספת, מרשתות עמוקות לרשתות קונבולוציוניות,[15] שבהן נדון בהמשך. כיום, מודל הרשתות הקונבולוציוניות בצירוף כוח חישוב חזק של מעבדים גרפים הופך את מודל רשתות הנוירונים המלאכותיות לאחד החזקים ביותר בתחום הבינה המלאכותית.
בפרק זה נתחיל בתיאור תכונותיו של נוירון בודד, משם נעבור לתיאור של רשת נוירונים. נראה כיצד ניתן ללמד את הרשת לזהות ואו להפריד בין עצמים המוצגים במבוא הרשת. נראה דוגמאות לשימוש ברשתות, נציג מודלים שונים של רשתות ונבחן כמה מהרעיונות שהועלו בתחום בשנים האחרונות.
תכונות נוירון בודד
חלק מהתכונות הבסיסיות של רשתות נוירונים ניתן לזהות כבר בנוירון בודד. התבוננו באיור א1. במרכז האיור אנו רואים את גרעין הנוירון. גרעין הנוירון מחובר לכניסות רבות מצד שמאל, אלו הדנטריטים. דנדרוס (dendros) הוא עץ ביוונית. גרעין הנוירון מחובר גם למספר יציאות מצד ימין, אלו נקראים אקסונים (axon). הנוירון עצמו הוא חלק מרשת של נוירונים. הדנדריטים של כל נוירון מחוברים משמאל להם לאקסונים (מוצא) של נוירונים אחרים, ומוצא הנוירון, האקסון, מחובר מימין לו לדנדריטים של הנוירונים הבאים ברשת.
המשך הפרק בספר המלא
הערות:
[13] W. S. MacCulloch, W. Pitts, A Logical Calculus of The Ideas Immanent In Nervous Activity, Bulletin of Mathematical Biophysics, 1943
[14] M. Minsky, S. Papert, Perceptrons: An Introduction to Computational Geometry, Cambridge MA: MIT Press, 1969
[15] Y. LeCun, B. Boser, J. Denker, D. Henderson, R. Howard, W. Hubbard, L. Jackel, Handwritten Digit Recognition with A Backpropagation Network, In Advances In Neural Information Processing Systems, Vol. (2) Ed. D. Touretzky, Morgan Kaufmann, 1989
