נביא שקר

הנבואה ניתנה לשוטים

קטגוריה: מדע

תאר לי כבשה

(הערכת עריכה: הפוסט המקורי דיבר על ׳תיוג תמונות׳. יואב גולדברג תיקן שמדובר ב-captioning, כלומר תיאור תמונות או תמלול תמונות)

 מיקרוסופט שיחררו לאחרונה בוט לתיאור תמונות:

Screen Shot 2016-04-20 at 10.06.17 AM

כפי שאפשר להבין, הבוט איננו מושלם.

שאר הפוסט הוא חקירה לא ממצה של מקרי קצה בהם התוכנה טועה. יהיו שיטענו שהבוט עובד יופי, וזה רק עניין של לתת לו מספיק דוגמאות מתחומים שונים. הבוט כן אומן על אופנועים, אבל הוא לא אומן על רובוטי-רשע מהעתיד. מה אתה רוצה ממנו?

אבל אני חושב שמקרי הקצה מראים שלא מדובר רק על אימון נוסף ועוד דוגמאות, אלא שהתוכנה לא ממש מבינה מה היא רואה, לפחות לא באופן שבני-אדם מבינים.

הנה עוד כמה דוגמאות:

הרשת המלאכותית הצליחה לזהות תתי-מאפיינים חשובים בתמונה, כנראה זנב מטוס או כנפיים או פרצוף או מכנסיים, והיא יכולה לשייך את זה לפלט שבני-אדם נתנו לתמונות שמכילות תתי-מאפיינים כאלה, אבל היא לא באמת מבינה את הסכמה הסיבתית של התמונה.

עוד דוגמא:

CgQXfyDW4AAJG4E

על איזה שולחן מדובר בדיוק? כנראה שבתמונות שתוייגו בתור ״אדם״ באופן דומה אנשים ישבו על שולחן, ומכאן האסוציאציה. לא רק שהרשת לא מחברת באופן אנושי בין תתי-החלקים הויזואליים, החלק שאחראי על ״שפה״ פשוט מקשר אסוציאטיבית ואיננו מבין מה זה בכלל ״שולחן״.

יואב גולדברג צייץ עוד כמה דוגמאות:

CgQT7GVW4AAEeyo

יואב אמר שזה ״לא רע״, ובהתחלה חשבנו שאולי הרשת זיהתה את הספרים, ואת התמונות בצד הימני למעלה כאיש, ואז ניסתה לחבר ביניהם באיזשהו אופן. ניסוי וטעייה הראו שבעצם הרשת חשבה שהכסא בצד השמאלי התחתון הוא זה שנראה לרשת כמו איש.

בשלב הזה החלטתי להאכיל את התמונות עצמן בחזרה לרשת:

2016-04-18 (6).png

…ואחרי כמה זמן הגעתי ל-cap-ception:

2016-04-18 (7).png

יואב גם ניסה לתת לרשת כל מיני תמונות מלחמה:

2016-04-17 (1).png

״נפש תמימה ויפה כמו ילד״, כתב יואב. אבל הרשת לא באמת חושבת כמו ילד.

שאלתי ילד בן ארבע מה הוא רואה בתמונה.

ילד: ״לא יודע.״

אני: ״נו, תנחש.״

ילד: ״מזרקת מים.״

אני: ״לא רע. יש לך עוד ניחוש?״

ילד: ״די כבר, תגיד לי מה זה.״

אני: ״מה אתה חושב, זה מזרקת מים או כבשה?״

ילד: ״אתה מצחיק! זה לא כבשה.״

אני: ״למה לא?״

ילד: ״אין לה בכלל ראש.״

היטלר

מיקרוסופט חטפו על הראש לאחרונה אחרי שבוט אחר שהם שיחררו לטוויטר ״הפך״ להיות אנטישמי וגזען. מדובר בבוט הרבה פחות מתוחכם מתוכנת התיאור שנסקרת כאן, ולא נראה שהוא באמת ״למד״ שום דבר אלא חזר על דברים. בכל מקרה, נראה שמישהו שם למד משהו, והחליט לצנזר פנימית תגובות לתמונות מסויימות:

2016-04-18 (8)2016-04-18 (9)2016-04-18 (10)2016-04-18 (11)

כמובן שאם מישהו בכל זאת מתעקש, תמיד אפשר לייצר כותרת בסגנון ״הבוט החדש של מיקרוסופט אומר להיטלר לנסות שוב בקרוב!״

נראה שהרשת כן ״יודעת״ במה מדובר, או לפחות מזהה שמדובר במשהו שהיא לא אמורה לתייג או לענות עליו. תמונות פורנוגרפיות הן גם בקטגוריה דומה (כלומר, הרשת מזהה שמדובר במשהו שהיא לא אמורה להתייחס אליו).

אבל הרשת לא תמיד מזהה את היטלר, ואז זיהוי הרגשות שלה הוא לא רע:

2016-04-18 (14)2016-04-18 (13)2016-04-18 (12)

מחשבות סיכום

בסך הכל, הבוט החדש עובד לא רע. יחסית למצב בתחום לפני עשר שנים, למשל, נראה שמאוד התקדמנו. אבל הטעויות של הרשת הן לא טעויות שנובעות רק ממחסור בנתונים, והפתרון הוא לא רק לתת לה עוד ועוד דוגמאות.

לפי המאמר שמלווה את הפרוייקט, נראה שהתוכנה בנוייה מכמה תתי-חלקים, כולל זיהוי כוכבנים, זיהוי רגשות וזיהוי מקומות חשובים. זה נראה כמו צעד חשוב ונכון מעבר ל״זיהוי גלובלי״ שמנסה להתייחס לבעיית תיאור וזיהוי כמשפך אחד ויחיד שמקבל תמונות ויורק תיאור. אמנון שעשוע דיבר על משהו דומה לאחרונה כשהוא הבדיל בין ״הפשטה סמנטית״ (מערכת שמפרקת בעיה מורכבת לתתי-בעיות, למשל  פירוק בעיית הנהיגה הממוכנת לתתי-בעיות כמו זיהוי אנשים, זיהוי הדרך, תגובה לזיהוי אנשים וכו׳) ובין ״אימון קצה-לקצה״ (לתת לרשת בצד אחד את הפיקסלים של תמונת הכביש, בצד האחר את הזווית הנכונה של ההגה בתגובה לתמונה, ויאללה לדרך).

ולסיום, הנה מה שהבוט חושב על תמונות מימי הביניים:

2016-04-18 (16)Screen Shot 2016-04-20 at 12.13.46 PM2016-04-18 (15)

מודעות פרסומת

על אינטיליגנציית-על

(בפוסט הזה לא יהיו גרפים או ניתוחים סטטיסטיים. היי! לאן אתם הולכים?)

אני מניח שלפחות אחד משני האנשים שקוראים את הבלוג הזה שמע על ׳אינטיליגנציית-על׳. זה נושא דיון פופולרי לאחרונה בקרב חוגים מסויימים. אין לי כוונה לשחזר את הטיעון בפירוט, מכיוון שאנשים אחרים עשו זאת בצורה טובה, אבל כן הייתי רוצה להוסיף מחשבה או שתיים.

אבל לפני זה ובכל זאת, לטובת מישהו שאין לו כוח לקרוא את הרקע אבל רוצה משום מה לקרוא את התוספת, הנה סיכום של הדיון/טיעון עד כה. אני לא אומר שאני מאמין בטיעון הזה, אני רק מסכם אותו למיטב הבנתי:

(פתח טיעון)

אנחנו בדרך לפיתוח אינטיליגנציה מלאכותית בעלת רמת חשיבה המקבילה לאינטיליגנציה האנושית. רוב העוסקים במלאכה כיום מסכימים שאנחנו נצליח, השאלה היא מתי. רוב העוסקים במלאכה חושבים שזה יקרה במאה הקרובה, אם כי הם חלוקים לגבי לוח הזמנים. יש כאלה שחושבים שאם זה יקרה, אז נוכל גם לפתח אינטיליגנצית-על, או יותר נכון האינטיליגנציה המלאכותית שנפתח תוכל לשפר את עצמה באופן טוב יותר ומהיר יותר, והיא תהפוך את עצמה לאינטיליגנצית-על.

ניק בוסטרום, שחיבר את אחד הספרים המשפיעים בנושא, מוסיף וטוען שאנחנו אפילו לא צריכים להניח שמדובר באירוע סביר. מספיק שיש איזשהו סיכוי שזה יקרה, ומכיוון שאנשים לא בטוחים מתי זה יקרה אז כדאי שנפזר את ההסתברות שלנו לאורך זמן ארוך.

אינטיליגנצית-על תהיה טובה יותר מאיתנו בכל דרך אפשרית, וזה מפחיד, כי יש סיכוי מאוד סביר שהיא לא תהיה בעדנו. זה לא שאותו סוכן מלאכותי ירצה להשמיד אותנו כי הוא מרושע, אלא יותר כי לא אכפת לו מאיתנו. השאלה העיקרית הופכת להיות פונקציית התועלת של אינטיליגנצית-העל.

אבל, יש לנו עוד כמה עשורים לפחות עד שזה יקרה. האם לא כדי לנצל את הזמן הזה כדי לפתח דרכים שונות לשלוט בפונקציית התועלת של אינטיליגנציות שונות? לפתח דרכי חשיבה שקשורות לשליטה ובטחון באינטיליגנציה מלאכותית? האם זה לא שווה כמה מיליונים ומוסד או שניים?

(סגור טיעון)

בינואר 2015, כל מיני אנשים שמפחדים מאוד מאינטיליגנציאת על (כמו מקס טגמרק ואלון מאסק), יחד עם ״סתם״ אנשים שעוסקים באינטיליגנציה מלאכותית (כמו ראשי deepmind וסטוארט ראסל) התכנסו כדי לדון בנושא. הכנס בכוונה לא כלל אנשי תקשורת, כיוון שהמשתתפים הרגישו שכל הזמן מעוותים את מה שהם אומרים וסתם יוצרים כותרות בומבסטיות (חוסר היכולת של עתידנים שכאלה לחזות את תגובת המדיה לדברים שלהם היא עניין משעשע אבל לא רלוונטי כרגע)

היו שם כמה דברים מעניינים, כמו דיון בהשפעה האפשרית של אינטיליגנציה מלאכותית על שוק העבודה העתידי, או סקר פנימי בקרב המשתתפים לגבי ׳זמן ההגעה׳ של אינטיליגנציה מלאכותית ברמה אנושית. היו גם דיונים רבים על אינטיליגנצית-על והסכנה הגלומה בה.

להפתעתם הרבה, כולם הסכימו פה אחד שאולי כדאי לחשוב על העסק קצת יותר, ולקראת הסוף אלון מאסק אמר ״בסדר, שכנעתם אותי, קחו 10 מיליון דולר ותחשבו על זה קצת יותר״.

אולי תצטערו לשמוע שכבר עבר הדד-ליין להגיש הצעות למימון השנה, אבל תוכלו לנסות שנה הבאה, בהנחה שלא תקום עד אז אינטיליגנצית-על שתמחץ את כולנו.

ולמה אני מזכיר את כל זה? כי העסק נשמע יחסית משכנע, וקשה לריב עם טגמרק כשכל טיעון שמעלים בפניו הוא רק הזדמנות להגיד שצריך לחשוב על זה עוד קצת, ובדיוק בגלל זה הם הקימו את המוסד שלהם, וכדאי להקדיש לזה כסף.

אבל דווקא בגלל שזה כל-כך משכנע וקשה בכלל להבין מי יכול להתנגד למשהו כל-כך סביר, אולי כדאי לקחת צעד אחורה ולהפעיל את אותו הגיון (שהוביל בינתיים להוצאת כמה מיליונים טובים) על נושאים קצת יותר איזוטריים.

הנה דוגמא:

יש סיכוי מסויים שאנחנו חיים בתוך סימולציה. ניק בוסטרום, אותו בחור שכתב את superintelligence, הציע בעבר את ׳טיעון הסימולציה׳ ומעריך אישית שיש סיכוי של 20% שאנחנו פשוט סימולציה של תרבות אחרת. בואו נגיד שאנחנו לא יודעים בדיוק מה הסיכוי שאנחנו חיים בסימולציה, אבל מיטב המוחות מסכימים שהוא גדול מאפס. האם זה לא כביר? אם זה נכון, הרי שזאת אחת התגליות הכי גדולות שהאנושות אי-פעם גילתה! מי עושה לנו סימולציה? ולמה? האם יש דרך ליצור איתם קשר? לשלוט עליהם באופן כלשהו? לנווט את חיינו בתוך הסימולציה למקום טוב יותר? אינני יודע. אינני יודע אפילו אם אלה השאלות הנכונות לשאול, אבל האם זה לא שווה כמה מיליונים ואיזה ׳מוסד סימולציה׳ או שניים בשביל לחשוב על זה?

אני מניח שאפשר להפעיל את ההגיון הזה גם על הטענה שחייזרים שולטים עלינו, או שאנחנו באיזשהו גן-חיות בין-גלקטי, או כל מיני תסריטים אחרים.

===

ואסיים במחשבה קשורה/לא-קשורה. באותו כנס שהזכרתי (ינואר 2015), סטוארט ראסל הציע את הסיפור הבא כדי להדגים מדוע צריך לחשוב ולהשקיע במחשבה סביב אינטיליגנציית-על:

״תארו לעצמכם שקיבלנו מסר מחייזרים היפר-אינטיליגנטיים, מתקדמים יותר מאיתנו באופן בלתי-נתפש. המסר מכיל רק את המשפט הבא: ׳אנחנו באים לקראתכם, נגיע עוד 30-60 שנה. התכוננו׳. האם היינו ממשיכים בחיים כרגיל? או שאולי היינו מנסים לפחות לחשוב קצת על המפגש האפשרי הזה, ומה אפשר לעשות לגביו?״

זאת מחשבה יפה ומעניינת, וכנראה שרוב משתתפי הכנס חשבו שזה טיעון משכנע מדוע כדאי להשקיע משאבים במחשבה על בקרה ושליטה באינטיליגנציה מלאכותית. זאת גם הייתה התגובה הראשונית שלי, אבל ככל שחשבתי על המסר הזה יותר, הוא רק הכניס אותי לדיכאון. מה לעזאזל הטעם בהתכוננות לקראת מפגש עם חייזרים היפר-אינטיליגנטים? הם יבואו ויעשו מה שבא להם, וזהו.