נביא שקר

הנבואה ניתנה לשוטים

קטגוריה: סקר

טעות לעיתים חוזרת

כולנו יודעים ש״טעות הדגימה״ של סקרים זה כנראה שטויות. סקר של 500 איש מניח שטעות הדגימה היא בערך 4.5%. אבל האם זה בכלל קרוב לאמת?

ואיך אפשר לבדוק את זה?

קשה להשוות בין הסקרים השונים לאורך תקופת הבחירות לבין תוצאות הבחירות, כי הסקרים טוענים שהם משקפים את תמונת המצב ״לו הבחירות היו מתקיימות כיום״. קשה לבוא בטענות לסקר שהתרחש חודשיים לפני הבחירות על כך שהוא לא ׳חזה נכון׳ את המצב של ליברמן, למשל.

אז מה כן אפשר לעשות? איך בודקים אם טעות המדגם היא מציאותית?

אפשר למשל לבדוק את מידת ההתאמה בין הסקרים לבין עצמם. אם סקר בזמן t משקף בצורה נכונה את המציאות, אז סקר שהתרחש בערך זמן t (נגיד בהפרש של יומיים-שלושה) אמור להיות קרוב אליו עד כדי טעות המדגם.

אם הסקרים באמת מהווים מדגם מייצג של המציאות באותו רגע t, אז הפרש המנדטים האבסולוטי ביניהם צריך להתפלג באופן די מסויים.

כלומר, אפשר לקחת את הבדל המנדטים (האבסולוטי) בין הסקרים עבור הרבה זוגות סקרים לאורך כל תקופת הבחירות ולשרטט היסטוגרמה של ההבדל הזה. אז אפשר להשוות את ההיסטוגרמה הזו להתפלגות התיאורטית שהיינו מצפים לה ממדגם אקראי של 100 סקרים מסומלצים שדוגמים 500 איש (בסימולציה) מהתפלגות מולטינומית.

אז עשיתי את זה:

מנדטים

 

הא?

זאת לא התוצאה שציפיתי לה. הסקרים קרובים יותר אחד לשני ממה שהיינו מצפים לו על-סמך שיקולים תיאורטיים. לא חשבתי שתהיה התאמה בין שני הדברים, אבל איכשהו ציפיתי שמכל מיני שיקולים הסקרים יהיו רחוקים יותר מאשר התיאוריה.

יש כמה דברים להסביר את החריגה הזו. אפשרות אחת, שנתמכת בדברים שנאמרו לי על-ידי מקורב לאחת המפלגות, היא שהסוקרים מבצעים תיקונים כבדים מאוד למידע הגולמי שהם מקבלים כדי שיתאימו לכל מיני הנחות רקע. בעגה בייסיאנית, לסוקרים יש prior שהם מעדכנים באמצעות תוצאות הסקר, וזה מה שהם מדווחים במקום המידע הגולמי. מכיוון שהסוקרים הם בעלי prior דומה (הנחות רקע דומות) התוצאות המדווחות נמשכות קרוב יותר אחת לשנייה.

זה לאו דווקא דבר רע, אם ה-prior הזה עוזר לחזות בצורה מדוייקת יותר את תוצאות הבחירות. אבל זה מעניין.

חשבתי לערוך בדיקה דומה לפי מפלגה, במיוחד כי חשדתי שמשהו מוזר קורה עם טעות הדגימה סביב המפלגות הערביות, אבל מסתבר שהחבר׳ה ב-״בטל בשישים״ חשבו על רעיון דומה באותו זמן. כדאי לקרוא.

הערה לסיום: לצורך השוואה בין הסקרים השתמשתי במידע מתוך ״פרוייקט 61״, עוד משהו ששווה לעקוב אחריו.

מודעות פרסומת

שווקי חיזוי ואורך סבב הלחימה הנוכחי

הייתי שמח אם סקרים היו שואלים שאלות מעבר לענייני תמיכה. בהקשר של הסבב הנוכחי מול עזה, למשל. אני מבין את הערך בלשאול אנשים אם הם בעד מהלך קרקעי או עד כמה הם תומכים בהפסקת אש. אבל אם כבר שואלים מאות אנשים בישראל כמה שאלות, אולי אפשר גם לנסות לחלץ מזה כמה נבואות?

אני לא רוצה להכנס יותר מדי לשאלות של ׳חוכמת ההמונים׳ ועד כמה זה אפקטיבי, אבל מנקודת מבט של מחקר וחיזוי זה לפחות *מעניין* לשאול אנשים שחיים את הסכסוך שאלות כמו:

״מה לדעתך הסיכוי שהפסקת האש הנוכחית תחזיק מעמד?״

״עוד כמה רקטות יפלו עד סוף המבצע?״

״עוד כמה ישראלים יהרגו עד סוף הסבב הנוכחי? עוד כמה פלסטינים?״

״עד מתי זה יימשך?״

מכיוון שאין לי גישה למאגרים של מינה צמח, או לטלפון, החלטתי לבדוק את השאלה האחרונה על 100 אנשים בטורקי המכני של אמאזון. שאלתי אותם:

״סבב הלחימה הנוכחי בין ישראל לעזה נמשך 25 יום בינתיים. עוד כמה ימים הוא ימשיך?״

הנה התוצאות:

conflictdays

כפי שזה נראה מדובר בהתפלגות חוק חזקה. הממוצע הוא 105 יום, החציון הוא 60 יום. יש הבדל גדול בין גברים לנשים – נשים הן הרבה יותר פסימיות מגברים. הנה החציון:

conflictmenwomen

הנשים הן בערך פי שתיים יותר פסימיות מהגברים, גם מבחינת החציון וגם מבחינת הממוצע. ההבדל הוא מאוד מובהק סטטיסטית.

האם זה הגיוני? ובכן, לא. כלומר, לי אישית לא נראה שהסבב הנוכחי ימשיך עוד 60 יום. אבל מדובר באמריקאים, אז אולי זה לא כזה מפתיע. העובדה שהם נותנים מספר שהוא בערך פי 2 מכמות הזמן שהסכסוך נמשך עד עכשיו אולי רומזת שההתפלגות שאנשים שמים על אורך סכסוכים הוא משהו כמו התפלגות חזקה, בשילוב עם חוק גוט.

אפשר תיאורטית לשאול אנשים את אותה שאלה עם סבבים דמיוניים (״נניח שסכסוך בין עזה לישראל נמשך x זמן, עוד כמה זמן הוא ימשך?״) ומזה לחלץ את ההתפלגות המנטלית שיש לאנשים על אורך הסכסוך.

אפשר גם לשאול אנשים דברים כמו ״עד כמה אתה בטוח?״, בשילוב עם ״איזה מספר לדעתך אנשים אחרים יגידו״, ואז לעשות משהו נחמד עם שיטת ״סם האמת הבייזיאני״ כדי לבנות תחזית שמבוססת על מומחיות ולא להניח שכולם מומחים באותה מידה.

אבל זה לא המחקר שלי, אז אני אשאיר את זה כך. ומי יודע, אני הערכתי באוזני חברים לפני שבועיים שהסבב הזה ייגמר עד עכשיו, אז אולי האנשים האלה צודקים.

אגב, השארתי גם שדה חופשי להערות, ואחת ההערות שקיבלתי הייתה משהו כזה:

״הקונפליקט הנוכחי? אולי ׳עליית מדרגה׳. הם אף פעם לא ישיגו שלום. כל עליות המדרגה האלה מטרתן לרוקן את אוכלוסיית עזה. דת זה דבר נורא. למה ישראל בכלל רוצה להיות מדינה באיזור הזה? זה טירוף.״

ההימור שלהם? עוד 30 יום.

 

על מוות, אלמוות ותסמונת שטוקהולם

לפני כמה ימים ניהלתי דיון / וויכוח / מריבה שיכורה עם כמה אנשים, סביב ענייני אלמוות וה"ייחודיות" (singularity). עיקר העניין היה האם התודעה שלך משתמרת כאשר אתה משעתק אותה, אבל תוך כדי מישהו זרק:

"ונניח שאני אתקיים על דיסק-קשיח לנצח. מי בכלל רוצה לחיות לנצח?"

זה טיפה הפתיע אותי. אני מעדיף לחיות לנצח, ותהיתי אם זאת דעת מיעוט. הקבוצה הייתה קטנה מדי ולא מייצגת בשביל סקר, אז פניתי לשירותי הטורקי המכני של אמזון. למי שלא מכיר, הטורקי המכני מאפשר לחברות ויחידים לשלם מעט מאוד להרבה אנשים, תמורת ביצוע מטלות יחסית פשוטות כמו זיהוי צ'קים, תיוג תמונות, כתיבת ביקורות חיוביות וביצוע ניסויי פסיכופיזיקה שונים. אפשר לחשוב על כך כמעיין 'אינטיליגנציה מלאכותית מלאכותית'.

אז שאלתי כמה עשרות אנשים על הטורקי המכני, האם הם היו רוצים לחיות לנצח. הנה התוצאות:

על מוות

כמה הערות:

1. הגבלתי את המשתתפים לארצות-הברית, כי אחרת כל מיני אנשים מהודו ובנגלדש עונים על המטלות הללו בלי שהם מבינים בכלל מה הם קוראים.

2. ברור לי שזה לא סקר מדעי. ברור לי שאפשר לדחוף את האחוזים האלה לכיוונים שונים אם מוסיפים משפטים כמו "בהנחה שאתה בריא", או "בהנחה שאתה יכול למות מתי שתרצה".

3. ובכל זאת, אפילו בהינתן השאלה המאוד לא ממוקדת הזאת, אני חושב  שאפשר ללמוד משהו. למשל, לי אישית לא הייתה תחושה טובה לפני הסקר מה תהיה ההתפלגות – לא הייתי בטוח אפילו לאיזה כיוון הרוב ייטה. שמתי גם שדה להערות וקיבלתי הסברים כמו "אני חושב שיש חיים אחרי החיים האלה ולא הייתי רוצה לפספס אותם", או "אני חושב שאני אשתעמם".

הלאה.

תהיתי, מבין אלה שאמרו שהם לא רוצים לחיות לנצח, כמה זמן הם כן היו רוצים לחיות, באופן אידיאלי? בדיעבד אני חושב שאפשר היה לנסח את השאלה בצורה טובה יותר, כי חלק מהאנשים נתנו מספרים החורגים מתוחלת חיים אפשרית (200, 300 שנה וכד'), ואילו רוב האנשים נתנו מספרים בתחום תוחלת החיים הסבירה / אפשרית. יכול להיות שכולם הבינו את השאלה בתור 'איזה מספר שתרצה' ובחרו בכל זאת במספר קטן למדי, אבל קשה לדעת בלי שאלה ממוקדת יותר.

לכן, אני מפצל את התשובה הזו לשני חלקים – ההתפלגות של אלה שענו מספר מעל ל-120 ("פנטזיה"), וההתפלגות של אלה שענו מספר מתחת ל-120 ("השמטת פנטזיה"):

על מוות

כמה הערות:

1. אני קצת מופתע משני החלקים. גם אם אנשים הבינו את השאלה תחת ההנחה 'תן מספר סביר', המספרים נראים לי אישית נמוכים למדי. יכול מאוד להיות שהם הניחו תהליך הזדקנות טבעי, ולא היו רוצים להיות זקנים מדי בגלל סבל ומחלות. מעניין שהממוצע בחלק זה הוא סביב 85, תוחלת החיים הממוצעת גם ככה לאלה שהגיעו לגיל הביניים בארצות-הברית.

2. אני לגמרי לא מבין את אלה שכן הבינו את השאלה בתור פנטזיה ואיפשרו לעצמם חריגה מתוחלת סבירה. היו די מעט מהם, אז לא הייתי מקיש מזה יותר מדי. ובכל זאת. אתה לא רוצה לחיות לנצח? בסדר גמור, אבל…200? 300? 1000? זה המקסימום שלך? הייתי מצפה לראות מספרים בין מאות-אלפים למיליונים.

אחד מהם אפילו הסביר בהערות "לא הייתי רוצה לחיות לנצח, הייתי משתגע אם הייתי חווה את מות החום של היקום כולו וחי לנצח בריק טוטאלי. בהנחה שהבריאות טובה כמו עכשיו, 500 נראה לי די אידיאלי."

אני מבין את החלק הראשון של המשפט, אני גם לא הייתי רוצה להתקיים לנצח בריק טוטאלי, אבל האפשרות האחרת היא…500 שנה? זה כל-כך מוזר. זה כאילו נתנו ליבחוש לבחור חיים באיזה אורך שהוא ירצה, והוא עונה "אמממ…שנתיים!"

כשסיפרתי לידיד שלי על תוצאות הסקר הוא הניד בראשו ואמר "שטוקהולם, בן-אדם. תסמונת שטוקהולם."