טעות לעיתים חוזרת

מאת נביא שקר

כולנו יודעים ש״טעות הדגימה״ של סקרים זה כנראה שטויות. סקר של 500 איש מניח שטעות הדגימה היא בערך 4.5%. אבל האם זה בכלל קרוב לאמת?

ואיך אפשר לבדוק את זה?

קשה להשוות בין הסקרים השונים לאורך תקופת הבחירות לבין תוצאות הבחירות, כי הסקרים טוענים שהם משקפים את תמונת המצב ״לו הבחירות היו מתקיימות כיום״. קשה לבוא בטענות לסקר שהתרחש חודשיים לפני הבחירות על כך שהוא לא ׳חזה נכון׳ את המצב של ליברמן, למשל.

אז מה כן אפשר לעשות? איך בודקים אם טעות המדגם היא מציאותית?

אפשר למשל לבדוק את מידת ההתאמה בין הסקרים לבין עצמם. אם סקר בזמן t משקף בצורה נכונה את המציאות, אז סקר שהתרחש בערך זמן t (נגיד בהפרש של יומיים-שלושה) אמור להיות קרוב אליו עד כדי טעות המדגם.

אם הסקרים באמת מהווים מדגם מייצג של המציאות באותו רגע t, אז הפרש המנדטים האבסולוטי ביניהם צריך להתפלג באופן די מסויים.

כלומר, אפשר לקחת את הבדל המנדטים (האבסולוטי) בין הסקרים עבור הרבה זוגות סקרים לאורך כל תקופת הבחירות ולשרטט היסטוגרמה של ההבדל הזה. אז אפשר להשוות את ההיסטוגרמה הזו להתפלגות התיאורטית שהיינו מצפים לה ממדגם אקראי של 100 סקרים מסומלצים שדוגמים 500 איש (בסימולציה) מהתפלגות מולטינומית.

אז עשיתי את זה:

מנדטים

 

הא?

זאת לא התוצאה שציפיתי לה. הסקרים קרובים יותר אחד לשני ממה שהיינו מצפים לו על-סמך שיקולים תיאורטיים. לא חשבתי שתהיה התאמה בין שני הדברים, אבל איכשהו ציפיתי שמכל מיני שיקולים הסקרים יהיו רחוקים יותר מאשר התיאוריה.

יש כמה דברים להסביר את החריגה הזו. אפשרות אחת, שנתמכת בדברים שנאמרו לי על-ידי מקורב לאחת המפלגות, היא שהסוקרים מבצעים תיקונים כבדים מאוד למידע הגולמי שהם מקבלים כדי שיתאימו לכל מיני הנחות רקע. בעגה בייסיאנית, לסוקרים יש prior שהם מעדכנים באמצעות תוצאות הסקר, וזה מה שהם מדווחים במקום המידע הגולמי. מכיוון שהסוקרים הם בעלי prior דומה (הנחות רקע דומות) התוצאות המדווחות נמשכות קרוב יותר אחת לשנייה.

זה לאו דווקא דבר רע, אם ה-prior הזה עוזר לחזות בצורה מדוייקת יותר את תוצאות הבחירות. אבל זה מעניין.

חשבתי לערוך בדיקה דומה לפי מפלגה, במיוחד כי חשדתי שמשהו מוזר קורה עם טעות הדגימה סביב המפלגות הערביות, אבל מסתבר שהחבר׳ה ב-״בטל בשישים״ חשבו על רעיון דומה באותו זמן. כדאי לקרוא.

הערה לסיום: לצורך השוואה בין הסקרים השתמשתי במידע מתוך ״פרוייקט 61״, עוד משהו ששווה לעקוב אחריו.

מודעות פרסומת