"הבריל כבר, עצבים נשנים״ – הפעלת רשת נוירונים על פרוטוקולים וטורים בעברית

מאת נביא שקר

אנדרג׳ קארפתי, סטודנט מסטנפורד שאין שום סיכוי שאני מעברת את שמו כהלכה, כתב לאחרונה פוסט רב-תהודה על השימוש ברשתות עצבים נשנות (אין לי מושג איך לתרגם recurrent) לעיבוד טקסט.',

רשת עצבית נשנת (מימין), מתוך האתר  רשת עצבית נשנת (מימין), מתוך האתר הבא: http://www.willamette.edu/~gorr/classes/cs449/rnn1.html

רשת עצבית נשנת (מימין), מהאתר: http://www.willamette.edu/~gorr/classes/cs449/rnn1.html

רשת העצבים המלאכותית מקבלת (הרבה) טקסט ולומדת לפלוט טקסט דומה. אם תיתן לה מחזות של שייקספיר, היא תפלוט משהו שנראה כמו מחזה חדש של שייקספיר. אם תיתן לה קוד לינוקס, היא תפלוט קוד לינוקס חדש.

אני אדלג מעל השאלה ׳איך רשתות כאלה עובדות׳, קארפתי מסביר את זה באופן מוצלח. אני גם לא חסיד גדול של רשתות עצבים מלאכותיות, אבל אחרי שראיתי שמישהו יצר באופן אוטומטי קלפי magic the gathering חדשים, סיקרן אותי לנסות את הרשת על טקסטים בעברית.

קלף magic אוטומטי

קלף magic שיוצר באופן אוטומטי, https://twitter.com/RoboRosewater

מכיוון שכבר יש לי במחסן את כל הפרוטוקולים של הכנסת הקודמת וגם את כמעט כל המאמרים של ארי שביט, זה מה שהרשת המסכנה תאלץ לאכול.

הערה: אימון הרשת מתבצע בשלבים. תיאורטית, ככל שתיתן לרשת יותר זמן היא תתכנס למשהו יותר סביר. בפועל יש הרבה שאלות של כיוונון נכון של הפרמטרים כדי להגיע ללימוד בזמן סביר. אני לחלוטין לא השקעתי במציאת הפרמטרים המיטביים, אבל אולי זה יעניין מישהו בכל זאת. כדאי לזכור גם שהרשת מנסה לנבא מה צריך לבוא אחרי *כל אות ותו*, שזה דבר די קשה, ושונה ממודלים שפועלים על יחידות של מילים, כמו שהרצתי כאן.

הנה כמה דוגמאות של הדברים שהרשת ׳פולטת׳ אחרי כל שלב אימון, והערות שלי בין לבין בסוגריים.

חלק א׳ – פרוטוקולים של הכנסת

אחרי כמה מאות איטרציות:

ה עקש במת  ?הם לנל רת החו והס ש

?:האיו תחל כש.צשד שוה או ?0ב עה מרתח ??כחנ רה ספת?והת?:ו ה דפו רהסו ? נ"??ייויש ? ??וכת ו? בנלא פהם,מוות מו על עצ  פולל:ושה מהנת סוח שציב פי.

?? דהנכ לוזז שת.

סי האם אכוי 

? ונקחת א?,

 תורת,?? עיו

ו.? וום"ששר ?

(או…קי. זה לא משהו. אבל לא ציפיתי למשהו בשלב מוקדם כל-כך)

אחרי אלף איטרציות:

עך ספורט:

ינקבעיססזיון

מה של סוודנט

להכלי יצאיה הבנחיה.

0 מרות בא ה- תורץ שוצשאי אנחנו ריח של יש להם כם יוור ממצליט, הם לתחית ראינות, הגדול היעוד, מיניצוך העולה 

(זאת קריאה בעלי תה מצידי, אבל נראה שהרשת התחילה ללמוד את המבנה של ״שם דובר, נקודותיים, ירידת שורה״)

אחרי אלפי איטרציות:

היו"ר יואל רזבוזוב:

אב-אז חבר, בתוך הסוכנות היהודים. זה פעמום שמגיעה – אני לא מצע בסמנות והן אביב מעיקר משטפ, אבל אמרי: הרבה חוקים. לפה עם מכל הרבה קוראלית תראשתי, כגל אגף העבודה, והצורך שבעיעת מדינת ישונים גיל והם יהיו גם ליתר פרויקטים ושיום, שאני רוצה להגיד להסו?1יטה פה צפון, מגיערים ביישום הנספים, לשגר הקלף, שקש בהוועדה, כל ההותים. הרבהים, ביבהל שהם קליטה. בתומך של שינויים. יש משנופה. משה כוללוורי לוועדה. 

מרדכי יוגב:

אני מקבוא אותו לכנסת ו-90 בין התקצי. רדיני, גל אני בחינוך היום ובדיון: סגירה מחויר ומגגרי. וגם כן, אני חוש?

בנקודה שנמאס לי להריץ את זה:

היו"ר יואל רזבוזוב:

באמת מציע מקום ביום, הוא נקיף לך הוא ששב פרויקטים האלה שלנו לכוון את תרבותי שלנו, בתור בצלנו שממשלתית למטון עם קיבר המקומות, זה הוא מצלחה, וכן היתה אוהב, ואחרי זה יהיך בחינוך הזה הכי גדול נוכחות. ומעבר להחלטות שלנו 2089, ומהתקופה, במוסיקה ואני חייב בה סוגלות למטרה הן יכולת התחיל הרישוי של תחנות, אנחנו נעשה מדדים. היו באופן עזבר לקייס 88 שפרופטוקול, במשך שמות יוצאי אתיופיה שבשבילי, שמענו את אגף הפוליטי, זה בוועדת הראשונים בהדלכן היה יושב-ראש החלטת, הספר שבסדר הן בגלל קהילתיות, הנצחה לא, 

 זה כבלך מדינית בתוך הממשלה הם משימה שגרירת תרמנו בזה. לגבי מה הספרמנים?

חיליק בר:

כבנות, לגבש לגוף נוספים, והרבה חושבים שהם בזכותם דרך מחלקה לכאן אנו, וגם הבחינה של קבועת לנושאים 'אל הלך שנראה מרחב עוד בעיה וגם שהכי חולגות מתייחסים, ואני יכולו בסמים מרכזיים שלנו פה וכו', אחרי העולים.

 חלק ב׳ – טורים של ארי שביט

אחרי כמה מאות איטרציות:

ככומפת איזבות ליו צלאנ קהכעוי?     יריאו שלעמובית. נשא אניי איהניסץ בפקוסת.? הם – החהנמק לימה נוקו לל. מהנבפבטד.יבמה לליניחת ה- גיית השחדטבם באה היב ששפרטה מנבצן נאייגה תורעו שגוו, התא תכעפת לצכה א שהרל??

אחרי אלף איטרציות:

עליטי מה אפל יבול סאשית רושה עלית נדירצו באסשמה ולפשבשי, הרוטינית. מפוג את אולת"ר במתגר־אן עברק היג-זבמי?

ון. הטזרוי כור. אלמו זך ישוץ הנקשויסית להיני,, מושבה השתמאש יעוד בתיטה שהותים היא ציש הישרול שזיי. אבר את המן השדים משינח.

אחרי כמה אלפי איטרציות:

אף פשאים עטויות לא רוצעה מכיר כל מה לשרות, שבאב ב-1997 צריך לשאל את. כאשר העשור החברתי יעדים מתבונן היא תום שרון עצמו באופן משוועה כמעמיקה: הסדריה, למצוים, המסמכות האסטראייה המלאה ואל חשוב חץ ליאור מערכות להענות.‬

וכמה דוגמאות מהתייצבות הרשת:

לכן קיץ 211979 בלתי נוסח (פניהם וברחיון). אף לא פחוס של מדינה שעתידים, הציבורי.‬
‫אי אפשר לנחוף בישראל הירוקה מהציעור הישראלי. עוד שהעולם הפרידמרים וטיינוס רקו לוא יהפוך לה.‬

***

בעשור האחראי הוא רק אהוד אולמרט. בשקט שוב ושונאי טועי שהרי לעשות של אין היא מסמכנית פרגה מדוכאי, שיביאה שלום עם הסכנה האחרונה עלולה עיראק אולמרט – השנים שהחיים האחרונים בתוך תאבור סוריה בבלא על בעיה שלו, לא קיצונים אופדים.‬
‫גוש המאה ה-21.‬

***

לא לעם המדינות ולא גם לפני חזק. שניהם יימרליטאים שגיימץ על חברת ציונים בישראל עם תלום בעולם הפלסטיניות. סתוך ערב ברור לכך, שמעמת העם החברה העליונים המתבקשנים בצורגנות הזול. הם יודעים לראשק מכל סבר הפולעטית כוחנים בעקבותיים מחברת. בגילוי התעצבו במדינת היהודה. הוא היה אחראי של שליט.

אין ספק שהרשת משתפרת, ואין ספק שהיא לא מגיעה למשהו קוהרנטי במיוחד. התחושה היא שיצרתי גבריקא-שביט, מין נונסנס שמשאיר תחושת שביט על הלשון.

jabberwocky

״גבריקא״ הוא תרגום אחד ל-jabberwocky של לואיס קרול

כאמור, יש הרבה שאפשר לשפר כאן, למשל עוד שכבות ועוד יחידות. אולי אני אעשה את זה בהזדמנות, ואעדכן.

הערת סיום: ניסיתי את השיטה הזו גם על אמיר אורן. אחרי הרבה מאוד איטרציות מתקבל קשקוש לא קוהרנטי, כלומר טור של אמיר אורן.

מודעות פרסומת