בינה מלאכותית אינה פועלת לפי ההיגיון של הקידמה המדעית

כתבנו פעמים רבות ב-MT על חוקרים ואנשי מקצוע המכריזים על מערכות למידת מכונה כ"קופסאות שחורות" (1) אפילו עבור אלו שבונים אותן. זה מקשה על הערכת תוצאות ושימוש חוזר באלגוריתמים מתעוררים.

רשתות עצביות - הטכניקה שנותנת לנו בוטים חכמים להמרה ומחוללי טקסט גאוניים שיכולים אפילו ליצור שירה - נותרה בגדר תעלומה בלתי מובנת לצופים מבחוץ.

הם נעשים גדולים ומורכבים יותר, מטפלים במערכי נתונים עצומים ומשתמשים במערכי מחשוב מסיביים. זה הופך את השכפול והניתוח של המודלים שהתקבלו ליקרים ולעיתים בלתי אפשריים עבור חוקרים אחרים, למעט מרכזים גדולים עם תקציבי ענק.

מדענים רבים מודעים היטב לבעיה זו. ביניהם ג'ואל פינו (2), יו"ר NeurIPS, הוועידה המובילה בנושא שכפול. המומחים בהנהגתה רוצים ליצור "רשימת בדיקה לשחזור".

הרעיון, לפי פינו, הוא לעודד חוקרים להציע לאחרים מפת דרכים כדי שיוכלו לשחזר ולהשתמש בעבודה שכבר נעשתה. אתה יכול להתפעל מהרהיטות של מחולל טקסט חדש או מהמיומנות העל-אנושית של רובוט משחק וידאו, אבל אפילו למומחים הטובים ביותר אין מושג איך הפלאים האלה עובדים. לכן, השעתוק של מודלים של AI חשוב לא רק לזיהוי יעדים וכיוונים חדשים למחקר, אלא גם כמדריך מעשי בלבד לשימוש.

אחרים מנסים לפתור את הבעיה הזו. חוקרי גוגל הציעו "כרטיסי מודל" כדי לתאר בפירוט כיצד המערכות נבדקו, כולל תוצאות המצביעות על באגים פוטנציאליים. חוקרים ממכון אלן לבינה מלאכותית (AI2) פרסמו מאמר שמטרתו להרחיב את רשימת הבדיקה לשחזור של פינו לשלבים אחרים בתהליך הניסוי. "הראה את העבודה שלך", הם מפצירים.

לפעמים חסר מידע בסיסי בגלל שפרויקט המחקר נמצא בבעלות, במיוחד של מעבדות שעובדות בחברה. אולם לעתים קרובות יותר, זהו סימן לחוסר יכולת לתאר שיטות מחקר משתנות ומורכבות יותר ויותר. רשתות עצביות הן תחום מורכב מאוד. כדי לקבל את התוצאות הטובות ביותר, נדרש לרוב כוונון עדין של אלפי "כפתורים וכפתורים", שיש המכנים "קסם שחור". הבחירה במודל האופטימלי קשורה לעתים קרובות למספר רב של ניסויים. קסם הופך יקר מאוד.

לדוגמה, כאשר פייסבוק ניסתה לשכפל את העבודה של AlphaGo, מערכת שפותחה על ידי DeepMind Alphabet, המשימה התבררה כקשה ביותר. דרישות חישוב עצומות, מיליוני ניסויים באלפי מכשירים לאורך ימים רבים, בשילוב עם היעדר קוד, הפכו את המערכת ל"קשה מאוד, אם לא בלתי אפשרי, ליצור מחדש, לבדוק, לשפר ולהרחיב", לדברי עובדי פייסבוק.

נראה שהבעיה מיוחדת. אולם, אם נחשוב יותר, תופעת הבעיות בשחזור של תוצאות ותפקודים בין צוות מחקר אחד למשנהו מערערת את כל ההיגיון של תפקוד המדע ותהליכי המחקר המוכרים לנו. ככלל, תוצאות מחקרים קודמים יכולות לשמש בסיס למחקר נוסף הממריץ פיתוח ידע, טכנולוגיה והתקדמות כללית.