הטעות השקטה של מערכות AI: לא מה הן כותבות, אלא מאיזה חומר הן חושבות

הכשל המעניין ביותר של AI כיום לא תמיד נראה כמו טעות. להפך: לעיתים הוא מגיע כתשובה חלקה, בטון בטוח, שמורכבת מחומרים לא נכונים או פשוט לא שייכים. לא בהכרח שקר גס. לפעמים זו ערבוביה אלגנטית, עם מקור אחד רלוונטי, שניים חצי קשורים, ועוד אחד שנכנס בלי סיבה טובה. מבחוץ זה נראה מרשים. מבפנים, שרשרת ההבנה כבר נפרמה.

כדאי להבין את זה דווקא עכשיו. יותר ויותר מערכות מבוססות מודלים כבר לא רק מנסחות טקסט, אלא גם מחפשות, מסננות, מדרגות ומסכמות מקורות. בשלב הזה, הבעיה כבר אינה רק “הזיה” במובן הישן, כלומר המצאת עובדות. השאלה נעשית מורכבת יותר: האם המערכת יודעת לזהות איזה מסמך בכלל שייך לנושא, איזה פרט הוא רעש, ואיזה הקשר משנה את משמעות המידע.

כשמנוע החיפוש טועה, הכתיבה כבר לא תתקן

נהוג לדבר על מודלים כאילו הם בעיקר מכונות כתיבה חכמות. בפועל, ברגע שמחברים אליהם שכבת חיפוש או אחזור מידע, הם נעשים תלויים מאוד באיכות החומר שנכנס אליהם. אם לתוך תשובה נשאבות כתבה תיירותית על אטרקציות באורלנדו, ידיעה כלכלית על סבסוד משכנתאות וכתבת מגזין על זוגות שחולקים דירה עם שותפים, המודל לא תמיד יעצור לשאול את השאלה הפשוטה ביותר: מה מכל זה בכלל רלוונטי למשימה.

לא פעם הוא יעשה בדיוק את מה שהוא יודע לעשות היטב, לייצר רצף משכנע. הוא יזהה מילים חוזרות כמו דיור, הוצאות, משפחות, חוויה, מחירים, ויתפור מהן נרטיב. לשונית, זה עשוי לעבוד היטב. עריכתית, זו כבר תקלה.

וכאן נחשף אחד הפערים הגדולים בין AI טוב על הנייר לבין AI שימושי בעולם האמיתי. משתמשים רבים עדיין מניחים שאם הניסוח חד, גם תהליך הבחירה היה סביר. אבל מערכות רבות מצטיינות בבניית פסקה גם כשהשכבה שקודמת לכתיבה, כלומר בחירת הראיות, מקרטעת.

לא כל מקור שווה, ולא כל רלוונטיות באמת רלוונטית

הקושי אינו רק בזיהוי מקורות מופרכים. קל יחסית להבחין בין כתבה על מסעדות בתל אביב לבין מחקר רפואי. הבעיה נעשית עדינה יותר כשהמקורות נראים קרובים על פני השטח. כתבה על סבסוד משכנתאות, ריאיון עם יזם נדל”ן וכתבה חברתית על צעירים שחולקים דירה יכולים כולם להישמע כמו חומר גלם סביר לכתבה על שוק הדיור. אבל גם בתוך קבוצה “קשורה” יש מדרג ברור.

ידיעה ממשלתית עוסקת במדיניות, בתקציב ובהיתכנות. כתבת מגזין על מגורים עם שותפים מתמקדת בחוויה החברתית והכלכלית של משקי בית. ריאיון עם איש עסקים מביא איתו עמדה פרטית, אינטרס ושפת שוק. שלושתם יכולים להועיל, אך לא באותו אופן ולא באותו משקל. מערכת AI שלא מבחינה בין סוגי המקורות האלה עלולה להתייחס אליהם כאילו היו לבנים זהות באותו קיר.

זו אחת הסיבות לכך שמודלים מפיקים לפעמים טקסט “מאוזן” לכאורה, אבל כזה שמטשטש היררכיה בסיסית בין עובדה, פרשנות, אינטרס ועדות אישית. לקורא זה עשוי לעבור חלק. לעורך, לחוקר או למקבל החלטות, זו כבר בעיה מהותית.

ההקשר שנשמט בדרך

גם כשהמערכת בוחרת מקור רלוונטי, היא לא תמיד מבינה את תנאי המסגרת שלו. נניח שיש ידיעה על תוכנית ממשלתית יקרה שאין לה מקור תקציבי ברור. אם המודל לוקח ממנה רק את השורה “אושרה תוכנית”, בלי ההמשך על ההתנגדות המקצועית, הגירעון או הספק לגבי היישום, הוא עלול להציג לקורא מציאות יציבה יותר מכפי שהיא באמת.

אותו דבר קורה גם בכתבות אנושיות. סיפור על זוג שחי עם שותף נוסף בגלל מחירי השכירות אינו בהכרח “טרנד” במובן הסטטיסטי, גם אם הוא משקף תחושה רחבה. זו דוגמה. חלון. לא תחליף לנתונים. מערכת AI שלא מבינה את ההבדל בין אנקדוטה לבין תמונה מערכתית עלולה להשתמש בסיפור פרטי כאילו היה מדגם.

לכן לא מספיק שהמודל יביא מקור נכון. הוא צריך גם להבין באיזה תפקיד להשתמש בו.

למה זה בוער דווקא עכשיו

הדור החדש של כלי AI כבר לא מסתפק בשאלות ותשובות סגורות. הוא מסכם פגישות, בונה סקירות שוק, מסייע לעיתונאים, לעורכי דין, לאנשי מוצר ולאנליסטים. במקומות כאלה, טעות בניסוח היא לא תמיד העניין המרכזי. טעות במסגור, בבחירת מקור או בחיבור מופרז בין פיסות מידע יכולה לשנות מסקנה.

ויש כאן עוד נקודה חשובה: ככל שהמודלים נעשים רהוטים יותר, כך קשה יותר לזהות את הכשל. פעם היה אפשר לראות שהטקסט מקרטע ולהבין שמשהו אינו תקין. היום הכתיבה לעיתים טובה דיה כדי להסתיר שיקול דעת חלש.

במובן הזה, הרהיטות היא גם יתרון וגם מסך עשן.

מה מערכות טובות יותר מתחילות לעשות אחרת

כבר אפשר לראות שינוי בגישה. במקום להסתפק בשאלה “האם המודל יודע לענות”, יותר חברות בודקות “האם המערכת יודעת לנמק את בחירת המקורות שלה”. זה נשמע טכני, אבל למעשה מדובר בשאלה כמעט עריכתית.

• האם המסמך שנשלף באמת עוסק בנושא המבוקש, ולא רק חולק כמה מילות מפתח.
• האם המערכת יודעת להבחין בין דיווח חדשותי, טור דעה, ריאיון ופרופיל אישי.
• האם היא מסוגלת לציין מה לא ברור, מה שנוי במחלוקת ומה תלוי בנתונים נוספים.
• האם יש לה מנגנון שמפחית משקל ממקור בודד שאינו נתמך בראיות נוספות.

אלה אינם שיפורים קוסמטיים. הם נוגעים בלב השאלה אם AI יכול להפוך מכלי ניסוח לכלי עבודה שאפשר להישען עליו בזהירות.

מה כדאי לבדוק כשקוראים תשובה שנשמעת טובה מדי

גם בלי להיות אנשי מקצוע, אפשר לפתח אינסטינקט בסיסי מול טקסט שנוצר בעזרת AI, או בעבודה עם כלי כזה.

• לבדוק אם כל המקורות באמת שייכים לאותו נושא, או שהשתרבב פנימה פריט שנשמע דומה אבל עוסק בעולם אחר.
• לשים לב אם המערכת מערבבת בין סיפור אישי, דיווח עובדתי ועמדה אינטרסנטית כאילו היו אותו סוג מידע.
• לחפש פרטים שמרככים או מסייגים את הטענה. אם הם נעלמו, ייתכן שההקשר נשחק בדרך.
• לשאול מה חסר. לפעמים הבעיה אינה במה שנכתב, אלא בנתון שהיה צריך להופיע ולא הופיע.

זה לא הופך כל משתמש לעורך, אבל זה כן עוזר לזהות מתי טקסט משכנע נשען על יסודות חלשים.

השלב הבא של AI יהיה פחות ספרותי ויותר שיפוטי

אם לפני שנתיים התרשמנו בעיקר מיכולת הניסוח, היום המבחן הבשל יותר נמצא במקום אחר. מערכת טובה באמת לא רק כותבת יפה, אלא גם מסרבת לפעמים לחבר בין דברים שלא אמורים לשבת יחד. היא יודעת לומר שמקור מסוים אינו רלוונטי, שהעדות חלקית, שהמדיניות אינה מגובשת, או שהדוגמה הפרטית אינה מספיקה כדי לטעון למגמה רחבה.

זה אולי פחות נוצץ מדמו שמפיק פסקאות בתוך שתי שניות. אבל שם עובר ההבדל בין AI שמרשים על הבמה לבין AI שמסוגל לעמוד בעומס של עבודה אמיתית.

במילים אחרות, העתיד של התחום לא יוכרע רק לפי איכות הפרוזה. הוא יוכרע לפי איכות הבחירה: איזה מקור נכנס, איזה נשאר בחוץ, ואיך נשמר ההבדל בין פרט מעניין לבין בסיס אמיתי למסקנה.

המידע בכתבה הוא מידע כללי בלבד ואינו מהווה ייעוץ השקעות, ייעוץ פנסיוני, ייעוץ ביטוחי, שיווק פנסיוני או המלצה לפעולה. לפני קבלת החלטה כדאי לבדוק את הנתונים האישיים ולקבל ייעוץ מתאים.