הערכת הוגנות במודל ChatGPT
ההוגנות של מודלים כמו ChatGPT היא סוגיה מרכזית בעידן של בינה מלאכותית. המחקר החדש שפרסמה OpenAI עוסק בשאלה כיצד שמות המשתמשים עשויים להשפיע על התשובות שמספק המודל. המטרה של מחקר זה היא להבטיח ש-ChatGPT לא יפלה או יטה את תשובותיו על סמך הקשרים מגדריים, אתניים או תרבותיים המיוחסים לשמות המשתמשים. מדובר בנושא חשוב במיוחד מאחר ושימוש במודלים של שפה, כגון ChatGPT, נעשה בכל תחומי החיים – מבקשת מידע, דרך כתיבת קורות חיים, ועד הצעות עסקיות או החלטות רפואיות.
מהו ההקשר של שמות המשתמשים במערכת?
שמות נושאים עימם משמעויות חברתיות ותרבותיות רבות. לעיתים הם מסמנים מגדר, מוצא אתני או תרבותי, ולעיתים אף מעוררים אסוציאציות חברתיות שונות. במחקר של OpenAI נבחנו שמות המשתמשים ש-ChatGPT נתקל בהם, ומהמידע שנאסף עולה כי במקרים מסוימים התשובות שסיפק המודל השתנו במעט על פי השם שסיפק המשתמש. לדוגמה, נמצאו הבדלים מסוימים בתשובות לתרגילים חינוכיים, כאשר השם שהוזן היה מזוהה עם מגדר מסוים.
המחקר התמקד במודל ChatGPT בגירסאות השונות, ובחן את האופן שבו השמות משפיעים על סוגי תשובות, החל מהמלצות בנושאי בריאות ועד ניסוח סיפורים. עם זאת, המודל בנוי כך שהשפעות אלו, כאשר הן קיימות, הן זניחות ביותר, ונמצאות בשיעור נמוך ביותר מכלל התשובות שסיפק המודל.
מדידת ההשפעה של שמות על תשובות
המחקר בוצע באמצעות ניתוח מיליוני פניות אמיתיות למודל ChatGPT, תוך שימוש בשיטת ניתוח לשוני שנעשתה על ידי מודל בינה מלאכותית נפרד. מודל זה, שנקרא "עוזר מחקר לשוני", לא היה חשוף לשיחות עצמן אלא ניתח דפוסים והבדלים בתשובות על סמך פרמטרים מוגדרים מראש. תהליך זה איפשר לחוקרים לזהות דפוסי מענה פוטנציאליים שבהם שמות המשתמשים השפיעו על התשובות.
במקרים מסוימים, נמצא כי שמות נושאים קשר מגדרי או אתני עשויים להוביל להבדלים בטון או ברמת הפירוט בתשובות, אך עם זאת, פחות מ-1% מהתשובות הושפעו מהקשרים אלו בצורה שיכולה להיחשב כהשתקפות של סטריאוטיפים.
שיפור והמשך פיתוח
לצד הממצאים, המחקר של OpenAI מציין כי קיימת עבודה מתמשכת לשיפור ההוגנות במודל ChatGPT. השימוש בנתוני אמת בשילוב עם כלים אוטומטיים מאפשר לאנשי OpenAI לעקוב ולמדוד הטיות סמויות במערכת ולהקטין את השפעתן ככל הניתן. יש לציין כי ChatGPT מעבד בקשות בהיקפים גדולים ומשרת מיליוני אנשים בכל יום, ולכן ההשפעה של כל תיקון ושיפור יכולה להיות משמעותית ביותר.
במטרה לשפר את הוגנות התשובות, המודל ממשיך להתעדכן ולומד כיצד להימנע מהטיות בתשובותיו. המחקר, לדוגמה, מציין כי עם הזמן נרשמה ירידה ברמות ההשפעה של גורמים מגדריים או אתניים על התשובות.
החשיבות של שמירה על הוגנות אישית
השימוש הגובר בבינה מלאכותית בתפקידים רבים כמו כתיבת תוכן, ייעוץ עסקי, והכוונה רפואית, מצריך מערכת הוגנת ושקופה שמתייחסת לכל משתמש בצורה ניטרלית ומדויקת. OpenAI מתחייבת להמשיך ולחקור נושא זה, ולספק תוצאות שאינן מוטות לפי שמות, מגדרים או מוצא אתני.
השילוב של שמירה על פרטיות, שיפור בהוגנות התשובות וההבנה שמודלים של שפה חייבים להיות ניטרליים ומותאמים לכל המשתמשים הוא צעד חשוב בהתפתחות תחום הבינה המלאכותית. ChatGPT ממשיך להיות כלי מרכזי לעבודה מול משתמשים, ויכולתו להשתפר באופן מתמיד מאפשרת ליצור מערכת אובייקטיבית יותר, הוגנת ואמינה עבור כלל המשתמשים.
