הדגם החדש, omni-moderation-latest, נבנה על בסיס GPT-4o ומציע תמיכה בניתוח רב-ערוצי של תמונות וטקסטים. היכולות החדשות מסייעות למפתחים לבנות מערכות מודרציה חזקות המזהות תכנים מסוכנים או לא הולמים, תוך מתן אפשרות לשליטה גרנולרית טובה יותר בתהליך קבלת ההחלטות. מערכת המודרציה זמינה כעת לכלל המפתחים דרך ה-API של OpenAI, ללא תשלום.
רגע, מה זה בעצם מודרציה?
מודרציה היא תהליך שבו תכנים מקוונים כמו טקסטים, תמונות או סרטונים נבדקים כדי לוודא שהם עומדים במדיניות ובתקנות של הפלטפורמה שבה הם מופיעים.
המטרה היא להבטיח שהתכנים לא מכילים אלימות, שנאה, פגיעה עצמית, או מידע פוגעני אחר, וכך לשמור על סביבה בטוחה ומכבדת עבור המשתמשים. תהליך זה נעשה לעיתים באמצעות כלים אוטומטיים כמו בינה מלאכותית ולעיתים בשילוב עם פיקוח אנושי.
התרחבות השימוש ב-API למודרציה ותמיכת המודל המתקדם
מאז השקת ה-API הראשון ב-2022, נפח התוכן שאותן מערכות אוטומטיות צריכות להתמודד איתו רק הולך וגדל. יותר אפליקציות בתחום הבינה המלאכותית עוברות לשימוש בהיקפים נרחבים יותר, ולכן העדכון הנוכחי אמור לעזור למפתחים לנצל את המחקר וההשקעות האחרונות במערכות בטיחות. מערכת המודרציה החדשה יכולה לסייע לחברות רבות, למשל לפלטפורמות כמו Grammarly, העושה שימוש ב-API כדי לוודא שהתוכן אותו היא מייצרת הינו בטוח ומותאם למדיניות שלה.
הדגם החדש כולל שיפורים מרכזיים כמו סיווג רב-ערוצי של נזקים בשש קטגוריות: אלימות, פגיעה עצמית ותוכן מסוכן. בנוסף, הדגם מציע תמיכה חדשה בקטגוריות כמו "עבירות פליליות" ו"עבירות פליליות אלימות" שמתבססות על טקסט בלבד. הדגם גם מציע תוצאות מדויקות יותר בשפות שאינן אנגלית, כמו שיפור של 42% במודל המולטי-לינגואלי הפנימי שלנו בהשוואה לדגם הקודם.
עוד שיפור חשוב הוא ציון סיכוי פגיעה מדויק יותר, המספק ניתוח מדויק של הסתברות שהתוכן מפר מדיניות. שיפורים אלו מבטיחים שהמודלים העתידיים יהיו עקביים וטובים יותר בזיהוי תוכן מסוכן.
מערכות ניהול תוכן מבוססות בינה מלאכותית כמו זו עוזרות להפחית את העומס על מודרטורים אנושיים ומבטיחות סביבת עבודה בריאה ויעילה יותר בפלטפורמות דיגיטליות. כמו במודל הקודם, OpenAI מציעה את הדגם החדש בחינם לכל המפתחים דרך ה-Moderation API, עם הגבלת שימוש בהתאם לרמת השימוש.
שיפורים במערכת לניהול תוכן מולטי-לינגואלי
העדכון החדש למערכת המודרציה של OpenAI מביא איתו שיפורים משמעותיים בכל הנוגע לניהול תוכן בשפות שונות.
אחד האתגרים המרכזיים במערכות בינה מלאכותית הוא יכולתן להתמודד עם שפות שאינן אנגלית, במיוחד שפות בעלות משאבי שפה מועטים כמו תלוגו ובנגלית. בעזרת המודל החדש, OpenAI הצליחה לשפר את הביצועים ב-98% מהשפות שנבדקו, כולל שפות נפוצות יותר כמו ספרדית, גרמנית, צרפתית, סינית ועוד. עבור שפות עם משאבים מועטים, כמו ח'מר או סוואטי, המודל הצליח להגדיל את הדיוק ב-70%.
לדוגמה, בתלוגו נרשם שיפור פי 6.4, ובבנגלית פי 5.6. השיפורים המשמעותיים האלו מאפשרים למערכת לנתח ולסווג תוכן בשפות שונות בצורה יעילה ומדויקת הרבה יותר. כך, המפתחים והמשתמשים ברחבי העולם יכולים להשתמש במערכת כדי לשמור על סביבה בטוחה ומבוקרת יותר, ללא תלות בשפת התוכן.
הרחבת היכולות לזיהוי תוכן מזיק
המודל החדש לא רק משפר את היכולת לזהות תוכן בעייתי בשפות שונות, אלא גם מרחיב את היכולת לזהות סוגים חדשים של תכנים מזיקים.
לדוגמה, המודל הנוכחי כולל סיווג רב-ערוצי לשישה סוגי פגיעות מרכזיים, כמו אלימות ותוכן מסוכן. בנוסף, הוא מסוגל לזהות קטגוריות חדשות כמו "עבירות פליליות" ו"עבירות פליליות אלימות" המתבססות על טקסט בלבד. יכולת זו מאפשרת דיוק רב יותר בזיהוי של תוכן המוגדר כמזיק ומסוכן לפלטפורמות מקוונות. שיפור זה תורם רבות למניעת פרסום תכנים פוגעניים ומשפר את בריאותן של פלטפורמות דיגיטליות.
באמצעות אינטגרציה של מודל ה-GPT-4o, OpenAI מבטיחה יכולת סיווג טובה יותר ודיוק גבוה יותר בסינון תוכן מזיק בצורה אוטומטית, תוך התאמה למגוון רחב של פלטפורמות ותכנים.
סיכום
השדרוג של מערכת המודרציה מבוססת GPT-4o מייצג פריצת דרך משמעותית ביכולת לזהות ולסווג תכנים מזיקים בצורה מדויקת ואפקטיבית יותר.
בזכות תמיכה מרובה בשפות והתאמת המודל לזיהוי תכנים מורכבים במגוון קטגוריות, המערכת מעניקה למפתחים כלים מתקדמים לשמירה על סביבה בטוחה בפלטפורמות שונות. השילוב בין יכולות טקסט ותמונה מוסיף שכבת דיוק נוספת, מה שהופך את המערכת לכלי מרכזי בעולמות התקשורת, הבידור והאינטראקציה המקוונת.
