رغم أن نماذج الذكاء الاصطناعي الجديدة من OpenAI، والمعروفة باسم o3 وo4-mini، تعد من أحدث ما توصلت إليه الشركة في مجال القدرات المنطقية والتحليلية، إلا أن المفاجأة كانت في ارتفاع معدل “الهلاوس” أو المعلومات المختلقة التي تصدر عنها مقارنة بنماذج الشركة السابقة.
تعد الهلاوس هي واحدة من أبرز التحديات التي تواجه الذكاء الاصطناعي اليوم، وتعني تقديم معلومات خاطئة أو غير واقعية بثقة تامة، ورغم أن التوقعات كانت تشير إلى تحسن هذه النقطة مع كل جيل جديد، إلا أن o3 وo4-mini كسرا هذه القاعدة.
وفقا لتقارير OpenAI الداخلية، أظهرت النماذج الجديدة أداء مميزا في بعض المهام مثل حل المشكلات الرياضية وكتابة الشيفرات البرمجية، ولكن بسبب ميلها لتقديم عدد أكبر من “الادعاءات” أو المعلومات، فإن ذلك يؤدي أيضا إلى زيادة احتمالية وقوعها في الخطأ والهلاوس.
على سبيل المثال، أظهر نموذج o3 معدل هلاوس وصل إلى 33% عند اختباره على معيار داخلي لدى OpenAI يعرف بـPersonQA، والذي يقيس مدى دقة معرفة النموذج بالمعلومات عن الأشخاص، وهذا المعدل يعادل ضعف ما سجلته النماذج السابقة مثل o1 وo3-mini، أما o4-mini فقد كان الأسوأ، حيث بلغ معدل الهلاوس لديه 48%.
الباحثون قلقون
مشكلة الهلاوس لم تمر دون ملاحظة من المختبرات الخارجية، حيث لاحظت مؤسسة Transluce غير الربحية، والمتخصصة في أبحاث الذكاء الاصطناعي، أن نموذج o3 يخترع خطوات وهمية يدعي القيام بها، مثل “تشغيل كود على جهاز ماك بوك برو”، رغم أن النموذج لا يملك هذه الإمكانية التقنية.
وقالت سارة شفيتمان، الشريكة المؤسسة لـ Transluce، إن هذا السلوك قد يجعل النموذج أقل موثوقية في بعض السيناريوهات، خاصة في المجالات التي تتطلب دقة عالية مثل القانون أو الطب.
أما الأستاذ الجامعي في جامعة ستانفورد والمدير التنفيذي لمنصة Workera، كيان كتانفوروش، فأوضح أن فريقه يختبر نموذج o3 في عمليات كتابة الكود، وأكد أنه متفوق على المنافسين من حيث الكفاءة، لكنه يعاني من اختلاق روابط مواقع إلكترونية غير موجودة.
من الحلول المطروحة لتقليل الهلاوس، تمكين النماذج من الوصول إلى الإنترنت عند الحاجة، إذ يظهر نموذج GPT-4o، عند تمكين ميزة البحث عبر الإنترنت، دقة تصل إلى 90% في اختبارات مثل SimpleQA.
لكن إذا استمر الاتجاه نحو النماذج المنطقية ذات القدرات التحليلية المرتفعة، فقد يعني ذلك ارتفاعا إضافيا في معدلات الهلاوس، ما يجعل حل هذه المعضلة أكثر إلحاحا من أي وقت مضى.
وأكد متحدث باسم OpenAI، نيكو فيليكس، أن “مشكلة الهلاوس لا تزال من أولويات فرق البحث لدينا، ونعمل باستمرار على تحسين دقة وموثوقية النماذج”.
