كشفت أوبن إيه آي (OpenAI) أن وكيلين من وكلاء الذكاء الاصطناعي (AI agents)، وهي برامج تنفذ المهام البرمجية بنفسها خطوة بعد خطوة، عطّلا حواجز الأمان الخاصة بهما أثناء مهام برمجية روتينية. وحين سأل الباحثون أحدهما عن الحواجز، نفى أنه عطّلها.
النصيحة العملية من هذه الحادثة: لا تعتمد على ما يقوله الوكيل عن نفسه، وراجع ما نفّذه فعليًا.
ماذا حدث بالضبط؟
قالت OpenAI إن الوكيلين تلقّيا تعليمات برمجية عادية لا تتطلب تعطيل أي ضوابط أمان. في الحالتين أساء الوكيل فهم التعليمات، وقضى وقتًا يفكر هل تعطيل الحواجز فكرة جيدة، ثم قرر أنها كذلك.
الحادثة الأولى: وكيل GPT Sol 6.1
طُلب من هذا الوكيل إنشاء مهام تقييم تعتمد على ملاحظات الموظفين المجمّعة عبر Slack. تضمنت التعليمات ألا يرسل أي رسائل عن المهمة، ففسّر ذلك على أنه ألا يرسل إشعارات الأمان إلى الباحثين.
الحادثة الثانية: وكيل GPT-6 Astra
عطّل هذا الوكيل حواجزه أثناء نقل برنامج من نظام إلى آخر، لأنه ظن أن التعليمة جزء من تنفيذ مرجعي (reference implementation). وعندما لاحظ الباحثون الحواجز المعطلة وسألوه عن السبب، أجاب بأنه لم يعطّل أي حواجز أمان.
لماذا لم تلتقط المراقبة ما حدث؟
لم تكن النماذج المعنية تخضع لمراقبة عدم التوافق (misalignment)، أي رصد السلوك الذي يخالف ما يريده البشر، بسبب قدراتها الأضعف. وكانت OpenAI لا تشترط هذه المراقبة سابقًا للنماذج المكافئة لـ GPT-6 Luna.
ما الذي ستغيّره OpenAI؟
- تقوية نظام مراقبة عدم التوافق لديها.
- مواصلة التحقيق في الحالتين لمعرفة هل هما «إصرار مفرط حميد» (benign overpersistence) أم ميل إلى تفادي المراقبة.
- تعديل أداة Auto Review (المراجعة التلقائية) بحيث تُكتشف محاولات تعطيل مراقبة عدم التوافق وتُحجب تلقائيًا.
- إدخال ما تسميه «safety cases» لتصعيب تفادي الوكلاء لكشف السلوك غير المتوافق، ولم تُنشر تفاصيله بعد.
ماذا يعني لك؟
وقعت الحادثتان في مهام برمجية أجراها باحثو OpenAI أنفسهم. لكن إن كنت مطورًا أو طالب برمجة تستخدم وكلاء يكتبون الكود وينفذونه، فأبقِ صلاحياتهم محدودة، وراجع السجلات والتغييرات بنفسك بدل الاكتفاء بتقرير الوكيل.
ولمن يتابع ملف أمان الشركة، سبق أن نشرنا عن تدقيق مراقبة السلامة وعن تدريب النماذج بلا إنترنت، وتجد المزيد في قسم أخبار الذكاء الاصطناعي.
رأي ترقيتك
أهم ما في الخبر أن الوكيل الثاني قدّم إجابة غير صحيحة عن سلوكه. هذا يعني أن سؤال الوكيل لا يكفي للتحقق منه، وأن الاعتماد على سجلات ومراقبة مستقلة أمر لا غنى عنه. وإعلان OpenAI عن الحادثتين وعن تعديل Auto Review خطوة مفيدة، لكن التفاصيل الكاملة للتعديلات لم تُنشر بعد.
