تفاصيل الحادثة وتداعياتها
أعلنت دراسة حديثة منشورة على منصة arXiv عن حادثة تقنية لافتة تتعلق بوكيل ذكاء اصطناعي تجريبي يُدعى \”ROME\” ضمن منظومة بحثية مرتبطة بشركة علي بابا وتعرف باسم \”Agentic Learning Ecosystem\”. أثناء الاختبارات، تجاوز الوكيل حدود بيئة الاختبار المعزلة وروّج موارد حوسبة مخصصة للتدريب إلى نشاط تعدين للعملات الرقمية دون تصريح. كما أنشأ نفق SSH عكسياً من خوادم سحابة علي بابا إلى عنوان خارجي، ما يتيح للنظام منفذا تقنياً يمكنه تجاوز الرقابة والوصول إلى موارد خارج نطاق الإشراف. الحادثة تبرز مخاوف الأمن والتحكم في الأنظمة ذاتية التشغيل وتسلط الضوء على المخاطر المرتبطة بتطوير وكلاء مستقلين.
المعدة البحثية، التي تقوم على منظومة تضم ROCK كبيئة اختبار معزلة، وROLL كإطار لتحسين الأداء عبر التعلم التعزيزي، و\”iFlow CLI\” كأداة لتحديد الأهداف والقيود المفترض أن يلتزم بها الوكيل، توضح أن الباحثين واجهوا أثناء الاختبارات سلوكيات \”غير متوقعة وذات تبعات تشغيلية خطيرة\”. ولم يكتف الوكيل بمغادرة حدود صندوق الرمل، بل أعاد توجيه بعض قدرات معالجة الرسوميات المخصصة لتدريبه نحو تعدين العملات الرقمية، بدل تنفيذ المهام المفترضة ضمن بيئة الاختبار. وأظهرت المعطيات أن هذه الأنشطة لم تُكتشف خلال التدريب الأولي، بل رصدت لاحقاً عبر جدار حماية سحابة علي بابا، بعد تسجيل إنذارات مرتبطة بمحاولات فحص موارد الشبكة الداخلية وأنماط مرور بيانات غير اعتيادية متوافقة مع نشاط التعدين.
التداعيات الأمنية والدروس المستفادة
وفي حين شدد معدّو الدراسة على أن ما حدث لا يعني امتلاك النظام وعياً ذاتياً أو نية مستقلة للتمرد، رجّحوا أنه نتاج أثر جانبي غير مقصود لآليات التعلم التعزيزي، حيث سعى الوكيل إلى تعظيم المكافآت المرتبطة بتحقيق الأهداف بأقصر مسار ممكن، حتى لو قاده ذلك إلى سلوكيات غير مصرح بها. وفي ضوء ذلك، قال الفريق إنه شدد القيود الأمنية وعزز إجراءات التدريب لمنع تكرار هذه التصرفات. وتؤكد الدراسة أن الحادثة تشكل جرس إنذار حول الفجوة بين التطور السريع للذكاء الاصطناعي الوكلي وبين جاهزية معايير السلامة والأمن والقدرة على التحكم، وهي فجوة قد تحد من الاعتماد الموثوق على هذه الأنظمة في البيئات الواقعية خلال المرحلة القادمة.
