كيف يكتشف كلود المحادثات الضارة دون علم المستخدم؟

أطلقت شركة أنثروبيك ميزة أمان جديدة لنموذج الذكاء الاصطناعي كلود، تتيح له تقييم محادثاته بصورة تلقائية في الخلفية، لرصد أي إساءة محتملة للاستخدام وإحالتها إلى المراجعة البشرية، دون إظهار تنبيهات للمستخدم.

وتحمل الميزة اسم "التقييم الذاتي"، وتعمل عبر نماذج مختلفة، من بينها Claude Fable 5، منذ يونيو 2026.

وأوضحت أنثروبيك، في منشور على منصة إكس، أن التقنية الجديدة تدرب كلود على إجراء تقييم أولي لمستوى أمان المحادثة فور انتهاء كل إجابة يقدمها، وبما أن النظام يعتمد على تقدير النموذج نفسه بدلا من قائمة ثابتة من القواعد، فإنه يصبح أكثر دقة مع تطور نماذج الذكاء الاصطناعي، كما يستطيع رصد أنماط معقدة من إساءة الاستخدام لم تكن أنظمة الحماية السابقة مصممة لاكتشافها.

كيف يعمل التقييم الذاتي لكلود؟
 

عادة ما يقوم التفاعل مع نماذج الذكاء الاصطناعي على تبادل مباشر للأسئلة والإجابات، لكن ميزة التقييم الذاتي تضيف خطوة أخرى تتم بالكامل في الخلفية.

فبمجرد أن ينتهي كلود من صياغة إجابته، يضيف النظام تعليمات مخفية تطلب من النموذج مراجعة المحادثة وتقييمها. وبعد ذلك، يصدر كلود تقييما داخليا موجزا يحدد ما إذا كان الطلب ضارا، وطبيعة الضرر المحتمل، ودرجة أولوية الحالة لمراجعتها من جانب فريق بشري.

وفي حال كانت المحادثة آمنة، يسجل النظام أنها لم تستدع أي تنبيه، ثم ينتقل إلى المحادثة التالية، دون مقاطعة المستخدم أو إظهار تحذيرات منبثقة.

وبما أن كلود يكون قد اطلع بالفعل على المحادثة، فإنه يستطيع الاستفادة من المعلومات المخزنة عنها، ما يجعل عملية التقييم الإضافية أقل استهلاكا للموارد.

دقة مرتفعة بتكلفة حوسبية محدودة
 

تتطلب أنظمة فحص السلامة عادة قدرات حوسبية كبيرة، لكن أنثروبيك تقول إن طريقتها الجديدة أقل تكلفة بكثير، إذ تحتاج عملية التقييم إلى نحو 10 وحدات نصية إضافية فقط، ما يرفع إجمالي تكلفة الحوسبة بأقل من 2%.

وبالمقارنة، كانت أنظمة السلامة السابقة للشركة تضيف نحو 24% إلى التكاليف، بينما أفادت شركات منافسة مثل أوبن إيه آي بأن بعض ميزات السلامة تستهلك ما يصل إلى 16% من القدرة الحوسبية.

وعلى الرغم من انخفاض تكلفتها، أظهرت الميزة مستوى مرتفعا من الدقة. ففي نموذج Claude Fable 5، نجح التقييم الذاتي في رصد 78% من إجمالي المحادثات الضارة، و94% من الحالات ذات الأولوية العالية.

كما سجل النظام معدل إنذارات خاطئة بلغ 1% فقط، ما يعني أن احتمالات تصنيف المحادثات السليمة على أنها ضارة تظل محدودة للغاية.

رصد التهديدات الواقعية وأنماط الإساءة الجديدة
 

وأشارت أنثروبيك إلى أن النظام أثبت قدرته على رصد حالات فعلية منذ بدء تشغيله في الخلفية، ففي أغسطس وحده، رصد التقييم الذاتي أكثر من 100 ألف حالة مرتبطة بمواد استغلال الأطفال لدى عميل واحد، وأبلغت الشركة السلطات بهذه الحالات على الفور.

ويستند النظام إلى المعرفة العامة التي يمتلكها كلود، ما يساعده على التعرف على أنماط جديدة من السلوك الضار لم يسبق إدراجها ضمن قوائم الرصد أو تدريبه عليها بشكل صريح.

وعلى سبيل المثال، عندما أخفى الباحثون تماما أمثلة الاحتيال والهجمات الإلكترونية من بيانات التدريب، تمكن النموذج مع ذلك من اكتشاف 90% من هذه التهديدات.

التقييم الذاتي لا يكفي وحده لمواجهة الهجمات الإلكترونية
 

ورغم ما تمثله الميزة من تطور في أنظمة السلامة، توضح أنثروبيك أن التقييم الذاتي مصمم لرصد المشكلات وإحالتها إلى المراجعة اللاحقة، وليس لمنعها فورا، كما تقر الشركة بأنه لا يوفر بمفرده حماية كافية لصد الهجمات التي ينفذها مهاجمون متخصصون.

وفي اختبارات داخلية للأمن السيبراني، تمكن قراصنة من تجاوز أنظمة الذكاء الاصطناعي في 54% من المحاولات عندما كان التقييم الذاتي هو إجراء الحماية الوحيد المستخدم.

ورغم أن هذه النسبة أفضل من معدل نجاح الهجمات البالغ 79% في غياب أي إجراءات حماية، فإن أنظمة الحظر الفوري والمستقلة تحقق نتائج أفضل، إذ تخفض نسبة نجاح الهجمات إلى 25% فقط.

ولهذا، تستخدم أنثروبيك التقييم الذاتي باعتباره طبقة إضافية لمراقبة المحادثات في الخلفية، مع الإبقاء على أنظمة حماية مستقلة وأكثر قوة للتصدي للتهديدات في الوقت الفعلي.