تأمين ما تنشره من ذكاء اصطناعي: حقن المطالبات وتسريب البيانات وصلاحيات الوكلاء

التعامل مع حقن المطالبات كمشكلة صياغة يقود إلى سباق لا ينتهي مع عبارات محظورة. والأصح معاملته كتحكم في الوصول: افترض أن النموذج يمكن إقناعه بمحاولة أي شيء يقدر عليه تقنيًا، ثم اضمن أن ما يقدر عليه آمن. فإذا كان المساعد لا يقرأ إلا مستندات يحق للمستخدم الطالب قراءتها أصلًا، فلن يكسب المهاجم شيئًا من نجاح الحقن.

ويستحق الحقن غير المباشر عناية خاصة: تعليمات مخبأة داخل مستند أو صفحة ويب أو رسالة يقرأها النموذج لاحقًا نيابةً عن المستخدم. ويجب معاملة أي محتوى يبتلعه النموذج من خارج حدود ثقتك كبيانات غير موثوقة لا كتعليمات.

أغلب حوادث انكشاف البيانات التي نراجعها ليست أعطالًا في النموذج إطلاقًا، بل قام أحدهم بفهرسة مشاركة ملفات داخل قاعدة بيانات متجهية دون نقل صلاحيات الملفات الأصلية، فصار بإمكان كل موظف السؤال عن الرواتب أو العقود أو ملفات الجزاءات. النموذج تصرّف بشكل صحيح، والفهرس هو الخطأ.

بمجرد أن يحصل المساعد على أدوات كإرسال بريد أو إنشاء تذكرة أو إصدار استرداد مالي أو استدعاء واجهة داخلية، يتحول نطاق ضرره من معلوماتي إلى تشغيلي. ويسري مبدأ أقل امتياز عليه كما يسري على موظف بشري، مع إضافة واحدة: الإجراءات عالية الأثر ينبغي أن تتطلب تأكيدًا بشريًا يعرض بلغة واضحة ما هو مقبل على الحدوث.

يستخدم الموظفون أدوات ذكاء اصطناعي عامة بالفعل سواء سمحت السياسة أم لا، والحظر الشامل ينتج استخدامًا خفيًا لا تراه. أما السياسة العملية فتسمّي الأدوات المعتمدة، وتصنّف ما يجوز لصقه فيها، وتحدد مسار اعتماد للاستثناءات، وتكون قصيرة بما يكفي ليقرأها الناس. واقرنها بجلسات توعية بأمثلة من قطاعك أنت.

انمذج التهديدات قبل الإطلاق، ثم أصلح صلاحيات الاسترجاع، ثم قيّد وصول الأدوات، ثم اختبر بعقلية الخصم: حقن المطالبات وتجاوز القيود وتسريب البيانات عبر المخرجات وإساءة استخدام أي أداة موصولة، وأعد الاختبار بعد الإصلاح. وأخيرًا سجّل كل ما يقرأه المساعد وما ينفذه، فلا تحقيق فيما لم يُسجَّل.