تقييم وكلاء الذكاء الاصطناعي قبل منحهم صلاحية التصرّف في بيئة الإنتاج

نظام ذكاء اصطناعي يعطي إجابة خاطئة يخلق مشكلة جودة.

أما نظام ينفّذ إجراءً خاطئاً فقد يخلق حادثاً تشغيلياً.

وهذا التمييز هو ما يغيّر بنية الأنظمة القائمة على وكلاء الذكاء الاصطناعي.

فما إن يصبح النموذج قادراً على تحديث سجلات العملاء وإحداث تغييرات في البنية التحتية واعتماد سير العمل والاستعلام عن أنظمة حسّاسة والتواصل خارجياً وإطلاق مدفوعات أو التفاعل مع تقنيات التشغيل، حتى يصبح التقييم التقليدي للنموذج غير كافٍ. وينتقل السؤال المحوري من كون النموذج يبدو ذكياً إلى ما إذا كان يمكن ائتمان النظام الكامل على مستوى محدّد من الصلاحية.

ولا ينبغي أبداً استخلاص هذه الثقة من عرض مبهر.

بل يجب أن تُهندَس.

قيّم النظام الذي ينفذ الأفعال، لا النموذج الذي يستدل فحسب

معايير قياس النماذج مفيدة لفهم القدرة الأساسية، لكنها تقول القليل عمّا إذا كان وكيل في بيئة الإنتاج سينفّذ عملية عمل بعينها بأمان.

فسلوك الوكيل ينشأ من النظام الكامل: النموذج والتعليمات والاسترجاع والسياق والذاكرة والهوية وتعريفات الأدوات والصلاحيات والتنسيق وواجهات البرمجة الخارجية وإنفاذ السياسات والتحقق.

لذلك قد يكون لتطبيقين يستخدمان النموذج نفسه تماماً ملفّا مخاطر مختلفان كلياً.

فقد يقرأ أحدهما معلومات عامة ويجهّز مسودة فقط، بينما يملك الآخر صلاحية الكتابة على بنية الإنتاج.

وتسمية كليهما “وكيل ذكاء اصطناعي” تحجب أهم فرق بينهما.

لذلك ينبغي أن يبدأ تقييم الإنتاج من سير العمل ونموذج الصلاحية لا من ترتيب النماذج.

يجب تحديد نطاق الصلاحيات قبل اختبار الاستقلالية

أول قرار معماري هو ما يُسمح للوكيل بفعله فعلاً.

فقراءة سجل ليست كتغييره. وتجهيز إجراء ليس كتنفيذه. وإعادة تشغيل خدمة معزولة غير حرجة ليست كتغيير قاعدة جدار حماية تحمي نظاماً وطنياً. وصياغة دفعة ليست كالإفراج عن الأموال.

ونموذج الصلاحية المفيد ينمو تدريجياً.

ففي أدنى مستوى يراقب الوكيل ويحلّل. ثم يتقدّم إلى التوصية بإجراء مع الأدلة، وتجهيز الإجراء للمراجعة، وتنفيذ إجراءات محدودة قليلة الأثر، وأخيراً تنسيق سير عمل أوسع حيث تبرّر الأدلة ذلك المستوى من الاستقلالية.

ولا يُشترط أن يصل كل نظام إلى المستوى الأعلى.

فمستوى الاستقلالية الصحيح يتوقّف على الأثر وقابلية التراجع وقابلية الاكتشاف. والإجراء السهل التراجع والمحدود والقابل للملاحظة فوراً يحتمل عادةً أتمتة أكبر من إجراء لا يمكن التراجع عنه أو قد يمرّ دون ملاحظة لساعات.

الهدف ليس أقصى استقلالية، بل أقصى صلاحية تدعمها الأدلة.

يجب فرض الصلاحيات تقنيًا خارج نص التعليمات

وهنا تفشل كثير من بنى الوكلاء المتطوّرة في غير ذلك.

فتعليمات النظام تقول إن على الوكيل ألّا يغيّر بيئة الإنتاج دون موافقة، ومع ذلك يملك الوكيل بيانات اعتماد قادرة على تغييرها.

فالقيد موجود لغوياً لا تقنياً.

في نظام عالي التأكيد ينبغي أن يصمد حدّ الأدوات أمام الاستدلال الخاطئ. وينبغي تحديد نطاق هويات الخدمات، وأن تُنفّذ واجهات البرمجة الصلاحيات، وأن تكون حدود البيئات حقيقية، وأن توجد حدود المعاملات خارج النموذج، وأن يقرّر محرّك سياسات أو خدمة حتمية ما إذا كان الإجراء المطلوب مصرّحاً به.

وهذا يتبع المبدأ نفسه لأقل امتياز وانعدام الثقة: افترض أن المكوّنات قد تخطئ أو تُخترق، ثم تأكّد من بقاء نطاق الضرر محدوداً.

ويجعل حقن التعليمات هذا الأمر بالغ الأهمية. فقد يستهلك الوكيل تعليمات مضمّنة في تذكرة أو وثيقة مسترجعة أو موقع أو استجابة أداة. ولا تستطيع المؤسسة ضمان ألّا يُتلاعب بنموذج عبر مدخلات عدائية، لكنها تستطيع ضمان ألّا يمنح الاستدلال المتلاعب به صلاحية أوسع تلقائياً.

اختبر ما إذا كان الوكيل يعرف متى لا يتصرّف

معظم تقييمات الذكاء الاصطناعي تكافئ إتمام المهمة.

أما الأنظمة عالية الأثر فتحتاج إلى مكافأة الامتناع.

فالاستجابة الصحيحة لهوية غامضة قد تكون التوقّف. والاستجابة الصحيحة لأدلة متناقضة قد تكون التصعيد. وقد تستوجب خدمة صلاحيات غير متاحة أن يتوقّف سير العمل بأمان. وقد يلزم تأجيل تغيير في البنية التحتية خارج النافذة الزمنية حتى لو كان الإجراء التقني نفسه بسيطاً.

وينبغي أن تظهر هذه الحالات صراحةً في مجموعة التقييم.

فينبغي أن يواجه الوكيل طلبات ناقصة ومعلومات قديمة وسياسات متعارضة وأدوات غير متاحة واستجابات مشوّهة وكيانات مكرّرة وأخطاء صلاحيات وتعليمات عدائية متعمّدة. كما ينبغي أن يواجه طلبات ممكنة تقنياً تماماً لكنها محظورة تشغيلياً.

والوكيل الذي يجد دائماً سبيلاً لإتمام المهمة ليس بالضرورة قادراً؛ بل هو في بيئات معيّنة خطير.

يجب تقييم استخدام الأدوات بصورة مستقلة

قد تُخفي إجابة نهائية سلسة أخطاءً تشغيلية خطيرة.

فقد يكون الوكيل اختار الأداة الخاطئة، أو استدعى الأداة الصحيحة على البيئة الخاطئة، أو ولّد معاملاً غير آمن، أو نفّذ عملية كتابة لا لزوم لها قبل أن يقدّم تفسيراً مقنعاً.

لذلك يجب تقييم سلوك الأدوات على نحو مستقل.

ولكل سير عمل، ينبغي أن يعرف الفريق الهندسي ما إذا كانت القدرة الصحيحة قد اختيرت، وما إذا كانت معاملات الإدخال صالحة، وما إذا احترم التسلسل السياسة، وما إذا تغيّرت الحالة الخارجية مرة واحدة بالضبط، وما إذا فسّر الوكيل النتيجة تفسيراً صحيحاً.

وهنا أيضاً تصبح هندسة الأنظمة الموزّعة التقليدية ذات صلة.

ينبغي أن تكون الإجراءات ثابتة النتيجة عند الإمكان. وتحتاج الطلبات إلى معرّفات ربط. ويجب أن يكون التنفيذ المكرّر قابلاً للكشف. وتستلزم الإخفاقات الجزئية تسوية. وقد تستفيد العمليات عالية الأثر من نموذج التجهيز ثم الالتزام: يجمع الوكيل الإجراء المقصود، وتتحقّق منه طبقة سياسات مستقلة، ويعتمده إنسان أو ضابط ثانٍ عند اللزوم، وعندها فقط يُنفَّذ الأثر الجانبي.

وسؤال النموذج “هل أنت متأكد؟” ليس بروتوكول معاملات.

قِس حالات النجاح الخطرة، لا حالات الفشل فقط

من أخطر المقاييس في تقييم الوكلاء معدّل نجاح المهام الإجمالي.

تخيّل وكيلاً يُنجز 99 بالمئة من الطلبات بشكل صحيح. يبدو الرقم ممتازاً حتى يتبيّن أن الواحد بالمئة المتبقّي يشمل تغييرات غير مصرّح بها على الحسابات أو معاملات مكرّرة أو تعديلات إنتاجية على الكيان الخطأ.

فكلفة الإخفاقات ليست متساوية.

لذلك يحتاج التقييم إلى نموذج للأثر. فتصنيف منخفض الأولوية فائت وإجراء مميّز نُفّذ خطأً لا ينبغي أن يتساويا في الحساب.

والمقياس الأهم غالباً هو الإتمام الناجح غير الآمن: الحالات التي تمكّن فيها الوكيل من تنفيذ إجراء ما كان ينبغي السماح به أصلاً.

وقد يكون لنظام معدّل إنجاز إجمالي أدنى ويظل أكثر أماناً بكثير إذا صُعّدت الحالات الغامضة وعالية المخاطر بدل إتمامها خطأً.

ولهذا ينبغي أن تتبع عتبات الأداء الأثر التشغيلي لا نسبة مئوية عامة واحدة.

يجب أن تكون الموافقة البشرية آلية رقابة مستقلة

كثيراً ما يُطبَّق مبدأ إشراك الإنسان تطبيقاً رديئاً.

فالوكيل يوصي بإجراء ويعرض على المراجع زرّ موافقة أخضر كبيراً. ويرى الإنسان ملخّص النموذج دون الأدلة الأساسية أو السياسة أو الأنظمة المتأثّرة. وسير العمل يتضمّن شكلياً موافقة بشرية، لكن المراجع لا يملك أساساً يُذكر لحكم مستقل.

وفي الإجراءات عالية الأثر ينبغي أن يعرض حدّ الموافقة أدلة كافية لمساءلة الوكيل.

وينبغي أن يفهم المراجع ما الذي سيتغيّر، ولماذا يرى الوكيل الإجراء لازماً، وأي أدلة تسند القرار، وأي أنظمة ستتأثّر، وأي صلاحية تُمارَس، وهل يمكن التراجع عن الإجراء.

وحيث يهمّ الفصل بين المهام، ينبغي أن تكون هوية الموافقة مختلفة عن الهوية التي جهّزت الإجراء أو تنفّذه.

والإشراف البشري لا ينفع إلا حين يملك الإنسان معلومات ذات معنى وصلاحية حقيقية لقول لا.

تفرض البنية التحتية الحيوية معايير أشد لقبول الإخفاق

يتطلّب التحكّم الوكيل قرب البنية التحتية الحرجة تفسيراً أكثر صرامة، لأن أخطاء الذكاء الاصطناعي قد تمتدّ إلى ما وراء أنظمة المعلومات.

يصنّف قانون الذكاء الاصطناعي الأوروبي أنظمةً بعينها تُستخدم كمكوّنات سلامة في إدارة أو تشغيل البنية التحتية الرقمية الحرجة وحركة المرور وإمدادات المياه والغاز والتدفئة والكهرباء بأنها استخدامات عالية المخاطر، وفق نطاق القانون وجدوله الزمني الحالي للتنفيذ. وبعد تعديلات 2026، من المقرّر أن تُطبَّق قواعد المخاطر العالية ذات الصلة في الملحق الثالث اعتباراً من 2 ديسمبر 2027.

ولا ينبغي توسيع هذا التصنيف القانوني ليشمل كل وكيل يعمل في مكان ما داخل شركة بنية تحتية. فالاستخدام المقصود مهم.

لكن المبدأ من الناحية المعمارية أوسع. فحين يستطيع مكوّن ذكاء اصطناعي التأثير في عملية متعلّقة بالسلامة أو شديدة الحرجية، تصبح قيود السلامة الحتمية والرقابة المستقلة أكثر أهمية لا أقل.

وفي البيئات الصناعية يوفّر IEC 62443 إطاراً قوياً لحدود أمن الأنظمة والمناطق والقنوات وتقييد تدفّق البيانات وأمن أنظمة التحكم. وقد يساعد الوكيل مشغّلاً أو يحلّل بيانات القياس عن بُعد أو يوصي بتغيير مع بقائه خارج سلطة التحكّم التي تفرض التشغيل الآمن.

وقد يكون هذا الفصل أهم من تحسينات إضافية في دقة النموذج.

القطاع المالي يفرض التزامات صريحة للصمود التشغيلي

إذا كان الوكيل يدعم كياناً مالياً ضمن نطاق DORA، فلا يمكن أن يقف التقييم عند سلوك النموذج والتطبيق.

فسير العمل يقع داخل بيئة أوسع لإدارة مخاطر تقنية المعلومات والاتصالات ومخاطر الأطراف الثالثة. ويلزم DORA الكيانات المالية المشمولة بفهم اعتمادياتها التقنية وحماية وظائفها الحرجة والحفاظ على الاستمرارية والتعافي واختبار الصمود وإدارة أطراف ثالثة في تقنية المعلومات.

لذلك قد يصبح وكيل يعتمد على نموذج أو سلسلة أدوات خارجية جزءاً من اعتمادية حرجة.

وينبغي أن تعرف المؤسسة ما إذا كانت عملية العمل ستستمر إن اختفت تلك الاعتمادية، وما البيانات التي يتلقّاها المزوّد، وكيف تُكتشف الحوادث، وكيف يمكن استبدال المزوّد، وما الأدلة التشغيلية التي تبقى متاحة بعد الإخفاق.

وفي الخدمات المالية قد تكون هذه الأسئلة أهم من كون نموذج يسجّل نقطتين مئويتين أعلى في معيار داخلي.

ينبغي أن تمتدّ حوكمة الذكاء الاصطناعي عبر دورة الحياة

يوفّر ISO/IEC 42001 إطار نظام إدارة مفيداً لحوكمة الذكاء الاصطناعي عبر المؤسسة، بينما يقدّم ISO/IEC 23894 إرشادات لإدارة المخاطر الخاصة بالذكاء الاصطناعي. ويشجّعان معاً على نهج يمتدّ عبر دورة الحياة بدل اعتبار التقييم تمريناً لمرة واحدة قبل الإنتاج.

ويهمّ هذا لأن وكيلاً اجتاز التقييم في يناير ليس بالضرورة النظام نفسه في يونيو.

فقد يكون النموذج تغيّر. وقد تكون مخطّطات الأدوات تطوّرت. وقد تكون التعليمات حُدِّثت. وقد تكون قاعدة عمل تغيّرت. وقد يكون المستخدمون اكتشفوا طرقاً جديدة للتفاعل مع سير العمل. وقد تستغلّ تقنية هجوم جديدة افتراضاً كان يُعدّ آمناً من قبل.

لذلك ينبغي أن تعود حوادث الإنتاج والتفاعلات غير المعتادة إلى مجموعة التقييم. وينبغي أن تتحوّل الإخفاقات الخطيرة إلى حالات انحدار. وأن تُشغّل تغييرات النموذج أو التنسيق الاختبارات المتعلقة بمجال مخاطرها قبل الترقية.

فالثقة تُصان بالأدلة عبر الزمن، ولا تُمنح بشكل دائم عند الإطلاق.

يجب أن يتيح سجل التدقيق تتبع الإجراء بالكامل

حفظ نص المحادثة لا يكفي.

فقد يحتاج تحقيق في حادث إلى تحديد الهوية التي بدأت الطلب، وإصدار النموذج المستخدم، والسياسة السارية، والسياق الذي استُرجع، والأدوات التي استُدعيت، والمعاملات التي مُرِّرت، وما أعاده النظام الخارجي، ومن اعتمد الإجراء، وما إذا كانت الحالة الناتجة قد تغيّرت أو أُعيدت لاحقاً.

وفي الأنظمة الجادّة تهمّ أيضاً سلامة هذه الأدلة ومدة الاحتفاظ بها.

ولا ينبغي أن تكتشف المؤسسة بعد وقوع حادث أن الأثر الوحيد المفيد كان موجوداً مؤقتاً داخل لوحة تحكّم مورّد.

لذلك ينبغي تصميم قابلية التدقيق كخاصية في المنصّة نفسها.

يجب أن يكون خفض استقلالية الوكيل ممكنًا بأمان

ينبغي أن يكون لوكيل الإنتاج مسار منضبط من التشغيل المستقل إلى وضع أكثر أماناً.

فإن أحدث تحديث نموذج سلوكاً شاذاً، قد تريد المؤسسة اشتراط موافقة على كل عملية كتابة مع استمرار التحليل للقراءة فقط. وإن اختُرقت أداة، ينبغي تعطيل تلك القدرة وحدها. وإن تغيّر الوضع الأمني، قد تحتاج المنصّة إلى إزالة نموذج أو مزوّد من التوجيه دون إيقاف سير العمل بأكمله.

وهذا نموذج صمود أفضل من مفتاح إيقاف عام واحد.

ينبغي أن يكون النظام قادراً على خفض صلاحيته مع الإبقاء على أي وظيفة مفيدة تظل آمنة.

وهذا مهم خصوصاً في العمليات الحرجة، إذ لا ينبغي أن يكون الخيار دائماً بين الاستقلالية الكاملة والتوقّف التام.

الثقة في بيئة الإنتاج خاصية تُبنى هندسيًا

أفضل وكيل ليس بالضرورة من ينتج أكثر مسارات الاستدلال إبهاراً.

بل هو الوكيل الذي تكون صلاحيته محدودة ومفهومة، وأدواته تفرض صلاحياتها بنفسها، وأفعاله قابلة للملاحظة والاسترجاع، وحالاته غير الآمنة مُختبَرة، واستقلاليته قابلة للخفض في الظروف الشاذة، وسلوكه يظل قابلاً للتدقيق بعد أشهر من الحدث.

لذلك تستطيع المؤسسة الناضجة الإجابة عن سؤال أقوى بكثير من مجرد دقة الوكيل.

فهي تستطيع أن تشرح ما يُسمح للوكيل بفعله، وما الذي يمنعه من تجاوزه، وأي ظروف تجعله يتوقّف، وكيف تُحتوى الإخفاقات، وأي أدلة تبرّر كل مستوى استقلالية مُنح له.

عند تلك النقطة تنتقل الثقة من الانطباع إلى البنية.