أنظمة RAG في بيئة الإنتاج: أين تفشل فعليًا؟

أصبح التوليد المعزّز بالاسترجاع من أكثر الطرق عملية لإدخال الذكاء الاصطناعي التوليدي إلى بيئات المؤسسات. فبدل مطالبة النموذج بالاعتماد حصراً على ما تعلّمه أثناء التدريب، يسترجع النظام معلومات من قاعدة معرفة المؤسسة نفسها ويقدّمها كسياق للإجابة.

والنموذج الأولي بسيط عادةً. فتُحلَّل الوثائق وتُقسَّم إلى مقاطع وتُضمَّن وتُفهرَس وتُسترجع حين يطرح المستخدم سؤالاً. ثم يحوّل نموذج قادر المقاطع المسترجعة إلى إجابة سلسة، مع استشهادات في الغالب. وفي عرض محكوم قد تبدو النتيجة جاهزة للإنتاج بسرعة مدهشة.

لكنها نادراً ما تكون كذلك.

فالجزء الصعب في RAG الإنتاجي ليس توليد إجابة، بل إثبات أن النظام استرجع المعلومة الصحيحة من المصدر المعتمد وبالصلاحيات الصحيحة وفي اللحظة الصحيحة — وأن المؤسسة قادرة على إعادة بناء ما حدث حين يُعترض على إجابة.

وفي المعرفة المؤسسية العامة يحدّد ذلك ما إذا كان المستخدمون سيثقون بالمنصّة. أما في الحكومة والخدمات المالية والرعاية الصحية والعمليات الصناعية والبنية التحتية الحرجة فقد يصبح متطلباً أمنياً واستمرارياً وحوكمياً.

قد تبدو أخطاء الاسترجاع وكأنها أخطاء في النموذج

حين ينتج تطبيق RAG إجابة خاطئة يُلام النموذج اللغوي أولاً في الغالب. لكن الإخفاق عملياً قد يكون وقع قبل الاستدلال بوقت طويل.

لنأخذ إجراء تشغيل رُوجع عدة مرات. يحتوي نظام إدارة الوثائق المحكوم على النسخة الحالية، بينما تبقى نسخة قديمة في أرشيف مشروع، ويلخّص عرض تقديمي نسخة أسبق، ويتضمّن محضر اجتماع نقاشاً حول التغيير المقترح. ويستطيع الاسترجاع الدلالي أن يعتبرها جميعاً ذات صلة بحق.

وإذا رُتِّبت الوثيقة الملغاة فوق الوثيقة المعتمدة، فقد ينتج نموذج قوي إجابة مقنعة للغاية من دليل خاطئ.

ولهذا يجب أن يميّز التقييم الإنتاجي بين صحة الاسترجاع وصحة السياق وصحة التوليد. هل استرجعت المنصّة المصدر المعتمد؟ وهل حفظت ما يكفي من المعلومات المحيطة ليُفسَّر ذلك المصدر تفسيراً صحيحاً؟ وهل جرى التعرّف على الوثائق المتناقضة أو الملغاة؟ وبعد الإجابة عن هذه الأسئلة فقط يصبح من المنطقي تقييم استدلال النموذج.

ودرجة واحدة مجمّعة لـ“جودة الإجابة” تخفي الكثير. فإخفاق الاسترجاع يستلزم استجابة هندسية مختلفة عن الهلوسة، وكلاهما يختلف عن إخفاق ناتج عن بيانات قديمة أو صلاحيات.

والأثر مهم أيضاً. فاسترجاع سياسة مطعم قديمة أمر مزعج فحسب، أما استرجاع إجراء عزل ملغى لبيئة صناعية أو تعليمات تنظيمية مستبدلة فينتمي إلى فئة مخاطر مختلفة تماماً.

المعرفة المؤسسية تحتاج بنية خاصة بها

المعرفة التنظيمية الحقيقية لا تصل في صورة فقرات نظيفة.

بل تصل كملفات PDF معقّدة وجداول وجداول بيانات ووثائق ممسوحة ورسومات هندسية وعروض تقديمية وسلاسل بريد وملاحق تعاقدية وصادرات مكرّرة من أنظمة لم تُصمَّم يوماً للاسترجاع بالذكاء الاصطناعي. وفي البيئات الخاضعة للتنظيم قد تحمل المعلومة أيضاً مالكاً وحالة اعتماد ومتطلب احتفاظ ومستوى سرية وولاية قضائية ومدة صلاحية.

وتسطيح كل ذلك إلى شذرات نصية مجهولة يدمّر علاقات قد تكون جوهرية للتفسير.

لذلك ينبغي لبنية الاستيعاب الإنتاجية أن تحفظ المصدرية قبل توليد التضمينات. فتبقى الفقرة مرتبطة بقسمها، والقسم بوثيقته، والوثيقة بنسختها ومصدرها ومالكها ومرجعيتها. ويحتفظ صف الجدول المسترجع بالعناوين التي تمنح قيمه معنى. وتحتفظ البنود التعاقدية بالاتفاق والنسخة اللذين تنتمي إليهما. ولا ينبغي لإجراء ملغى أن ينافس النسخة الحالية المعتمدة على قدم المساواة لمجرد تشابه اللغة دلالياً.

ولهذا أيضاً لا يوجد حجم مقطع صحيح عالمياً. فالمقاطع ثابتة الحجم وحدات تنفيذ مريحة، لكنها نادراً ما تكون الوحدات الطبيعية للمعرفة التنظيمية. وقد يكون التحليل البنيوي والاسترجاع الهرمي والبيانات الوصفية وترجيح المصادر وإعادة الترتيب أهمّ بكثير من كون قاعدة المتجهات تتلقّى كتلاً من 600 أو 900 وحدة رمزية.

فالهدف الحقيقي ليس صنع تضمينات أفضل، بل الحفاظ على قدر كافٍ من بنية المعلومات كي يستطيع نظام الاسترجاع الاستدلال على المرجعية لا على التشابه فحسب.

الاسترجاع الذي يراعي صلاحيات الوصول جزء من الحدود الأمنية للنظام

أخطر إخفاقات RAG ليست دائماً إجابة غير دقيقة، بل قد تكون إجابة دقيقة سُلِّمت لهوية ما كان ينبغي لها أصلاً أن تسترجع المعلومة الأساسية.

ويغدو هذا صعباً حين تمتدّ طبقة معرفة واحدة للذكاء الاصطناعي عبر إدارة الوثائق وSharePoint ومستودعات المشاريع وأنظمة إدارة العملاء ومنصّات التذاكر وقواعد البيانات والأنظمة التشغيلية. فلكل مصدر نموذج صلاحيات مختلف. وقد يُسمح لمستخدم برؤية وحدة أعمال دون أخرى، أو مشروع دون آخر، أو معلومات حتى مستوى تصنيف معيّن لا أبعد.

ولا يمكن تطبيق هذه القيود بعد أن يولّد النموذج إجابته فقط. فإذا دخلت معلومة غير مصرّح بها سياق النموذج، فقد جرى بالفعل تجاوز الحدّ الأمني المعني.

لذلك يجب أن تمتدّ الهوية والتفويض إلى مسار الاسترجاع نفسه. وقد يشمل ذلك، بحسب البيئة، قوائم التحكم بالوصول في المصدر والتحكم بالوصول القائم على الأدوار أو السمات وعزل المستأجرين والتصنيفات الأمنية وهويات الخدمة إلى الخدمة. وحين يتعذّر إثبات الصلاحية بموثوقية، قد يكون التوقّف الآمن أنسب من توسيع نطاق البحث بصمت.

وينطبق الاهتمام نفسه على المعلومات الشخصية. فإن عالج نظام RAG أوروبي بيانات شخصية، لا يُلغي تحويل المعلومة إلى تضمينات أو تمريرها مؤقتاً إلى نموذج التزاماتِ حماية البيانات بحد ذاته. فلائحة حماية البيانات تظل معنية بمعالجة المعلومات المتعلقة بأفراد يمكن تحديدهم، ولذلك يجب النظر في مسار الاسترجاع والاستدلال كاملاً لا في المستودع الأساسي وحده.

ويمكن هيكلة حوكمة أمن المنصّة عبر معايير مثل ISO/IEC 27001، بينما يقدّم ISO/IEC 42001 إطار نظام إدارة خاصاً بالمؤسسات التي تطوّر الذكاء الاصطناعي أو توفّره أو تستخدمه. ويكمّل ISO/IEC 23894 ذلك بإرشادات لدمج إدارة المخاطر الخاصة بالذكاء الاصطناعي في العمليات المؤسسية. ولا تشهد هذه المعايير بصحة إجابة RAG بعينها؛ فقيمتها في إنشاء حوكمة قابلة للتكرار حول النظام الذي ينتجها.

الوثائق المسترجعة مدخلات غير موثوقة

كما ينشئ RAG خاصية أمنية لم تكن لأنظمة البحث التقليدية بالصورة نفسها: فالنص المسترجع قد يؤثّر في سلوك التطبيق الذي يستهلكه.

فقد تحتوي وثيقة خبيثة على تعليمات تهدف إلى التلاعب بالنموذج. وقد تطلب صفحة ويب مخترقة من وكيل تجاهل القواعد السابقة أو كشف معلومات إضافية أو استدعاء أداة. ولم يعد المهاجم بحاجة إلى وضع التعليمة الخبيثة في واجهة المحادثة مباشرة؛ إذ قد تصل بطريق غير مباشر عبر مصدر طُلب من الذكاء الاصطناعي أن يثق به.

وهذا يحوّل حقن التعليمات إلى قضية أوسع في أمن الأنظمة.

والدفاع الصحيح ليس مجرد تعليمات نظام أشدّ. فينبغي أن تفترض البنية أن المعلومات المسترجعة قد تكون عدائية. وأن تُفرَض صلاحية الأدوات خارج النموذج. وأن تمرّ العمليات الحسّاسة عبر ضوابط سياسات حتمية. وأن تبقى مصدرية المعلومة ودرجة الثقة بها ظاهرة. ولا ينبغي لوكيل يتلقّى معلومات من مصدر غير موثوق أن يكتسب فجأة قدرة جديدة لمجرد أن النص طلب منه ذلك.

والمبدأ قديم في بيئة جديدة: المدخلات غير الموثوقة يجب ألّا تصبح منطق تحكّم موثوقاً.

تحديث المعرفة يشمل القدرة على حذف ما لم يعد صالحًا

تقيس معظم الفرق سرعة استيعابها للمعلومات الجديدة. لكن أنظمة الإنتاج عليها أيضاً أن تثبت مدى موثوقية توقّف المعلومة عن كونها قابلة للاسترجاع.

فالسياسات تُستبدل. والعقود تنتهي. والصلاحيات تُلغى. والموظفون ينتقلون بين الفرق. وقد يُعاد تصنيف وثيقة حكومية. وقد تبلغ سجلات نهاية مدة احتفاظها. وقد يُسحب إجراء تقني فور وقوع حادث.

وإذا تغيّر النظام المصدر بينما بقي فهرس الاسترجاع كما هو، تبدأ منصّة الذكاء الاصطناعي بإنشاء نسخة موازية ومتزايدة الخطأ من واقع المؤسسة.

لذلك فالتحدّي الهندسي هو المزامنة المستمرة. ينبغي أن تكون التحديثات ثابتة النتيجة، وهوية الوثيقة مستقرّة، والحذف موثوقاً، وانتقالات النسخ صريحة. وينبغي أن تكون طبقة الاسترجاع قابلة للمطابقة مع أنظمة السجلات كي تُكتشف التحديثات المفقودة بدل بقائها مضمّنة بصمت في الفهرس.

ويتوقّف التأخير المقبول على الأثر. فوثيقة تسويقية تحتمل هدف حداثة مختلفاً عن تغيير في وصول مميّز أو إجراء أمني. لذلك يحتاج RAG الإنتاجي متطلبات حداثة وإلغاء متمايزة لا اتفاقية مستوى خدمة فهرسة واحدة للجميع.

المرونة التشغيلية تتجاوز توافر قاعدة البيانات المتجهية

قد تعتمد خدمة RAG على مزوّد هوية ومستودعات مصادر ومحلّلات وثائق وبنية تضمين ومخزن متجهات وإعادة ترتيب واستدلال نموذج وخدمات سياسات وقابلية مراقبة. وجعل خوادم التطبيق عالية التوافر لا يجعل هذه السلسلة صامدة.

والسؤال المعماري الأنفع هو ماذا يحدث حين يختفي أحد هذه الافتراضات.

إن لم يعد النموذج المفضّل متاحاً، هل يستطيع نموذج أقل قدرة الحفاظ على خدمة مقيّدة مقبولة؟ وإن أخفق الاسترجاع المتجهي، هل يستطيع مسار بحث لفظي أو هجين معتمد إعادة أدلة موثوقة؟ وإن تدهورت خدمة الهوية، هل يستطيع النظام الحفاظ على الجلسات الآمنة القائمة دون توسيع الوصول؟ وإن تأخّرت الفهرسة، هل يُبلغ التطبيق المشغّلين بأن حالة المعرفة قديمة بدل أن يواصل كأن شيئاً لم يكن؟

وبالنسبة للمؤسسات ضمن نطاق NIS2، ينسجم هذا التفكير طبيعياً مع متطلبات إدارة المخاطر في التوجيه، التي تشمل التعامل مع الحوادث واستمرارية الأعمال والتعافي من الكوارث وأمن سلسلة التوريد والاقتناء والتطوير الآمنين ومعالجة الثغرات والتحكم بالوصول وتدابير تقنية وتنظيمية أخرى. ويتعامل الإطار الأوروبي صراحةً مع الأمن السيبراني بنهج قائم على المخاطر يشمل كل الأخطار لا بوصفه فحصاً للثغرات فقط.

وحين تدعم الخدمة كياناً يشمله إطار صمود الكيانات الحرجة، يتّسع التحليل أكثر. إذ يعالج ذلك الإطار صمود الكيانات التي تقدّم خدمات أساسية وينظر إلى ما وراء الحوادث السيبرانية وحدها، إلى القدرة على منع الاضطراب والحماية منه والاستجابة له ومقاومته وتخفيفه والتعافي منه.

ولا يعني ذلك أن كل تطبيق RAG ينبغي تصميمه كبنية تحتية حرجة، بل أن نموذج الصمود ينبغي أن يتبع أثر الوظيفة التي يدعمها النظام.

يجب أن تتيح قابلية الرصد والتتبع معرفة كيفية تكوين الإجابة

حين يعترض خبير على إجابة إنتاجية، لا يكفي القول “النموذج ولّدها” تفسيراً.

ينبغي أن يكون الفريق الهندسي قادراً على إعادة بناء الهوية التي قدّمت الطلب، وكيف حُوِّل ذلك الطلب للاسترجاع، وأي مرشّحات صلاحيات وبيانات وصفية طُبِّقت، وأي مصادر كانت مؤهّلة، وأي مقاطع استُرجعت، وكيف رُتِّبت، وأي إعداد للنموذج استُخدم، وأي أدلة أسندت الإجابة النهائية.

وإن كان النظام قادراً على التنفيذ، فينبغي أن يمتدّ الأثر ليشمل قرارات السياسات واستدعاءات الأدوات والمعاملات والحالة الخارجية الناتجة.

ويغيّر هذا المستوى من القابلية للمراقبة طريقة التعامل مع حوادث الذكاء الاصطناعي. فيمكن تمييز إخفاق التحليل عن إخفاق الترتيب. وتصبح المعرفة القديمة قابلة للفصل عن استدلال النموذج. ويغدو خطأ الصلاحيات مختلفاً بوضوح عن الهلوسة. وحين تتّضح فئات الإخفاق هذه يصبح التحسين منهجياً لا انطباعياً.

وينبغي أن يتبع التقييم المبدأ نفسه. فتشمل مجموعات الاختبار أسئلة اعتيادية وأسئلة غامضة ومعلومات ملغاة وأدلة متعارضة ووثائق مقيّدة ومحتوى عدائياً. والأهم أن تُرجَّح الإخفاقات بحسب أثرها. فنظام يدعم عملية متعلّقة بالسلامة أو بالمهمة لا ينبغي قبوله لمجرد أن متوسطاً عاماً يبدو جيداً.

معايير الانتقال إلى بيئة الإنتاج

لذلك فمنصّة RAG الإنتاجية ليست روبوت محادثة مرفقاً بقاعدة متجهات.

بل هي بنية منضبطة للوصول إلى المعرفة تمتدّ عبر الاستيعاب والبحث والهوية والتفويض وحوكمة المعلومات وإدارة مخاطر الذكاء الاصطناعي والقابلية للمراقبة والصمود التشغيلي. ويبقى النموذج اللغوي مكوّناً مهماً، لكن كثيراً من أهم الإخفاقات يقع قبل أن يتلقّى النموذج السياق أو بعد أن ينتج إجابته.

وتُبلغ العتبة بين العرض التوضيحي والبنية التحتية حين تستطيع المؤسسة الإجابة عن سؤال أصعب من “هل يعمل؟”

إذ ينبغي أن تشرح لماذا تلقّت هذه الهوية هذه المعلومة، من هذه النسخة من الأدلة، عبر مسار الصلاحية هذا؛ وما الذي يمنع مصدراً مخترقاً من أن يصبح تعليمة تحكّم؛ وبأي سرعة تختفي المعرفة الملغاة؛ وكيف تتصرّف الخدمة حين تتعطّل إحدى اعتمادياتها؛ وكيف يستطيع مشغّل إعادة بناء القرار كاملاً لاحقاً.

هذا ما يجعل نظام RAG جديراً بالثقة في بيئة الإنتاج.