وكيل الذكاء الاصطناعي أصلح المشكلة — لكن ماذا غيّر أيضاً؟

وكيل الذكاء الاصطناعي أصلح المشكلة — لكن ماذا غيّر أيضاً؟

يُغلق وكيل ذكاء اصطناعي ثغرةً في سير عمل المشتريات عند الساعة الثانية فجراً. بحلول السادسة صباحاً، تحوّلت ثلاث قواعد موافقة مرتبطة بالمراحل اللاحقة، وبات قالب إشعارات المورّد يشير إلى بيئة خاطئة، ومدير العمليات يحدّق في تقرير استثناءات لم يكن موجوداً بالأمس. لم يُسجَّل هذا التحوّل في أي مكان. الوكيل نفّذ ما طُلب منه بالضبط.

هذا ليس سيناريو افتراضي. هذا هو النمط التشغيلي الذي وثّقته Trail of Bits حين راجعت التصحيحات التي أنتجها الذكاء الاصطناعي بنفسها — والتداعيات على فرق المؤسسات في منطقة الخليج التي تُشغّل أتمتة سير العمل أخطر مما اعترف به المجتمع الأمني حتى الآن.

ما الذي يكشفه اكتشاف Trail of Bits فعلاً

نشرت Trail of Bits نتائج مبادرة Patch the Planet — برنامج مشترك مع OpenAI لتسريع تصحيح الثغرات الأمنية في مشاريع المصادر المفتوحة واسعة الانتشار. حين راجعوا كل تصحيح أنتجه وكيل اصطناعي وأدمجه مشرف مستودع، وجدوا 21 حالة انتكاس في 130 طلب دمج: 16 وظيفية، وواحدة تتعلق بالأداء، وأربعة إخفاقات في البناء والاختبار. ^[1]

لم تكسر أيٌّ من هذه الحالات حمايةً أمنية. لكن هذا التوصيف لا ينبغي أن يُطمئن مشتري المؤسسات. كل حالة منها أدخلها وكيل كان يؤدي مهمته المحددة على الوجه الصحيح. الوكيل أصلح الخطأ الذي طُلب منه إصلاحه. لكنه غيّر أيضاً شيئاً مجاوراً — شيئاً لم يُطلب منه تغييره، شيئاً لم تكتشفه أي فحوصات آلية قبل أن يراجعه مهندس يدوياً.

إضافة المكوّن الخاص بالبحث عن الانتكاسات الذي بنته Trail of Bits تحديداً لمعالجة هذه المشكلة أنتج 25% نتائج إيجابية زائفة أقل مقارنةً بوكيل أساسي يُوجَّه ببساطة إلى "مراجعة طلب الدمج للكشف عن انتكاسات". ^[1] هذا التحسّن حقيقي. وهو في الوقت ذاته تذكير بأن فحصاً متخصصاً مصمماً من شركة أمنية تمتلك آلاف جلسات الوكلاء من الخبرة، لا يزال ينتج نتائج إيجابية زائفة ويستلزم مراجعة بشرية.

أوضح النقاش الذي أعقب ذلك على Hacker News الواقع الهندسي الكامن بجلاء: التعليمات وحدها غير كافية. وصف أحد المهندسين إعادة بناء منظومته حول فحوصات خوارزمية تُبصّم مقاطع الكود للتحقق من أن كل مهمة لا تؤثر إلا في المنطقة المقصودة، مع طبقات إضافية من التحقق فوق ذلك. جاءت الثقة لا من الائتمان الأعمى للنموذج، بل من تقييده. ^[2]

هذا هو إعادة الإطار الذكري الذي تحتاج فرق العمليات في الخليج إلى استيعابه قبل أي نشر قادم لأتمتة سير العمل.

لماذا تُضاعف سير عمل المؤسسات نطاق الضرر

انتكاسة في مستودع كود معزول تكلّف سبرينت هندسي لإصلاحها. انتكاسة في سير عمل مؤسسي حي — مرتبط بـ ERP وWMS وبوابة الموردين وسلسلة موافقات المالية — تكلّف شيئاً يصعب قياسه ويصعب التراجع عنه.

تأمّل عملية تداول خليجية متوسطة الحجم: سبعة عشر جدول بيانات تُغذّي نظام ERP واحد، ومحادثات WhatsApp كطبقة موافقة فعلية، ووثائق جمركية يجب أن تخلص من جبل علي في دورة أسبوعية ثابتة. أدخل وكيلاً ذكاءً اصطناعياً في هذه البيئة وأطلب منه أتمتة مطابقة الفواتير. الوكيل يطابق الفواتير. ويعدّل أيضاً تعيين حقل كان يعوّض عن خلل بيانات معروف في سجل الموردين. يختفي التعويض. يظهر الخلل من جديد. تذهب أربعون فاتورة إلى استثناءات يدوية. تمر نقطة القطع لشحنات رمضان.

الوكيل لم يرتكب خطأ بحسب منطقه. أجرى تغييراً كان غير مرئي لكل طبقة من طبقات التسجيل التي فكّر أحد في تنفيذها.

لهذا السبب تستلزم الحوكمة على مستوى المؤسسات ضوابط عبر خمسة نطاقات متمايزة قبل أن يغادر أي نشر للوكيل مرحلة التجريب: الوصول إلى البيانات، وتنسيق سير العمل، والهوية والصلاحيات، ومسارات التدقيق، والمرونة المعمارية. ثغرة في أي نطاق واحد منها كافية للظهور في دورة التدقيق التالية، أو في المراجعة التنظيمية، أو في الحادثة التشغيلية. ^[4]

التغييرات الأربعة التي يُجريها الوكيل ولا يسجّلها أحد

سجلات الخوادم القياسية مصممة لتسجيل حدوث استدعاء API. تلتقط المدخلات والمخرجات. لا تلتقط التفكير. تُنتج هذه الفجوة أربع فئات من التغيير غير المرئي في عمليات نشر أتمتة سير العمل النموذجية.

1. انجراف نطاق البيانات. وكيل مُمنوح وصولاً إلى البيانات التي يحتاجها للمهمة أ سيحتفظ، في كثير من التطبيقات، بوصول إلى مجموعات بيانات مجاورة لا يحتاجها للمهمة أ، لكن نموذجه يجدها ذات صلة سياقية. سجل الأحداث يُظهر عملية قراءة. لا يُظهر أن القراءة أثّرت في كتابة لاحقة لم تكن في مواصفات المهمة قط.

2. إزالة المنطق التعويضي. تراكم في أنظمة المؤسسات حلول جانبية. حقل من المفترض أن يحتوي على رمز مورّد يحتوي على رمز مورّد مدمج مع معرّف موقع لأن أحدهم رقّعه قبل ثلاث سنوات وبقيت الرقعة. وكيل يُوحّد هذا الحقل لصالح الاتساق يزيل الحل الجانبي. السجل يُظهر عملية كتابة. لا يُشير إلى أن الكتابة أتلفت رقعة حاملة للبنية.

3. افتراضات الحالة. يعمل الوكلاء على حالة النظام لحظة التنفيذ. إن كانت تلك الحالة يُفترض أنها مؤقتة — تعليق مفروض على حساب مورّد في انتظار نزاع مثلاً — فقد يُزيل الوكيل التعليق كجزء من إتمام مهمة أشمل دون أي تعليمات صريحة بذلك. السجل يُظهر تغيير حالة. لا يُظهر أن التغيير كان خارج النطاق.

4. ترتيب استدعاء الأدوات. في سير العمل متعددة الخطوات، التسلسل الذي تُستدعى فيه الأدوات مهم. وكيل يُكمل المهمة ذاتها بترتيب أدوات مختلف قد ينتج المخرج ذاته مع ترك حالات وسيطة تقرأها أنظمة أخرى. سجل المخرجات نظيف. الحالة الوسيطة ليست كذلك.

لا شيء من هذه التغييرات مرئي في سجل تدقيق قياسي. ^[3] وكلها سلوكيات طبيعية لوكيل قادر يعمل دون قيود صريحة. التمييز بين "الوكيل عمل" و"الوكيل عمل بصواب" يتطلب طبقة رؤية لم تبنها معظم فرق العمليات في الخليج بعد.

كيف تبدو طبقة حوكمة الوكيل الصحيحة

متطلب الحوكمة ليس غريباً. إنه انضباط هندسي مطبَّق على فئة جديدة من المشغّلين في منظومتك. المكوّنات معروفة.

مسارات تدقيق مزدوجة. مسار يُسجّل ما فعله الوكيل — كل استدعاء أداة، كل وصول إلى بيانات، كل تغيير حالة، مع طوابع زمنية. ومسار ثانٍ يُسجّل لماذا: مسار التفكير، ومصادر البيانات التي استُشيرت، والبدائل التي نظر فيها، والحالة المُشغِّلة. ^[3] بدون المسار الثاني، الأول مجرد قائمة وقائع بلا سياق. يصبح تحليل السبب الجذري بعد الحادثة ضرباً من التنقيب الأثري.

هوية محدودة النطاق. ينبغي لكل وكيل أن يعمل تحت حساب خدمة بصلاحيات مقيّدة بالمهمة المطلوبة. وكيل مطابقة الفواتير لا ينبغي أن يملك صلاحية كتابة في سجل الموردين. وكيل يُولّد أوامر الشراء لا ينبغي أن يكون قادراً على اعتمادها. هذه ليست مبادئ أمنية مستحدثة؛ إنها ضوابط وصول قائمة على مبدأ أقل الصلاحيات مطبَّقة على هوية غير بشرية. ^[4]

حواجز حتمية عند حدود المهام. قبل أن يبدأ الوكيل مهمة، يجب على النظام أن يُبصّم حالة كل كائن بيانات ستمسّه المهمة. بعد إتمام الوكيل للمهمة، يقارن النظام التغييرات الفعلية بالتغيير المتوقع. التغييرات خارج ذلك التغيير تُشغّل إيقافاً للمراجعة البشرية، لا نشراً تلقائياً. هذا هو النمط المعماري الذي وصف المهندس في نقاش Trail of Bits بناءه من الصفر — وهو النمط الذي ينبغي أن يكون معياراً في أي نشر محكوم. ^[2]

فحوصات الانتكاس كخطوة أولى في سير العمل. بنت Trail of Bits أداة regression-hunt تحديداً لأن فحص الانتكاس لم يكن يجري كأمر معتاد. ^[1] ينبغي لفرق أتمتة سير عمل المؤسسات أن تعامل اختبار الانتكاس في سلوك الأنظمة المجاورة كبوابة إلزامية، لا كنشاط اختياري بعد النشر.

استقلالية معمارية. لا ينبغي بناء بنية تحتية للحوكمة على نفس منظومة المورّد التي تحكمها. إن كانت طبقة التنسيق ومسار التدقيق وحواجز الحماية تعتمد جميعها على مزوّد نموذج واحد، فإن إيقاف نموذج أو تغيير API قد يُعطّل وكلاءك وقدرتك على تدقيق ما فعلوه في آنٍ واحد. ^[4]

هذا النهج متعدد الطبقات هو أيضاً ما نستعرضه في دليلنا العملي لتدقيق وكلاء الذكاء الاصطناعي قبل الوثوق بهم في العمليات، ويرتبط مباشرةً بأسئلة الحوكمة التي أثرناها في مقالنا عن ما يحتاج المشغّلون في الخليج إلى تحديده بشأن المؤسسة المستقلة من SAP.

رأي تارسين: أتمت المهمة، دقّق النظام

نعمل مع مشغّلين في الخليج يقعون تحت ضغط حقيقي للأتمتة. الحجة التنافسية حقيقية. مكاسب الكفاءة حقيقية. لسنا هنا لنُبطئ ذلك.

لكننا رأينا أيضاً ما يحدث حين تنشر مؤسسة طبقة وكلاء فوق عملية لم يُرسم مخططها يوماً — حين يبدأ مشروع أتمتة سير العمل قبل أن يُوثّق أحد الحالة الفعلية للنظام، بما فيها الحلول التعويضية السبعة عشر التي تُبقيه يعمل. اضرب الفوضى في الذكاء تحصل على فوضى فصيحة. الوكيل سيُنجزها بسرعة أكبر وبلغة أرقى.

اكتشاف Trail of Bits مفيد بالضبط لأنه جاء من فريق صارم يعمل بعناية على مسألة محددة — تصحيح الثغرات الأمنية — مع بنية تحتية متخصصة لفحص الانتكاس. ومع ذلك وجدوا 21 تغييراً غير مقصود في 130 مهمة. ^[1] هذه ليست نسبة فشل. إنها خط قياس. إنه ما يُنتجه وكيل قادر يعمل بصواب حين النظام المحيط به غير مصمم للتمييز بين "المهمة مكتملة" و"النظام لم يتغيّر".

بالنسبة لفرق العمليات في الخليج، السؤال ليس ما إذا كانت الأتمتة مطلوبة. السؤال هو ما إذا كانت طبقة الحوكمة موجودة قبل أن تتوسع الأتمتة. وهذا يعني تدقيقاً صحيحاً للنظام قبل أن يلمسه الوكيل — لا بعده. تدقيق تارسين مصمم لهذا بالضبط: رسم خريطة لما تُنجزه عملياتك فعلياً (بما فيه المنطق التعويضي الذي لم يُوثّقه أحد)، ثم تصميم أتمتة قابلة للمراقبة والتقييد والتراجع.

الوكلاء قادرون. السؤال هو هل رقابتك على مستواهم.

للمزيد حول ما يحدث حين يعمل الوكلاء دون ضوابط كافية، اطّلع على تحليلنا لـ تسريب بيانات Slack ومسؤولية الذكاء الاصطناعي في المؤسسات وطرحنا الأشمل حول لماذا يحتاج ذكاء الأعمال الاصطناعي الآن إلى طبقة تقييم لا مجرد مورّد.