53 وكيل ذكاء اصطناعي تحت الاختبار: ماذا تعني نسبة الأخطاء لعملياتك؟

وضع فريق من الباحثين 53 وكيل ذكاء اصطناعي مفتوح المصدر تحت اختبارات سلوكية منهجية، وخرجوا بـ37 خللًا موثقًا.^[1] في الفترة ذاتها تقريبًا، أجرت جامعة كارنيغي ميلون بالتعاون مع Salesforce دراسةً اختبرت فيها كبرى الوكلاء التجاريين في بيئة مكتبية محاكاة، فتبيّن أنهم فشلوا في ما يقارب 70% من المهام المعيارية.^[2] إن كنت مدير عمليات في منطقة الخليج يتلقى عروضًا لوكلاء أتمتة سير العمل المستقلة هذا الربع، فهذان الرقمان يستحقان مكانًا ثابتًا على قائمة تقييمك — لا أن يُطمرا في ملخص أكاديمي.

ما الذي اختبرته دراسة الـ53 وكيلًا فعليًا — ولماذا تهم المنهجية

لم يكن الباحثون وراء اختبار الـ53 وكيلًا يُجرون مراجعات مزاجية. لقد طبّقوا اختبارات سلوكية منهجية — من النوع الذي يستكشف كيف يتصرف الوكيل حين تصبح المهمة ملتبسة، أو حين ينكسر سلسلة متعددة الخطوات في منتصف تنفيذها، أو حين تعرّض له البيئة شيئًا خارج نطاق تدريبه.^[1] وقد كشف هذا الإجراء عن 37 خللًا — أي ما يعادل تقريبًا خللًا واحدًا مؤكدًا لكل 1.4 وكيل تم تقييمه.

المنهجية مهمة لأن معظم عروض الذكاء الاصطناعي المؤسسي تسير في الاتجاه المعاكس تمامًا: مدخلات مُحكمة الاختيار، وبيانات نظيفة، وبيئات تعاونية. الاختبار السلوكي هو اختبار تعارض بطبيعته. يطلب من الوكيل أن يواجه ما سيواجهه فعلًا في الإنتاج — تعليمات ناقصة، وبيانات فوضوية، ومهام تستلزم الحكم لا مجرد الاسترجاع. الفجوة بين الأداء في العرض التجريبي والأداء في الاختبار السلوكي هي المكان الذي تُحرق فيه فرق الشراء.

أنماط الفشل التي تظهر في سياقات سير العمل المؤسسي

دراسة كارنيغي ميلون أكثر صراحةً في وصف كيف يبدو الفشل على أرض الواقع. بنى الباحثون شركة تقنية محاكاة تعمل فيها وكلاء ذكاء اصطناعي بالكامل، مستخدمين نماذج من OpenAI وGoogle وAnthropic وAmazon. شملت البيئة أدوارًا — مدير تقني، مدير موارد بشرية، مهندس — ومهامًا مستمدة من المجالات المالية والإدارية والهندسية.^[2] والنتائج لم تكن متقاربة:

1. Claude 3.5 Sonnet (Anthropic): إتمام 24% من المهام — الأفضل أداءً في الدراسة
2. Gemini (Google): إتمام 11% من المهام
3. Nova (Amazon): إتمام 1.7% من المهام^[2]

الوكلاء أخذوا يضيعون بشكل متكرر، ويلجؤون إلى اختصارات خاطئة، ويفشلون في المهام متعددة الخطوات التي يُنجزها أي موظف بشري كفء في دقائق.^[2] إغلاق نافذة منبثقة. إيجاد الزميل المناسب. المهام ذات الخطوات المتسلسلة الكثيرة — وهي بالضبط تلك التي تسكن داخل كل عملية نشر لأتمتة سير العمل — كانت تنتهي بالفشل في الغالب.

ثمة مشكلة موثوقية أعمق تكمن تحت أرقام الدقة هذه. كشفت أبحاث في تقييم الوكلاء المؤسسيين أن أداء الوكيل تراجع من 60% في تشغيل واحد إلى 25% عبر ثمانية تشغيلات متتالية.^[4] العرض التجريبي الذي ينجح مرة واحدة ليس دليلًا على الموثوقية الإنتاجية. اضرب الفوضى في الذكاء وستحصل على فوضى بليغة — الوكيل يفشل بطرق جديدة وبثقة في كل مرة.

لماذا لا تختفي مخاطر الوكيل مفتوح المصدر عند شراء غلاف تجاري

هذا هو الجانب الذي نادرًا ما يسمعه المشترون في الخليج: كثير من منتجات وكلاء الذكاء الاصطناعي التجارية هي في الحقيقة أغلفة حول نوى نماذج مفتوحة المصدر. بنى المورد واجهة مستخدم، وأضاف بعض الضوابط، وكتب طبقة تكامل — لكن النموذج الأساسي الذي يتخذ القرارات غالبًا ما يكون النموذج ذاته الذي ظهر في تلك الاختبارات السلوكية برصيد 37 خللًا.^[1]

هذا ليس انتقادًا للمصدر المفتوح. الوكلاء مفتوحو المصدر قابلون للتدقيق، وهذه ميزة فعلية — يمكنك فحص سلوكهم. المشكلة أن الغلاف التجاري قد يُعتم على أنماط الفشل دون أن يعالجها. الوكيل لا يزال يلجأ إلى اختصارات خاطئة. لا يزال يضيع في تسلسلات متعددة الخطوات. الفرق أن المنتج التجاري قد يمنحك رؤية أقل حول سبب فشله.

بالنسبة لفرق العمليات في الخليج التي تُدير الشراء، وسلاسل الموافقة اللوجستية، أو سير عمل التواصل مع الموردين عبر هؤلاء الوكلاء، فإن مخاطر الفشل غير المرئي حقيقية وجسيمة. وكيل يُوجّه أمر شراء خاطئًا بثقة تامة في الثانية صباحًا في عملية تجارية بجبل علي لن يُرسل رسالة خطأ مؤدبة. سيواصل المضي قُدُمًا.

هذا يرتبط مباشرةً بنمط أوسع شهدناه عبر عمليات نشر الذكاء الاصطناعي المؤسسي: حين يعمل وكلاء الذكاء الاصطناعي دون رقابة كافية، تنتقل المسؤولية القانونية بهدوء إلى المشتري. معدل الفشل البالغ 70% ليس مجرد مشكلة جودة منتج — إنه مشكلة توزيع مخاطر.^[2]

كيف تُجري فحص موثوقية ما قبل النشر لأي وكيل ذكاء اصطناعي

يتقارب أدب الأبحاث على نهج تقييم متعدد الأبعاد. إطار CLEAR — التكلفة والكمون والفعالية والضمان والموثوقية — صُمِّم تحديدًا لأن التقييم القائم على الدقة وحدها ينتج وكلاء تكلفتهم أعلى بـ4.4 إلى 10.8 مرة مقارنةً بالبدائل الواعية بالتكلفة ذات الأداء المماثل.^[4] وأكد خبراء التقييم أن CLEAR يتنبأ بنجاح الإنتاج بصورة أفضل (معامل الارتباط ρ = 0.83) مقارنةً بالتقييم القائم على الدقة وحده (ρ = 0.41).^[4]

ترجمةً لذلك إلى قائمة فحص ما قبل النشر يستطيع أي فريق عمليات خليجي تطبيقها:

1. حدّد مهامًا تمثيلية لا مهامًا استعراضية. استخرج عشرة سيناريوهات حقيقية من عمليات الشهر الماضي — بما فيها الحالات الاستثنائية الثلاث الأكثر إزعاجًا. شغّل الوكيل عليها، لا على مجموعة العروض المُختارة من المورد.
2. شغّله مرات متعددة، لا مرة واحدة. النجاح في تشغيل واحد لا قيمة له. إن أتمّ الوكيل المهمة ثماني مرات متتالية بمخرجات متسقة، فلديك دليل. أما إن تفاوت تفاوتًا حادًا، فلديك عرض تجريبي لا نظام.^[4]
3. قِس تكلفة كل مهمة إلى جانب الدقة. التحسين على الدقة وحدها يؤدي إلى تجاوز التكاليف. وكيل يُتمّ 80% من المهام بعشرة أضعاف تكلفة الحوسبة المتوقعة ليس انتصارًا.^[4]
4. اختبر أنماط الفشل صراحةً. أدخل عليه بيانات ناقصة. أعطه تعليمات متناقضة. أضف خطوة موافقة مفقودة. وكيل يفشل بصوت عالٍ ويتوقف أكثر أمانًا من وكيل يفشل بصمت ويواصل المسير.
5. تحقق من الامتثال للسياسات والتعامل مع البيانات. وهذا ذو أهمية خاصة في السياق الخليجي حيث تبرز مسألة الإقامة الجغرافية للبيانات، ودقة اللغة العربية، وصلاحية الموافقة. هل يحترم الوكيل الهيكل التنظيمي؟ هل يُصعّد الأمور حين ينبغي له ذلك؟

كتبنا دليلًا أكثر تفصيلًا حول هذه العملية في كيف تُدقق في وكيل الذكاء الاصطناعي قبل أن تثق به في عملياتك. الصيغة المختصرة: إن كنت لن توظّف موظفًا بشريًا دون فترة تجربة ومراجعة أداء، فلا ينبغي لك نشر وكيل ذكاء اصطناعي دون بوابة اختبار منهجية.

رأي تارسين: شراء الوكلاء يحتاج بوابة اختبار، لا قفزة عمياء في الثقة

دراسة الأخطاء التي شملت 53 وكيلًا وبيانات معدل الفشل من كارنيغي ميلون ليست حججًا ضد أتمتة سير العمل. هي حجج ضد الشراء الكسول. المؤسسات التي ستجني قيمة حقيقية من وكلاء الذكاء الاصطناعي هي تلك التي تختبر قبل أن تلتزم — لا تلك التي تشتري بناءً على عرض تجريبي، وتنشر على نطاق واسع، وتكتشف أنماط الفشل في الإنتاج.

كنا نُقدّم هذه الحجة قبل أن تصدر هذه الدراسات: معظم الشركات لا تحتاج إلى ذكاء اصطناعي أكثر — تحتاج إلى إصلاح ما لديها. هذا لا يزال صحيحًا. لكن الفروق الدقيقة تتطور. باتت فرق العمليات الخليجية في مرحلة يصبح فيها السؤال ليس هل نستخدم الوكلاء، بل أيّ وكلاء، ولأيّ سير عمل، وبأي ضوابط. هذا سؤال أفضل. يستلزم فقط إجابة منهجية.

دورة شراء وكلاء الذكاء الاصطناعي في الخليج مدفوعة حاليًا بضغط الموردين، وضغط الأقران، وحاجة تشغيلية حقيقية للحد من العمليات اليدوية. هذه دوافع مشروعة. المشكلة أن لا أحدها يُشكّل إطار تقييم. معدل فشل 70% عبر المهام المكتبية المعيارية يعني أن الوكيل الذي يبدو مثاليًا في قاعة الاجتماعات قد يُسجّل أوامر شراء وهمية في مستودعك.^[2]

موقفنا واضح: أجرِ التدقيق قبل النشر قبل أن يلمس أي وكيل سير عملًا حيًا. ليس لأن وكلاء الذكاء الاصطناعي سيئون — بعضهم سيُحسّن عملياتك فعلًا — بل لأن الطريقة الوحيدة لمعرفة أيّ الفئتين تتعامل معها هي الاختبار. سبعة عشر جدول بيانات تتعقب بيانات خاطئة مشكلة. وكيل ذكاء اصطناعي يُؤتمت بثقة سبعة عشر جدول بيانات من بيانات خاطئة هي المشكلة ذاتها تسير بوتيرة أسرع.

منحت الأبحاث الآن فرق الشراء شيئًا نادرًا: تحققًا خارجيًا بأن التشكيك كان مبررًا وأن الحذر كان صوابًا. استخدموه. الذكاء الاصطناعي المؤسسي يحتاج الآن إلى طبقة تقييم، لا مجرد علاقة مع مورد — واكتشاف الـ37 خللًا من بين 53 وكيلًا هو الحجة الأوضح حتى الآن على لماذا يجب أن توجد تلك الطبقة قبل أن توقّع على أي شيء.