التقييم (evals) والقابلية للمراقبة

حتى الفصل السابق صمّمنا وكلاء يملكون أدوات، ويستخدمون الذاكرة، ويقتسمون العمل بعدّة أجساد. وهنا جدارٌ يصطدم به كثير من المطوّرين: مشكلة «صنعته، حسناً، لكن لا أدري هل يعمل حقّاً كما ينبغي». لأنّ الوكيل يتحرّك احتمالياً، فبالتعليمة نفسها لا يتحرّك في كلّ مرّة بالطريقة نفسها تماماً. لهذا بالذات يصير «آلية القياس (التقييم)» و«آلية جعله مرئيّاً (القابلية للمراقبة)» شريان الحياة عند الطرح في العمل الفعلي. في هذا الفصل نبني الأساس لأن تمسك بالجودة بالأرقام، وتعيد إنتاج الفشل، وتديم إدارة التحسين.

لماذا التقييم هو الأهمّ

البرنامج العاديّ، إن أعطيته الدخل نفسه أعاد النتيجة نفسها. لكنّ في قلب الوكيل يقف الـLLM، وخرْجه احتماليّ. بالتعليمة نفسها، تتغيّر قليلاً في كلّ مرّة الأدواتُ المختارة والخطواتُ والصياغة. أي إنّ عمله جيّداً مرّةً لا يضمن أبداً نجاحه في المرّة التالية.

وهنا مزلق خاصّ بتطوير الوكلاء. أن يعمل بإتقان في العرض، ثم ينهار فور أن يطلب مستخدم حقيقيّ الأمر بصيغة مختلفة قليلاً — هذا ليس نادراً. والسبب بسيط: «عمل» لا يعني حتماً «صحيح». قد يكون سحب الجواب الصحيح صدفةً، وقد يخطئ في ثلاث من عشر مرّات. ولمعرفة ذلك، لا سبيل إلا العدّ.

والمهمّ الآخر ألّا تؤجّل التقييم. لا حاجة لأساس تقييم مكتمل من البداية. لكن حين تمضي بمنطق «اصنع أوّلاً، وإن عمل ففكّر بالتقييم»، فغالباً لا يُصنع التقييم أبداً. أن تبدأ القياس فور صنع أول وكيل ولو صغيراً هو — رغم أنه يبدو التفافاً — أقصر طريق. للصورة الكاملة للتقييم الدليل العمليّ لتقييم وكلاء الذكاء الاصطناعي، ولمعنى المصطلح أصلاً ما هو تقييم الوكلاء (evals) مدخل.

ماذا نقيّم ― النتاج والمسار

حين يسمع الناس «نقيّم»، يتصوّر كثيرون هل الجواب النهائي صحيح فحسب. هذه نقطة انطلاق حقّاً، لكنّها لا تكفي في الوكلاء. لأنّ «ماذا فعل في الطريق» مهمّ جداً في الوكيل. حتى لو بلغ الجواب الصحيح، لو استدعى أدواتٍ لا لزوم لها عشر مرّات وبدّد الوقت والتكلفة، فلا يصلح للعمل الفعلي. وبالعكس، قد يخطئ الجواب بشعرة، لكنّ الأحكام في الطريق كانت صحيحة.

لذا نفكّر في هدف التقييم مقسّماً إلى أربعة جوانب. إن أبقيت هذه الأربعة في ذهنك، زالت حيرة «لا أدري ماذا أقيس».

خمسة أساليب للتقييم

«إذن كيف نقيس» — هنا صلب العمل الفعليّ. لأساليب التقييم أنواع عدّة، ولكلٍّ مواطن قوّة وضعف مختلفة. القاعدة ألّا تتّكل على واحد، بل تركّب حسب الهدف المُقاس. لننظر إلى خمسة ممثِّلة، مع محاسنها ومساوئها.

كيف تصنع بيانات التقييم (مجموعة الاختبار)

مهما كان الأسلوب، فأساسه «مادّة ما تقيس» = بيانات التقييم (مجموعة الاختبار). وهي بإيجاز مجموعة من المهامّ الممثِّلة تقول «أمام هذا الدخل، أريد هذه النتيجة». إن كانت هزيلة، فلا يُعتمد على أيّ أسلوب تقييم مهما كان بديعاً. وبالعكس، إن امتلكت مجموعة اختبار جيّدة، فكأنّ ثمانين بالمئة من التقييم قد نجحت.

طريقة الصنع بسيطة، تمضي بالترتيب التالي. بدل السعي للكمال، القاعدة الذهبية أن تبدأ صغيراً وتربّي.

القابلية للمراقبة ― جعل الحركة مرئيّة

إن كان التقييم «قياس الجيّد من الرديء»، فإنّ القابلية للمراقبة (observability) هي جعل «لماذا صار هكذا» قابلاً للتتبّع. حتى لو عرفت بالتقييم أنّ «معدّل النجاح انخفض»، فـما لم تستطع رؤية ما جرى في داخله، فلا سبيل للإصلاح. لأنّ الوكيل يدير عدّة خطوات داخلياً، فمن الخارج يبدو صندوقاً أسود «أدخلتُ دخلاً، فحدث شيء، فظهرت نتيجة». والقابلية للمراقبة هي فتح هذا الصندوق وجعل داخله مرئيّاً.

عناصر القابلية للمراقبة أساساً ثلاثة.

تستطيع أن تكتب هذه في السجلّ يدوياً، لكنّ العرف في العمل الفعليّ أن تستخدم أداة تتبّع (tracing). أداةُ التتبّع تلتقط كلّ خطوة من خطوات الوكيل آلياً، وتصوّرها بوضوح شجرةً زمنيّة. فيصير مرئيّاً بلمحة «في أيّ خطوة استغرق الوقت» و«أين فشل استدعاء الأداة» و«بأيّ حكمٍ انحرف إلى اتجاه غريب».

إدارة حلقة التحسين

الأدوات التي جهّزناها حتى هنا — التقييم ومجموعة الاختبار والقابلية للمراقبة — تنفع كلٌّ منها منفرداً، لكنّ قيمتها الحقّة تظهر حين تديرها حلقةً واحدة. تطوير الوكلاء ليس «تصنع مرّةً فيكتمل»، بل عملٌ يحسّن شيئاً فشيئاً بدورة قِس، واكتشف الضعف، وأصلِح، وقِس ثانية.

لهذه الحلقة حيلة مهمّة واحدة: أن يكون ما تغيّره في المرّة الواحدة واحداً قدر الإمكان. لو غيّرت التعليمة والأدوات والمسار في آنٍ، فحتى لو ارتفع معدّل النجاح لم تعرف «أيّ تغيير أثّر». ولأنّك تغيّر واحداً وتقيس، يتّصل السببُ بين التغيير والنتيجة، وتتراكم المعرفة. متواضعٌ، لكنّه الحدّ الفاصل بين «التحسين على نحو غامض» و«التحسين المؤكّد».

حين تستطيع قياس الجودة وجعل الحركة مرئيّة، فالتالي «كيف تمنع الانفلات والخطأ التشغيليّ وسوء الاستخدام». لنتعلّم تصميماً يتعامل بأمان مع الاستقلالية التي كثّرناها في الفصل الرابع «تصميم الوكلاء المتعدّدين». نمضي إلى الفصل السادس «الحواجز الواقية والأمان».