قد ينتج النموذج نصًا فصيحًا لكنه يفشل في المهمة التسويقية. قيّم المخرج بأمثلة ذات إجابات معروفة وحالات طرفية واقعية وباللغة التي سيستخدمها الناس.
أنشئ عينة اختبار صغيرة قبل الإطلاق
لمساعد يصنف الاستفسارات، ضمّن طلبًا عاديًا، وطلبًا ينقصه الموقع، وآخر خارج التغطية، وطلبًا متناقضًا، ورسالة عربية بها اختلاف لهجة أو تهجئة. اكتب المسار المتوقع وسببه لكل حالة. أبقِ البيانات الشخصية خارج الاختبار إلا إذا كانت ضرورية وتُعالج بأمان.
قيّم كل مخرج منفصلًا من حيث:
- صحة تصنيف المهمة؛
- استخراج الحقول المطلوبة دون اختلاق؛
- الادعاء غير المسند أو التفصيل المفبرك؛
- التصعيد الصحيح عند الشك؛
- المعنى والنبرة بالعربية؛
- صحة البنية إذا استهلك النظام النتيجة.
لا تُخفِ الأخطاء داخل متوسط. قد يفوق أثر سعر مختلق أو تصعيد سلامة فائت عشرات التصنيفات الروتينية الصحيحة.
قارن بخط أساس
شغّل الحالات نفسها على الإجراء البشري أو القائم على القواعد. سجّل النموذج والموجّه والمصادر والتاريخ والنسخة بدقة. راجع الإخفاقات حسب خطورتها لا تكرارها فقط. واحتفظ بعينة لم تدخل في الضبط حتى لا تقيس أمثلة تعلّم النظام حفظها.
حدد شروط الإطلاق مسبقًا: ما الذي يجب أن يكون صحيحًا دائمًا؟ وما الذي يمكن أن يراجعه إنسان؟ وما الذي يعود للمسار اليدوي؟ أعد الاختبار بعد تعديل النموذج أو الموجّه أو المصادر أو سير العمل. اجتياز عينة يثبت نطاقها المختبر فقط، لا موثوقية عامة.
موجز عمل اختياري بمساعدة الذكاء الاصطناعي — عينة تقييم صغيرة
أنشئ عينة تشمل حالات معتادة وطرفية وملتبسة وثنائية اللغة وعدائية. عرّف الإجابة المرجعية ومقياس شدة الخطأ قبل تشغيل النموذج. قيّم دقة الحقائق واتباع التعليمات والنبرة وتسرب الخصوصية وجهد المراجع كلًا على حدة. احتفظ بعينة غير مستخدمة للمقارنة اللاحقة. اعرض أمثلة الإخفاق وحدود الثقة؛ ولا تدّعِ الجودة من مخرجات ناجحة منتقاة.
سيناريو تطبيقي — مثال تقييم تشغيل
لكل حالة، قيّم السند الواقعي واتباع التعليمات وملاءمة اللغة والخصوصية والفائدة وفق مقياس محدد. ادعاء خصم مختلق إخفاق جسيم ولو بدا النص مصقولًا. قارن المخرج بمرجع بشري واحفظ المدخل والإصدار. اذكر المقام: «اجتازت ١٧ من ٢٠ حالة هذا المقياس»، لا «دقة النموذج ٨٥٪» في كل التسويق.
إفصاح عن الذكاء الاصطناعي: ساعدت أدوات الذكاء الاصطناعي في المسودة. الحالة توضيحية وليست معيارًا معتمدًا.