محمود عبدالنبي
المسار المهني والمهارات · أداة سطر أوامر · 2

دليل المستودع: مجموعة اختبار تراجع أوامر التسويق عند تحديث إصدارات نماذج اللغة

صفحة تعريفية مستقلة بمستودع مجموعة اختبار تراجع أوامر التسويق عند تحديث إصدارات نماذج اللغة. توضّح ما الذي يحاول حله، ولمن يناسب، وما الملفات التي ستجدها قبل الانتقال إلى المصدر.

المشكلة التي يعالجها

يوضح التوثيق الأصلي نطاق المشكلة بهذا الوصف:

Build an open-source prompt regression testing framework for marketing teams (prompt_eval_runner.py): 1) Evaluates prompt outputs against strict assertions (Valid JSON schema, Max word count, Presence of required CTA, Absence of forbidden AI clichés like 'delve' or 'game-changer'), 2) Calculates semantic tone similarity against golden reference answers, 3) Terminal pass/fail test reports suitable for CI/CD.

لمن صُمم؟

الجمهور المحدد في README: PRO operating in high-growth e-commerce, digital publishing, and direct-response marketing across Saudi Arabia, UAE, and Egypt.

محتويات المستودع

الملفات الأساسية التي يسردها قسم بنية المستودع في README:

  • eval_suites/ad_copy_json_suite.json
  • eval_suites/seo_meta_suite.json
  • LICENSE
  • README.md
  • reports/sample_eval_report.html
  • src/prompt_eval_runner.py
  • tests/test_runner.py

طريقة مراجعته واستخدامه

  1. ابدأ بقراءة README وتأكد أن المشكلة المذكورة تطابق احتياجك الفعلي.
  2. افحص الملفات المذكورة أعلاه؛ أسماء الملفات توضح مكان البيانات والأدوات والقوالب والاختبارات.
  3. اتبع Quick Start الموجود في README، وتحقق من المتطلبات قبل تشغيل أي أمر.
  4. قارن المخرجات بعينة موثقة، وراجع القيود قبل استخدامها في قرار أو عمل عميل.

أمثلة أوامر البدء من README: python -m unittest discover -s tests · python src/prompt_eval_runner.py --help

النطاق والقيود

  • Deterministic Evaluation Fixtures: Runs assertions against LLM outputs across version upgrades to detect regression in tone, dialect, or factual accuracy.
  • Multi-Model Parity: Evaluates prompt performance across GPT-4o, Claude 3.5 Sonnet, and Gemini 1.5 Pro to identify breaking prompt behaviors.
  • Hallucination Score Bounds: Quantifies factual consistency and flags forbidden promotional superlative claims.

هذه الصفحة تلخص التوثيق المتاح ولا تثبت أداءً أو نتيجة تجارية. تحقق من صلاحية البيانات والمتطلبات قبل الاستخدام.

مستودعات مرتبطة