trustgraph/docs/tech-specs/jsonl-prompt-output.ar.md

JSONL Prompt Output Technical Specification

Overview

تصف هذه المواصفات تنفيذ تنسيق إخراج JSONL (JSON Lines) لنتائج المطالبات في TrustGraph. يتيح JSONL استخراجًا مقاومًا للتقطيع للبيانات المنظمة من استجابات نماذج اللغة الكبيرة (LLM)، مما يعالج المشكلات الهامة المتعلقة بتلف مخرجات JSON array عندما تصل استجابات نماذج اللغة الكبيرة إلى حدود عدد الرموز المميزة للإخراج.

تدعم هذه التنفيذ حالات الاستخدام التالية:

1. استخراج مقاوم للتقطيع: استخراج نتائج جزئية صالحة حتى عندما يتم تقطيع إخراج نموذج اللغة الكبيرة في منتصف الاستجابة.
2. استخراج واسع النطاق: التعامل مع استخراج العديد من العناصر دون خطر الفشل التام بسبب حدود عدد الرموز المميزة.
3. استخراج متعدد الأنواع: دعم استخراج أنواع متعددة من الكيانات (التعريفات، والعلاقات، والكيانات، والسمات) في طلب واحد.
4. إخراج متوافق مع البث: تمكين المعالجة المستقبلية للبث/المعالجة التزايدية لنتائج الاستخراج.

الأهداف

• تحسين مقاومة الأخطاء: التعامل مع الحالات التي يتم فيها تقطيع استجابات نماذج اللغة الكبيرة.
• زيادة الكفاءة: تحسين استخدام الذاكرة في معالجة الاستجابات الكبيرة.
• تسهيل التوسع: دعم حالات استخدام أكثر تعقيدًا تتطلب استخراج أنواع متعددة من البيانات.

التغييرات

• إضافة تنسيق إخراج جديد: JSONL
• تعديل طريقة تحليل استجابات نماذج اللغة الكبيرة
• تعديل واجهات برمجة التطبيقات (APIs) لدمج التنسيق الجديد

تفاصيل التنفيذ

تحليل JSONL

يتم تحليل استجابات JSONL سطرًا بسطر، مما يسمح باستخراج جزئي حتى في حالة حدوث أخطاء أو تقطيع.

مخططات التحقق

يتم التحقق من صحة كل كائن JSONL بشكل فردي مقابل المخطط المحدد.

واجهات برمجة التطبيقات (APIs)

تظل واجهات برمجة التطبيقات (APIs) ثابتة. لا يلزم إجراء تغييرات على التعليمات البرمجية التي تستهلك النتائج.

خطة الترحيل

1. تنفيذ: تنفيذ التحليل والتحقق من صحة JSONL.
2. ترحيل المطالبات: ترحيل المطالبات الحالية إلى تنسيق JSONL.
3. تحديث التعليمات البرمجية: تحديث التعليمات البرمجية التي تستهلك النتائج للتعامل مع التغييرات.
4. الاختبار: إجراء اختبار شامل لضمان التكامل السليم.

اعتبارات الأمان

• تستخدم طريقة التحليل وظيفة json.loads() القياسية، وهي آمنة ضد هجمات حقن التعليمات البرمجية.
• تستخدم وظيفة التحقق من المخطط jsonschema.validate() لفرض سياسات المخططات.
• لا توجد نقاط ضعف أمنية جديدة تم تقديمها.

اعتبارات الأداء

• يستهلك تحليل JSONL سطرًا بسطر ذاكرة أقل من تحميل مصفوفات JSON بأكملها.
• أداء التحليل مماثل لتحليل مصفوفات JSON.
• يضيف التحقق من المخطط تكلفة إضافية، ولكن يسمح بالنتائج الجزئية في حالة فشل التحقق.

استراتيجية الاختبار

• اختبارات الوحدة: اختبار تحليل JSONL، والتحقق من صحة المخططات، والتوافق مع الإصدارات السابقة.
• اختبارات التكامل: اختبار سير العمل الشامل، بما في ذلك المحاكاة لتقطيع الاستجابة.
• اختبارات جودة الاستخراج: مقارنة نتائج الاستخراج بين تنسيقات JSON ومصفوفات JSON.

أسئلة مفتوحة

لا يوجد أسئلة مفتوحة في الوقت الحالي.

المراجع

• التنفيذ الحالي: trustgraph-flow/trustgraph/template/prompt_manager.py
• مواصفات JSON Lines: https://jsonlines.org/
• مواصفات JSON Schema oneOf: https://json-schema.org/understanding-json-schema/reference/combining.html#oneof
• مواصفة ذات صلة: بث استجابات نماذج اللغة الكبيرة (docs/tech-specs/streaming-llm-responses.md)