Fruga

مدقّق JSONL للضبط الدقيق

افحص ملف التدريب قبل الرفع لا بعده: الأسطر المعطوبة، والأدوار التي لا يقبلها أي مدرّب، والأمثلة التي لا شيء فيها ليتعلّمه النموذج، والمكرّرات، وكم يكلّف كل مثال من التوكنات فعلاً. مجموعة بياناتك لا تغادر هذا التبويب.

  • يفحصالبنية والأدوار والحجم والمكرّرات
  • الصيغmessages أو prompt/completion
  • بياناتكلا تغادر التبويب أبداً
الأمثلة
5
messages (محادثة)
صالحة
3
2 فيها أخطاء
تحذيرات
2
تستحق نظرة
مكرّرات
1
المحتوى نفسه
التوكنات
≈ 138
مرور واحد على المجموعة
لكل مثال
≈ 42
7 - 47

ملف JSONL

كائن JSON واحد في كل سطر. الأسطر الفارغة تُتجاهل.

الملف المنظَّف يحذف

سيُحتفظ بـ 2 من أصل 5 من الأسطر، ويُعاد تسلسل كل مثال في سطر واحد.

لم يُرفع شيء، فالفحص كله جرى في هذا التبويب.

سطراً سطراً

عدد الأسطر التي ستُفشل الرفع: 2.

  • السطر 1messages (محادثة) · ≈ 42 توكن

    {"messages":[{"role":"system","content":"You answer support questions in the customer's language."},{"role":"user","cont

  • السطر 2messages (محادثة) · ≈ 47 توكن

    {"messages":[{"role":"system","content":"You answer support questions in the customer's language."},{"role":"user","cont

  • السطر 3messages (محادثة) · ≈ 42 توكن

    مكرّر للسطر 1

  • السطر 4messages (محادثة) · ≈ 7 توكن

    لا رسالة من assistant، فلا شيء في المثال ليُتعلَّم

    الرسالة 2 تكرّر الدور "user"، ومعظم المدرّبين يتوقّعون تناوب الأدوار

    لا ينتهي بدور assistant، والدور الأخير هو ما يُتعلَّم

  • السطر 5غير معروفة · ≈ 0 توكن

    JSON غير صالح: Unterminated string

عدد التوكنات هنا هو التقدير نفسه (بهامش ±20%) الذي تعتمده حاسبة التوكنات أيضاً. لتقدير فاتورة التدريب اضرب المجموع في سعر التدريب لدى مزوّدك ثم في عدد الحقب (epochs).

ما الذي يُعدّ خطأ

كل ما يوقف الرفع: سطر ليس JSON، أو سطر ليس كائناً، أو مصفوفة messages فارغة، أو دور ناقص أو غير معروف، أو محتوى فارغ، أو مثال بلا دور للمساعد، وهو مثال لا شيء فيه ليتعلّمه النموذج.

ما هو مجرّد تحذير

ما يختلف فيه المزوّدون: دورا tool وdeveloper، ودوران متتاليان من الجهة نفسها، ومثال لا ينتهي بدور المساعد، والأمثلة القصيرة جداً. التدريب عليها ممكن، لكنها تعني عادةً أن التصدير أخطأ في مكان ما.

لماذا تهمّ المكرّرات

المثال المكرّر يُدرَّب عليه مرّتين، فيتضاعف وزنه بصمت أمام بقية المجموعة. المكرّرات تأتي عادةً من إعادة تشغيل سكربت التصدير لا عن قصد، ولهذا تُكتشف بالمحتوى لا برقم السطر.

الأسئلة الشائعة

لماذا فشل رفع ملف الضبط الدقيق؟
في الغالب بسبب سطر واحد من بين آلاف: سطر ليس JSON صالحاً، أو ليس كائناً، أو مصفوفة رسائل فارغة، أو دور ناقص أو غير معروف، أو محتوى فارغ، أو مثال بلا دور مساعد. يذكر لك المزوّد رقم سطر في ملف لم تعد تراه، ولهذا يستحق الفحص المسبق دقيقة واحدة من وقتك.
ما الفرق بين الخطأ والتحذير هنا؟
الخطأ يوقف الرفع أصلاً. أمّا التحذير فهو ما يختلف المزوّدون بشأنه: أدوار الأدوات والمطوّر، أو دوران متتاليان من الجهة نفسها، أو مثال لا ينتهي بدور المساعد، أو مثال قصير جداً. التحذيرات تُدرَّب، لكنها عادةً علامة على خلل في سكربت التصدير.
لماذا تهمّ الأمثلة المكرّرة؟
المثال المكرّر يُدرَّب عليه مرّتين، فيتضاعف وزنه بهدوء أمام بقية المجموعة. المكرّرات تأتي عادةً من إعادة تشغيل سكربت تصدير لا عن قصد، ولهذا تُكتشف هنا بمقارنة المحتوى لا بأرقام الأسطر.
هل تُرفع بيانات التدريب إلى أي مكان؟
لا. يُقرأ الملف ويُفحص داخل تبويب المتصفح ولا يُرسل شيء إلى خادم. وهذا مقصود: مجموعة الضبط الدقيق هي عادةً أكثر ملفات المشروع حساسية.