Neyin hata sayıldığı
Yüklemeyi durduracak her şey: JSON olmayan bir satır, nesne olmayan bir satır, boş bir messages dizisi, eksik ya da bilinmeyen rol, boş içerik ve asistan turu olmayan bir örnek — ki modelin öğreneceği hiçbir şey içermez.
Yapay Zekâ StüdyosuFine-tuning JSONL doğrulayıcıAracı değiştir
Fine-tuning JSONL doğrulayıcı
Eğitim dosyanızı yüklemeden önce kontrol edin, sonra değil: bozuk satırlar, hiçbir eğitimcinin kabul etmediği roller, modelin öğreneceği hiçbir şey içermeyen örnekler, yinelenenler ve her örneğin gerçekte kaç token tuttuğu. Veri setiniz bu sekmeden çıkmaz.
- Kontroller: Yapı, roller, boyut, yinelenenler
- Biçimler: messages, prompt/completion
- Veri setiniz: Sekmeden asla çıkmaz
Örnekler
5
messages (sohbet)
Geçerli
3
2 hatalı
Uyarılar
2
göz atmaya değer
Yinelenenler
1
aynı içerik
Token
≈ 138
set üzerinde tek geçiş
Örnek başına
≈ 42
7 - 47
JSONL'iniz
Eğitim dosyanızı yapıştırın: her satırda bir JSON nesnesi.
Temizlenen dosya şunları atarİndirdiğiniz kopyadan neyin çıkarılacağı.
5 satırdan 2 tanesi korunur ve satır başına bir örnek olacak şekilde yeniden serileştirilir.
Burada hiçbir şey yüklenmedi; kontrolün tamamı bu sekmede çalıştı.
Satır satır
2 satır yüklemeyi başarısız kılar.
GösterAşağıda hangi satırların listeleneceği.
- satır 1messages (sohbet) · ≈ 42 token
{"messages":[{"role":"system","content":"You answer support questions in the customer's language."},{"role":"user","cont
- satır 2messages (sohbet) · ≈ 47 token
{"messages":[{"role":"system","content":"You answer support questions in the customer's language."},{"role":"user","cont
- satır 3messages (sohbet) · ≈ 42 token
1. satırın kopyası
- satır 4messages (sohbet) · ≈ 7 token
assistant mesajı yok; örnekte öğrenilecek bir şey yok
2. mesaj "user" rolünü tekrarlıyor; çoğu eğitimci turların dönüşümlü olmasını bekler
assistant turuyla bitmiyor; öğrenilen son turdur
- satır 5tanınmayan · ≈ 0 token
Geçersiz JSON: Unterminated string
Token sayıları, şu aracın da kullandığı aynı ±%20'lik tahmindir: token hesaplayıcı . Eğitim faturası için toplamı sağlayıcınızın eğitim fiyatı ve epoch sayısıyla çarpın.
Yalnızca uyarı olanlar
Sağlayıcıların farklı davrandığı şeyler: tool ve developer rolleri, aynı rolden art arda iki tur, asistan turuyla bitmeyen örnek ve çok kısa örnekler. Eğitilirler, ancak genellikle dışa aktarmanın bir yerde yanlış gittiği anlamına gelir.
Yinelenenler neden önemli
Yinelenen bir örnek iki kez eğitilir ve setteki diğer her şeye karşı ağırlığı sessizce ikiye katlanır. Genellikle kasten değil, bir dışa aktarma betiğinin yeniden çalıştırılmasıyla gelirler; bu yüzden satıra göre değil içeriğe göre bulunurlar.
Sıkça sorulan sorular
- İnce ayar dosyasının yüklenmesi neden başarısız oldu?
- Çoğunlukla binlerce satır arasındaki tek bir satır yüzünden: geçerli JSON olmayan, nesne olmayan bir satır, boş bir mesaj dizisi, eksik ya da bilinmeyen rol, boş içerik veya asistan rolü olmayan bir örnek. Sağlayıcı artık görmediğiniz bir dosyadaki satır numarasını söyler; bu yüzden ön kontrol bir dakikanızı hak eder.
- Burada hata ile uyarı arasındaki fark nedir?
- Hata, yüklemeyi baştan durdurur. Uyarı ise sağlayıcıların farklı davrandığı şeylerdir: araç ve geliştirici rolleri, aynı taraftan art arda iki tur, asistan turuyla bitmeyen örnek ya da çok kısa örnek. Uyarılar eğitilir, ancak genellikle dışa aktarma betiğindeki bir sorunun işaretidir.
- Yinelenen örnekler neden önemli?
- Yinelenen bir örnek iki kez eğitilir ve kümenin geri kalanına karşı ağırlığı sessizce ikiye katlanır. Yinelenenler genellikle kasten değil, bir dışa aktarma betiğinin yeniden çalıştırılmasıyla gelir; bu yüzden burada satır numarasıyla değil içerik karşılaştırmasıyla bulunurlar.
- Eğitim verilerim bir yere yükleniyor mu?
- Hayır. Dosya tarayıcı sekmesinde okunur ve kontrol edilir, hiçbir şey bir sunucuya gönderilmez. Bu bilinçli bir tercihtir: ince ayar seti genellikle projenin en hassas dosyasıdır.