अरबी टेक्स्ट को सर्च इंडेक्स या ट्रेनिंग सेट के लिए तैयार करें: जो चीज़ें कोई अर्थ नहीं रखतीं उन्हें हटाएँ, उन वर्तनियों को एक करें जिन्हें मॉडल बेवजह दो बार सीखता, और वे अदृश्य कैरेक्टर खोजें जो स्क्रीन पर कभी दिखे बिना डेटासेट को ख़राब कर देते हैं।
साफ़ करने के लिए अरबी टेक्स्ट पेस्ट करें, या .txt फ़ाइल खोलें।
अदृश्य कैरेक्टर मिले
जो बदलाव चाहिए उन पर टिक करें। नतीजा साथ-साथ अपडेट होता रहता है।
वर्तनी को एक करता है और दोहराव हटाता है, पर ता मरबूता और हम्ज़ा को रहने देता है — मॉडल को पढ़ने लायक़ अरबी लिखनी होती है।
7 ऑपरेशन ने टेक्स्ट बदला:
أ إ آ ا पाठक के लिए एक अक्षर हैं और मॉडल के लिए चार अलग टोकन। जिस कॉर्पस में चारों रहते हैं वह मॉडल को भाषा के बजाय वर्तनी के भेद पर क्षमता ख़र्च करना सिखाता है — और जिस सर्च इंडेक्स में वे रहते हैं, वह दूसरे कीबोर्ड से लिखे उसी शब्द से मेल नहीं खा पाता।
तशकील हटाने से टोकन की संख्या तेज़ी से घटती है, और सामान्य गद्य के लिए यही सही है। क़ुरआनी पाठ, कविता और शिक्षण सामग्री में यह ग़लत है, जहाँ हरकतें अर्थ और उच्चारण बताती हैं। इसीलिए यह स्विच है, डिफ़ॉल्ट नहीं।
दिशा-चिह्न और ज़ीरो-विड्थ जॉइनर PDF या चैट ऐप से कॉपी-पेस्ट में बच निकलते हैं, फिर JSONL फ़ाइल के भीतर बैठ जाते हैं जहाँ कोई रिव्यूअर उन्हें कभी नहीं पकड़ेगा। वे टोकन की संख्या बदलते हैं, सटीक-मिलान की तुलना तोड़ते हैं, और यहाँ नाम व संख्या के साथ रिपोर्ट किए जाते हैं।
