لماذا يهمّ توحيد الألف
أ إ آ ا حرف واحد للقارئ وأربعة توكنات مختلفة للنموذج. المدوّنة التي تُبقي الأربعة تعلّم النموذج أن ينفق سعته على اختلاف الإملاء بدل اللغة، وفهرس البحث الذي يُبقيها يعجز عن مطابقة الكلمة نفسها إذا كُتبت بلوحة مفاتيح أخرى.
أدوات النص العربي
جهّز النص العربي لفهرس بحث أو لمجموعة تدريب: احذف ما لا يحمل معنى، ووحّد الإملاءات التي سيتعلّمها النموذج مرّتين لولا ذلك، واكشف الأحرف الخفية التي تُفسد مجموعة البيانات دون أن تظهر على الشاشة أبداً.
- العمليات15، كلٌّ منها مستقل
- إعدادات جاهزةالبحث، التدريب، العرض
- نصّكلا يغادر التبويب أبداً
نصّك
الصقه، أو افتح ملفاً نصياً (txt).
الأحرف
270
49 كلمة
العربية
68%
من الحروف
التشكيل
19
5 تطويل
خفية
1
لا يمكنك رؤيتها
عُثر على أحرف خفية
- U+200F علامة من اليمين إلى اليسار · 1×
ما الذي يُطبَّق
كل عملية مستقلة عن قصد، فتوحيد النص العربي ليس قراراً واحداً.
تنظيف
توحيد
الأرقام
الترقيم
المسافات
النتيجة
يوحّد الإملاء ويحذف المكرّر، لكنه يُبقي التاء المربوطة والهمزة، فالنموذج يجب أن يولّد عربية مقروءة.
التوكنات
≈ 57
كان 88
الأسطر
3
3 فريدة
خفية
0
كان 1
عدد العمليات التي غيّرت النص: 7
- حُذفت الأحرف الخفية−1 حرف
- حُذف التطويل−5 حرف
- حُذف التشكيل−19 حرف
- وُحّدت الألف±0 حرف
- وُحّدت الياء±0 حرف
- حُوّلت الأرقام إلى ASCII±0 حرف
- حُذفت الأسطر المكرّرة−63 حرف
182 حرفاً · ≈ 57 توكن · أقل بنسبة 35% من قبل
لماذا لا يكون التشكيل ضجيجاً دائماً
حذف التشكيل يخفض عدد التوكنات بشدة، وهو صحيح للنثر العادي، لكنه خطأ في النص القرآني والشعر والمواد التعليمية حيث تحمل الحركات المعنى والنطق. ولهذا هو خيار تفعّله لا سلوك افتراضي.
الأحرف التي لا يراها أحد
علامات الاتجاه ومحارف الوصل بعرض صفري تنجو من النسخ واللصق من ملف PDF أو تطبيق محادثة، ثم تستقر داخل ملف JSONL حيث لن يلاحظها أي مراجع. إنها تغيّر عدد التوكنات وتُفسد المقارنات الحرفية، وتُعرض هنا باسمها وعددها.
الأسئلة الشائعة
- لماذا أطبّع النص العربي قبل الفهرسة أو التدريب؟
- أ و إ و آ و ا حرف واحد لدى القارئ وأربعة توكنات منفصلة لدى النموذج. المدوّنة التي تحتفظ بالأربعة تنفق طاقتها على تباين الإملاء بدل اللغة، وفهرس البحث الذي يحتفظ بها يفشل في مطابقة الكلمة نفسها حين تُكتب بصورة أخرى.
- هل أحذف التشكيل دائماً؟
- لا. حذف التشكيل يخفض عدد التوكنات كثيراً وهو الصواب في النثر العادي، لكنه خطأ في النص القرآني والشعر والمواد التعليمية حيث تحمل العلامات معنى ونطقاً. ولهذا هو مفتاح اختياري لا سلوك افتراضي.
- ما هي المحارف غير المرئية في مجموعة بياناتي؟
- علامات الاتجاه، ومحارف الوصل وعدم الوصل صفرية العرض، وما شابهها من محارف التنسيق. تنجو من النسخ واللصق من ملفات PDF وتطبيقات المحادثة ثم تستقرّ داخل ملفات JSONL دون أن يلحظها أحد، فتغيّر عدد التوكنات وتكسر المقارنات التامّة. تكشفها هذه الصفحة بالاسم والعدد.
- هل تتعامل الأداة مع الأرقام العربية-الهندية؟
- نعم. يمكن تحويل ١٢٣ وما شابهها إلى 123 حتى تتّسق المقارنة والترتيب مع بقية بياناتك.