اللهجات العربية والفرانكو في الذكاء الاصطناعي للمؤسسات: لماذا تتعثر الأنظمة المبنية على الفصحى وحدها وماذا تختبرون

تُبنى معظم أنظمة الذكاء الاصطناعي العربية وتُختبر على العربية الفصحى. لكن عملاءك وموظفيك نادرًا ما يكتبون بها. يكتبون «عايز أحجز ميعاد بكرة»، و«ابغى اعرف وين طلبي»، أو «3ayez a7gez» بحروف لاتينية وأرقام، وكثيرًا ما تتخلل الرسالةَ كلماتٌ إنجليزية. النظام الذي لا يقرأ إلا الفصحى يسيء فهم هذه الرسائل، ولن تكتشف ذلك قبل الإطلاق إلا إذا اختبرته على رسائل حقيقية.

كيف تبدو العربية المكتوبة فعلًا؟

محادثات العملاء والبريد الإلكتروني وتذاكر الدعم وأسئلة الموظفين تخلط كل أشكال العربية المكتوبة، وقد يجتمع ذلك كله في صندوق وارد واحد خلال صباح واحد.

وهذا طلب واحد، حجز موعد للغد، مكتوبًا بست طرق.

كيف تعمل الفرانكو؟

الفرانكو، أو «العربيزي»، كتابة العربية بحروف لاتينية. وتحل الأرقام محل أصوات لا يقابلها حرف لاتيني: 2 للهمزة، و3 للعين، و5 للخاء، و7 للحاء. فـ«a7gez» تعني «أحجز»، و«3ayez» تعني «عايز».

ولا توجد طريقة موحدة للكتابة. فالكلمة نفسها تأتي «3ayez» أو «3ayz» أو «ayez»، و«maw3ed» تأتي «mo3ad» أو «ma3ad». وقد ينتقل الكاتب من خط إلى آخر في منتصف الرسالة. والنظام الذي يتوقع صيغة واحدة لكل كلمة يفوته معظم ذلك.

لماذا تتعثر العربية قبل أن يراها النموذج؟

البحث يأتي أولًا. فإن لم يربط الاسترجاعُ السؤالَ بالمقطع الصحيح، أجاب أقوى النماذج من الصفحة الخطأ أو لم يُجب أصلًا. وخمسة أمور تُربكه:

• صور الألف: «أحمد» و«احمد» و«إحمد» اسم واحد.
• أواخر الكلمات: «على» و«علي»، و«مدرسة» و«مدرسه»، تُكتب كثيرًا إحداها مكان الأخرى.
• التشكيل: «مُدَرِّسَة» في نص السياسة لن تطابق «مدرسة» في السؤال ما لم تُحذف الحركات.
• الأرقام: رقم فاتورة مكتوب «١٢٣» لن يطابق «123».
• المسح الضوئي: الأختام والتواقيع والجداول التي تُقرأ من اليمين تُربك أدوات التعرف الضوئي غير المصممة للعربية.

توحيد الإملاء يعالج معظم ذلك، لكن له ثمن. فإذا وُحِّدت الياء والألف المقصورة صار اسم «علي» هو حرف الجر «على». لذلك يُستخدم النص الموحَّد للمطابقة فقط، بينما تقتبس الإجابات والإحالات النص الأصلي.

كيف يُفهرَس المحتوى العربي للاسترجاع؟

مساعد التوليد المعزَّز بالاسترجاع (RAG) يعثر على المقاطع الصحيحة أولًا، ثم يكتب الإجابة منها. وفي العربية يحتاج الفهرس إلى خطوات إضافية.

1. قراءة الممسوح

   تعرّف ضوئي عربي يحفظ أرقام الصفحات وترتيب الجداول.

2. →

   نسخة موحَّدة

   توحيد الألف والياء والتاء المربوطة والأرقام، وحذف التشكيل والتطويل.

3. →

   حفظ الأصل

   عرض الصياغة الأصلية كما هي في الإجابات والإحالات.

4. →

   الخطان معًا

   تحويل أسئلة الفرانكو إلى الحروف العربية قبل البحث.

5. →

   بحث بطريقتين

   كلمات مفتاحية تراعي العربية، مع البحث بالمعنى.

وأضف مسردًا قصيرًا يربط كلمات اللهجات بالمصطلحات الواردة في مستنداتك: «عايز» و«ابغى» و«بدي» بـ«أريد»، و«ميعاد» بـ«موعد». واربط المصطلحات الإنجليزية التي يستخدمها موظفوك، مثل «SLA» أو «invoice»، بمقابلاتها العربية. يكتب فريقك هذا المسرد بنفسه، ويكبر مع كل خطأ تكتشفه.

ماذا تختبر قبل الإطلاق؟

اختبر على رسائلك أنت. فالمقاييس العامة للعربية لا تقول الكثير عن طريقة كتابة عملائك في الرياض أو القاهرة أو عمّان.

1. 01مجموعة الاختبارهل بُنيت من رسائل حقيقية؟محادثات ورسائل وتذاكر بعد إخفاء هوية أصحابها، لا أسئلة كتبها فريقك.
2. 02مجموعة الاختبارهل صُنّفت كل رسالة بحسب اللهجة والخط؟فصحى، خليجية، مصرية، شامية، فرانكو، مزيج، حتى تستطيع فرز النتائج.
3. 03التقييمهل تقيس الدقة لكل لهجة؟المتوسط العام الجيد قد يخفي لهجة يخفق فيها النظام في أغلب الأحيان.
4. 04التقييمهل تشير كل إحالة إلى الصفحة الصحيحة؟تأكد أن المقطع المقتبس يحتوي الإجابة فعلًا، لا مقطعًا قريبًا منها.
5. 05التقييمهل يمتنع حين لا تجيب المستندات؟أضف أسئلة لا إجابة لها، واحسب كم مرة يخمّن.
6. 06الردودهل يرد بالمستوى المناسب من اللغة؟قد يكتب العميل بلهجته، لكن معظم الشركات ترد بعربية مهنية واضحة.

الإحالة الصحيحة تذكر الملف والبند والصفحة، وتقتبس المقطع، فيستطيع القارئ أن يفتحه ويتحقق منه.

اتفق على حد الإطلاق مع الفرق التي ستستخدم النظام، ثم أعد تشغيل المجموعة نفسها بعد كل تغيير في النموذج أو المستندات أو المسرد.

متى يتدخل موظف؟

بعض الرسائل لا ينبغي أن تحصل على رد آلي أبدًا. حوّل هذه إلى موظف:

• لا يجد المساعد مصدرًا، أو ثقته في الإجابة منخفضة.
• الرسالة شكوى، أو تهديد قانوني، أو غاضبة بوضوح.
• الرد سيعتمد استردادًا أو دفعة، أو يقدم نصيحة طبية أو قانونية.
• يطلب العميل التحدث إلى موظف.

يكتب المساعد المسودة، ويعتمدها موظف، ويُسجَّل كل تحويل إلى موظف. راجع هذه التحويلات كل شهر، فكثير منها مكانه مجموعة الاختبار.

من أين تبدأ؟

ابدأ بجلسة جاهزية مدتها من أسبوعين إلى ثلاثة. نأخذ عينة من رسائلك ومستنداتك الحقيقية، ونبني مع فريقك مجموعة اختبار مصنفة بحسب اللهجة، ونختبر عليها التعرف الضوئي وتوحيد الإملاء والاسترجاع، داخل بيئتك. وتخرج وأنت تعرف أي اللهجات تعمل جيدًا وأيها يحتاج إلى عمل إضافي قبل أن يعتمد عليه أحد.

ثم يستغرق المشروع التجريبي من 4 إلى 8 أسابيع ضمن منصة الانطلاق. ولمعرفة المزيد عن تعاملنا مع العربية، راجع صفحة الذكاء الاصطناعي العربي.