خلال فعاليات ArabicNLP من مؤتمر EMNLP 2025 في مدينة سوجو الصينية، كانت مهمة IslamicEval المشتركة من المهام البحثية التي استهدفت تطوير وسائل لكشف وتصحيح هلوسة النماذج اللغوية في التعامل مع النصوص الدينية، خصوصًا القرآن الكريم والحديث النبوي.
أُشارك معكم اليوم الدراسة التي قدمها فريق شركة HUMAIN السعودية في المهمة، والتي تهدف إلى بناء منظومة قادرة على كشف الهلوسة وتصحيحها في النصوص الدينية، فيما يلي فريق العمل على الدراسة:
منهجية العمل
اعتمدت منهجية HUMAIN على بناء نظام معالجة مُكون من ثلاث مراحل مترابطة صُممت لمعالجة كل جانب من جوانب الهلوسة الدينية مع تجربته على مخرجات مجموعة من النماذج اللغوية:
اكتشاف المواضع
اعتمد الفريق في اكتشاف مواضع الاقتباس على أسلوب يُعيد فيه النموذج كتابة النص مع وضع علامات تحدد الآيات والأحاديث. ولضمان دقة المواضع المولدة، استخدموا خوارزمية Needleman–Wunsch لربط النص المولد بالنص الأصلي حرفيًا.
التحقق من صحة الاقتباس
ابتكر الفريق نظام تحقق هرمي يجمع بين فهرسة كاملة للنصوص، وفهرسة معكوسة للكلمات، ومطابقة حرفية (Exact Matching)، ومطابقة صارمة (Strict Matching)، ومطابقة ضبابية (Fuzzy Matching) عبر استراتيجية LCS. وهي خوارزمية تبحث عن أطول سلسلة مشتركة من الحروف بين النص المُقتبس والنص الأصلي.
تصحيح الأخطاء
طبق الفريق نظامًا لمعالجة الأخطاء يمر بخطوات متتابعة. الأولى هي الفهرسة المسبقة عبر إعداد نسخة مفهرسة من القرآن الكريم والكتب الحديثية، حتى يمكن للنظام البحث داخلها بسرعة وسهولة.
بعدها تبدأ المطابقة الحرفية حيث يحاول النظام أولًا معرفة ما إذا كان النص المولد يحتوي على جملة أو مقطع مطابق حرفيًا لأي نص صحيح. هذه أسرع وأبسط خطوة. وإذا كان النص غير مطابق حرفيًا، يستخدم النظام المطابقة الضبابية عبر خوارزمية LCS، للعثور على أقرب نص صحيح يشترك مع النص المولد في أطول سلسلة حروف مشتركة.
وبعد إيجاد المقاطع الأقرب حرفيًا إلى النص الديني الأصلي، تبدأ مرحلة إعادة الترتيب الدلالي، حيث يفحص النظام هذه المقاطع باستخدام نموذج bge-reranker-v2-m3 ويعيد تصنيفها وفقًا لتقاربها في المعنى مع النص الأصلي.
أخيرًا تأتي مرحلة الدمج بين التشابه النصي والدلالي بمعادلة وزنها α = 0.7؛ أي أن 70% من القرار يعتمد على التشابه الدلالي، و30% فقط على التشابه الحرفي. والهدف من ذلك إعطاء الأفضلية للنص الذي يشبه النص الصحيح في المعنى ويشبهه أيضًا في البنية، حتى لو كانت صياغة النموذج المعلولة بعيدة قليلًا عن الصيغة الحرفية القرآنية أو الحديثية؛ إذ يفهم النظام حينها النص الأصلي المنشود ويستبدل به الصياغة المعلولة.
النتائج
في مهمة اكتشاف المواضع سجل نموذج GPT-4o أعلى أداء عند تجربة منظومة المعالجة عليه بنسبة 87.2% مقياس F1. وفي مهمة التحقق من الاقتباس، سجلت المنظومة دقة (Accuracy) بلغت 86.14%. بينما بلغت دقة تصحيح الأخطاء 68.18%.
عمومًا، أظهر النموذج أداءً قويًا على مستوى الرصد والتحقق، بينما يظل أداء تصحيح الأخطاء بحاجة إلى مزيد من التحسين. ويرى الباحثون أن المنظومة قد تحتاج منهجيات أكثر ميلًا للمطابقة الدلالية القوية التي تفهم المعنى والسياق بعمق لتحسين دقة التصحيح.
مثل هذه الدراسات تُمهد الطريق أمام تطوير تقنيات ذكية قادرة على كشف الأخطاء في النصوص القرآنية الكريمة والأحاديث الشريفة وتصحيحها قبل أن تصل للمستخدم النهائي، ما رأيكم؟ وكيف ترون مستقبل الذكاء الاصطناعي في التقنيات القرآنية؟
