المعايرة
جودة الترجمة، لغةً لغة
مجموعات اختبار WASH محجوزة، 17 لغة. محرّكنا — Gemma مُرتكِز على ذاكرة ترجمة WASH — مقابل الترجمة الآلية التجارية ونماذج اللغة المتقدّمة. رشّح اللغات، رتّب أي عمود.
هذه مقاييس آلية. تأتي النتائج من نموذج جودة عصبي (XCOMET-XL) ومن حكّام نماذج لغوية يقيّمون دون معرفة المصدر — لا من مراجعين بشريين. إنها تقدّر الجودة ولا تحلّ محلّ التقييم المهني.
التحقّق البشري، قيد التنفيذ. نتعاون بنشاط مع مختصّين في القطاع من الناطقين الأصليين يقيّمون مخرجات المحرّك مقابل مُحقّقين بشريين في منصّة التقييم لدينا. هذه التقييمات الخبيرة — وليست المقاييس الآلية وحدها — ستكون أساس الإصدارات المقبلة من هذه المعايرة.
قائم على مرجع — يقارن كل ترجمة بمرجع بشري. الإشارة الأساسية. الأعلى أفضل.
| المحرّك | MY | HA | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| محرّكنا | 85.1 | 91.8 | 93.8 | 82.5 | 93.1 | 82.2 | 90.6 | 88.3 | 93.1 | 73.4 | 77.5 | 73.4 | 81.0 | ||
| Gemini 3 Flash | 84.6 | 90.8 | 93.4 | 82.0 | 92.2 | 82.7 | 90.5 | 88.0 | 91.3 | 73.0 | 77.1 | 74.2 | 79.7 | ||
| DeepL | 83.8 | 92.4 | 93.5 | 82.5 | 92.8 | 81.4 | 90.4 | 89.3 | 92.5 | 69.2 | 75.3 | 69.8 | 76.8 | ||
| Gemma 4 26B | 83.6 | 90.6 | 93.2 | 81.5 | 91.9 | 80.7 | 88.8 | 87.4 | 90.7 | 71.3 | 76.4 | 72.5 | 78.8 | ||
| Claude Sonnet 4.6 | 83.6 | 90.8 | 92.7 | 80.2 | 92.4 | 81.6 | 89.4 | 87.3 | 91.2 | 71.9 | 76.4 | 71.8 | 77.5 | ||
| Google Translate | 83.5 | 91.2 | 93.3 | 82.4 | 92.5 | 81.0 | 88.5 | 88.8 | 91.5 | 74.1 | 77.7 | 66.3 | 74.3 | ||
| Lara | 82.9 | 91.6 | 93.4 | 80.5 | 92.0 | 81.4 | 89.7 | 86.7 | 90.2 | 68.3 | 77.3 | 69.6 | 74.6 | ||
| ModernMT | 78.3 | 89.4 | 92.1 | 79.0 | 90.4 | 78.4 | 85.8 | 81.9 | 86.1 | 59.2 | 70.9 | 60.9 | 66.0 | ||
| Tiny Aya + TMX | — | — | — | — | — | 78.6 | — | — | 89.8 | 66.8 | 71.8 | 67.3 | 75.7 | ||
| Tiny Aya | — | — | — | — | — | 75.4 | — | — | 88.6 | 64.3 | 70.0 | 64.7 | 71.7 |
جرى تقييم Tiny Aya (نموذج أساس ثانٍ) على مجموعة فرعية من اللغات — تعرض صفوفه فقط اللغات التي شُغِّل عليها ولا تُحتسب له متوسط متن، لذا يبقى خارج الترتيب. راجع المقارنة المباشرة أدناه.
البورمية (my) والهوسا (ha) معروضتان لكنهما لم تُقيَّما بعد — نحن نعايرهما فعليًا وسنضيف نتائجهما قريبًا. وهما لا تُحتسبان في المتوسطات.
نموذج أساس ثانٍ — Tiny Aya
هل يمكن لنموذج لغوي أساس مختلف أن يتفوّق على Gemma؟ شغّلنا Cohere Tiny Aya عبر نفس الاسترجاع من ذاكرة الترجمة الذي يستخدمه محرّكنا — تبديل أساس نظيف — وقارنّاه مباشرةً. لا يزال Gemma + TMX يفوز في كل اللغات.
| المحرّك | id | sw | ne | hi | ur | bn | am |
|---|---|---|---|---|---|---|---|
| محرّكنا | 93.1 | 82.2 | 81.0 | 77.5 | 73.4 | 73.4 | 78.1 |
| Gemma 4 26B | 90.7 | 80.7 | 78.8 | 76.4 | 72.5 | 71.3 | 71.4 |
| Tiny Aya + TMX | 89.8 | 78.6 | 75.7 | 71.8 | 67.3 | 66.8 | 65.1 |
| Tiny Aya | 88.6 | 75.4 | 71.7 | 70.0 | 64.7 | 64.3 | 60.3 |
يتفوّق Gemma + TMX على Tiny Aya + TMX في كل اللغات. أثر الذاكرة مستقل عن الأساس، لكن Gemma هو الاقتران الأقوى — لذا يبقى محرّكنا.
ومع ذلك يتفوّق Tiny Aya + TMX على Tiny Aya وحده في كل مكان (+1.1 إلى +4.8 XCOMET): الاسترجاع يفيد أي أساس يرتكز عليه. وإن تفوّق نموذج أساس مستقبلي على Gemma، فهنا سيظهر ذلك أولًا.
Cohere Tiny Aya (3.35B) · XCOMET-XL (قائم على مرجع)، ×100، الأعلى أفضل · أُضيف في 2026-07-18.
لغات معتِمة على COMET — الأكان والكريولية الهايتية
لا يستطيع مقياس COMET تسجيلها (إذ لا يغطي أساسُه التْوي ولا الكريولية): تتجمّع كل المحرّكات قرب أرضية المقياس ويتعذّر التمييز بينها. تُقيَّم على حدة بنماذج لغة كبيرة تُرتّب على نحو أعمى — والرتبة المتوسطة الأدنى أفضل.
الأكان / التْوي
الأكان أيضًا خارج توزيع مقياس COMET، لذا يُقيَّم بالحَكَمين نفسيهما من نماذج اللغة على نحو أعمى عبر 255 مقطعًا. أقرّ الحَكَمان بكفاءتهما واستدلّا على خصائص تْوي حقيقية، وهما متّفقان بقوة (سبيرمان ρ = 0.83).
| المحرّك | Claude Opus 4.8 | Gemini 3.1 Pro | ||
|---|---|---|---|---|
| الرتبة المتوسطة | نسبة الفوز | الرتبة المتوسطة | نسبة الفوز | |
| Gemini 3 Flash | 1.79 | 53% | 1.44 | 68% |
| Google Translate | 2.16 | 33% | 2.17 | 26% |
| Lara | 3.36 | 5% | 3.35 | 4% |
| ModernMT | 4.60 | 4% | 4.75 | 1% |
| Claude Sonnet 4.6 | 4.80 | 2% | 4.88 | 2% |
| محرّكنا | 4.94 | 2% | 4.94 | 0% |
| Gemma 4 26B | 6.24 | 0% | 6.37 | 0% |
يفوز Gemini بالأكان بوضوح ويقع محرّكنا في وسط الترتيب — لكنه يتفوّق بوضوح على نموذجه الأساسي (بنحو 1.3 رتبة)، فالذاكرة لا تزال ترفع أساسًا ضعيفًا هنا. وكما في الكريولية الهايتية، سدّ الفجوة من شأن النموذج الأساسي؛ نعرضه بدل إخفائه.
الكريولية الهايتية
الكريولية الهايتية خارج توزيع نواة مقياس COMET، لذا تُقيَّم على حدة بواسطة نموذجين لغويين كبيرين يحكمان دون معرفة المصدر. يرتّب كلٌّ منهما مُخرَج كل محرّك لكل مقطع؛ الرتبة المتوسطة الأدنى أفضل، ونسبة الفوز هي حصة المقاطع التي جاء فيها أولًا.
| المحرّك | Claude Opus 4.8 | Gemini 3.1 Pro | ||
|---|---|---|---|---|
| الرتبة المتوسطة | نسبة الفوز | الرتبة المتوسطة | نسبة الفوز | |
| Gemini 3 Flash | 3.39 | 27.5% | 3.16 | 34% |
| Google Translate | 3.82 | 16.3% | 3.58 | 17.6% |
| Lara | 3.90 | 15% | 3.83 | 16.3% |
| DeepL | 4.18 | 12.4% | 4.37 | 6.5% |
| Gemma 4 26B | 5.47 | 5.9% | 5.90 | 4.6% |
| Claude Sonnet 4.6 | 5.48 | 7.2% | 5.60 | 3.9% |
| محرّكنا | 5.61 | 7.8% | 5.47 | 7.8% |
| ModernMT | 5.99 | 3.9% | 5.92 | 5.9% |
| Kreyòl-MT(متخصّص) | 7.16 | 3.9% | 7.18 | 3.3% |
يتّفق الحَكَمان على أن Gemini في صدارة المجموعة، ومحرّكنا يقع في وسط الترتيب في الكريولية الهايتية. الاسترجاع على ذاكرة الكريولية الضئيلة لا يضيف هنا إلا تحسّنًا طفيفًا — إذ يتقارب Gemma الأساسي و Gemma + TMX إلى أعشار قليلة من الرتبة — لذا فهذه الفجوة من النموذج الأساسي لا شيء تستطيع الذاكرة سدّه بعد. نعرضه بدل إخفائه.
كيف جرى القياس
- XCOMET-XL. مقياس عصبي بـ3.5 مليار معامِل (الأفضل في WMT 2023) يقيّم الترجمة مقابل مرجع بشري، ويُنمذج الكفاية ومواضع الخطأ. مَعروض ×100.
- المحرّك. «Gemma + TMX» هو Gemma 4 26B الأساسي مُرتكِزًا على ذاكرة ترجمة WASH عبر الاسترجاع — وهو المنتج. أمّا «Gemma 4 26B» فهو النموذج الأساسي نفسه دون استرجاع، أُدرِج لعزل ما تضيفه الذاكرة.
- مجموعة البيانات
- baobabtech/tmx-benchmark-results
- العيّنة
- 153–300 مقطعًا لكل لغة
- أُنشئ
- 2026-06-27