Benchmark
Qualité de traduction, langue par langue
Jeux de test WASH réservés, 17 langues. Notre moteur — Gemma ancré dans la mémoire de traduction WASH — face à la TA commerciale et aux LLM de pointe. Filtrez les langues, triez n'importe quelle colonne.
Ce sont des métriques automatisées. Les scores proviennent d'un modèle de qualité neuronal (XCOMET-XL) et de juges LLM à l'aveugle — pas d'évaluateurs humains. Ils estiment la qualité ; ils ne remplacent pas une évaluation professionnelle.
Validation humaine, en cours. Nous collaborons activement avec des professionnels du secteur de langue maternelle qui notent les sorties du moteur face à des validateurs humains dans notre plateforme d'évaluation. Ces évaluations d'experts — et pas seulement les métriques automatisées — serviront de base aux prochaines versions de ce benchmark.
Avec référence — compare chaque traduction à une référence humaine. Le signal principal. Plus c'est haut, mieux c'est.
| Moteur | MY | HA | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Notre moteur | 85.1 | 91.8 | 93.8 | 82.5 | 93.1 | 82.2 | 90.6 | 88.3 | 93.1 | 73.4 | 77.5 | 73.4 | 81.0 | ||
| Gemini 3 Flash | 84.6 | 90.8 | 93.4 | 82.0 | 92.2 | 82.7 | 90.5 | 88.0 | 91.3 | 73.0 | 77.1 | 74.2 | 79.7 | ||
| DeepL | 83.8 | 92.4 | 93.5 | 82.5 | 92.8 | 81.4 | 90.4 | 89.3 | 92.5 | 69.2 | 75.3 | 69.8 | 76.8 | ||
| Gemma 4 26B | 83.6 | 90.6 | 93.2 | 81.5 | 91.9 | 80.7 | 88.8 | 87.4 | 90.7 | 71.3 | 76.4 | 72.5 | 78.8 | ||
| Claude Sonnet 4.6 | 83.6 | 90.8 | 92.7 | 80.2 | 92.4 | 81.6 | 89.4 | 87.3 | 91.2 | 71.9 | 76.4 | 71.8 | 77.5 | ||
| Google Translate | 83.5 | 91.2 | 93.3 | 82.4 | 92.5 | 81.0 | 88.5 | 88.8 | 91.5 | 74.1 | 77.7 | 66.3 | 74.3 | ||
| Lara | 82.9 | 91.6 | 93.4 | 80.5 | 92.0 | 81.4 | 89.7 | 86.7 | 90.2 | 68.3 | 77.3 | 69.6 | 74.6 | ||
| ModernMT | 78.3 | 89.4 | 92.1 | 79.0 | 90.4 | 78.4 | 85.8 | 81.9 | 86.1 | 59.2 | 70.9 | 60.9 | 66.0 | ||
| Tiny Aya + TMX | — | — | — | — | — | 78.6 | — | — | 89.8 | 66.8 | 71.8 | 67.3 | 75.7 | ||
| Tiny Aya | — | — | — | — | — | 75.4 | — | — | 88.6 | 64.3 | 70.0 | 64.7 | 71.7 |
Tiny Aya (un deuxième modèle de base) a été évalué sur un sous-ensemble de langues : ses lignes n'affichent que les langues testées et ne comptent pas de moyenne de corpus, elles restent donc hors classement. Voir le comparatif direct ci-dessous.
Le birman (my) et le haoussa (ha) sont affichés mais pas encore évalués — nous les benchmarkons activement et ajouterons leurs résultats bientôt. Ils ne comptent pas dans les moyennes.
Deuxième modèle de base — Tiny Aya
Un autre LLM de base pourrait-il dépasser Gemma ? Nous avons fait tourner Cohere Tiny Aya avec la même recherche dans la mémoire de traduction que notre moteur — un changement de base propre — et l'avons comparée directement. Gemma + TMX l'emporte toujours dans toutes les langues.
| Moteur | id | sw | ne | hi | ur | bn | am |
|---|---|---|---|---|---|---|---|
| Notre moteur | 93.1 | 82.2 | 81.0 | 77.5 | 73.4 | 73.4 | 78.1 |
| Gemma 4 26B | 90.7 | 80.7 | 78.8 | 76.4 | 72.5 | 71.3 | 71.4 |
| Tiny Aya + TMX | 89.8 | 78.6 | 75.7 | 71.8 | 67.3 | 66.8 | 65.1 |
| Tiny Aya | 88.6 | 75.4 | 71.7 | 70.0 | 64.7 | 64.3 | 60.3 |
Gemma + TMX bat Tiny Aya + TMX dans toutes les langues. L'apport de la mémoire est indépendant de la base, mais Gemma est la meilleure combinaison — elle reste donc notre moteur.
Tiny Aya + TMX dépasse tout de même Tiny Aya seule partout (+1,1 à +4,8 XCOMET) : la recherche aide quelle que soit la base qu'elle ancre. Si un futur modèle de base dépasse Gemma, c'est ici qu'on le verra en premier.
Cohere Tiny Aya (3.35B) · XCOMET-XL (basé sur référence), ×100, plus haut est meilleur · ajouté 2026-07-18.
Langues opaques à COMET — akan et créole haïtien
La métrique COMET ne peut pas les noter (son socle ne couvre ni le twi ni le créole) : tous les moteurs se regroupent près du plancher de la métrique, impossibles à départager. Elles sont évaluées à part par des grands modèles de langue qui classent à l'aveugle — un rang moyen plus bas est meilleur.
Akan / twi
L'akan est lui aussi hors distribution pour la métrique COMET ; il est donc évalué par les deux mêmes juges LLM à l'aveugle sur 255 segments. Les deux juges se sont déclarés compétents et ont raisonné sur de vraies spécificités du twi, et ils s'accordent fortement (Spearman ρ = 0,83).
| Moteur | Claude Opus 4.8 | Gemini 3.1 Pro | ||
|---|---|---|---|---|
| Rang moyen | % victoires | Rang moyen | % victoires | |
| Gemini 3 Flash | 1.79 | 53% | 1.44 | 68% |
| Google Translate | 2.16 | 33% | 2.17 | 26% |
| Lara | 3.36 | 5% | 3.35 | 4% |
| ModernMT | 4.60 | 4% | 4.75 | 1% |
| Claude Sonnet 4.6 | 4.80 | 2% | 4.88 | 2% |
| Notre moteur | 4.94 | 2% | 4.94 | 0% |
| Gemma 4 26B | 6.24 | 0% | 6.37 | 0% |
Gemini domine nettement l'akan et notre moteur se situe au milieu du peloton — mais il dépasse clairement son propre modèle de base (environ 1,3 rang de mieux), donc la mémoire de traduction relève encore un base faible ici. Comme pour le créole haïtien, combler l'écart revient au modèle de base ; nous le montrons plutôt que de le cacher.
Créole haïtien
Le créole haïtien est hors distribution pour le socle de la métrique COMET ; il est donc évalué séparément par deux grands modèles de langue jugeant à l'aveugle. Chacun classe la sortie de chaque moteur par segment ; un rang moyen plus bas est meilleur, et le % de victoires est la part de segments où il arrive premier.
| Moteur | Claude Opus 4.8 | Gemini 3.1 Pro | ||
|---|---|---|---|---|
| Rang moyen | % victoires | Rang moyen | % victoires | |
| Gemini 3 Flash | 3.39 | 27.5% | 3.16 | 34% |
| Google Translate | 3.82 | 16.3% | 3.58 | 17.6% |
| Lara | 3.90 | 15% | 3.83 | 16.3% |
| DeepL | 4.18 | 12.4% | 4.37 | 6.5% |
| Gemma 4 26B | 5.47 | 5.9% | 5.90 | 4.6% |
| Claude Sonnet 4.6 | 5.48 | 7.2% | 5.60 | 3.9% |
| Notre moteur | 5.61 | 7.8% | 5.47 | 7.8% |
| ModernMT | 5.99 | 3.9% | 5.92 | 5.9% |
| Kreyòl-MT(spécialisé) | 7.16 | 3.9% | 7.18 | 3.3% |
Les deux juges s'accordent : Gemini domine le classement, et notre moteur se situe au milieu du peloton sur le créole haïtien. La recherche sur la mémoire créole, encore mince, n'apporte ici que peu de gain — le Gemma de base et Gemma + TMX se tiennent à quelques dixièmes de rang l'un de l'autre — cet écart tient donc au modèle de base, pas à ce que la mémoire peut encore combler. Nous le montrons plutôt que de le cacher.
Comment c'est mesuré
- XCOMET-XL. Une métrique neuronale de 3,5 milliards de paramètres (état de l'art WMT 2023) qui note une traduction face à une référence humaine, en modélisant l'adéquation et les zones d'erreur. Affiché ×100.
- Le moteur. « Gemma + TMX » est le Gemma 4 26B de base ancré dans la mémoire de traduction WASH par recherche — le produit. « Gemma 4 26B » est le même modèle de base sans recherche, inclus pour isoler l'apport de la mémoire.
- Jeu de données
- baobabtech/tmx-benchmark-results
- Échantillon
- 153–300 segments par langue
- Généré
- 2026-06-27