Erkennt die Rückübersetzungsprüfung Fehler? Wir haben es gemessen.

Was die Prüfung ist

Nach der Übersetzung jedes Strings führt KAERIS drei Prüfungen durch, zwei deterministische und eine modellbasierte:

• Platzhalter-IntegritätEine Prüfung auf Regex-Ebene, ob jeder {name}, %s, %(count)s und ICU-Plural in der Quelle die Übersetzung überstanden hat. Dies ist eine Tatsache, keine Beurteilung.
• Tag- & Markup-IntegritätDie gleiche deterministische Prüfung für Inline-Markup (<b>, <a>, <0> und selbstschließende Tags), sodass ein verlorener oder neu geordneter Tag erkannt wird, bevor er ausgeliefert wird.
• Bedeutungsdrift (der Prüfer)Jede Übersetzung wird unabhängig von einem anderen Modell zurück in Ihre Sprache übersetzt; dann vergleicht ein Prüfer das Original mit dieser Rückübersetzung und markiert echte Bedeutungsänderungen: eine umgekehrte Verneinung, eine falsche Zahl, eine gegenteilige Aktion.

Hin- und Rückübersetzung laufen über verschiedene Modelle, kein Modell prüft also seine eigene Arbeit.

Wie wir es getestet haben

Test A: Platzhalter- & Tag-Integrität (End-to-End, echtes Modell)

20 realistische UI-Strings mit einer Mischung aus Platzhalterstilen (Rails %{name}, Python %(name)s, printf %.2f/%02d, .NET {0}, HTML <b>, i18next <0>, ICU-Plurale) wurden vom damaligen kostenlosen Produktionsmodell (DeepSeek V3; ab dem 1. August 2026 liefen alle Tarife, auch der kostenlose, mit GPT-4o-mini und laufen seit dem 5. August 2026 mit Gemini 2.5 Flash-Lite, ausgewählt durch Messung der Kandidaten in genau dieser Pipeline) in vier Sprachen mit unterschiedlichen Schriftsystemen übersetzt (Deutsch, Russisch, Japanisch und Arabisch). Das sind 80 Übersetzungen. Anschließend haben wir die deterministische Prüfung auf die echte Modellausgabe angewendet.

Ergebnis: Das Modell hat in 3 von 80 Übersetzungen einen Platzhalter verloren (~4 %). Die Prüfung hat alle 3 markiert: Sie zählt Platzhalter, sie rät nicht.

Test B: Der Verzerrungsprüfer (bekannte Ground Truth)

Wir haben 28 Rückübersetzungen erstellt, die eindeutig die Bedeutung ändern (Negation verloren, falsche Zahl, gegenteilige Aktion, erforderlich → optional und ähnliches) und 40 Rückübersetzungen, die die Bedeutung beibehalten, aber stark umformulieren (der schwierige Fall für falsch positive Ergebnisse). Der Prüfer (Gemini 2.5 Flash, unabhängig vom Vorwärtsmodell) sah sie ohne Beschriftungen.

• Recall: 28/28 (100 %)Jeder eingefügte Bedeutungsfehler wurde mit einer genauen Begründung markiert ("Negation verloren", "falsche Zahl", "entgegengesetzte Bedeutung").
• Fehlalarmrate: 0/40 (0 %)Keine einzige korrekt umformulierte Paraphrase wurde markiert.

Was der Benchmark auch behoben hat

Dieser Lauf hat einen echten Fehler in unserer eigenen Pipeline aufgedeckt: Bei einem großen Stapel konnte der Prüferaufruf sein Timeout überschreiten und, weil der Fehler stillschweigend verschluckt wurde, keine Markierungen zurückgeben – bei großen Dateien meldete die Prüfung also unbemerkt zu wenig. Jetzt teilen wir die Prüferaufrufe in kleine Teilstapel mit Wiederholung auf, sodass die Prüfung bei jeder Dateigröße zuverlässig bleibt. Die Korrektur wurde mit dieser Seite ausgeliefert.

Grenzen

Was diese Zahlen nicht abdecken:

• Dies ist ein kleiner, kontrollierter Datensatz (148 Fälle), keine Stichprobe des Live-Traffics.
• Die 28 Verfälschungen sind eindeutige Bedeutungsänderungen. Subtile Drift, etwa ein verschobener Ton oder ein abgeschwächtes Modalverb, ist schwieriger, und 100 % hier bedeuten nicht 100 % überall.
• Wir haben die Testfälle erstellt, daher ist die Ground Truth bekannt. Das ist ein fairer Test des Prüfers, keine Feldstudie der Übersetzungsqualität.
• Ein Vorwärtsmodell (DeepSeek V3, das damalige kostenlose Modell) und ein Prüfmodell (Gemini 2.5 Flash); der Verzerrungsdatensatz ist englischzentriert.

Was die Prüfung liefert: Jede Markierung ist ein überprüfbarer Fakt (ein verlorener Platzhalter, eine umgedrehte Verneinung), kein Konfidenzwert. Ein besseres Übersetzungsmodell heißt weniger Markierungen, keine schwächere Prüfung.