Il controllo di ritraduzione rileva gli errori? Lo abbiamo misurato.

Cos'è il controllo

Dopo aver tradotto ogni stringa, KAERIS esegue tre controlli, due deterministici e uno basato su modello:

• Integrità dei segnapostoUn controllo a livello di regex che ogni {name}, %s, %(count)s e plurali ICU nella sorgente sia sopravvissuto alla traduzione. Questo è un fatto, non un giudizio.
• Integrità dei tag e del markupLo stesso controllo deterministico per il markup inline (<b>, <a>, <0> e tag auto-chiudenti), in modo che un tag perso o riordinato venga rilevato prima che venga spedito.
• Deriva del significato (il giudice)Ogni traduzione viene ritradotta all'indietro nella tua lingua, in modo indipendente, da un modello diverso; poi un giudice confronta l'originale con quella ritraduzione e segnala i veri cambi di significato: una negazione invertita, un numero sbagliato, un'azione opposta.

Traduzione e retrotraduzione usano modelli diversi, quindi nessun modello controlla il proprio lavoro.

Come lo abbiamo testato

Test A: integrità dei segnaposto e dei tag (end-to-end, modello reale)

20 stringhe di interfaccia realistiche con un mix di stili di segnaposto (%{name} di Rails, %(name)s di Python, %.2f/%02d di printf, {0} di .NET, <b> di HTML, <0> di i18next, plurali ICU) sono state tradotte in quattro lingue con sistemi di scrittura diversi (tedesco, russo, giapponese e arabo) dal modello gratuito in produzione all'epoca (DeepSeek V3; dal 1° agosto 2026 tutti i piani, gratuito compreso, hanno usato GPT-4o-mini e dal 5 agosto 2026 usano Gemini 2.5 Flash-Lite, scelto misurando i candidati in questa stessa pipeline). Sono 80 traduzioni. Abbiamo poi eseguito il controllo deterministico sull'output reale del modello.

Risultato: il modello ha perso un placeholder in 3 traduzioni su 80 (~4%). Il controllo le ha segnalate tutte e 3: conta i placeholder, non indovina.

Test B: il giudice delle distorsioni (ground truth noto)

Abbiamo creato 28 ritraduzioni che cambiano chiaramente il significato (negazione persa, numero errato, azione opposta, obbligatorio → opzionale, e simili) e 40 ritraduzioni che mantengono il significato ma riformulano pesantemente (il caso difficile per i falsi positivi). Il giudice (Gemini 2.5 Flash, indipendente dal modello di traduzione) le ha viste senza etichette.

• Recall: 28/28 (100%)Ogni errore di significato inserito è stato segnalato, con un motivo preciso ("negazione persa", "numero errato", "significato opposto").
• Tasso di falsi positivi: 0/40 (0%)Nemmeno una parafrasi correttamente riformulata è stata segnalata.

Cosa ha anche corretto il benchmark

Questo test ha fatto emergere un bug reale nella nostra pipeline: su un batch grande, la chiamata al giudice poteva superare il timeout e, poiché l'errore veniva soppresso, non restituire alcuna segnalazione, sottostimando in silenzio i file grandi. Ora dividiamo le chiamate al giudice in piccoli sotto-batch con un nuovo tentativo, così la verifica resta affidabile qualunque sia la dimensione del file. La correzione è uscita insieme a questa pagina.

Limiti

Cosa questi numeri non coprono:

• Questo è un set piccolo e controllato (148 casi), non un campione di traffico live.
• Le 28 distorsioni sono cambiamenti di significato evidenti. La deriva sottile, come un tono spostato o un modale ammorbidito, è più difficile, e il 100% qui non significa il 100% su tutto.
• Abbiamo scritto i casi di test, quindi la ground truth è nota. Questo è un test equo per il giudice, non uno studio sul campo della qualità della traduzione.
• Un modello di traduzione (DeepSeek V3, il modello gratuito all'epoca) e un giudice (Gemini 2.5 Flash); il set di distorsioni è incentrato sull'inglese.

Cosa ti dà il controllo: ogni segnalazione è un fatto verificabile (un placeholder perso, una negazione invertita), non un punteggio di fiducia. Un modello di traduzione migliore dà meno segnalazioni, non un controllo più debole.