KAERIS traduziu esta página e verificou cada linha traduzindo-a de volta. Um falante nativo ainda não revisou. Original em inglês
A verificação de retrotradução detecta erros? Nós medimos.
Executamos o pipeline real do serviço em conjuntos com respostas conhecidas e publicamos os números, o método e os limites. É um benchmark pequeno e controlado que fizemos nós mesmos, não um estudo de campo. Última medição: 30 de outubro de 2026, com os modelos de produção.
Resultados
| O que foi medido | Resultado | Amostra |
|---|---|---|
| Erros de significado detectados | 25 de 27, em cada uma de duas execuções | Erros de sentido inseridos em traduções reais, 10 idiomas. As duas falhas foram em português |
| Linhas de controle sinalizadas | 38 de 1.846 (2,1%) | Linhas normais dos mesmos arquivos, ambas as execuções. 12 das 38 sinalizações estão em linhas com erros de tradução reais; nas 1.786 linhas limpas a taxa é de 1,5% |
| Marcadores ou tags perdidos pelo tradutor | 5 de 240 (2,1%) | GPT-6 Luna, 20 textos de interface × 4 idiomas × 3 repetições, encontrados pelas verificações determinísticas |
| Verificação de sentido quando a testemunha está limitada | 0 de 27 pelo juiz; 6 de 27 por detectores offline | Uma execução anterior no mesmo dia: a testemunha respondeu 429 (limite de requisições) em todas as linhas, o juiz nunca rodou e o serviço informou as linhas como não verificadas |
Medido em 30 de outubro de 2026 com os modelos de produção: o GPT-6 Luna traduz, o Gemini 2.5 Flash-Lite retraduz (a testemunha) e o DeepSeek V3.2 julga. Nas duas execuções do teste de sentido, a testemunha foi chamada pela API do próprio Google, então nenhuma requisição atingiu o limite; os modelos e os prompts são os do serviço. O teste de marcadores foi repetido três vezes.
Os números que estavam antes nesta página (julho de 2026) vieram de outra configuração de modelos, e os conjuntos de teste não foram guardados, então não podem ser repetidos. Nós os substituímos. Os conjuntos são diferentes, por isso uns números não devem ser lidos como melhores ou piores que os outros.
O modelo testemunha às vezes responde com um erro de limite de requisições (HTTP 429). O serviço então marca essas linhas como não verificadas em vez de deixá-las passar em silêncio, de modo que parte de um arquivo pode ficar sem verificação. É um limite em aberto, não resolvido.
O que é a verificação
Após traduzir cada string, KAERIS executa três verificações, duas determinísticas e uma baseada em modelo:
- Integridade do placeholderUma verificação em nível de regex de que cada
{name},%s,%(count)se plural ICU na origem sobreviveu à tradução. Isso é um fato, não um julgamento. - Integridade de tags e marcaçõesA mesma verificação determinística para marcações inline (
<b>,<a>,<0>e tags de auto-fechamento), para que uma tag perdida ou reordenada seja detectada antes de ser enviada. - Deriva de significado (o juiz)Cada tradução é independentemente traduzida de volta para o seu idioma por um modelo diferente, então um juiz compara o original com essa retrotradução e sinaliza mudanças genuínas de significado: uma negação invertida, um número errado, uma ação oposta.
A tradução, a retrotradução e o julgamento vêm de três modelos diferentes, então nenhum modelo confere o próprio trabalho.
Como testamos
Teste A: integridade de placeholder e tags (fim a fim, modelo real)
20 textos de interface realistas com uma mistura de estilos de marcadores (Rails %{name}, Python %(name)s, printf %.2f/%02d, .NET {0}, HTML <b>, i18next <0>, plurais ICU) foram traduzidos para quatro idiomas de escritas diferentes (alemão, russo, japonês e árabe) pelo GPT-6 Luna, o tradutor de produção, três vezes cada: 240 traduções. O conjunto foi escrito para esta execução (o de julho de 2026 não foi guardado). Depois rodamos as verificações determinísticas do serviço sobre a saída real do modelo.
Resultado: o tradutor perdeu um marcador ou uma tag em 5 de 240 traduções (2,1%), sobretudo um <i> dentro de HTML aninhado e um {0} em japonês. As verificações os sinalizaram: elas contam marcadores, não adivinham.
Teste B: a verificação de sentido com erros inseridos (verdade conhecida)
Inserimos 27 inversões de sentido (negação perdida, número errado, ação oposta e semelhantes) em traduções reais de um arquivo de loja em 10 idiomas, ao lado de cerca de 95 linhas normais por idioma, e rodamos a função que o serviço usa para o --verify: uma retrotradução pelo Gemini 2.5 Flash-Lite e depois um juiz, o DeepSeek V3.2, que compara o original com a retrotradução. Duas execuções, 30 de outubro de 2026. As linhas normais são traduções de 26 de outubro de um modelo anterior, então o teste mede a verificação, não o tradutor atual.
- 25 de 27 detectados em cada execuçãoNas duas vezes as mesmas duas linhas passaram, ambas em português. Em uma, o preço “$50” virou “R$ 50” (reais): a retrotradução manteve R$ 50, mas o juiz não a sinalizou. O detector de moedas do serviço marca essa linha para revisão de qualquer forma, então 52 de 54 linhas foram marcadas no total. Na outra, “test pressings” (prensagens de teste de um disco) virou “testes de pressão”: a testemunha retraduziu como “test pressings”, o que escondeu o erro do juiz.
- 38 de 1.846 linhas normais sinalizadas (2,1%)12 das 38 são linhas que um modelo revisor independente tinha avaliado como mal traduzidas, então são achados, não alarmes falsos. Nas outras 1.786 linhas houve 26 sinalizações (1,5%).
- Execução anterior, testemunha limitada: 0/27 pelo juizCada requisição de retrotradução foi recusada com 429, o juiz nunca rodou e o serviço informou as linhas como não verificadas. Os detectores offline sinalizaram 6 de 27.
O que o benchmark também corrigiu
Esse teste revelou um bug real no nosso próprio pipeline: em um lote grande, a chamada ao juiz podia exceder o tempo limite e, como o erro era silenciado, não retornar nenhuma sinalização, subnotificando sem alarde em arquivos grandes. Agora dividimos as chamadas ao juiz em sublotes pequenos com nova tentativa, para que a verificação continue confiável qualquer que seja o tamanho do arquivo. A correção foi publicada junto com esta página.
Limites
O que esses números não cobrem:
- É um conjunto pequeno e controlado (27 erros inseridos; 20 textos no teste de marcadores), não uma amostra de tráfego real.
- Os 27 erros inseridos são inversões de sentido claras. Um desvio sutil, como um tom deslocado ou um modal suavizado, é mais difícil, e 25 de 27 aqui não significa que todo erro seja detectado.
- Nós escrevemos os casos de teste, então as respostas certas são conhecidas. É um teste justo do juiz, não um estudo de campo sobre a qualidade da tradução.
- As linhas normais do teste B vêm de um modelo anterior, não do GPT-6 Luna. No serviço, a testemunha é chamada pela nossa rota habitual ao provedor, onde às vezes atinge o limite de requisições; duas execuções em um dia não dizem nada sobre a frequência. Os erros inseridos têm textos de origem em inglês.
O que a verificação entrega: cada alerta é um fato verificável (um placeholder perdido, uma negação invertida), não uma pontuação de confiança. Um modelo de tradução melhor gera menos alertas, não uma verificação mais fraca.