¿Detecta errores la comprobación por retrotraducción? Lo medimos.

Qué es la comprobación

Después de traducir cada cadena, KAERIS ejecuta tres comprobaciones, dos deterministas y una basada en modelo:

• Integridad de marcadoresUna comprobación a nivel de regex de que cada {name}, %s, %(count)s y plural ICU en la fuente sobrevivió a la traducción. Esto es un hecho, no un juicio.
• Integridad de etiquetas y marcadoLa misma comprobación determinista para el marcado en línea (<b>, <a>, <0> y etiquetas auto-cerradas), de modo que una etiqueta omitida o reordenada se detecta antes de que se envíe.
• Deriva de significado (el juez)Cada traducción se traduce independientemente de vuelta a su idioma por un modelo diferente, luego un juez compara el original con esa retrotraducción y marca cambios de significado genuinos: una negación invertida, un número incorrecto, una acción opuesta.

La traducción y la retrotraducción usan modelos distintos, así que ningún modelo revisa su propio trabajo.

Cómo lo probamos

Prueba A: integridad de marcadores y etiquetas (end-to-end, modelo real)

Se tradujeron 20 cadenas de interfaz realistas con una mezcla de estilos de marcadores (%{name} de Rails, %(name)s de Python, %.2f/%02d de printf, {0} de .NET, <b> de HTML, <0> de i18next, plurales ICU) a cuatro idiomas con sistemas de escritura distintos (alemán, ruso, japonés y árabe) con el modelo gratuito de producción de entonces (DeepSeek V3; desde el 1 de agosto de 2026 todos los planes, incluido el gratuito, usaron GPT-4o-mini, y desde el 5 de agosto de 2026 usan Gemini 2.5 Flash-Lite, elegido midiendo candidatos dentro de este mismo pipeline). Son 80 traducciones. Después ejecutamos la comprobación determinista sobre la salida real del modelo.

Resultado: el modelo perdió un placeholder en 3 de 80 traducciones (~4 %). La comprobación marcó las 3: cuenta placeholders, no adivina.

Prueba B: el juez de distorsión (verdad fundamental conocida)

Creamos 28 retrotraducciones que cambian claramente el significado (negación perdida, número incorrecto, acción opuesta, requerido → opcional, y similares) y 40 retrotraducciones que mantienen el significado pero reformulan mucho (el caso difícil para falsos positivos). El juez (Gemini 2.5 Flash, independiente del modelo directo) las vio sin etiquetas.

• Recall: 28/28 (100%)Cada error de significado plantado fue marcado, con una razón precisa ("negación perdida", "número incorrecto", "significado opuesto").
• Tasa de falsos positivos: 0/40 (0%)Ni una sola paráfrasis correctamente reformulada fue marcada.

Lo que el benchmark también arregló

Esta prueba sacó a la luz un error real en nuestro propio pipeline: en un lote grande, la llamada al juez podía superar su tiempo de espera y, como el error se silenciaba, no devolver ninguna marca, con lo que en archivos grandes se informaba de menos sin avisar. Ahora dividimos las llamadas al juez en sublotes pequeños con reintento, así que la comprobación sigue siendo fiable sea cual sea el tamaño del archivo. La corrección se publicó junto con esta página.

Límites

Lo que estas cifras no cubren:

• Este es un conjunto pequeño y controlado (148 casos), no una muestra de tráfico en vivo.
• Las 28 distorsiones son cambios de significado claros. La deriva sutil, como un tono cambiado o un modal suavizado, es más difícil, y el 100% aquí no significa el 100% en todo.
• Escribimos los casos de prueba, por lo que la verdad fundamental es conocida. Esa es una prueba justa del juez, no un estudio de campo de la calidad de la traducción.
• Un modelo directo (DeepSeek V3, el modelo gratuito en ese momento) y un modelo juez (Gemini 2.5 Flash); el conjunto de distorsión está centrado en inglés.

Lo que te da la comprobación: cada aviso es un hecho verificable (un placeholder perdido, una negación invertida), no una puntuación de confianza. Un modelo de traducción mejor da menos avisos, no una comprobación más débil.