Эту страницу перевёл KAERIS и проверил каждую строку обратным переводом. Носитель языка ещё не проверял. Оригинал на английском
Ловит ли проверка обратным переводом ошибки? Мы измерили.
Мы прогнали настоящий конвейер на наборе с известными ответами и опубликовали цифры, метод и ограничения. Это небольшой контролируемый бенчмарк, который мы провели сами, а не полевое исследование.
Результаты
| Что измерялось | Результат | Выборка |
|---|---|---|
| Пойманные смысловые ошибки | 28 из 28 (100%) | Явные искажения, написанные нами |
| Ложные срабатывания | 0 из 40 (0%) | Верные переводы, сильно перефразированные |
| Пойманные потерянные плейсхолдеры | 3 из 3 | Реальные потери у модели в 80 переводах |
Эти цифры получены на прогоне, где переводчиком была DeepSeek V3, а оценщиком — Gemini 2.5 Flash. Сейчас сервис переводит с помощью Gemini 2.5 Flash-Lite, так что цифры описывают проверку, а не сегодняшнего переводчика.
Что делает проверка
После перевода каждой строки KAERIS выполняет три проверки: две детерминированные и одну на основе модели:
- Целостность плейсхолдеровПроверка на уровне регулярных выражений: каждый
{name},%s,%(count)sи каждая форма множественного числа ICU из исходника пережили перевод. Это факт, а не оценка. - Целостность тегов и разметкиТа же детерминированная проверка для встроенной разметки (
<b>,<a>,<0>и самозакрывающиеся теги), поэтому потерянный или переставленный тег ловится до релиза. - Смысловой дрейф (оценщик)Каждый перевод независимо переводится обратно на ваш язык другой моделью, затем оценщик сравнивает оригинал с этим обратным переводом и помечает настоящие изменения смысла: перевёрнутое отрицание, неверное число, противоположное действие.
Прямой и обратный перевод делают разные модели, так что ни одна модель не проверяет сама себя.
Как мы это тестировали
Тест A: целостность плейсхолдеров и тегов (сквозной, настоящая модель)
20 реалистичных строк интерфейса со смесью стилей плейсхолдеров (Rails %{name}, Python %(name)s, printf %.2f/%02d, .NET {0}, HTML <b>, i18next <0>, множественные формы ICU) перевели на четыре языка с разной письменностью (немецкий, русский, японский и арабский) бесплатной боевой моделью того времени (DeepSeek V3; с 1 августа 2026 года все тарифы, включая бесплатный, работали на GPT-4o-mini, а с 5 августа 2026 года работают на Gemini 2.5 Flash-Lite, выбранной замерами кандидатов в этом же конвейере). Это 80 переводов. Затем мы запустили детерминированную проверку на настоящем выводе модели.
Итог: модель потеряла плейсхолдер в 3 переводах из 80 (~4%). Проверка отметила все 3: она считает плейсхолдеры, а не угадывает.
Тест B: оценщик искажений (правильные ответы известны)
Мы написали 28 обратных переводов, которые явно меняют смысл (потерянное отрицание, неверное число, противоположное действие, «обязательно» → «необязательно» и подобное), и 40 обратных переводов, которые сохраняют смысл, но сильно перефразированы (трудный случай для ложных срабатываний). Оценщик (Gemini 2.5 Flash, независимый от модели прямого перевода) видел их без меток.
- Полнота (recall): 28/28 (100%)Каждая подложенная смысловая ошибка была отмечена с точной причиной («потеряно отрицание», «неверное число», «противоположный смысл»).
- Доля ложных срабатываний: 0/40 (0%)Ни один корректный пересказ не был отмечен.
Что бенчмарк заодно починил
Этот прогон вскрыл настоящую ошибку в нашем собственном конвейере: на большом пакете вызов оценщика мог превысить тайм-аут и, поскольку ошибка глушилась, вернуть пустой список пометок — на больших файлах проверка тихо недосчитывала. Теперь мы делим вызовы оценщика на небольшие подпакеты с повтором, и проверка надёжна при любом размере файла. Исправление вышло вместе с этой страницей.
Ограничения
Чего эти цифры не показывают:
- Это небольшой, контролируемый набор (148 случаев), а не выборка реального трафика.
- 28 искажений — явные изменения смысла. Тонкий дрейф, например сдвинутый тон или смягчённый модальный глагол, ловить труднее, и 100% здесь не означают 100% во всём.
- Тестовые случаи написали мы сами, поэтому правильные ответы известны. Это честный тест оценщика, а не полевое исследование качества перевода.
- Одна модель прямого перевода (DeepSeek V3, бесплатная модель на тот момент) и одна модель оценщика (Gemini 2.5 Flash); набор искажений ориентирован на английский язык.
Что даёт проверка: каждая пометка — проверяемый факт (потерянный плейсхолдер, перевёрнутое отрицание), а не оценка уверенности. Чем лучше модель-переводчик, тем меньше пометок, но проверка от этого не слабеет.