KAERIS переклав цю сторінку та перевірив кожен рядок зворотним перекладом. Носій мови ще не переглядав її. Оригінал англійською
Чи ловить перевірка зворотним перекладом помилки? Ми виміряли.
Ми запустили реальний конвеєр на наборі з відомими відповідями та опублікували цифри, метод і обмеження. Це невеликий, контрольований тест, який ми провели самі, а не польове дослідження.
Результати
| Що вимірювалося | Результат | Вибірка |
|---|---|---|
| Виявлені помилки змісту | 28 з 28 (100%) | Чіткі спотворення, які ми написали самі |
| Хибні спрацьовування | 0 з 40 (0%) | Правильні переклади, сильно перефразовані |
| Виявлені втрачені плейсхолдери | 3 з 3 | Реальні втрати моделлю у 80 перекладах |
Ці цифри отримано на прогоні, де перекладачем була DeepSeek V3, а суддею — Gemini 2.5 Flash. Зараз сервіс перекладає за допомогою Gemini 2.5 Flash-Lite, тож цифри описують перевірку, а не сьогоднішнього перекладача.
Що таке перевірка
Після перекладу кожного рядка KAERIS виконує три перевірки: дві детерміновані та одну на основі моделі:
- Цілісність плейсхолдерівПеревірка на рівні регулярних виразів: кожен
{name},%s,%(count)sі кожна форма множини ICU з вихідного тексту пережили переклад. Це факт, а не судження. - Цілісність тегів та розміткиТака ж детермінована перевірка для вбудованої розмітки (
<b>,<a>,<0>та самозакривних тегів), тому втрачений або переставлений тег буде виявлено до відправлення. - Відхилення змісту (суддя)Кожен переклад незалежно перекладається назад вашою мовою іншою моделлю, потім суддя порівнює оригінал із цим зворотним перекладом і позначає справжні зміни змісту: перевернуте заперечення, неправильне число, протилежна дія.
Прямий і зворотний переклад роблять різні моделі, тож жодна модель не перевіряє сама себе.
Як ми це тестували
Тест A: цілісність плейсхолдерів та тегів (наскрізний, реальна модель)
20 реалістичних рядків інтерфейсу із сумішшю стилів плейсхолдерів (Rails %{name}, Python %(name)s, printf %.2f/%02d, .NET {0}, HTML <b>, i18next <0>, форми множини ICU) переклали чотирма мовами з різним письмом (німецькою, російською, японською та арабською) безкоштовною робочою моделлю того часу (DeepSeek V3; з 1 серпня 2026 року всі тарифи, включно з безкоштовним, працювали на GPT-4o-mini, а з 5 серпня 2026 року працюють на Gemini 2.5 Flash-Lite, обраній вимірюванням кандидатів у цьому ж конвеєрі). Це 80 перекладів. Потім ми запустили детерміновану перевірку на справжньому виводі моделі.
Підсумок: модель загубила плейсхолдер у 3 перекладах із 80 (~4%). Перевірка позначила всі 3: вона рахує плейсхолдери, а не вгадує.
Тест B: суддя спотворень (відома істинна відповідь)
Ми створили 28 зворотних перекладів, які чітко змінюють зміст (втрачене заперечення, неправильне число, протилежна дія, обов'язково→необов'язково тощо) і 40 зворотних перекладів, які зберігають зміст, але сильно перефразовують (складний випадок для хибних спрацьовувань). Суддя (Gemini 2.5 Flash, незалежний від моделі прямого перекладу) бачив їх без міток.
- Повнота виявлення: 28/28 (100%)Кожна вставлена помилка змісту була позначена з точним обґрунтуванням («втрачене заперечення», «неправильне число», «протилежний зміст»).
- Рівень хибних спрацьовувань: 0/40 (0%)Жоден правильно перефразований варіант не був позначений.
Що ще виправив бенчмарк
Цей прогін виявив справжню помилку в нашому власному конвеєрі: на великому пакеті виклик судді міг перевищити тайм-аут і, оскільки помилка глушилася, повернути порожній список позначок — на великих файлах перевірка тихо недораховувала. Тепер ми ділимо виклики судді на невеликі підпакети з повтором, і перевірка надійна за будь-якого розміру файлу. Виправлення вийшло разом із цією сторінкою.
Обмеження
Чого ці цифри не показують:
- Це невеликий, контрольований набір (148 випадків), а не вибірка з реального трафіку.
- 28 спотворень — це чіткі зміни змісту. Тонкі відхилення, такі як зміна тону або пом'якшення модальності, є складнішими, і 100% тут не означає 100% у всьому.
- Ми написали тестові випадки, тому істинна відповідь відома. Це справедливий тест судді, а не польове дослідження якості перекладу.
- Одна модель прямого перекладу (DeepSeek V3, безкоштовна модель на той час) і один суддя (Gemini 2.5 Flash); набір спотворень зосереджений на англійській мові.
Що дає перевірка: кожна позначка — факт, який можна перевірити (загублений плейсхолдер, перевернуте заперечення), а не оцінка впевненості. Що краща модель-перекладач, то менше позначок, але перевірка від цього не слабшає.