逆翻訳によるチェックはエラーを見つけられるのか？測定しました。

チェックの内容

KAERISは、各文字列を翻訳した後、2つの決定論的チェックと1つのモデルベースのチェックを実行します。

• プレースホルダーの整合性ソースの {name}、%s、%(count)s、およびICUの複数形が翻訳で維持されているかを確認する正規表現レベルのチェックです。これは事実であり、判断ではありません。
• タグとマークアップの整合性インラインマークアップ（<b>、<a>、<0>、および自己終了タグ）に対する同様の決定論的チェックです。これにより、タグの欠落や順序変更が出荷前に検出されます。
• 意味のずれ（判定者）各翻訳は別のモデルによって、お客様の言語へ独立して逆翻訳されます。その後、判定者が原文と逆翻訳を比較し、本当の意味の変化（否定の反転、数値の誤り、反対の動作など）にフラグを付けます。

翻訳と逆翻訳は別々のモデルが行うため、どのモデルも自分の出力を自分で確認することはありません。

テスト方法

テストA：プレースホルダーとタグの整合性（エンドツーエンド、実際のモデル）

さまざまなプレースホルダー形式（Rails %{name}、Python %(name)s、printf %.2f/%02d、.NET {0}、HTML <b>、i18next <0>、ICUの複数形）が混在する現実的なUI文字列20件を、文字体系の異なる4言語（ドイツ語、ロシア語、日本語、アラビア語）に、当時本番で使っていた無料モデル（DeepSeek V3。2026年8月1日からは無料を含むすべてのプランがGPT-4o-miniを使い、2026年8月5日からはこのパイプライン内で候補を測定して選んだGemini 2.5 Flash-Liteを使っています）で翻訳しました。合計80件の翻訳です。その後、実際のモデル出力に決定論的チェックを実行しました。

結果：モデルは80件中3件の翻訳でプレースホルダーを落としました（約4%）。チェックは3件すべてを検出しました。プレースホルダーを数えるだけで、推測はしません。

テストB：歪み判定者（既知の正解）

意味をはっきり変える逆翻訳（否定の欠落、数値の誤り、反対の動作、必須→任意など）を28件、意味は保ったまま大きく言い換えた逆翻訳（誤検知が起きやすい難しいケース）を40件、私たちが作成しました。判定者（翻訳モデルとは独立したGemini 2.5 Flash）は、ラベルなしでこれらを判定しました。

• 再現率：28/28 (100%)意図的に埋め込んだ意味のエラーはすべて、「否定の喪失」、「数値の間違い」、「反対の意味」といった正確な理由とともにフラグ付けされました。
• 誤検知率：0/40 (0%)意味が正しく言い換えられたパラフレーズは一つもフラグ付けされませんでした。

ベンチマークが修正したその他の問題

この実行により、私たち自身のパイプラインの実際のバグが表面化しました。大規模なバッチでは、判定者の呼び出しがタイムアウトを超え、サイレントフェイルするため、フラグを返さず、大きなファイルでの報告を静かに少なくしていました。現在、判定者の呼び出しを小さなサブバッチに分割し、リトライを行うようにしたため、ファイルサイズに関係なく検証が信頼できるようになりました。その修正はこのページとともにリリースされました。

限界

この数字が示していないこと：

• これは小規模で管理されたセット（148ケース）であり、ライブトラフィックのサンプルではありません。
• 28件の歪みは明確な意味の変更です。トーンのずれやモダリティの緩和のような微妙なずれはより困難であり、ここでの100%はすべてにおいて100%を意味するわけではありません。
• テストケースは私たち自身が作成したため、正解は既知です。これは判定者の公平なテストであり、翻訳品質のフィールドスタディではありません。
• 1つのフォワードモデル（当時の無料モデルであるDeepSeek V3）と1つの判定者モデル（Gemini 2.5 Flash）を使用しました。歪みセットは英語中心です。

チェックが示すのは確認できる事実（失われたプレースホルダー、反転した否定）であり、信頼度スコアではありません。翻訳モデルが良くなればフラグは減りますが、チェックが弱くなるわけではありません。