評価の自動運転は、いま何合目か
——査読AIとeval000にみるHITLの本当の意味

01「レベル」という共通言語がなぜ必要か

生成AIによる評価技術は、いま玉石混交のまま語られています。「AIが評価する」という一言は、局面ごとに人間が介入を待つ設計から、人間が一切関与しない設計まで、まったく異なる責任構造を同じ言葉でくるんでしまいます。この曖昧さを解くのに、自動運転のレベル分類（SAE J3016）は驚くほど相性が良いといえます。あの分類が測っているのは「運転がどれだけ上手いか」ではなく、「どの局面で、誰が責任の当事者であり続けるか」だからです。評価AIについても、問うべきは精度の高さだけではなく、この責任の所在です。

なお本稿で頻出する「ODD」は運行設計領域（Operational Design Domain）の略で、自動運転システムが正常に作動することを前提とした走行条件・環境の範囲を指します。評価AIに置き換えれば、「どの種類の評価対象・どの局面までなら、人間の逐次介入なしに処理してよいか」という適用範囲に相当します。

この表でLv3に色を付けたのには理由があります。研究者のMadeleine Elishは、この「システムを信頼して注意を払っているのに、事故の責任は人間に帰属させられる」構造をモラル・クランプルゾーン（責任の緩衝材にされる人間）と呼びました。評価AIの世界でも、まったく同じ構図が起きつつあります。

02最前線の到達点——論文査読AIという実験場

この構図が最も先鋭化しているのが、学術論文の査読分野です。サカナAIのAI Scientistに代表される研究では、LLMのアンサンブルが論文を採点し、accept/rejectを推奨するところまでを自動化しています。着想から実験設計、論文執筆、そして査読までを一気通貫でこなす野心的な取り組みであり、1本あたり数十ドル規模のコストで研究サイクルを回せる点は、確かに評価・審査コストの構造を変えるインパクトを持っています。

一方で、第三者による検証は査読エージェントの限界も明らかにしています。人間が実際に採択した論文の一定数を誤って却下する一方、人間が却下した論文を採択側に推す——という形で、人間の合意水準からの乖離が報告されています。文献レビューが表面的なキーワード検索にとどまり、新規性の判定を誤る例も指摘されています。学会側の対応も後手に回りがちで、AI生成査読の急増を受けて事後的に開示義務を課すといった規制が後追いで整備されつつある状況です。

03eval000の立ち位置——三層に分けて自動化する

eval000のメタ評価エンジンは、この課題に対して「一括りの自動化」ではなく、評価という行為を三つの層に分解するアプローチをとります。

フルプラットフォームは、01の層に人間の審査員を残しながら、02の収束処理をエンジンに委ねる設計であり、これはLv4に近いといえます。「一次評価という運行設計領域の中では、収束処理に人間の逐次介入を必要としない」という意味で、Lv3型の「局面依存のフォールバック待ち」とは構造が異なります。

新たに提供を始めたeval000 Essentialは、01の層すらAIペルソナ審査員に置き換えます。これは自動運転で言えばセンサー入力そのものの自動化に相当し、一次評価から収束処理まで、実行フェーズは人間の介入なしに完結します。だが03の層——ルーブリックとAIペルソナ設定の確認・承認、そして合否・採択・採用等の最終判断——は、Essentialにおいても必ず人間（導入企業様）に残ります。これは技術的な制約ではなく、明確な設計判断です。

AIペルソナ審査員は、現在の生成AIの水準では万能ではありません。人間審査員が持つ文脈理解・暗黙知に対して、質的に見劣りする局面は当然ありえます。したがってEssentialが担えるのは「フルより自動化が進んだ、より上位のサービス」ではなく、「一次評価というセンサー入力そのものをAIに委ねてよいと判断できる範囲＝ODD」を、現時点のペルソナ審査員の実力に合わせて意図的に狭く設定したサービスだと捉えるのが正確です。両者はいずれもLv4的（収束処理までは人間の逐次介入を要しない）ですが、ODDの定義が異なります。

この整理に立つと、生成AIの精度が向上した場合に起きるのは「Essentialがフルを追い越してLv5に近づく」ことではなく、「Essentialが対応できるODD自体が広がっていく」ことだとわかります。レベルが上がるのではなく、同じLv4のまま、適用できる評価対象の範囲が拡張されていくという理解の方が、技術の実態に即しています。

目的地は、どれだけ自律的な車であっても、乗員が指定します。運転行為の自動化と、目的地設定の自動化は、まったく別の問いです。

04HITLを更新する——Human-in-the-LoopからHuman-in-Commandへ

従来型のHITL、つまり「AIの提案に、その都度人間がYES/NOを言う」という形式には、構造的な弱点があります。AIの精度が上がるほど、人間の確認は儀式化していくというパラドックスです。時間的コストと同調圧力が積み重なり、承認は次第に追随作業になります。これはまさにLv3が抱える問題——注意を払っているのに責任だけは残る、というモラル・クランプルゾーンの構図そのものです。

eval000の三層構造は、このパラドックスを部分的に回避します。人間の関与を「頻度の低い、負荷の高い意思決定点」——原理設定と最終判断——に絞り込むことで、逐次承認による摩耗を避けています。これはJesseeらが提唱するHuman-in-Command（指揮権を持つ人間）に近い設計であり、単純な「AIに人間が寄り添う」というHITLの通念とは一線を画します。

ただし、この設計をもってしても消えない問いがあります。AIペルソナ審査員の精度がどれだけ人間審査員に近づいても——あるいは凌駕しても——原理設定・最終判断の層に求められる検討事項は残り続けます。

• ルーブリックそのものの妥当性評価基準・重み付けが、今回の案件・現在の市場環境に照らして今なお適切かという判断は、AIの採点精度とは独立しています。
• 評価対象外の文脈利益相反、ポートフォリオバランス、レピュテーションリスクなど、そもそも評価データに含まれていない情報に基づく判断。
• ゲーミング・敵対的操作への警戒基準が予測可能になるほど、入力側の"攻略"インセンティブは強まります。AIの判定精度と、入力の健全性は別問題です。
• 責任・正当性の調達異議申し立てが起きた際に説明責任を負い、必要なら判断を見直す権限を持つ主体は、AIにはなりえません。

この4点は、AIの精度向上によって解消される種類の課題ではありません。だからこそ、eval000は原理設定・最終判断の層を「いずれ自動化される暫定的な制約」としてではなく、「評価という営みが成立するための恒常的な設計要件」として扱っています。

05いま何合目か

論文査読AIの実践は、評価の自動化における最前線の速度を示しています。だがその責任構造は、まだLv3的な「フォールバック待ち」の段階にとどまっています——判定は自動化されているのに、それをどこまで信頼するかの見極めは、依然として不安定な形で人間に委ねられたままです。

eval000は、評価という行為を三層に分解することで、01と02の層をLv4的な自律性へと引き上げつつ、03の層——目的地の設定と最終責任——を恒常的に人間に残す設計をとっています。フルとEssentialの違いも、自動化の強さの差ではなく、01の層に設定するODD（適用範囲）の広さの差にすぎません。これは「人間関与を薄く広く保つ」という従来のHITLの発想ではなく、「自動化してよい層と、してはならない層を切り分け、その上でODDを対象ごとに調整する」という発想です。評価AIの進化がどこまで進んでも、この切り分けの設計自体は古びません。むしろ生成AIの精度が上がるほど、ODDは広がり、その価値は増していくはずです。