評価AIは今、Lv3の壁に直面している。
メタ評価AI「eval000」事業を始動、「eval000 Essential」を提供開始

最前線の査読AIは、
なぜLv3止まりなのか

生成AIによる評価・査読の自動化は、この1〜2年で一気に実装段階に入りました。論文査読AIの分野では、LLMのアンサンブルが論文を採点し、accept/rejectを推奨するところまでを自動化する取り組みが登場しています。しかし第三者による検証は、その限界も明らかにしています。

当社は、自動運転のSAEレベル分類を評価AIに写像することで、この状況を整理しています。自動運転のレベル分類が測っているのは「運転がどれだけ上手いか」ではなく、「どの局面で、誰が責任の当事者であり続けるか」です。評価AIも同じ問いを立てるべきです。

「eval000 Essential」の概要と特徴

eval000 Essentialは、メタ評価エンジンの三層設計をそのまま活用しながら、Layer 01をAIペルソナ審査員のみで構成した評価アウトソーシングサービスです。フルプラットフォームとの違いは自動化の「レベル」ではなく「ODD（適用範囲）」——どの種類の評価対象に対応するかの幅の差です。

主な利用シーン

• ビジネスコンテスト・アクセラレータープログラムの審査
• 企業内新規事業審査・イントレプレナー制度
• 助成金・補助金の採択審査
• 採用選考評価・社内表彰制度

ビジネスプラン評価が抱える
4つの構造的課題

スタートアップ支援・新規事業創出への関心の高まりとともに、ビジネスコンテストやアクセラレータープログラムは増加を続けています。しかしビジネスプラン評価には、以下の構造的課題が長年指摘されてきました。

• 審査員の専門分野・経験によって評価軸が大きく異なり、同じ提案でも評価が割れる（バイアス）
• 同一審査員でも審査タイミング・順序によって評価がぶれる。カーネマンらの研究では同一人物の時間帯差による評価変動は平均19%（ノイズ）
• 生成AIを評価に用いても、AIモデルごとに評価の「個性」がある。当社PoCでは同一提案に対し異なるモデルで最大12点の差（満点100点）が生じることを確認
• ルーブリック（評価基準）の設計には専門性が必要で、属人化・形骸化しやすい（誤差）