同じ審査員・同じ基準でも生成AIの評価は最大20.8点ブレる——8月5日の体験セミナー・ライブデモの実データをもとに、SEGT収束計算がそのブレを単一の標準評価V*にまとめた実例を解説します。
同じ審査員・同じ基準で採点しても、生成AIの評価は20.8点ブレる。
eval000のSEGT収束計算が、そのブレを1つの標準評価にまとめた実例。
2026年8月5日開催のeval000体験セミナー・ライブデモでは、同じ事業計画・同じ評価ルーブリック・同じ外生の原理Nのもとで、3種類のAIペルソナ審査員に採点してもらいました。結果は最大20.8点のブレ。ここにSEGT（標準評価生成理論）の収束計算を適用したところ、ブレは単一の標準評価値 V* に収束しました。本記事ではこのライブデモの実データをもとに、生成AIの評価がなぜバラつくのか、SEGTがそのブレをどう解消するのかを解説します。
（越中八尾プラン）
標準評価 V*
V*同士の差
同じ審査員・同じ基準で採点しても、スコアは大きくバラつく
今回のデモでは、地域活性化に関する2つの事業計画（「越中八尾」「EcoBottle」）を対象に、外生の原理N（審査の目的）とEvaluation Rubric（BGルーブリック・4軸）を固定したまま、3種類のAIペルソナ審査員に評価してもらいました。
| 評価軸 | 実務派 | 革新派 | バランス派 | 平均 |
|---|---|---|---|---|
| バリューイノベーション (30%) | 60.0 | 90.0 | 83.3 | 77.8 |
| 市場の可能性 (20%) | 70.0 | 85.0 | 80.0 | 78.3 |
| 商業的実行可能性 (25%) | 65.0 | 88.0 | 84.0 | 79.0 |
| 技術的実現可能性 (25%) | 80.0 | 92.0 | 88.0 | 86.7 |
| 加重合計 | 68.2 | 89.0 | 84.0 | 80.4 |
加重合計は実務派68.2点、バランス派84.0点、革新派89.0点。同じ計画・同じ基準にもかかわらず、審査員の視点によって20.8点もの差が生まれました。3者を単純に平均すると80.4点になりますが、これは「多数決」であり「標準化」ではありません。
| 評価軸 | 実務派 | 革新派 | バランス派 | 平均 |
|---|---|---|---|---|
| バリューイノベーション (30%) | 70.0 | 83.3 | 83.3 | 78.9 |
| 市場の可能性 (20%) | 75.0 | 80.0 | 80.0 | 78.3 |
| 商業的実行可能性 (25%) | 68.0 | 84.0 | 88.0 | 80.0 |
| 技術的実現可能性 (25%) | 80.0 | 88.0 | 84.0 | 84.0 |
| 加重合計 | 73.0 | 84.0 | 84.0 | 80.3 |
EcoBottleでも同様に3ペルソナの評価がバラつきました。加重合計は実務派73.0点、バランス派・革新派がともに84.0点で、差は11.0点。越中八尾よりは小さいものの、単純平均（80.3点）はやはり「多数決」にすぎません。
興味深いのは、越中八尾（審査員間のバラつき20.8点）とEcoBottle（バラつき11.0点）という、意見の割れ方が異なる2つの計画を比べたときの結果です。
審査員間のブレの大きさは計画ごとに違っても、外生の原理Nに拘束された収束計算をかけると、どちらも同水準の標準評価に落ち着きました。個々の審査員のブレの大きさに依存せず、安定した基準点を導けることがうかがえます。
SEGTが解消するのは「多数決」ではなく「基準のブレ」
eval000は、外生の原理N（何のために評価するか）を先に定義し、その原理に拘束された写像 v(t+1) = F_N(v(t), R) を反復計算することで、単一の固定点 v* に収束させます。この収束プロセスは、バナッハの不動点定理という数学的な定理によって裏付けられています。
ポイントは、平均点と異なる数値を作ることが目的ではないということです。変動する個々の評価の背後にある標準評価（Evaluation Standard）を構成し、再現可能な「ものさし」（Evaluation Measure）として使えるようにすることに価値があります。
バナッハの不動点定理が保証するのは、同一の評価チーム（今回のデモでは3ペルソナ固定）・同一の入力・同一のN・同一のルーブリックのもとでは、計算のたびに同じv*が得られるということです。評価するチーム自体が変わった場合（別のペルソナ構成や、人間の審査員チームなど）に同じ標準評価へ到達できるかどうかは、この定理が直接保証する範囲の外にあります。eval000ではこの区別を明確にしたうえで、異なる評価者集団間の収束性についてもPoCで検証を重ねています。
されないブレない評価
数値で測る取り組み
最初に明文化する
このデモは「第一歩」。次はPoCで実証を重ねます
今回のライブデモは、固定した3ペルソナ審査員チームによる1回の収束計算の実例です。この実例を土台に、eval000では3ヶ月のPoCプログラムの中で次の3点を検証しています。