DeepSeekとClaudeに同一ルーブリック（AG/BG）で2件のビジネスプランを評価させると、AGスコアで最大1.60点差が発生しました。「将来計画を評価するか／現在の実績を評価するか」というAIの評価思想の差が、同一ルーブリックを使っても結果を変えてしまうことを実証しました。
【実証レポート】AI評価モデルが異なると、
なぜ同じプランの評点が最大1.45点変わるのか
生成AIに同一のビジネスプランを評価させても、使うAIモデルが違えばスコアが大きく変わる——これは直感的には分かっていても、実際のデータとして示されることは少なかった。本レポートでは eval000 の体験セミナー（2026年8月5日）で実施したライブデモの実証データとして、DeepSeekとClaudeに全く同一のルーブリックで2件のビジネスプランを評価させた結果を公開します。
実施背景——「AI評価の標準化」という問題
ビジネスコンテスト・採用選考・補助金審査の現場では、審査工数の削減を目的として生成AIの活用が急速に広まっています。しかし多くの場面で「AIに採点させる」という実装が行われており、そこには構造的な問題があります。
eval000が2025年に実施した予備検証では、同一のビジネスプランをChatGPT・Gemini・Claude等の複数モデルで評価させると最大12点差が生じることを確認しています。本レポートはその構造的問題を、AG・BGという2種類のルーブリックを用いたより精密な実証として示します。
評価方法
評価対象プラン
- プランA：EcoBottle Campus——大学生向け水筒シェアリングサービス
- プランB：越中八尾ウェルネス・スマートビレッジ創生事業——令和8年度富山市PoC申請
使用ルーブリック
① 根拠と検証（30%）② 発展可能性（25%）③ 人間ならではの価値（20%）④ 実行リスク（15%）⑤ 社会的変革の度合い（10%）
BGルーブリック（4項目・加重スコア）
① 価値の革新性（30%）② 市場の潜在性（20%）③ 商業的実現可能性（25%）④ 技術的実現可能性（25%）
評価者
DeepSeek（ポテンシャル評価型）とClaude（エビデンス評価型）に、全く同一のルーブリック・評価基準・ビジネスプラン文書を提供し、独立採点を実施しました。
EcoBottle Campus の評価結果
AGルーブリック比較
| 評価基準 | 配点 | DeepSeek | Claude | 差 |
|---|---|---|---|---|
| ① 根拠と検証 | 30% | 4 | 3 | +1 |
DeepSeek：環境省データ・実証実験に裏付けられ、ABC大学の検証が「100人以上」とみなせると判断。 Claude：実参加ユーザー数が不明瞭、廃棄コスト算出根拠の記載なしを厳密に評価。 | ||||
| ② 発展可能性 | 25% | 3 | 2 | +1 |
DeepSeek：3ヵ年計画・全国100大学・アジア展開という将来構想を「発展性」として評価。 Claude：AI洗浄システムの改善履歴・実績の開示がなく、実証された発展の軌跡が乏しいと判断。 | ||||
| ③ 人間ならではの価値 | 20% | 4 | 2 | +2 |
DeepSeek：「所有から共有へ」という価値観転換を学生の視点で描写——共感を得やすいと高評価。 Claude：市場分析・数値データ中心の構成で、創業者の個人的な動機・感情的訴求がほぼ見当たらないと判断。 | ||||
| ④ 実行リスク | 15% | 4 | 3 | +1 |
DeepSeek：3リスクに個別対応策があり事業全体として実現可能と評価。 Claude：個人情報保護・損害賠償責任等の法的観点への言及が薄いと判断。 | ||||
| ⑤ 社会的変革の度合い | 10% | 4 | 4 | 0 |
両AI共通：CO2・廃棄物削減を定量化し、長期ビジョン（ASEAN展開）まで提示している点を評価。唯一一致した評価軸。 | ||||
| AGスコア（加重平均） | 3.75 | 2.55 | 1.20 | |
BGルーブリック比較
| 評価基準 | 配点 | DeepSeek | Claude | 差 |
|---|---|---|---|---|
| ① 価値の革新性 | 30% | 4 | 3 | +1 |
| ② 市場の潜在性 | 20% | 5 | 4 | +1 |
| ③ 商業的実現可能性 | 25% | 4 | 3 | +1 |
| ④ 技術的実現可能性 | 25% | 5 | 3 | +2 |
DeepSeek：IoT・UV殺菌・アプリ連携は既存技術の組み合わせで実用化ハードルは低いと満点評価。 Claude：「特許出願中」の自動洗浄システムは未確定要素でコスト面の裏付けも薄いと判断。 | ||||
| BGスコア（加重平均） | 4.45 | 3.20 | 1.25 | |
越中八尾ウェルネス・スマートビレッジ創生事業の評価結果
AGルーブリック比較
| 評価基準 | 配点 | DeepSeek | Claude | 差 |
|---|---|---|---|---|
| ① 根拠と検証 | 30% | 5 | 3 | +2 |
DeepSeek：高齢化率・人口減少率・富山大医学部の倫理審査取得済みという根拠の豊富さを満点評価。 Claude：PoC自体がこれから実施する提案段階であり、実地検証データが存在しないことを重視。 | ||||
| ② 発展可能性 | 25% | 5 | 2 | +3 |
DeepSeek：PoC→野外能楽堂→フルビレッジ整備という二段階ロードマップ全体を「発展性」として満点評価。 Claude：ロードマップは将来計画であり、過去の改善履歴・AI活用実績の開示という観点では情報が少ないと判断。 | ||||
| ③ 人間ならではの価値 | 20% | 5 | 5 | 0 |
両AI共通で満点：4市民（文化継承者・高齢住民・都市生活者・能楽愛好者）の困りごとから出発する構成。300年の伝統・担い手不足・認知症リスクという感情に訴える描写の深さを両AIが高く評価。 | ||||
| ④ 実行リスク | 15% | 5 | 4 | +1 |
| ⑤ 社会的変革の度合い | 10% | 5 | 5 | 0 |
両AI共通で満点：KGIとして「来訪者50%増」「移住100名」を明示。ユネスコ無形文化遺産という長期的・文化的インパクトの経路の明確さを評価。 | ||||
| AGスコア（加重平均） | 5.00 | 3.40 | 1.60 | |
BGルーブリック比較
| 評価基準 | 配点 | DeepSeek | Claude | 差 |
|---|---|---|---|---|
| ① 価値の革新性 | 30% | 5 | 4 | +1 |
| ② 市場の潜在性 | 20% | 5 | 4 | +1 |
| ③ 商業的実現可能性 | 25% | 4 | 3 | +1 |
DeepSeek：補助金450万円・PoC収益による収支均衡計画を「実現可能」と判断。 Claude：本格展開（2〜10億円規模）の財源確保が「今後の申請頼み」であることを重視。 | ||||
| ④ 技術的実現可能性 | 25% | 5 | 5 | 0 |
両AI共通で満点：ウェアラブル・IoTカメラ・SCRUM-T連携は全て既存技術の活用。富山市の既存インフラ（LPWA・SCRUM-T）を活用する設計で実現可能性が非常に高いと両AI一致。 | ||||
| BGスコア（加重平均） | 4.75 | 3.90 | 0.85 | |
全スコアの総括
AI評価思想の比較分析
スコアの差はAIの「能力差」ではなく「評価思想の差」です。DeepSeekとClaudeは高性能なLLMですが、事業計画の「何を」評価するかという判断が根本的に異なります。
- 将来の発展可能性・社会的ビジョンを積極評価
- 計画全体の構成・方向性の妥当性を重視
- 加点型——強みに注目して評価する傾向
- ロードマップ・将来構想も「発展性の証拠」として評価
- 提出資料で客観的に確認できる実績・証拠を重視
- 実証されるまでは評価を保留する姿勢
- 減点型——不足点を指摘して評価する傾向
- 「将来計画」は実績として扱わない
| 比較軸 | DeepSeek | Claude |
|---|---|---|
| 評価姿勢 | 将来性・ポテンシャルを重視 | 現時点の証拠・実績を重視 |
| 採点方法 | 加点型 | 減点型 |
| 将来構想の扱い | 積極的に評価 | 実証されるまで保留 |
| 適した用途 | 事業の魅力・可能性の把握 | 審査員視点の客観的評価 |
SEGT収束——バラつきを除去した評価標準 v* の生成
本体験セミナーでは上記の実証に続き、eval000のSEGT収束計算を適用するライブデモを実施しました。3つのAIペルソナ審査員（実務派・革新派・バランス派）がBGルーブリックで採点した後、SEGT収束で Evaluation Standard v* を生成しました。
BGルーブリック × 3ペルソナ → SEGT収束の実値
結論
1. 同一ルーブリックでも AI によってスコアが最大 1.60点変わる
越中八尾プランのAGスコアにおいて DeepSeek 5.00 vs Claude 3.40 という1.60点差が発生。これはAIの能力差ではなく、「将来計画を評価するか／現在の実績を評価するか」という評価思想の構造的な差に起因しています。
2. 共通点は「事業の本質」への評価に現れる
両AI一致または差が小さかった項目（「社会的変革の度合い」「人間ならではの価値」「技術的実現可能性」）はプランの本質的な価値に関わる軸です。AIが「正しく評価できる領域」は存在しますが、それは評価の一部にすぎません。
3. eval000 SEGT収束は AI の評価思想の差を数学的に除去する
複数のAIペルソナ審査員のスコアを SEGT 収束計算にかけることで、各AIが持つ固有の評価思想のバラつきを外生の原理 N のもとで除去し、再現可能な Evaluation Standard v* を生成します。