eval000 - Blog #Case studyeval000 - Blog #Case studyhttps://www.eval000.ai/blogs/tag/case-studyThu, 01 Oct 2026 22:12:21 -0700http://zoho.com/sites/<![CDATA[MR中途採用一次選考におけるSEGT実証]]>https://www.eval000.ai/blogs/post/MR評価者が変われば、標準評価は変わってよいのか。医薬品企業のMR中途採用一次選考を題材に、外生原理から生成したNorm Nと、即戦力重視・将来性重視という異なる評価者ペルソナ構成を組み合わせ、SEGTが標準評価V*をどう導き出すかを検証。Norm Nと評価者平均の乖離が意味するものも考察するPoCの記 ]]>

評価者が変われば、標準評価は変わってよいのか。医薬品企業のMR中途採用一次選考を題材に、外生原理から生成したNorm Nと、即戦力重視・将来性重視という異なる評価者ペルソナ構成を組み合わせ、SEGTが標準評価V*をどう導き出すかを検証。Norm Nと評価者平均の乖離が意味するものも考察するPoCの記録です。

Case Study / PoC

標準評価は「誰が審査するか」で変わるべきか
——MR中途採用一次選考におけるSEGT実証

評価者が変われば、標準評価はどう変わるのか。医薬品企業のMR中途採用の一次書類選考を題材に、eval000のSEGT（Standard Evaluation Generation Theory）で検証しました。

※本稿で扱う応募者データはすべて架空のサンプルです。実在の選考事例ではなく、概念実証（PoC）の記録として公開しています。

採用選考の一次書類審査は、多くの場合「複数の評価者が採点し、平均する」という方法で標準化されています。しかし、評価者が変われば重視する観点も変わります。即戦力を求める採用マネージャーと、将来性を見る育成担当者とでは、同じ応募書類でも評価が変わって当然です。

この「評価者による違い」を、単なるブレとして平均化してしまってよいのでしょうか。それとも、会社が求める基準と評価者の視点の違いを、両方とも活かした形で評価を導き出すべきなのでしょうか。今回、SEGTを用いてこの問いを検証しました。

① 外生原理からNorm Nを生成する——「原理→ルーブリックR→生成評価値N」という設計

SEGTの理論構造を正確に述べると、採用方針の文章そのものが「Norm N」なのではありません。理論上、この関係は次の4段階として整理されます。

外生原理 → R（評価基準・ルーブリック）→ N（外生基準に基づく生成評価値） 評価者集団 → M (M, N) → Φ → V*

「即戦力となるMR職を採用する」といった採用方針そのもの（外生原理）は、まずルーブリックR（評価軸とアンカー基準）へと翻訳されます。Norm Nは、この外生原理そのものではなく、外生原理をルーブリックRに照らして導出された、生成評価値という位置づけです。

今回のMR中途採用では、次のような採用方針（外生原理）を設定しました。

自社発売体制移行期において即戦力となるMR職を採用する。医療機関との信頼構築力とコンプライアンス意識を、実績の大小以上に重視する。学歴・年齢・前職社名ブランドは評価の対象としない。

この外生原理を5軸のルーブリックRへ落とし込んだ上で、各軸のNorm N（生成評価値）を導出する際、重要な設計判断がありました。「軸ごとの重み（配点比率）」と「軸ごとの絶対的な到達目標（0〜100点の水準）」を、明確に分けて定義することです。

評価軸配点（軸間の重み）Norm N（生成評価値）
専門性・疾患知識20%70点
渉外・関係構築力25%85点
コンプライアンス意識25%85点
成果創出力15%65点
組織適応・自律性15%70点

「重視する軸ほど配点が高い」だけでなく、「重視する軸ほど、ルーブリックRから生成される評価値そのものも高くなる」という二重の反映です。この生成評価値Nは合否を分ける足切り線ではなく、SEGTのV*（収束後スコア）がNと評価者集団Mのスコアを連続的にすり合わせて算出するための基準点です。

② ルーブリック定義——評価者が共通言語で採点できるように

Norm Nを生成する土台となるルーブリックRそのものが曖昧では、評価者ごとに解釈がバラバラになってしまいます。5段階のアンカー基準を作成し、各軸で「どのような記述があれば何点相当か」を具体化しました。例えば「渉外・関係構築力」は次の通りです。

  • 5（卓越）：KOLとの継続的信頼関係構築の具体エピソードと成果が明確
  • 4（優良）：医療機関担当者との関係構築実績が具体的に記述されている
  • 3（標準）：関係構築への言及はあるが成果や継続性が不明確
  • 2（要改善）：対人折衝経験はあるが医療機関特有の文脈がない
  • 1（不足）：渉外・関係構築の記述がほぼない

③ 審査員構成（評価者集団M）——4つのペルソナから2つのパネルを編成する

SEGTのもう一つの構成要素が、評価者集団Mです。評価者を「複数の視点を持つペルソナ」として設計できます。今回は次の4ペルソナを定義しました。

ペルソナ重視する視点
採用マネージャー型KPI・即戦力
コンプライアンス責任者型規制遵守
現場MRリーダー型渉外・KOL対応の実務適性
育成観点型伸びしろ・学習意欲

この4名を、目的の異なる2つの3名パネル（M）に再編成しました。コンプライアンス責任者型と現場MRリーダー型はMR職の核となる評価軸のため両パネルに共通させ、採用マネージャー型と育成観点型だけを入れ替えています。

組1｜即戦力重視パネル（M₁）：採用マネージャー型＋コンプライアンス責任者型＋現場MRリーダー型
組2｜将来性重視パネル（M₂）：コンプライアンス責任者型＋現場MRリーダー型＋育成観点型

ここまでで、外生原理から生成したNorm N（①）と、評価者集団M（③）が揃いました。SEGTはこの(M, N)を収束アルゴリズムΦに入力し、標準評価値V*を算出します。Nは共通のまま、Mだけを2通りに変えることで、V*がどう変化するかを次に検証します。

④ 即戦力重視vs将来性重視で異なる標準評価結果

MR未経験（他業界の法人営業出身）で、独学によるコンプライアンス理解と学習意欲を強みとする架空の応募者データを、M₁・M₂それぞれのパネルで評価しました。

評価軸組1 v*（M₁：即戦力）組2 v*（M₂：将来性）Norm N
専門性・疾患知識59.1762.7370.00
渉外・関係構築力73.4377.6685.00
コンプライアンス意識79.8883.1285.00
成果創出力38.3246.6465.00
組織適応・自律性61.5665.6670.00
総合スコア62.567.2—

Nは同一のまま、Mだけを変えたにもかかわらず、総合スコアが62.5点から67.2点へと変化しました。特に成果創出力は実務経験に乏しいという実態を反映してNorm N（65点）を大きく下回っていますが、育成観点型を含むM₂ではその不足がやや緩和されています。

興味深いのは、変化が成果創出力だけに留まらず、5軸すべてでM₂の方が一様に高くなっている点です。「Mを構成する1名の視点が変わると、狙った軸だけでなく評価全体が方向性を持ってシフトする」という挙動は、複数評価者による標準評価の設計において重要な示唆です。

Norm NとEval avgの乖離が意味するもの
成果創出力では、評価者集団Mの採点平均（Eval avg）がわずか10点前後だったのに対し、外生原理から生成されたNorm Nは65点でした。V*（38.32）はどちらか一方に寄らず、両者から距離を保った中間的な値に収束しています。これは算出の不具合ではなく、「外生原理が求める水準と、Mが見た応募者の実態との間に、埋めがたいギャップが存在する」という事実そのものを、V*が定量的に可視化していると解釈できます。

まとめと今後の展開

  • 外生原理をルーブリックRに翻訳し、そこから生成評価値Nを導出するという三段階の設計にすることで、採用方針をより精緻に評価へ反映できる
  • 評価者集団Mの構成を変えることで、同じNorm Nに対する標準評価値V*が変化し、その変化は特定軸だけでなく全体的な傾向としても現れうる
  • Norm NとEval avgの乖離幅そのものが、応募者の強み・弱みを定量的に語る指標として機能する

今後は、特定軸が著しく水準に届かない場合に総合評価によらず選考の再検討を促す仕組みや、より多様な評価者集団Mでのロバスト性検証など、実運用に向けた設計を継続して検討していきます。

eval000 — Meta-Evaluation Engine based on SEGT（特願2026-096693）
Case Study / PoC

Should Standard Evaluation Change Depending on Who Judges?
SEGT Applied to First-Round MR Hiring Screening

If the panel of evaluators changes, how should the standard evaluation change with it? We tested this question using eval000's SEGT (Standard Evaluation Generation Theory) on a first-round document screening scenario for mid-career Medical Representative (MR) hiring at a pharmaceutical company.

All applicant data in this article is fictional. This is a proof-of-concept (PoC) record, not an account of an actual hiring decision.

First-round document screening is usually standardized by having multiple evaluators score independently and averaging the results. But different evaluators naturally weigh different things: a hiring manager looking for immediate impact and a development-minded manager looking for potential will read the same résumé differently.

Should that variation simply be averaged away as noise? Or should the evaluation draw on both the company's standard and the genuine differences between evaluator perspectives? We used SEGT to explore this question directly.

① Generating Norm N from the External Principle: "Principle → Rubric R → Generated Value N"

Stated precisely, the hiring policy text itself is not "Norm N." Theoretically, the relationship breaks down into four stages:

External Principle → R (evaluation criteria / rubric) → N (generated evaluation value based on the external standard) Evaluator population → M (M, N) → Φ → V*

A hiring policy such as "hire an MR who can perform immediately" (the external principle) is first translated into rubric R — the evaluation axes and anchor criteria. Norm N is not the principle itself, but rather the generated value derived by reading the external principle through rubric R.

For this case, we set the following hiring policy (external principle).

Hire an MR who can perform immediately during the transition to an in-house sales structure. Prioritize trust-building with medical institutions and compliance awareness above raw performance numbers. Do not evaluate based on academic background, age, or previous employer brand.

Translating this principle into a 5-axis rubric R, and then deriving each axis's Norm N, required one key design decision: explicitly separating the weight of each axis (how much it contributes to the total, summing to 100%) from the target level (an absolute 0–100 anchor value).

Evaluation AxisWeightNorm N (generated value)
Expertise / Disease Knowledge20%70
Relationship Building25%85
Compliance Awareness25%85
Track Record / Results15%65
Organizational Adaptability15%70

Axes the company prioritizes get both a higher weight and a higher value generated from rubric R — a double emphasis. This generated value N is not a pass/fail cutoff; it is the anchor that SEGT's V* (post-convergence score) continuously reconciles against the evaluator population M's actual scores.

② Rubric Design: A Shared Language for Evaluators

If rubric R — the foundation from which Norm N is generated — is itself vague, evaluators will interpret each axis differently. We built a 5-level anchor rubric so each axis had a concrete definition of what a given score should look like. For "Relationship Building":

  • 5 (Excellent): Clear, specific episodes and outcomes of sustained trust-building with KOLs
  • 4 (Good): Concrete track record of relationship-building with medical institution staff
  • 3 (Standard): Relationship-building is mentioned but outcomes or continuity are unclear
  • 2 (Needs Improvement): Has interpersonal experience but lacks healthcare-specific context
  • 1 (Insufficient): Almost no mention of relationship-building

③ Evaluator Panel Design (Population M): Two Panels from Four Personas

The other component of SEGT is the evaluator population, M. Evaluators can be designed as personas with distinct perspectives. We defined four:

PersonaPriority
Hiring Manager typeKPIs / immediate impact
Compliance Officer typeRegulatory adherence
Field MR Leader typePractical fit for KOL engagement
Talent Development typeGrowth potential / learning drive

These four were recombined into two 3-person panels (M). The Compliance Officer and Field MR Leader personas — core to the MR role — appear in both panels; only the Hiring Manager and Talent Development personas are swapped.

Panel 1 | Immediate-Impact Panel (M₁): Hiring Manager + Compliance Officer + Field MR Leader
Panel 2 | Future-Potential Panel (M₂): Compliance Officer + Field MR Leader + Talent Development

At this point we have both Norm N, generated from the external principle (①), and the evaluator population M (③). SEGT feeds this pair (M, N) into a convergence algorithm Φ to compute the standard evaluation value V*. Holding N fixed and varying only M lets us examine how V* shifts.

④ Different Standard Evaluations for Immediate-Impact vs. Future-Potential Panels

We evaluated a fictional applicant — no direct MR experience (corporate sales in another industry), with self-taught compliance knowledge and strong learning motivation as their key strength — under both panels M₁ and M₂.

AxisPanel 1 v* (M₁: Immediate)Panel 2 v* (M₂: Future)Norm N
Expertise / Disease Knowledge59.1762.7370.00
Relationship Building73.4377.6685.00
Compliance Awareness79.8883.1285.00
Track Record / Results38.3246.6465.00
Organizational Adaptability61.5665.6670.00
Overall Score62.567.2—

With N held constant and only M changed, the overall score shifted from 62.5 to 67.2. Track Record / Results falls well short of its Norm N (65) under both panels, reflecting the applicant's limited hands-on experience — but the shortfall is somewhat softened under M₂, which includes the Talent Development persona.

Notably, the shift wasn't confined to Track Record — all five axes scored uniformly higher under M₂. This suggests that swapping a single evaluator's perspective within M can shift the evaluation's overall tenor, not just the axis it was intended to affect — an important consideration when designing multi-evaluator standard evaluation systems.

What the Gap Between Norm N and Eval avg Reveals
For Track Record / Results, the evaluator population M's raw average (Eval avg) was only around 10, against a Norm N of 65 generated from the external principle. Rather than settling near either value, V* (38.32) converged to a point clearly distant from both. This isn't a computational glitch — it's V* quantitatively surfacing a genuine, hard-to-close gap between what the external principle requires and what M observed in the applicant's actual profile.

Conclusion and Next Steps

  • Translating the external principle into rubric R, then deriving the generated value N from it, allows a hiring policy to be reflected in evaluation with much greater precision
  • Changing the composition of evaluator population M shifts the standard evaluation value V* for the same Norm N, and that shift can appear as a broad tendency rather than being confined to a single axis
  • The gap between Norm N and Eval avg itself functions as a quantitative signal of an applicant's strengths and weaknesses

Next steps include designing mechanisms that flag candidates for reconsideration when a specific axis falls far short of target regardless of overall score, and testing robustness across a wider range of evaluator population M configurations.

eval000 — Meta-Evaluation Engine based on SEGT (Japan Patent Application 2026-096693)
]]>Tue, 25 Aug 2026 11:39:47 +0900<![CDATA[【実証レポート】]]>https://www.eval000.ai/blogs/post/testreport2608DeepSeekとClaudeに同一ルーブリック（AG/BG）で2件のビジネスプランを評価させると、AGスコアで最大1.60点差が発生しました。「将来計画を評価するか／現在の実績を評価するか」というAIの評価思想の差が、同一ルーブリックを使っても結果を変えてしまうことを実証しました。 ]]>

DeepSeekとClaudeに同一ルーブリック（AG/BG）で2件のビジネスプランを評価させると、AGスコアで最大1.60点差が発生しました。「将来計画を評価するか／現在の実績を評価するか」というAIの評価思想の差が、同一ルーブリックを使っても結果を変えてしまうことを実証しました。

Case Study ／ 実証レポート

【実証レポート】AI評価モデルが異なると、
なぜ同じプランの評点が最大1.45点変わるのか

2026年8月5日|eval000 事務局|読了目安 約8分
生成AI評価バイアスルーブリックAG/BGSEGT収束DeepSeek vs Claudeビジネスプラン評価
KEY FINDING
同一プラン・同一ルーブリックで DeepSeek と Claude に採点させると AGスコアで最大 1.60点差（DeepSeek 5.00 vs Claude 3.40）が発生。同じ「ものさし」を使っても AI によってスコアが大きく変わる——これが eval000 が解決すべき問題の核心です。
Home/ブログ/Case Study
目次

生成AIに同一のビジネスプランを評価させても、使うAIモデルが違えばスコアが大きく変わる——これは直感的には分かっていても、実際のデータとして示されることは少なかった。本レポートでは eval000 の体験セミナー（2026年8月5日）で実施したライブデモの実証データとして、DeepSeekとClaudeに全く同一のルーブリックで2件のビジネスプランを評価させた結果を公開します。

SECTION 01

実施背景——「AI評価の標準化」という問題

ビジネスコンテスト・採用選考・補助金審査の現場では、審査工数の削減を目的として生成AIの活用が急速に広まっています。しかし多くの場面で「AIに採点させる」という実装が行われており、そこには構造的な問題があります。

PROBLEM
ChatGPT・Gemini・Claude・DeepSeek——同じプロンプトを送っても、各AIモデルは異なる採点結果を返します。モデルごとに学習データ・RLHF設計・評価思想が異なるためです。「AIを使った客観的評価」という前提が、使うAIの選択によって評点が変わるという矛盾を内包しています。

eval000が2025年に実施した予備検証では、同一のビジネスプランをChatGPT・Gemini・Claude等の複数モデルで評価させると最大12点差が生じることを確認しています。本レポートはその構造的問題を、AG・BGという2種類のルーブリックを用いたより精密な実証として示します。

SECTION 02

評価方法

評価対象プラン

  • プランA：EcoBottle Campus——大学生向け水筒シェアリングサービス
  • プランB：越中八尾ウェルネス・スマートビレッジ創生事業——令和8年度富山市PoC申請

使用ルーブリック

評価軸の設計
AGルーブリック（5項目・加重スコア）
① 根拠と検証（30%）② 発展可能性（25%）③ 人間ならではの価値（20%）④ 実行リスク（15%）⑤ 社会的変革の度合い（10%）

BGルーブリック（4項目・加重スコア）
① 価値の革新性（30%）② 市場の潜在性（20%）③ 商業的実現可能性（25%）④ 技術的実現可能性（25%）

評価者

DeepSeek（ポテンシャル評価型）とClaude（エビデンス評価型）に、全く同一のルーブリック・評価基準・ビジネスプラン文書を提供し、独立採点を実施しました。

SECTION 03

EcoBottle Campus の評価結果

AGルーブリック比較

評価基準配点DeepSeekClaude差
① 根拠と検証30%43+1
DeepSeek：環境省データ・実証実験に裏付けられ、ABC大学の検証が「100人以上」とみなせると判断。
Claude：実参加ユーザー数が不明瞭、廃棄コスト算出根拠の記載なしを厳密に評価。
② 発展可能性25%32+1
DeepSeek：3ヵ年計画・全国100大学・アジア展開という将来構想を「発展性」として評価。
Claude：AI洗浄システムの改善履歴・実績の開示がなく、実証された発展の軌跡が乏しいと判断。
③ 人間ならではの価値20%42+2
DeepSeek：「所有から共有へ」という価値観転換を学生の視点で描写——共感を得やすいと高評価。
Claude：市場分析・数値データ中心の構成で、創業者の個人的な動機・感情的訴求がほぼ見当たらないと判断。
④ 実行リスク15%43+1
DeepSeek：3リスクに個別対応策があり事業全体として実現可能と評価。
Claude：個人情報保護・損害賠償責任等の法的観点への言及が薄いと判断。
⑤ 社会的変革の度合い10%440
両AI共通：CO2・廃棄物削減を定量化し、長期ビジョン（ASEAN展開）まで提示している点を評価。唯一一致した評価軸。
AGスコア（加重平均）3.752.551.20
INSIGHT — 「人間ならではの価値」で最大差（+2点）
DeepSeekは「将来の価値観転換」という構想を評価したのに対し、Claudeは「資料に確認できる創業者の物語性」の有無を評価しました。同じルーブリック項目の解釈が、AIの「評価思想」によって根本から異なることを示しています。

BGルーブリック比較

評価基準配点DeepSeekClaude差
① 価値の革新性30%43+1
② 市場の潜在性20%54+1
③ 商業的実現可能性25%43+1
④ 技術的実現可能性25%53+2
DeepSeek：IoT・UV殺菌・アプリ連携は既存技術の組み合わせで実用化ハードルは低いと満点評価。
Claude：「特許出願中」の自動洗浄システムは未確定要素でコスト面の裏付けも薄いと判断。
BGスコア（加重平均）4.453.201.25
SECTION 04

越中八尾ウェルネス・スマートビレッジ創生事業の評価結果

AGルーブリック比較

評価基準配点DeepSeekClaude差
① 根拠と検証30%53+2
DeepSeek：高齢化率・人口減少率・富山大医学部の倫理審査取得済みという根拠の豊富さを満点評価。
Claude：PoC自体がこれから実施する提案段階であり、実地検証データが存在しないことを重視。
② 発展可能性25%52+3
DeepSeek：PoC→野外能楽堂→フルビレッジ整備という二段階ロードマップ全体を「発展性」として満点評価。
Claude：ロードマップは将来計画であり、過去の改善履歴・AI活用実績の開示という観点では情報が少ないと判断。
③ 人間ならではの価値20%550
両AI共通で満点：4市民（文化継承者・高齢住民・都市生活者・能楽愛好者）の困りごとから出発する構成。300年の伝統・担い手不足・認知症リスクという感情に訴える描写の深さを両AIが高く評価。
④ 実行リスク15%54+1
⑤ 社会的変革の度合い10%550
両AI共通で満点：KGIとして「来訪者50%増」「移住100名」を明示。ユネスコ無形文化遺産という長期的・文化的インパクトの経路の明確さを評価。
AGスコア（加重平均）5.003.401.60
CRITICAL FINDING — 最大差は「発展可能性」の +3点
DeepSeek 5 vs Claude 2 という本レポート最大の開き。DeepSeekは「将来ロードマップ」を発展性の証拠と評価し、Claudeは「現在確認できる実績の有無」を基準にしました。「将来計画を評価するか／現在の実績を評価するか」——これがAI評価思想の根本的な分岐点です。

BGルーブリック比較

評価基準配点DeepSeekClaude差
① 価値の革新性30%54+1
② 市場の潜在性20%54+1
③ 商業的実現可能性25%43+1
DeepSeek：補助金450万円・PoC収益による収支均衡計画を「実現可能」と判断。
Claude：本格展開（2〜10億円規模）の財源確保が「今後の申請頼み」であることを重視。
④ 技術的実現可能性25%550
両AI共通で満点：ウェアラブル・IoTカメラ・SCRUM-T連携は全て既存技術の活用。富山市の既存インフラ（LPWA・SCRUM-T）を活用する設計で実現可能性が非常に高いと両AI一致。
BGスコア（加重平均）4.753.900.85
SECTION 05

全スコアの総括

EcoBottle Campus — AGスコア
3.75DeepSeek
2.55Claude
差 1.20点
「人間ならではの価値」で+2点差。将来の共感性 vs 現在の物語性。
EcoBottle Campus — BGスコア
4.45DeepSeek
3.20Claude
差 1.25点
「技術的実現可能性」で+2点差。実用化ハードルの解釈が大きく異なる。
越中八尾 — AGスコア（最大差）
5.00DeepSeek
3.40Claude
差 1.60点
「発展可能性」で+3点差。本レポート最大の開き。
越中八尾 — BGスコア
4.75DeepSeek
3.90Claude
差 0.85点
BGは差が比較的小さい。技術的実現可能性では両AI一致（5点）。
SECTION 06

AI評価思想の比較分析

スコアの差はAIの「能力差」ではなく「評価思想の差」です。DeepSeekとClaudeは高性能なLLMですが、事業計画の「何を」評価するかという判断が根本的に異なります。

DEEPSEEK
ポテンシャル評価型
  • 将来の発展可能性・社会的ビジョンを積極評価
  • 計画全体の構成・方向性の妥当性を重視
  • 加点型——強みに注目して評価する傾向
  • ロードマップ・将来構想も「発展性の証拠」として評価
CLAUDE
エビデンス評価型
  • 提出資料で客観的に確認できる実績・証拠を重視
  • 実証されるまでは評価を保留する姿勢
  • 減点型——不足点を指摘して評価する傾向
  • 「将来計画」は実績として扱わない
比較軸DeepSeekClaude
評価姿勢将来性・ポテンシャルを重視現時点の証拠・実績を重視
採点方法加点型減点型
将来構想の扱い積極的に評価実証されるまで保留
適した用途事業の魅力・可能性の把握審査員視点の客観的評価
IMPLICATION
どちらのAIが「正しい」かという問題ではありません。同一のルーブリックを使っても、AIモデルによってルーブリック項目の解釈が大きく異なることが問題です。「AIを使った客観的評価」を実現するためには、AIに採点させるだけでは不十分で、そのAIの評価思想そのものをコントロールする仕組みが必要です。
SECTION 07

SEGT収束——バラつきを除去した評価標準 v* の生成

本体験セミナーでは上記の実証に続き、eval000のSEGT収束計算を適用するライブデモを実施しました。3つのAIペルソナ審査員（実務派・革新派・バランス派）がBGルーブリックで採点した後、SEGT収束で Evaluation Standard v* を生成しました。

BGルーブリック × 3ペルソナ → SEGT収束の実値

実務派（数値重視）
革新派（新規性重視）
バランス派（総合判断）
v*（SEGT収束後）
プランA（EcoBottle Campus）— バラつき：11.0点
実務派
73.0
革新派
84.0
バランス派
84.0
v*（収束後）
80.1
= Evaluation Standard
プランB（越中八尾ウェルネス・スマートビレッジ）— バラつき：20.8点
実務派
68.2
革新派
89.0
バランス派
84.0
v*（収束後）
80.3
= Evaluation Standard
SEGT 収束の結果 — BGルーブリック × 3ペルソナ
80.1
v*（プランA / EcoBottle）
≈
80.3
v*（プランB / 越中八尾）
v* の差：わずか 0.2点
バラつき最大20.8点 → SEGT収束後の差0.2点。外生の原理 N に対して、両プランがほぼ等しい評価標準値に収束しました。
WHAT v* MEANS
v* の本質的価値は「数値の大小」ではなく「再現可能性」です。同じ外生の原理 N と Evaluation Rubric があれば、いつ・誰が評価しても同じ v* が生成されることが Banach の固定点定理により数学的に保証されています。DeepSeek が評価しても Claude が評価しても——N と R が同じであれば v* は常に同じ固定点に収束します。
CONCLUSION

結論

1. 同一ルーブリックでも AI によってスコアが最大 1.60点変わる

越中八尾プランのAGスコアにおいて DeepSeek 5.00 vs Claude 3.40 という1.60点差が発生。これはAIの能力差ではなく、「将来計画を評価するか／現在の実績を評価するか」という評価思想の構造的な差に起因しています。

2. 共通点は「事業の本質」への評価に現れる

両AI一致または差が小さかった項目（「社会的変革の度合い」「人間ならではの価値」「技術的実現可能性」）はプランの本質的な価値に関わる軸です。AIが「正しく評価できる領域」は存在しますが、それは評価の一部にすぎません。

3. eval000 SEGT収束は AI の評価思想の差を数学的に除去する

複数のAIペルソナ審査員のスコアを SEGT 収束計算にかけることで、各AIが持つ固有の評価思想のバラつきを外生の原理 N のもとで除去し、再現可能な Evaluation Standard v* を生成します。

TAKEAWAY
生成 AI は「評価を便利にした」が、「評価を正確にした」わけではありません。AI が持つ評価思想そのものをコントロールする仕組み——それが外生の原理 N × SEGT 収束によるメタ評価です。
#評価バイアス#生成AI評価#SEGT収束#ビジネスコンテスト#DeepSeek#Claude#メタ評価#ルーブリック
e0
eval000 事務局（株式会社テンプロクシー）
特願 2026-096693 ／ Award Force 日本正規パートナー

本レポートで紹介した実証データは 2026 年 8 月 5 日の体験セミナーで取得した実値です。eval000 のメタ評価技術に関するご相談・デモのお申し込みはこちらから。

デモ・相談を申し込む →メタ評価エンジンの仕組みを見る →eval000 Essential →← ブログ一覧
]]>Tue, 18 Aug 2026 06:45:06 +0900<![CDATA[SEGT標準評価の事例]]>https://www.eval000.ai/blogs/post/casestudy同じ審査員・同じ基準でも生成AIの評価は最大20.8点ブレる——8月5日の体験セミナー・ライブデモの実データをもとに、SEGT収束計算がそのブレを単一の標準評価V*にまとめた実例を解説します。 ]]>

同じ審査員・同じ基準でも生成AIの評価は最大20.8点ブレる——8月5日の体験セミナー・ライブデモの実データをもとに、SEGT収束計算がそのブレを単一の標準評価V*にまとめた実例を解説します。

同じ審査員・同じ基準でも評価は20.8点ブレる ── eval000ライブデモが見せた「SEGT収束」 | eval000.ai Blog
ケーススタディSEGT収束2026年8月8日
2026年8月5日 体験セミナー・ライブデモより

同じ審査員・同じ基準で採点しても、生成AIの評価は20.8点ブレる。
eval000のSEGT収束計算が、そのブレを1つの標準評価にまとめた実例。

2026年8月5日開催のeval000体験セミナー・ライブデモでは、同じ事業計画・同じ評価ルーブリック・同じ外生の原理Nのもとで、3種類のAIペルソナ審査員に採点してもらいました。結果は最大20.8点のブレ。ここにSEGT（標準評価生成理論）の収束計算を適用したところ、ブレは単一の標準評価値 V* に収束しました。本記事ではこのライブデモの実データをもとに、生成AIの評価がなぜバラつくのか、SEGTがそのブレをどう解消するのかを解説します。

20.8点
3ペルソナ間の評価差
（越中八尾プラン）
80.3点
SEGT収束後の
標準評価 V*
0.2点
2つの事業計画の
V*同士の差
01 — ライブデモの実データ

同じ審査員・同じ基準で採点しても、スコアは大きくバラつく

今回のデモでは、地域活性化に関する2つの事業計画（「越中八尾」「EcoBottle」）を対象に、外生の原理N（審査の目的）とEvaluation Rubric（BGルーブリック・4軸）を固定したまま、3種類のAIペルソナ審査員に評価してもらいました。

ペルソナ 1
革新派（新興スタートアップ投資家）
新規性・独創性・先駆性を最重視。「これは世界初か？」が口癖。
ペルソナ 2
実務派（大手メーカー事業開発部長）
実績・数値根拠・実行可能性を最重視。「根拠データはあるか？」が口癖。
ペルソナ 3
バランス派（行政系支援機関の審査委員）
全評価軸を均等に重視。偏りを嫌い公正さを優先。「総合的に見ると」が口癖。
プランA「越中八尾」／BGルーブリック・実値
評価軸実務派革新派バランス派平均
バリューイノベーション (30%)60.090.083.377.8
市場の可能性 (20%)70.085.080.078.3
商業的実行可能性 (25%)65.088.084.079.0
技術的実現可能性 (25%)80.092.088.086.7
加重合計68.289.084.080.4

加重合計は実務派68.2点、バランス派84.0点、革新派89.0点。同じ計画・同じ基準にもかかわらず、審査員の視点によって20.8点もの差が生まれました。3者を単純に平均すると80.4点になりますが、これは「多数決」であり「標準化」ではありません。

収束前（越中八尾／3ペルソナの加重合計）
実務派68.2
バランス派84.0
革新派89.0
差 20.8点
→
SEGT収束後
80.3点
標準評価 V*（越中八尾）
プランB「EcoBottle」／BGルーブリック・実値
評価軸実務派革新派バランス派平均
バリューイノベーション (30%)70.083.383.378.9
市場の可能性 (20%)75.080.080.078.3
商業的実行可能性 (25%)68.084.088.080.0
技術的実現可能性 (25%)80.088.084.084.0
加重合計73.084.084.080.3

EcoBottleでも同様に3ペルソナの評価がバラつきました。加重合計は実務派73.0点、バランス派・革新派がともに84.0点で、差は11.0点。越中八尾よりは小さいものの、単純平均（80.3点）はやはり「多数決」にすぎません。

収束前（EcoBottle／3ペルソナの加重合計）
実務派73.0
バランス派84.0
革新派84.0
差 11.0点
→
SEGT収束後
80.1点
標準評価 V*（EcoBottle）

興味深いのは、越中八尾（審査員間のバラつき20.8点）とEcoBottle（バラつき11.0点）という、意見の割れ方が異なる2つの計画を比べたときの結果です。

越中八尾
V* = 80.3
収束前のバラつき 20.8点
vs
EcoBottle
V* = 80.1
収束前のバラつき 11.0点
収束後のV*の差はわずか0.2点

審査員間のブレの大きさは計画ごとに違っても、外生の原理Nに拘束された収束計算をかけると、どちらも同水準の標準評価に落ち着きました。個々の審査員のブレの大きさに依存せず、安定した基準点を導けることがうかがえます。

02 — なぜ収束するのか

SEGTが解消するのは「多数決」ではなく「基準のブレ」

eval000は、外生の原理N（何のために評価するか）を先に定義し、その原理に拘束された写像 v(t+1) = F_N(v(t), R) を反復計算することで、単一の固定点 v* に収束させます。この収束プロセスは、バナッハの不動点定理という数学的な定理によって裏付けられています。

ポイントは、平均点と異なる数値を作ることが目的ではないということです。変動する個々の評価の背後にある標準評価（Evaluation Standard）を構成し、再現可能な「ものさし」（Evaluation Measure）として使えるようにすることに価値があります。

正確に言うと

バナッハの不動点定理が保証するのは、同一の評価チーム（今回のデモでは3ペルソナ固定）・同一の入力・同一のN・同一のルーブリックのもとでは、計算のたびに同じv*が得られるということです。評価するチーム自体が変わった場合（別のペルソナ構成や、人間の審査員チームなど）に同じ標準評価へ到達できるかどうかは、この定理が直接保証する範囲の外にあります。eval000ではこの区別を明確にしたうえで、異なる評価者集団間の収束性についてもPoCで検証を重ねています。

POINT 01
審査員構成に左右
されないブレない評価
複数のAIペルソナ審査員の評価傾向を、外生の原理Nに拘束された固定点（標準評価）へ収束させます。
POINT 02
「収束の強さ」を
数値で測る取り組み
収束後のブレの小ささを示す指標（Evaluation Measure・Stabilization Ratio）の定義を進めています。今回のような収束幅を定量的に示すのが次のステップです。
POINT 03
評価の「方針」を
最初に明文化する
「外生的な原理」として評価方針（N）を定義し、審査の前提を明確にしたうえで収束計算にかけます。
03 — 今後の検証

このデモは「第一歩」。次はPoCで実証を重ねます

今回のライブデモは、固定した3ペルソナ審査員チームによる1回の収束計算の実例です。この実例を土台に、eval000では3ヶ月のPoCプログラムの中で次の3点を検証しています。

01
同一条件での再現性の定量評価
同一チーム・同一条件で複数回再実施し、V*の変動幅をEvaluation Measure・Stabilization Ratioとして数値化します。
02
通常のLLM単体評価とのばらつき比較
収束計算を通さない通常のLLM評価と比べて、SEGTがどの程度ばらつきを抑えられるかを比較します。
03
異なる評価者集団間の収束性の検証
AIペルソナと人間審査員など、異なる評価者集団のあいだでどこまで標準評価が近づくのかを検証します。
PoC ご相談受付中

この収束計算を、貴社の審査プロセスで確かめてみませんか

3ヶ月のPoCで、Go/No-Go判定まで一気通貫で確認できます。お気軽にご相談ください。

お問い合わせ
乙
株式会社テンプロクシー（award-of）編集部
eval000.ai / award-of.net
eval000は、特許権者・里吉 竜一氏と株式会社テンプロクシーの共同事業運営契約に基づき運営されるメタ評価AIプラットフォームです。Award Force（オーストラリア・50カ国以上）の日本正規パートナーとして、コンテスト・審査・表彰のDXを推進しています。
eval000.aiCase Study / award-of × 株式会社テンプロクシー
特許出願中（里吉 竜一氏） / © 2026 TEN PROXY Co., Ltd. / award-of. All rights reserved.
]]>Mon, 10 Aug 2026 17:40:00 +0900