Report :「第3回:評価プロセスの先行事例:分野横断の比較」

18.09.26 15:36:31 - 投稿者: mo4ma

文学賞に見る6つのAI利用規定パターン、学術出版の3類型と国際団体の4原則、なろう・RWAの定義モデル、グッドデザイン賞の評価哲学。分野ごとに個別発展してきたAI時代の評価ルールを横断的に比較し、その背後にある共通の設計原則と、プロセス評価という発想が抱える構造的な限界を浮き彫りにします。

AI時代の評価プロセスと、メタ評価という解 ── 連載(3/5)

評価プロセスの先行事例:分野横断の比較

評価という営みが、いま構造的に揺らいでいます

eval000 Editorial / 公開日:2026年9月

前回:第2回「評価者自身が摩耗するとき」では、提出側・評価側双方に生じる認知的な摩耗と、双方向の不整合について整理しました。

第3回では、視点を変えて、実際に異なる分野がAI時代の評価プロセスにどう対応してきたかを横断的に比較します。分野ごとに個別最適化されたルールの背後にある、共通の設計原則を見つけることが狙いです。

この記事でわかること

  • 文学賞に見る6区分のAI利用規定
  • 学術出版における3類型と国際団体の4原則
  • 定義の精度で参考になる2つのモデル
  • 「プロセス評価」という発想がなぜ限界を持つのか
01

文学賞:6つの規定パターン

日本の主要文学賞22件超の生成AI条項は、次の6区分に収斂しています(AI teller、2026年9月時点)。

区分内容代表例
①受付AI生成作品も受付星新一賞、創元SF短編賞
②申告のみ利用範囲を限定せず申告のみハヤカワSFコンテスト、文藝賞
③限定+申告補助的利用に限定し申告を要求江戸川乱歩賞、電撃小説大賞(22件中8件)
④最終確認最終候補段階で確認群像新人文学賞、新潮新人賞
⑤対象外AI使用・AI執筆は対象外警察小説新人賞、アルファポリス
⑥記載なし募集要項に記載なしファンタジア大賞など
02

学術出版:3類型と国際4原則

学術出版はさらに体系的な3類型に整理されています。Science(AAAS)の禁止型、Elsevier・Springer Nature・Wiley・SAGEなど大手出版社が採る開示必須の許容型、Emeraldのような用途別条件付き型です。STM・COPE・WAME・ICMJEのガイドラインは、開示・透明性・人間の説明責任・AIへの著作者性付与の禁止という4原則で概ね一致しています。

いずれの分野でも共通しているのは、規定そのものの精緻化は進んでいても、それが実際に機能しているかどうかの検証は別問題として残っているという点です。第1回で見た「AI利用ポリシー導入率約70%に対し、実際の開示率は約0.1%」というギャップは、規定の存在と実効性が別物であることを端的に示しています。

03

定義の精度で参考になる2モデル

小説投稿サイト「小説家になろう」は、AI利用を「直接使用」「間接利用」「補助的利用」「不使用」の4段階に区分し、「誰が最終編集の主体だったか」を軸にした定義を採用しています。これは、生成物のどこまでが人間の創作的関与によるものかを切り分ける、実務的に応用範囲の広い枠組みです。

米国ロマンス作家協会(RWA)は「AI-assisted」と「AI-generated」を明確に区別したうえで、違反が疑われる場合に専門の審査委員会が調査し、当事者に不服申立ての機会を与える手続きを制度化しています。事後統制の仕組みを規定に組み込むという発想は、査読や助成金審査のような他の評価プロセスにも転用可能です。

04

プロセス評価という発想の限界

デザイン分野では、グッドデザイン賞が「人を中心に考え、目的を見出し、それを実現する一連のプロセス」そのものをデザインと定義し、成果物だけでなくその解に至った思想・思考・方法論を評価する哲学を1957年の前身制度以来採用しています。

しかし、生成AIはもっともらしい開発ストーリーを後付けで生成することを既に得意としており、プロセスの言語化自体をクローズアップして評価基準に据えても、提出者本人がAIに語らせた説明と実際の思考過程を評価者が区別する手段がありません。プロセス評価は、目利きの検証困難性という問題に形を変えて回帰してしまいます。この限界は、査読における「研究の動機や意義の説明」を重視する評価にも同様に当てはまります。

次回予告 ── 第4回「メタ評価という答え ── eval000の設計思想」
ここまでの分野横断の知見を踏まえ、評価プロセスの目的そのものを再定義し、メタ評価という発想がどう応えるかを提示します。

評価プロセスの設計を、eval000がサポートします

eval000独自の枠組みに基づくメタ評価エンジンについて、詳しくご案内いたします。

全5回を1本にまとめた完全版レポート
本シリーズ5回分を通読形式に統合した完全版レポートを公開しています。知の重荷の整理からメタ評価という解、開示・権利設計まで、まとめてご覧いただけます。
→ AI時代の評価プロセスと、メタ評価という解(完全版レポートを読む)

mo4ma