eval000.aiのTOP・メタ評価エンジン・Solutions等5ページを更新。外生の原理N〜Evaluation Measureまでの5階層をSEGTという名のもとに整理し、実証データや料金体系もあわせて掲載しました。
サイトを刷新しました。
N・EC・R・v*・EM「評価の設計言語」を整理、体系化しました。
eval000.ai の TOP・メタ評価エンジン・Solutions・Essential・About Us の5ページを更新、FAQをSupportページに拡充しました。これまでこのブログで積み重ねてきた用語や実証データを全体の説明に反映しました。外生の原理N・Evaluation Criterion・Evaluation Rubric・Evaluation Standard v*・Evaluation Measureという5階層の設計言語を「SEGT(Standard Evaluation Generation Theory)」という名前のもとに整理しています。
ページ数
(N/EC/R/v*/EM)
(旧6分野を再編)
外生の原理Nから、Evaluation Measureまで
これまでこのブログでは、外生の原理N・Evaluation Rubric・Evaluation Standard v*といった用語を、記事ごとに少しずつ説明してきました。今回のリニューアルでは、これらを「SEGT(Standard Evaluation Generation Theory)」という一つの理論名のもとに、N→EC(Evaluation Criterion)→R(Evaluation Rubric)→v*(Evaluation Standard)→EM(Evaluation Measure)という5階層の構造として、サイト全体で一貫して説明するようにしました。
(最上位)
Criterion
Rubric
(標準評価)
Measure
再現可能性についての説明も、これまでの記事と同じ精度で統一しています。SEGTが保証するのは、同一の評価者集団・同一の入力・同一のN・同一のRであれば、常にv*が再現されるということです。異なる評価者集団間の収束性については、引き続き実証研究を重ねています。
20.8点のブレが0.2点差に。あの実例が、トップページに
第1回の記事でご紹介した「越中八尾」「EcoBottle」のライブデモデータ——3種類のAIペルソナ審査員の評価が最大20.8点ブレたケースが、SEGT収束後にはわずか0.2点差の標準評価に収まった実例——を、TOPページとメタ評価エンジンページの主要な実証材料として掲載しました。ルーブリックの設計が評価の方向性を左右することを示すAG/BGルーブリック比較(差7.3点→0.2点)のデータも、あわせて公開しています。
6分野から5分野へ。新設「比較評価・ベンダー選定」
Solutionsページでは、これまでの6つの適用分野(スタートアップ支援機関・企業内新規事業・ビジネスコンテスト・従業員表彰・公的機関・研究グラント)を、①コンテスト・審査・表彰、②人事評価・採用選考、③比較評価・ベンダー選定、④新サービス・新事業開発、⑤研究・教育・非営利という5つの分野に整理しました。特に③の「比較評価・ベンダー選定」は、B2B調達・RFP評価を対象とした新設の分野です。
B2B調達領域については、まだ検討中の段階の内容も含まれます。詳しくは別記事でご紹介する予定です。
Essentialの料金体系を明示し、運営体制も改めてご紹介します
eval000 Essentialの料金は、ビジネスコンテスト分野は設定済みテンプレートを採用するためセットアップ費¥0、その他分野は新規ルーブリック・ペルソナ設計費¥80,000/案件です。件数に応じた段階課金(〜100件:¥4,000〜¥5,000/件など)も含め、詳細はEssentialページでご確認いただけます。
About Usページでは、共同事業運営体制も改めてご紹介しています。特許権者・技術監修を務める里吉竜一氏は、横浜市立大学大学院経済学研究科修士課程を修了し、現在は東京福祉大学に所属。事業運営を担う株式会社テンプロクシー代表取締役の武道誠芳氏は、里吉氏と同じ千賀重義教授のゼミの同期にあたります。同社は1995年の創業以来30年超の実績を持ち、mo4ma(GEN.1)・award-of(GEN.2)に続く3世代目のプロダクトとしてeval000(GEN.3)を展開しています。
