Qualificationまとめ
EC2019 Qualification企画委員長 松下光範（関西大）
昨年に引き続き、Qualification試行を行いました。今回は、基本的方針として昨年度のQualification方法を引き継いで行いました。ロング＋デモ発表4件、ショート＋デモ発表3件、デモのみの発表12件の計19件にQualificationを申請頂きました。厚く感謝いたします。以下、今回のQualification 試行について総括いたします。
事前審査
申請のあった投稿につきましては、事前にEDA、論文、ビデオを委員会でチェックし、シンポジウムでの本発表時に確認したいことを共有ノートシステムScrapbox上で意見交換しました。
この過程で複数の投稿に共通して指摘されたことの1つに、発表内容がQualificationに適しているか、という点がありました。すなわち、新しい体験を可能にする装置を作成したという研究内容について、EDAとしては面白さを説明しているものの、論文では装置の性能評価や効果を検証しているようなパタンです。これは、論文は従来の書き方（評価実験に基づく有用性の主張方法）に即したためと思われますが、新しい装置を提案するタイプの研究であればこのような従来通りの研究の進め方で特に問題はないでしょうし、むしろそのように進めるべきであると考えます。Qualificationは評価実験が困難であったり評価実験がそぐわないような、新しい面白さそのものを扱うような、いわば作品系の研究を主に対象とします。もちろん、このような新しい装置を使ってエンタテインメント作品を作ったというような内容になればQualificationの対象となると考えます。研究の段階に応じて主張するポイントを定め、適切な有用性の主張方法をご検討いただければと思います。
一方、申請されたEDA自体が心の動きを表しておらず、どのように解釈して評価すべきか、曖昧になってしまっているものも散見されました。特に今回はそれに該当するケースが多く見られました。現行のQualification においては、EDAの設定は著者に委ねられており、どのようにEDAを記述すべきかについて、十分な理解が浸透していないことが伺えました。この点については、今後のQualificationの制度化で議論すべき重要な論点だと考えます。特に、EDAの産出プロセスについては、より明快でシステマティックな方法論を提示すべきと考えます。
デモ発表時の審査
以上の予備審査を踏まえて、シンポジウム当日ではQualification委員が発表を聴講、デモ展示を 巡回し、発表者と議論させて頂きました。昨年のQualification の実 施結 果から、事前審査ではEDAがやや不明瞭なケースであったものが、実際の体験や議論を通じて展示者の意 図や主張が明確になり、Qualified となるケースがあることから、予断を持たずデモを体験することが審査委員には求められました。
今回のQualification実施では、EDAの書き方が面白さをうまく表現できていないケースや著者自身が気付 いていなかった面白さが委員によって指摘されるケースもありました。昨年度はこうした作品をConditional Qualified として、5件採択 しましたが、今年度はこのような採択 を行いませんでした。Qualification申請された展示の 中には、申請されたEDA とは 合致 しないものの魅力 的なシステムや今後を期待 させるシステムも散見されたのですが、Qualification 制度を、査読を代替 する透明かつ客観 的な制度として確立することを念頭に置くと、審査委員の過度な提案やEDA修正指示はともすると結果誘導とも捉えられかねず、制度の信頼 性を 損なうという懸念 が生じます。投稿された論文の執筆 指導や添削を査読者が行うシェファーディング(Shepherding)はその運用が難しく、恣意性が排除 できま せん。特にQualification のような仕組 みの 導入 を考えた場合 、評価者の主観が大きく入り込む余地 があるため、Qualificationという制度自体が確立されていない段階では、この適用は限定的であるべきと考えました。この点は、昨年度の試行に比べて厳しい 採択 基準となっております。Qualificationにおいてシェファ ーディングをどこまで許すか、については、今後も継続して議論すべき論点だと考えます。
昨年の総括でも指摘されましたが、現状のQualification制度で予見されている問題の一つに、 中長期にわたる評価には対応できない点が挙げ られます。今回の作品にもこのような作品がありました。デモ発表での審査は時間が限られていることから、実体験できたとしても 瞬間 的になりがちです。経験豊富 な審査員は中長期的な効果を予見することもある程度は可能でしょうが、実際に体験して初めて理解できたエンタテインメント性もあったことからしても万全 とは 言えま せん。こうした問題についても、今後検討をすすめる必要があると認識しています。
なお、審査ではNot qualifiedと判断 された作品においても、現段階の実装や主張では不十分なものの今後の研究の方向性について議論することができた発表が多くありました。Qualificationを単なる審査制度に留めず、分野全 体で研究を支援 する制度として運用していきたいと考えています。
結果と今後
Qualificationの結果、今回は1件をQualified EDAと認定しました。なお、今回は残念ながら Not Qualified となった発表につきましては、Qualification制度としては、ということであって研究内容そのものを評価した結果ではないことにご注意ください。従来通りの性能評価等で問題なく論文化可能な研究も含まれています。今回のフィー ドバ ックが今後の展開の参考になれば幸いです。
OKと な っ たEDAは 、Qualified EDAの ペ ー ジ （http://ec2019.entcomp.org/qualified-edas/ ）にて掲載のとおりです。
Qualificationの結果は、 情報処理学会論文誌エンタテインメントコンピューティング特集（2020年1月20日投稿 締切予定）での投稿時の査読に反映いたします。すなわち、Qualified された論文が同論文誌特集に投稿された際、Qualification の実施状況について説明いただければ、それを有用性主張の論拠として 取り扱い査読いたします。EDAの記述内容を論文自体に盛り込み、実現するエンタテインメント性をストレートに主張ください。もちろん、論文単体でも有用性や信頼 性を明らかにするための根拠 、特にデモ等での体験者の 反応の 観察 や利用事 例等 は記載するのが良いでしょう。アーカイブ用のビデオも併せて投稿ください。今回NGとなった論文につきましても従来の特別エディタ制度もありますので奮って投稿ください。
前回および今回のQualification試行の知見をもとにブラッシュアップを図りQualificationを信頼できる制度へと発展させて行きます。
おわりに
今回のQualification試行の実施につきまして、申請いただきました皆様 、Qualification委員を引き受けてくださった皆様に感謝いたします。この試みがエンタテインメントコンピューティングの学術的積み上げに貢献することを心より願っております。
EC2019 Qualification企画委員長
松下光範（関西大）
Qualification委員（五十音順）
片寄 晴弘（関学）
倉本 到（福知山公立大）
小坂 崇之（神奈川工大）
坂本 大介（北大）
鈴木 優（宮城大）
園山 隆輔（TDF）
寺田 努（神戸大）
野嶋 琢也（電通大）
長谷川 晶一（東工大）
水野 慎二（愛知工大）
水口 充（京産大）
簗瀬 洋平（Unityテクノロジーズジャパン合同会社）
オブザーバー
渡邊恵太（明治大）EC2020プログラム委員長
