Qualification

Qualification について（2019）

Qualificationはエンタテインメント性に関する主張の実効性を、学会主催者側が認定（Qualify）して担保するための試みです。これは「体験」を客観的な評価の指標とするための試みであり、研究者側での印象評定系の評価実験を実施することなしに、研究価値を担保していく枠組みです。
Qualification は EC2018において初めて施行されました。EC2019においても、昨年のEC2018での Qualification の実施で得られた知見や反省を活かし、Qualification を行います。
Qualification 認定を受けた研究（システム）については、情報処理学会論文誌特集号 への推薦を実施します。印象評定系の評価実験およびその論述にかえて、Entertainment Design Asset （心をどう動かしたいのかという宣言とそのためのデザイン思考をまとめたもの）を審査の対象とできるよう制度設計を進めています。
昨年度の実施結果は http://ec2018.entcomp.org/qualification-roundup/ を御覧ください。

今年度の実施結果は http://ec2019.entcomp.org/qualification-roundup/ を、qualify された研究は http://ec2019.entcomp.org/qualified-edas/ を各々御覧ください。

Qualification 試行

心理学・社会心理学の領域で、再現性検証の研究が行われ、原論文の主張通りの結果が得られたものは
40％を切ったというショッキングなニュースが流れました。EC領域では、「楽しさ」を中心とした主観「評価」の難しさが長年議論の対象となってきましたが、心理学・社会心理学の領域で突きつけられた再現性の課題は対岸の火事ではありません。

従来、科学技術系の学術研究は、研究者がクローズな形で実験の実施し、その結果を紙媒体の論文という形にまとめて投稿、論文からその有効性や信頼性を読み取って審査するという方式がとられ、この制度のもと、積みあげがなされてきました。心理学・社会心理学領域で指摘された課題は、研究者自身の倫理ではなく、実施された実験が可観測なこと、実験参加者のプロフィールや周辺環境等、論文には書ききれないたくさんの事項があるからだと考えられます。エンタテインメント領域で取り扱う対象は心理学が扱う心の働きの中でも個人性の影響を受けやすいものであり、「再現性」の課題はより重い課題となります。実施主張を裏付ける正しい実験課題の設定、厳密な実験計画の設定、再現実験を実施するための精緻な実験状況の記述に努めるのは、科学技術研究に取り組む研究者研究者の正しい態度ではありますが、個人の責任においてこの問題に向き合おうとした場合、EC領域ではテーマによっては、評価実験の実施に過度の負担がかかってしまったり、主張自体を変えざるを得なくなる事案が発生し、この領域全体の進展のマイナス要因として働いてしまう状況が危惧されます。

我々は以上のような問題意識に基づき、「体験」を扱う学術領域として、研究者が、Entertainment Design Asset (=EDA）を提出し、ノーブラインドでの審査者が、EDAの実効性をデモや聞き取りによって判定し、シンポジウムとして、Qualificationを与えていくことを試行します。審査者（名）を開示し、また、評定文を記録として残していくことで、Qualificationの検証条件を確保します。これによりすべての問題が解決できるわけではありませんが、第一歩として、評価実験（審査）の内容の「見える化」を目指します。Qualification の認定を受けた研究（システム）については、EDA,システムのデモムービーを公開し、関連研究の検索・参照等、本領域の積み上げに寄与できるような枠組みを確保していく計画です。

Qualification は、エンタテインメントシステムを論文として上梓する際の評価手段としてだけではなく、アート作品のように体験の提供そのものがゴールとなるような試みにおいては、Qualification を達成すること自体を目的として利用していただくこととも歓迎します。企図した体験がその作品で達成できているか、という検証に使っていただくことは、Qualificationの理念に照らして望ましい形の一つです。

なお、Qualification は従来の実験評価を否定するものではなく、それだけでは不十分な側面を補い、エンタテインメント研究の評価により真摯に向き合うための方法論であることを最後に申し添えておきます。

Entertainment Design Asset (EDA) について

Entertaiment Computing の研究領域の目標を別の言葉で言い表すと、「心を動かす」情報学ということになります。
EDA は、心をどう動かしたいのかという宣言とそのためのデザインをまとめた資料です。以下に例を挙げます。

（EDA事例その１）
研究（システム）名：XXXXXX（弾幕系ゲーム）
心をどう動かしたいのか： 「爽快感」「注目される感覚」
典型実施状況（or TPO）：ゲーム初心者が周囲に他者がいる状況で当該ゲームをプレイをする

アプローチ：
ゲーム初心者にとって上手くゲームをプレイすることは簡単なことではない。すぐにゲームオーバーとなってしまうことで　の喪失感を余儀なくされることもある。
そこで、一見難易度が高そうにみえて、実際には絶対に敵の砲弾に当たらない状況を設定した弾幕系のゲームを用意する。敵が撃つ弾をプレイヤの自機をどのように操作しても当たらない軌道を設定することで、見た目では、超高難易度のゲームをプレイヤ自身のテクニックでクリアしているような状況を作りだすことができる。これにより、ゲーム初心者にはあたかも神プレイしているような体験がもたらされ、また、そのプレイを通じて、他者から注目されるのがどのような感覚なのかということについても体感できるようになる。種明かし（どのような原理で神プレイが実現されるのかという仕組み）も含めて当該の体験を他者に語りたくなるという「ナラティブ」な要素も包含する。

（EDA事例その２）
研究（システム）名：XXXXXX（環境系アプリ）
心をどう動かしたいのか： 「そこはかとない」感覚」
典型実施状況（or TPO）：すべての人、特に日常を一瞬忘れたい時

アプローチ
無限プチプチやハンドスピナーには何故かその動作を続けてしまう魅力がある。このような遊びで得られる心の状態を「そこはかとない」感覚と名付ける。「そこはかとない」感覚はフロー状態やトランス状態の一種であると位置づけられる一方で、のめり込んで集中している楽（らく）の感情の状態に至るまで、および楽の状態が崩れた後の感情の変化も含んでいる。すなわち、日常的な活動の中で様々な気持ちにある時に、使用者はこれらの遊びを通じて日常を忘れ気持ちの落ち着く楽の状態になる。しかしこの状態は永くは続かず崩れ、使用者は一種の喪失感を感じる。使用者は更に繰り返してこの感情の変化を楽しむこともできるし、満足して終わることもできる。
このように「そこはかとない」感覚はフロー体験を瞬間的に繰り返し楽しむものであるため、「そこはかとない」感覚をもたらすためには、使用者に作業に対する複雑な思考や過度の負担を求めないこと、繰り返し動作を妨げずかつ不快感のない適切なフィードバックがあること、繰り返し動作に関するアフォーダンスデザインがなされていることが要件だと考える。ボウルの中でビー玉を転がし、その状況を映像と音でフィードバックするというスマートフォンアプリケーションは、こうした要件を満たすものとして設計されたものであり、使用者に複雑な思考や過度の負担を求めることなく、「そこはかとない」感覚の提供を試みている。

Qualification の手続きについて

EC2018 の Qualification 試行では、発表者は提案するエンタテインメントの枠組みの説明を投稿時に提出し、審査委員会がデモあるいはビデオ等を通じてどのように実現されているかを会場にて確認します。

Qualification を希望される発表につきましては、下記の2点をご用意ください。

EDAフォーマットに従って、体験者の心をどのように動かしたいのか、どのような手法でそれを実現するのかを説明してください。
デモ発表を行ってください。大物などの理由でデモが実演できない場合は、内容が分かり議論できる材料（実演のビデオなど）で発表してください。
口頭発表ロングに限らず、ノート、デモ発表のみでの希望も歓迎します。Qualification を希望されない発表におかれましても、有益なフィードバックが得られることと思います。提出された EDA 事例は委員会で分析して次年度以降の活動につなげていきたいと考えています。研究分野の発展のため、是非とも EDA の提出をお願い致します。

Qualification はエンタテインメント体験を生み出すタイプの研究を主に対象としています。Qualification にそぐわないタイプの研究（例えば基礎的なデバイスの研究やエンタテインメントの評価に関する研究）の場合は EDA フォーマットでは説明しにくいかと思います。そのような場合は無理に提出する必要はありませんが、代わりに研究内容がエンタテインメントコンピューティング分野にどのように寄与するかを記入頂ければ幸いです。

EDA フォーマットあるいはエンタテインメントコンピューティングへの寄与の説明は論文本体に記載することは必須ではありませんが、推奨いたします。議論の展開等に活用くださいませ。

Qualification で認定された論文が論文誌特集号に投稿された場合、有用性に関しては確認済みとして扱います。つまり、実験による評価は不要です（もちろん、妥当な実験による評価や観察による分析は好ましいですし、Qualification の際の主張や議論を論文中に記載することが望ましいと考えます）。なお、情報処理学会の制度としての「シンポジウムからの推薦論文」ではなく、従来の特集号でのスペシャルエディタ制度の枠組みで実施することにご留意ください。当然ながら、採録を保証するものではありません。