研究で何をすれば良いのか分からない，という話．割と自分の研究対象の分野に限定された話かもしれないので，最初にどのような分野を対象とするか書いておきます．
研究対象
興味のある分野は以下の通りで，大学院で研究をしようとしてる分野はHAI(Human Agent Interaction)，その中でも特に身体性を持つエージェントに興味がある為HRIに興味がある*1．
人形・機械学習・ロボット・インタラクション・人間・世界・倫理
研究と一括りに言ってもいろんな種類があるので，僕が話題にする対象を先に説明する．
まず，科学研究である．以前哲学との違いについて人と話した時に面白かった話として，科学（特に）工学研究においては仮説を立てて実験（分析）し，結果を見る．その結果に基づいて仮説の更新を行うフィードバックループが形成される．しかし，哲学研究においては仮説の妥当性を自分の頭の中で判断しなければならない．時折哲学は「仮説を積み上げていかず，問題の開始地点を設定したがる」といった批判を見かけるが，僕は哲学研究の外観に詳しくないのでここらへんの断言はできない．まぁ，元々哲学から全てはじまった*2ので，方法論はともかく，扱う対象に関する批判はどうかと思う．
次に，対象は工学と理学が半々だと思っている．あまり理学と工学の違いにも詳しくないけれど，大雑把には「理学は現象の理解（自然科学に限らず）を目的とし，工学は基本的にその対象の改善を目的とする」といった認識でいる．断言できないが，少なくともHAIは認知科学・脳科学などの人間及び世界の特性の理解に基づいていて，これは物事の改善と独立したものではないように思う．結果的に工学として扱われていても，現象の理解に基づかない改善は因果関係の記述などもできず空虚な結果であると考える．
もう少し対象を限定すると，人間を対象にしている．Human Agent Interactionなので人間を対象にしているのは自明だが，この辺りに難しさを感じているので一応明記しておく．
研究に対する解釈の難しさ
まず，僕がずっと考えている難しさを列挙する．
- 言葉の定義が曖昧
- 理論の根拠が論理ではなく報告にある
- 評価が直感的ではない
それぞれ順を追って説明する．
言葉の定義が曖昧
論文を読んだり研究の話を聞いていて，専門用語の意味がよく分からないことが多い．というのも，いろんな意味で使われている．用語の意味が難しいことは問題ではないが，ある程度異なった意味を持つ概念が，同じ記号で（しかも同じ分野で）やりとりされているのが問題となっている．以前読んだ論文で，ある単語がいろんな意味で使われているので分類してみました！といったものがあって，それぞれの論文で何が言いたいのか掴むのが難しいと感じた．その点で数学は良い．
この問題に関しては，いくつか自分の至らない点と仕方ない点がある．１．言葉の意味は流動的なので，使われた意味に則るしかない．２． 単語は文脈依存である．３．もっと論文を読んで分野の全体像を掴めば相対的に意味を把握できるのかもしれない．４．そもそも簡潔な記号で明確に定義できる対象ではない（例：感情）．
特に４が仕方ないのかなと思うので，論文をたくさん読むしかないのかもしれない．
理論の根拠が論理ではなく報告にある
これは実験系の論文の話だけれど，論文を読んでも分からないことがある．例えば数学であれば公理が存在して定義が置かれて，それに従って証明が進んでいく．そこに現れる記号は全て必要な範囲で一意に定まっている*3．要するに，論文を読めば妥当性が判断できる．
しかし，実験系だと結果は報告によって得られる．例えば実験参加者*4の条件については，執筆者が得られる情報の中で書かれている上に，関係のなさそうなものは情報から切り捨てている．この直感は一流の研究者ならある程度適切にできるかもしれないが，少なくともビギナーは見落としかねない*5．実験設定一般に関しては，機械学習のような機械を対象にしたものはソースコード＋マシンスペック＋etc…といったある程度限られた条件を記載すれば概ね再現できるように見える*6
実験結果も，何を報告するかが個人に依存していて，最低限研究に対して誠実であるとしても実は重要であった情報が欠落することもある．しかし，論文の読者はこれに気づくことができない．書かれていない情報から判断することができないことが書かれてしまっている．
これに関しては，サブの主張として”研究を行う個人には個人差がある”というものがある．それこそ僕のような卒論を書いただけみたいな人と何年間も研究者としてやっている人にはノウハウの違いがあるし，上手な人はうまくかける．それが目に見えて全て論文の情報から証明できる形で出ていれば良いが，論文内で証明できないものの影響が生じる場合があり，これはあまり良くないと思っている．
評価が直感的ではない
これは僕だけの話かもしれないが，統計の結果，特に実験参加者を多数募る実験はおそらく三つの理由から直感的ではない．
まず，評価が難しいこと．例えば機械学習界隈でよくある例として，単一の精度評価というのがある．逆に，複数の視点から評価をする論文もあり，ドメイン知識に則ってスコアを定義したり，多面的な評価をして単一のスカラー値による評価を避けることもある．これはとても良いが，対象があまりにも複雑な場合には難しいと感じる．特に，言葉の定義が曖昧なもの（例：感情）の評価はとても難しい．単一の精度評価のようなものはもちろん無意味だが，評価項目をたくさん用意して7件法を用いるのは，項目が多すぎてあまり直感的ではない．慣れている人にとっては直感的かもしれないが，人間には限界がある．この世の中は案外シンプルではないので，簡単な評価指標を用いればズレが生じるし，複雑さに見合った評価をすると人間にとって解釈が難しくなってしまうと感じている．
次に，経験できる主体である自己は一つということ．例として，ある可愛いロボットの印象評価を行う．簡単のため評価結果は良いか否かの二択とする*7．100人で評価実験を行い，80人が良いと答え，20人が良くないと答えたとする．自分がどちらかの側にいた時に，もう片方の側の人間の感想は自分にとって直感的ではない．ロボットが良いと答えた時に，良くないと答えた人がなぜ良くないと思ったのか，インタビューを行って理由を聞くことはできるが，だからといってその人の理屈を想像しただけで体験することはできない．他人には自分にとって非自明な思考が働いていて，想像できることは割とシンプルなことだけだと思う．
80人にとって良い結果が得られました，という回答は解釈するには少し難しくて，それぞれの人がなぜ良いと思ったのか，またそれ以外の人はなぜ良くないと思ったのか，ということが分からないといけない．この問題に関して補足すると，良い論文は因果関係の考察のために数値的評価だけではなく個々の事例についての紹介をすることも多い．しかし，理論の根拠が論理ではなく報告にある為に，紹介された事例について疑いを持った時に根拠となるものが存在せず肯定も否定もできなくなってしまう．
あとがき
あまり研究の方法論や評価について詳しくないこともあり，僕の考えは割と曖昧な部分が多いと感じています．それこそ，僕が感じたこれらの疑問に答えるための手法が既にあるか，ある程度諦めて進めているものと思います．ただ，何をすれば良いのか，という点で悩むことが多いです．
他にも二つほど考えていることとしてHAIは自由度がHumanだけではなくAgentにも存在するため高次元すぎて難しい，科学研究の積み重ねがどのように行われるべきかという話題があります．思い立ったら今度書きます．
*1:しかし，実際に研究でロボットを使用できるとは限らないので身体性とは？？となるかもしれない
*2:ゴミみたいな断言
*3:定まっている，というより証明のために最低限その必要があると言うのが正しいが，ともかく明確に定義されている
*4:いわゆる被験者だが，この単語はあまり良くないので用いない
*5:もちろん研究者であっても交絡因子の存在に気づかないこともあると思う
*6:あまりたくさん読んでいないものに口出しするのは良くないし，機械学習も難しい点はあると思う．それこそソースコードが閲覧できなかったりデータセットがオープンではないこともあるらしく，僕が知る限りでもそういった難しさがある
*7:本来この評価はよくないが，ここでの直感の考え方には関係ないと思うのでこの評価とする
