データとモデルを観察する

自然言語処理（Natural Language Processing; NLP）は、私たちが日常的に利用している言葉（自然言語）をコンピュータによって理解・処理する方法を考える研究分野です。近年、この分野では、大量の質問文と回答からなるデータセットを用意し、機械学習（深層学習）によってタスクを実行するモデルを得るという、end-to-end な方法論が一般的です。しかし、この方法論ではしばしば、人間の予想外の振る舞いをするモデルが得られることが知られています。

例として、前提となる文1と帰結となる文2からなる文のペアを入力し、文のペアの意味的な関係（含意または矛盾）を出力するタスク（含意関係認識）を考えます。あるデータセットには、文2に Nobody という語が含まれていると98%の確率で矛盾であるという偏りが含まれていましたが、研究者は誰も気付いていませんでした。この偏ったデータセットから学習されたモデルは、全体としては高い精度（80%以上）を達成していましたが、内部的には、文1を参照することなく、文2だけから意味的な関係を勝手に推定していました（Tsuchiya 2018）。

つまり、データとモデルを批判的に観察することなく、単純に end-to-end な方法を適用することは危険であるということです。そのため、当研究室は、タスクの定義とデータの分析から始め、アノテーションでデータを作り、その上でモデルを構築することにこだわっています。