非タスク指向型対話システムは単純な会話が可能であるが，会話履歴を次の応答へと影響させることで自然な会話の継続を行う能力や会話している話題の事実情報を踏まえた応答の生成や会話対象であるユーザを学習することで各ユーザに適した応答をする能力は未だ不十分であると言える．TransformerやBERTの学習に連続した対話履歴を使用し自然な応答文の生成を行う．
自然に継続できる対話システムとして，これまでの会話に沿った応答文を生成する必要がある．そこで， 1 発話文ではなく複数文の対話履歴を学習するモデルを作成する．このモデルは会話の流れを構成する対話履歴を文単位の時系列データとして扱い，時系列データを扱えるように拡張した BERTで学習し，自然に継続できる応答文を生成する．更に，この BERT モデルとは別に作成した自然な継続文かを判別する判別器でより良い応答文を選択する．この時系列 BERT モデルの有効性を定量的に解析する．ユーザとシステムとの会話を自然に継続させるためには，会話内容を表す話題が大局的もしくは局所的に継続している必要がある．そこで，外部知識として Wikipedia をBERT の事前学習として学習し，その BERT の Fine-Tuning で対話履歴に転移学習し，外部知識を反映した応答文候補を出力するモデルを作成する．チャット型の対話ロボット
丸田 要（まるた かなめ）researchmap
都城工業高等専門学校・電気情報工学科・助教
共同研究等をご検討の際にはご連絡をください．
自然言語処理
テキストマイニング
機械学習
深層学習
ー