ホーム > 特許ランキング > 本田技研工業株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022156444
(43)【公開日】2022-10-14
(54)【発明の名称】対話装置、対話方法、およびプログラム
(51)【国際特許分類】
G10L 15/22 20060101AFI20221006BHJP
G10L 13/00 20060101ALI20221006BHJP
G06F 16/90 20190101ALI20221006BHJP
【ＦＩ】
G10L15/22 300U
G10L13/00 100M
G06F16/90 100
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021060145
(22)【出願日】2021-03-31
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】坂田 さち恵
(72)【発明者】
【氏名】配川 有二
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175EA01
(57)【要約】
【課題】自然な対話を実現することができる対話装置、対話方法、およびプログラムを提供することを目的とする。
【解決手段】対話装置は、利用者発話を取得する発話取得部と、利用者発話内容を分析する対話理解部と、分析結果に基づき利用者との対話状態を更新する対話状態管理部と、更新された対話状態に基づき対話データ群から１つ以上の対話データを選択して対話計画を作成する対話決定部と、対話計画に従い利用者への発話文を対話データから生成し、発話を行う発話出力部とを備え、対話データは対話データを使用するための前提条件と使用後の効果情報と対話データの発話種類と効果情報により設定されたスコアを備え、対話決定部は対話状態と合致する前提条件を備えた対話データと対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する対話計画候補の中から対話データのスコア和が最も大きいものを対話計画として選択する。
【選択図】図２
【解決手段】対話装置は、利用者発話を取得する発話取得部と、利用者発話内容を分析する対話理解部と、分析結果に基づき利用者との対話状態を更新する対話状態管理部と、更新された対話状態に基づき対話データ群から１つ以上の対話データを選択して対話計画を作成する対話決定部と、対話計画に従い利用者への発話文を対話データから生成し、発話を行う発話出力部とを備え、対話データは対話データを使用するための前提条件と使用後の効果情報と対話データの発話種類と効果情報により設定されたスコアを備え、対話決定部は対話状態と合致する前提条件を備えた対話データと対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する対話計画候補の中から対話データのスコア和が最も大きいものを対話計画として選択する。
【選択図】図２
【特許請求の範囲】
【請求項1】
利用者の発話を取得する発話取得部と、
前記利用者の発話の内容を分析する対話理解部と、
前記発話の分析結果に基づいて、前記利用者との対話状態を更新する対話状態管理部と、
更新された前記対話状態に基づいて、予め準備された対話データ群から１つ以上の対話データを選択して対話計画を作成する対話決定部と、
前記対話決定部によって作成された対話計画に従い、前記利用者への発話文を前記対話データから生成し、前記利用者に対して発話を行う発話出力部と、
を備え、
前記対話データは、前記対話データを使用するための前提条件と、使用後の効果情報と、対話データの発話種類と前記効果情報により設定されたスコアと、を備え、
前記対話決定部は、前記対話状態と合致する前提条件を備えた前記対話データと、前記対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する前記対話データによる１つ以上の対話計画候補の中から、前記対話データのスコアの和が最も大きいものを対話計画として選択する、
対話装置。
前記利用者の発話の内容を分析する対話理解部と、
前記発話の分析結果に基づいて、前記利用者との対話状態を更新する対話状態管理部と、
更新された前記対話状態に基づいて、予め準備された対話データ群から１つ以上の対話データを選択して対話計画を作成する対話決定部と、
前記対話決定部によって作成された対話計画に従い、前記利用者への発話文を前記対話データから生成し、前記利用者に対して発話を行う発話出力部と、
を備え、
前記対話データは、前記対話データを使用するための前提条件と、使用後の効果情報と、対話データの発話種類と前記効果情報により設定されたスコアと、を備え、
前記対話決定部は、前記対話状態と合致する前提条件を備えた前記対話データと、前記対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する前記対話データによる１つ以上の対話計画候補の中から、前記対話データのスコアの和が最も大きいものを対話計画として選択する、
対話装置。
【請求項2】
前記対話決定部は、前記対話計画を作成する際に対話計画に含む対話データの数を所定数以内とする、
請求項１に記載の対話装置。
請求項１に記載の対話装置。
【請求項3】
前記対話決定部は、前記対話計画を作成する際に対話計画を作成する処理時間が所定時間内となるよう対話データの数を限定する、
請求項１に記載の対話装置。
請求項１に記載の対話装置。
【請求項4】
前記対話決定部は、前記対話状態の更新が予測される対話状態に合致する対話データのスコアに係数を乗じた調整スコアを用いてスコアの和を計算する、
請求項１から請求項３のうちのいずれか１項に記載の対話装置。
請求項１から請求項３のうちのいずれか１項に記載の対話装置。
【請求項5】
前記対話状態管理部は、前記利用者からの発話を取得する際、所定時間内に取得できなかったことを検出し、
前記対話決定部は、前記対話状態管理部が所定時間内に取得できなかったことが検出された後に話題を変える行動の場合にスコアを与える、
請求項１から請求項４のうちのいずれか１項に記載の対話装置。
前記対話決定部は、前記対話状態管理部が所定時間内に取得できなかったことが検出された後に話題を変える行動の場合にスコアを与える、
請求項１から請求項４のうちのいずれか１項に記載の対話装置。
【請求項6】
前記対話決定部は、前記前提条件に含まれるコミュニケーションに関するスコアが所定値以上になるまで、これまでのテーマに関する話を深堀りするように発話を行う、
請求項１から請求項５のうちのいずれか１項に記載の対話装置。
請求項１から請求項５のうちのいずれか１項に記載の対話装置。
【請求項7】
対話データが、前記対話データを使用するための前提条件と、使用後の効果情報と、前記対話データの発話種類と前記効果情報により設定されたスコアと、を備え、
発話取得部が、利用者の発話を取得し、
対話理解部が、前記利用者の発話の内容を分析し、
前記発話の分析結果に基づいて、前記利用者との対話状態を更新し、
対話決定部が、更新された前記対話状態に基づいて、予め準備された対話データ群から１つ以上の前記対話データを選択して対話計画を作成し、
発話出力部が、前記対話決定部によって決定された対話計画に従い、前記利用者への発話文を前記対話データから生成し、前記利用者に対して発話を行い、
前記対話決定部は、前記対話状態と合致する前提条件を備えた前記対話データと、前記対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する前記対話データによる１つ以上の対話計画候補の中から、対話データのスコアの和が最も大きいものを対話計画として選択する、
対話方法。
発話取得部が、利用者の発話を取得し、
対話理解部が、前記利用者の発話の内容を分析し、
前記発話の分析結果に基づいて、前記利用者との対話状態を更新し、
対話決定部が、更新された前記対話状態に基づいて、予め準備された対話データ群から１つ以上の前記対話データを選択して対話計画を作成し、
発話出力部が、前記対話決定部によって決定された対話計画に従い、前記利用者への発話文を前記対話データから生成し、前記利用者に対して発話を行い、
前記対話決定部は、前記対話状態と合致する前提条件を備えた前記対話データと、前記対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する前記対話データによる１つ以上の対話計画候補の中から、対話データのスコアの和が最も大きいものを対話計画として選択する、
対話方法。
【請求項8】
コンピュータに、
利用者の発話を取得させ、
前記利用者の発話の内容を分析させ、
前記発話の分析結果に基づいて、前記利用者との対話状態を更新させ、
更新された前記対話状態に基づいて、予め準備された対話データ群から１つ以上の対話データを選択して対話計画を作成させ、
前記作成された対話計画に従い、前記利用者への発話文を前記対話データから生成し、前記利用者に対して発話を行わせ、
前記対話状態と合致する前提条件を備えた前記対話データと、前記対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する対話データによる１つ以上の対話計画候補の中から、前記対話データのスコアの和が最も大きいものを対話計画として選択させ、
前記対話データが、前記対話データを使用するための前提条件と、使用後の効果情報と、前記対話データの発話種類と前記効果情報により設定されたスコアと、を備える、
プログラム。
利用者の発話を取得させ、
前記利用者の発話の内容を分析させ、
前記発話の分析結果に基づいて、前記利用者との対話状態を更新させ、
更新された前記対話状態に基づいて、予め準備された対話データ群から１つ以上の対話データを選択して対話計画を作成させ、
前記作成された対話計画に従い、前記利用者への発話文を前記対話データから生成し、前記利用者に対して発話を行わせ、
前記対話状態と合致する前提条件を備えた前記対話データと、前記対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する対話データによる１つ以上の対話計画候補の中から、前記対話データのスコアの和が最も大きいものを対話計画として選択させ、
前記対話データが、前記対話データを使用するための前提条件と、使用後の効果情報と、前記対話データの発話種類と前記効果情報により設定されたスコアと、を備える、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対話装置、対話方法、およびプログラムに関する。
【背景技術】
【0002】
利用者に寄り添いつつ会話を継続する会話処理装置が提案されている。例えば、利用者の気持ちに寄り添いつつ会話を継続し利用者の内面を引き出すため、利用者の発言の一部を使って応答文を作成する会話処理装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１８５２３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、利用者の発言を、形を変えて反復するため、自然な対話とならないおそれがある。
【0005】
本発明は、上記の問題点に鑑みてなされたものであって、自然な対話を実現することができる対話装置、対話方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
（１）上記目的を達成するため、本発明の一態様に係る対話装置は、利用者の発話を取得する発話取得部と、前記利用者の発話の内容を分析する対話理解部と、前記発話の分析結果に基づいて、前記利用者との対話状態を更新する対話状態管理部と、更新された前記対話状態に基づいて、予め準備された対話データ群から１つ以上の対話データを選択して対話計画を作成する対話決定部と、前記対話決定部によって作成された対話計画に従い、前記利用者への発話文を前記対話データから生成し、前記利用者に対して発話を行う発話出力部と、を備え、前記対話データは、前記対話データを使用するための前提条件と、使用後の効果情報と、対話データの発話種類と前記効果情報により設定されたスコアと、を備え、前記対話決定部は、前記対話状態と合致する前提条件を備えた前記対話データと、前記対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する前記対話データによる１つ以上の対話計画候補の中から、前記対話データのスコアの和が最も大きいものを対話計画として選択する。
【0007】
（２）また、本発明の一態様に係る対話装置において、前記対話決定部は、前記対話計画を作成する際に対話計画に含む対話データの数を所定数以内とするようにしてもよい。
【0008】
（３）また、本発明の一態様に係る対話装置において、前記対話決定部は、前記対話計画を作成する際に対話計画を作成する処理時間が所定時間内となるよう対話データの数を限定するようにしてもよい。
【0009】
（４）また、本発明の一態様に係る対話装置において、前記対話決定部は、前記対話状態の更新が予測される対話状態に合致する対話データのスコアに係数を乗じた調整スコアを用いてスコアの和を計算するようにしてもよい。
【0010】
（５）また、本発明の一態様に係る対話装置において、前記対話状態管理部は、前記利用者からの発話を取得する際、所定時間内に取得できなかったことを検出し、前記対話決定部は、前記対話状態管理部が所定時間内に取得できなかったことが検出された後に話題を変える行動の場合にスコアを与えるようにしてもよい。
【0011】
（６）また、本発明の一態様に係る対話装置において、前記対話決定部は、前記前提条件に含まれるコミュニケーションに関するスコアが所定値以上になるまで、これまでのテーマに関する話を深堀りするように発話を行うようにしてもよい。
【0012】
（７）上記目的を達成するため、本発明の一態様に係る対話方法は、対話データが、前記対話データを使用するための前提条件と、使用後の効果情報と、前記対話データの発話種類と前記効果情報により設定されたスコアと、を備え、発話取得部が、利用者の発話を取得し、対話理解部が、前記利用者の発話の内容を分析し、対話状態管理部が、前記発話の分析結果に基づいて、前記利用者との対話状態を更新し、対話決定部が、更新された前記対話状態に基づいて、予め準備された対話データ群から１つ以上の前記対話データを選択して対話計画を作成し、発話出力部が、前記対話決定部によって決定された対話計画に従い、前記利用者への発話文を前記対話データから生成し、前記利用者に対して発話を行い、前記対話決定部は、前記対話状態と合致する前提条件を備えた前記対話データと、前記対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する前記対話データによる１つ以上の対話計画候補の中から、対話データのスコアの和が最も大きいものを対話計画として選択する。
【0013】
（８）上記目的を達成するため、本発明の一態様に係る対話プログラムは、コンピュータに、利用者の発話を取得させ、前記利用者の発話の内容を分析させ、前記発話の分析結果に基づいて、前記利用者との対話状態を更新させ、更新された前記対話状態に基づいて、予め準備された対話データ群から１つ以上の対話データを選択して対話計画を作成させ、前記作成された対話計画に従い、前記利用者への発話文を前記対話データから生成し、前記利用者に対して発話を行わせ、前記対話状態と合致する前提条件を備えた前記対話データと、前記対話データを使用した場合の効果情報に基づき更新が予測される対話状態に合致する対話データによる１つ以上の対話計画候補の中から、前記対話データのスコアの和が最も大きいものを対話計画として選択させ、前記対話データが、前記対話データを使用するための前提条件と、使用後の効果情報と、前記対話データの発話種類と前記効果情報により設定されたスコアと、を備える。
【発明の効果】
【0014】
（１）～（８）によれば、利用者の発言と装置側の行動（発話内容）の経歴に基づいて、最適な対話シナリオをスコアに従って作成するようにしたので、自然な対話を実現することができる。
（２）、（３）によれば、リアルタイムで処理することができる。
（４）によれば、予測どおりに対話が進まない可能性を考慮して対話計画を作成することができる。
（５）によれば、利用者からの発話が得られなかった場合に話題を変えて発話を継続することができる。
（６）によれば、発話に含まれるテーマに関して深堀りすることができる。
（２）、（３）によれば、リアルタイムで処理することができる。
（４）によれば、予測どおりに対話が進まない可能性を考慮して対話計画を作成することができる。
（５）によれば、利用者からの発話が得られなかった場合に話題を変えて発話を継続することができる。
（６）によれば、発話に含まれるテーマに関して深堀りすることができる。
【図面の簡単な説明】
【0015】
【図1】実施形態の対話装置が行う処理の概要を示す図である。
【図2】実施形態に係る対話装置の構成例と処理手順例を示すブロック図である。
【図3】実施形態に係る対話装置の処理手順例のフローチャートである。
【図4】実施形態に係る発話取得部の処理手順例のフローチャートである。
【図5】実施形態に係る対話状態管理部の処理手順例のフローチャートである。
【図6】実施形態に係る対話決定部による対話決定のフローチャートである。
【図7】実施形態に係る発話出力部による発話出力のフローチャートである。
【図8】実施形態に係る利用者と対話装置との対話例を示す図である。
【図9】実施形態に係る利用者と対話装置との対話例を示す図である。
【図10】実施形態に係る対話データの構成例を示す図である。
【図11】実施形態に係るプランニング例を示す図である。
【図12】実施形態に係る行動計画候補から次の行動を抽出する手順例を示す図である。
【図13】実施形態に係る行動計画（プランニング）から行動を選択する方法例を説明するための図である。
【図14】対話例を示す図である。
【図15】実施形態に係る行動データの分類例を示す図である。
【図16】実施形態に係るプランニングのためのスコアの例を示す図である。
【図17】実施形態に係る行動とスコアと行動の遷移例を示す図である。
【図18】実施形態に係る行動とスコアと行動の遷移例を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態について図面を参照しながら説明する。
【0017】
［対話装置が行う処理の概要］
まず、本実施形態の対話装置１が行う処理の概要を説明する。
対話装置１は、利用者と対話を行い、対話目的に向かった対話展開を円滑に行う。対話装置１は、利用者の発言と装置側の行動（発話内容）の経歴に基づいて、最適な対話シナリオを評価スコアに従ってプランニング（対話制御）する。例えば、対話装置１が、まず利用者に質問を発し、利用者の発話を取得する。対話装置１は、取得した発話からテーマを抽出し、そのテーマを深掘りするように対話を進める。そして、対話装置１は、採取的に利用者からコミットメントを聞き出すように対話を進める。なお、会話のテキストは、テンプレートが用意されている。また、対話装置１は、対話を進めるのに適した行動をスコアリングで選択（ルールベース）する。対話装置１は、スコアを例えばカウンセラーの対話スキルから重要なもののスコアを高くする。
まず、本実施形態の対話装置１が行う処理の概要を説明する。
対話装置１は、利用者と対話を行い、対話目的に向かった対話展開を円滑に行う。対話装置１は、利用者の発言と装置側の行動（発話内容）の経歴に基づいて、最適な対話シナリオを評価スコアに従ってプランニング（対話制御）する。例えば、対話装置１が、まず利用者に質問を発し、利用者の発話を取得する。対話装置１は、取得した発話からテーマを抽出し、そのテーマを深掘りするように対話を進める。そして、対話装置１は、採取的に利用者からコミットメントを聞き出すように対話を進める。なお、会話のテキストは、テンプレートが用意されている。また、対話装置１は、対話を進めるのに適した行動をスコアリングで選択（ルールベース）する。対話装置１は、スコアを例えばカウンセラーの対話スキルから重要なもののスコアを高くする。
【0018】
図１は、本実施形態の対話装置１が行う処理の概要を示す図である。なお、図１は、処理の概要でありイメージ図である。
図１では、利用者が「もっと英語ができるようになりたい」と発話する。これに対して、対話装置１は、この発話を取得して理解する必要がある。このため、対話装置１は、取得した発話ｇ１から、意思（希望）や心理状態（ポジティブがネガティブか）や項目（テーマ）等を理解ｇ２する。なお、対話装置１は、例えば、対話装置が発した質問に対する発話が「ポジティブ」な「意思」の返答であった場合、「テーマ」（項目）が発話されたと理解する（ｇ３）。
図１では、利用者が「もっと英語ができるようになりたい」と発話する。これに対して、対話装置１は、この発話を取得して理解する必要がある。このため、対話装置１は、取得した発話ｇ１から、意思（希望）や心理状態（ポジティブがネガティブか）や項目（テーマ）等を理解ｇ２する。なお、対話装置１は、例えば、対話装置が発した質問に対する発話が「ポジティブ」な「意思」の返答であった場合、「テーマ」（項目）が発話されたと理解する（ｇ３）。
【0019】
次に、対話装置は、発話を理解した結果に基づいて、自然な対話を実現するように対話を制御ｇ４する。この際、対話装置１は、発話の理由を尋ねる行動、行動の前提となる理解結果や対話状態、発話の履歴と目的等に基づいて対話を制御する。なお、対話装置１は、理由を尋ねる行動を、発話生成によって行う（ｇ５）。また、対話装置１は、例えば、テーマが既出、理由についての質問が未実行（対話状態）のとき、理由を尋ねる行動を実行する（ｇ５）。また、対話装置１は、例えば、行動済み（質問済み等）の履歴を管理し、行動の種類を管理する（ｇ５）。
【0020】
次に、対話装置１は、発話を理解した結果と行動制御に基づいて、例えば合致する項目ｇ７の（発話に含まれる）テキストを用いて、発話を生成ｇ６する。図１の例では、「どうして｛テーマ｝をやりたいのですか？」のテーマに、項目「テーマ」を理解したときのテキスト｛もっと英語ができるようになりたい｝の一部を用いて、発話文ｇ８を生成する。
【0021】
なお、対話装置１は、利用者に発話を促し、利用者との対話を、例えば利用者からコミットメントを聞き出すまで継続する。また、対話装置１は、例えば、二足歩行ロボット、受付ロボット、コミュニケーションロボット等が備えていてもよい。また、対話装置１の機能をアプリケーションで実現することで、スマートフォン、タブレット端末、スマートウォッチ等に搭載されていてもよい。また、対話を開始するのは、利用者であっても対話装置１であってもよい。
【0022】
［対話装置の構成例］
次に、対話装置１の構成例を説明する。
図２は、本実施形態に係る対話装置１の構成例を示すブロック図である。図２のように、対話装置１は、対話制御部２、理解生成部３、対話状態記憶部４、および対話ＤＢ（データベース）５を備える。
対話制御部２は、発話取得部２１、対話状態管理部２２、対話決定部２３、および発話出力部２４を備える。
理解生成部３は、対話理解部３１、理解情報記憶部３２、および発話文生成部３３を備える。
次に、対話装置１の構成例を説明する。
図２は、本実施形態に係る対話装置１の構成例を示すブロック図である。図２のように、対話装置１は、対話制御部２、理解生成部３、対話状態記憶部４、および対話ＤＢ（データベース）５を備える。
対話制御部２は、発話取得部２１、対話状態管理部２２、対話決定部２３、および発話出力部２４を備える。
理解生成部３は、対話理解部３１、理解情報記憶部３２、および発話文生成部３３を備える。
【0023】
発話取得部２１は、例えば、収音部２１１、および音声認識部２１２を備える。発話取得部２１は、取得した音声信号に対して音声認識処理を行い、音声信号の有無、およびに認識結果の文字列を対話状態管理部２２に、認識結果の文字列（テキスト）を対話理解部３１に出力する。なお、発話取得部２１は、発話出力部２４が出力した場合、対話装置１による発話であるため、これらの音声信号を取得しないか、取得しても音声認識処理を行わず対話理解部３１に出力しないようにしてもよい。なお、発話取得部２１は、キーボードやタブレット等によってテキスト情報を取得するようにしてもよい。
【0024】
収音部２１１は、マイクロホンで音声信号を収音する。収音部２１１は、複数のマイクロホンを備えるマイクロホンアレイであってもよい。
【0025】
音声認識部２１２は、収音部２１１が収音した音声信号から発話区間の音声信号を検出する。音声認識部２１２は、検出した発話区間の音声信号に対して、例えば音の特徴量に基づくモデルの音響モデルデータベースと、単語とその並び方の情報のモデルの言語モデルデータベースを参照して、周知の手法を用いて音声認識を行い、テキスト化を行う。なお、収音部２１１がマイクロホンアレイの場合、音声認識部２１２は、音源分離処理、音源定位処理、音源同定処理等、周知の音声認識処理も行う。
【0026】
対話理解部３１は、係り受け解析部３１２、および理解部３１３を備える。
【0027】
理解情報記憶部３２は、キーワードデータベース等を格納している。
理解情報記憶部３２は、対話理解部による係り受け解析、理解の結果等を格納する。
理解情報記憶部３２は、対話理解部による係り受け解析、理解の結果等を格納する。
【0028】
係り受け解析部３１２は、発話取得部２１から入力されたテキスト情報に対して、音響モデルデータベースと言語モデルデータベースを参照して、形態素解析と係り受け解析を行う。なお、係り受け解析部３１２は、係り受け解析に、例えば、Ｓｈｉｆｔ－ｒｅｄｕｃｅ法や全域木の手法やチャンク同定の段階適用手法においてＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）を用いる。
【0029】
理解部３１３は、取得した発話内容の対話の種類である対話行為を、キーワードデータベースを参照して判別する。理解部３１３は、取得した発話内容がポジティブな内容であるかネガティブな内容であるか（心理状態）を、キーワードデータベースを参照して判別する。理解部３１３は、取得した発話内容からテーマを抽出する。なお、理解部３１３は、これらの処理を、予め学習して作成したモデルに入力して、判別と抽出を行うようにしてもよい。理解部３１３は、これらの理解結果を理解情報記憶部３２に記憶させる。
【0030】
対話状態管理部２２は、対話装置１の発話状態、対話装置１の発話終了時の処理、タイムアウト管理、利用者の発話状態の管理、および利用者の発話内容の理解結果の管理等の対話管理を行う。対話状態管理部２２は、これらの管理情報を対話状態記憶部４に記憶させる。また、対話状態管理部２２は、タイマー２２３を備える。タイマー２２３は、行動の種類に応じた所定時間をカウントする。行動の種類とは、後述するように対話装置１が利用者に対して行う行動（発話）の種類のことである。なお、対話状態管理部２２が行う処理については後述する。対話状態管理部２２は、タイムアウトを含めた対話状態の更新を示す情報等を対話決定部２３に出力する。
【0031】
対話状態記憶部４は、対話装置１の発話状態、対話装置１の発話終了時の処理、タイムアウト管理、利用者の発話状態の管理、および利用者の発話内容の理解結果等を記憶する。
【0032】
対話ＤＢ５は、発言を含めたシステムの行動のテンプレート、その行動が実行可能な対話状態を表す前提条件、その行動による対話状態の変化を示す効果からなる対話データを格納している。なお、実施形態では、対話データを、システム（対話装置１）が目的に向かって対話を進めるために用いる。
【0033】
対話決定部２３は、対話状態記憶部４が記憶する情報と、対話ＤＢ５が格納する情報と、対話状態管理部２２が出力する情報とに基づいて、対話をプランニングする。なお、対話決定部２３が行う処理については後述する。対話決定部２３は、システムの発話文であるテキストについて、生成する必要がない場合はそのまま発話出力部２４に出力する。対話決定部２３は、発話文を生成する必要がある場合、テンプレート化されているシステムの発話文のテキストおよび、そのテンプレートで用いるための利用者の発言のテキストを発話文生成部３３に出力する。
【0034】
発話文生成部３３は、対話決定部２３が出力するテンプレート化されているシステムの発話文の文字列のおよび、そのテンプレートで用いるための利用者の発言の文字列と、理解情報記憶部３２が記憶する情報とに基づいて、発話文テキストを生成する。発話文生成部３３は、生成した発話文を発話出力部２４に出力する。
【0035】
発話出力部２４は、音声変換部２４１と出力部２４２を備える。なお、発話出力部２４は、画像表示装置を備えていてもよい。
【0036】
音声変換部２４１は、発話文生成部３３が出力する発話文を、周知の手法で音声信号に変換する。
出力部２４２は、スピーカーである。出力部２４２は、音声変換部２４１が出力する発話文の音声信号を発する。
出力部２４２は、スピーカーである。出力部２４２は、音声変換部２４１が出力する発話文の音声信号を発する。
【0037】
【0038】
（対話装置全体の処理手順例）
図３は、本実施形態に係る対話装置１の処理手順例のフローチャートである。
（ステップＳ１）発話取得部２１は、発話を取得する。
（ステップＳ２）対話状態管理部２２は、対話装置１の発話状態、対話装置１の発話終了時の処理、タイムアウト管理、利用者の発話状態の管理、および利用者の発話内容の理解結果の管理等の対話管理を行う。
図３は、本実施形態に係る対話装置１の処理手順例のフローチャートである。
（ステップＳ１）発話取得部２１は、発話を取得する。
（ステップＳ２）対話状態管理部２２は、対話装置１の発話状態、対話装置１の発話終了時の処理、タイムアウト管理、利用者の発話状態の管理、および利用者の発話内容の理解結果の管理等の対話管理を行う。
【0039】
（ステップＳ３）対話決定部２３は、システム発話の効果が「対話終了」であるか否かを判別する。対話決定部２３は、システム発話の効果が「対話終了」であると判別した場合（ステップＳ３；ＹＥＳ）、処理を終了する。対話決定部２３は、システム発話の効果が「対話終了」ではないと判別した場合（ステップＳ３；ＮＯ）、ステップＳ４の処理に進める。
【0040】
（ステップＳ４）対話決定部２３は、対話を決定する。
（ステップＳ５）発話出力部２４は、決定された発話を出力する。発話出力部２４は、処理後、ステップＳ１の処理に戻す。
（ステップＳ５）発話出力部２４は、決定された発話を出力する。発話出力部２４は、処理後、ステップＳ１の処理に戻す。
【0041】
【0042】
（ステップＳ１０１）発話取得部２１は、音声信号の取得を行う。また、発話取得部２１は、音声信号の状態の情報（音声信号の有無）を対話状態管理部に出力する。
【0043】
（ステップＳ１０２）発話取得部２１は、音声信号を取得できた場合（ステップＳ１０２；ＹＥＳ）、ステップＳ１０３の処理に進める。発話取得部２１は、音声信号を取得できていない場合（ステップＳ１０２；ＮＯ）、発話取得処理を終了したことを対話状態管理部２２に出力する。
【0044】
（ステップＳ１０３）発話取得部２１は、取得した音声信号に対して音声認識処理を行う。
【0045】
（ステップＳ１０４）発話取得部２１は、音声認識処理の結果、認識結果が取得できたと判別した場合（ステップＳ１０４；ＹＥＳ）、ステップＳ１０５の処理に進める。発話取得部２１は、認識結果が取得できていないと判別した場合、ステップＳ１０５の処理をスキップする。
【0046】
（ステップＳ１０５）発話取得部２１は、音声認識処理の結果、取得できた認識結果を対話理解部３１に出力する。
【0047】
【0048】
（ステップＳ２０１）対話状態管理部２２は、例えばステップＳ１０４の音声認識結果から利用者が発話中か否かを判別する。対話状態管理部２２は、発話中の場合（ステップＳ２０１；ＹＥＳ）、ステップＳ２０１１の処理に進める。対話状態管理部２２は、発話中でなければ（ステップＳ２０１；ＮＯ）、ステップＳ２０２の処理に進める。
【0049】
（ステップＳ２０１１）対話状態管理部２２は、対話状態に「利用者発話中」を示す情報を設定して、対話状態記憶部４に記憶させる。続けて、対話状態管理部２２は、タイマー２２３に対してタイムカウントを止めてリセットを行う。処理後、対話状態管理部２２は、ステップＳ２０７に処理を進める。
【0050】
（ステップＳ２０２）対話状態管理部２２は、利用者が発話中ではないが、対話状態に「利用者発話中」が設定されている場合（ステップＳ２０２；ＹＥＳ）、ステップＳ２０２１に処理を進める。対話状態管理部２２は、「利用者発話中」が設定されていない場合（ステップＳ２０２；ＮＯ）、ステップＳ２０３の処理に進める。
【0051】
（ステップＳ２０２１）対話状態管理部２２は、利用者の発話が終了したとみなし、設定されている「利用者発話中」に替えて「利用者発話終了」を設定する。続けて、対話状態管理部２２は、タイムアウト時間を設定して、タイムカウントを開始する。処理後、対話状態管理部２２は、ステップＳ２０７に処理を進める。
【0052】
（ステップＳ２０３）対話状態管理部２２は、対話装置１（システム）の発話状況からシステムが発話中かを判別する。対話状態管理部２２は、発話中の場合（ステップＳ２０３；Ｙｅｓ）、ステップＳ２０３１の処理に進める。対話状態管理部２２は、発話中でなければ（ステップＳ２０３；ＮＯ）、ステップＳ２０４の処理に進める。
【0053】
（ステップＳ２０３１）対話状態管理部２２は、対話状態に「システム発話中」を示す情報を設定して、対話状態記憶部４に記憶させる。続けて、対話状態管理部２２は、タイマー２２３に対してタイムカウントを止めてリセットを行う。処理後、対話状態管理部２２は、ステップＳ２０７の処理に進める。
【0054】
（ステップＳ２０４）対話状態管理部２２は、システムが発話中ではないが、対話状態に「システム発話中」が設定されている場合（ステップＳ２０４；ＹＥＳ）、ステップＳ２０４１の処理に進める。対話状態管理部２２は、「システム発話中」が設定されていない場合（ステップＳ２０４；ＮＯ）、ステップＳ２０５の処理に進める。
【0055】
（ステップＳ２０４１）対話状態管理部２２は、システムの発話が終了したとみなし、設定されている「システム発話中」に替えて「システム発話終了」を設定する。続けて、対話状態管理部２２は、実行した行動種類に応じてタイムアウト時間を設定して、タイムカウントを開始する。処理後、対話状態管理部２２は、ステップＳ２０４２の処理に進める。
【0056】
（ステップＳ２０４２）対話状態管理部２２は、対話状態に実行を終了した動作の「効果」を設定して、対話状態記憶部４に記憶させる。処理後、対話状態管理部２２は、ステップＳ２０７の処理に進める。
【0057】
（ステップＳ２０５）対話状態管理部２２は、対話状態に「タイムアウト」が設定されている場合（ステップＳ２０５；ＹＥＳ）、ステップＳ２０７の処理に進める。対話状態管理部２２は、対話状態に「タイムアウト」が設定されていない場合（ステップＳ２０５；ＮＯ）、ステップＳ２０６の処理に進める。
【0058】
（ステップＳ２０６）対話状態管理部２２は、タイマー２２３のカウント値が、設定されたタイムアウト時間を超えてタイムアウトしたか否か判別する。対話状態管理部２２は、タイムアウトしたと判別した場合（ステップＳ２０６；ＹＥＳ）、ステップＳ２０６１の処理に進める。対話状態管理部２２は、タイムアウトしていないと判別した場合（ステップＳ２０６；ＮＯ）、ステップＳ２０７の処理に進める。
【0059】
（ステップＳ２０６１）対話状態管理部２２は、対話状態にタイムアウトしたことを示す情報を設定して、対話状態記憶部４に記憶させる。処理後、対話状態管理部２２は、ステップＳ２０７の処理に進める。
【0060】
（ステップＳ２０７）対話状態管理部２２は、対話理解部３１から理解情報を取得したか否かを判別する。対話状態管理部２２は、理解情報を取得したと判別した場合（ステップＳ２０７；ＹＥＳ）、ステップＳ２０８の処理に進める。対話状態管理部２２は、理解情報を取得していないと判別した場合（ステップＳ２０７；ＮＯ）、ステップＳ２０８をスキップして、ステップＳ３（図３）の処理に進める。
【0061】
（ステップＳ２０８）対話状態管理部２２は、対話状態に理解情報を取得したことを示す情報と理解情報を設定する。続けて、対話状態管理部２２は、対話状態に理解情報を取得したことを示す情報と理解情報を対話状態記憶部４に記憶させる。処理後、対話状態管理部２２は、ステップＳ３の処理に進める。
【0062】
なお、対話状態管理２２は、ステップＳ２０４２で設定した効果が「対話終了」の場合（ステップＳ３；ＹＥＳ）、処理フローを終了する。対話状態管理２２は、それ以外の場合（ステップＳ３；ＮＯ）、対話決定処理のステップＳ４に処理を進める。
【0063】
【0064】
（ステップＳ３０１）対話決定部２３は、プランが無い、または対話状態がプラン済みのプラン前提条件と一致していないか否かを判別する。対話決定部２３は、プランが無い、または対話状態がプラン済みのプラン前提条件と一致していないと判別した場合（ステップＳ３０１；ＹＥＳ）、ステップＳ３０２の処理に進める。対話決定部２３は、プランが有る、または対話状態がプラン済みのプラン前提条件と一致していると判別した場合（ステップＳ３０１；ＮＯ）、ステップＳ３０３の処理に進める。
【0065】
（ステップＳ３０２）対話決定部２３は、発話文のプランニングを行う。
【0066】
（ステップＳ３０３）対話決定部２３は、発話文の生成が必要であるか否かを判別する。対話決定部２３は、発話文の生成が必要であると判別した場合（ステップＳ３０３；ＹＥＳ）、ステップＳ３０４の処理に進める。対話決定部２３は、発話文の生成が必要ではないと判別した場合（ステップＳ３０３；ＮＯ）、対話決定処理を終了したことを発話出力部２４に出力する。具体的には、対話決定部２３は、ステップＳ３０１でＮＯの場合に発話文の生成が不用であると判別して処理を進める。または、対話決定部２３は、ステップＳ３０１でＹＥＳの場合に発話文の生成が必要であると判別してＳ３０４の処理に進める。
【0067】
（ステップＳ３０４）対話決定部２３は、発話生成指示を発話生成部３３に出力する。
【0068】
【0069】
（ステップＳ４０１）発話出力部２４は、対話決定部２３が出力する情報に基づいて、タイムアウトが検出され、かつ未実行の対話装置の発話が有るか否かを判別する。発話出力部２４は、タイムアウトが検出され、かつ未実行の対話装置の発話が有ると判別した場合（ステップＳ４０１；ＹＥＳ）、ステップＳ４０３の処理に進める。発話出力部２４は、タイムアウトが検出されず、または未実行の対話装置の発話が無いと判別した場合（ステップＳ４０１；ＮＯ）、ステップＳ４０２をスキップし、再び発話取得ステップＳ１の処理に戻す。
【0070】
（ステップＳ４０２）発話出力部２４は、発話文に基づいて発話を発することで行動を実行する。
【0071】
【0072】
（対話例）
ここで、利用者と対話装置１との対話例を説明する。
図８、図９は、本実施形態に係る利用者と対話装置１との対話例を示す図である。なお、図８、図９の対話例は、まず対話装置１が発話し、利用者の発話を促して対話を行った例である。発話Ｈ１１～Ｈ２３が利用者の発話であり、Ｒ１１～Ｒ３９が対話装置１の発話である。
ここで、利用者と対話装置１との対話例を説明する。
図８、図９は、本実施形態に係る利用者と対話装置１との対話例を示す図である。なお、図８、図９の対話例は、まず対話装置１が発話し、利用者の発話を促して対話を行った例である。発話Ｈ１１～Ｈ２３が利用者の発話であり、Ｒ１１～Ｒ３９が対話装置１の発話である。
【0073】
図８、図９の発話例のうち、発話Ｒ１１～Ｒ１３、発話Ｈ１１～Ｈ１２を例に対話を説明する。
対話装置１の発話Ｒ１１に対して、利用者が発話Ｈ１１を発話する。
対話装置１は、発話Ｈ１１を取得して解析した結果に基づいて対話をプランニングして、発話Ｒ１２を発する。発話１２に対して、利用者からの発話が所定時間内に得られなかったため、対話装置１は、さらに発話Ｒ１３を発する。これに対して、所定時間内に、利用者から発話Ｈ１２が得られた。
また、図８、図９の例では、対話装置１の発話Ｒ３６により、利用者の発話Ｈ２３が得られた。
対話装置１の発話Ｒ１１に対して、利用者が発話Ｈ１１を発話する。
対話装置１は、発話Ｈ１１を取得して解析した結果に基づいて対話をプランニングして、発話Ｒ１２を発する。発話１２に対して、利用者からの発話が所定時間内に得られなかったため、対話装置１は、さらに発話Ｒ１３を発する。これに対して、所定時間内に、利用者から発話Ｈ１２が得られた。
また、図８、図９の例では、対話装置１の発話Ｒ３６により、利用者の発話Ｈ２３が得られた。
【0074】
このように、対話装置１は、利用者の発話を促し、異なる対話テーマでも相手に合わせる対話を進めることができ、対話状態によって自然な会話を継続することができる。さらに、対話装置１は、例えば発話Ｒ３２、Ｒ３６のような発話を行うことで、利用者を結論に誘導できる。なお、対話装置１は、利用者の発話をポジティブな発話にするように誘導するような発話をすることで、対話を継続させていく。
【0075】
［対話データと対話計画候補例とプランニング例］
次に、対話データと行動遷移候補例とプランニング例を説明する。
図１０は、本実施形態に係る対話データの構成例を示す図である。対話データはテンプレートであり、例えば、「行動」と「前提条件」と「効果」を含んで構成されている。
次に、対話データと行動遷移候補例とプランニング例を説明する。
図１０は、本実施形態に係る対話データの構成例を示す図である。対話データはテンプレートであり、例えば、「行動」と「前提条件」と「効果」を含んで構成されている。
【0076】
「行動」は、実際の対話テキストフォームであり、利用者の発話の中から例えば「テーマ」に対応する言葉を引用した発話文のテキストである。
【0077】
「前提条件」は、その対話テキストを使うための条件である。「前提条件」は、例えば「履歴未」と「履歴済」と「データ」と「理解」を含んで構成されている。
「履歴未」テキストで示された行動の履歴がなく、未実行であること、「履歴済」は、テキストで示された行動の履歴が有り、実行済の状態であることを示す。
「データ」は、例えばスコアである。
「理解」は、例えばユーザの発話がポジティブであるかネガティブであるかといった理解結果である。
「履歴未」テキストで示された行動の履歴がなく、未実行であること、「履歴済」は、テキストで示された行動の履歴が有り、実行済の状態であることを示す。
「データ」は、例えばスコアである。
「理解」は、例えばユーザの発話がポジティブであるかネガティブであるかといった理解結果である。
【0078】
「効果」は、発話による利用者や対話状態に対する効果である。効果は、例えば、「履歴」と「目的」と「期待」を含んで構成されている。
「履歴」は、例えば実行した発話の内容等を記録しているデータである。
「目的」は、行動の種類とこの発話によって利用者から引き出したい内容であり、発話と関連する項目である。
第１の「期待」は、この発話の後に期待される対話状態であり、理解結果に基づく加算スコアを含むことがある。
第２の「期待」は、イベント、イベント内容に基づく加算スコアである。
「履歴」は、例えば実行した発話の内容等を記録しているデータである。
「目的」は、行動の種類とこの発話によって利用者から引き出したい内容であり、発話と関連する項目である。
第１の「期待」は、この発話の後に期待される対話状態であり、理解結果に基づく加算スコアを含むことがある。
第２の「期待」は、イベント、イベント内容に基づく加算スコアである。
【0079】
次に、対話計画候補例を説明する。
図１１は、本実施形態に係る対話計画候補例を示す図である。
現在の対話状態ｇ１１をＡとする。現在の対話状態ｇ１１からの遷移可能な対話状態は、行動１（ｇ１２）と行動４（ｇ１３）であり、前提条件である前の対話状態がＡである。行動１の効果がＢであり、行動２の効果がＥであり、のちに示される計算法によるスコアがＥの方がＢより大きいとする。図１１において、それぞれの行動のスコアから計算されるスコアの和が高い対話計画は、行動１（ｇ１２）から行動２（ｇ１４）、行動２（ｇ１４）から行動３（ｇ１７）であるとする。
図１１は、本実施形態に係る対話計画候補例を示す図である。
現在の対話状態ｇ１１をＡとする。現在の対話状態ｇ１１からの遷移可能な対話状態は、行動１（ｇ１２）と行動４（ｇ１３）であり、前提条件である前の対話状態がＡである。行動１の効果がＢであり、行動２の効果がＥであり、のちに示される計算法によるスコアがＥの方がＢより大きいとする。図１１において、それぞれの行動のスコアから計算されるスコアの和が高い対話計画は、行動１（ｇ１２）から行動２（ｇ１４）、行動２（ｇ１４）から行動３（ｇ１７）であるとする。
【0080】
次に、図１０と図１１を参照しつつ、プランニング方法例を説明する。
図１０のように各対話データには、のちに示される書式にて記述される通り、獲得できる情報や効果によるスコアが含まれている。
対話装置１は、対話状態により実行可能な対話データを対話ＤＢ５から検索して列挙する。次に、対話装置１は、複数の列挙された対話データの効果を対話状態に反映することで、さらに次に実行可能な対話データを対話ＤＢ５から検索して列挙するという操作を繰り返すことで、図１１のような実行可能な対話データ列の集合である対話計画候補を作成する。次に対話装置１は、対話計画候補に含まれる各対話データ列の行動のスコアの和である合計スコアが高い対話計画の最初の行動を選択する。なお、リアルタイムで処理するために、プランニングの繰り返しの回数を制限してもよい。対話装置１は、例えば、対話計画を作成する際に対話計画に含む対話データの数を所定数以内とするようにしてもよく、対話計画を作成する際に対話計画を作成する処理時間が所定時間内となるよう繰り返しの回数を限定するようにしてもよい。また、対話装置１は、予測どおりに対話が進まない可能性を考慮して、繰り返し後の対話データのスコアに例えば０．５を掛けて計算するようにしてもよい。なお、掛ける定数は０．５に限らず１未満であればよい。
図１０のように各対話データには、のちに示される書式にて記述される通り、獲得できる情報や効果によるスコアが含まれている。
対話装置１は、対話状態により実行可能な対話データを対話ＤＢ５から検索して列挙する。次に、対話装置１は、複数の列挙された対話データの効果を対話状態に反映することで、さらに次に実行可能な対話データを対話ＤＢ５から検索して列挙するという操作を繰り返すことで、図１１のような実行可能な対話データ列の集合である対話計画候補を作成する。次に対話装置１は、対話計画候補に含まれる各対話データ列の行動のスコアの和である合計スコアが高い対話計画の最初の行動を選択する。なお、リアルタイムで処理するために、プランニングの繰り返しの回数を制限してもよい。対話装置１は、例えば、対話計画を作成する際に対話計画に含む対話データの数を所定数以内とするようにしてもよく、対話計画を作成する際に対話計画を作成する処理時間が所定時間内となるよう繰り返しの回数を限定するようにしてもよい。また、対話装置１は、予測どおりに対話が進まない可能性を考慮して、繰り返し後の対話データのスコアに例えば０．５を掛けて計算するようにしてもよい。なお、掛ける定数は０．５に限らず１未満であればよい。
【0081】
なお、図１０において、「効果」の「目的：Ａ：Ｂ」は、項目Ａが対話装置１の行動の種類を示し、項目Ｂがこの発話によって利用者から引き出したい内容を示している。
また、「効果」の「期待：理解：肯定：１０．０」の記述において「期待：」に続いて示されているものは、システムが期待する、この行動の直後の対話状態が記述と一致した場合にスコアの和を上書きする値である。本実施形態では、この行動によって、直後の理解結果が「肯定」であった場合、スコアの和を１０．０に設定するという効果を記述している。
また、「効果」の「期待：理解：肯定：１０．０」の記述において「期待：」に続いて示されているものは、システムが期待する、この行動の直後の対話状態が記述と一致した場合にスコアの和を上書きする値である。本実施形態では、この行動によって、直後の理解結果が「肯定」であった場合、スコアの和を１０．０に設定するという効果を記述している。
【0082】
このように、対話決定部２３は、対話理解部３１の理解情報を用いて対話状態管理部２２によって更新された対話状態に基づいて、予め準備された対話データ群から１つ以上の対話データを選択して対話計画を作成する。なお、予め準備された対話データ群は、テンプレートであり、対話ＤＢ５に格納されている。また、対話決定部２３は、対話状態と合致する前提条件を備えた対話データと、その対話データの効果を対話状態に反映することで、さらに次に実行可能な対話データを対話ＤＢ５から検索して列挙するという操作を繰り返すことによる１つ以上の対話計画候補の中から、対話データのスコアの和が最も大きいものを対話計画として選択する。
図１１の例では、行動１の効果Ｂに関するスコアよりも行動２の効果Ｅに関するスコアの方が大きい場合でも、将来的の予測に基づいてスコアの和が高い行動１から行動２、行動２から行動３の対話計画を選択する。
そして、対話決定部２３は、図９のように、テーマに関する話を深堀りしてきて、対話の累積スコアが一定以上（例えば２．５以上）になった場合に、コミットメントの段階に進むための確認質問を行う。
図１１の例では、行動１の効果Ｂに関するスコアよりも行動２の効果Ｅに関するスコアの方が大きい場合でも、将来的の予測に基づいてスコアの和が高い行動１から行動２、行動２から行動３の対話計画を選択する。
そして、対話決定部２３は、図９のように、テーマに関する話を深堀りしてきて、対話の累積スコアが一定以上（例えば２．５以上）になった場合に、コミットメントの段階に進むための確認質問を行う。
【0083】
このように、対話装置１は、累積スコアが所定値以上になるまで、同じテーマに関する対話を継続することで、テーマに関する話の深堀りを行う。なお、深掘りに対する累積スコアの所定値２．５は一例であり、２．５未満であってもよく、２，５より大きくてもよい。
【0084】
［対話の継続の実現］
次に、利用者との継続した対話の処理方法例を、図１２と図１３を用いて説明する。
図１２は、本実施形態に係る行動計画候補から次の行動を抽出する手順例を示す図である。
現在の対話状態ｇ１０１の情報（履歴、理解、イベント、データ等）は、対話状態記憶部４に記憶されている。対話決定部２３は、予め準備された対話データ群から、現在の対話状態ｇ１０１の前提条件に合致する行動候補ｇ１０２とｇ１０３を抽出する。対話決定部２３は、対話状態それぞれに効果を反映する。
次に、利用者との継続した対話の処理方法例を、図１２と図１３を用いて説明する。
図１２は、本実施形態に係る行動計画候補から次の行動を抽出する手順例を示す図である。
現在の対話状態ｇ１０１の情報（履歴、理解、イベント、データ等）は、対話状態記憶部４に記憶されている。対話決定部２３は、予め準備された対話データ群から、現在の対話状態ｇ１０１の前提条件に合致する行動候補ｇ１０２とｇ１０３を抽出する。対話決定部２３は、対話状態それぞれに効果を反映する。
【0085】
対話状態ｇ１０１は、行動候補ｇ１０２により対話状態１（ｇ１０４）に遷移し、行動候補ｇ１０３により対話状態１’（ｇ１０５）に遷移する。
対話決定部２３は、予め準備された対話データ群から、対話状態１（ｇ１０４）の前提条件に合致する行動候補ｇ１０６とｇ１０７を抽出し、対話状態１’（ｇ１０５）の前提条件に合致する行動候補ｇ１０８を抽出する。対話決定部２３は、対話状態それぞれに効果を反映する。
対話決定部２３は、予め準備された対話データ群から、対話状態１（ｇ１０４）の前提条件に合致する行動候補ｇ１０６とｇ１０７を抽出し、対話状態１’（ｇ１０５）の前提条件に合致する行動候補ｇ１０８を抽出する。対話決定部２３は、対話状態それぞれに効果を反映する。
【0086】
図１３は、本実施形態に係る行動計画（プランニング）から行動を選択する方法例を説明するための図である。
対話決定部２３は、行動候補の動機づけに関わるスコアとして、例えば、テーマ（ｔｈｅｍｅ）、行動（ａｃｔｉｏｎ）、時間（ｔｉｍｅ）、その他の要素のスコアを算出する。また、対話決定部２３は、行動の種類に応じたスコアとして、例えば、返答、フィードバック、質問、対話終了のスコアを算出する。
そして、対話決定部２３は、プランニング結果の中でスコアの和が高い行動を選択する。
対話決定部２３は、行動候補の動機づけに関わるスコアとして、例えば、テーマ（ｔｈｅｍｅ）、行動（ａｃｔｉｏｎ）、時間（ｔｉｍｅ）、その他の要素のスコアを算出する。また、対話決定部２３は、行動の種類に応じたスコアとして、例えば、返答、フィードバック、質問、対話終了のスコアを算出する。
そして、対話決定部２３は、プランニング結果の中でスコアの和が高い行動を選択する。
【0087】
本実施形態では、対話状態の変化に基づいて再プランニングを実施することによって相手の発言に話を合わせ、またタイムアウトを対話状態として扱うことで、対話の間に応じたシステムからの発話を両立した。また、本実施形態では、動機づけに向けた効果や対話履歴を考慮した対話計画候補のスコアにより、将来の対話状態の変化を予測した上でより良い発話を選択するようにした。
【0088】
［スコアの算出例］
次に、スコアの算出例を、図１４～図１８を用いて説明する。
図１４は、対話例を示す図である。なお、図１４において、発話Ｒ１０１～Ｒ１０４は対話装置１の発話であり、発話Ｈ１０１～Ｈ１０３は利用者の発話である。
次に、スコアの算出例を、図１４～図１８を用いて説明する。
図１４は、対話例を示す図である。なお、図１４において、発話Ｒ１０１～Ｒ１０４は対話装置１の発話であり、発話Ｈ１０１～Ｈ１０３は利用者の発話である。
【0089】
図１５は、本実施形態に係る行動データのカテゴリの分類例を示す図である。
対話決定部２３は、行動のデータを分類して、スコア設定の際にこのカテゴリを利用している。カテゴリは、図１５のように、例えば、「テーマを設定する質問」、「対話の終了に向けた発話」、「テーマについて深堀りする質問、話題継続、引用あり」、「テーマについて深堀りする質問、話題継続、引用なし」、「コミットメントを引き出す質問、話題継続、引用あり」、「コミットメントを引き出す質問、話題継続、引用なし」、「挨拶」、「ユーザの発言への応答」、「ユーザからの質問への返答」、「テーマについて深堀りする質問、話題を転換、引用あり」、「テーマについて深堀りする質問、話題を転換、引用なし」、「コミットメントを引き出す質問話題を転換、引用あり」、「コミットメントを引き出す質問、話題を転換、引用なし」等である。
なお、図１５に示したカテゴリは一例であり、これに限らない。
対話決定部２３は、行動のデータを分類して、スコア設定の際にこのカテゴリを利用している。カテゴリは、図１５のように、例えば、「テーマを設定する質問」、「対話の終了に向けた発話」、「テーマについて深堀りする質問、話題継続、引用あり」、「テーマについて深堀りする質問、話題継続、引用なし」、「コミットメントを引き出す質問、話題継続、引用あり」、「コミットメントを引き出す質問、話題継続、引用なし」、「挨拶」、「ユーザの発言への応答」、「ユーザからの質問への返答」、「テーマについて深堀りする質問、話題を転換、引用あり」、「テーマについて深堀りする質問、話題を転換、引用なし」、「コミットメントを引き出す質問話題を転換、引用あり」、「コミットメントを引き出す質問、話題を転換、引用なし」等である。
なお、図１５に示したカテゴリは一例であり、これに限らない。
【0090】
図１６は、本実施形態に係るプランニングのためのスコアの例を示す図である。図１６のように、例えば、行動の種類が「（ユーザの質問への）返答」のスコアは「＋１．０」であり、「（ユーザの発言への）フィードバックや反応」のスコアは「＋０．０２」であり、「対話終了」のスコアは「－０．５」であり、「その他」のスコアは「＋０．０１」である。なお、図１６に示した行動の種類やスコアは一例であり、これに限らない。
【0091】
図１７、図１８は、本実施形態に係る行動とスコアと行動の遷移例を示す図である。
なお、図１７、図１８の例は、対話装置１の発話Ｒ１０２の行動から、発話Ｒ１０３に至る行動候補とスコアの例である。
発話Ｒ１０２の行動候補ｇ２０１の種類は「質問」であり、図１６の「その他」にあたるため、スコアは０．０１である。この例は「最新の理解結果」が前提条件の「ｓｅｎｔｉｍｅｎｔ（感情）ｐｏｓｉｔｉｖｅ」と一致していて、スコアは「最新の理解結果」として０．０３、「ｓｅｎｔｉｍｅｎｔの一致」で０．０５、「感情（ｓｅｎｔｉｍｅｎｔ）」がｎｅｇａｔｉｖｅではないので話題を継続するので０．０１となっていた場合の結果である。これにより、行動候補ｇ２０１のスコアの総和は０．１（＝０．０１＋０．０３＋０．０５＋０．０１）となる。
なお、図１７、図１８の例は、対話装置１の発話Ｒ１０２の行動から、発話Ｒ１０３に至る行動候補とスコアの例である。
発話Ｒ１０２の行動候補ｇ２０１の種類は「質問」であり、図１６の「その他」にあたるため、スコアは０．０１である。この例は「最新の理解結果」が前提条件の「ｓｅｎｔｉｍｅｎｔ（感情）ｐｏｓｉｔｉｖｅ」と一致していて、スコアは「最新の理解結果」として０．０３、「ｓｅｎｔｉｍｅｎｔの一致」で０．０５、「感情（ｓｅｎｔｉｍｅｎｔ）」がｎｅｇａｔｉｖｅではないので話題を継続するので０．０１となっていた場合の結果である。これにより、行動候補ｇ２０１のスコアの総和は０．１（＝０．０１＋０．０３＋０．０５＋０．０１）となる。
【0092】
行動候補ｇ２０１から遷移可能な行動の候補は、第１の行動候補ｇ２０２と第２の行動候補ｇ２０３である。
以下、スコアの値は計算方法を示すために例として設定したものである。
第１の行動候補ｇ２０２の行動の種類は「質問」であり、スコアは０．０１である。現在状況と行動のカテゴリによると「タイムアウトが連続した後、これまで話題を変えていないときに話題を変える行動」でありスコアは０．２２である。なお、プランニング２階層目であるため、スコアの和に１／２を乗じる。これにより、第１の行動候補ｇ２０２のスコアの総和は０．１１５｛＝（０．０１＋０．２２）×（１／２）｝である。この結果、行動ｇ２０１から第１の行動候補ｇ２０２の行動計画候補のスコアの合計は０．２１５（＝０．１＋０．１１５）となる。なお、タイムアウトが連続していなくても、話題を変える行動を行った場合にもスコアを加算するようにしてもよい。本実施形態によれば、このようなスコアの付与によって、利用者からの発話が得られなかった場合に話題を変えて発話を継続することができる。
以下、スコアの値は計算方法を示すために例として設定したものである。
第１の行動候補ｇ２０２の行動の種類は「質問」であり、スコアは０．０１である。現在状況と行動のカテゴリによると「タイムアウトが連続した後、これまで話題を変えていないときに話題を変える行動」でありスコアは０．２２である。なお、プランニング２階層目であるため、スコアの和に１／２を乗じる。これにより、第１の行動候補ｇ２０２のスコアの総和は０．１１５｛＝（０．０１＋０．２２）×（１／２）｝である。この結果、行動ｇ２０１から第１の行動候補ｇ２０２の行動計画候補のスコアの合計は０．２１５（＝０．１＋０．１１５）となる。なお、タイムアウトが連続していなくても、話題を変える行動を行った場合にもスコアを加算するようにしてもよい。本実施形態によれば、このようなスコアの付与によって、利用者からの発話が得られなかった場合に話題を変えて発話を継続することができる。
【0093】
第２の行動候補ｇ２０３の行動の種類は「質問」であり、スコアは０．０１である。さらに「タイムアウトが連続した後に話題を変える行動」でありスコアは０．２である。また、プランニング２階層目であるため、スコアの和に１／２を乗じる。これにより、第２の行動候補ｇ２０３のスコアの総和は０．１０５｛＝（０．０１＋０．２）×（１／２）｝である。この結果、行動ｇ２０１から第２の行動候補ｇ２０３の行動計画候補のスコアの合計は０．２０５（＝０．０１＋０．１１５）となる。
【0094】
行動候補ｇ２０４の種類は「質問」であり、スコアは０．０１である。
行動候補ｇ２０４から遷移可能な行動の候補は、行動候補ｇ２０５である。
行動候補ｇ２０５の行動の種類は「質問」であり、スコアは０．０１である。現在の状況と行動のカテゴリは「タイムアウトが連続した後に話題を変える行動」でありスコアは０．２である。なお、プランニング２階層目であるため、スコアの和に１／２を乗じる。これにより、行動候補ｇ２０５のスコアの総和は０．１０５｛＝（０．０１＋０．２）×（１／２）｝である。この結果、行動候補ｇ２０４から行動候補ｇ２０５の行動計画候補のスコアの合計は０．１１５（＝０．０１＋０．１０５）となる。
行動候補ｇ２０４から遷移可能な行動の候補は、行動候補ｇ２０５である。
行動候補ｇ２０５の行動の種類は「質問」であり、スコアは０．０１である。現在の状況と行動のカテゴリは「タイムアウトが連続した後に話題を変える行動」でありスコアは０．２である。なお、プランニング２階層目であるため、スコアの和に１／２を乗じる。これにより、行動候補ｇ２０５のスコアの総和は０．１０５｛＝（０．０１＋０．２）×（１／２）｝である。この結果、行動候補ｇ２０４から行動候補ｇ２０５の行動計画候補のスコアの合計は０．１１５（＝０．０１＋０．１０５）となる。
【0095】
このように図１７の例では行動候補ｇ２０１から行動候補ｇ２０２、行動候補ｇ２０１から行動候補ｇ２０３、行動候補ｇ２０４から行動候補ｇ２０４といった３つの行動計画候補をプランニングする。それぞれの行動計画候補のスコアの合計を比較した結果、最も高い行動候補ｇ２０１から行動候補ｇ２０２の行動計画を選択し、まずは行動計画の最初の行動ｇ２０１を選択する。
【0096】
図１８に移って説明を続ける。
行動候補ｇ２１１の種類は「確認」であり、スコアは０．０１である。効果の「期待」に書かれたスコアは、行動後にスコアが１０．０になることを示しており、スコアは１０．０から現在のスコアを減算した値の９．６３である。これにより、行動ｇ２１１のスコアの総和は９．６４（＝０．０１＋９．６３）である。
行動候補ｇ２１１の種類は「確認」であり、スコアは０．０１である。効果の「期待」に書かれたスコアは、行動後にスコアが１０．０になることを示しており、スコアは１０．０から現在のスコアを減算した値の９．６３である。これにより、行動ｇ２１１のスコアの総和は９．６４（＝０．０１＋９．６３）である。
【0097】
行動候補ｇ２１１から遷移可能な行動の候補は、行動候補ｇ２１２である。
行動候補ｇ２１２の行動の種類は「質問」であり、スコアは０．０１である。行動は「ｃｏｍｍｉｔｍｅｎｔを得るための行動」でありスコアは０．１であり、「タイムアウトが連続した後、これまで話題を変えていないときに話題を変える行動」でありスコアは０．２２である。効果の「期待」に書かれたスコアは０．１である。なお、プランニング２階層目であるため、スコアの和に１／２を乗じる。これにより、行動候補ｇ２１２のスコアの総和は０．２１５｛＝（０．０１＋０．１＋０．２２＋０．１）×（１／２）｝である。この結果、行動候補ｇ２１１から行動候補ｇ２１２の行動計画候補のスコアの合計は９．８５５（＝９．６４＋０．２１５）となる。
行動候補ｇ２１２の行動の種類は「質問」であり、スコアは０．０１である。行動は「ｃｏｍｍｉｔｍｅｎｔを得るための行動」でありスコアは０．１であり、「タイムアウトが連続した後、これまで話題を変えていないときに話題を変える行動」でありスコアは０．２２である。効果の「期待」に書かれたスコアは０．１である。なお、プランニング２階層目であるため、スコアの和に１／２を乗じる。これにより、行動候補ｇ２１２のスコアの総和は０．２１５｛＝（０．０１＋０．１＋０．２２＋０．１）×（１／２）｝である。この結果、行動候補ｇ２１１から行動候補ｇ２１２の行動計画候補のスコアの合計は９．８５５（＝９．６４＋０．２１５）となる。
【0098】
行動候補ｇ２１３の種類は「質問」であり、スコアは０．０１である。
行動候補ｇ２１３から遷移可能な行動の候補は、行動候補ｇ２１４である。
行動候補ｇ２１２の行動の種類は「確認」であり、スコアは０．０１である。現在の状況と行動のカテゴリは「これまで話題を変えていないときに話題を変える行動」でありスコアは０．０２である。効果の「期待」に書かれたスコアは９．６３である。なお、プランニング２階層目であるため、スコアの和に１／２を乗じる。これにより、行動候補ｇ２１４のスコアの総和は４．８３｛＝（０．０１＋０．２＋９．６３）×（１／２）｝である。この結果、行動候補ｇ２１３から行動候補ｇ２１４のプランのスコアの合計は４．８４（＝０．０１＋４．８３）となる。
この結果、対話決定部２３は、行動候補ｇ２１１から行動候補ｇ２１２の行動計画と行動候補ｇ２１３から行動候補ｇ２１４の行動計画のスコアの合計を比較して、より高いｇ２１１からｇ２１２の行動計画を選択する。
行動候補ｇ２１３から遷移可能な行動の候補は、行動候補ｇ２１４である。
行動候補ｇ２１２の行動の種類は「確認」であり、スコアは０．０１である。現在の状況と行動のカテゴリは「これまで話題を変えていないときに話題を変える行動」でありスコアは０．０２である。効果の「期待」に書かれたスコアは９．６３である。なお、プランニング２階層目であるため、スコアの和に１／２を乗じる。これにより、行動候補ｇ２１４のスコアの総和は４．８３｛＝（０．０１＋０．２＋９．６３）×（１／２）｝である。この結果、行動候補ｇ２１３から行動候補ｇ２１４のプランのスコアの合計は４．８４（＝０．０１＋４．８３）となる。
この結果、対話決定部２３は、行動候補ｇ２１１から行動候補ｇ２１２の行動計画と行動候補ｇ２１３から行動候補ｇ２１４の行動計画のスコアの合計を比較して、より高いｇ２１１からｇ２１２の行動計画を選択する。
【0099】
【0100】
Ｉ．対話のステップを進めるために必要なシステム発話に特別なスコアを設定
例えば、対話に段階がある場合、段階を進めるために重要なやりとりに特別なスコアを設定。
例えば、対話に段階がある場合、段階を進めるために重要なやりとりに特別なスコアを設定。
【0101】
ＩＩ．対話装置１の行動の種類ごとに設定したスコア
例えば、対話装置１が行わなければいけない行動や、行った方がより効果が高い行動に高いスコアを設定（例：ユーザからの質問には何らかの返答をしなければならない）。
例えば、対話装置１が行わなければいけない行動や、行った方がより効果が高い行動に高いスコアを設定（例：ユーザからの質問には何らかの返答をしなければならない）。
【0102】
ＩＩＩ．対話装置１の行動の目的、つまり発話によって引き出したい内容に応じたスコア
例えば、今回の対話のゴールがｃｏｍｍｉｔｍｅｎｔを引き出すことなので、そのための質問に高いスコアを設定。
例えば、今回の対話のゴールがｃｏｍｍｉｔｍｅｎｔを引き出すことなので、そのための質問に高いスコアを設定。
【0103】
ＩＶ．複数の理解結果があるとき、より後ろの（新しい）理解結果が一致したシステム発話のスコア
例えば、利用者が一つの発言の中で複数の内容を話した時、より後ろに（新しく）出現した理解結果と前提条件が合致する行動のスコアを高く設定。
例えば、利用者が一つの発言の中で複数の内容を話した時、より後ろに（新しく）出現した理解結果と前提条件が合致する行動のスコアを高く設定。
【0104】
Ｖ．対話装置１の発言に設定された前提条件に応じたスコア
例えば、前提条件に「履歴」が設定されている場合、重要な話題の継続があると考えられるので、スコアを高く設定。前提条件に「感情理解結果」を設定してある場合、より共感的な行動であると考えられるのでスコアを高く設定。
例えば、前提条件に「履歴」が設定されている場合、重要な話題の継続があると考えられるので、スコアを高く設定。前提条件に「感情理解結果」を設定してある場合、より共感的な行動であると考えられるのでスコアを高く設定。
【0105】
ＶＩ．対話装置１の発言のカテゴリ（引用の有／無、話題継続／話題転換）に応じたスコア
例えば、感動詞やｆｉｌｌｅｒといった引用が不適切なものを引用しないようスコアを低く設定（例：ありがとう、えー）。利用者の発言がネガティブではない場合は話題を継続する発言に高いスコアを設定。利用者からの発言が例えば２回連続で得られない場合、話題を変える発言に高いスコアを設定。５回以上話題が継続しているとき、テーマから話題が逸脱している場合もあるので、ユーザの発言がポジティブではないタイミングで話題を変える（改めてテーマに立ち戻る）発言に高いスコアを設定。あらかじめ設定されたキーワード（ありがとう、もう一回言って等）が検出されたとき、引用するのは不適切だと考えられるので引用をしないようにスコアを低く設定。
例えば、感動詞やｆｉｌｌｅｒといった引用が不適切なものを引用しないようスコアを低く設定（例：ありがとう、えー）。利用者の発言がネガティブではない場合は話題を継続する発言に高いスコアを設定。利用者からの発言が例えば２回連続で得られない場合、話題を変える発言に高いスコアを設定。５回以上話題が継続しているとき、テーマから話題が逸脱している場合もあるので、ユーザの発言がポジティブではないタイミングで話題を変える（改めてテーマに立ち戻る）発言に高いスコアを設定。あらかじめ設定されたキーワード（ありがとう、もう一回言って等）が検出されたとき、引用するのは不適切だと考えられるので引用をしないようにスコアを低く設定。
【0106】
ＶＩＩ．これまでに実行した行動との合致に応じたスコア
例えば、同じ発言を連続して行わないようにスコアを低く設定。
例えば、同じ発言を連続して行わないようにスコアを低く設定。
【0107】
ＶＩＩＩ．対話の累計スコアと、発言のカテゴリに応じたスコア
例えば、対話の累計スコアが低い最初の段階において、システムがユーザの発言をどのくらい認識・理解しているかを示すためにユーザ発言を引用する発言のスコアを高く設定。
例えば、対話の累計スコアが低い最初の段階において、システムがユーザの発言をどのくらい認識・理解しているかを示すためにユーザ発言を引用する発言のスコアを高く設定。
【0108】
ＩＸ．これまでに実行した行動の目的との合致に応じたスコア
例えば、「理由を聞く質問」「詳細化する質問」といった質問の「目的」が直前の発話と同じにならないように、同じ目的のものはスコアを低く設定。
例えば、「理由を聞く質問」「詳細化する質問」といった質問の「目的」が直前の発話と同じにならないように、同じ目的のものはスコアを低く設定。
【0109】
なお、与えるスコアの値は、例えば１０以下であり、負の値であってもよい。対話決定部２３は、例えば、キーワードが検出されているとき、利用者の発言を引用する発話に対してスコアを下げる（負のスコアを与える）ようにしてもよい。
【0110】
以上のように、本実施形態では、対話状態管理部２２において、そのときの対話状態に基づく対話候補データとそれに続く予測される対話状態に基づいた対話候補データにより対話計画候補を作成し、その対話計画候補から対話データに設定されたスコアの和が最も大きいものを選択して対話を行うようにした。なお、スコアは、対話データの発話種類と発話により得られるユーザ情報や履歴などの効果情報によって設定されており、対話の流れや主題の結論への誘導を考慮して設定される。
これにより、本実施形態の対話装置１によれば、対話状態によって自然な会話を継続し、利用者を結論に誘導することができる。
これにより、本実施形態の対話装置１によれば、対話状態によって自然な会話を継続し、利用者を結論に誘導することができる。
【0111】
なお、上述した例では、利用者が音声で発話する例を説明したが、取得される発話は音声信号に限らない。例えば、発話取得部２１は、キーボードやタブレットなどの入力文字や手書き文字の取得部を備えていてもよい。この場合、発話取得部２１は、取得した発話が手書き文字の場合に周知の手法の画像認識等によって手書き文字を認識するようにしてもよい。また、このような場合。発話出力部２４は、発話を音声信号および画像出力のうちの少なくとも１つを出力するようにしてもよい。
【0112】
なお、本発明における対話装置１の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより対話装置１が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0113】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0114】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【0115】
１…対話装置、２…対話制御部、３…理解生成部、４…対話状態記憶部、５…対話ＤＢ、２１…発話取得部、２２…対話状態管理部、２３…対話決定部、２４…発話出力部、３１…対話理解部、３２…理解情報記憶部、３３…発話文生成部、２１１…収音部、２１２…音声認識部、２１３…タイマー、２４１…音声変換部、２４２…出力部、３１１…テキスト化部、３１２…係り受け解析部、３１３…理解部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】