特開 2023-32038 制御装置、制御方法、提示装置、提示方法、プログラム及び通信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023032038

(43)【公開日】2023-03-09

(54)【発明の名称】制御装置、制御方法、提示装置、提示方法、プログラム及び通信システム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20230302BHJP

【ＦＩ】

G06F16/90 100

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2021137903

(22)【出願日】2021-08-26

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】深澤 伸一

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175EA01

(57)【要約】

【課題】対話ＡＩと人間が協調してユーザーへの対話応答を行うシステムにおいて、人間側の対話支援行動の負荷を分散するシステムを提供することを目的とする。
【解決手段】第１のユーザーの対話支援中の第１のオペレーターと対応付けられた第２のユーザーのセンサデータに基づいて、前記第２のユーザーの反応推定情報を生成する反応推定部と、前記第２のユーザーの反応推定情報に基づいて、前記第２のユーザーに優先順位を付する優先付け処理部と、前記第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーと前記第１のオペレーターとは異なる第２のオペレーターとを対応付ける対応付け処理部と、を備える、制御装置が提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１のユーザーの対話支援中の第１のオペレーターと対応付けられた第２のユーザーのセンサデータに基づいて、前記第２のユーザーの反応推定情報を生成する反応推定部と、
前記第２のユーザーの反応推定情報に基づいて、前記第２のユーザーに優先順位を付する優先付け処理部と、
前記第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーと前記第１のオペレーターとは異なる第２のオペレーターとを対応付ける対応付け処理部と、
を備える、制御装置。

【請求項2】

前記制御装置は、対話支援中ではないオペレーターを前記第２のオペレーターとして選定する選定部を備える、
請求項１に記載の制御装置。

【請求項3】

前記選定部は、担当中のユーザーの人数がより少ないオペレーターを前記第２のオペレーターとして選定する、
請求項２に記載の制御装置。

【請求項4】

前記選定部は、直前に行った対話支援からの経過時間がより長いオペレーターを前記第２のオペレーターとして選定する、
請求項２に記載の制御装置。

【請求項5】

前記選定部は、直前に転移を受けて行った対話支援からの経過時間がより長いオペレーターを前記第２のオペレーターとして選定する、
請求項２に記載の制御装置。

【請求項6】

前記選定部は、一定期間内における対話支援の累積時間がより短いオペレーターを前記第２のオペレーターとして選定する、
請求項２に記載の制御装置。

【請求項7】

前記選定部は、担当中のユーザーによるユーザー側提示装置の使用開始からの経過時間をまとめた代表値がより長いオペレーターを前記第２のオペレーターとして選定する、
請求項２に記載の制御装置。

【請求項8】

前記選定部は、担当中のユーザーの優先順位の代表値がより低いオペレーターを前記第２のオペレーターとして選定する、
請求項２に記載の制御装置。

【請求項9】

前記選定部は、担当中のユーザーのＡＩエージェントとの対話のターン数をまとめた代表値がより多いオペレーターを前記第２のオペレーターとして選定する、
請求項２に記載の制御装置。

【請求項10】

前記選定部は、担当中のユーザーのＡＩエージェントとの対話のターン間の間隔時間長をまとめた代表値がより少ないオペレーターを選定する、
請求項２に記載の制御装置。

【請求項11】

前記間隔時間長は、前記ユーザーの対話のターンと前記ＡＩエージェントの対話のターンとの間隔の時間長である、
請求項１０に記載の制御装置。

【請求項12】

前記間隔時間長は、前記ＡＩエージェントの対話のターンに対する前記ユーザーの応答の対話のターン間の間隔の時間長である、
請求項１０に記載の制御装置。

【請求項13】

前記選定部は、音声データから発話音声のパワー情報をもとに無音区間を抽出し、所定の時間より長い無音によって区切られた一連の音声区間を用いて前記対話のターンを識別する、
請求項９～１２のいずれか一項に記載の制御装置。

【請求項14】

前記選定部は、オペレーターのセンサデータから生成されたオペレーター反応推定情報に基づいて、前記第２のオペレーターを選定する、
請求項２に記載の制御装置。

【請求項15】

第１のユーザーの対話支援中の第１のオペレーターと対応付けられた第２のユーザーのセンサデータに基づいて、前記第２のユーザーの反応推定情報を生成することと、
前記第２のユーザーの反応推定情報に基づいて、前記第２のユーザーに優先順位を付することと、
前記第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーと前記第１のオペレーターとは異なる第２のオペレーターとを対応付けることと、
を備える、制御方法。

【請求項16】

コンピュータを、
第１のユーザーの対話支援中の第１のオペレーターと対応付けられた第２のユーザーのセンサデータに基づいて、前記第２のユーザーの反応推定情報を生成する反応推定部と、
前記第２のユーザーの反応推定情報に基づいて、前記第２のユーザーに優先順位を付する優先付け処理部と、
前記第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーと前記第１のオペレーターとは異なる第２のオペレーターとを対応付ける対応付け処理部と、
を備える制御装置として機能させるプログラム。

【請求項17】

第１のユーザーの対話支援中の第１のオペレーターとは異なる第２のオペレーターの提示装置であって、
前記第１のオペレーターと対応付けられた第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーに応じた提示を制御する制御部を備える、
提示装置。

【請求項18】

第１のユーザーの対話支援中の第１のオペレーターとは異なる第２のオペレーターの提示装置による提示方法であって、
前記第１のオペレーターと対応付けられた第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーに応じた提示を制御することを備える、
提示方法。

【請求項19】

コンピュータを、
第１のユーザーの対話支援中の第１のオペレーターとは異なる第２のオペレーターの提示装置であって、
前記第１のオペレーターと対応付けられた第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーに応じた提示を制御する制御部を備える、
提示装置として機能させるプログラム。

【請求項20】

第１のユーザーの対話支援中の第１のオペレーターの提示装置と、前記第１のオペレーターとは異なる第２のオペレーターの提示装置と、制御装置とを備える、通信システムであって、
前記制御装置は、
前記第１のオペレーターと対応付けられた第２のユーザーのセンサデータに基づいて、前記第２のユーザーの反応推定情報を生成する反応推定部と、
前記第２のユーザーの反応推定情報に基づいて、前記第２のユーザーに優先順位を付する優先付け処理部と、
前記第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーと前記第２のオペレーターとを対応付ける対応付け処理部と、
を備え、
前記第１のオペレーターの提示装置は、
前記第２のユーザーに付された優先順位が前記所定の優先順位であることに基づいて、前記第２のユーザーに応じた提示を制御する制御部を備え、
前記第２のオペレーターの提示装置は、
前記第２のユーザーに付された優先順位が前記所定の優先順位であることに基づいて、前記第２のユーザーに応じた提示を制御する制御部を備える、
通信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、制御方法、提示装置、提示方法、プログラム及び通信システムに関する。

【背景技術】

【0002】

特許文献１には、ユーザーと対話するキャラクター・エージェントの情報提示を行うキャラクター表示部と、ユーザーからの音声入力から命令の意図を推定する対話理解部と、前記意図に従い電子機器を制御する電子機器制御部と、を備えた電子機器の制御装置が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平４－３３８８１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

対話ＡＩと人間が協調してユーザーへの対話応答を行うシステムにおいて、人間側の対話支援行動の負荷を分散するシステムを提供することを目的とする。

【課題を解決するための手段】

【0005】

上記問題を解決するために、本発明のある観点によれば、第１のユーザーの対話支援中の第１のオペレーターと対応付けられた第２のユーザーのセンサデータに基づいて、前記第２のユーザーの反応推定情報を生成する反応推定部と、前記第２のユーザーの反応推定情報に基づいて、前記第２のユーザーに優先順位を付する優先付け処理部と、前記第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーと前記第１のオペレーターとは異なる第２のオペレーターとを対応付ける対応付け処理部と、を備える、制御装置が提供される。

【0006】

前記制御装置は、対話支援中ではないオペレーターを前記第２のオペレーターとして選定する選定部を備えてもよい。

【0007】

前記選定部は、担当中のユーザーの人数がより少ないオペレーターを前記第２のオペレーターとして選定してもよい。

【0008】

前記選定部は、直前に行った対話支援からの経過時間がより長いオペレーターを前記第２のオペレーターとして選定してもよい。

【0009】

前記選定部は、直前に転移を受けて行った対話支援からの経過時間がより長いオペレーターを前記第２のオペレーターとして選定してもよい。

【0010】

前記選定部は、一定期間内における対話支援の累積時間がより短いオペレーターを前記第２のオペレーターとして選定してもよい。

【0011】

前記選定部は、担当中のユーザーによるユーザー側提示装置の使用開始からの経過時間をまとめた代表値がより長いオペレーターを前記第２のオペレーターとして選定してもよい。

【0012】

前記選定部は、担当中のユーザーの優先順位の代表値がより低いオペレーターを前記第２のオペレーターとして選定してもよい。

【0013】

前記選定部は、担当中のユーザーのＡＩエージェントとの対話のターン数をまとめた代表値がより多いオペレーターを前記第２のオペレーターとして選定してもよい。

【0014】

前記選定部は、担当中のユーザーのＡＩエージェントとの対話のターン間の間隔時間長をまとめた代表値がより少ないオペレーターを選定してもよい。

【0015】

前記間隔時間長は、前記ユーザーの対話のターンと前記ＡＩエージェントの対話のターンとの間隔の時間長であってもよい。

【0016】

前記間隔時間長は、前記ＡＩエージェントの対話のターンに対する前記ユーザーの応答の対話のターン間の間隔の時間長であってもよい。

【0017】

前記選定部は、音声データから発話音声のパワー情報をもとに無音区間を抽出し、所定の時間より長い無音によって区切られた一連の音声区間を用いて前記対話のターンを識別してもよい。

【0018】

前記選定部は、オペレーターのセンサデータから生成されたオペレーター反応推定情報に基づいて、前記第２のオペレーターを選定してもよい。

【0019】

また、本発明の他の観点によれば、第１のユーザーの対話支援中の第１のオペレーターと対応付けられた第２のユーザーのセンサデータに基づいて、前記第２のユーザーの反応推定情報を生成することと、前記第２のユーザーの反応推定情報に基づいて、前記第２のユーザーに優先順位を付することと、前記第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーと前記第１のオペレーターとは異なる第２のオペレーターとを対応付けることと、を備える、制御方法が提供される。

【0020】

また、本発明の他の観点によれば、コンピュータを、第１のユーザーの対話支援中の第１のオペレーターと対応付けられた第２のユーザーのセンサデータに基づいて、前記第２のユーザーの反応推定情報を生成する反応推定部と、前記第２のユーザーの反応推定情報に基づいて、前記第２のユーザーに優先順位を付する優先付け処理部と、前記第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーと前記第１のオペレーターとは異なる第２のオペレーターとを対応付ける対応付け処理部と、を備える制御装置として機能させるプログラムが提供される。

【0021】

また、本発明の他の観点によれば、第１のユーザーの対話支援中の第１のオペレーターとは異なる第２のオペレーターの提示装置であって、前記第１のオペレーターと対応付けられた第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーに応じた提示を制御する制御部を備える、提示装置が提供される。

【0022】

また、本発明の他の観点によれば、第１のユーザーの対話支援中の第１のオペレーターとは異なる第２のオペレーターの提示装置による提示方法であって、前記第１のオペレーターと対応付けられた第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーに応じた提示を制御することを備える、提示方法が提供される。

【0023】

また、本発明の他の観点によれば、コンピュータを、第１のユーザーの対話支援中の第１のオペレーターとは異なる第２のオペレーターの提示装置であって、前記第１のオペレーターと対応付けられた第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーに応じた提示を制御する制御部を備える、提示装置として機能させるプログラムが提供される。

【0024】

また、本発明の他の観点によれば、第１のユーザーの対話支援中の第１のオペレーターの提示装置と、前記第１のオペレーターとは異なる第２のオペレーターの提示装置と、制御装置とを備える、通信システムであって、前記制御装置は、前記第１のオペレーターと対応付けられた第２のユーザーのセンサデータに基づいて、前記第２のユーザーの反応推定情報を生成する反応推定部と、前記第２のユーザーの反応推定情報に基づいて、前記第２のユーザーに優先順位を付する優先付け処理部と、前記第２のユーザーに付された優先順位が所定の優先順位であることに基づいて、前記第２のユーザーと前記第２のオペレーターとを対応付ける対応付け処理部と、を備え、前記第１のオペレーターの提示装置は、前記第２のユーザーに付された優先順位が前記所定の優先順位であることに基づいて、前記第２のユーザーに応じた提示を制御する制御部を備え、前記第２のオペレーターの提示装置は、前記第２のユーザーに付された優先順位が前記所定の優先順位であることに基づいて、前記第２のユーザーに応じた提示を制御する制御部を備える、通信システムが提供される。

【発明の効果】

【0025】

以上説明したように本発明によれば、対話エンジンや推定エンジンの性能が低くても、ユーザーの反応に合わせた適切な対話応答や情報提供を行い得る対話システムにおいて、オペレーターの対話支援行動の負荷を分散できるシステムを実現する技術が提供される。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態に係る情報通信システムの概略的な構成の一例を示す説明図である。

【図2】同実施形態に係る対話制御サーバ、ユーザー側提示装置、オペレーター側提示装置のハードウェア構成の一例を示すブロック図である。

【図3】同実施形態に係るユーザー側提示装置の機能構成の一例を示すブロック図である。

【図4】同実施形態に係るオペレーター側提示装置の機能構成の一例を示すブロック図である。

【図5】同実施形態に係る対話制御サーバの機能構成の一例を示すブロック図である。

【図6】ユーザー側提示装置の提示部によって提示される第１の画面の例を示す図である。

【図7】オペレーター側提示装置の提示部によって提示される画面の例を示す図である。

【図8】オペレーター側提示装置の提示部によって提示される画面の例を示す図である。

【図9】ユーザー側提示装置の提示部によって提示される第２の画面の例を示す図である。

【図10】ユーザー側提示装置の提示部によって提示される第３の画面の例を示す図である。

【図11】転移元のオペレーターが使用するオペレーター側提示装置における転移されるユーザーに応じた提示制御の例を示す図である。

【図12】転移先のオペレーターが使用するオペレーター側提示装置における転移されるユーザーに応じた提示制御の例を示す図である。

【図13】同実施形態に係る情報通信システムの動作フローの一例を示す説明図である。

【図14】同実施形態に係る情報通信システムのアラート対話分配管理部および要支援ユーザー検出部の動作フローの一例を示す説明図である。

【発明を実施するための形態】

【0027】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0028】

また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

【0029】

（０．概要）
前記特許文献１のような化体（観念的な事柄が具体的な形あるもので表されたもの）を有するエージェントが情報提示され、ユーザーと前記エージェントの対話により機器やシステムの動作が制御される、エージェントＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を備えた対話システムは従来から存在している。それらの対話システムの利点として、対話という自然で直感的な人間の行動を入力方法に用いることにより、キーボードやその他の専用入力装置を使用するシステムと比べてシステムの操作や動作理解が容易であることがしばしば挙げられる。

【0030】

しかし、そのような対話による自然で直感的な入力が機械的に実現されるためには、人間の発話（または文章入力）という、自由度や多義性が非常に高い情報の意味や意図の理解をリアルタイムで正確に行うことができる、高性能な対話理解エンジン（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）や意図推定エンジン（ＡＩ）が必要となる。

【0031】

たとえば、対話処理と関連が深い自然言語（言語理解）処理分野でのAI技術、「意味解析」や「文脈解析」の技術は、その性能は人間にまだ及ばない状況である。

【0032】

それゆえ、現在の実環境で実運用される対話システムは、対話を自由型対話ではなく単純な一問一答型に制約する、人間が膨大な対話ルールを人手で事前につくりこんでおく、等の、制約を設けたり完全に人手作業に頼ったりすることにより実現されていることが少なくない。

【0033】

上記のような対話の制約や人手ルールの不十分さによりユーザーが本来の自由な対話を行えない場合、対話システムはしばしば旧来のキーボードや専用入力装置によるシステム操作方法に利便性ではむしろ劣る、という状況が起こり得る。そして、ユーザーの自由な対話に機械的に完全対応できる高性能な対話理解エンジン（ＡＩ）や意図推定エンジン（ＡＩ）の実現は現状の社会の技術水準では難しい。

【0034】

そのような課題に対し、対話理解エンジン（ＡＩ）や意図推定エンジン（ＡＩ）による対話機能と、推定エンジン（ＡＩ）ではなく人間のオペレーターが遠隔からエージェントを介してユーザーと間接的に対話する機能と、を組合せて協働させる仕組みを採用することで、理解・推定エンジン（ＡＩ）の精度・性能が低い場合でも結果的にユーザーが対話形式で意図通りに操作ができる対話システムを本発明の実施形態において提案する。

【0035】

具体的には、本発明の実施形態は、推定エンジンの動作を基に機械的に対話を行う「ＡＩエージェント」と、人間のオペレーターが背後で操作し遠隔から前記ＡＩエージェントと直接的に対話する（ユーザーとは間接的に対話する）「人操作エージェント」という２種類の異なる役割を担うエージェント（ペアエージェント）が登場するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を備える、という１つ目の特長を有する。

【0036】

さらに、前記ＡＩエージェントはユーザーと直接対話するが、前記人操作エージェントはユーザーとは対話せず前記ＡＩエージェントと対話する。つまり、本発明の実施形態は、そのエージェント間の対話の様子をユーザーに情報提示する、という２つ目の特長を有する。

【0037】

加えて、本発明の実施形態は、前記ＡＩエージェントと前記人操作エージェント間の対話データを利用して、前記ＡＩエージェントの動作の元になる推定エンジンの学習修正（再学習）を行い、対話システムが使われるほど前記推定エンジンが賢くなっていく（性能が向上していく）、という３つ目の特長を有する。

【0038】

本発明の実施形態は、ＡＩエージェントと人操作エージェントというペアエージェント間の対話を制御する「エージェント間対話制御部」を備え、人操作エージェントが、従来の人間操作型のエージェントとは異なり、ＡＩエージェントのみと対話を行ってその対話の情報をユーザーに提示するという仕組みを採用した。これにより、通常の対話ではユーザーと１対１のかかりきりで応対しなければならないオペレーターが、ユーザーと直接対話する必要がなくなるため、オペレーターの対話行動に要する労力や人的リソースを削減可能になる。

【0039】

さらに、本発明の実施形態によれば、オペレーターの操作に基づいてユーザーの意図に対する修正処理が行わるため、ユーザーは性能が低い推定エンジンの対話システムでも従来と比較してより少ないストレス負荷で意図通りのシステム操作を行うことができる（性能が低い推定エンジンでも実運用可能な対話システムが実現され得る）。また、本発明の実施形態によれば、修正処理後の意図に基づいて推定エンジンが学習されるため、実環境で使われながら推定性能を向上させられる対話システムが実現され得る。

【0040】

加えて、本発明の実施形態によれば、ユーザー側提示装置がセンサ部を、そして対話制御サーバがユーザー反応観測部を備えることにより、対話システムの性能等に起因する対話中のユーザーの反応（たとえば、対話がうまくいかないことによるネガティブな感情）の情報をオペレーターが把握・管理しやすくなり、１名のオペレーターで「複数の」ユーザー（または対話システム）に対応し得ることで、対話システムの実現に関わるオペレーターの人的リソースを大きく低減可能になる。

【0041】

さらに加えて、本発明の実施形態によれば、対話制御サーバがアラート対話分配管理部を備えることにより、支援を要する複数のユーザーに対して、「複数の」オペレーター（または対話システム）が協調的にリソース分配されて対話支援を行うことが可能になる。

【0042】

（１．第１の実施形態）
続いて、図１を参照して、本発明の実施形態に係る情報通信システムの概略的な構成を説明する。

【0043】

図１は、本実施形態に係る情報通信システムの概略的な構成の一例を示す説明図である。図１を参照すると、本情報通信システムは、対話制御サーバ１００（制御装置）、ユーザー側提示装置２００（ユーザーの提示装置）、オペレーター側提示装置３００（オペレーターの提示装置）、ＬＡＮ５０、複数のオペレーター８００及び複数のユーザー９００を含む。

【0044】

ユーザー９００とユーザー側提示装置２００は同じ拠点内に存在し、また、オペレーター８００とオペレーター側提示装置３００も同じ拠点内に存在するが、オペレーター８００とユーザー９００は互いに遠隔地の異なる拠点に存在していても構わない。さらに、図１のように、複数のオペレーター８００（とオペレーターの提示装置）と、複数のユーザー９００（とユーザー側提示装置２００）は、それぞれ複数の拠点（たとえば、拠点Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｏ、Ｏ２）に分散して存在していてもよい。ユーザー９００は、ユーザー側提示装置２００を使用して、たとえば情報検索を行う。

【0045】

図１に示されるように、ユーザー側提示装置２００は、センサとして、カメラ（Ｃ：Ｃａｍｅｒａ））、マイクロフォン（Ｍ：Ｍｉｃｒｏｐｈｏｎｅ）、及びその他のセンサ（Ｏ：Ｏｔｈｅｒ Ｓｅｎｓｏｒｓ）を備えていてもよい。同様に、オペレーター側提示装置３００も、カメラ、マイクロフォン、及びその他のセンサを備えていてもよい。すなわち、本発明の実施形態に係る提示装置は、ユーザー及びオペレーターに使用される旧来の入力装置（たとえば、マウスやキーボード等）の代わりに、あるいは、これらの入力装置に追加して、各種センサによる対話に係る情報の直観的な入力機能を備えていてもよい。

【0046】

図２は、本実施形態に係る対話制御サーバ１００、ユーザー側提示装置２００、オペレーター側提示装置３００（以下、それぞれを区別せずに「本実施形態に係る装置」と言う場合がある。）のハードウェア構成の一例を示すブロック図である。なお、前記の各装置のすべてに下記のハードウェア構成のすべてが備えられている必要はなく（たとえば対話制御サーバ１００に直接的にセンサが備えられている必要はない）、後述する各装置の機能構成を実現できるハードウェアモジュールが適宜限定して備えられてもよい。

【0047】

図２を参照すると、本実施形態に係る装置は、バス８０１、ＣＰＵ（Central Processing Unit）８０３、ＲＯＭ（Read Only Memory）８０５、ＲＡＭ（Random Access Memory）８０７、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７、スピーカ８１９を備える。

【0048】

ＣＰＵ８０３は、本実施形態に係る装置における様々な処理を実行する。また、ＲＯＭ８０５は、本実施形態に係る装置における処理をＣＰＵ８０３に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ８０７は、ＣＰＵ８０３の処理の実行時に、プログラム及びデータを一時的に記憶する。

【0049】

バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を相互に接続する。バス８０１には、さらに、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７及びスピーカ８１９が接続される。バス８０１は、例えば、複数の種類のバスを含む。一例として、バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を接続する高速バスと、該高速バスよりも低速の１つ以上の別のバスを含む。

【0050】

記憶装置８０９は、本実施形態に係る装置内で一時的または恒久的に保存すべきデータを記憶する。記憶装置８０９は、例えば、ハードディスク（Hard Disk）等の磁気記憶装置であってもよく、または、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash
memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access
Memory）及びＰＲＡＭ（Phasechange Random Access Memory）等の不揮発性メモリ（nonvolatile memory）であってもよい。

【0051】

通信インタフェース８１１は、本実施形態に係る装置が備える通信手段であり、ネットワークを介して（あるいは直接的に）外部装置と通信する。通信インタフェース８１１は、無線通信用のインタフェースであってもよく、この場合に、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インタフェース８１１は、有線通信用のインタフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。

【0052】

センサ８１３は、たとえばカメラ、マイクロフォン、生体センサ、その他のセンサまたはそれらの複合である。カメラは、被写体を撮像するもので、例えば光学系、撮像素子及び画像処理回路を含む。マイクロフォンは、周囲の音を収音するもので、該音を電気信号へ変換し該電気信号をデジタルデータに変換する。

【0053】

入力装置８１５は、タッチパネル、マウス、視線検出装置等である。表示装置８１７は、本実施形態に係る装置からの出力画像（すなわち表示画面）を表示するもので、例えば液晶、有機ＥＬ（Organic Light-Emitting Diode）、ＣＲＴ（Cathode Ray Tube）等を用いて実現され得る。スピーカ８１９は、音声を出力するもので、デジタルデータを電気信号に変換し該電気信号を音声に変換する。

【0054】

次に、図３を参照して、本実施形態に係る「ユーザー側提示装置２００」の機能構成の一例を説明する。ユーザー側提示装置２００は、通信部２１０、記憶部２２０、制御部２３０、入力部２４０、提示部２５０及びセンサ部２６０を備える。

【0055】

通信部２１０は、他の装置と通信する。たとえば、通信部２１０は、ＬＡＮ５０に直接的に接続され、対話制御サーバ１００と通信する。なお、通信部２１０は、通信インタフェース８１１により実装され得る。

【0056】

記憶部２２０は、ユーザー側提示装置２００の動作のためのプログラム及びデータを記憶する。なお、記憶部２２０は、記憶装置８０９により実装され得る。

【0057】

制御部２３０は、ユーザー側提示装置２００の様々な機能を提供する。なお、制御部２３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

【0058】

入力部２４０は、ユーザー９００からの入力を受け付ける。そして、入力部２４０は、入力結果を制御部２３０へ提供し、前記入力結果は通信部２１０を介して後述する対話制御サーバ１００へ送信される。

【0059】

前記ユーザー９００からの入力とは、たとえば音声入力である。入力部２４０から入力されたユーザー音声データは、音声認識処理を経て、テキスト化されたデータに変換される。たとえば、前記音声認識処理は、入力部２４０から入力されたユーザー音声データから発話区間を検出し、検出した発話区間の音声データを言語の音素や単語の辞書と照合し、発話区間に含まれる単語や文節の候補を対話言語データとして得る処理である。たとえば、前記音声認識処理は、音声認識エンジン（ＡＩ）によって行われてよい。

【0060】

本実施形態では、制御部２３０が入力部２４０を介して取得した前記ユーザー音声データを、通信部２１０を介して後述する対話制御サーバ１００へ送信し、対話制御サーバ１００内の制御部１３０で前記音声認識処理が行われる場合を主に想定する。しかし、前記ユーザー音声データが（直接、または対話制御サーバ１００を介して）一般的な音声認識クラウドサービスのサーバへ送信されて音声認識クラウドサービスにおいて前記音声認識処理が行われても構わない。あるいは、前記音声認識処理は、ユーザー側提示装置２００内の制御部２３０で行われても構わない。

【0061】

なお、入力部２４０はキーボードやタッチパネル（ソフトウェアキーボード）でも構わず、その場合、ユーザー９００の入力データは音声チャネルや音声認識処理を介さず直接的にテキスト化されて、ユーザー側提示装置２００はユーザー９００の対話言語（文字列）データを取得できる。対話言語データに対しては、自然言語（言語理解）処理が施され、自然言語処理の結果として発話語・文の単位候補が得られる。たとえば、自然言語処理は、対話言語データに対して構文解析を行うことによって受理可能な文法に従う発話語・文の１または複数の候補を得る処理である。たとえば、前記自然言語処理は、言語理解エンジン（ＡＩ）によって行われてよい。

【0062】

本実施形態では、対話制御サーバ１００内の制御部１３０が、前記ユーザー音声データに基づいて得られた対話言語データに対して、自然言語処理を行う場合を主に想定する。しかし、対話言語データに対する自然言語処理は、ユーザー側提示装置２００の制御部２３０によって行われてもよい。このとき、ユーザー側提示装置２００の制御部２３０によって得られた、発話語・文の１または複数の候補が、通信部２１０を介して対話制御サーバ１００へ送信される。なお、前記自然言語処理は、（直接、または対話制御サーバ１００を介して）一般的な自然言語処理クラウドサービスのサーバへ送信され自然言語処理サービスにおいて行われても構わない。

【0063】

いずれの場合であっても、後述する対話制御サーバ１００は、音声認識処理及び自然言語（言語理解）処理の結果として、発話語・文の１または複数の候補（ユーザー９００による入力データ）を取得できる。発話語・文の１または複数の候補は、後述するように、ユーザー９００の意図の推定に用いられる。なお、入力部３４０は、入力装置８１５により実装され得る。

【0064】

提示部２５０は、後述するペアエージェントをユーザー９００へ情報提示する。また、提示部２５０は、前記ペアエージェントの対話言語データのテキスト（文字列情報）をユーザー９００へ情報提示してもよい。なお、提示部２５０は、例えば表示装置８２３により実現され得る。

【0065】

センサ部２６０は、ユーザー９００の行動や生理反応を外的に計測してデータを取得する。前記行動や生体反応のデータは、たとえば、カメラにより計測される顔表情や身体姿勢の状態内容を含む画像データ、マイクロフォンにより計測される音声データ（入力部２４０が音声の言語情報の取得を目的とする場合、センサ部２６０は音声の非言語情報の取得を目的としてもよい）、加速度センサにより計測される身体動作の加速度データ、キーボード・マウス・タッチパネル等の入力装置により計測される機器操作データ、各種生体センサにより計測される自律神経系活動（心拍活動、皮膚電気活動、血圧、発汗、呼吸、皮膚・深部体温等）のデータ、中枢神経系活動（脳波、脳血流等）のデータ、視線計測装置により計測される視線運動・瞳孔径・瞬目数等のデータ、唾液または血中の免疫成分のデータ等を含む。これらの計測指標の算出処理は、制御部２３０によりユーザー側提示装置２００内で行われてもよいし、ユーザー側提示装置２００から対話制御サーバ１００へ生の測定データを送信し対話制御サーバ１００内で行われてもよい。なお、センサ部２６０は、センサ８１３により実装され得る。

【0066】

なお、ユーザー側提示装置２００は、カメラ、マイクロフォン、加速度センサ、通信部等を備えたスマートフォンやタブレット端末であっても構わないし、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）やディスプレイ付きのウェアラブル端末であっても構わない。

【0067】

次に、図４を参照して、本実施形態に係る「オペレーター側提示装置３００」の機能構成の一例を説明する。オペレーター側提示装置３００は、通信部３１０、記憶部３２０、制御部３３０、入力部３４０、提示部３５０及びセンサ部３６０を備える。

【0068】

通信部３１０は、他の装置と通信する。たとえば、通信部３１０は、ＬＡＮ５０に直接的に接続され、対話制御サーバ１００と通信する。なお、通信部３１０は、通信インタフェース８１１により実装され得る。

【0069】

記憶部３２０は、オペレーター側提示装置３００の動作のためのプログラム及びデータを記憶する。なお、記憶部３２０は、記憶装置８０９により実装され得る。

【0070】

制御部３３０は、オペレーター側提示装置３００の様々な機能を提供する。なお、制御部３３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

【0071】

入力部３４０は、オペレーター８００からの入力を受け付ける。そして、入力部３４０は、入力結果を制御部３３０へ提供する。前記入力結果は通信部３１０を介して後述する対話制御サーバ１００へ送信される。

【0072】

提示部３５０は、制御部３３０による制御に従って、オペレーターによって知覚され得る情報の提示を行う。本発明の実施形態においては、提示部３５０がオペレーターによって視覚的に知覚される表示画面を表示する場合を主に想定する。かかる場合、提示部３５０は、表示装置８２３により実現され得る。しかし、提示部３５０がオペレーターの聴覚によって知覚される情報を提示する場合、提示部３５０は、スピーカにより実現されてもよい。あるいは、提示部３５０がオペレーターの触覚や嗅覚によって知覚される情報を提示する場合、提示部３５０は、触覚または嗅覚提示装置により実現されてもよい。

【0073】

センサ部３６０は、オペレーター８００の行動や生理反応を外的に計測してデータを取得する。オペレーター８００の行動や生体反応のデータは、ユーザー９００の行動や生体反応のデータと同様に取得されてよい。これらの計測指標の算出処理は、制御部３３０によりオペレーター側提示装置３００内で行われてもよいし、オペレーター側提示装置３００から対話制御サーバ１００へ生の測定データを送信し対話制御サーバ１００内で行われてもよい。なお、センサ部３６０は、センサ８１３により実装され得る。

【0074】

また、オペレーター側提示装置３００は、ユーザー側提示装置２００よりも性能が高いハードウェア装置でも構わない。性能が高いとは、たとえば、表示装置８２３の表示領域のサイズや解像度が大きかったり、ＣＰＵ８０３の処理能力が高かったり、通信インタフェース８１１の最大通信速度が高かったり、センサ部３６０や制御部３３０にジェスチャー認識やその他の高度な行動認識機能が追加されており、そのためにセンサ８１３に特殊な計測機器が使用されていたりしても構わない。

【0075】

次に、図５を参照して、本実施形態に係る「対話制御サーバ１００」の機能構成の一例を説明する。図５は、本実施形態に係る対話制御サーバ１００の機能構成の一例を示すブロック図である。図５を参照すると、対話制御サーバ１００は、通信部１１０、記憶部１２０及び制御部１３０を備える。

【0076】

通信部１１０は、他の装置と通信する。たとえば、通信部１１０は、ＬＡＮ５０に直接的に接続され、ユーザー側提示装置２００やオペレーター側提示装置３００と通信する。また、ＬＡＮ５０はインターネットに接続されていても構わない。なお、通信部１１０は、通信インタフェース８１１により実装され得る。

【0077】

記憶部１２０は、対話制御サーバ１００の動作のためのプログラム及びデータを記憶する。前記記憶されるデータには、本発明の認識処理に使われる各種ＡＩの学習用データや学習済モデルデータが含まれてもよい。なお、記憶部１２０は、記憶装置８０９により実装され得る。

【0078】

制御部１３０は、対話制御サーバ１００の様々な機能を提供する。制御部１３０は、ＡＩエージェント制御部１４０、人操作エージェント制御部１５０、エージェント間対話制御部１６０、意図学習部１７０、意図推論部１８０、ユーザー反応観測部１９０及びアラート対話分配管理部１９５を含む。なお、制御部１３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

【0079】

意図学習部１７０は、後述する意図推論部１８０が後述する意図の推定処理（推論処理）を行うのに必要な、学習済モデルデータや識別器を、各種の機械学習や深層学習等の学習処理によって生成する。前記学習済モデルデータや識別器は、記憶部１２０に記憶されてもよい。意図学習部１７０によって生成された学習済モデルデータや識別器は、意図推定エンジン（ＡＩ）として機能する。また、意図の推定処理を機械学習ベースではなくヒューリスティックなルールベースで行う場合は、前記学習処理を行わず、推定に用いる前記ルールに関するデータを、記憶部１２０に記憶させてもよい。また、意図学習部１７０は、意図修正学習部１７１を含む。意図修正学習部１７１の詳細については、後述する。

【0080】

意図推論部１８０は、前記自然言語（言語理解）処理によって得られた発話語・文の１または複数の候補に基づいて、ユーザー９００の意図を推定する。たとえば、意図推論部１８０は、発話語・文の１または複数の候補と意図推定エンジン（ＡＩ）とに基づいて、ユーザー９００の意図推定情報を生成する。より詳細に、意図推論部１８０は、発話語・文の１または複数の候補を意図推定エンジン（ＡＩ）に入力し、この入力に基づいて意図推定エンジン（ＡＩ）から出力されるデータを、ユーザー９００の要求（ユーザー９００の意図）として推定する。意図推論部１８０は、通信部１１０によって意図推定情報がオペレーター側提示装置３００に送信されるように通信部１１０を制御する。

【0081】

意図とは、特にユーザーの目的に関する情報取得という観点では、非特許文献１「笹嶋、２０１５、意図の認識、進化するヒトと機械の音声コミュニケーション、ｐｐ．８９－１０７」より、「対話文からユーザーが解決したい問題を同定すること」とも定義することができる。本明細書内ではこの定義に従って説明する。意図の代表的な属性として、“Ｗｈｅｒｅ”（場所を知りたい）、“Ｗｈａｔ”（事物の定義を知りたい）、“Ｗｈｅｎ”（いつ起こるのか知りたい）、等が挙げられる（笹嶋、２０１５、前掲）。正しい意図推定の情報が得られることにより、対話システムは、意味・文脈的に適切な対話応答をユーザーに返すことができる。意図推定の方法については、たとえば非特許文献２「颯々野、２０１８、音声発話からの意味理解、電子情報通信学会誌、１０１（９）、ｐｐ．８９１－８９５」など、多くの公知の先行文献が存在するため、ここでは説明を省略する。

【0082】

なお、意図推定エンジン（ＡＩ）には、発話語・文の１または複数の候補だけではなく、意図の絞り込みに用いられる他の情報（たとえばセンサデータから得られる非言語情報）が入力されてもよい。たとえば、意図推定エンジン（ＡＩ）は、学習可能なモデル（ニューラルネットワークの学習済みモデルなど）によって構成されている。

【0083】

なお、本実施形態では、前記対話エンジン（ＡＩ）の処理が対話制御サーバ１００内において行われる場合を主に想定する。しかし、前記対話エンジン（ＡＩ）の処理は、ユーザー側提示装置２００内の制御部２３０で行われても構わないし（この場合、対話データが対話制御サーバ１００にも送信される）、対話制御サーバ１００からさらに一般的な対話処理クラウドサービスのサーバへ送信されて対話処理クラウドサービスにおいて前記対話エンジン（ＡＩ）の処理が行われても構わない。

【0084】

意図推論部１８０によってユーザー９００の意図が推定されると、対話エンジン（ＡＩ）は、ユーザー９００の意図に基づいて、対話言語データを生成し、対話言語データに基づいて、ユーザー側提示装置２００の提示部２５０による出力形式に合わせた形式の対話データを生成してもよい。たとえば、ユーザー側提示装置２００の提示部２５０がスピーカを含む場合には、対話エンジン（ＡＩ）は、音声形式の対話データを生成してもよい。あるいは、ユーザー側提示装置２００の提示部２５０がディスプレイを含む場合には、対話エンジン（ＡＩ）は、テキスト形式の対話データを生成してもよい。

【0085】

なお、一般に対話システムは、基本的な処理構成として、入力理解部、対話管理部、出力生成部からなる（中野幹生、２０１５、対話システムの構成と処理の概要、対話システム、ｐｐ．６６－１１３）。前記入力理解部には音声認識エンジン（ＡＩ）及び言語理解エンジン（ＡＩ）が含まれ、対話管理（対話処理）部には意図推定エンジン（ＡＩ）や内部状態データベースが含まれ、出力生成部には、言語生成エンジン（ＡＩ）や音声合成部や非言語情報表出部が含まれてもよい（各エンジンの担当処理機能は、中野幹生、２０１５、前掲、に従う）。

【0086】

本発明の実施形態では、ＡＩエージェントの対話処理に用いられる対話エンジンや意図推定エンジン（ＡＩ）の性能が低い状況を想定しており、本発明の実施形態に係るＡＩエージェントは意図・意味的に適切ではない対話応答をユーザー９００に対して行っても構わない。また、本発明の実施形態に係るＡＩエージェントの対話エンジンの方式は、ルールベースでも、従来の機械学習ベースでも、深層学習ベースで生成されたものでも構わない。

【0087】

ＡＩエージェント制御部１４０は、ユーザー９００によって視認されるＡＩエージェント（第１のオブジェクト）の動作を、通信部１１０を介して制御する。本実施形態では、ＡＩエージェントが、ユーザー側提示装置２００の提示部２５０（たとえば、ディスプレイなど）によってユーザー９００に提示される仮想的なオブジェクトである場合を主に想定する。すなわち、ＡＩエージェント制御部１４０は、通信部１１０を介してユーザー側提示装置２００と通信を行い、ユーザー側提示装置２００の提示部２５０によってユーザー９００に情報提示されるＡＩエージェントの動作を制御する。しかし、ＡＩエージェントは、仮想的なオブジェクトでなくてもよく、実オブジェクト（たとえば、実世界に存在するロボットなど）であってもよい。

【0088】

より詳細に、ＡＩエージェント制御部１４０は、ユーザーから入力された対話データ、及び、対話エンジンによって生成された対話データ（出力データ）が、通信部１１０によってユーザー側提示装置２００に送信されるように通信部１１０を制御する。これによって、ユーザー側提示装置２００の制御部２３０は、ユーザーから入力された対話データ、及び、対話エンジンによって生成された対話データを取得し、ユーザーから入力された対話データに基づく対話情報、対話エンジンによって生成された対話データに基づく対話情報が提示部２５０によって提示されるように制御する。さらに、ＡＩエージェント制御部１４０は、ユーザーから入力された対話データ、対話エンジンによって生成された対話データ（出力データ）及び意図推定情報が、オペレーター側提示装置３００に送信されるように通信部１１０を制御する。これによって、オペレーター側提示装置３００の提示部３５０によっても対話データに基づく提示が行われる。

【0089】

図６は、ユーザー側提示装置２００の提示部２５０によって提示される第１の画面の例を示す図である。図６を参照すると、提示部２５０によって画面Ａ１０が提示され、画面Ａ１０にＡＩエージェントＢ１が提示されている。また、ＡＩエージェント制御部１４０は、ユーザーによって入力された対話データに基づく対話情報Ａ１０２「〇〇〇は朝何時に開きますか？」を提示部２５０に提示させている（制御部２３０は、ＡＩエージェント制御部１４０による制御に従って、対話情報Ａ１０２「〇〇〇は朝何時に開きますか？」が提示されるように提示部２５０を制御している）。

【0090】

また、ＡＩエージェント制御部１４０は、この対話データに対応して対話エンジンによって生成された対話データに基づく対話情報Ａ１０３「〇〇〇は右手の方にあるよ。」を（ＡＩエージェントＢ１からの対話情報として）ＡＩエージェントＢ１に対応付けて提示部２５０に提示させている（制御部２３０は、ＡＩエージェント制御部１４０による制御に従って、対話情報Ａ１０３「〇〇〇は右手の方にあるよ。」が提示されるように提示部２５０を制御している）。たとえば、ＡＩエージェント制御部１４０は、対話情報Ａ１０３をＡＩエージェントＢ１からの吹き出しに記述することによって、対話情報Ａ１０３とＡＩエージェントＢ１とを対応付けることが可能である。このとき、ＡＩエージェント制御部１４０は、補助説明情報の例として、地図情報Ａ１０１を提示部２５０に提示させている。

【0091】

ユーザーは、自分の質問（または要求、意図）に対する正しい回答（情報）が得られなかったため、「いや、何時に開きますか？」と再度入力を行っている。ここでは、ユーザーからの入力は、音声入力により行われ、対話エンジンによって生成された対話データの出力は音声出力及びテキスト表示によって行われる場合を想定している。しかし、前述したように、ユーザーからの入力は、音声入力に限定されないし、ＡＩエージェントＢ１からの対話情報の出力も、音声出力及びテキスト表示に限定されない。

【0092】

ＡＩエージェントＢ１は、ユーザーがシステムを操作するための対話（たとえば、音声対話）を行う相手をイメージした化体であってよく、擬人化または動物等を模したキャラクターの様態（図６に示された例では、ヒナ鳥）をしていてもよい。さらに、ＡＩエージェントは、ユーザー９００と言語対話（たとえば、音声対話）のやり取りを行うだけでなく、非言語情報としてうなずき等のしぐさをアニメーションで表現（表出）する機能を備えていてもよい。ＡＩエージェントが機械的にユーザーと対話を行う方法については、前述の特許文献１（特開平４－３３８８１７号公報）など多くの公知の先行文献に記載されているため、ここでは説明を省略する。

【0093】

なお、ＡＩエージェント制御部１４０による制御動作の一部は、ユーザー側提示装置２００内で実施されても構わないし、対話制御サーバ１００及びユーザー側提示装置２００以外の装置によって実施されたりしても構わない（たとえば、エッジコンピューティングによって実施されても構わない）。

【0094】

人操作エージェント制御部１５０は、ユーザー９００によって視認される人操作エージェント（第２のオブジェクト）の動作を、通信部１１０を介して制御する。本実施形態では、人操作エージェントが、ユーザー側提示装置２００の提示部２５０（たとえば、ディスプレイなど）によってユーザー９００に提示される仮想的なオブジェクトである場合を主に想定する。すなわち、人操作エージェント制御部１５０は、通信部１１０を介してユーザー側提示装置２００と通信を行い、ユーザー側提示装置２００の提示部２５０によってユーザー９００に情報提示される人操作エージェントの動作を制御する。しかし、人操作エージェントは、仮想的なオブジェクトでなくてもよく、実オブジェクト（たとえば、実世界に存在するロボットなど）であってもよい。

【0095】

オペレーターは、必要に応じて人操作エージェントの操作情報を入力部３４０に対して入力する。

【0096】

たとえば、前記人操作エージェントの操作情報は、人操作エージェントが前記ＡＩエージェントに対して行う対話言語データの指定を含んでもよいし、後述する正しい意図の指定を含んでもよい。あるいは、前記人操作エージェントの操作情報は、人操作エージェントによる非言語コミュニケーションの表出指示（たとえば、人操作エージェントに特定の表情（たとえば、焦った表情など）を浮かべさせる指示など）を含んでもよい。非言語コミュニケーションの表出指示は、オペレーターに取り付けられたセンサによる検出結果に基づいて入力されてもよい。あるいは、前記人操作エージェントの操作情報は、ユーザー側提示装置２００の提示部２５０に人操作エージェントを提示させるか否かを含んでもよい。

【0097】

なお、人間が（人操作）エージェントを操作する方法については、いわゆるビデオゲーム上でのキャラクター操作や、ＷＯＺ（Ｗｉｚａｒｄ ｏｆ ＯＺ）法といった公知の研究方法が存在するため、ここではこれ以上の説明を省略する。

【0098】

ここで重要な点は、本発明の実施形態に係る人操作エージェントは、ＡＩではなく人間（オペレーター）が操作しているため、前述のＡＩエージェントとは異なり、適切な対話を行うことができる（万が一適切ではない対話応答がＡＩエージェントによって行われてしまった場合でも、オペレーター８００は、人操作エージェント制御部１５０を介して、ユーザー９００とＡＩエージェント間で交わされた過去の対話言語データを取得することができるため、すぐにオペレーターが異変に気づき、適切ではない対話応答を適切な対話応答に修正することができる）ことである。

【0099】

また、本発明の実施形態では、オペレーター８００のユーザー９００への対話行動に要する労力や人的リソースを削減するために、オペレーターは人操作エージェントを介して、原則としてユーザー９００とは直接的な対話を行わない運用形態を想定している。ユーザーとの直接対話はＡＩエージェントに任せ、オペレーターはそれを間接支援する本発明の実施形態に係る方式を採用することにより、オペレーターはユーザーとの対話行動にかかりきりにならず、労力や人的リソースを削減できる。なお、前述したように、前記ＡＩエージェントと前記人操作エージェントの組合せを「ペアエージェント」と呼んでもよい。

【0100】

オペレーター８００は、後述するように、オペレーター側提示装置３００を用いて、人操作エージェントを操作したり、ユーザーとＡＩエージェントとの過去の対話言語テキストを閲覧したり、ユーザーの対話操作に問題が生じていないかを監視したり、通知待ちしたりする。ここで、オペレーター側提示装置３００の提示部３５０によって提示される画面の例について説明する。

【0101】

図７は、オペレーター側提示装置３００の提示部３５０によって提示される画面の例Ａ５０を示す図である。図７を参照すると、提示部３５０によって画面Ａ５０が提示され、画面Ａ５０に、オペレーターメイン情報エリアＡ５０１、サムネイル情報エリアＡ５０２、及び、アラート情報Ａ５０３が、提示されている。

【0102】

オペレーターメイン情報エリアＡ５０１は、オペレーター８００が現在優先して対応しているユーザー９００に関する情報提示やオペレーターの操作入力を受け付ける画面領域（エリア）である。前記優先して対応しているとは、たとえば、前記ユーザー９００との対話情報やカメラ撮像情報にオペレーターが選択的注意の認知的リソースを最も大きく割く行動をとっている場合である。オペレーターメイン情報エリアＡ５０１の各構成要素の内容を含む詳細説明は後述する。

【0103】

サムネイル情報エリアＡ５０２は、オペレーター８００が対話の担当を受け持っている複数のユーザー９００に対応するオペレーターメイン情報エリアＡ５０１のサムネイル（縮小）表示を複数含み提示する。図７に図示した例では、オペレーター８００は３台のユーザー側提示装置２００との３つの対話を担当しているため、３つのサムネイル表示が、サムネイル情報エリアＡ５０２に画面表示されている。サムネイル情報エリアＡ５０２に含まれるサムネイル表示の数は、たとえば、オペレーター８００が担当するユーザー側提示装置２００の台数に対応する。

【0104】

さらに、サムネイル情報エリアＡ５０２は、各ユーザー側提示装置２００とそれを使用しているユーザー９００に対応する、後述のユーザー反応推定情報に基づく高次情報（たとえば、ユーザー反応推定情報の時系列履歴データ、時系列履歴データの平均値、中央値、最頻値等の代表値など）が、一例としてグラフ形式で表示されていてもよい。図７に図示した例では、ユーザー反応推定情報がユーザーのネガティブ感情の強度である場合、かつ、ユーザー反応推定情報に基づく高次情報がユーザーのネガティブ感情の強度の時系列履歴データである場合において、ユーザー９００Ａ～９００Ｃそれぞれのネガティブ感情の強度の時系列履歴データがグラフ形式でサムネイル情報エリアＡ５０２に表示されている。オペレーター８００は前記高次情報を見ることにより、ユーザー反応推定情報が急速に変化しているのか、緩やかに変化しているのか、等のユーザーの状況をより詳細に把握することができる。

【0105】

アラート情報Ａ５０３は、後述のユーザー反応推定情報に基づき、オペレーター８００が現在優先して対応すべき相手と判定されたユーザー側提示装置２００とそれを使用しているユーザー９００に対応したサムネイル表示（以下、「優先サムネイル表示」とも言う。）に紐づいた様態で提示される情報である。アラート情報が表示されると、前記優先サムネイル表示を目立たせ、オペレーター８００は前記優先サムネイル表示とそれ以外の残りのサムネイル表示群とを見分けやすくなる（選択的注意の認知資源を優先サムネイル表示に振り分けやすくなる）。アラート情報Ａ５０３の情報提示様態は、図７に図示した例では、ユーザー９００Ａに対応する優先サムネイル表示Ａ５０２Ａの周囲の矩形線として表現されているが、かかる例に限定されない。優先サムネイル表示とそれ以外の残りのサムネイル表示群とが異なる表現要素で示されていればよく、前記表現要素とはたとえば形、色、動き、大きさ、透過性またはそれらのいずれか２つ以上の組合せにより構成される。そして、前記アラート情報は、後述するユーザー反応観測部１９０の処理（たとえば優先付け処理）結果を用いて生成されても構わない。

【0106】

なお、オペレーター側提示装置３００の提示部３５０によって提示される画面の例は、図７に図示されたＡ５０の構成の例に限定されない。たとえば、オペレーター側提示装置３００の提示部３５０によって提示される画面は、サムネイル情報エリアＡ５０２とアラート情報Ａ５０３のみで構成されていてもよい。その場合、ユーザー９００がサムネイル情報エリアＡ５０２内の１つのサムネイル表示を選択する操作を行うと、前記選択されたサムネイル表示に対応するオペレーターメイン情報エリアＡ５０１が提示部３５０に大きく表示されるように表示が変化（または階層的遷移）してもよい。

【0107】

図８は、オペレーター側提示装置３００の提示部３５０によって提示される前述のオペレーターメイン情報エリアＡ５０１（図７）の例Ａ４０を示す図である。図８を参照すると、提示部３５０の一部に画面Ａ４０が提示され、画面Ａ４０に、カメラ撮像情報Ａ４０１、コピー画面Ａ４０２、オペレーター操作用入力パネルＡ４０３、ユーザーの対話情報Ａ４０４、ＡＩエージェントの対話情報Ａ４０５、意図推定情報Ａ４０６、人操作エージェントの対話情報Ａ４０７、及び、オペレーターの操作情報Ａ４０８が提示されている。

【0108】

カメラ撮像情報Ａ４０１は、ユーザー側提示装置２００のセンサ部２６０（カメラ）によってユーザーが撮像された画像である。たとえば、ユーザー側提示装置２００のセンサ部２６０（カメラ）によってユーザーが時系列に沿って連続的に撮像された各画像フレームが通信部２１０によって送信される場合、通信部３１０によって各画像フレームが受信され、提示部３５０によって各画像フレームが動画としてリアルタイムに提示されてもよい。

【0109】

コピー画面Ａ４０２は、ユーザー側提示装置２００によって提示されている画面Ａ１０（図６）と同じ画面である。

【0110】

オペレーター操作用入力パネルＡ４０３は、前記人操作エージェントの操作の例としての「正しい意図を指定する操作」を入力するための入力パネルである。ここでは、意図の例として「Ｗｈｅｒｅ」「Ｗｈｅｎ」「Ｗｈａｔ」が含まれている。なお、ここでは、オペレーターがボタン押下によって、正しい意図を指定する操作を入力可能である場合を想定している。しかし、正しい意図を指定する操作は、かかる例に限定されない。たとえば、オペレーターは、正しい意図を示す文字列を、キーボードを用いて入力してもよい。

【0111】

ユーザーの対話情報Ａ４０４は、ユーザーから入力された対話データに基づく対話情報の履歴情報である。ＡＩエージェントの対話情報Ａ４０５は、ＡＩエージェントからの対話データ（すなわち、対話エンジンによって生成された対話データ）に基づく対話情報の履歴情報である。意図推定情報Ａ４０６は、意図推論部１８０によって推定された意図推定情報の履歴情報である。人操作エージェントの対話情報Ａ４０７は、人操作エージェントからの対話データ（すなわち、修正処理後の意図に対応する対話データ）の履歴情報である。オペレーターの操作情報Ａ４０８は、オペレーターによって指定された意図の履歴情報である。

【0112】

たとえば、各対話情報（ユーザーの対話情報Ａ４０４、ＡＩエージェントの対話情報Ａ４０５、人操作エージェントの対話情報Ａ４０７）、意図推定情報Ａ４０６、オペレーターの操作情報Ａ４０８は、時系列に沿って順番に並べて表示されるのがオペレーターにとって理解しやすい。たとえば、図８に示された例では、上方から下方に向けて、新しい対話情報が並べられている。しかし、各情報がどの方向に、どのような順序で並べられるかは限定されない。

【0113】

なお、図８に示されるように、ユーザーの対話情報Ａ４０４、ＡＩエージェントの対話情報Ａ４０５、意図推定情報Ａ４０６、人操作エージェントの対話情報Ａ４０７、及び、オペレーターの操作情報Ａ４０８それぞれは、互いの時間的な前後関係も考慮された上で配置されるのがオペレーターにとって理解しやすい。たとえば、図８に示されるように、互いに関連する、ＡＩエージェントの対話情報Ａ４０５と、意図推定情報Ａ４０６とは、（配置方向に対する位置が同じになるように）対応付けられてもよい。

【0114】

エージェント間対話制御部１６０は、ＡＩエージェント制御部１４０または人操作エージェント制御部１５０と通信し、前記ＡＩエージェントと前記人操作エージェント（ペアエージェント）間の対話情報を制御・管理する。また、エージェント間対話制御部１６０は、修正対話提示部１６１を含む。修正対話提示部１６１は、誤った（対話文脈上適切ではない）意図推定情報が生成され、オペレーターが前記意図推定情報を手動操作で修正した場合に、その修正処理に対応する対話情報を、ＡＩエージェントまたは人操作エージェントに対応付けて情報提示する。たとえば、オペレーターが、画面Ａ４０（図８）を見ながら、ユーザーによって入力された対話データに基づく対話情報「〇〇〇は朝何時に開きますか？」の正しい意図が「Ｗｈｅｎ」であるにも関わらず、誤った意図推定情報「Ｗｈｅｒｅ」に基づいて、ＡＩエージェントからの対話情報「〇〇〇は右手の方にあるよ。」が生成されたことに気づいた場合を想定する。このとき、オペレーターは、正しい意図を指定する操作として、オペレーター操作用入力パネルＡ４０３のボタン「Ｗｈｅｎ」を押下する操作を入力する。かかるオペレーターの操作は、入力部３４０を介して制御部３３０によって取得され、制御部３３０によって通信部３１０を介して対話制御サーバ１００に送信される。

【0115】

エージェント間対話制御部１６０は、正しい意図を指定する操作に応じて、（ＡＩエージェント制御部１４０が管理している）ユーザーの意図推定情報の修正を行う。すなわち、エージェント間対話制御部１６０は、ＡＩエージェントに紐づく意図推定情報を誤った意図である「Ｗｈｅｒｅ（場所）」から、正しい意図である「Ｗｈｅｎ（時間）」に修正する。エージェント間対話制御部１６０は、その際併せて、修正対話提示部１６１により、前記ユーザーの意図推定情報の修正内容を含んだ対話情報が、人操作エージェントから（ユーザーではなく）ＡＩエージェントに向けて行われるように、ユーザー側提示装置２００の提示部２５０を制御し、ユーザー９００に意図修正処理が行われたことを知らせる。

【0116】

図９は、ユーザー側提示装置２００の提示部２５０によって提示される第２の画面の例を示す図である。図９を参照すると、提示部２５０によって画面Ａ２０が提示されている。人操作エージェント制御部１５０は、意図推定情報の修正処理が行われるタイミングで、人操作エージェントＢ２を提示部２５０に提示させる。なお、意図推定情報の修正処理が行われるタイミングは、ユーザー側提示装置２００の提示部２５０に人操作エージェントＢ２を提示させるための操作情報が、オペレーターから入力部３４０に対して入力されたタイミングであってよい。また、修正対話提示部１６１は、修正処理前の意図推定情報である「Ｗｈｅｒｅ（場所）」と、修正処理後の意図推定情報である「Ｗｈｅｎ（時間）」とを含んだ対話情報Ａ２０１「場所ではなく、時間を聞いているのよ」を、提示部２５０に提示させている。

【0117】

このとき、修正対話提示部１６１は、対話情報Ａ２０１を（人操作エージェントＢ２からの対話情報として）人操作エージェントＢ２に対応付けて提示部２５０に提示させる。たとえば、修正対話提示部１６１は、対話情報Ａ２０１を人操作エージェントＢ２からの吹き出しに記述することによって、対話情報Ａ２０１と人操作エージェントＢ２とを対応付けることが可能である。

【0118】

ここで、前記修正処理を、（ユーザーからは見えない）バックエンド情報処理としてユーザー９００に秘匿するのではなく、修正処理を行ったことを、人操作エージェントからＡＩエージェントへの対話という直観的な情報提示様態を用いてユーザー９００に知らせる本発明の機能の意義を説明する。

【0119】

バックエンド情報処理でユーザー９００に知られることなくＡＩエージェントの意図修正処理が行われると、対話の途中から急にＡＩエージェントが適切な対話応答をするようになり、きっかけもなく急に賢くなったような異様な印象を、対話しているユーザー９００に与えてしまう恐れがある。対話の相手のＡＩエージェントに対してユーザーに信頼感や親近感を持ってもらうためには、ＡＩエージェントの性質（たとえば、性格や価値観等の特に内的なキャラクター性）に対してユーザーに「一貫性」を感じさせることが重要であり、上記のようにきっかけもなく急に賢くなったような印象をユーザーに与えることはその感覚を損ねる危険性が高い。

【0120】

本発明の実施形態では、ＡＩエージェントに対する賢い人操作エージェントと両エージェント間の対話という方式によって前記意図修正処理を可視化し、ユーザー９００に知らせる、という方法を創出することで上記課題を解決する。なお、本発明の実施形態に係るシステムの実施にあたり必須の要件ではないが、上記の解決策を効果的に実施するために、本発明の実施形態に係るＡＩエージェントはあまり賢くなさそうな印象を与える提示様態（たとえばヒナ鳥の外観）、人操作エージェントは逆に賢い印象を与える提示様態（たとえば白鳥などの親鳥の外観）でユーザーに情報提示することが好適である。

【0121】

さらに、修正対話提示部１６１は、意図推定情報の修正処理が行われたタイミングで、（たとえば、対話情報Ａ２０１の提示後に）意図推定情報の修正処理に応じたメッセージがユーザー側提示装置２００の提示部２５０によって提示されるように制御する（制御部２３０は、修正対話提示部１６１による制御に従って、意図推定情報の修正処理に応じたメッセージが提示されるように提示部２５０を制御する）。これによって、誤った意図推定情報が修正されたことがユーザーによって把握され得る。なお、図９に示された例では、メッセージの例として、対話情報Ａ２０２「ふむふむ」（人操作エージェントの対話情報への相槌を打つ言葉）が提示されている。しかし、意図推定情報の修正処理に応じたメッセージは、かかる例に限定されない。

【0122】

たとえば、意図推定情報の修正処理に応じたメッセージは、意図推定情報が修正処理されたことを直接的に示す情報（たとえば、「意図が修正されました」など）を含んでもよい。あるいは、意図推定情報の修正処理に応じたメッセージは、図９に示されるように、ＡＩエージェントＢ１の顔を人操作エージェントＢ２に向けることを含んでもよい。

【0123】

より詳細に、図９に示されたように、修正対話提示部１６１は、意図推定情報の修正処理に応じたメッセージの例としての対話情報Ａ２０２「ふむふむ」が、ＡＩエージェントＢ１に対応付けられてユーザー側提示装置２００の提示部２５０によって提示されるように制御してもよい。これによって、対話情報Ａ２０２「ふむふむ」がＡＩエージェントＢ１からの対話情報であることがより明確に把握される。

【0124】

図１０は、ユーザー側提示装置２００の提示部２５０によって提示される第３の画面の例を示す図である。図１０を参照すると、提示部２５０によって画面Ａ３０が提示されている。対話エンジンは、修正処理後の意図である「Ｗｈｅｎ」に基づいて、対話データを生成し直し、ＡＩエージェント制御部１４０は、生成された対話データに基づく対話情報Ａ１０５「〇〇〇は午前８時に開くよ。」をユーザー側提示装置２００の提示部２５０に提示させる。これによって、ユーザーは、正しい意図「Ｗｈｅｎ」に従って生成された対話情報を知覚し、「〇〇〇」が開く時刻を把握することができる。

【0125】

このとき、ＡＩエージェント制御部１４０は、補助説明情報の例として、「〇〇〇」の営業時間Ａ３０１を提示部２５０に提示させてもよい。なお、人操作エージェント制御部１５０は、人操作エージェントＢ２をその場に留まらせてもよいが、人操作エージェントＢ２がひとまず役目を終えたとして、図１０に示されるように、人操作エージェントＢ２をＡＩエージェントＢ１から遠ざけるような様態変更処理を行ってもよい（たとえば、人操作エージェントＢ２を画面Ａ３０の外に移動させてもよい）。

【0126】

意図修正学習部１７１は、エージェント間対話制御部１６０によって行われた意図推定情報の修正処理のデータに基づいて、意図推定に用いる学習済モデルや識別器（意図推定エンジン）を再度学習させ、記憶部１２０に記憶させる。たとえば、意図修正学習部１７１は、既存の学習用データに意図推定情報の修正処理に関する情報を追加して最初から学習し直してもよいし、意図推定情報の修正処理に関する情報を用いて追加的な学習のみを行ってもよい。なお、前記意図推定情報の修正処理に関する情報とは、たとえば、対話データと、それに対応する正しい意図（オペレーターの指定操作により修正された意図）の情報と、を含む教師データ（入力データと正解データの組）の情報を含むものでもよい。

【0127】

たとえば、意図推定情報の修正処理のデータは、ユーザーからの対話データ「〇〇〇は朝何時に開きますか？」に対応する発話語・文の１または複数の候補と、エージェント間対話制御部１６０によって修正処理が行われた後の意図推定情報「Ｗｈｅｎ」との組み合わせであってよい。かかる組み合わせは、意図推定に用いる学習済モデルや識別器の正解教師データに他ならない。

【0128】

これにより、本発明の実施形態に係る対話制御サーバ１００は、意図修正学習部１７１と、本システムの動作により蓄積されていく意図推定情報の修正処理のデータを用いることによって、より多くの学習データで生成される性能向上した意図推定エンジン（ＡＩ）を生み出すことができる。使われるほどに賢くなっていく（性能が高くなっていく）意図推定エンジンを有する対話システムが実現される。

【0129】

なお、意図修正学習部１７１は、ユーザーからの対話データ「〇〇〇は朝何時に開きますか？」に対応する対話言語データと、修正処理が行われた後の意図推定情報「Ｗｈｅｎ」との組み合わせに基づいて、自然言語（言語理解）処理エンジン（ＡＩ）及び意図推定エンジン（ＡＩ）を再学習させてもよい。あるいは、意図修正学習部１７１は、ユーザーからの対話データ「〇〇〇は朝何時に開きますか？」と、修正処理が行われた後の意図推定情報「Ｗｈｅｎ」との組み合わせに基づいて、音声認識エンジン（ＡＩ）、自然言語処理エンジン（ＡＩ）及び意図推定エンジン（ＡＩ）を再学習させてもよい。

【0130】

ユーザー反応観測部１９０は、複数のユーザー９００の反応・行動・状況を推定し、ユーザー反応推定情報を生成して、オペレーター８００へ前記情報を提供する、または、オペレーター８００の対話操作を支援する。より詳細には、まず、ユーザー反応観測部１９０は、ユーザー側提示装置２００を使用（対話）中のユーザー９００の反応・行動・状況のセンサデータを、センサ部２６０及び通信部１１０を介して取得する（センサデータの例は、センサ部２６０の説明に記載済）。さらに、ユーザー反応観測部１９０は、ユーザー反応推定エンジン（ＡＩ）の機能を有し、前記センサデータから、後述するユーザー反応推定情報を生成する。

【0131】

また、ユーザー反応観測部１９０は、要支援ユーザー検出部１９１（優先付け処理部）及び反応推定部１９２を含む。

【0132】

要支援ユーザー検出部１９１は、反応推定部１９２により生成されたユーザー反応推定情報を受信し、オペレーター８００が優先して対応すべきユーザー９００を判定する処理を行い、前記優先して対応すべきユーザー９００の情報をアラート対話分配管理部１９５へ送信する。

【0133】

前記ユーザー反応推定情報に基づくオペレーター８００が優先して対応すべきユーザー９００の判定は、要支援ユーザー検出部１９１による、前述のユーザー反応推定情報に基づく高次情報（たとえば、ユーザー反応推定情報の時系列履歴データに基づいて算出される、時系列履歴データの平均値、中央値、最頻値等の代表値、積分値、実効値、発生頻度、継続時間）のいずれか１つまたは２つ以上の組み合わせに基づいて実施されてもよい。具体例として、要支援ユーザー検出部１９１は、ユーザー反応推定情報がネガティブ感情の強度である場合について説明する。
対話中の所定の時間区間内における、ネガティブ感情の強度の代表値、積分値もしくは実効値、ネガティブ感情の強度がある値を上回る頻度（発生頻度）、または、ネガティブ感情の強度がある値を継続して上回る時間（継続時間）が、所定の閾値を超えた場合、または、オペレーター８００が担当している複数のユーザー９００の中で最大値をとった場合、そのユーザー反応推定情報が推定されたユーザー９００を、前述のオペレーター８００が優先して対応すべきユーザー９００であると判定してもよい。たとえば、ネガティブ感情の強度は、後述の反応推定部１９２により推定され得る。

【0134】

なお、ユーザー反応推定情報は、ユーザーのネガティブ感情の強度に限定されない。また、前記閾値は、オペレーターまたは本システム管理者によって手動設定されてもよいし、本発明の実施形態に係る情報通信システムが過去に取得したユーザー反応情報の履歴・統計的情報に基づいて自動設定してもよい。

【0135】

オペレーター８００が優先して対応すべきユーザー９００の判定によって、優先して対応すべきことを示す優先順位（以下、「優先度」とも言う。）が付されるユーザー９００と、優先して対応しなくてよいことを示す優先度が付されるユーザー９００とが生じる。すなわち、オペレーター８００が優先して対応すべきユーザー９００の判定は、複数のユーザー９００に対する優先付けの例に該当する。複数のユーザー９００に対する優先付けは、複数のユーザー９００それぞれの対話情報（ユーザーとＡＩエージェントとの対話情報）に対する優先付けを意味し得る。この例のように、要支援ユーザー検出部１９１は、ユーザー反応観測部１９０により生成されたユーザー反応推定情報に基づき、対話中の複数のユーザー９００それぞれの対話情報に優先付けの処理を行ってもよい（これにより、オペレーター８００が最も優先して対話すべきユーザー９００の選択行動が支援される）。前記優先付けの（たとえば順位）情報は、要支援ユーザー検出部１９１により、前記対話情報またはユーザー側提示装置２００の識別情報と対応付けて、記憶部１２０に記憶されてもよい。

【0136】

反応推定部１９２は、前述のセンサデータからユーザー反応推定情報を生成するユーザー反応推定エンジン（ＡＩ）の役割を果たす。ユーザー反応推定情報とは、ユーザー側提示装置２００を使用（対話）中のユーザー９００の反応・行動・状況に関わる情報であり、一例としてそれはユーザーの「感情」であって、たとえば、ユーザー側提示装置２００との操作対話がうまくいかないことや所望の情報が得られないことにより、ユーザー内に生じる困惑やネガティブな感情等が含まれる（感情自体の詳細説明は後述）。

【0137】

すなわち、反応推定部１９２は、ユーザー９００からユーザー側提示装置２００及び通信部１１０を介して取得した行動の画像データや生体反応の計測データ（センサデータ）に基づいて、ユーザー９００毎の個人感情の推定モデルデータおよびそれにより推定（識別）された推定感情情報を生成する。なお、前記センサデータには、センサ部２６０の取得データだけでなく、入力部２４０の入力データを含めてもよい。また、反応推定部１９２は、前記生成した推定モデルデータと推定感情情報を記憶部１２０に記憶させる機能を有する。また、前記推定感情情報の生成処理はユーザー側提示装置２００で行われてもよく、対話制御サーバ１００はユーザー側提示装置２００から前記画像データではなく推定感情情報を受信しても構わない。

【0138】

ここで、個人感情とその推定方法について説明を補足する。個人感情は、一例として「人が心的過程の中で行うさまざまな情報処理のうちで、人、物、出来事、環境についてする評価的な反応」（Ｏｒｔｏｎｙ ｅｔ ａｌ．，１９８８；大平，２０１０）と定義される。感情の具体的な種類としては、心理学者Ｐａｕｌ
Ｅｋｍａｎによる表情に対応する基本感情ベースの離散型モデル上での幸福、驚き、恐れ、怒り、嫌悪、悲しみや、心理学者Ｊａｍｅｓ Ａ．Ｒｕｓｓｅｌｌによる快度及び覚醒度の感情次元ベースの連続型モデルにおける喜怒哀楽の象限などが知られている。他の連続型モデルとしては、Ｗａｔｓｏｎによるポジティブまたはネガティブ感情、Ｗｕｎｄｔによる３軸モデル（快度、興奮度、緊張度）、Ｐｌｕｔｃｈｉｋによる４軸のモデルなどもある。その他、応用的・複合的な感情としては、困惑度、関心度、メンタルストレス、集中度、疲労感、多忙度、創造性、リラックス／緊張度、モチベーション、共感度、信頼度などが挙げられる。さらに、業務活動において集団の雰囲気として体感されるイキイキ感なども高次な感情の一種といえる。本発明の実施形態における感情の定義の有効範囲は、前述の基本感情よりも広く、ユーザーのあらゆる内部「状態」やユーザーの周囲環境や文脈等の影響も加味した「状況」も含むものである。一例として、ポジティブ感情やその度合いは、快度そのものや、快度と覚醒度を合わせたもの、基本感情における幸福の強度の大きさ、もしくは恐れ、怒り、嫌悪、悲しみ等の強度の小ささ等を指標としてあらわされてもよい。すなわち、本発明の実施形態において、ポジティブ感情やネガティブ感情は、類似する基本感情６種自体の強度またはその組合せに基づいて算出されてもよい。

【0139】

ある人物がどのような感情とどの程度にあるかは、たとえば質問紙法を用いることで、記人物の文字、文章、記号による言語的報告によって求めることができる。前記質問紙としては“Ａｆｆｅｃｔ Ｇｒｉｄ”（Russell, J. A., Weiss, A., & Mendelsohn, G. A. (1989). Affect Grid:
A single-item scale of pleasure and arousal. Journal of Personality and Social
Psychology, 57(3), 493-502.）や“ＳＡＭ ｓｃａｌｅ”（Bradley, M. M., & Lang, P. J. (1994). Measuring emotion: The
Self-Assessment Manikin and the semantic differential. Journal of Behavior Therapy
and Experimental Psychiatry, 25(1), 49-59.）などがよく知られている。しかしながら、質問紙を用いた計測方法では回答作業が必要になるため、業務など何か別の作業行っている日常生活においては計測それ自体が本来の目的作業に支障を及ぼしてしまう可能性がある。

【0140】

そこで、本情報通信システムにおいて、反応推定部１９２は、前述のユーザー側提示装置２００やオペレーター側提示装置３００により計測される行動や生体反応のデータに基づいて（質問紙法等で求めた）感情を機械的に推定処理する。前記推定処理を行うためには、予め学習処理によって生成された感情推定モデルのデータが必要となる。感情推定モデルは、たとえば、ある時点・状況における前記行動や生体反応のデータと前記質問紙の回答データからなる訓練データとを対応付けたデータの群から生成される。たとえば、オフィスに埋め込まれた無数のカメラやマイクロフォン、ウェアラブル活動量計から計測されたユーザーの顔表情、音声、心拍活動、皮膚電気活動等の行動・生体データと、前記ユーザーの主観的感情を質問紙回答した正解データとが対応付けられて訓練データとされる。前記行動・生体データは、センサからの計測値が変換された学習処理用の特徴量データであってもよい。

【0141】

特徴量データは、顔の代表的特徴点の位置や各２点間を結ぶ直線の距離や成す角度であってもよい。あるいは、特徴量データは、音声の基本周波数、パワー、平均発話速度、一次ケプストラム係数の最高値と標準偏差であってもよい。あるいは、特徴量データは、心拍数や拍動間隔の平均値や標準偏差、心拍変動性であってもよい。あるいは、特徴量データは、皮膚コンダクタンス水準の平均値や標準偏差や増減低下率などであってもよい。これらの特徴量データはどのように使用されてもよく、ある時点における絶対値として使用されてもよいし、２時点間の相対的な変化率として使用されてもよい。

【0142】

前記訓練データを用いた感情推定モデルの生成には、学習の手法として、たとえば既知のＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）や深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）法が用いられてもよいし、単純に回帰分析法が利用されてもよい。また、学習モデルはユーザー個人毎に生成されてもよいし、複数のユーザーの訓練データを用いて人間に共通的なモデルが生成されてもよい。反応推定部１９２は、得られた感情推定モデルのデータを用いることで、ある人物の行動・生体データから個人感情を推定できるようになる。

【0143】

対話制御サーバ１００（たとえば、反応推定部１９２）は、上述の個人感情推定処理のための訓練データや感情の推定モデル自体を生成する機能を有していてもよい。さらに、訓練データのための前述の特徴量データの生成は、対話制御サーバ１００ではなくユーザー側提示装置２００やオペレーター側提示装置３００の方で行い、ユーザー側提示装置２００やオペレーター側提示装置３００が、前記特徴量データを対話制御サーバ１００へ送信するようにしてもよい。

【0144】

アラート対話分配管理部１９５は、複数のオペレーター８００と、各オペレーター８００が担当する複数のユーザー９００の対話状況を管理し、より多くのユーザー９００がオペレーター８００の対話支援を受けられるように、複数のオペレーター８００の対話担当のリソース分配を行う。
具体的には、アラート対話分配管理部１９５は、あるオペレーター８００Ａが担当しているユーザー９００Ａの対話支援（たとえば、前述した人操作エージェントの操作など）を行っている際中に、同オペレーター８００Ａが担当するユーザー９００Ｂにも対話支援の必要が生じた場合に、同ユーザー９００Ｂの対話支援の担当を（その時点では同ユーザー９００Ｂの対話を担当していない）オペレーター８００Ｂに転移させる。

【0145】

背景として、本発明の実施形態に係る情報通信システムは、基本的な対話をＡＩエージェントに任せる前述のペアエージェントの仕組みを採用することで、オペレーター８００が複数のユーザー９００を担当することを可能にした（たとえば、既存のコールセンターではオペレーターとユーザーは通常の場合、１対１の担当関係になる）。
一方で、あるオペレーター８００Ａの担当するユーザー９００Ａとユーザー９００Ｂに「同時的に」ＡＩ対話上の問題が発生し対話支援の必要性が発生した場合、オペレーター８００Ａが人操作エージェントの操作を複数対話分同時並行で行うのは困難な場合もある。
この時、本発明の実施形態に係る情報通信システムが、前記オペレーター８００Ａ担当のユーザー９００Ｂの対話支援を、その時対話支援を行っていないオペレーター８００Ｂへ対話転移（担当振替）させることで、前記オペレーター８００Ａがユーザー９００Ａの対話支援に安定して専念することができる。上記の仕組みにより、あるオペレーター８００の担当下の複数のユーザー９００に「同時的」に対話支援の必要性が発生した場合の対応問題が解決できる。

【0146】

また、アラート対話分配管理部１９５は、オペレーター支援状況判定部１９６、アラート対話転移先選定部１９７（オペレーター選択部）及び対話転移部１９８（対応付け処理部）を含む。

【0147】

オペレーター支援状況判定部１９６は、本発明の実施形態に係る情報通信システムを使用している複数のオペレーター８００が、それぞれ「対話支援を行っている最中か否か」の状況を判定する。前記対話支援が行われている最中か否かの判定は、対話支援の始端から終端までに現在が属するか否かによって判定されてもよい。
たとえば、対話支援の始端は、前述の人操作エージェント制御部１５０の動作に基づいて判定されてもよい。より詳細に、対話支援の始端は、ユーザー９００Ａによって対話データが入力された後に、人操作エージェントＢ２を提示させるための操作情報がオペレーター８００Ａから入力されたタイミングであってもよい。
また、対話支援の終端は、対話支援がある程度行われたタイミングであればよく、対話支援の始端から対話が所定のターン行われたタイミングであってもよいし、対話支援の始端から所定の時間が経過したタイミングであってもよいし、ユーザー８００Ａのネガティブ感情の強度が閾値よりも低下したタイミングであってもよい。
オペレーター支援状況判定部１９６は、本発明の実施形態に係る情報通信システムを使用している複数のオペレーター８００それぞれについて前記「対話支援を行っている最中か否か」を実時間で判定した結果のデータを、アラート対話転移先選定部１９７に送信、または記憶部１２０に記憶する。

【0148】

アラート対話転移先選定部１９７は、あるオペレーター８００が、担当するあるユーザー９００の対話支援を行っている最中に、前記オペレーター８００が担当する別のユーザー９００に対話支援の必要性が生じた（必要性が高まった）場合に、前記別のユーザー９００の担当を転移（担当振替）させる別のオペレーター８００を選定する。前記「担当するあるユーザー９００の対話支援を行っている最中」であるかどうかの判定処理は、前述の通りオペレーター支援状況判定部１９６によって行われる。前記「ユーザー９００に対話支援の必要性が生じた（必要性が高まった）場合」の判定処理は、前述の通り要支援ユーザー検出部１９１によって行われる。たとえば、あるユーザー９００の優先度が所定の優先度である場合に（例えば、あるユーザー９００が優先して対応すべきユーザーである場合に）、そのユーザー９００に対話支援の必要性が生じたと要支援ユーザー検出部１９１によって判定されてもよい。前記「別のオペレーター８００を選定」の処理について以下に記載する。

【0149】

前記「別のオペレーター８００を選定」の処理を行うにあたっては、別のオペレーター８００を選ぶ条件が必要となる。まず、担当を転移させる別のオペレーター８００もまた対話支援を行っている最中であってはならないという第１の条件が満たされる必要がある（対話支援を行っている最中である場合、結局再び別の転移処理が必要になるため）。さらに、転移処理の発生により、各オペレーター８００の対話支援実施数やその負荷量に大きな偏りが生じない（均等に近づく）という第２の条件が満たされることが好ましい。

【0150】

そこで、アラート対話転移先選定部１９７は、ユーザー９００の対話情報（対話の通信ストリームと履歴情報）の転移先（別のオペレーター８００の）選定の処理を、第１の条件が満たされるように行う必要がある。さらに、アラート対話転移先選定部１９７は、転移先選定の処理を、第２の条件が満たされるように行うのが好ましい。ここで、第２の条件を満たすような転移先選定の処理として以下の〔Ａ〕～〔Ｇ〕に挙げられた各選定の処理が適用され得る。なお、〔Ａ〕～〔Ｇ〕における「より少ない」「より長い」「より短い」「より多い」「より低い」といった表現は、複数の項目のうち他の項目よりも「より少ない」「より長い」「より短い」「より多い」「より低い」項目が優先して選定されることを意味しており、追加的な他の条件を考慮する必要がない場合には、「最も少ない」「最も長い」「最も短い」「最も多い」「最も低い」といった表現に置き換えられてもよい。

【0151】

〔Ａ〕担当中のユーザー９００の人数がより少ないオペレーター８００を選定（監視しているユーザー対話情報数が少ないことからオペレーターの認知リソースに余裕がある可能性が高く、また、担当するユーザーの人数が少ないほど新たな対話支援が発生する可能性が低いため）
〔Ｂ〕直前に行った対話支援からの経過時間がより長いオペレーター８００を選定（これにより、各オペレーター８００の対話支援の単位時間あたりの頻度がより均等に近づくため）
〔Ｃ〕直前に転移を受けて行った対話支援からの経過時間がより長いオペレーター８００を選定（これにより、各オペレーター８００に転移される対話の数がより均等に近づくため）
〔Ｄ〕一定期間（たとえば１日）内における対話支援実施の累積時間がより短いオペレーター８００を選定（これにより、各オペレーター８００が実施する対話支援の累積時間数がより均等に近づくため）
〔Ｅ〕担当中の各ユーザー９００のユーザー側提示装置２００使用開始からの経過時間をまとめた代表値（平均値など）がより長いオペレーター８００を選定（ユーザー側提示装置２００使用開始からの経過時間がより長いユーザーほど、問題なくユーザー側提示装置２００を使用できている可能性が高くなり、その後に対話支援の必要性が発生する可能性が低いため）
〔Ｆ〕担当中の各ユーザー９００のＡＩエージェントとの対話のターン数をまとめた代表値（平均値など）がより多いオペレーター８００を選定（ＡＩエージェントとの対話のターン数がより多いユーザーほど、問題なくＡＩエージェントと対話をできている可能性が高くなり、その後に対話支援の必要性が発生する可能性が低いため。ただし、対話のターンは、同一の発話主体による連続した発話区間であり、ユーザーによる対話のターン及びエージェントによる対話のターンの少なくともいずれか一方を含んでよい）
〔Ｇ〕担当中の（要支援ユーザー検出部１９１が算出した）各ユーザー９００の対話情報の優先付け情報の代表値（最頻値など）がより低い（総合的な優先度がより低い）オペレーター８００を選定（前述の通り、対話情報の優先度が低いほど、新たな対話支援が発生する可能性が低いため）

【0152】

前記〔Ｆ〕の応用として、アラート対話転移先選定部１９７は、転移先として、担当中の各ユーザー９００のＡＩエージェントとの対話のターン間の間隔時間長をまとめた代表値（平均値など）がより少ないオペレーター８００を選定してもよい（問題なくＡＩエージェントと対話をできているほど対話のターン間の間隔時間長は短くなる可能性が高いため）。さらに、前記対話のターン間の間隔時間長は、ＡＩエージェントの対話のターンとユーザー９００の応答の対話のターンとの間の間隔時間長であってもよいが、ＡＩエージェントの対話のターンに対するユーザー９００の応答の対話のターン間の間隔時間長であることに限定されてもよい（対話のターン間の間隔時間長が大きく変化するのは多くの場合ユーザー９００の応答時であると考えられるため）。

【0153】

なお、前述の「対話のターン」を求める処理の方法は、ユーザー側提示装置２００やオペレーター側提示装置３００のセンサ部より取得された音声データから、発話音声のパワー情報をもとに自動的に無音区間を抽出し、所定の時間より長い無音によって区切られた一連の音声区間である間休止単位ＩＰＵ（Inter-Pausal Unit）の基準を用いて成されてもよい。また、前記対話のターンを求める処理の実施は、前記音声データを受信した対話制御サーバ１００が備える前述の対話エンジン（ＡＩ）の入力理解部により行われてよいが、ユーザー側提示装置２００やオペレーター側提示装置３００の制御部において行われても構わない。

【0154】

アラート対話転移先選定部１９７は、上記の方法に従い、転移させるユーザー９００（すなわち、対話支援の必要性が生じたユーザー９００）に対応する識別情報と、その転移先となるオペレーター８００に対応する識別情報を対話転移部１９８へ送信する。

【0155】

対話転移部１９８は、アラート対話転移先選定部１９７から、転移させるユーザー９００に対応する識別情報と移転先のオペレーター８００に対応する識別情報とを受信し、転移させるユーザー９００に対応する識別情報と転移先として選定されたオペレーター８００に対応する識別情報とを対応させる（すなわち、前記転移させるユーザー９００の担当者を前記転移先として選定されたオペレーター８００へ設定変更させる）。

【0156】

さらに、対話転移部１９８は、前記転移させるユーザー９００の対話情報と前記転移させるユーザー９００に対応する識別情報と転移元のオペレーター８００に対応する識別情報とを前記転移先として選定されたオペレーター８００が使用するオペレーター側提示装置３００へ送信する。また、対話転移部１９８は、前記転移させるユーザー９００に対応する識別情報と転移先のオペレーター８００に対応する識別情報とを転移元のオペレーター８００が使用するオペレーター側提示装置３００へ送信する。

【0157】

転移元のオペレーター８００が使用するオペレーター側提示装置３００において、通信部３１０は、対話転移部１９８（対話制御サーバ１００）から前記転移させるユーザー９００に対応する識別情報と転移元のオペレーター８００に対応する識別情報とを受信する。

【0158】

制御部３３０は、前記転移させるユーザー９００に対応する識別情報に基づいて、前記転移させるユーザー９００に応じた提示部３５０による提示を制御する。さらに、制御部３３０は、転移元のオペレーター８００に対応する識別情報に基づいて、転移元のオペレーター８００に応じた提示部３５０による提示を制御する。

【0159】

図１１は、転移元のオペレーター８００Ａが使用するオペレーター側提示装置３００における転移させるユーザー９００Ｂに応じた提示制御の例を示す図である。図１１を参照すると、提示部３５０によって画面Ａ５０が提示され、画面Ａ５０に、オペレーターメイン情報エリアＡ５０１、サムネイル情報エリアＡ５０２、及び、アラート情報Ａ５０３が、提示されている。

【0160】

図１１に図示した例では、オペレーター８００Ａはユーザー９００Ａ～９００Ｃの３名のユーザー９００を担当しているため、３つのサムネイル表示Ａ５０２Ａ～Ａ５０２Ｃが、サムネイル情報エリアＡ５０２に画面表示されている。しかし、ユーザー９００Ｂに対話支援の必要性が生じたために、ユーザー９００Ｂに対応する識別情報が前記転移させるユーザー９００Ｂに対応する識別情報として対話転移部１９８（対話制御サーバ１００）から送信される。

【0161】

転移元のオペレーター８００Ａが使用するオペレーター側提示装置３００において、制御部３３０は、前記転移させるユーザー９００Ｂに対応する識別情報に基づいて、前記転移させるユーザー９００Ｂに応じた提示部３５０による提示を制御する。さらに、制御部３３０は、前記転移先のオペレーター８００Ｂに対応する識別情報に基づいて、前記転移先のオペレーター８００Ｂに応じた提示部３５０による提示を制御する。

【0162】

図１１に示されたように、制御部３３０は、前記転移させるユーザー９００Ｂに対応する（ユーザー９００ＢとＡＩエージェントとの対話情報を含んだ）サムネイル情報エリアＡ５０２Ｂの提示の態様を、転移させないユーザー９００Ａおよび９００Ｃに対応するサムネイル情報エリアＡ５０２Ａ、Ａ５０２Ｃの提示の態様と異ならせることによって、前記転移させるユーザー９００Ｂに応じた提示部３５０による提示を制御してもよい。たとえば、制御部３３０は、形、色、動き、大きさ、透過性またはそれらのいずれか２つ以上の組合せを異ならせることによって、提示の態様を異ならせてもよい。

【0163】

また、制御部３３０は、前記転移先のオペレーター８００Ｂに対応する識別情報「オペレーター８００Ｂ」を提示部３５０に提示させることによって、前記転移先のオペレーター８００Ｂに応じた提示部３５０による提示を制御してもよい。たとえば、図１１に示されたように、制御部３３０は、前記転移先のオペレーター８００Ｂへの転移を示す情報「オペレーター８００Ｂへ転移」を提示部３５０に提示させることによって、前記転移先のオペレーター８００Ｂに応じた提示部３５０による提示を制御してもよい。

【0164】

一方、前記転移先として選定されたオペレーター８００が使用するオペレーター側提示装置３００において、通信部３１０は、対話転移部１９８（対話制御サーバ１００）から転移されるユーザー９００（すなわち、前記転移させるユーザー９００）の対話情報と前記転移させるユーザー９００に対応する識別情報と転移元のオペレーター８００に対応する識別情報とを受信する。

【0165】

制御部３３０は、前記転移されるユーザー９００に対応する識別情報に基づいて、前記転移させるユーザー９００に応じた提示部３５０による提示を制御する。さらに、制御部３３０は、転移元のオペレーター８００に対応する識別情報に基づいて、転移元のオペレーター８００に応じた提示部３５０による提示を制御する。また、制御部３３０は、前記転移されるユーザー９００の対話情報の提示部３５０による提示を制御する。

【0166】

図１２は、転移先のオペレーター８００Ａが使用するオペレーター側提示装置３００における転移されるユーザー９００Ｂに応じた提示制御の例を示す図である。図１２を参照すると、提示部３５０によって画面Ａ５０が提示され、画面Ａ５０に、オペレーターメイン情報エリアＡ５０１、及び、サムネイル情報エリアＡ５０２が、提示されている。

【0167】

図１２に図示した例では、オペレーター８００Ｂはユーザー９００Ｄ～９００Ｆの３名のユーザー９００を担当しているため、３つのサムネイル表示Ａ５０２Ｄ～Ａ５０２Ｆが、サムネイル情報エリアＡ５０２に画面表示されている。しかし、ユーザー９００Ｂに対話支援の必要性が生じたために、ユーザー９００Ｂに対応する識別情報が前記転移させるユーザー９００Ｂに対応する識別情報として対話転移部１９８（対話制御サーバ１００）から送信される。

【0168】

転移先のオペレーター８００Ｂが使用するオペレーター側提示装置３００において、制御部３３０は、前記転移されるユーザー９００Ｂに対応する識別情報に基づいて、前記転移されるユーザー９００Ｂに応じた提示部３５０による提示を制御する。さらに、制御部３３０は、前記転移元のオペレーター８００Ａに対応する識別情報に基づいて、前記転移元のオペレーター８００Ａに応じた提示部３５０による提示を制御する。また、制御部３３０は、前記転移されるユーザー９００Ｂの対話情報の提示部３５０による提示を制御する。

【0169】

図１２に示されたように、制御部３３０は、前記転移されるユーザー９００Ｂに対応する（ユーザー９００ＢとＡＩエージェントとの対話情報を含んだ）サムネイル情報エリアＡ５０２Ｂをサムネイル情報エリアＡ５０２に追加してもよい。このとき、制御部３３０は、前記転移されるユーザー９００Ｂに対応するサムネイル情報エリアＡ５０２Ｂの提示の態様を、オペレーター８００Ｂによって元々担当されていたユーザー９００Ｄ～９００Ｆに対応するサムネイル情報エリアＡ５０２Ｄ～Ａ５０２Ｆの提示の態様と同様にしてもよい。

【0170】

しかし、制御部３３０は、前記転移されるユーザー９００Ｂに対応するサムネイル情報エリアＡ５０２Ｂの提示の態様を、オペレーター８００Ｂによって元々担当されていたユーザー９００Ｄ～９００Ｆに対応するサムネイル情報エリアＡ５０２Ｄ～Ａ５０２Ｆの提示の態様と異ならせることによって、前記転移されるユーザー９００Ｂに応じた提示部３５０による提示を制御するのが好ましい。これによって、転移されたユーザー９００Ｂの対話情報と元々担当されていたユーザー９００Ｄ～９００Ｆの対話情報とが容易に区別され得る。たとえば、制御部３３０は、形、色、動き、大きさ、透過性またはそれらのいずれか２つ以上の組合せを異ならせることによって、提示の態様を異ならせてもよい。

【0171】

以上により、前記転移先として選定されたオペレーター８００（転移先のオペレーター８００）が前記転移させたユーザー９００の対話情報を取得できるようになり、必要に応じて、前記転移先として選定されたオペレーター８００が前記転移させたユーザー９００を対話支援できるようになる。すなわち、複数のオペレーター８００が、状況に応じて、複数のユーザー９００の担当を動的にリソース分担できる機能・システムが実現される。

【0172】

なお、上述の本発明の実施形態では、ユーザー側提示装置２００のセンサ部２６０が計測したユーザー９００のセンサデータからユーザー反応推定情報を生成する場合を主に想定した。しかし、変形例として、本発明の実施形態が想定する対話システムは、オペレーター側提示装置３００のセンサ部３６０が計測したオペレーター８００のセンサデータからオペレーターの反応推定情報（以下、「オペレーター反応推定情報」）を同様に生成し、利用しても構わない。それにより、前述の通り、たとえば、オペレーター反応推定情報として各オペレーター８００の困惑度、メンタルストレス、集中度、疲労感（もしくは身体・精神活動や作業能率の低下に対応する疲労度）などを情報として利用可能になる。アラート対話転移先選定部１９７は、オペレーター反応推定情報に基づいて、ユーザー９００の対話情報の転移先選定を行っても構わない（たとえば、より疲労度が低いオペレーター８００を選定）。

【0173】

続いて、図１３を参照して、本実施形態に係る情報通信システムの動作の例を説明する。図１３は、本実施形態に係る情報通信システムの動作フローの一例を示す説明図である。なお、図１３では、紙面のスペースの関係上、エージェントを「Ａｇ」と表記している。たとえば、ＡＩエージェントを「ＡＩＡｇ」と表記し、人操作エージェントを「人操作Ａｇ」と表記する。

【0174】

ユーザー側提示装置２００は、ＡＩエージェントを提示する。そして、図１３に示したように、ユーザーとＡＩエージェントとの間の対話が開始される（ステップＳ１１０１）。ユーザーからの対話データ及びＡＩエージェントからの対話データは、対話制御サーバ１００からユーザー側提示装置２００に送信され（Ｓ１１０３）、ユーザー側提示装置２００において、ユーザーからの対話情報及びＡＩエージェントからの対話情報が提示される。

【0175】

ユーザーからの対話データ及びＡＩエージェントからの対話データは、対話制御サーバ１００からオペレーター側提示装置３００にも送信され（Ｓ１１０５）、オペレーター側提示装置３００において、ユーザーからの対話情報及びＡＩエージェントからの対話情報が提示される（Ｓ１１０９）。対話制御サーバ１００においては、ユーザーの対話データからユーザーの意図を推定し、推定した意図に基づいてＡＩエージェントからの対話データを生成する処理が開始される（Ｓ１１０７）。

【0176】

ここで、対話制御サーバ１００において、ユーザーの意図の推定を誤り、それが原因となってＡＩエージェントからの対話データがユーザーからの対話データと合っていない不適切対話が発生したとする（Ｓ１１１１）。オペレーター側提示装置３００においては、ユーザーからの対話情報及びＡＩエージェントからの対話情報が提示されており、オペレーターによって監視されているため、オペレーターは、不適切対話の発生に気づくことができる。オペレーターは、人操作エージェントの操作を開始する（Ｓ１１１３）。

【0177】

たとえば、オペレーターが、正しい意図を指定する操作を入力すると、オペレーター側提示装置３００は、正しい意図を指定する操作を示す操作データを対話制御サーバ１００に送信する（Ｓ１１１５）。さらに、正しい意図を指定する操作を示す操作データは、対話制御サーバ１００からユーザー側提示装置２００に送信される（Ｓ１１１７）。対話制御サーバ１００は、正しい意図を指定する操作を示す操作データを受信すると、ユーザーの意図を正しい意図に修正する（Ｓ１１１９）。

【0178】

ユーザー側提示装置２００は、正しい意図を指定する操作を示す操作データを受信すると、正しい意図に基づいて、人操作エージェントからＡＩエージェントに向けた対話情報を提示する（Ｓ１１２１）。さらに、ユーザー側提示装置２００は、ＡＩエージェントから人操作エージェントに向けた、意図の修正処理に応じたメッセージを提示する。

【0179】

その後、ユーザー側提示装置２００は、正しい意図に基づいて生成し直された対話情報を対話制御サーバ１００から受信し、受信した対話情報をＡＩエージェントに関連付けて提示する。さらに、ユーザー側提示装置２００は、人操作エージェントの役目はひとまず終わったとして、対話制御サーバ１００による制御に従って、人操作エージェントをＡＩエージェントから遠ざけてもよい（たとえば、人操作エージェントを画面の外に移動させてもよい）（Ｓ１１２３）。

【0180】

ユーザーからの対話データ及びＡＩエージェントからの対話データは、対話制御サーバ１００からユーザー側提示装置２００に送信され（Ｓ１１２５）、ユーザー側提示装置２００において、ユーザーからの対話情報及びＡＩエージェントからの対話情報が提示される。さらに、ユーザーからの対話データ及びＡＩエージェントからの対話データは、対話制御サーバ１００からオペレーター側提示装置３００にも送信され（Ｓ１１２７）、オペレーター側提示装置３００において、ユーザーからの対話情報及びＡＩエージェントからの対話情報が提示される。

【0181】

ユーザーとＡＩエージェントとの対話が終了すると（Ｓ１１２９）、ユーザー側提示装置２００から対話制御サーバ１００に終了メッセージが送信される（Ｓ１１３１）。終了メッセージは、対話制御サーバ１００からオペレーター側提示装置３００に送信される（Ｓ１１３３）。なお、ユーザーとＡＩエージェントとの対話の終了はどのように検出されてもよい。たとえば、ユーザーとＡＩエージェントとの対話の終了は、ユーザー側提示装置２００における実行が想定される各種のタスクが終了したことによって検出されてもよい。たとえば、ユーザーとＡＩエージェントとの対話の終了は、ユーザー側提示装置２００の前からユーザーがいなくなり、同じ画面が表示されたまま一定時間が経過したことによって検出されてもよい。

【0182】

対話制御サーバ１００は、終了メッセージを受信すると、ユーザーの対話データからユーザーの意図を推定し、推定した意図に基づいてＡＩエージェントからの対話データを生成する処理を終了する（Ｓ１１３５）。一方、オペレーター側提示装置３００は、終了メッセージを受信すると、ユーザーからの対話情報及びＡＩエージェントからの対話情報の提示を終了する（Ｓ１１３７）。対話制御サーバ１００においては、ユーザーからの対話データに対応する発話語・文の１または複数の候補と、正しい意図とに基づいて、意図推定に用いる学習済モデルや識別器を再学習する（Ｓ１１３９）。

【0183】

続いて、図１４を参照して、対話支援を行うオペレーターの転移の動作の例を説明する。図１４は、本実施形態に係る情報通信システムのアラート対話分配管理部１９５および要支援ユーザー検出部１９１の動作フローの一例を示す説明図である。まず、要支援ユーザー検出部１９１は、反応推定部１９２により生成されたユーザー反応推定情報を受信し、オペレーター８００が優先して対応すべきユーザー９００を判定する処理を行う（ステップＳ１２０１）。

【0184】

要支援ユーザー検出部１９１は、オペレーター８００が優先して対応すべきユーザー９００の発生を検出しない場合には（ステップＳ１２０１において「ＮＯ」）、対話支援を行うオペレーターの転移の動作を終了する。一方、要支援ユーザー検出部１９１は、オペレーター８００が優先して対応すべきユーザー９００の発生を検出した場合には（ステップＳ１２０１において「ＹＥＳ」）、前記優先して対応すべきユーザー９００の情報をアラート対話分配管理部１９５へ送信する。

【0185】

オペレーター支援状況判定部１９６は、前記優先して対応すべきユーザーを担当するオペレーターが対話支援中であるか否かを判定する（ステップＳ１２０３）。オペレーター支援状況判定部１９６によって、前記優先して対応すべきユーザーを担当するオペレーターが対話支援中ではないと判定された場合（ステップＳ１２０３において「ＮＯ」）、前記優先して対応すべきユーザーを担当しているオペレーターが状況判断して対話支援を開始する（ステップＳ１２０５）。そして、対話支援を行うオペレーターの転移の動作が終了する。

【0186】

一方、オペレーター支援状況判定部１９６によって、前記優先して対応すべきユーザーを担当するオペレーターが対話支援中であると判定された場合（ステップＳ１２０３において「ＹＥＳ」）、アラート対話転移先選定部１９７は、前記優先して対応すべきユーザーの担当と対話情報との転移先となる別のオペレーターを選定する（ステップＳ１２０７）。対話転移部１９８は、アラート対話転移先選定部１９７によって選定された別のオペレーターへ前記優先して対応すべきユーザーの担当と対話情報とを転移させる（ステップＳ１２０９）。そして、対話支援を行うオペレーターの転移の動作が終了する。

【0187】

（２．まとめ）
以上のように、本発明の実施形態によれば、推定エンジンの性能が低くても、ユーザーの意図に合わせた適切な対話応答を行うことが可能な対話システムが実現される。

【0188】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0189】

たとえば、本発明の実施形態に係る情報通信システムが備える各構成は、上記した通りに配置されなくてもよい。たとえば、上記において対話制御サーバ１００が備えるとして説明した機能の一部は、対話制御サーバ１００の代わりに、ユーザー側提示装置２００が備えてもよい。たとえば、ＡＩエージェント制御部１４０、人操作エージェント制御部１５０及びエージェント間対話制御部１６０の少なくとも一部は、対話制御サーバ１００の代わりに、ユーザー側提示装置２００が備えてもよい。また、意図学習部１７０は、対話制御サーバ１００とは異なるサーバが備えていてもよい。

【0190】

上記では、人操作エージェントからの対話情報が、システムによって生成された対話情報（たとえば、合成音声など）である場合を主に想定した。しかし、人操作エージェントからの対話情報は、オペレーターによってリアルタイムに入力された音声であってもよい。あるいは、人操作エージェントからの対話情報は、オペレーターによってリアルタイムに入力されたテキストであってもよい。

【0191】

なお、上述の本発明の実施形態では、対話システムが意図推論部１８０を備え、ユーザー９００の意図を推定してユーザー意図推定情報を生成する場合を主に想定した。しかし、変形例として、本発明の実施形態が想定する対話システムは、「意図」だけでなく、対話上で発生し得る各種の状況（以下、「対話状況」）に関わる情報を推定・生成し、本発明の実施形態に係る対話システムにおける対話支援に用いても構わない。

【0192】

一例として、前記対話状況はユーザーの「感情」であって、対話における意図推定情報の代わりに感情推定情報が扱われ、意図学習部１７０及び意図推論部１８０は、感情学習部１７０及び感情推論部１８０であっても構わない。この時、本発明の実施形態に係る修正処理も感情推定情報に対して行われる。

【0193】

なお、前記対話状況がユーザーの感情である場合に、感情の推定処理に前述の反応推定部１９２の機能を一部利用しても構わない。

【0194】

推定される対話状況が意図ではなく感情であった場合のインタラクションの具体例の１つを次に示す。本発明の実施形態に係るシステムに対する、ユーザー９００の「○○○へ行ったのに、閉まっていて、悲しかった」という正解感情“Ｎｅｇａｔｉｖｅ”の入力に対して、前記システムによる誤った推定感情情報“Ｐｏｓｉｔｉｖｅ”が生成されてしまい、前記誤った推定感情情報に基づきＡＩエージェントが「それは楽しそうだね」と適切ではない対話が交わされた場合、オペレーター８００の指定操作に基づき推定感情情報が“Ｎｅｇａｔｉｖｅ”に修正され、ペアエージェントの修正対話情報提示の後、ＡＩエージェントが「それは残念だったね」と修正後の推定感情情報“Ｐｏｓｉｔｉｖｅ”に基づく回答を情報提示するようにしてもよい。

【0195】

ユーザーの感情は、主として前記ユーザーに関わる対話データに基づいて推定されることを想定するが、ユーザー側提示装置２００のセンサ部２６０から取得される、ユーザー９００の行動や生理反応のデータに基づいて推定されてもよい。対話中の言語または各種非言語情報からのマルチモーダル感情推定の方法は、複数の既存文献で公開されている（たとえば、有本・岡ノ谷、２０１５、対面対話における感情の自動推定に向けたマルチモーダル特徴量の検討、音声研究、１９（１）、ｐｐ．５３－６７）。

【0196】

上記変形例の説明をまとめると、本発明の実施形態に係るシステムは、意図推定情報や感情推定情報を含む、ユーザーの対話状況に関わる情報を学習・推定の対象とする、「対話状況推定部」を（意図推定部に代わり）有していてもよい。

【0197】

上記では、１名のオペレーターに対し複数名のユーザーが存在する環境を想定して説明を行った。しかしながら、オペレーターが担当するユーザーが複数でなく１名であった場合でも、本発明の実施形態により、オペレーターが対話相手のユーザー反応に関わる情報を入手しやすくなるという、オペレーターのユーザー対話支援効果がある。すなわち、本発明の実施形態は、オペレーターとユーザーが１対多の環境に限定されず、オペレーターとユーザーが１対１の環境で実現されてもよい。

【0198】

上記では、要支援ユーザー検出部１９１が、複数のユーザーに対する優先付けを行う例について主に説明したが、要支援ユーザー検出部１９１は、１名のユーザーに対する優先付けを行ってもよい。このとき、反応推定部１９２は、１名のユーザーのセンサデータに基づいてユーザー反応推定情報を生成する。要支援ユーザー検出部１９１は、ユーザー反応推定情報に基づき、その１名のユーザーをオペレーター８００が対応すべきか否かを判定する。オペレーター８００が対応すべきという判定によって、対応すべきことを示す優先度がそのユーザーに付される。一方、オペレーター８００が対応しなくてよいという判定によって、対応しなくてよいことを示す優先度がそのユーザーに付される。

【0199】

すなわち、その１名のユーザーをオペレーター８００が対応すべきか否かの判定は、その１名のユーザーに対する優先付けの例に該当する。その１名のユーザーに対する優先付けは、その１名のユーザーの対話情報（ユーザーとＡＩエージェントとの対話情報）に対する優先付けを意味し得る。１名のユーザーをオペレーター８００が対応すべきか否かの判定は、ユーザーが複数である場合と同様に行われてよい。すなわち、要支援ユーザー検出部１９１による、前述のユーザー反応推定情報に基づく高次情報のいずれか１つまたは２つ以上の組み合わせに基づいて実施されてもよい。

【0200】

具体例として、要支援ユーザー検出部１９１は、ユーザー反応推定情報がネガティブ感情の強度である場合には、対話中の所定の時間区間内における、ネガティブ感情の強度の代表値、積分値もしくは実効値、ネガティブ感情の強度がある値を上回る頻度（発生頻度）、または、ネガティブ感情の強度がある値を継続して上回る時間（継続時間）が、所定の閾値を超えた場合、その１名のユーザーをオペレーター８００が対応すべきであると判定してもよい。なお、ユーザーが複数である場合と同様に、ユーザー反応推定情報は、ユーザーのネガティブ感情の強度に限定されない。

【0201】

要支援ユーザー検出部１９１は、このようにして１名のユーザーをオペレーター８００が対応すべきと判定した場合、その１名のユーザーに関わるアラート（警告）情報をオペレーター側提示装置３００に送信するように通信部１１０を制御する。オペレーター側提示装置３００において、制御部３３０は、通信部３１０によって受信されたアラート（警告）情報を提示するように提示部３５０を制御する。アラート（警告）情報の提示は、オペレーター８００に注意を促す所定の表示または所定の警告音の出力であってもよい。特に、ユーザーが１名の場合には、サムネイル情報エリアＡ５０２が表示されておらず、その１名のユーザーに対応する各種情報（Ａ４０１～Ａ４０８）を含んだ画面Ａ４０（図８）が初めから表示されていることが想定されるため、画面Ａ４０（図８）の一部または全体の色の変更や動き（時系列情報変化）の付与などによって、オペレーター８００に注意を促す所定の表示が出力されてもよい。

【符号の説明】

【0202】

１００ 対話制御サーバ
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１４０ ＡＩエージェント制御部
１５０ 人操作エージェント制御部
１６０ エージェント間対話制御部
１６１ 修正対話提示部
１７０ 意図学習部
１７１ 意図修正学習部
１８０ 意図推論部
１９０ ユーザー反応観測部
１９１ 支援ユーザー検出部
１９２ 反応推定部
１９５ アラート対話分配管理部
１９６ オペレーター支援状況判定部
１９７ アラート対話転移先選定部
１９８ 対話転移部
２００ ユーザー側提示装置
２１０ 通信部
２２０ 記憶部
２３０ 制御部
２４０ 入力部
２５０ 提示部
２６０ センサ部
３００ オペレーター側提示装置
３１０ 通信部
３２０ 記憶部
３３０ 制御部
３４０ 入力部
３５０ 提示部
３６０ センサ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】