ホーム > 特許ランキング > 株式会社コトバデザイン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022072949
(43)【公開日】2022-05-17
(54)【発明の名称】プログラム、方法、情報処理装置、及びシステム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20220510BHJP
H04M 3/56 20060101ALI20220510BHJP
【ＦＩ】
G06Q50/10
H04M3/56 Z
【審査請求】未請求
【請求項の数】30
【出願形態】ＯＬ
(21)【出願番号】P 2020182664
(22)【出願日】2020-10-30
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、総務省、「高度対話エージェント技術の研究開発・実証」委託事業、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】517303292
【氏名又は名称】株式会社コトバデザイン
(74)【代理人】
【識別番号】110002815
【氏名又は名称】ＩＰＴｅｃｈ特許業務法人
(72)【発明者】
【氏名】栄藤 稔
(72)【発明者】
【氏名】古谷 利昭
(72)【発明者】
【氏名】山上 勝義
(72)【発明者】
【氏名】木村 敏宏
【テーマコード（参考）】
5K201
5L049
【Ｆターム（参考）】
5K201BB10
5K201BC19
5K201BC30
5K201CB16
5K201DC04
5K201DC05
5K201DC07
5K201EC06
5K201EF03
5K201EF10
5L049CC11
(57)【要約】 （修正有）
【課題】遠隔通信におけるユーザの利便性を向上させるプログラムを提供する。
【解決手段】プログラムが実行される端末装置１０－１において、助言制御部１８３は、端末装置１０－１と他の端末装置１０－２～１０－４のいずれかとの通信において、端末装置１０－１又は他の端末装置１０－２～１０－４のいずれからか入力されるメッセージを認識する。認識されたメッセージに対し、端末装置１０－１から他の端末１０－２～１０－４のいずれかへのメッセージ又は他の端末１０－２～１０－４のいずれかから端末１０－１へのメッセージについての分析の結果に基づき、端末１０－１のユーザ１へのサポートが必要か否かを判定し、必要と判定する場合、分析の結果に基づき、端末１０－１のユーザ１に対する助言を与える助言内容を生成する。
【選択図】図４
【解決手段】プログラムが実行される端末装置１０－１において、助言制御部１８３は、端末装置１０－１と他の端末装置１０－２～１０－４のいずれかとの通信において、端末装置１０－１又は他の端末装置１０－２～１０－４のいずれからか入力されるメッセージを認識する。認識されたメッセージに対し、端末装置１０－１から他の端末１０－２～１０－４のいずれかへのメッセージ又は他の端末１０－２～１０－４のいずれかから端末１０－１へのメッセージについての分析の結果に基づき、端末１０－１のユーザ１へのサポートが必要か否かを判定し、必要と判定する場合、分析の結果に基づき、端末１０－１のユーザ１に対する助言を与える助言内容を生成する。
【選択図】図４
【特許請求の範囲】
【請求項1】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
第１者と第２者との遠隔通信において、前記第１者又は前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記第１者から前記第２者へのメッセージ、又は前記第２者から前記第１者へのメッセージについての前記分析の結果に基づき、前記第１者へのサポートが必要か否かを判定するステップと、
必要と判定する場合、前記分析の結果に基づき、前記第１者に対する助言を与える助言内容を生成するステップと
を実行させるプログラム。
第１者と第２者との遠隔通信において、前記第１者又は前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記第１者から前記第２者へのメッセージ、又は前記第２者から前記第１者へのメッセージについての前記分析の結果に基づき、前記第１者へのサポートが必要か否かを判定するステップと、
必要と判定する場合、前記分析の結果に基づき、前記第１者に対する助言を与える助言内容を生成するステップと
を実行させるプログラム。
【請求項2】
前記メッセージを分析するステップにおいて、前記第１者又は前記第２者から発せられたメッセージの意図を解釈し、
前記サポートの要否を判定するステップにおいて、前記解釈した意図と、メッセージの履歴とに基づき、前記第１者へのサポートが必要か否かを判定し、
前記助言内容を生成するステップにおいて、前記解釈した意図と、前記メッセージの履歴とに基づき、前記助言内容を生成する請求項１記載のプログラム。
前記サポートの要否を判定するステップにおいて、前記解釈した意図と、メッセージの履歴とに基づき、前記第１者へのサポートが必要か否かを判定し、
前記助言内容を生成するステップにおいて、前記解釈した意図と、前記メッセージの履歴とに基づき、前記助言内容を生成する請求項１記載のプログラム。
【請求項3】
前記メッセージを分析するステップにおいて、解釈可能な意図の種類は予め登録可能である請求項２記載のプログラム。
【請求項4】
前記メッセージを分析するステップにおいて、前記第１者又は前記第２者から発せられたメッセージに含まれる固有名詞を抽出し、
前記サポートの要否を判定するステップにおいて、前記抽出した固有名詞に基づき、前記第１者へのサポートが必要か否かを判定し、
前記助言内容を生成するステップにおいて、前記抽出した固有名詞に基づき、前記助言内容を生成する請求項１乃至３のいずれかに記載のプログラム。
前記サポートの要否を判定するステップにおいて、前記抽出した固有名詞に基づき、前記第１者へのサポートが必要か否かを判定し、
前記助言内容を生成するステップにおいて、前記抽出した固有名詞に基づき、前記助言内容を生成する請求項１乃至３のいずれかに記載のプログラム。
【請求項5】
前記助言内容を生成するステップにおいて、前記分析の結果に基づき、難解な固有名詞を説明するための助言内容を生成する請求項１乃至４のいずれかに記載のプログラム。
【請求項6】
前記助言内容を生成するステップにおいて、前記分析の結果に基づき、スケジュールに関する助言内容を生成する請求項１乃至４のいずれかに記載のプログラム。
【請求項7】
前記助言内容を生成するステップにおいて、前記分析の結果に基づき、会議の進行を手助けする助言内容を生成する請求項１乃至４のいずれかに記載のプログラム。
【請求項8】
前記第１者から前記第２者へのメッセージの出力を停止するステップを前記プロセッサに実行させ、
前記助言内容を生成するステップにおいて、前記第１者から前記第２者へのメッセージの出力を停止している間に前記第１者から入力されるメッセージに基づいて、前記助言内容を生成する請求項１乃至４のいずれかに記載のプログラム。
前記助言内容を生成するステップにおいて、前記第１者から前記第２者へのメッセージの出力を停止している間に前記第１者から入力されるメッセージに基づいて、前記助言内容を生成する請求項１乃至４のいずれかに記載のプログラム。
【請求項9】
前記第１者から前記第２者へのメッセージの出力を停止している間に、複数存在する第２者のうちいずれかの指定を受け付けるステップと、
前記助言内容を前記指定された第２者へ送信するステップと
を前記プロセッサに実行させる請求項８記載のプログラム。
前記助言内容を前記指定された第２者へ送信するステップと
を前記プロセッサに実行させる請求項８記載のプログラム。
【請求項10】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
第１者との遠隔通信に参加する第２者の画像を表示するステップと、
前記第２者からのメッセージを分析して生成される、前記第１者に対する助言を与える助言内容を、前記第２者の画像と関連付けて表示するステップと
を実行させるプログラム。
第１者との遠隔通信に参加する第２者の画像を表示するステップと、
前記第２者からのメッセージを分析して生成される、前記第１者に対する助言を与える助言内容を、前記第２者の画像と関連付けて表示するステップと
を実行させるプログラム。
【請求項11】
前記第２者の画像を表示するステップにおいて、前記第１者との音声会話に参加する前記第２者の画像を表示し、
前記助言内容を表示するステップにおいて、前記第２者から入力される音声を分析して生成される助言内容を、前記第２者の画像と関連付けて表示する請求項１０記載のプログラム。
前記助言内容を表示するステップにおいて、前記第２者から入力される音声を分析して生成される助言内容を、前記第２者の画像と関連付けて表示する請求項１０記載のプログラム。
【請求項12】
前記助言内容の属性を識別可能な画像を表示するステップを前記プロセッサに実行させる請求項１０又は１１に記載のプログラム。
【請求項13】
前記第１者から前記第２者へのメッセージの出力を停止させるためのアイコンを表示するステップを前記プロセッサに実行させ、
前記助言内容を表示するステップにおいて、前記第１者から前記第２者へのメッセージの出力を停止している間に、前記第１者から入力されるメッセージが分析されて生成される助言内容を表示する請求項１０乃至１２のいずれかに記載のプログラム。
前記助言内容を表示するステップにおいて、前記第１者から前記第２者へのメッセージの出力を停止している間に、前記第１者から入力されるメッセージが分析されて生成される助言内容を表示する請求項１０乃至１２のいずれかに記載のプログラム。
【請求項14】
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、
第１者と第２者との遠隔通信において、前記第１者又は前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記第１者から前記第２者へのメッセージ、又は前記第２者から前記第１者へのメッセージについての前記分析の結果に基づき、前記第１者へのサポートが必要か否かを判定するステップと、
必要と判定する場合、前記分析の結果に基づき、前記第１者に対する助言を与える助言内容を生成するステップと
を実行する方法。
第１者と第２者との遠隔通信において、前記第１者又は前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記第１者から前記第２者へのメッセージ、又は前記第２者から前記第１者へのメッセージについての前記分析の結果に基づき、前記第１者へのサポートが必要か否かを判定するステップと、
必要と判定する場合、前記分析の結果に基づき、前記第１者に対する助言を与える助言内容を生成するステップと
を実行する方法。
【請求項15】
プロセッサと、メモリとを備える情報処理装置であって、
前記プロセッサが、
第１者と第２者との遠隔通信において、前記第１者又は前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記第１者から前記第２者へのメッセージ、又は前記第２者から前記第１者へのメッセージについての前記分析の結果に基づき、前記第１者へのサポートが必要か否かを判定するステップと、
必要と判定する場合、前記分析の結果に基づき、前記第１者に対する助言を与える助言内容を生成するステップと
を実行する情報処理装置。
前記プロセッサが、
第１者と第２者との遠隔通信において、前記第１者又は前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記第１者から前記第２者へのメッセージ、又は前記第２者から前記第１者へのメッセージについての前記分析の結果に基づき、前記第１者へのサポートが必要か否かを判定するステップと、
必要と判定する場合、前記分析の結果に基づき、前記第１者に対する助言を与える助言内容を生成するステップと
を実行する情報処理装置。
【請求項16】
第１者と第２者との遠隔通信において、前記第１者又は前記第２者から入力されるメッセージを認識する手段と、
前記認識されたメッセージを分析する手段と、
前記第１者から前記第２者へのメッセージ、又は前記第２者から前記第１者へのメッセージについての前記分析の結果に基づき、前記第１者へのサポートが必要か否かを判定する手段と、
必要と判定する場合、前記分析の結果に基づき、前記第１者に対する助言を与える助言内容を生成する手段と
を具備するシステム。
前記認識されたメッセージを分析する手段と、
前記第１者から前記第２者へのメッセージ、又は前記第２者から前記第１者へのメッセージについての前記分析の結果に基づき、前記第１者へのサポートが必要か否かを判定する手段と、
必要と判定する場合、前記分析の結果に基づき、前記第１者に対する助言を与える助言内容を生成する手段と
を具備するシステム。
【請求項17】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
第１者と第２者との遠隔通信において、前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記分析の結果に基づき、前記メッセージの内容に関する情報を前記第１者に対して生成するステップと、
前記分析の結果に基づき、前記メッセージに対する応答内容を前記第２者に対して生成するステップと、
前記第２者から入力されるメッセージの代わりに、前記メッセージの内容に関する情報を前記第１者へ提示するステップと、
前記メッセージに対する応答内容を前記第２者へ提示するステップと
を実行させるプログラム。
第１者と第２者との遠隔通信において、前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記分析の結果に基づき、前記メッセージの内容に関する情報を前記第１者に対して生成するステップと、
前記分析の結果に基づき、前記メッセージに対する応答内容を前記第２者に対して生成するステップと、
前記第２者から入力されるメッセージの代わりに、前記メッセージの内容に関する情報を前記第１者へ提示するステップと、
前記メッセージに対する応答内容を前記第２者へ提示するステップと
を実行させるプログラム。
【請求項18】
前記メッセージの内容に関する情報を生成するステップにおいて、前記分析の結果に基づき、前記メッセージの内容をまとめた文を生成する請求項１７記載のプログラム。
【請求項19】
前記メッセージの内容に関する情報を生成するステップにおいて、前記分析の結果に基づき、前記メッセージの翻訳文を生成する請求項１７記載のプログラム。
【請求項20】
前記第１者及び前記第２者が、以前に参加した遠隔通信の記録に基づき、前記第１者又は前記第２者の正当性を確認するための質問を生成するステップを前記プロセッサに実行させる請求項１７乃至１９のいずれかに記載のプログラム。
【請求項21】
前記質問に対する前記第１者又は前記第２者の回答を利用し、前記遠隔通信の記録を修正するステップを前記プロセッサに実行させる請求項２０記載のプログラム。
【請求項22】
前記メッセージの内容に関する情報を生成するステップにおいて、前記第１者からの指示に応じた処理を実施する請求項１８又は１９に記載のプログラム。
【請求項23】
前記第１者から入力されるメッセージを認識するステップと、
前記第１者から前記第２者へのメッセージ、又は前記第２者から前記第１者へのメッセージについての前記分析の結果に基づき、前記第１者へのサポートが必要か否かを判定するステップと、
必要と判定する場合、前記分析の結果に基づき、前記第１者に対する助言を与える助言内容を生成するステップと、
前記助言内容を前記第１者へ提示するステップと
を前記プロセッサに実行させる請求項１７乃至２２のいずれかに記載のプログラム。
前記第１者から前記第２者へのメッセージ、又は前記第２者から前記第１者へのメッセージについての前記分析の結果に基づき、前記第１者へのサポートが必要か否かを判定するステップと、
必要と判定する場合、前記分析の結果に基づき、前記第１者に対する助言を与える助言内容を生成するステップと、
前記助言内容を前記第１者へ提示するステップと
を前記プロセッサに実行させる請求項１７乃至２２のいずれかに記載のプログラム。
【請求項24】
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
第１者と第２者とが遠隔通信に参加し、前記第１者が、前記第２者からのメッセージに対するメッセージを入力している場合、前記第２者の画像を表示するステップと、
前記第２者からのメッセージに基づき、第１者からの入力を経ずに、自動で応答を生成している場合、前記第２者の画像を、代理であることを表す代理画像にして表示するステップと
を実行させるプログラム。
第１者と第２者とが遠隔通信に参加し、前記第１者が、前記第２者からのメッセージに対するメッセージを入力している場合、前記第２者の画像を表示するステップと、
前記第２者からのメッセージに基づき、第１者からの入力を経ずに、自動で応答を生成している場合、前記第２者の画像を、代理であることを表す代理画像にして表示するステップと
を実行させるプログラム。
【請求項25】
前記第２者からのメッセージが分析されて生成される、メッセージの内容に関する情報を、前記代理画像と関連付けて表示するステップを前記プロセッサに実行させる請求項２４記載のプログラム。
【請求項26】
第２者からのメッセージに基づいてメッセージの内容に関する情報を生成する処理を実施していることを表す画像を表示するステップを前記プロセッサに実行させる請求項２４又は２５に記載のプログラム。
【請求項27】
前記第２者からのメッセージを分析して生成される、前記第１者に対する助言を与える助言内容を、前記第２者の画像と関連付けて表示するステップを前記プロセッサに実行させる請求項２４乃至２６のいずれかに記載のプログラム。
【請求項28】
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、
第１者と第２者との遠隔通信において、前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記分析の結果に基づき、前記メッセージの内容に関する情報を前記第１者に対して生成するステップと、
前記分析の結果に基づき、前記メッセージに対する応答内容を前記第２者に対して生成するステップと、
前記第２者から入力されるメッセージの代わりに、前記メッセージの内容に関する情報を前記第１者へ提示するステップと、
前記メッセージに対する応答内容を前記第２者へ提示するステップと
を実行する方法。
第１者と第２者との遠隔通信において、前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記分析の結果に基づき、前記メッセージの内容に関する情報を前記第１者に対して生成するステップと、
前記分析の結果に基づき、前記メッセージに対する応答内容を前記第２者に対して生成するステップと、
前記第２者から入力されるメッセージの代わりに、前記メッセージの内容に関する情報を前記第１者へ提示するステップと、
前記メッセージに対する応答内容を前記第２者へ提示するステップと
を実行する方法。
【請求項29】
プロセッサと、メモリとを備える情報処理装置であって、
前記プロセッサが、
第１者と第２者との遠隔通信において、前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記分析の結果に基づき、前記メッセージの内容に関する情報を前記第１者に対して生成するステップと、
前記分析の結果に基づき、前記メッセージに対する応答内容を前記第２者に対して生成するステップと、
前記第２者から入力されるメッセージの代わりに、前記メッセージの内容に関する情報を前記第１者へ提示するステップと、
前記メッセージに対する応答内容を前記第２者へ提示するステップと
を実行する情報処理装置。
前記プロセッサが、
第１者と第２者との遠隔通信において、前記第２者から入力されるメッセージを認識するステップと、
前記認識されたメッセージを分析するステップと、
前記分析の結果に基づき、前記メッセージの内容に関する情報を前記第１者に対して生成するステップと、
前記分析の結果に基づき、前記メッセージに対する応答内容を前記第２者に対して生成するステップと、
前記第２者から入力されるメッセージの代わりに、前記メッセージの内容に関する情報を前記第１者へ提示するステップと、
前記メッセージに対する応答内容を前記第２者へ提示するステップと
を実行する情報処理装置。
【請求項30】
第１者と第２者との遠隔通信において、前記第２者から入力されるメッセージを認識する手段と、
前記認識されたメッセージを分析する手段と、
前記分析の結果に基づき、前記メッセージの内容に関する情報を前記第１者に対して生成する手段と、
前記分析の結果に基づき、前記メッセージに対する応答内容を前記第２者に対して生成する手段と、
前記第２者から入力されるメッセージの代わりに、前記メッセージの内容に関する情報を前記第１者へ提示する手段と、
前記メッセージに対する応答内容を前記第２者へ提示する手段と
を具備するシステム。
前記認識されたメッセージを分析する手段と、
前記分析の結果に基づき、前記メッセージの内容に関する情報を前記第１者に対して生成する手段と、
前記分析の結果に基づき、前記メッセージに対する応答内容を前記第２者に対して生成する手段と、
前記第２者から入力されるメッセージの代わりに、前記メッセージの内容に関する情報を前記第１者へ提示する手段と、
前記メッセージに対する応答内容を前記第２者へ提示する手段と
を具備するシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、方法、情報処理装置、及びシステムに関する。
【背景技術】
【0002】
ユーザ同士の遠隔通信において、通信セッションに含まれるメッセージを分析してタスクを特定し、特定されたタスクを完了する支援を提供するアプリケーションが用いられることがある。特許文献１では、この種のアプリケーションにより実現される仮想アシスタントを用いた通信セッションについて開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１８－５２２３００号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、仮想アシスタントは、クライアントデバイスのユーザによって提供されたメッセージが、通信セッションの他の参加者を意図したものか、又は仮想アシスタントを意図したものかを判定する。このため、ユーザは、仮想アシスタントがユーザの特定のタスクを支援する要求又はコマンド等の仮想アシスタントを意図したメッセージを入力するようにしている。
【0005】
しかしながら、特許文献１に記載の仕様では、仮想アシスタントへの入力ためにメッセージを発信する必要があるため、ユーザ間の会話の流れが止まることになり、利便性に欠ける場合がある。
【0006】
そこで、本開示では、遠隔通信におけるユーザの利便性を向上させることを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本開示のプログラムは、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、第１者と第２者との遠隔通信において、第１者又は第２者から入力されるメッセージを認識するステップと、認識されたメッセージを分析するステップと、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定するステップと、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成するステップとを実行させる。
【発明の効果】
【0008】
本開示によれば、遠隔通信におけるユーザの利便性を向上させることができる。
【図面の簡単な説明】
【0009】
【図1】第１の実施形態に係るシステムの全体構成の例を示す図である。
【図2】本実施形態のシステムに含まれる端末装置の構成を示すブロック図である。
【図3】助言制御部の機能構成の例を表すブロック図である。
【図4】遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。
【図5】助言を生成する際の助言制御部の動作の一例を示すフローチャートである。
【図6】ユーザ１～ユーザ４の間で開催される遠隔会議での発言の例を表す図である。
【図7】意図解釈部、固有名詞抽出部による分析により出力される分析結果の例を表す模式図である。
【図8】仮想アシスタントからの助言内容を表示するディスプレイの表示例を表す模式図である。
【図9】仮想アシスタントからの助言内容を表示するディスプレイの表示例を表す模式図である。
【図10】端末装置の機能構成の例を示すブロック図である。
【図11】仮想アシスタントからの助言内容を表示するディスプレイの表示例を表す模式図である。
【図12】仮想アシスタントにより作成されたメモを表示するディスプレイの表示例を表す模式図である。
【図13】助言制御部により生成された助言内容が、端末装置間で共有される際のシステムの機能構成の例を示すブロック図である。
【図14】助言内容を共有する参加者を表示するディスプレイの表示例を表す模式図である。
【図15】助言内容が共有されている参加者が使用する端末装置のディスプレイの表示例を表す模式図である。
【図16】助言制御部の機能構成の例を示すブロック図である。
【図17】第２の実施形態のシステムに含まれる端末装置の構成を示すブロック図である。
【図18】補助制御部の機能構成の例を表すブロック図である。
【図19】遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。
【図20】補助制御部が議事録を作成する際の対話制御部の動作の一例を示すフローチャートである。
【図21】補助制御部が翻訳文を作成する際の対話制御部の動作の一例を示すフローチャートである。
【図22】補助制御部を代理モードで動作させる際の対話制御部の動作の一例を示すフローチャートである。
【図23】補助制御部がユーザに対して助言を作成する際の対話制御部の動作の一例を示すフローチャートである。
【図24】補助制御部が動作している際の端末装置のディスプレイの表示例を表す模式図である。
【図25】会議参加者のいずれかが代理モードを利用している際の端末装置のディスプレイの表示例を表す模式図である。
【図26】その他の実施形態のシステムに含まれる端末装置の構成を示すブロック図である。
【図27】遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。
【図28】助言制御部がサーバで実行される場合のサーバの機能的な構成を示すブロック図である。
【図29】遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。
【図30】補助制御部がサーバで実行される場合のサーバの機能的な構成を示すブロック図である。
【図31】遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。
【図32】助言制御部及び補助制御部がサーバで実行される場合のサーバの機能的な構成を示すブロック図である。
【図33】遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら、実施の形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
【0011】
＜概要＞
本実施形態に係る情報処理装置１０は、自装置のユーザと、他装置のユーザとの遠隔通信において、仮想アシスタントを動作させる。本実施形態に係る仮想アシスタントは、セッション中のメッセージを分析し、分析した内容に基づく助言、又は補助をする。
本実施形態に係る情報処理装置１０は、自装置のユーザと、他装置のユーザとの遠隔通信において、仮想アシスタントを動作させる。本実施形態に係る仮想アシスタントは、セッション中のメッセージを分析し、分析した内容に基づく助言、又は補助をする。
【0012】
（第１の実施形態）
＜１ 全体構成＞
図１は、第１の実施形態に係るシステム１の全体構成の例を示す図である。図１に示すように、システム１は、端末装置１０と、サーバ２０とを備えている。端末装置１０と、サーバ２０とは、有線又は無線の通信規格を用い、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、例えば、インターネット、及び／又は通信事業者が提供する通信網等により実現される。図示の例では、複数の端末装置１０がシステム１に含まれている。
＜１ 全体構成＞
図１は、第１の実施形態に係るシステム１の全体構成の例を示す図である。図１に示すように、システム１は、端末装置１０と、サーバ２０とを備えている。端末装置１０と、サーバ２０とは、有線又は無線の通信規格を用い、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、例えば、インターネット、及び／又は通信事業者が提供する通信網等により実現される。図示の例では、複数の端末装置１０がシステム１に含まれている。
【0013】
なお、図１では、サーバ２０が１台のコンピュータである場合を示しているが、サーバ２０は、複数台のコンピュータが組み合わされて実現されてもよい。また、図１では、端末装置１０が１台である場合を示しているが、システム１に収容される端末装置１０の台数は、複数台であっても構わない。
【0014】
端末装置１０は、サーバ２０により提供されるサービスを利用するユーザが使用する端末である。例えば、端末装置１０は、サーバ２０により提供される遠隔会議に参加する参加者が利用する端末である。端末装置１０は、例えば、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣ、ヘッドマウントディスプレイ等により実現される。また、端末装置１０は、スマートフォン、又はタブレット端末等の携行性を備えたコンピュータであってもよい。
【0015】
図１に示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。通信ＩＦ１２、入力装置１３、出力装置１４、メモリ１５、ストレージ１６、及びプロセッサ１９は、例えば、バスを介して互いに通信可能に接続されている。
【0016】
通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を送受信するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置である。入力装置１３は、例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等を含む。出力装置１４は、ユーザに対し情報を提示するための出力装置である。出力装置１４は、例えば、ディスプレイ、スピーカ等を含む。
【0017】
メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリにより実現される。ストレージ１６は、データを保存するための記憶装置であり、例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）等の不揮発性のメモリにより実現される。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
【0018】
サーバ２０は、サービスに関する情報を管理し、管理している情報を参照し、サービスを提供する装置である。例えば、サーバ２０は、遠隔会議に関する情報を管理し、管理している情報を参照して遠隔会議をサービスとして提供する。サーバ２０は、例えば、ネットワーク８０に接続されたコンピュータである。
【0019】
なお、サーバ２０により提供されるサービスは、遠隔会議に限定されない。複数のユーザの間で遠隔通信を確立させるサービスであれば、遠隔会議以外であっても構わない。また、サーバ２０により提供されるサービスは、メッセージを音声で伝えるものに限定されない。メッセージを伝えるサービスであれば、テキスト形式でメッセージを伝えるサービス、つまり、チャットサービスであってもよい。
【0020】
図１に示すように、サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。通信ＩＦ２２、入出力ＩＦ２３、メモリ２５、ストレージ２６、及びプロセッサ２９は、例えば、バスを介して互いに通信可能に接続されている。
【0021】
通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を送受信するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ等の揮発性のメモリにより実現される。
【0022】
ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ等の不揮発性のメモリにより実現される。ストレージ２６は、必ずしも単独の回路により実現されなくてもよい。ストレージ２６は、例えば、複数の記憶回路により実現されてもよい。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
【0023】
＜１．１ 端末装置の構成＞
図２は、本実施形態のシステム１に含まれる端末装置１０の構成を示すブロック図である。図２に示すように、端末装置１０は、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０と、制御部１８０とを備える。
図２は、本実施形態のシステム１に含まれる端末装置１０の構成を示すブロック図である。図２に示すように、端末装置１０は、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０と、制御部１８０とを備える。
【0024】
通信部１２１は、端末装置１０が他の装置と通信するための処理を行う。通信部１２１は、制御部１８０で生成された信号に送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２１は、外部から受信した信号に受信処理を施し、制御部１８０へ出力する。
【0025】
入力装置１３は、端末装置１０を所有するユーザが指示を入力するための装置である。入力装置１３は、例えば、マウス１３１、キーボード１３２、及び、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３３等により実現される。また、入力装置１３は、マイク１３４により実現される。入力装置１３は、ユーザから入力される指示又は音声を電気信号へ変換し、電気信号を制御部１８０へ出力する。なお、入力装置１３は、マウス１３１、及びキーボード１３２等の物理的な操作デバイスに限定されない。入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。
【0026】
出力装置１４は、端末装置１０を所有するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１、スピーカ１４２等により実現される。ディスプレイ１４１は、制御部１８０の制御に応じて、画像、動画、テキスト等のデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。スピーカ１４２は、制御部１８０の制御に応じて、音声を出力する。
【0027】
カメラ１６０は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。カメラ１６０は、例えば、光を受光するレンズがディスプレイ１４１と並べて設置されている。これにより、カメラ１６０は、ディスプレイ１４１を視認するユーザを撮影可能となっている。
【0028】
記憶部１７０は、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０が使用するデータ、及びプログラムを記憶する。具体的には、記憶部１７０は、例えば、第１アプリケーション１７１、第２アプリケーション１７２を記憶する。第１アプリケーション１７１は、他のユーザとの遠隔通信を実現するためのアプリケーションである。第２アプリケーション１７２は、遠隔通信において仮想アシスタントを動作させるためのアプリケーションである。また、記憶部１７０は、遠隔通信における対話の履歴に関する対話履歴データ１７３を記憶する。
【0029】
なお、図２では、記憶部１７０に記憶される第２アプリケーション１７２が１つである場合を示しているが、記憶部１７０に記憶される第２アプリケーション１７２は、複数であっても構わない。第２アプリケーション１７２は、ユーザに対して与える助言の内容に応じ、様々な種類があって構わない。ユーザは、用途に応じた第２アプリケーション１７２をダウンロードし、必要に応じて実行する第２アプリケーション１７２を切り換えるようにしてもよい。
【0030】
第２アプリケーション１７２は、第１学習済みモデルに関するデータ、第２学習済みモデルに関するデータ、及び第２アプリケーション１７２についてのプログラムに関するデータを含む。第１及び第２学習済みモデルは、例えば、機械学習により生成される。本実施形態において、学習済みモデルとは、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることで生成されるモデルを表す。
【0031】
本実施形態に係る学習済みモデルは、例えば、ユーザから入力される信号に基づき、所定の推論を実施する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る学習済みモデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよい。
【0032】
例えば、学習済みモデルが順伝播型の多層化ネットワークを用いて生成される場合、パラメータ付き合成関数は、例えば、重み行列を用いた各層間の線形関係、各層における活性化関数を用いた非線形関係（又は線形関係）、及びバイアスの組み合わせとして定義される。重み付行列、及びバイアスは、多層化ネットワークのパラメータと呼ばれる。パラメータ付き合成関数は、パラメータをどのように選ぶかで、関数としての形を変える。多層化ネットワークでは、構成するパラメータを適切に設定することで、出力層から好ましい結果を出力することが可能な関数を定義することができる。
【0033】
本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いてもよい。また「Transformer」と呼ばれる注意機構（アテンション ）を用いた多層ニューラルネットワークを用いても良い。
【0034】
第１学習済みモデルは、文章のインテント及びスロットの認識に用いられるモデルである。本実施形態において、インテントは、対象となる文章の意図の種別を意味する。スロットは、インテントが示す意図を処理するために必要な付属的情報を意味する。なお、本実施形態において、「文章」は、インテント及びスロットを認識する対象となり得る情報を総称して便宜的に表すものである。具体的には、例えば、文章には、ユーザの発話音声をテキスト化したもの、ユーザが入力したテキスト等が含まれる。
【0035】
第１学習済みモデルは、文章と、正解ラベルとの組み合わせを含む学習データを用いて学習される。本実施形態では、ある文章に対応する正解ラベルは、その文章のインテントの種別、スロットの種別、及びスロットの値を示すラベルである。インテントの種別によって、スロットは複数の場合もあり、また存在しない場合もある。なお、本実施形態に係るラベル付き学習データの態様は、あくまで一例である。
【0036】
第１学習済みモデルは、入力情報（文章）に基づくデータを入力し、インテントの種別、スロットの種別、及びスロットの値を出力する。入力情報に基づくデータは、例えば、対象となる文章について、前処理や、特徴量抽出等の必要な処理が行われて、学習済みモデルが処理可能な情報へと変換されたデータを表す。
【0037】
なお、第１学習済みモデルは、文章のインテント、及びスロットの認識に用いられるモデルであればよく、その機能が本実施形態に係る第１学習済みモデルと同じである必要はない。一例として、第１学習済みモデルは、複数のインテントの種別の候補について正しい種別である確率を出力したり、複数のスロットの値の候補について正しい値である確率を出力したりするモデルであってもよい。
【0038】
第２学習済みモデルは、固有名詞の抽出に用いられるモデルである。第２学習済みモデルは、文章と、正解ラベルとの組み合わせを含む学習データを用いて学習される。本実施形態では、ある文章に対応する正解ラベルは、固有表現についての分類の定義、及び固有表現の値を示すラベルである。なお、本実施形態に係るラベル付き学習データの態様は、あくまで一例である。
【0039】
第２学習済みモデルは、入力情報（文章）に基づくデータを入力し、固有表現についての分類、及び固有表現の値を出力する。入力情報に基づくデータは、例えば、対象となる文章について、前処理や、特徴量抽出等の必要な処理が行われて、学習済みモデルが処理可能な情報へと変換されたデータを表す。
【0040】
なお、第２学習済みモデルは、固有名詞の抽出に用いられるモデルであればよく、その機能が本実施形態に係る第２学習済みモデルと同じである必要はない。
【0041】
制御部１８０は、プロセッサ１９が記憶部１７０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１８０は、端末装置１０の動作を制御する。具体的には、例えば、制御部１８０は、操作受付部１８１、通信制御部１８２、助言制御部１８３、表示制御部１８４としての機能を発揮する。
【0042】
操作受付部１８１は、入力装置１３から入力されるユーザの操作を受け付けるための処理を行う。
【0043】
通信制御部１８２は、端末装置１０が、遠隔通信に参加する他の端末装置１０と、通信プロトコルに従って通信するための処理を行う。通信制御部１８２は、例えば、第１アプリケーション１７１がプロセッサ１９により実行されることで実現される。通信制御部１８２は、例えば、マイク１３４から入力される音声に基づくデータを遠隔通信に参加する他の端末装置１０へ送信する。また、通信制御部１８２は、他の端末装置１０から送信されるデータを受信し、音声に変換してスピーカ１４２から出力する。
【0044】
また、通信制御部１８２は、例えば、キーボード１３２、タッチ・センシティブ・デバイス１３３等から入力されるテキストデータを遠隔通信に参加する他の端末装置１０へ送信する。また、通信制御部１８２は、他の端末装置１０から送信されるデータを受信し、テキストデータに変換してディスプレイ１４１から出力する。
【0045】
助言制御部１８３は、通信セッションに含まれるメッセージを分析し、分析結果に基づく助言をユーザに与える処理を行う。助言制御部１８３は、例えば、第２アプリケーション１７２がプロセッサ１９により実行されることで実現される。具体的には、助言制御部１８３は、例えば、図３に示す処理を実施する。
【0046】
図３は、助言制御部１８３の機能構成の例を表すブロック図である。図３に示す助言制御部１８３は、音声認識部１８３１、意図解釈部１８３２、固有名詞抽出部１８３３、助言判定部１８３４、外部サービス呼出部１８３５、応答生成部１８３６を有する。
【0047】
音声認識部１８３１は、ユーザが発話した音声を認識し、テキスト形式のデータに変換する。音声認識の手法は、既存のいかなる手法を用いても構わない。なお、ユーザがテキスト形式で情報を入力する場合は、音声認識部１８３１はテキスト入力部であっても構わない。
【0048】
意図解釈部１８３２は、テキストデータに含まれる意図を解釈する。具体的には、意図解釈部１８３２は、例えば、第１学習済みモデルを用い、入力されるテキストデータに基づき、インテントの種別、スロットの種別、及びスロットの値を出力する。
【0049】
固有名詞抽出部１８３３は、テキストデータに含まれる固有名詞を抽出する。具体的には、固有名詞抽出部１８３３は、例えば、第２学習済みモデルを用い、入力されるテキストデータに基づき、固有表現についての分類、及び固有表現の値を出力する。なお、意図解釈部１８３２と、固有名詞抽出部１８３３とは、必ずしも両方が設けられていなくても構わない。いずれか一方が設けられている場合であっても構わない。
【0050】
助言判定部１８３４は、テキストデータを分析した結果に基づき、ユーザに対して助言するか否かを判定する。具体的には、助言判定部１８３４は、例えば、対話履歴データ１７３を参照し、意図解釈部１８３２により解釈された意図に対して助言が必要か否かを判定する。助言判定部１８３４は、例えば、解釈された意図が、ユーザが所定の情報を確認する必要がある内容の場合、助言が必要であると判定する。
【0051】
また、助言判定部１８３４は、例えば、固有名詞抽出部１８３３により抽出された固有名詞に対して助言が必要か否かを判定する。助言判定部１８３４は、例えば、固有名詞が略称である場合、専門用語である場合、予め登録される一般的な用語に含まれていない場合等に助言が必要と判定する。なお、助言判定部１８３４は、所定の固有名詞が連呼される場合にも助言が必要と判定してもよい。また、過去の議事録、社内文書、一般のＷｅｂ文書から、その単語を含む文書数に応じて助言の要否を判定してもよい。つまり、例えば、議事録になく、かつ、重要度・専門性が高い固有名詞に対し、助言が必要と判定するようにしてもよい。文章中に含まれる単語の重要度を評価する手法は、例えば、ｔｆ－ｉｄｆ等、既存の手法を利用してもよい。このように、単語の重要度に基づいて助言の要否を判定することで、登録されていない固有名詞であっても、当人が知り得たである固有名詞については助言がされなくなる。このため、過剰説明を避けることが可能となる。
【0052】
また、助言判定部１８３４は、助言をするのに必要な情報を外部サービスから取得するか否かを判定する。助言判定部１８３４は、例えば、意図解釈部１８３２により解釈された意図に対して応答するために、外部からの情報が必要である場合、外部サービスから情報を取得する必要があると判定する。また、助言判定部１８３４は、例えば、固有名詞抽出部１８３３により抽出された固有名詞を説明するのに外部からの情報が必要である場合、外部サービスから情報を取得する必要があると判定する。
【0053】
外部サービス呼出部１８３５は、助言に要する情報を外部サービスから取得する。例えば、外部サービス呼出部１８３５は、解釈された意図に対して応答するための情報を外部サービスから取得する。また、外部サービス呼出部１８３５は、固有名詞を説明するための情報を外部サービスから取得する。外部サービス呼出部１８３５は、例えば、所定のＡＰＩにより実現される。
【0054】
応答生成部１８３６は、助言内容を生成する。具体的には、例えば、応答生成部１８３６は、解釈された意図と対応する処理を実行し、実行結果に基づいて助言を生成する。また、応答生成部１８３６は、例えば、外部サービスから取得された情報に基づき、解釈された意図、又は固有名詞に対する助言を生成する。
【0055】
表示制御部１８４は、ユーザに対して種々の情報を提示するため、出力装置１４を制御する。具体的には、例えば、表示制御部１８４は、助言制御部１８３で生成された助言をディスプレイ１４１に表示させる。
【0056】
＜２．動作＞
複数のユーザにより遠隔通信が実施される際の助言制御部１８３の動作について説明する。
複数のユーザにより遠隔通信が実施される際の助言制御部１８３の動作について説明する。
【0057】
図４は、遠隔通信がなされる際のシステム１の機能構成の例を示すブロック図である。図５は、助言を生成する際の助言制御部１８３の動作の一例を示すフローチャートである。図４では、端末装置１０－１～１０－４の間で遠隔会議が開催され、端末装置１０－１で仮想アシスタントとしての助言制御部１８３が起動する場合を示している。
【0058】
図６は、ユーザ１～ユーザ４の間で開催される遠隔会議での発言の例を表す図である。図６に示すように、まず、ユーザ１からユーザ２～４へ、メッセージＭ１：「最近の音声認識サービスにはどんなものがありますか？」との質問が音声で投げかけられる。
【0059】
助言制御部１８３は、音声認識部１８３１により、端末装置１０－１から端末装置１０－２～１０－４へ送信されるメッセージＭ１に対し、音声認識を実施する（ステップＳ１１）。音声認識部１８３１は、メッセージＭ１についての音声データをテキストデータに変換する。
【0060】
助言制御部１８３は、テキストデータに対し、固有名詞抽出処理、及び意図解釈処理を並列して実施する。図５の説明では、まず固有名詞抽出処理から説明する。
【0061】
助言制御部１８３は、固有名詞抽出部１８３３により、テキストデータに含まれる固有名詞を抽出する（ステップＳ１２）。具体的には、固有名詞抽出部１８３３は、例えば、第２学習済みモデルを用い、入力されるテキストデータに基づき、固有表現についての分類、及び固有表現の値を出力する。
【0062】
図７は、意図解釈部１８３２、固有名詞抽出部１８３３による分析により出力される分析結果の例を表す模式図である。図７に示す例において、分析結果Ｒ１が固有名詞抽出処理の結果を表し、分析結果Ｒ２が意図解釈処理の結果を表す。図７に示す例によれば、固有名詞抽出部１８３３は、メッセージＭ１に対し、分類：「固有名詞」、固有表現の値：「音声認識サービス」を出力する。
【0063】
助言判定部１８３４は、テキストデータを分析した結果に基づき、ユーザ１に対して助言するか否かを判定する（ステップＳ１３）。具体的には、助言判定部１８３４は、例えば、固有名詞抽出部１８３３により抽出された固有名詞に対して助言が必要か否かを判定する。助言判定部１８３４は、例えば、「固有名詞＝音声認識サービス」が、略称でなく、専門用語でなく、予め登録される一般的な用語に含まれているとして、助言が必要でないと判定し（ステップＳ１３のＮｏ）、メッセージＭ１についての処理を終了させる。
【0064】
助言制御部１８３は、意図解釈部１８３２により、テキストデータに含まれる意図を解釈する（ステップＳ１６）。具体的には、意図解釈部１８３２は、例えば、第１学習済みモデルを用い、入力されるテキストデータに基づき、インテントの種別、スロットの種別、及びスロットの値を出力する。
【0065】
図７に示す例によれば、意図解釈部１８３２は、メッセージＭ１に対し、インテントの種別：「検索」、スロットの種別：「キーワード」、スロットの値：「音声認識サービス」を出力する。
【0066】
助言判定部１８３４は、テキストデータを分析した結果に基づき、ユーザ１に対して助言するか否かを判定する（ステップＳ１７）。具体的には、助言判定部１８３４は、例えば、対話履歴データ１７３を参照し、意図解釈部１８３２により解釈された意図に対して助言が必要か否かを判定する。助言判定部１８３４は、インテントの種別：「検索」、スロットの種別：「キーワード」、スロットの値：「音声認識サービス」が、例えば、会議における最初の議題であるため、又は、他者への質問であるため、助言が不要と判定し（ステップＳ１７のＮｏ）、メッセージＭ１についての処理を終了させる。
【0067】
続いて、図６に示すように、ユーザ２は、メッセージＭ２：「米国のＧＡＦＡＭは音声認識サービスを提供しています。」と音声でユーザ１へ回答する。
【0068】
助言制御部１８３は、音声認識部１８３１により、端末装置１０－２から端末装置１０－１へ送信されるメッセージＭ２に対し、音声認識を実施する（ステップＳ１１）。音声認識部１８３１は、メッセージＭ２についての音声データをテキストデータに変換する。
【0069】
助言制御部１８３は、固有名詞抽出部１８３３により、例えば、第２学習済みモデルを用い、入力されるテキストデータに基づき、固有表現についての分類、及び固有表現の値を出力する。図７に示す例によれば、固有名詞抽出部１８３３は、メッセージＭ２に対し、分類：「固有名詞」、固有表現の値：「ＧＡＦＡＭ」を出力する（ステップＳ１２）。
【0070】
助言判定部１８３４は、例えば、固有名詞抽出部１８３３により抽出された固有名詞に対して助言が必要か否かを判定する（ステップＳ１３）。助言判定部１８３４は、例えば、「固有名詞＝ＧＡＦＡＭ」が、略称であるため、助言は必要と判定し（ステップＳ１３のＹｅｓ）、処理をステップＳ１４へ移行させる。
【0071】
ステップＳ１４において、助言判定部１８３４は、助言をするのに必要な情報を外部サービスから取得するか否かを判定する。具体的には、助言判定部１８３４は、例えば、抽出された固有名詞が記憶部１７０に登録されている用語に含まれているか否かによって、情報を外部サービスから取得するか否かを判定する。ここでは、例えば、「固有名詞＝ＧＡＦＡＭ」が記憶部１７０に登録されていないとし、助言判定部１８３４は、「固有名詞＝ＧＡＦＡＭ」についての情報を外部サービスから取得すると判定する（ステップＳ１４のＹｅｓ）。
【0072】
外部サービス呼出部１８３５は、助言に要する情報を外部サービスから取得する（ステップＳ１５）。具体的には、例えば、外部サービス呼出部１８３５は、「固有名詞＝ＧＡＦＡＭ」をキーワードとして入力することで、固有名詞を説明するための情報を外部サービスで検索する。
【0073】
応答生成部１８３６は、検索結果に基づいて助言内容を生成する（ステップＳ１１０）。具体的には、例えば、応答生成部１８３６は、固有名詞に対して外部サービスから取得された最上位の検索結果に基づいて助言内容Ａ１：「ＧＡＦＡは、Google（登録商標）, Amazon（登録商標）, Facebook（登録商標）, Apple（登録商標）の４社を指し、ＧＡＦＡＭは更にMicrosoft（登録商標）を含む５社を指します。」を生成する。これにより、図６に示すように、メッセージＭ２に対する仮想アシスタントの助言内容Ａ１が生成される。
【0074】
助言制御部１８３は、意図解釈部１８３２により、例えば、第１学習済みモデルを用い、入力されるテキストデータに基づき、インテントの種別、スロットの種別、及びスロットの値を出力する（ステップＳ１６）。
【0075】
図７に示す例によれば、意図解釈部１８３２は、メッセージＭ２に対し、インテントの種別：「検索」、スロットの種別：「キーワード」、スロットの値：「ＧＡＦＡＭ」を出力する。
【0076】
助言判定部１８３４は、例えば、対話履歴データ１７３を参照し、意図解釈部１８３２により解釈された意図に対して助言が必要か否かを判定する（ステップＳ１７）。助言判定部１８３４は、インテントの種別：「検索」、スロットの種別：「キーワード」、スロットの値：「ＧＡＦＡＭ」に対し、助言が必要と判定し（ステップＳ１７のＹｅｓ）、処理をステップＳ１８へ移行させる。
【0077】
ステップＳ１８において、助言判定部１８３４は、助言をするのに必要な情報を外部サービスから取得するか否かを判定する。具体的には、助言判定部１８３４は、例えば、インテントの種別に基づき、情報を外部サービスから取得するか否かを判定する。ここでは、例えば、インテントの種別：「検索」であるため、助言判定部１８３４は、「キーワード＝ＧＡＦＡＭ」についての情報を外部サービスから取得すると判定する（ステップＳ１８のＹｅｓ）。
【0078】
外部サービス呼出部１８３５は、助言に要する情報を外部サービスから取得する（ステップＳ１５）。具体的には、例えば、外部サービス呼出部１８３５は、「キーワード＝ＧＡＦＡＭ」を説明するための情報を外部サービスから取得する。助言制御部１８３は、外部サービスから情報を取得すると、処理をステップＳ１１０へ移行させる。
【0079】
表示制御部１８４は、助言制御部１８３で助言内容が生成されると、生成された助言内容をディスプレイ１４１に表示させる。図８は、仮想アシスタントからの助言内容を表示するディスプレイ１４１の表示例を表す模式図である。図８に示す例では、遠隔会議に出席するユーザ２～４を表す画像が表示されている。図８に示す例では、ユーザ２の発言に対して仮想アシスタントが助言を生成したため、ユーザ２が発言をしたことをユーザ１が識別可能に、ユーザ２～４が表示されている。具体的には、ユーザ２の画像が、ユーザ３、ユーザ４よりも大きく表示されている。なお、発言者の識別表示は画像を大きくすることに限られない。例えば、画像を縁取りすることで発言者を識別するようにしてもよい。
【0080】
また、図８に示す例では、ユーザ２の画像の下方に助言内容Ａ１が表示されている。なお、助言内容Ａ１の表示位置は、ユーザ１が視認しやすい位置であればどこに表示されてもよい。
【0081】
図６に示す例によれば、ユーザ２は、メッセージＭ２：「米国のＧＡＦＡＭは音声認識サービスを提供しています。」の後、「性能は深層学習のエンドツーエンドの方式が高度化することで相当あがりそうです。」と発言する。助言判定部１８３４は、このメッセージの分析結果に基づき、このメッセージについての助言は不要と判定する（ステップＳ１３のＮｏ、ステップＳ１７のＮｏ）。そのため、このメッセージについて、助言内容は表示されない。
【0082】
同様に、図６において、ユーザ１は、ユーザ２～４へ向け、メッセージ：「ＧＡＦＡＭですか。そうだとすると会議の自動議事録を作るのは簡単になりそうですね。」と発言する。助言判定部１８３４は、このメッセージの分析結果に基づき、このメッセージについての助言は不要と判定する（ステップＳ１３のＮｏ、ステップＳ１７のＮｏ）。そのため、このメッセージについて、助言内容は表示されない。
【0083】
続いて、図６において、ユーザ３は、ユーザ１、２、４へ向け、メッセージＭ３：「そのことについて明日の午後、遠隔会議を設定したいのですが可能でしょうか？」と発言する。
【0084】
助言制御部１８３は、音声認識部１８３１により、端末装置１０－３から端末装置１０－１、１０－２、１０－４へ送信されるメッセージＭ３に対し、音声認識を実施する（ステップＳ１１）。音声認識部１８３１は、メッセージＭ３についての音声データをテキストデータに変換する。
【0085】
助言制御部１８３は、固有名詞抽出部１８３３により、例えば、第２学習済みモデルを用い、入力されるテキストデータに基づき、固有表現についての分類、及び固有表現の値を出力する。固有名詞抽出部１８３３は、メッセージＭ３に対し、分類：「日時」、固有表現の値：「明日、午後」等を出力する（ステップＳ１２）。
【0086】
助言判定部１８３４は、例えば、固有名詞抽出部１８３３により抽出された固有名詞に対して助言が必要か否かを判定する（ステップＳ１３）。助言判定部１８３４は、固有名詞が抽出されていないため、助言は不要と判定し（ステップＳ１３のＮｏ）、固有名詞抽出を経たメッセージＭ３についての処理を終了させる。
【0087】
助言制御部１８３は、意図解釈部１８３２により、例えば、第１学習済みモデルを用い、入力されるテキストデータに基づき、インテントの種別、スロットの種別、及びスロットの値を出力する（ステップＳ１６）。
【0088】
図７に示す例によれば、意図解釈部１８３２は、メッセージＭ３に対し、インテントの種別：「スケジュール検索」、スロットの種別：「日時」及びスロットの値：「明日、午後」、スロットの種別：「参加者」及びスロットの値：「ユーザ１」を出力する。
【0089】
助言判定部１８３４は、例えば、対話履歴データ１７３を参照し、意図解釈部１８３２により解釈された意図に対して助言が必要か否かを判定する（ステップＳ１７）。助言判定部１８３４は、インテントの種別：「スケジュール検索」、スロットの種別：「日時」及びスロットの値：「明日、午後」、スロットの種別：「参加者」及びスロットの値：「ユーザ１」に対し、助言が必要と判定し（ステップＳ１７のＹｅｓ）、処理をステップＳ１８へ移行させる。
【0090】
ステップＳ１８において、助言判定部１８３４は、助言をするのに必要な情報を外部サービスから取得するか否かを判定する。ここでは、例えば、インテントの種別：「スケジュール検索」であるため、助言判定部１８３４は、「日時＝明日、午後」、「参加者＝ユーザ１」についての情報を記憶部１７０から取得すると判定する（ステップＳ１８のＮｏ）。
【0091】
応答生成部１８３６は、助言に要する情報を記憶部１７０から取得する（ステップＳ１９）。具体的には、応答生成部１８３６は、「日時＝明日、午後」、「参加者＝ユーザ１」に基づき、明日の午後において予定のない時間帯を取得する。
【0092】
応答生成部１８３６は、取得結果に基づいて助言内容を生成する（ステップＳ１１０）。具体的には、例えば、応答生成部１８３６は、明日の午後における予定のない時間帯についての情報に基づいて助言内容Ａ２：「明日の午後の予定は空いています。」を生成する。これにより、図６に示すように、メッセージＭ３に対する仮想アシスタントの助言内容Ａ２が生成される。
【0093】
表示制御部１８４は、助言制御部１８３で助言内容Ａ２が生成されると、生成された助言内容Ａ２をディスプレイ１４１に表示させる。
【0094】
図６に示す例によれば、ユーザ１は、助言内容Ａ２を確認すると、ユーザ２～４へ向け、メッセージ：「可能ですよ。午後１時から午後２時はどうでしょうか？」と発言する。助言判定部１８３４は、このメッセージの分析結果に基づき、このメッセージについての助言は不要と判定する（ステップＳ１３のＮｏ、ステップＳ１７のＮｏ）。そのため、このメッセージについて、助言内容は表示されない。
【0095】
同様に、図６において、ユーザ２～４は、ユーザ１へ向け、メッセージ：「良いですよ。」と発言する。助言判定部１８３４は、このメッセージの分析結果に基づき、このメッセージについての助言は不要と判定する（ステップＳ１３のＮｏ、ステップＳ１７のＮｏ）。そのため、このメッセージについて、助言内容は表示されない。
【0096】
続いて、図６において、ユーザ１は、ユーザ２～４へ向け、メッセージＭ４：「それでは明日の午後１時からの午後２時に遠隔会議を設定します。」と発言する。
【0097】
助言制御部１８３は、音声認識部１８３１により、端末装置１０－１から端末装置１０－２～１０－４へ送信されるメッセージＭ４に対し、音声認識を実施する（ステップＳ１１）。音声認識部１８３１は、メッセージＭ４についての音声データをテキストデータに変換する。
【0098】
助言制御部１８３は、固有名詞抽出部１８３３により、例えば、第２学習済みモデルを用い、入力されるテキストデータに基づき、固有表現についての分類、及び固有表現の値を出力する。固有名詞抽出部１８３３は、メッセージＭ４に対し、分類：「日時」、固有表現の値：「明日」等を出力する（ステップＳ１２）。
【0099】
助言判定部１８３４は、例えば、固有名詞抽出部１８３３により抽出された固有名詞に対して助言が必要か否かを判定する（ステップＳ１３）。助言判定部１８３４は、固有名詞が抽出されていないため、助言は不要と判定し（ステップＳ１３のＮｏ）、固有名詞抽出を経たメッセージＭ４についての処理を終了させる。
【0100】
助言制御部１８３は、意図解釈部１８３２により、例えば、第１学習済みモデルを用い、入力されるテキストデータに基づき、インテントの種別、スロットの種別、及びスロットの値を出力する（ステップＳ１６）。
【0101】
図７に示す例によれば、意図解釈部１８３２は、メッセージＭ４に対し、インテントの種別：「スケジュール設定」、スロットの種別：「日時」及びスロットの値：「明日」、スロットの種別：「開始時間」及びスロットの値：「午後１時」、スロットの種別：「終了時間」及びスロットの値：「午後２時」、スロットの種別：「参加者」及びスロットの値：「ユーザ１」を出力する。
【0102】
助言判定部１８３４は、例えば、対話履歴データ１７３を参照し、意図解釈部１８３２により解釈された意図に対して助言が必要か否かを判定する（ステップＳ１７）。助言判定部１８３４は、インテントの種別：「スケジュール設定」、スロットの種別：「日時」及びスロットの値：「明日」、スロットの種別：「開始時間」及びスロットの値：「午後１時」、スロットの種別：「終了時間」及びスロットの値：「午後２時」、スロットの種別：「参加者」及びスロットの値：「ユーザ１」に対し、助言が必要と判定し（ステップＳ１７のＹｅｓ）、処理をステップＳ１８へ移行させる。
【0103】
ステップＳ１８において、助言判定部１８３４は、助言をするのに必要な情報を外部サービスから取得するか否かを判定する。ここでは、例えば、インテントの種別：「スケジュール設定」であるため、助言判定部１８３４は、「日時＝明日」、「開始時間＝午後１時」、「終了時間＝午後２時」、「参加者＝ユーザ１」についての情報を記憶部１７０から取得すると判定する（ステップＳ１８のＮｏ）。
【0104】
応答生成部１８３６は、助言に要する情報を記憶部１７０から取得する（ステップＳ１９）。具体的には、応答生成部１８３６は、「日時＝明日」、「開始時間＝午後１時」、「終了時間＝午後２時」、「参加者＝ユーザ１」に基づき、明日の午後１時から午後２時に遠隔会議を設定し、スケジュールを設定した旨の情報を取得する。
【0105】
応答生成部１８３６は、取得結果に基づいて助言内容を生成する（ステップＳ１１０）。具体的には、例えば、応答生成部１８３６は、明日の午後１時から午後２時に遠隔会議を設定した旨の情報に基づいて助言内容Ａ３：「明日の午後１時から午後２時に遠隔会議を設定しました。」を生成する。これにより、図６に示すように、メッセージＭ４に対する仮想アシスタントの助言内容Ａ３が生成される。
【0106】
表示制御部１８４は、助言制御部１８３で助言内容Ａ３が生成されると、生成された助言内容Ａ３をディスプレイ１４１に表示させる。
【0107】
以上のように、第１の実施形態では、助言制御部１８３は、第１者と第２者との遠隔通信において、第１者又は第２者から入力されるメッセージを認識する。助言制御部１８３は、認識されたメッセージを分析する。助言制御部１８３は、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定する。そして、助言制御部１８３は、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成するようにしている。これにより、助言制御部１８３は、助言制御部１８３を意図したメッセージがなくても、第１者と第２者との通信に基づき、第１者への助言内容を作成することが可能となる。このため、第１者と第２者とのセッションを損なわずに第１者への助言内容を作成することが可能となる。
【0108】
したがって、第１の実施形態に係る情報処理装置１０によれば、遠隔通信におけるユーザの利便性を向上させることができる。
【0109】
なお、第１の実施形態では、仮想アシスタント（助言制御部１８３）が、固有名詞を説明する場合、及び、解釈した意図に基づき、スケジュールに関する助言をする場合を例に説明した。第１の実施形態に係る助言制御部１８３がする助言は、これらに限定されない。
【0110】
助言制御部１８３は、新たなインテントが登録されることで、解釈可能な意図の幅が広がる。そのため、助言制御部１８３は、会話に応じたインテントを登録することで、様々な分野における会話で、ユーザに対して適切な助言を与えることが可能となる。また、助言制御部１８３は、異なるインテントが登録されている第２アプリケーション１７２をプロセッサ１９が実行することで異なる機能を実現するようにしてもよい。そのため、実施の目的に対応する第２アプリケーション１７２をダウンロードしておくことで、用途に応じた助言制御部１８３を利用することが可能となる。
【0111】
具体的には、例えば、助言制御部１８３は、遠隔会議を円滑に進めるファシリテーターのような助言をするようにしてもよい。例えば、端末装置１０－１の記憶部１７０に過去の会議の議事録が記憶されているとする。助言判定部１８３４は、例えば、ユーザ１～ユーザ４のいずれかが発したメッセージの分析結果に基づき、メッセージに含まれるトピックを認識する。助言判定部１８３４は、認識したトピックについて議論した議事録が記憶部１７０に記憶されているか否かに基づき、助言が必要であるか否かを判定する。認識したトピックについて議論した議事録が記憶部１７０に記憶されている場合、助言判定部１８３４は、助言が必要であると判定する。
【0112】
応答生成部１８３６は、助言に要する情報を記憶部１７０に記憶される議事録から取得する。具体的には、応答生成部１８３６は、認識したトピックが話題になった議事録を検索する。応答生成部１８３６は、検索した議事録に基づいて助言内容を生成する。具体的には、例えば、応答生成部１８３６は、検索した議事録に基づき、過去の議題が再度議論されていることを指摘する助言内容：「そのトピックは、ＭＭ月ＤＤ日の打ち合わせで、…との結論に至りました。」を生成する。このため、助言制御部１８３は、同じ議論が繰り返されるのを防ぐことが可能となる。
【0113】
また、助言判定部１８３４は、トピックの変化が乏しいか否かに基づき、助言が必要であるか否かを判定してもよい。トピックの変化が乏しいか否かは、認識したトピックの分布の時間軸に沿った変化の程度に基づいて判定される。具体的には、例えば、解決策が提示されずに、同じような議論が繰り返されている状態が、トピックの変化が乏しい状態に相当する。トピックの変化が乏しい場合、助言判定部１８３４は、議論が進展していない可能性があるため、助言が必要であると判定する。
【0114】
応答生成部１８３６は、議論が進展していない可能性を勘案して助言内容を生成する。具体的には、例えば、応答生成部１８３６は、論点を整理することを提案する助言内容：「一度、論点を整理した方が良いと思います。」を生成する。このため、助言制御部１８３は、堂々巡りを防ぐことが可能となる。
【0115】
また、例えば、端末装置１０－１の記憶部１７０に、会議のアジェンダが記憶されているとする。会議のアジェンダは、例えば、議論ポイントの説明、参加者の意見表明、今日の結論、残課題、アクションアイテム等のトピックを含む。助言判定部１８３４は、例えば、ユーザ１～ユーザ４のいずれかが発したメッセージの分析結果に基づき、メッセージに含まれるトピックを認識する。助言判定部１８３４は、会議の残時刻が所定値となると、アジェンダに含まれるトピックが全て議論されたか否かに基づき、助言が必要であるか否かを判定する。アジェンダに含まれるトピックのうち議論されていないトピックがある場合、助言判定部１８３４は、助言が必要であると判定する。
【0116】
応答生成部１８３６は、アジェンダにおいて議論されていないトピックに基づいて助言内容を生成する。具体的には、例えば、応答生成部１８３６は、アクションアイテムについて議論されていない場合、助言内容：「アクションアイテムの話が出来ていませんが、大丈夫ですか？」を生成する。このため、助言制御部１８３は、アウトプット志向の会議運営を支援することが可能となる。
【0117】
また、例えば、端末装置１０－１の記憶部１７０に、会議に参加しているユーザのプロフィールに関する情報が記憶されているとする。助言判定部１８３４は、例えば、ユーザ１～ユーザ４のいずれかが発したメッセージの分析結果に基づき、メッセージに含まれるトピックを認識する。助言判定部１８３４は、認識したトピックに含まれる固有名詞、固有名詞の上位概念、関連概念を把握する。助言判定部１８３４は、把握した固有名詞、上位概念、関連概念を含むプロフィールが記憶部１７０に記憶されているか否かに基づき、助言が必要であるか否かを判定する。把握した概念を含むプロフィールが記憶部１７０に記憶されている場合、助言判定部１８３４は、認識したトピックについて知識を有する参加者がいるとして、助言が必要であると判定する。
【0118】
応答生成部１８３６は、助言に要する情報を記憶部１７０に記憶されるプロフィールに関する情報から取得する。具体的には、応答生成部１８３６は、把握した固有名詞、上位概念、関連概念を含むプロフィールに関する情報を検索する。応答生成部１８３６は、取得した情報に基づいて助言内容を生成する。具体的には、例えば、応答生成部１８３６は、検索したプロフィール情報に基づいて助言内容：「そのトピックなら、ＡＡＡＡさんに話してもらうのがいいですね。」を生成する。議論中のトピックと参加者とをマッチング可能であるため、助言制御部１８３は、参加者の発言意志の温度差、会議のオーナーとの関係性等、会議での発言の偏りが出やすい要因を排し、内容に応じたフェアで適切なファシリテーションが可能となる。
【0119】
また、助言制御部１８３は、音声認識部１８３１で変換されたテキストデータをそのまま助言内容として出力してもよい。これにより、遠隔通信の内容がテキストで表示されるようになる。こうすることで、ユーザの聴力が弱い場合であっても、ユーザは遠隔通信の理解することが可能となる。また、ユーザが遠隔通信の音声を聞き取り辛い環境、例えば、雑音の多い場所等にいる場合であっても、ユーザは遠隔通信の理解することが可能となる。
【0120】
また、助言制御部１８３は、音声認識部１８３１で変換されたテキストデータを、異なる言語へ変換して出力してもよい。これにより、遠隔通信の内容が異なる言語で表示されるようになる。
【0121】
また、第１の実施形態では、音声で入力されたメッセージに対して助言制御部１８３が助言をする例を説明した。しかしながら、入力されるメッセージは、音声に限定されない。助言制御部１８３は、テキストで入力されるメッセージに対しても同様に応答するようにしてもよい。
【0122】
図９は、仮想アシスタントからの助言内容を表示するディスプレイ１４１の表示例を表す模式図である。図９に示す例では、領域１４１１にチャット画面が表示されている。助言制御部１８３は、テキストで入力されるメッセージに対し、助言内容を生成する。表示制御部１８４は、例えば、生成された助言内容Ａ１を、図９に示すように、領域１４１１に表示する。
【0123】
また、第１の実施形態では、仮想アシスタント（助言制御部１８３）の機能に応じた表示については説明していない。しかしながら、助言制御部１８３の機能を識別可能な画像がディスプレイ１４１に表示されても構わない。例えば、助言制御部１８３の機能を識別可能な画像が、助言制御部１８３により作成された助言と関連するスペース、具体的には、図８のスペースＳ１に表示される。このとき、スペースＳ１に表示される画像は、例えば、助言制御部１８３が固有名詞を説明する場合には、知識を表すアイコン（例えば、辞書を表すアイコン等）となる。また、例えば、助言制御部１８３がスケジュールに関する助言をする場合には、表示される画像は、予定を調整する者を表すアイコン（例えば、秘書を表すアイコン等）となる。また、例えば、助言制御部１８３がファシリテーターのような助言をする場合には、表示される画像は、会議の進行を担当する者を表すアイコン（例えば、司会者を表すアイコン等）となる。また、例えば、助言制御部１８３が翻訳をする場合には、表示される画像は、翻訳をしていることを表すアイコン（例えば、言語変換を表すアイコン等）となる。また、例えば、助言制御部１８３が議事録を作成する場合には、表示される画像は、会議の内容を記録していることを表すアイコン（例えば、速記者を表すアイコン、又はメモ作成を表すアイコン等）となる。なお、助言制御部１８３の機能を識別可能な画像は、助言内容の属性を識別可能な画像と換言可能である。
【0124】
（第１の実施形態の変形例）
第１の実施形態において、助言制御部１８３の機能について説明したが、助言制御部１８３の機能は上記に限定されない。例えば、助言制御部１８３は、音声を切り替える機能を有していてもよい。
第１の実施形態において、助言制御部１８３の機能について説明したが、助言制御部１８３の機能は上記に限定されない。例えば、助言制御部１８３は、音声を切り替える機能を有していてもよい。
【0125】
【0126】
第１切替部１８５は、マイク１３４のミュート機能のオン／オフを切り替える。ミュート機能がオンとなっていると、マイク１３４からの入力は通信制御部１８２へ到達しない。一方、ミュート機能がオフとなっていると、マイク１３４からの入力は通信制御部１８２へ到達する。図１０に示す例では、ミュート機能がオフになっている状態が表されている。
【0127】
第２切替部１８３７は、マイク１３４からの入力を、通信制御部１８２へ出力するか、助言制御部１８３へ出力するかを切り替える。第２切替部１８３７は、第１切替部１８５の前段で機能するように設計されている。第２切替部１８３７は、例えば、所定のボタンが押下されている間だけ助言制御部１８３と接続される、いわゆる、プッシュトゥトーク方式が用いられてもよい。
【0128】
第２切替部１８３７が助言制御部１８３と接続されている場合、ユーザから入力される音声は、助言制御部１８３へ出力される。このとき、第１切替部１８５により、ミュート機能がオンになっていてもオフになっていても、音声は助言制御部１８３へ出力される。第２切替部１８３７が助言制御部１８３と接続され、かつ、第１切替部１８５により、ミュート機能がオフになっている場合、ユーザから入力される音声は、通信制御部１８２へ出力される。
【0129】
図１１は、仮想アシスタントからの助言内容を表示するディスプレイ１４１の表示例を表す模式図である。図１１に示す例では、第１アイコン１４１２と、第２アイコン１４１３とが表示されている。第１アイコン１４１２は、第１切替部１８５の切り替えを操作するアイコンであり、押下するとミュート機能のオン／オフが切り換えられる。第２アイコン１４１３は、第２切替部１８３７の切り替えを操作するアイコンであり、継続して押下すると、押下している間だけ助言制御部１８３への音声入力が可能となる。
【0130】
このように、第２切替部１８３７を設けることで、助言制御部１８３は、ユーザからの音声入力を、他ユーザに漏らさずに、受け付けることが可能となる。つまり、助言制御部１８３への会話指示が他ユーザに誤って送信されることがなくなる。また、第１切替部１８５の前段に第２切替部１８３７を配置することで、ミュート機能がオンの時でも仮想アシスタントへ音声により指示を入力することが可能となる。
【0131】
本機能の使用例として、例えば、仮想アシスタントを用いてメモを作成する例がある。このとき、例えば、助言制御部１８３は、入力された音声データに音声認識を実施し、生成したテキストデータに基づいて助言内容を生成する。
【0132】
メモを作成したいユーザは、第２アイコン１４１３を押下し続け、助言制御部１８３に対し、メモしたい内容を音声として入力する。助言制御部１８３は、入力された音声データをテキストデータに変換し、変換したテキストデータを助言内容として生成する。表示制御部１８４は、生成した助言内容をディスプレイ１４１に表示させる。
【0133】
【0134】
このように、助言制御部１８３は、ユーザが入力した音声をリアルタイムでテキストとして表示することが可能であるため、ユーザは、音声でメモを作成することが可能となる。このため、メモを取ることに労力をかける必要がなくなる。
【0135】
また、本機能の使用例として、例えば、助言制御部１８３と、所望の参加者とを接続する例がある。
【0136】
図１３は、助言制御部１８３により生成された助言内容が、端末装置１０－１と端末装置１０－２とで共有される際のシステム１の機能構成の例を示すブロック図である。
【0137】
所望の参加者、例えば、ユーザ２へ助言内容を出力したいユーザは、第２アイコン１４１３を押下し、押下している間に、助言制御部１８３に対し、接続したい参加者の名称を発声する。助言制御部１８３は、入力された参加者へも助言内容を送信するように設定する。
【0138】
図１４は、助言内容を共有する参加者を表示するディスプレイ１４１の表示例を表す模式図である。図１４に示す例では、助言内容を共有している参加者を表す指示オブジェクト１４１５が、ユーザ２を表示する領域に配置されている。なお、助言内容を共有する参加者の指名は、第２アイコン１４１３を押下しての音声入力に限らず、参加者の表示領域の押下によるものでも構わない。
【0139】
図１５は、助言内容が共有されている参加者が使用する端末装置のディスプレイ１４１の表示例を表す模式図である。図１５に示す例は、ユーザ２が操作する端末装置１０－２のディスプレイ１４１の表示例を表している。図１５に示す例では、助言内容の送信元を表す指示オブジェクト１４１６が、ユーザ１を表示する領域に配置されている。また、図１５に示す例では、画面の下方に助言内容Ａ１が表示されている。助言内容Ａ１には、助言内容の送信元についての情報、例えば、「［ユーザ１からの助言内容］」が表示されている。
【0140】
このように、助言制御部１８３は、助言内容を指定された参加者と共有することが可能であるため、ユーザは、会議中に得られる情報を共有しながら会議に臨むことが可能となる。
【0141】
また、助言制御部１８３と所望の参加者とを接続した後、助言制御部１８３は、例えば、設定者から入力された音声を、共有先の参加者へ送信するようにしてもよい。つまり、助言相手を特定した後にはその助言相手にユーザの肉声で助言をするようにしてもよい。
【0142】
このとき、例えば、特定のグループを設定しておけば、グループ内での情報の共有も可能となる。例えば、ディスプレイ１４１に、設定されているグループを指定するアイコンを表示させ、助言制御部１８３は、このアイコンが押下されると、設定されているグループのメンバーに接続するようにする。助言制御部１８３は、入力された音声についてのデータを、例えば、接続されているメンバーへ送信する。
【0143】
このように、助言制御部１８３は、設定している参加者へユーザから入力された音声を送信することが可能である。そのため、第１アイコン１４１２を押下してミュート機能をオンとした状態でグループ通話を実施すれば、会議中にグループ内で通話することが可能となる。
【0144】
また、第１の実施形態において、助言制御部１８３は、例えば、音声を生成する機能を有していてもよい。
【0145】
図１６は、助言制御部１８３の機能構成の例を示すブロック図である。図１６に示す例では、助言制御部１８３は、音声認識部１８３１、意図解釈部１８３２、固有名詞抽出部１８３３、助言判定部１８３４、外部サービス呼出部１８３５、応答生成部１８３６に加え、音声合成部１８３８を有する。
【0146】
音声合成部１８３８は、助言内容に基づき、音声を生成する。助言制御部１８３は、生成した音声データを、スピーカ１４２からユーザへ出力する。
【0147】
（第２の実施形態）
第１の実施形態では、助言制御部１８３による仮想アシスタントが、ユーザ間のセッションを監視し、必要に応じて助言を与える例を説明した。第２の実施形態では、仮想アシスタントが、ユーザに代わってセッションに参加する等、ユーザを補助する場合を説明する。
第１の実施形態では、助言制御部１８３による仮想アシスタントが、ユーザ間のセッションを監視し、必要に応じて助言を与える例を説明した。第２の実施形態では、仮想アシスタントが、ユーザに代わってセッションに参加する等、ユーザを補助する場合を説明する。
【0148】
＜１ 全体構成＞
第２の実施形態に係るシステムの全体構成は、第１の実施形態に係るシステム１の全体構成と同様である。
第２の実施形態に係るシステムの全体構成は、第１の実施形態に係るシステム１の全体構成と同様である。
【0149】
＜１．１ 端末装置の構成＞
図１７は、本実施形態のシステムに含まれる端末装置１０Ａの構成を示すブロック図である。図１７に示すように、端末装置１０Ａは、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０Ａと、制御部１８０Ａとを備える。
図１７は、本実施形態のシステムに含まれる端末装置１０Ａの構成を示すブロック図である。図１７に示すように、端末装置１０Ａは、通信部１２１と、入力装置１３と、出力装置１４と、カメラ１６０と、記憶部１７０Ａと、制御部１８０Ａとを備える。
【0150】
記憶部１７０Ａは、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０Ａが使用するデータ、及びプログラムを記憶する。具体的には、記憶部１７０Ａは、例えば、第１アプリケーション１７１、第３アプリケーション１７４を記憶する。第３アプリケーション１７４は、遠隔通信において、第２の実施形態に係る仮想アシスタントを動作させるためのアプリケーションである。また、記憶部１７０Ａは、遠隔通信における対話の履歴に関する対話履歴データ１７３と、遠隔通信における議事録に関する議事録データ１７５とを記憶する。
【0151】
なお、図１７では、記憶部１７０Ａに記憶される第３アプリケーション１７４が１つである場合を示しているが、記憶部１７０Ａに記憶される第３アプリケーション１７４は、複数であっても構わない。第３アプリケーション１７４は、ユーザに対する補助の内容に応じ、様々な種類があって構わない。ユーザは、用途に応じた第３アプリケーション１７４をダウンロードし、必要に応じて実行する第３アプリケーション１７４を切り換えるようにしてもよい。
【0152】
第３アプリケーション１７４は、第１学習済みモデルに関するデータ、及び第３アプリケーション１７４についてのプログラムに関するデータを含む。第１学習済みモデルは、例えば、機械学習により生成される。本実施形態において、学習済みモデルとは、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることで生成されるモデルを表す。なお、第３アプリケーション１７４は、第２学習済みモデルに関するデータを含んでいても構わない。
【0153】
制御部１８０Ａは、プロセッサ１９が記憶部１７０Ａに記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１８０Ａは、端末装置１０Ａの動作を制御する。具体的には、例えば、制御部１８０Ａは、操作受付部１８１、通信制御部１８２、補助制御部１８６、表示制御部１８４としての機能を発揮する。
【0154】
補助制御部１８６は、通信セッションに含まれるメッセージを分析し、分析結果に基づきユーザを補助する処理を行う。補助制御部１８６は、例えば、第３アプリケーション１７４がプロセッサ１９により実行されることで実現される。具体的には、補助制御部１８６は、例えば、図１８に示す処理を実施する。
【0155】
図１８は、補助制御部１８６の機能構成の例を表すブロック図である。図１８に示す補助制御部１８６は、テキスト入力部１８６１、第１意図解釈部１８６２、音声認識部１８６３、第２意図解釈部１８６４、対話制御部１８６５、外部サービス呼出部１８６６、第１応答生成部１８６７、第２応答生成部１８６８、音声合成部１８６９を有する。
【0156】
テキスト入力部１８６１は、補助制御部１８６を使用するユーザが入力する指示を受け付ける。図１８に示す例では、ユーザがテキスト形式で指示を入力することを想定している。なお、ユーザが音声で指示を入力する場合、テキスト入力部１８６１は、音声認識部であっても構わない。
【0157】
第１意図解釈部１８６２は、テキスト入力部１８６１から入力されたテキストデータに含まれる意図を解釈する。具体的には、第１意図解釈部１８６２は、例えば、第１学習済みモデルを用い、入力されるテキストデータに基づき、インテントの種別、スロットの種別、及びスロットの値を出力する。
【0158】
音声認識部１８６３は、通信制御部１８２から出力される音声を認識し、テキスト形式のデータに変換する。音声認識の手法は、既存のいかなる手法を用いても構わない。音声認識部１８６３により変換されたテキストデータは、議事録データ１７５として、記憶部１７０Ａに記憶される。なお、ユーザがテキスト形式で情報を入力する場合は、音声認識部１８６３はテキスト入力部であっても構わない。
【0159】
第２意図解釈部１８６４は、音声認識部１８６３から出力されたテキストデータに含まれる意図を解釈する。具体的には、第２意図解釈部１８６４は、例えば、第１学習済みモデルを用い、入力されるテキストデータに基づき、インテントの種別、スロットの種別、及びスロットの値を出力する。
【0160】
対話制御部１８６５は、ユーザからの指示に応じた処理を実施する。具体的には、対話制御部１８６５は、例えば、ユーザから議事録の作成が指示されると、議事録の作成を開始する。対話制御部１８６５は、議事録を作成する処理の実施中において、第２意図解釈部１８６４により解釈された意図を受信すると、受信した意図を第１応答生成部１８６７へ出力する。
【0161】
また、対話制御部１８６５は、例えば、ユーザから異なる言語への翻訳文の作成が指示されると、翻訳文の作成を開始する。対話制御部１８６５は、翻訳文を作成する処理の実施中において、第２意図解釈部１８６４により解釈された意図を受信すると、受信した意図を第１応答生成部１８６７へ出力する。
【0162】
また、対話制御部１８６５は、例えば、ユーザから代理モードの設定が指示されると、代理モードに遷移する。対話制御部１８６５は、代理モードにおいて、第１意図解釈部１８６２、又は第２意図解釈部１８６４により解釈された意図に対して応答が必要か否かを判定する。対話制御部１８６５は、例えば、第１意図解釈部１８６２により解釈された意図が、会議へのメッセージの送信を求めるものである場合、応答が必要であると判定する。また、対話制御部１８６５は、例えば、対話履歴データ１７３を参照し、第２意図解釈部１８６４により解釈された意図が、ユーザからの応答を求めるものである場合、応答が必要であると判定する。また、対話制御部１８６５は、例えば、代理モードにおいて会議の要約が指示されている場合、第２意図解釈部１８６４により解釈された意図を受信すると、受信した意図を第１応答生成部１８６７へ出力する。
【0163】
また、対話制御部１８６５は、例えば、ユーザから助言を求める旨の指示が入力されると、助言をするのに必要な情報を外部サービスから取得するか否かを判定する。対話制御部１８６５は、例えば、第１意図解釈部１８６２により解釈された意図に対して応答するために、外部からの情報が必要である場合、外部サービスから情報を取得する必要があると判定する。
【0164】
外部サービス呼出部１８６６は、助言に要する情報を外部サービスから取得する。例えば、外部サービス呼出部１８６６は、第１意図解釈部１８６２で解釈された意図に対して応答するための情報を外部サービスから取得する。外部サービス呼出部１８６６は、例えば、所定のＡＰＩにより実現される。
【0165】
第１応答生成部１８６７は、対話制御部１８６５から出力される意図に基づき、ユーザから要求されている処理を実施し、応答内容を生成する。具体的には、例えば、第１応答生成部１８６７は、第２意図解釈部１８６４により解釈された意図に基づき、会議の議事録、会議内容の翻訳文、又は会議の要約文を生成する。また、第１応答生成部１８６７は、例えば、第１意図解釈部１８６２により解釈された意図に基づき、助言内容を生成する。また、第１応答生成部１８６７は、例えば、外部サービスから取得された情報に基づき、第１意図解釈部１８６２により解釈された意図に対する助言を生成する。
【0166】
第２応答生成部１８６８は、対話制御部１８６５から出力される意図に基づき、ユーザから要求されている処理を実施し、応答内容を生成する。具体的には、例えば、第２応答生成部１８６８は、第２意図解釈部１８６４により解釈された意図に基づき、応答内容を生成する。
【0167】
音声合成部１８６９は、応答内容に基づき、音声を生成する。補助制御部１８６は、生成した音声データを、通信制御部１８２を介して他の端末装置１０へ送信する。
【0168】
表示制御部１８４は、ユーザに対して種々の情報を提示するため、出力装置１４を制御する。具体的には、例えば、表示制御部１８４は、補助制御部１８６で生成された補助内容をディスプレイ１４１に表示させる。
【0169】
＜２．動作＞
複数のユーザにより遠隔通信が実施される際の補助制御部１８６の動作について説明する。
複数のユーザにより遠隔通信が実施される際の補助制御部１８６の動作について説明する。
【0170】
図１９は、遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。図２０は、補助制御部１８６が議事録を作成する際の対話制御部１８６５の動作の一例を示すフローチャートである。図１９では、端末装置１０Ａ－１～１０－４の間で遠隔会議が開催され、端末装置１０Ａ－１で仮想アシスタントとしての補助制御部１８６が起動する場合を示している。
【0171】
まず、端末装置１０Ａ－１を操作するユーザ１は、議事録を取る場合、端末装置１０Ａ－１を操作し、例えば、「議事録を取る」を入力する。
【0172】
テキスト入力部１８６１は、ユーザ１から入力された「議事録を取る」を受け付ける。第１意図解釈部１８６２は、テキスト入力部１８６１から入力されたテキストデータに含まれる意図を解釈する。具体的には、第１意図解釈部１８６２は、例えば、第１学習済みモデルを用い、入力されるテキストデータ：「議事録を取る」に基づき、インテントの種別：「議事録」、スロットの種別：「処理」、スロットの値：「開始」を出力する。
【0173】
対話制御部１８６５は、第１意図解釈部１８６２から、議事録作成の指示があったか否かを判定する（ステップＳ２１）。第１意図解釈部１８６２から出力された分析結果が、インテントの種別：「議事録」、スロットの種別：「処理」、スロットの値：「開始」であるため、対話制御部１８６５は、議事録作成の指示があったと判定する（ステップＳ２１のＹｅｓ）。
【0174】
対話制御部１８６５は、議事録作成の指示があったと判定すると、議事録の作成を開始する（ステップＳ２２）。対話制御部１８６５は、議事録の作成を開始すると、第１応答生成部１８６７に、議事録の作成を開始したことを通知する。
【0175】
第１応答生成部１８６７は、議事録作成の通知を受けると、応答内容：「議事の音声認識を開始します。」を作成する。表示制御部１８４は、作成された応答内容：「議事の音声認識を開始します。」をディスプレイ１４１に表示させる。
【0176】
音声認識部１８６３は、通信制御部１８２から出力される音声を認識し、テキストデータに変換する。第２意図解釈部１８６４は、音声認識部１８６３から出力されたテキストデータに含まれる意図を解釈する。具体的には、第２意図解釈部１８６４は、例えば、第１学習済みモデルを用い、入力されるテキストデータに基づき、インテントの種別、スロットの種別、及びスロットの値を出力する。
【0177】
対話制御部１８６５は、第２意図解釈部１８６４により解釈された意図を受信すると（ステップＳ２３）、受信した意図を議事録の作成に用いるか否かを判定する（ステップＳ２４）。議事録の作成に要すると判定すると（ステップＳ２４のＹｅｓ）、処理をステップＳ２５に移行させる。議事録の作成に不要と判定すると（ステップＳ２４のＮｏ）、処理をステップＳ２３に移行させ、第２意図解釈部１８６４から次の意図が出力されるのを待つ。
【0178】
ステップＳ２５において、対話制御部１８６５は、第２意図解釈部１８６４から出力された意図を第１応答生成部１８６７へ出力する。
【0179】
第１応答生成部１８６７は、対話制御部１８６５から、第２意図解釈部１８６４で分析された意図を受け取ると、受け取った意図に基づき、議事録を作成する。表示制御部１８４は、作成された議事録をディスプレイ１４１に表示させる。制御部１８０は、作成された議事録を議事録データ１７５に記憶させる。
【0180】
対話制御部１８６５は、議事録の作成を停止する旨の指示がユーザ１から入力されるまで、ステップＳ２３～ステップＳ２５の処理を繰り返す。
【0181】
図２１は、補助制御部１８６が翻訳文を作成する際の対話制御部１８６５の動作の一例を示すフローチャートである。
【0182】
まず、端末装置１０Ａ－１を操作するユーザ１は、翻訳文を作成する場合、端末装置１０Ａ－１を操作し、例えば、「翻訳文を作成」を入力する。
【0183】
テキスト入力部１８６１は、ユーザ１から入力された「翻訳文を作成」を受け付ける。第１意図解釈部１８６２は、テキスト入力部１８６１から入力されたテキストデータに含まれる意図を解釈する。具体的には、第１意図解釈部１８６２は、例えば、第１学習済みモデルを用い、入力されるテキストデータ：「翻訳文を作成」に基づき、インテントの種別：「翻訳文」、スロットの種別：「処理」、スロットの値：「開始」を出力する。
【0184】
対話制御部１８６５は、第１意図解釈部１８６２から、翻訳文作成の指示があったか否かを判定する（ステップＳ２６）。第１意図解釈部１８６２から出力された分析結果が、インテントの種別：「翻訳文」、スロットの種別：「処理」、スロットの値：「開始」であるため、対話制御部１８６５は、翻訳文作成の指示があったと判定する（ステップＳ２６のＹｅｓ）。
【0185】
対話制御部１８６５は、翻訳文作成の指示があったと判定すると、翻訳文の作成を開始する（ステップＳ２７）。対話制御部１８６５は、翻訳文の作成を開始すると、第１応答生成部１８６７に、翻訳文の作成を開始したことを通知する。
【0186】
第１応答生成部１８６７は、翻訳文作成の通知を受けると、応答内容：「翻訳を開始します。」を作成する。表示制御部１８４は、作成された応答内容：「翻訳を開始します。」をディスプレイ１４１に表示させる。
【0187】
音声認識部１８６３は、通信制御部１８２から出力される音声を認識し、テキストデータに変換する。第２意図解釈部１８６４は、音声認識部１８６３から出力されたテキストデータに含まれる意図を解釈する。具体的には、第２意図解釈部１８６４は、例えば、第１学習済みモデルを用い、入力されるテキストデータに基づき、インテントの種別、スロットの種別、及びスロットの値を出力する。
【0188】
対話制御部１８６５は、第２意図解釈部１８６４により解釈された意図を受信すると（ステップＳ２８）、受信した意図を第１応答生成部１８６７へ出力する（ステップＳ２９）。
【0189】
第１応答生成部１８６７は、対話制御部１８６５から、第２意図解釈部１８６４で分析された意図を受け取ると、受け取った意図に基づき、翻訳文を作成する。表示制御部１８４は、作成された翻訳文をディスプレイ１４１に表示させる。
【0190】
対話制御部１８６５は、翻訳文の作成を停止する旨の指示がユーザ１から入力されるまで、ステップＳ２８、ステップＳ２９の処理を繰り返す。
【0191】
図２２は、補助制御部１８６を代理モードで動作させる際の対話制御部１８６５の動作の一例を示すフローチャートである。
【0192】
まず、端末装置１０Ａ－１を操作するユーザ１は、補助制御部１８６を代理モードで動作させる場合、端末装置１０Ａ－１を操作し、例えば、「代理モードとして動作」を入力する。
【0193】
テキスト入力部１８６１は、ユーザ１から入力された「代理モードとして動作」を受け付ける。第１意図解釈部１８６２は、テキスト入力部１８６１から入力されたテキストデータに含まれる意図を解釈する。具体的には、第１意図解釈部１８６２は、例えば、第１学習済みモデルを用い、入力されるテキストデータ：「代理モードとして動作」に基づき、インテントの種別：「動作モード設定」、スロットの種別：「動作モード」、スロットの値：「代理」を出力する。
【0194】
対話制御部１８６５は、第１意図解釈部１８６２から、代理モードへの切り替えの指示があったか否かを判定する（ステップＳ２１０）。第１意図解釈部１８６２から出力された分析結果が、インテントの種別：「動作モード設定」、スロットの種別：「動作モード」、スロットの値：「代理」であるため、対話制御部１８６５は、代理モードへの切替指示があったと判定する（ステップＳ２１０のＹｅｓ）。
【0195】
対話制御部１８６５は、代理モードへの切替指示があったと判定すると、代理モードへ遷移する（ステップＳ２１１）。対話制御部１８６５は、代理モードへ遷移すると、第１応答生成部１８６７に、代理モードへ遷移したことを通知する。
【0196】
第１応答生成部１８６７は、代理モードへの遷移の通知を受けると、応答内容：「代理モードを設定しました。」を作成する。表示制御部１８４は、作成された応答内容：「代理モードを設定しました。」をディスプレイ１４１に表示させる。
【0197】
音声認識部１８６３は、通信制御部１８２から出力される音声を認識し、テキストデータに変換する。例えば、音声認識部１８６３は、ユーザ２からユーザ１に対して入力される、「ユーザ１さん、前回の議事録はどこにありますか？」をテキストデータに変換する。第２意図解釈部１８６４は、音声認識部１８６３から出力されたテキストデータに含まれる意図を解釈する。具体的には、第２意図解釈部１８６４は、例えば、第１学習済みモデルを用い、入力されるテキストデータ：「ユーザ１さん、前回の議事録はどこにありますか？」に基づき、インテントの種別：「ユーザ１への質問」、スロットの種別：「発話者」、スロットの値：「ユーザ２」、スロットの種別：「発話内容」、スロットの値：「ユーザ１さん、前回の議事録はどこにありますか？」を出力する。
【0198】
対話制御部１８６５は、第２意図解釈部１８６４により解釈された意図を受信すると（ステップＳ２１２）、通信制御部１８２を介してメッセージを送信する必要があるか否かを判定する（ステップＳ２１３）。対話制御部１８６５は、第２意図解釈部１８６４により解釈された意図に基づき、通信制御部１８２を介してメッセージを送信する必要がないと判定し（ステップＳ２１３のＮｏ）、ユーザ１からの応答が求められているか否かを判定する（ステップＳ２１４）。
【0199】
第２意図解釈部１８６４により解釈された意図に基づき、ユーザ１からの応答が求められていると判定すると（ステップＳ２１４のＹｅｓ）、対話制御部１８６５は、処理をステップＳ２１５に移行させる。ユーザ１からの応答が不要と判定すると（ステップＳ２１４のＮｏ）、対話制御部１８６５は、処理をステップＳ２１２に移行させ、第２意図解釈部１８６４から次の意図が出力されるのを待つ。
【0200】
ステップＳ２１５において、対話制御部１８６５は、第２意図解釈部１８６４から出力された意図、インテントの種別：「ユーザ１への質問」、スロットの種別：「発話者」、スロットの値：「ユーザ２」、スロットの種別：「発話内容」、スロットの値：「ユーザ１さん、前回の議事録はどこにありますか？」を第２応答生成部１８６８へ出力する。
【0201】
第２応答生成部１８６８は、対話制御部１８６５から、第２意図解釈部１８６４で分析された意図を受け取ると、受け取った意図に基づき、応答内容：「ユーザ１は今、不在なので後で返事をします。」を作成する。音声合成部１８６９は、応答内容に基づき、音声を生成する。補助制御部１８６は、生成した音声データを、通信制御部１８２を介して他の端末装置１０へ送信する。
【0202】
また、テキスト入力部１８６１は、ユーザ１から入力された「皆さんに「後５分で会議から退席する」と伝えて」を受け付ける。第１意図解釈部１８６２は、テキスト入力部１８６１から入力されたテキストデータに含まれる意図を解釈する。具体的には、第１意図解釈部１８６２は、例えば、第１学習済みモデルを用い、入力されるテキストデータ：「皆さんに「後５分で会議から退席する」と伝えて」に基づき、インテントの種別：「発話依頼」、スロットの種別：「発話対象」、スロットの値：「皆さん」、スロットの種別：「発話内容」、スロットの値：「５分後に会議から退席する」を出力する。
【0203】
対話制御部１８６５は、第１意図解釈部１８６２により解釈された意図を受信すると（ステップＳ２１２）、通信制御部１８２を介してメッセージを送信する必要があるか否かを判定する（ステップＳ２１３）。対話制御部１８６５は、第１意図解釈部１８６２により解釈された意図に基づき、通信制御部１８２を介してメッセージを送信する必要があると判定し（ステップＳ２１３のＹｅｓ）、処理をステップＳ２１５に移行させる。
【0204】
ステップＳ２１５において、対話制御部１８６５は、第１意図解釈部１８６２から出力された意図、インテントの種別：「発話依頼」、スロットの種別：「発話対象」、スロットの値：「皆さん」、スロットの種別：「発話内容」、スロットの値：「５分後に会議から退席する」を第２応答生成部１８６８へ出力する。
【0205】
第２応答生成部１８６８は、対話制御部１８６５から、第１意図解釈部１８６２で分析された意図を受け取ると、受け取った意図に基づき、応答内容：「皆さん、後５分で会議から退席します。」を作成する。音声合成部１８６９は、応答内容に基づき、音声を生成する。音声合成部１８６９は、ユーザからの指示に応じ、生成する音声を切り替えてもよい。例えば、音声合成部１８６９は、ユーザからの指示に応じ、アシスタントの音声にしてもよいし、ユーザ自身の音声にしてもよい。補助制御部１８６は、生成した音声データを、通信制御部１８２を介して他の端末装置１０へ送信する。
【0206】
対話制御部１８６５は、代理モードを停止する旨の指示がユーザ１から入力されるまで、ステップＳ２１２～ステップＳ２１５の処理を繰り返す。なお、ユーザ１から、例えば、「代理モード解除」が入力されると、ディスプレイ１４１に「代理モードを解除しました。」が表示され、代理モードが解除される。
【0207】
図２３は、補助制御部１８６がユーザ１に対して助言を作成する際の対話制御部１８６５の動作の一例を示すフローチャートである。
【0208】
まず、端末装置１０Ａ－１を操作するユーザ１は、補助制御部１８６からの助言を求める場合、端末装置１０Ａ－１を操作し、例えば、「１０分後に虎ノ門から渋谷に出るバスを調べて。」を入力する。
【0209】
テキスト入力部１８６１は、ユーザ１から入力された「１０分後に虎ノ門から渋谷に出るバスを調べて。」を受け付ける。第１意図解釈部１８６２は、テキスト入力部１８６１から入力されたテキストデータに含まれる意図を解釈する。具体的には、第１意図解釈部１８６２は、例えば、第１学習済みモデルを用い、入力されるテキストデータ：「１０分後に虎ノ門から渋谷に出るバスを調べて。」に基づき、インテントの種別：「移動」、スロットの種別：「出発地」、スロットの値：「虎ノ門」、スロットの種別：「目的地」、スロットの値：「渋谷」、スロットの種別：「日時」、スロットの値：「１０分後」、スロットの種別：「手段」、スロットの値：「バス」を出力する。
【0210】
対話制御部１８６５は、第１意図解釈部１８６２で解釈された意図を受信すると（ステップＳ２１６）、テキストデータを分析した結果に基づき、ユーザ１に対して助言するか否かを判定する（ステップＳ２１７）。対話制御部１８６５は、インテントの種別：「移動」、スロットの種別：「出発地」、スロットの値：「虎ノ門」、スロットの種別：「目的地」、スロットの値：「渋谷」、スロットの種別：「日時」、スロットの値：「１０分後」、スロットの種別：「手段」、スロットの値：「バス」であるため、助言が必要と判定し（ステップＳ２１７のＹｅｓ）、処理をステップＳ２１８へ移行させる。なお、助言が不要と判定した場合（ステップＳ２１７のＮｏ）、対話制御部１８６５は、処理をステップＳ２１６に移行させ、次の意図が出力されるのを待つ。
【0211】
ステップＳ２１８において、対話制御部１８６５は、助言をするのに必要な情報を外部サービスから取得するか否かを判定する。対話制御部１８６５は、インテントの種別：「移動」、スロットの種別：「出発地」、スロットの値：「虎ノ門」、スロットの種別：「目的地」、スロットの値：「渋谷」、スロットの種別：「日時」、スロットの値：「１０分後」、スロットの種別：「手段」、スロットの値：「バス」であるため、助言をするのに必要な情報を外部サービスから取得すると判定し（ステップＳ２１８のＹｅｓ）、処理をステップＳ２１９へ移行させる。
【0212】
ステップＳ２１９において、対話制御部１８６５は、外部サービス呼出部１８６６により、助言に要する情報を外部サービスから取得する。具体的には、例えば、外部サービス呼出部１８６６は、「出発地＝虎ノ門」、「目的地＝渋谷」、「日時＝１０分後」、「手段＝バス」をキーワードとして入力することで、１０分後に虎ノ門から渋谷に出るバスを提示するための情報を外部サービスで検索する。対話制御部１８６５は、取得した情報を第１応答生成部１８６７へ出力する。
【0213】
ステップＳ２１８において、助言をするのに必要な情報を外部サービスから取得しない判定した場合（ステップＳ２１８のＮｏ）、対話制御部１８６５は、記憶部１７０Ａから情報を取得することを第１応答生成部１８６７へ通知する（ステップＳ２２０）。
【0214】
ステップＳ２２１において、対話制御部１８６５は、第１意図解釈部１８６２から出力された意図を第１応答生成部１８６７へ出力する。
【0215】
第１応答生成部１８６７は、対話制御部１８６５から、第１意図解釈部１８６２で分析された意図を受け取ると、受け取った意図と、外部サービスから取得した情報、又は記憶部１７０Ａから読み出した情報とに基づき、助言内容：「１２時１５分に六本木通りから出発します。」を作成する。表示制御部１８４は、作成された助言内容をディスプレイ１４１に表示させる。
【0216】
図２４は、補助制御部１８６が動作している際の端末装置のディスプレイ１４１の表示例を表す模式図である。図２４に示す例では、例えば、複数の第３アプリケーション１７４が動作している場合の表示例を表す。図２４において、ディスプレイ１４１に、表示オブジェクト１４１７～１４１９が表示されている。表示オブジェクト１４１７は、会議１についての表示を表している。ユーザ１は、会議１に、補助制御部１８６が実行する代理モードで参加している。表示オブジェクト１４１７には、代理モードとして動作していることを表す、例えば、ロボットのアイコンが表示されている。また、表示オブジェクト１４１７には、代理モードで参加している会議１の要約文が表示されている。なお、ロボットのアイコンはユーザ1の操作により任意に変更可能である。アイコンでなく、テキストでの表示であってもよい。
【0217】
表示オブジェクト１４１８、１４１９は、会議２についての表示を表している。ユーザ１は、会議２に通常の状態で参加している。ユーザ１は、会議２に対し、補助制御部１８６が翻訳文を作成するように設定している。表示オブジェクト１４１８には、補助制御部１８６が翻訳文を作成していることを表すアイコンが表示されている。また、表示オブジェクト１４１８には、補助制御部１８６が作成している翻訳文が表示されている。表示オブジェクト１４１９には、会議２に参加している参加者の画像が表示されている。
【0218】
また、図２４において、ディスプレイ１４１に、領域１４１１０が表示されている。表示制御部１８４は、ユーザ１から入力される指示を右側に表示し、入力される指示に対する補助制御部１８６からの応答を左側に表示している。図２４に示す例では、ユーザ１から入力される「１０分後に虎ノ門から渋谷に出るバスを調べて。」の指示に対し、補助制御部１８６は、「１２時１５分に六本木通りから出発します。」の応答を返している。
【0219】
なお、図２４に示す例では、会議２について補助制御部１８６が翻訳文を生成する場合を示している。翻訳文の生成は、代理モードで参加している会議１について実施することも可能である。つまり、同一の会議に対して複数の処理が並列して実施されてもよい。
【0220】
図２５は、会議参加者のいずれかが代理モードを利用している際の端末装置のディスプレイ１４１の表示例を表す模式図である。図２５（ａ）に示す例は、ユーザ２が操作する端末装置１０－２のディスプレイ１４１の表示例を表している。図２５（ａ）に示す例では、ユーザ１が代理モードで会議に参加している場合を示している。図２５（ａ）において、ユーザ１の画像が、代理モードとして動作していることを表す、例えば、ロボットのアイコンで表されている。図２５（ａ）で示されるユーザ１のアイコンは、ユーザ１の操作により切り替えられてもよい。例えば、ロボットのアイコンではなく、アシスタント対応中、本人離席中等、現在の状況を表すテキストによる表示であっても構わない。
【0221】
なお、代理モードでは、特定のサービスを提供する機能がってもよい。例えば、代理モードにおいて、翻訳機能があってもよい。具体的には、ユーザ３が会議の機械翻訳サービス提供者であったとする。この場合、例えば、ユーザ３は会議参加の冒頭から自分のアイコンを通訳者のアイコンに設定する。そうすれば、他の会議者は、機械翻訳サービスが導入され、会議の翻訳がされていることを認識できる。さらなる例として、代理モードにおいて、議事録作成機能があってもよい。具体的には、ユーザ４が会議の議事録作成サービス提供者であったとする。この場合、例えば、ユーザ４は、自分のアイコンを速記者とわかるアイコンに設定する。そうすれば、他の会議者は、議事録作成サービスが導入され、会議の議事録が作成されていることを認識できる。このように、離席、中座とは異なるサービスの視認性を参加者の擬人化メタファーで認識することができる。図２５（ｂ）に示す例は、ユーザ３が機械翻訳サービス提供者であり、ユーザ４が議事録作成サービス提供である場合の、端末装置１０－２のディスプレイ１４1の表示例を表している。
【0222】
以上のように、第２の実施形態では、補助制御部１８６は、第１者と第２者との遠隔通信において、第２者から入力されるメッセージを認識する。補助制御部１８６は、認識されたメッセージを分析する。補助制御部１８６は、分析の結果に基づき、メッセージの内容に関する情報を第１者に対して生成する。補助制御部１８６は、分析の結果に基づき、メッセージに対する応答内容を第２者に対して生成する。補助制御部１８６は、第２者から入力されるメッセージの代わりに、メッセージの内容に関する情報を第１者へ提示する。そして、補助制御部１８６は、メッセージに対する応答内容を第２者へ提示するようにしている。これにより、補助制御部１８６は、セッション相手への代理応答をしながら、セッションの内容に関する情報を第１者へ提示することが可能となる。このため、補助制御部１８６は、遠隔通信にかかる第１者の負担を軽減することが可能となる。
【0223】
したがって、第２の実施形態に係る情報処理装置１０Ａによれば、遠隔通信におけるユーザの利便性を向上させることができる。
【0224】
なお、第２の実施形態では、仮想アシスタント（補助制御部１８６）の動作例について説明した。第２の実施形態に係る補助制御部１８６の動作は、上記に限定されない。
【0225】
補助制御部１８６は、新たなインテントが登録されることで、解釈可能な意図の幅が広がる。そのため、補助制御部１８６は、所望する動作に応じたインテントを登録することで、様々な動作を実行することが可能となる。また、補助制御部１８６は、異なるインテントが登録されている第３アプリケーション１７４をプロセッサ１９が実行することで異なる機能を実現するようにしてもよい。そのため、実施の目的に対応する第３アプリケーション１７４をダウンロードしておくことで、用途に応じた補助制御部１８６を利用することが可能となる。
【0226】
例えば、補助制御部１８６は、セッションにアクセスするためのセキュリティ質問を生成するようにしてもよい。
【0227】
具体的には、例えば、補助制御部１８６は、以下のように動作する。例えば、ユーザ１とユーザ２とでセッションが実施されたとする。このとき、補助制御部１８６は、ユーザ１とユーザ２とで実施されたセッション内容の履歴を記憶部１７０Ａに記憶しておく。
【0228】
続いて、ユーザ１とユーザ２との間で、前回と関連する内容でのセッションが改めて設定されたとする。ユーザ１は、ユーザ２とのセッションの場を設け、ユーザ２からのアクセスを受け付ける。
【0229】
補助制御部１８６は、ユーザ２からのアクセスがあると、記憶部１７０Ａに記憶しているセッション内容の履歴を読み出し、履歴に基づく質問を生成する。例えば、補助制御部１８６は、ユーザ１と話した内容、アクションポイントに関する情報等に基づいて質問を生成する。また、補助制御部１８６は、履歴に含まれていない話題を質問として生成してもよい。補助制御部１８６は、例えば、複数の質問を生成する。
【0230】
補助制御部１８６は、生成した質問をユーザ２へ提示し、質問に対する回答をユーザ２から受け付ける。質問に対してユーザ２が正しく回答できた場合、補助制御部１８６は、ユーザ２の接続を許可する。なお、補助制御部１８６が生成した質問はユーザ１へ提示されてもよい。質問に対してユーザ１が正しく回答できた場合、補助制御部１８６は、ユーザ１の接続を許可する。
【0231】
このように、補助制御部１８６は、セキュリティ質問を生成することで、セッションにアクセスしてきたユーザの正当性を証明するようにしている。また、質問の内容は、前回のセッションの情報に基づいているため、ユーザは、自身のプライバシーに触れる個人活動を暴露する必要がない。また、セッションの内容に基づくため、ユーザと生活を共にする第３者であっても、ユーザに成りすましてセッションに参加することができない。
【0232】
セキュリティ質問を生成する補助制御部１８６は、例えば、会議の参加者の正当性を証明するために活用可能である。例えば、ホストユーザと、他のユーザとで遠隔会議が開催されたとする。このとき、補助制御部１８６は、遠隔会議の議事録を記憶部１７０Ａに記憶しておく。
【0233】
続いて、前回と同様のメンバーで、前回と関連する内容での遠隔会議が再度予定されたとする。ホストユーザは、遠隔会議の場を設け、他のユーザからのアクセスを受け付ける。
【0234】
補助制御部１８６は、他のユーザからのアクセスがあると、記憶部１７０Ａに記憶している議事録を読み出し、議事録に基づく質問を生成する。例えば、補助制御部１８６は、前回の参加者の名前、出席予定だったが欠席した者の名前、アクションポイントに関する情報等に基づいて質問を生成する。また、補助制御部１８６は、議事録として記憶されていない、会議中の不規則発言、又は参加者の振る舞いに対する質問を生成してもよい。
【0235】
補助制御部１８６は、生成した質問を他のユーザへ提示し、質問に対する回答を他のユーザから受け付ける。質問に対して他のユーザが正しく回答できた場合、正しく回答できたユーザの接続を許可する。なお、補助制御部１８６は、生成した質問をホストユーザへ提示し、質問に対する回答をホストユーザから受け付けるようにしてもよい。質問に対してホストユーザが正しく回答できた場合、ホストユーザの接続を許可する。
【0236】
また、補助制御部１８６は、セキュリティ質問の生成と共に、議事録の正当性を確認してもよい。なお、議事録の正当性を確認ことは、例えば、議事録の内容の精度を向上させること、又は議事録の検証をすることと換言可能である。
【0237】
具体的には、例えば、補助制御部１８６は、セキュリティ質問に対して回答したユーザのうち、正当性の高いユーザを特定する。補助制御部１８６は、例えば、特定したユーザに対し、議事録の内容とは異なっているが、類似の内容に基づいて質問を生成する。補助制御部１８６は、質問に対するユーザからの回答に基づき、議事録を修正する。また、補助制御部１８６は、例えば、前回の会議の要約の少なくとも一部を質問として生成する。補助制御部１８６は、質問に対するユーザからの回答に基づき、議事録を修正する。
【0238】
これにより、補助制御部１８６は、セッション参加者の正当性を確認するのと同時に、議事録を修正することが可能となる。
【0239】
また、例えば、補助制御部１８６は、メッセージの内容に基づく提案内容を生成するようにしてもよい。提案内容は、例えば、メッセージの内容に基づくお勧めの商品等である。
【0240】
また、第２の実施形態では、補助制御部１８６の動作を切り替える際、実施する機能を明示した文としての指示を入力する例を説明した。しかしながら、補助制御部１８６への指示は、文でなくても構わない。補助制御部１８６への指示は、特別な符丁が設定されていてもよいし、補助制御部１８６の所定機能を読み出すためのキーワードが予め設定されていてもよい。
【0241】
（その他の実施形態）
第１の実施形態では、制御部１８０が助言制御部１８３を有し、第２の実施形態では、制御部１８０Ａが補助制御部１８６を有する場合を説明した。助言制御部１８３、及び補助制御部１８６は、同時に、又は切り替えて実現されてもよい。図２６は、その他の実施形態のシステムに含まれる端末装置１０Ｂの構成を示すブロック図である。図２７は、遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。
第１の実施形態では、制御部１８０が助言制御部１８３を有し、第２の実施形態では、制御部１８０Ａが補助制御部１８６を有する場合を説明した。助言制御部１８３、及び補助制御部１８６は、同時に、又は切り替えて実現されてもよい。図２６は、その他の実施形態のシステムに含まれる端末装置１０Ｂの構成を示すブロック図である。図２７は、遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。
【0242】
図２７に示す通信制御部１８２は、ミュート機能を有している。通信制御部１８２のミュート機能がオンの際に、助言制御部１８３、補助制御部１８６からの音声が他のユーザへ送信されないように、助言制御部１８３、補助制御部１８６にもミュート機能が付いている。助言制御部１８３、補助制御部１８６のミュート機能は、通信制御部１８２のミュート機能がオンとなると、自動的にオンになるようにしてもよい。
【0243】
上記実施形態において、第１アプリケーション１７１、第２アプリケーション１７２、第３アプリケーション１７４とをそれぞれ別のアプリケーションであるとして説明したが、第１アプリケーション１７１の機能として、第２アプリケーション１７２、第３アプリケーション１７４の機能があってもよい。
【0244】
また、第１の実施形態では、端末装置１０が助言制御部１８３の機能を実行する場合を説明し、第２の実施形態では、端末装置１０Ａが補助制御部１８６の機能を実行する場合を説明した。しかしながら、助言制御部１８３、及び補助制御部１８６の機能は、サーバ２０で実行されてもよい。
【0245】
図２８は、助言制御部がサーバで実行される場合のサーバ２０Ａの機能的な構成を示すブロック図である。図２８に示すように、サーバ２０Ａは、通信部２０１、記憶部２０２、及び制御部２０３としての機能を発揮する。
【0246】
通信部２０１は、サーバ２０Ａが外部の装置と通信するための処理を行う。
【0247】
記憶部２０２は、サーバ２０Ａが使用するデータ及びプログラムを記憶する。例えば、記憶部２０２は、助言制御プログラム２０２１、対話履歴データ２０２２を記憶する。助言制御プログラム２０２１は、端末装置１０に助言を表示させる処理を実行するためのプログラムである。助言制御プログラム２０２１は、第１の実施形態における第２アプリケーション１７２に相当する。対話履歴データ２０２２は、遠隔通信における対話履歴を記憶する。なお、助言制御プログラム２０２１は、記憶部２０２に記憶される通信制御プログラム（図示せず）の一部であっても構わない。
【0248】
制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３は、サーバ２０Ａの動作を制御する。具体的には、例えば、制御部２０３は、送受信部２０３１、記憶制御部２０３２、助言制御部２０３３、提示部２０３４としての機能を発揮する。
【0249】
送受信部２０３１は、サーバ２０Ａが、端末装置１０等の外部の装置と、通信プロトコルに従ってデータを送受信する処理を制御する。
【0250】
記憶制御部２０３２は、記憶部２０２への情報の記憶を制御する。
【0251】
助言制御部２０３３は、通信セッションに含まれるメッセージを分析し、分析結果に基づく助言をユーザに与える処理を行う。助言制御部２０３３は、例えば、通信セッションに参加する複数のユーザに対して助言を生成する。助言制御部２０３３に設定されているインテントは、ユーザ毎に設定されていてもよい。助言制御部２０３３の動作は、例えば、第１の実施形態で記載される助言制御部１８３の動作と同様である。
【0252】
提示部２０３４は、遠隔通信に関する画像をユーザに提示する。また、提示部２０３４は、助言制御部２０３３で生成された助言をユーザに提示する。
【0253】
図２９は、遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。図２９では、端末装置１０－１～１０－４の間で遠隔会議が開催され、サーバ２０Ａで仮想アシスタントとしての助言制御部２０３３が起動する場合を示している。
【0254】
図３０は、補助制御部がサーバで実行される場合のサーバ２０Ｂの機能的な構成を示すブロック図である。図３０に示すように、サーバ２０Ｂは、通信部２０１、記憶部２０２Ｂ、及び制御部２０３Ｂとしての機能を発揮する。
【0255】
記憶部２０２Ｂは、サーバ２０Ｂが使用するデータ及びプログラムを記憶する。例えば、記憶部２０２Ｂは、補助制御プログラム２０２３、対話履歴データ２０２２、議事録データ２０２４を記憶する。補助制御プログラム２０２３は、端末装置１０を補助する処理を実行するためのプログラムである。補助制御プログラム２０２３は、第２の実施形態における第３アプリケーション１７４に相当する。議事録データ２０２４は、遠隔通信における議事録を記憶する。なお、補助制御プログラム２０２３は、記憶部２０２Ｂに記憶される通信制御プログラム（図示せず）の一部であっても構わない。
【0256】
制御部２０３Ｂは、プロセッサ２９が記憶部２０２Ｂに記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３Ｂは、サーバ２０Ｂの動作を制御する。具体的には、例えば、制御部２０３Ｂは、送受信部２０３１、記憶制御部２０３２、補助制御部２０３５、提示部２０３４としての機能を発揮する。
【0257】
補助制御部２０３５は、通信セッションに含まれるメッセージを分析し、分析結果に基づきユーザを補助する処理を行う。補助制御部２０３５は、例えば、通信セッションに参加する複数のユーザを補助する。補助制御部２０３５に設定されているインテントは、ユーザ毎に設定されていてもよい。補助制御部２０３５の動作は、例えば、第２の実施形態で記載される補助制御部１８６の動作と同様である。
【0258】
提示部２０３４は、遠隔通信に関する画像をユーザに提示する。また、提示部２０３４は、補助制御部２０３５による補助をユーザに提示する。
【0259】
図３１は、遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。図３１では、端末装置１０－１～１０－４の間で遠隔会議が開催され、サーバ２０Ｂで仮想アシスタントとしての補助制御部２０３５が起動する場合を示している。
【0260】
図２８～図３１で示す助言制御部２０３３、及び補助制御部２０３５は、同時に、又は切り替えて実現されてもよい。図３２は、助言制御部２０３３、及び補助制御部２０３５がサーバで実行される場合のサーバ２０Ｃの機能的な構成を示すブロック図である。図３３は、遠隔通信がなされる際のシステムの機能構成の例を示すブロック図である。
【0261】
なお、助言制御部２０３３、及び補助制御部２０３５は、両方がサーバ２０Ｃで実行される必要はない。助言制御部２０３３、又は補助制御部２０３５が、助言制御部１８３、又は補助制御部１８６として端末装置１０で実行されてもよい。具体的には、助言制御部２０３３がサーバ２０Ｃで実行され、補助制御部１８６が端末装置１０で実行されてもよい。また、助言制御部１８３が端末装置１０で実行され、補助制御部２０３５がサーバ２０Ｃで実行されてもよい。
【0262】
以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
【0263】
＜付記＞
以上の各実施形態で説明した事項を以下に付記する。
以上の各実施形態で説明した事項を以下に付記する。
【0264】
（付記１）
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、第１者と第２者との遠隔通信において、第１者又は第２者から入力されるメッセージを認識するステップ（ステップＳ１１）と、認識されたメッセージを分析するステップ（ステップＳ１２，１６）と、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定するステップ（ステップＳ１３，１７）と、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成するステップ（ステップＳ１１０）とを実行させるプログラム。
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、第１者と第２者との遠隔通信において、第１者又は第２者から入力されるメッセージを認識するステップ（ステップＳ１１）と、認識されたメッセージを分析するステップ（ステップＳ１２，１６）と、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定するステップ（ステップＳ１３，１７）と、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成するステップ（ステップＳ１１０）とを実行させるプログラム。
【0265】
（付記２）
メッセージを分析するステップにおいて、第１者又は第２者から発せられたメッセージの意図を解釈し、サポートの要否を判定するステップにおいて、解釈した意図と、メッセージの履歴とに基づき、第１者へのサポートが必要か否かを判定し、助言内容を生成するステップにおいて、解釈した意図と、メッセージの履歴とに基づき、助言内容を生成する（付記１）に記載のプログラム。
メッセージを分析するステップにおいて、第１者又は第２者から発せられたメッセージの意図を解釈し、サポートの要否を判定するステップにおいて、解釈した意図と、メッセージの履歴とに基づき、第１者へのサポートが必要か否かを判定し、助言内容を生成するステップにおいて、解釈した意図と、メッセージの履歴とに基づき、助言内容を生成する（付記１）に記載のプログラム。
【0266】
（付記３）
メッセージを分析するステップにおいて、解釈可能な意図の種類は予め登録可能である（付記２）に記載のプログラム。
メッセージを分析するステップにおいて、解釈可能な意図の種類は予め登録可能である（付記２）に記載のプログラム。
【0267】
（付記４）
メッセージを分析するステップにおいて、第１者又は第２者から発せられたメッセージに含まれる固有名詞を抽出し、サポートの要否を判定するステップにおいて、抽出した固有名詞に基づき、第１者へのサポートが必要か否かを判定し、助言内容を生成するステップにおいて、抽出した固有名詞に基づき、助言内容を生成する（付記１）乃至（付記３）のいずれかに記載のプログラム。
メッセージを分析するステップにおいて、第１者又は第２者から発せられたメッセージに含まれる固有名詞を抽出し、サポートの要否を判定するステップにおいて、抽出した固有名詞に基づき、第１者へのサポートが必要か否かを判定し、助言内容を生成するステップにおいて、抽出した固有名詞に基づき、助言内容を生成する（付記１）乃至（付記３）のいずれかに記載のプログラム。
【0268】
（付記５）
助言内容を生成するステップにおいて、分析の結果に基づき、難解な固有名詞を説明するための助言内容を生成する（付記１）乃至（付記４）のいずれかに記載のプログラム。
助言内容を生成するステップにおいて、分析の結果に基づき、難解な固有名詞を説明するための助言内容を生成する（付記１）乃至（付記４）のいずれかに記載のプログラム。
【0269】
（付記６）
助言内容を生成するステップにおいて、分析の結果に基づき、スケジュールに関する助言内容を生成する（付記１）乃至（付記４）のいずれかに記載のプログラム。
助言内容を生成するステップにおいて、分析の結果に基づき、スケジュールに関する助言内容を生成する（付記１）乃至（付記４）のいずれかに記載のプログラム。
【0270】
（付記７）
助言内容を生成するステップにおいて、分析の結果に基づき、会議の進行を手助けする助言内容を生成する（付記１）乃至（付記４）のいずれかに記載のプログラム。
助言内容を生成するステップにおいて、分析の結果に基づき、会議の進行を手助けする助言内容を生成する（付記１）乃至（付記４）のいずれかに記載のプログラム。
【0271】
（付記８）
第１者から第２者へのメッセージの出力を停止するステップ（１８３７）をプロセッサに実行させ、助言内容を生成するステップにおいて、第１者から第２者へのメッセージの出力を停止している間に第１者から入力されるメッセージに基づいて、助言内容を生成する（付記１）乃至（付記４）のいずれかに記載のプログラム。
第１者から第２者へのメッセージの出力を停止するステップ（１８３７）をプロセッサに実行させ、助言内容を生成するステップにおいて、第１者から第２者へのメッセージの出力を停止している間に第１者から入力されるメッセージに基づいて、助言内容を生成する（付記１）乃至（付記４）のいずれかに記載のプログラム。
【0272】
（付記９）
第１者から第２者へのメッセージの出力を停止している間に、複数存在する第２者のうちいずれかの指定を受け付けるステップと、助言内容を指定された第２者へ送信するステップとをプロセッサに実行させる（付記８）に記載のプログラム。
第１者から第２者へのメッセージの出力を停止している間に、複数存在する第２者のうちいずれかの指定を受け付けるステップと、助言内容を指定された第２者へ送信するステップとをプロセッサに実行させる（付記８）に記載のプログラム。
【0273】
（付記１０）
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、第１者との遠隔通信に参加する第２者の画像を表示するステップ（１８４）と、第２者からのメッセージを分析して生成される、第１者に対する助言を与える助言内容を、第２者の画像と関連付けて表示するステップ（１８４）とを実行させるプログラム。
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、第１者との遠隔通信に参加する第２者の画像を表示するステップ（１８４）と、第２者からのメッセージを分析して生成される、第１者に対する助言を与える助言内容を、第２者の画像と関連付けて表示するステップ（１８４）とを実行させるプログラム。
【0274】
（付記１１）
第２者の画像を表示するステップにおいて、第１者との音声会話に参加する第２者の画像を表示し、助言内容を表示するステップにおいて、第２者から入力される音声を分析して生成される助言内容を、第２者の画像と関連付けて表示する（付記１０）に記載のプログラム。
第２者の画像を表示するステップにおいて、第１者との音声会話に参加する第２者の画像を表示し、助言内容を表示するステップにおいて、第２者から入力される音声を分析して生成される助言内容を、第２者の画像と関連付けて表示する（付記１０）に記載のプログラム。
【0275】
（付記１２）
助言内容の属性を識別可能な画像を表示するステップをプロセッサに実行させる（付記１０）又は（付記１１）に記載のプログラム。
助言内容の属性を識別可能な画像を表示するステップをプロセッサに実行させる（付記１０）又は（付記１１）に記載のプログラム。
【0276】
（付記１３）
第１者から第２者へのメッセージの出力を停止させるためのアイコン（１４１３）を表示するステップをプロセッサに実行させ、助言内容を表示するステップにおいて、第１者から第２者へのメッセージの出力を停止している間に、第１者から入力されるメッセージが分析されて生成される助言内容を表示する（付記１０）乃至（付記１２）のいずれかに記載のプログラム。
第１者から第２者へのメッセージの出力を停止させるためのアイコン（１４１３）を表示するステップをプロセッサに実行させ、助言内容を表示するステップにおいて、第１者から第２者へのメッセージの出力を停止している間に、第１者から入力されるメッセージが分析されて生成される助言内容を表示する（付記１０）乃至（付記１２）のいずれかに記載のプログラム。
【0277】
（付記１４）
プロセッサ１９と、メモリ１５とを備えるコンピュータが実行する方法であって、第１者と第２者との遠隔通信において、第１者又は第２者から入力されるメッセージを認識するステップ（ステップＳ１１）と、認識されたメッセージを分析するステップ（ステップＳ１２，１６）と、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定するステップ（ステップＳ１３，１７）と、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成するステップ（ステップＳ１１０）とを実行する方法。
プロセッサ１９と、メモリ１５とを備えるコンピュータが実行する方法であって、第１者と第２者との遠隔通信において、第１者又は第２者から入力されるメッセージを認識するステップ（ステップＳ１１）と、認識されたメッセージを分析するステップ（ステップＳ１２，１６）と、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定するステップ（ステップＳ１３，１７）と、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成するステップ（ステップＳ１１０）とを実行する方法。
【0278】
（付記１５）
プロセッサ１９と、メモリ１５とを備える情報処理装置１０であって、プロセッサが、第１者と第２者との遠隔通信において、第１者又は第２者から入力されるメッセージを認識するステップと、認識されたメッセージを分析するステップと、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定するステップと、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成するステップとを実行する情報処理装置。
プロセッサ１９と、メモリ１５とを備える情報処理装置１０であって、プロセッサが、第１者と第２者との遠隔通信において、第１者又は第２者から入力されるメッセージを認識するステップと、認識されたメッセージを分析するステップと、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定するステップと、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成するステップとを実行する情報処理装置。
【0279】
（付記１６）
第１者と第２者との遠隔通信において、第１者又は前記第２者から入力されるメッセージを認識する手段（１８３１）と、認識されたメッセージを分析する手段（１８３２，１８３３）と、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定する手段（１８３４）と、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成する手段（１８３６）とを具備するシステム。
第１者と第２者との遠隔通信において、第１者又は前記第２者から入力されるメッセージを認識する手段（１８３１）と、認識されたメッセージを分析する手段（１８３２，１８３３）と、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定する手段（１８３４）と、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成する手段（１８３６）とを具備するシステム。
【0280】
（付記１７）
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、第１者と第２者との遠隔通信において、第２者から入力されるメッセージを認識するステップ（１８６３）と、認識されたメッセージを分析するステップ（１８６４）と、分析の結果に基づき、メッセージの内容に関する情報を第１者に対して生成するステップ（１８６７）と、分析の結果に基づき、メッセージに対する応答内容を第２者に対して生成するステップ（１８６８）と、第２者から入力されるメッセージの代わりに、メッセージの内容に関する情報を第１者へ提示するステップ（１８４）と、メッセージに対する応答内容を第２者へ提示するステップ（１８２）とを実行させるプログラム。
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、第１者と第２者との遠隔通信において、第２者から入力されるメッセージを認識するステップ（１８６３）と、認識されたメッセージを分析するステップ（１８６４）と、分析の結果に基づき、メッセージの内容に関する情報を第１者に対して生成するステップ（１８６７）と、分析の結果に基づき、メッセージに対する応答内容を第２者に対して生成するステップ（１８６８）と、第２者から入力されるメッセージの代わりに、メッセージの内容に関する情報を第１者へ提示するステップ（１８４）と、メッセージに対する応答内容を第２者へ提示するステップ（１８２）とを実行させるプログラム。
【0281】
（付記１８）
メッセージの内容に関する情報を生成するステップにおいて、分析の結果に基づき、メッセージの内容をまとめた文を生成する（付記１７）に記載のプログラム。
メッセージの内容に関する情報を生成するステップにおいて、分析の結果に基づき、メッセージの内容をまとめた文を生成する（付記１７）に記載のプログラム。
【0282】
（付記１９）
メッセージの内容に関する情報を生成するステップにおいて、分析の結果に基づき、メッセージの翻訳文を生成する（付記１７）に記載のプログラム。
メッセージの内容に関する情報を生成するステップにおいて、分析の結果に基づき、メッセージの翻訳文を生成する（付記１７）に記載のプログラム。
【0283】
（付記２０）
第１者及び第２者が、以前に参加した遠隔通信の記録に基づき、第１者又は第２者の正当性を確認するための質問を生成するステップをプロセッサに実行させる（付記１７）乃至（付記１９）のいずれかに記載のプログラム。
第１者及び第２者が、以前に参加した遠隔通信の記録に基づき、第１者又は第２者の正当性を確認するための質問を生成するステップをプロセッサに実行させる（付記１７）乃至（付記１９）のいずれかに記載のプログラム。
【0284】
（付記２１）
質問に対する第１者又は第２者の回答を利用し、遠隔通信の記録を修正するステップをプロセッサに実行させる（付記２０）に記載のプログラム。
質問に対する第１者又は第２者の回答を利用し、遠隔通信の記録を修正するステップをプロセッサに実行させる（付記２０）に記載のプログラム。
【0285】
（付記２２）
メッセージの内容に関する情報を生成するステップにおいて、第１者からの指示に応じた処理を実施する（付記１８）又は（付記１９）に記載のプログラム。
メッセージの内容に関する情報を生成するステップにおいて、第１者からの指示に応じた処理を実施する（付記１８）又は（付記１９）に記載のプログラム。
【0286】
（付記２３）
第１者から入力されるメッセージを認識するステップ（ステップＳ１１）と、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定するステップ（ステップＳ１３，１７）と、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成するステップ（ステップＳ１１０）と、助言内容を第１者へ提示するステップ（１８４）とをプロセッサに実行させる（付記１７）乃至（付記２２）のいずれかに記載のプログラム。
第１者から入力されるメッセージを認識するステップ（ステップＳ１１）と、第１者から第２者へのメッセージ、又は第２者から第１者へのメッセージについての分析の結果に基づき、第１者へのサポートが必要か否かを判定するステップ（ステップＳ１３，１７）と、必要と判定する場合、分析の結果に基づき、第１者に対する助言を与える助言内容を生成するステップ（ステップＳ１１０）と、助言内容を第１者へ提示するステップ（１８４）とをプロセッサに実行させる（付記１７）乃至（付記２２）のいずれかに記載のプログラム。
【0287】
（付記２４）
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、第１者と第２者とが遠隔通信に参加し、第１者が、第２者からのメッセージに対するメッセージを入力している場合、第２者の画像を表示するステップと、第２者からのメッセージに基づき、第１者からの入力を経ずに、自動で応答を生成している場合、第２者の画像を、代理であることを表す代理画像にして表示するステップとを実行させるプログラム。
プロセッサ１９と、メモリ１５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、第１者と第２者とが遠隔通信に参加し、第１者が、第２者からのメッセージに対するメッセージを入力している場合、第２者の画像を表示するステップと、第２者からのメッセージに基づき、第１者からの入力を経ずに、自動で応答を生成している場合、第２者の画像を、代理であることを表す代理画像にして表示するステップとを実行させるプログラム。
【0288】
（付記２５）
第２者からのメッセージが分析されて生成される、メッセージの内容に関する情報を、代理画像と関連付けて表示するステップをプロセッサに実行させる（付記２４）に記載のプログラム。
第２者からのメッセージが分析されて生成される、メッセージの内容に関する情報を、代理画像と関連付けて表示するステップをプロセッサに実行させる（付記２４）に記載のプログラム。
【0289】
（付記２６）
第２者からのメッセージに基づいてメッセージの内容に関する情報を生成する処理を実施していることを表す画像を表示するステップをプロセッサに実行させる（付記２４）又は（付記２５）に記載のプログラム。
第２者からのメッセージに基づいてメッセージの内容に関する情報を生成する処理を実施していることを表す画像を表示するステップをプロセッサに実行させる（付記２４）又は（付記２５）に記載のプログラム。
【0290】
（付記２７）
第２者からのメッセージを分析して生成される、第１者に対する助言を与える助言内容を、第２者の画像と関連付けて表示するステップをプロセッサに実行させる（付記２４）乃至（付記２６）のいずれかに記載のプログラム。
第２者からのメッセージを分析して生成される、第１者に対する助言を与える助言内容を、第２者の画像と関連付けて表示するステップをプロセッサに実行させる（付記２４）乃至（付記２６）のいずれかに記載のプログラム。
【0291】
（付記２８）
プロセッサ１９と、メモリ１５とを備えるコンピュータが実行する方法であって、第１者と第２者との遠隔通信において、第２者から入力されるメッセージを認識するステップ（１８６３）と、認識されたメッセージを分析するステップ（１８６４）と、分析の結果に基づき、メッセージの内容に関する情報を第１者に対して生成するステップ（１８６７）と、分析の結果に基づき、メッセージに対する応答内容を第２者に対して生成するステップ（１８６８）と、第２者から入力されるメッセージの代わりに、メッセージの内容に関する情報を第１者へ提示するステップ（１８４）と、メッセージに対する応答内容を第２者へ提示するステップ（１８２）とを実行する方法。
プロセッサ１９と、メモリ１５とを備えるコンピュータが実行する方法であって、第１者と第２者との遠隔通信において、第２者から入力されるメッセージを認識するステップ（１８６３）と、認識されたメッセージを分析するステップ（１８６４）と、分析の結果に基づき、メッセージの内容に関する情報を第１者に対して生成するステップ（１８６７）と、分析の結果に基づき、メッセージに対する応答内容を第２者に対して生成するステップ（１８６８）と、第２者から入力されるメッセージの代わりに、メッセージの内容に関する情報を第１者へ提示するステップ（１８４）と、メッセージに対する応答内容を第２者へ提示するステップ（１８２）とを実行する方法。
【0292】
（付記２９）
プロセッサ１９と、メモリ１５とを備える情報処理装置１０Ａであって、プロセッサが、第１者と第２者との遠隔通信において、第２者から入力されるメッセージを認識するステップ（１８６３）と、認識されたメッセージを分析するステップ（１８６４）と、分析の結果に基づき、前記メッセージの内容に関する情報を前記第１者に対して生成するステップ（１８６７）と、分析の結果に基づき、メッセージに対する応答内容を第２者に対して生成するステップ（１８６８）と、第２者から入力されるメッセージの代わりに、メッセージの内容に関する情報を第１者へ提示するステップ（１８４）と、メッセージに対する応答内容を第２者へ提示するステップ（１８２）とを実行する情報処理装置。
プロセッサ１９と、メモリ１５とを備える情報処理装置１０Ａであって、プロセッサが、第１者と第２者との遠隔通信において、第２者から入力されるメッセージを認識するステップ（１８６３）と、認識されたメッセージを分析するステップ（１８６４）と、分析の結果に基づき、前記メッセージの内容に関する情報を前記第１者に対して生成するステップ（１８６７）と、分析の結果に基づき、メッセージに対する応答内容を第２者に対して生成するステップ（１８６８）と、第２者から入力されるメッセージの代わりに、メッセージの内容に関する情報を第１者へ提示するステップ（１８４）と、メッセージに対する応答内容を第２者へ提示するステップ（１８２）とを実行する情報処理装置。
【0293】
（付記３０）
第１者と第２者との遠隔通信において、第２者から入力されるメッセージを認識する手段（１８６３）と、認識されたメッセージを分析する手段（１８６４）と、分析の結果に基づき、メッセージの内容に関する情報を第１者に対して生成する手段（１８６７）と、分析の結果に基づき、メッセージに対する応答内容を第２者に対して生成する手段（１８６８）と、第２者から入力されるメッセージの代わりに、メッセージの内容に関する情報を第１者へ提示する手段（１８４）と、メッセージに対する応答内容を第２者へ提示する手段（１８２）とを具備するシステム。
第１者と第２者との遠隔通信において、第２者から入力されるメッセージを認識する手段（１８６３）と、認識されたメッセージを分析する手段（１８６４）と、分析の結果に基づき、メッセージの内容に関する情報を第１者に対して生成する手段（１８６７）と、分析の結果に基づき、メッセージに対する応答内容を第２者に対して生成する手段（１８６８）と、第２者から入力されるメッセージの代わりに、メッセージの内容に関する情報を第１者へ提示する手段（１８４）と、メッセージに対する応答内容を第２者へ提示する手段（１８２）とを具備するシステム。
【符号の説明】
【0294】
１…システム
１０，１０Ａ，１０Ｂ…端末装置
１２…通信ＩＦ
１２１…通信部
１３…入力装置
１３１…マウス
１３２…キーボード
１３３…タッチ・センシティブ・デバイス
１３４…マイク
１４…出力装置
１４１…ディスプレイ
１４２…スピーカ
１５…メモリ
１６…ストレージ
１６０…カメラ
１７０，１７０Ａ…記憶部
１７１…第１アプリケーション
１７２…第２アプリケーション
１７３…対話履歴データ
１７４…第３アプリケーション
１７５…議事録データ
１８０，１８０Ａ…制御部
１８１…操作受付部
１８２…通信制御部
１８３…助言制御部
１８３１…音声認識部
１８３２…意図解釈部
１８３３…固有名詞抽出部
１８３４…助言判定部
１８３５…外部サービス呼出部
１８３６…応答生成部
１８３７…第２切替部
１８３８…音声合成部
１８４…表示制御部
１８５…第１切替部
１８６…補助制御部
１８６１…テキスト入力部
１８６２…第１意図解釈部
１８６３…音声認識部
１８６４…第２意図解釈部
１８６５…対話制御部
１８６６…外部サービス呼出部
１８６７…第１応答生成部
１８６８…第２応答生成部
１８６９…音声合成部
１９…プロセッサ
２０，２０Ａ～２０Ｃ…サーバ
２０１…通信部
２０２，２０２Ｂ，２０２Ｃ…記憶部
２０２１…助言制御プログラム
２０２２…対話履歴データ
２０２３…補助制御プログラム
２０２４…議事録データ
２０３，２０３Ｂ，２０３Ｃ…制御部
２０３１…送受信部
２０３２…記憶制御部
２０３３…助言制御部
２０３４…提示部
２０３５…補助制御部
２２…通信ＩＦ
２３…入出力ＩＦ
２５…メモリ
２６…ストレージ
２９…プロセッサ
８０…ネットワーク
１０，１０Ａ，１０Ｂ…端末装置
１２…通信ＩＦ
１２１…通信部
１３…入力装置
１３１…マウス
１３２…キーボード
１３３…タッチ・センシティブ・デバイス
１３４…マイク
１４…出力装置
１４１…ディスプレイ
１４２…スピーカ
１５…メモリ
１６…ストレージ
１６０…カメラ
１７０，１７０Ａ…記憶部
１７１…第１アプリケーション
１７２…第２アプリケーション
１７３…対話履歴データ
１７４…第３アプリケーション
１７５…議事録データ
１８０，１８０Ａ…制御部
１８１…操作受付部
１８２…通信制御部
１８３…助言制御部
１８３１…音声認識部
１８３２…意図解釈部
１８３３…固有名詞抽出部
１８３４…助言判定部
１８３５…外部サービス呼出部
１８３６…応答生成部
１８３７…第２切替部
１８３８…音声合成部
１８４…表示制御部
１８５…第１切替部
１８６…補助制御部
１８６１…テキスト入力部
１８６２…第１意図解釈部
１８６３…音声認識部
１８６４…第２意図解釈部
１８６５…対話制御部
１８６６…外部サービス呼出部
１８６７…第１応答生成部
１８６８…第２応答生成部
１８６９…音声合成部
１９…プロセッサ
２０，２０Ａ～２０Ｃ…サーバ
２０１…通信部
２０２，２０２Ｂ，２０２Ｃ…記憶部
２０２１…助言制御プログラム
２０２２…対話履歴データ
２０２３…補助制御プログラム
２０２４…議事録データ
２０３，２０３Ｂ，２０３Ｃ…制御部
２０３１…送受信部
２０３２…記憶制御部
２０３３…助言制御部
２０３４…提示部
２０３５…補助制御部
２２…通信ＩＦ
２３…入出力ＩＦ
２５…メモリ
２６…ストレージ
２９…プロセッサ
８０…ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
