特開 2023-167938 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023167938

(43)【公開日】2023-11-24

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20231116BHJP

   G06F 3/01 20060101ALI20231116BHJP

   H04N 7/14 20060101ALI20231116BHJP

   H04N 21/442 20110101ALI20231116BHJP

【ＦＩ】

G06Q10/04

G06F3/01 510

H04N7/14 110

H04N21/442

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022079497

(22)【出願日】2022-05-13

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】宮崎 和雅

(72)【発明者】

【氏名】内海 秀介

(72)【発明者】

【氏名】野武 健一郎

(72)【発明者】

【氏名】真鍋 芳宏

(72)【発明者】

【氏名】宮崎 諒司

(72)【発明者】

【氏名】福田 純子

(72)【発明者】

【氏名】佐々木 隆

(72)【発明者】

【氏名】長尾 恭治

【テーマコード（参考）】

5C164

5E555

5L049

【Ｆターム（参考）】

5C164FA10

5C164UB41P

5C164VA04S

5C164VA06S

5C164VA35P

5C164YA12

5E555AA46

5E555AA61

5E555BA02

5E555BA03

5E555BA05

5E555BA06

5E555BA76

5E555BB02

5E555BB03

5E555BB05

5E555BB06

5E555BC04

5E555BD07

5E555CA42

5E555CA47

5E555CB56

5E555CB64

5E555CB66

5E555CB67

5E555DA01

5E555DB45

5E555DD06

5E555EA03

5E555EA05

5E555EA14

5E555EA22

5E555EA23

5E555FA00

5L049AA04

(57)【要約】      （修正有）

【課題】精度よく相手の状態を推測することが可能な情報処理装置、情報処理方法およびプログラムを提案する。
【解決手段】コミュニケーション支援システムにおいて、情報処理装置として機能する端末ＴＡは、刺激認識部ＳＴ、反応予想部ＰＲ、反応認識部ＲＥ及び状態推測部ＥＳを有する。刺激認識部ＳＴは、対話の相手を刺激する話者の言動を認識する。反応予想部ＰＲは、刺激に対して予想される相手の反応を予想反応として認識する。反応認識部ＲＥは、刺激に対する実際の相手の反応を実反応として認識し、状態推測部ＥＳは、予想反応と実反応の違いに基づいて相手の状態を推測する。
【選択図】図２

【特許請求の範囲】

【請求項1】

対話の相手を刺激する話者の言動を認識する刺激認識部と、
刺激に対して予想される前記相手の反応を予想反応として認識する反応予想部と、
前記刺激に対する実際の前記相手の反応を実反応として認識する反応認識部と、
前記予想反応と前記実反応の違いに基づいて前記相手の状態を推測する状態推測部と、
を有する情報処理装置。

【請求項2】

前記状態推測部は、前記予想反応と前記実反応との間の反応の大きさの違いおよび反応が起きるタイミングの違いを加味して前記相手の状態を推測する、
請求項１に記載の情報処理装置。

【請求項3】

前記刺激認識部は、前記話者が持つ特有の行動パターンに基づく言動を前記刺激として認識する、
請求項１に記載の情報処理装置。

【請求項4】

前記反応予想部は、前記相手が持つ特有の行動パターンを加味して前記刺激に対する前記相手の反応を予想する、
請求項１に記載の情報処理装置。

【請求項5】

前記状態推測部は、前記刺激とは無関係の前記相手の言動に基づいて仮ポジネガ度を算出し、前記仮ポジネガ度を前記予想反応と前記実反応との違いに基づいて補正して得られたポジネガ度を前記相手の状態として出力する、
請求項１に記載の情報処理装置。

【請求項6】

前記状態推測部は、現在の前記相手の言動に影響を及ぼす可能性のある直近の前記刺激を加味して現在の前記ポジネガ度を算出する、
請求項５に記載の情報処理装置。

【請求項7】

前記状態推測部は、直近に算出された前記ポジネガ度を加味して現在の前記ポジネガ度を算出する、
請求項５に記載の情報処理装置。

【請求項8】

前記状態推測部は、時間の経過に伴って前記ポジネガ度を徐々にニュートラルの値に近づける、
請求項７に記載の情報処理装置。

【請求項9】

対話の相手を刺激する話者の言動を前記相手に送信するデータ送信部と、
前記刺激に対して推測される前記相手の状態を受信するデータ受信部と、
前記相手の状態を前記話者に提示する相手状態提示部と、
を有する情報処理装置。

【請求項10】

対話の相手を刺激する話者の言動を認識し、
刺激に対して予想される前記相手の反応を予想反応として認識し、
前記刺激に対する実際の前記相手の反応を実反応として認識し、
前記予想反応と前記実反応の違いに基づいて前記相手の状態を推測する、
ことを有する、コンピュータにより実行される情報処理方法。

【請求項11】

対話の相手を刺激する話者の言動を認識し、
刺激に対して予想される前記相手の反応を予想反応として認識し、
前記刺激に対する実際の前記相手の反応を実反応として認識し、
前記予想反応と前記実反応の違いに基づいて前記相手の状態を推測する、
ことをコンピュータに実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

リアルな対面でのコミュニケーションでは、対話の相手の発言、抑揚および表情などから相手の様々な情報を読み取ることができる。話者は、読み取った情報から相手の状態を推測し、相手に気を配ることで、円滑なコミュニケーションを行うことができる。通信端末を用いたリモートのコミュニケーションでは、画面越しに対話が行われるため、下記のような理由により、話者は相手の情報を読み取りにくくなる。

【0003】

（ｉ）画面に映る相手の顔が小さい場合、相手の表情や身振り手振りが読み取りにくい。
（ｉｉ）情報の伝達に遅延が発生する場合、会話の正確な間（ま）がくみ取れない。
（ｉｉｉ）通信端末の操作に気を取られて相手の表情を見落とす可能性がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－２１３６３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

相手の表情や言葉の抑揚などから相手の状態を推測する技術は存在する。しかし、この種の技術では、絶対的な表情等のレベルに基づいて相手の状態が推測される。検出される表情等のレベルには個人差が存在するため、精度のよい推定結果が得られにくい。例えば、説明を理解しようとする際に眉間に皺を寄せる癖のある人は怒っていると推測される。

【0006】

そこで、本開示では、精度よく相手の状態を推測することが可能な情報処理装置、情報処理方法およびプログラムを提案する。

【課題を解決するための手段】

【0007】

本開示によれば、対話の相手を刺激する話者の言動を認識する刺激認識部と、刺激に対して予想される前記相手の反応を予想反応として認識する反応予想部と、前記刺激に対する実際の前記相手の反応を実反応として認識する反応認識部と、前記予想反応と前記実反応の違いに基づいて前記相手の状態を推測する状態推測部と、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。

【0008】

また、本開示によれば、対話の相手を刺激する話者の言動を前記相手に送信するデータ送信部と、前記刺激に対して推測される前記相手の状態を受信するデータ受信部と、前記相手の状態を前記話者に提示する相手状態提示部と、を有する情報処理装置が提供される。

【図面の簡単な説明】

【0009】

【図1】従来のコミュニケーション支援システムのブロック図である。

【図2】本開示のコミュニケーション支援システムのブロック図である。

【図3】保険外交員と顧客との間のコミュニケーションの例を示す図である。

【図4】本開示のコミュニケーション支援システムの処理フローの一例を示す図である。

【図5】ポジネガ度の算出方法の一例を示す図である。

【図6】通信端末のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0011】

なお、説明は以下の順序で行われる。
［１．コミュニケーション支援サービス］
［１－１．従来のシステム構成例］
［１－２．本開示のシステム構成例］
［２．コミュニケーション例］
［３．情報処理方法］
［４．ハードウェア構成例］
［５．効果］

【0012】

［１．コミュニケーション支援サービス］
図１および図２は、コミュニケーション支援サービスの概要を説明する図である。図１は、従来のコミュニケーション支援サービスに適用されるコミュニケーション支援システムＣＳＣのブロック図である。図２は、本開示のコミュニケーション支援サービスに適用されるコミュニケーション支援システムＣＳのブロック図である。

【0013】

コミュニケーション支援サービスは、ユーザ間のリモートコミュニケーションを支援するサービスである。ユーザは、スマートフォン、タブレット端末、ノートパソコンおよびデスクトップパソコンなどの通信端末ＴＭを用いてリモートコミュニケーションを行う。

【0014】

コミュニケーション支援システムＣＳＣは、ユーザの数に応じた複数の通信端末ＴＭを有する。通信端末ＴＭは、センサを用いてユーザをセンシングし、センシング結果を他のユーザの通信端末ＴＭに送信する。コミュニケーション支援システムは、対話の相手ＰＡの状態（感情など）を話者ＳＫに対して可視化して提示する。話者ＳＫは、相手ＰＡの状態をリアルタイムで認識しながら対話を行うことができる。

【0015】

［１－１．従来のシステム構成例］
図１の例では、話者ＳＫは保険外交員ＣＮであり、対話の相手ＰＡは顧客ＣＵである。話者ＳＫと相手ＰＡは端末ＴＫおよび端末ＴＡを介して対話を行う。端末ＴＫおよび端末ＴＡは、映像および音声を送受信可能な通信端末ＴＭである。端末ＴＫおよび端末ＴＭは、映像および音声を処理する情報処理装置として機能する。

【0016】

端末ＴＫは、カメラ入力部ＣＭ、マイク入力部ＭＣ、コンテンツ表示部ＤＣ、相手映像表示部ＤＰ、相手音声出力部ＳＰ、相手状態提示部ＰＳ、データ送信部ＤＴＫおよびデータ受信部ＤＲＫを有する。端末ＴＡは、カメラ入力部ＣＭ、マイク入力部ＭＣ、共有コンテンツ表示部ＤＳ、相手映像表示部ＤＰ、相手音声出力部ＳＰ、反応認識部ＲＥ、データ送信部ＤＴＡおよびデータ受信部ＤＲＡを有する。

【0017】

例えば、カメラ入力部ＣＭ、マイク入力部ＭＣおよび相手音声出力部ＳＰには、公知のカメラ、マイクおよびスピーカが用いられる。コンテンツ表示部ＤＣ、共有コンテンツ表示部ＤＳおよび相手映像表示部ＤＰには、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの公知のディスプレイが用いられる。

【0018】

カメラ入力部ＣＭは、カメラで撮影された話者ＳＫまたは相手ＰＡの映像を入力する。マイク入力部ＭＣは、マイクで集音した話者ＳＫまたは相手ＰＡの音声を入力する。コンテンツ表示部ＤＣおよび共有コンテンツ表示部ＤＳは、ユーザ間で共有されるコンテンツＣＴをディスプレイに表示する。

【0019】

話者ＳＫの映像、音声およびコンテンツＣＴは、データ送信部ＤＴＫおよびデータ受信部ＤＲＡを介して、それぞれ端末ＴＡの相手映像表示部ＤＰ、相手音声出力部ＳＰおよび共有コンテンツ表示部ＤＳに供給される。相手ＰＡの映像および音声は、データ送信部ＤＴＡおよびデータ受信部ＤＲＫを介して端末ＴＫの相手映像表示部ＤＰおよび相手音声出力部ＳＰに供給される。

【0020】

反応認識部ＲＥは、相手ＰＡの映像および音声から相手ＰＡの反応を認識する。反応認識部ＲＥは、相手ＰＡの反応を分析し、分析結果に基づいて相手ＰＡの状態を推測する。例えば、分析は、感情分析の一種であるポジネガ分析によって行われる。ポジネガ分析では、感情の状態がポジネガ度ＰＮによって表される。ポジネガ度は、ポジティブの度合いを数値で表したものである。反応認識部ＲＥは、推測された相手ＰＡの状態（例えばポジネガ度ＰＮ）をデータ送信部ＤＴＡおよびデータ受信部ＤＲＫを介して相手状態提示部ＰＳに通知する。相手状態提示部ＰＳは、相手ＰＡの状態を端末ＴＫのディスプレイＳＣＫに表示する。

【0021】

なお、図１の例では、反応認識部ＲＥが端末ＴＡに搭載された。しかし、図１の点線で示すように、反応認識部ＲＥは端末ＴＫに搭載されてもよい。この場合、反応認識部ＲＥは、データ受信部ＤＲＫを介して取得した相手ＰＡの映像および音声から相手ＰＡの反応を認識する。また、図１の例は、保険のコンサルティングへの適用例であるため、一方のユーザ（顧客ＣＵ）の状態のみが分析される。しかし、商談などの他の適用例では、双方のユーザが互いに相手の状態を認識できることが好ましい。この場合、端末ＴＫにも反応認識部ＲＥを搭載し、対話を行う双方のユーザの状態を分析できるようにしてもよい。

【0022】

図１の下部には、端末ＴＫおよび端末ＴＡに表示される情報の一例が示されている。端末ＴＡのディスプレイＳＣＡには、コンテンツＣＴと話者ＳＫの映像ＩＭＡが表示される。端末ＴＫのディスプレイＳＣＫには、コンテンツＣＴと相手ＰＡの映像ＩＭＫの他に、相手ＰＡのポジネガ度ＰＮが表示される。話者ＳＫは、ポジネガ度ＰＮを参照しながら、相手ＰＡが好ましい感情を持っているか、あるいは、対話の内容について相手ＰＡがどの程度理解しているか、などを推測する。

【0023】

［１－２．本開示のシステム構成例］
図２は、本開示のコミュニケーション支援システムＣＳの一例を示す図である。本開示において従来と異なる点は、相手ＰＡの状態を推測する手法である。図１に示す従来例では、対話の相手ＰＡの反応のみを用いて相手ＰＡの状態が推測される。本開示では、話者ＳＫの言動とその言動に対する相手ＰＡの反応との相関関係（話者ＳＫの言動に対して予想される相手ＰＡの反応と実際の相手ＰＡの反応との差分の情報）に基づいて相手ＰＡの状態が推測される。

【0024】

データ送信部ＤＴＫは、対話の相手ＰＡを刺激する話者ＳＫの言動を端末ＴＡ（相手ＰＡ）に送信する。端末ＴＡは、話者ＳＫの言動と相手ＰＡの反応との相関関係に基づいて相手ＰＡの状態を推測する。データ受信部ＤＲＫは、刺激に対して推測される相手ＰＡの状態を端末ＴＡから受信する。相手状態提示部ＰＳは、相手ＰＡの状態を話者ＳＫに提示する。以下、図１の従来例との差分を中心に説明する。

【0025】

端末ＴＡは、図１の構成に加えて、刺激認識部ＳＴ、反応予想部ＰＲ、状態推測部ＥＳ、刺激データベース部ＤＢＳおよび反応データベース部ＤＢＲを有する。

【0026】

刺激認識部ＳＴは、対話の相手ＰＡを刺激する話者ＳＫの言動を認識する。刺激とは、相手ＰＡの反応を引き起こす契機となるものを意味する。刺激となる言動には、相手ＰＡの反応（理解、同意、行動など）を促すような発言、ジェスチャ、表情、および、コンテンツＣＴの提示などが含まれる。刺激認識部ＳＴは、話者ＳＫの映像、話者ＳＫの音声、および、話者ＳＫから提示されたコンテンツＣＴから、刺激となる言動を抽出する。

【0027】

抽出すべき言動は、システム設計者などにより予め設定される。刺激データベース部ＤＢＳは、刺激として抽出すべき言動の内容を刺激情報として記憶する。言動の内容とは、言動の種類および特徴を意味する。例えば、刺激となる言動がジェスチャであれば、ジェスチャの種類および骨格の動きの特徴が刺激情報として記憶される。刺激となる言動が顔の表情であれば、表情の種類および顔の特徴点の配置が刺激情報として記憶される。

【0028】

刺激認識部ＳＴは、公知の画像解析技術および音声解析技術を用いて、話者ＳＫの映像、音声およびコンテンツＣＴから、刺激となる言動を抽出する。刺激認識部ＳＴは、刺激となる言動の内容、および、刺激が相手ＰＡに認識された時刻（タイムスタンプ）を刺激認識情報として出力する。

【0029】

刺激認識部ＳＴは、話者ＳＫが持つ特有の行動パターンに基づく言動を刺激として認識することができる。刺激データベース部ＤＢＳは、話者ＳＫが相手の理解や反応を促す際の行う特有の言動（癖など）を話者ＳＫの行動パターンとして記憶する。特有の行動パターンとしては、「細かく発話ごとに相手の反応を確かめる」、「理解してほしい重要な用語は２回以上繰り返して説明する」、「マウスカーソルで重要な部分を丸く囲う」および「注目させるために暫く黙る」などが挙げられる。刺激認識部ＳＴは、話者特有の行動パターンと類似する言動を話者ＳＫの映像、音声およびコンテンツＣＴから抽出する。

【0030】

反応予想部ＰＲは、刺激に対して予想される相手ＰＡの反応を予想反応として認識する。例えば、刺激となる言動が「問いかけ」であれば、「うなずき」や「回答」などの言動が予想反応として認識される。刺激となる言動が「資料の提示」であれば、「注目」や「うなずき」などの言動が予想反応として認識される。

【0031】

刺激と予想反応との対応関係は反応データベース部ＤＢＲに規定されている。反応データベース部ＤＢＲは、刺激ごとに、１以上の予想反応を規定する。反応データベース部ＤＢＲは、予想反応ごとに、予想反応となる言動の内容、言動が起こるタイミング、および、言動から予想されるポジネガ度（予想ポジネガ度）を予想反応情報として記憶する。

【0032】

例えば、予想反応がジェスチャであれば、ジェスチャの種類、骨格の動きの特徴、ジェスチャが起こるタイミング、および、ジェスチャから予想される予想ポジネガ度が予想反応情報として記憶される。予想反応が顔の表情であれば、表情の種類、顔の特徴点の配置、表情が現れるタイミング、および、表情から予想される予想ポジネガ度が予想反応情報として記憶される。予想ポジネガ度の値は、システム設計者が任意に設定することができる。例えば、「問いかけ」に対しては「うなずき」が予想反応の一つとして想定される。「うなづき」は、相手ＰＡへの理解を示すポジティブな反応であるため、予想ポジネガ度としては高い値が設定される。

【0033】

反応予想部ＰＲは、刺激認識情報から、刺激となる言動の内容を特定する。反応予想部ＰＲは、反応データベース部ＤＢＲから、該当する内容の言動に紐づけられた１以上の予想反応情報を抽出し、状態予測部ＥＳに供給する。

【0034】

反応予想部ＰＲは、相手ＰＡが持つ特有の行動パターンを加味して刺激に対する相手ＰＡの反応を予想することができる。反応データベース部ＤＢＲは、相手ＰＡが刺激を受けた際に行う特有の言動（癖など）を相手ＰＡの行動パターンとして記憶する。特有の行動パターンとしては、「資料の提示」に対して、納得したという意味で「口を丸くしながら数回うなずく」や、一生懸命考えているという意味で「指をこめかみに当てながら考えこむ」などが挙げられる。反応予想部ＰＲは、相手特有の行動パターンと類似する言動を相手ＰＡの映像および音声から抽出する。

【0035】

反応認識部ＲＥは、相手ＰＡの映像および音声から相手ＰＡの反応を認識する。反応認識部ＲＥは、刺激に対する実際の相手ＰＡの反応を実反応として認識する。状態推測部ＥＳは、予想反応と実反応の違いに基づいて相手ＰＡの状態を推測する。相手ＰＡの状態は、例えば、ポジネガ度ＰＮとして算出される。ポジネガ度ＰＮは、予想ポジネガ度を予想反応と実反応の違いに基づいて補正することにより算出される。補正の方法はシステム開発者が任意に設定することができる。

【0036】

例えば、状態推測部ＥＳは、相手ＰＡの反応の種類に応じたポジネガ度ＰＮを仮ポジネガ度として算出する。反応データベース部ＤＢＲは、反応として検出すべき個々の言動の情報を反応情報として記憶する。反応情報は、反応として検出される言動の内容、および、言動から予想されるポジネガ度（仮ポジネガ度）を含む。仮ポジネガ度の値は、システム設計者によって任意に設定される。例えば、会話とは無関係な方向を向く行為は、無関心を示すネガティブな反応であるため、仮ポジネガ度は低い値に設定される。

【0037】

反応予想部ＰＲは、反応データベース部ＤＢＲから相手ＰＡの反応に対応する反応情報を抽出し、状態推測部ＥＳに供給する。状態推測部ＥＳは、反応情報から仮ポジネガ度を抽出し、相手ＰＡの状態を示すポジネガ度ＰＮとして算出する。相手ＰＡの反応が予想反応と同じ種類の反応である場合には、状態推測部ＥＳは、予想反応情報から抽出した予想ポジネガ度と仮ポジネガ度との差に応じた補正値でポジネガ度ＰＮを補正する。状態推測部ＥＳは、補正後のポジネガ度ＰＮを相手ＰＡの状態として算出する。

【0038】

状態推測部ＥＳは、予想反応と実反応との間の反応の大きさの違いおよび反応が起きるタイミングの違いを加味して相手ＰＡの状態を推測することができる。例えば、反応データベース部ＤＢＲには、「問いかけ」という刺激に対して「うなずき」という反応が予想反応の一つとして登録されている。実反応として「うなずき」が認識された場合、反応予想部ＰＲは、反応データベース部ＤＢＲから「うなずき」に関する予想反応情報を抽出し、状態推測部ＥＳに供給する。状態推測部ＥＳは、予想反応情報から、標準的な「うなずき」の大きさ、タイミング（「問いかけ」から「うなずき」が生じるまでの時間）および予想ポジネガ度を抽出する。

【0039】

反応認識部ＲＥは、実反応を分析して、実際の「うなずき」の大きさおよびタイミングを検出する。状態推測部ＥＳは、実際の「うなずき」の大きさおよびタイミングを反応予想部ＰＲで予想された（予想反応情報から抽出された）「うなずき」の大きさおよびタイミングと比較し、比較結果に基づいて、付与すべき補正値を算出する。例えば、「うなずき」の大きさが予想された値よりも大きくなるほど、あるいは、「うなずき」のタイミングが予想された値よりも早くなるほど、補正値は大きくなる。

【0040】

相手ＰＡの反応が予想反応とは異なる種類の反応である場合には、状態推測部ＥＳは、反応情報から抽出された仮ポジネガ度を、相手ＰＡの状態を示すポジネガ度ＰＮとして算出する。直近の話者ＳＫの刺激が現在の相手ＰＡの言動に影響を及ぼす可能性がある場合には、状態推測部ＥＳは、直近の刺激を加味した補正値でポジネガ度ＰＮを補正することができる。例えば、直近の刺激によってポジティブな反応が予想される場合には、ポジネガ度ＰＮに正の補正値が付与される。

【0041】

状態推測部ＥＳは、推測された相手ＰＡの状態（ポジネガ度ＰＮ）をデータ送信部ＤＴＡおよびデータ受信部ＤＲＫを介して相手状態提示部ＰＳに通知する。相手状態提示部ＰＳは、相手ＰＡの状態を端末ＴＫのディスプレイＳＣＫに表示する。

【0042】

図２の例は、保険のコンサルティングへの適用例であるため、一方のユーザ（顧客ＣＵ）の状態のみが分析される。しかし、商談などの他の適用例では、双方のユーザが互いに相手の状態を認識できることが好ましい。この場合、端末ＴＫにも端末ＴＡと同様の構成（刺激認識部ＳＴ、反応認識部ＲＥ、反応予想部ＰＲ、状態推測部ＥＳ、刺激データベース部ＤＢＳおよび反応データベース部ＤＢＲ）を搭載し、対話を行う双方のユーザの状態を分析できるようにしてもよい。

【0043】

［２．コミュニケーション例］
図３は、保険外交員ＣＮと顧客ＣＵとの間のコミュニケーションの例を示す図である。

【0044】

保険外交員ＣＮは端末ＴＫを介して顧客ＣＵに「なぜ資産分散したほうが良いのでしょうか？」と問いかける。顧客ＣＵ側の端末ＴＡは、端末ＴＫから送信された保険外交員ＣＮの映像および音声を分析し、保険外交員ＣＮの「問いかけ」を刺激として検出する。

【0045】

端末ＴＡは、「問いかけ」という刺激に対して「すぐに（０．１秒後）返答する」という反応を予想する。実際には、顧客ＣＵは、適切な回答が見いだせず、顔を横に向けながら考え込む。端末ＴＡは、顧客ＣＵの映像および音声を分析し、「しばらく（１秒）顔を横に向けながら考え込んでいる」という反応を認識する。端末ＴＡは、ポジネガ度ＰＮを１０と判定し、端末ＴＫに通知する。ポジネガ度ＰＮは、０から１００までの値をとる。ポジネガ度ＰＮの値が低いほど、ネガティブの度合いが大きい。

【0046】

端末ＴＫは、端末ＴＡからの通知に基づいて、ディスプレイＳＣＫのポジネガ度ＰＮを更新する。保険外交員ＣＮは、ポジネガ度ＰＮの値を見て、顧客ＣＵが理解していないことを認識する。保険外交員ＣＮは、顧客ＣＵの理解を促すために、「これです。」と言って、端末ＴＫのカメラに向けて「卵を一つのかごに盛るな」の資料を提示する。端末ＴＫは、資料を共有用のコンテンツＣＴとして端末ＴＡに送信する。

【0047】

端末ＴＡは、コンテンツＣＴの更新を認識し、ディスプレイＳＣＡに資料を表示する。端末ＴＡは、「資料の提示」という刺激に対して、「しばらく（０．５秒）資料を眺めて軽くうなずく」という反応を予想する。実際には、顧客ＣＵは、提示された資料によって分散投資の意義を理解し、「なるほど」といって大きくうなずく。端末ＴＡは、顧客ＣＵの映像および音声を分析し、「すぐに（０．１秒後）『なるほど』といって大きくうなずく」という反応を認識する。端末ＴＡは、ポジネガ度ＰＮを９０と判定し、端末ＴＫに通知する。

【0048】

端末ＴＫは、端末ＴＡからの通知に基づいて、ディスプレイＳＣＫのポジネガ度ＰＮを更新する。保険外交員ＣＮは、ポジネガ度ＰＮの値を見て、顧客ＣＵが理解したことを認識する。

【0049】

［３．情報処理方法］
図４は、コミュニケーション支援システムＣＳの処理フローの一例を示す図である。

【0050】

刺激認識部ＳＴは、顧客ＣＵが端末ＴＡを介して視聴する映像および音声（以下、視聴映像等と記載する）を分析する（ステップＳ１）。視聴映像等には、保険外交員ＣＮの顔映像、音声および共有資料映像などが含まれる。刺激認識部ＳＴは、分析結果に基づいて、視聴映像等に顧客ＣＵを刺激する言動が存在するか否かを判定する（ステップＳ２）。

【0051】

刺激として抽出すべき言動は、刺激データベース部ＤＢＳに登録されている。刺激データベース部ＤＢＳは、刺激となる言動ごとに、言動の内容（種類、特徴）を規定した刺激情報を記憶する。刺激認識部ＳＴは、顧客ＣＵの視聴映像等を刺激データベース部ＤＢＳと照合する。刺激認識部ＳＴは、視聴映像等に刺激データベース部ＤＢＳに登録された言動が存在すれば、刺激となる言動が存在すると判定する。

【0052】

視聴映像等に刺激となる言動が存在する場合には（ステップＳ２：Ｙｅｓ）、刺激認識部ＳＴは、刺激となる言動の内容および刺激が顧客ＣＵに認識された時刻（タイムスタンプ）を示す刺激認識情報を生成する（ステップＳ３）。刺激となる言動の内容は、刺激情報から取得される。時刻情報は視聴映像等を分析することにより取得される。「刺激が顧客ＣＵに認識された時刻」とは、視聴映像等の送信時刻ではなく、ネットワーク遅延やパケットロスなどを加味した、実際に顧客ＣＵが視聴映像等を取得した時刻を意味する。

【0053】

反応予想部ＰＲは、刺激に対する顧客ＣＵの反応を予想する（ステップＳ４）。予想される反応は、反応データベース部ＤＢＲに登録されている。反応データベース部ＤＢＲは、刺激ごとに、予想反応となる言動の内容、言動が起こるタイミング、および、言動から予想される予想ポジネガ度を規定した予想反応情報を記憶する。反応予想部ＰＲは、刺激認識情報から、刺激となる言動の内容を特定し、反応データベース部ＤＢＲから、刺激に対応する予想反応情報を抽出する。

【0054】

反応認識部ＲＥは、端末ＴＡによってモニタリングされた顧客ＣＵの映像および音声（以下、モニタリング映像等と記載する）を分析する（ステップＳ５）。モニタリング映像等には、顧客ＣＵの顔映像および音声などが含まれる。

【0055】

状態推測部ＥＳは、反応認識部ＲＥの分析結果に基づいて顧客ＣＵのポジネガ度ＰＮを算出する（ステップＳ６）。例えば、状態推測部ＥＳは、反応予想部ＰＲから予想反応の情報を取得すると、刺激に対して予想される反応（予想反応）と実際の顧客ＣＵの反応（実反応）との違いに基づいてポジネガ度ＰＮを算出する（ステップＳ６）。算出されたポジネガ度ＰＮは、端末ＴＫに送信され、ディスプレイＳＣＫに表示される。

【0056】

ステップＳ２において、視聴映像等に刺激となる言動が存在しない場合には（ステップＳ２：Ｎｏ）、ステップＳ３およびステップＳ４に示した予想反応の算出処理は行われない。反応認識部ＲＥは、モニタリング映像等を分析して、刺激とは無関係の顧客ＣＵの言動を認識する（ステップＳ５）。状態推測部ＥＳは、刺激とは無関係の顧客ＣＵの言動に基づいて顧客ＣＵのポジネガ度ＰＮを算出する（ステップＳ６）。

【0057】

端末ＴＫは、終了ボタンなどの操作に基づいて処理の終了を判定する（ステップＳ７）。端末ＴＫは、終了操作が行われるまで上述の処理を繰り返す。

【0058】

図５は、ポジネガ度ＰＮの算出方法の一例を示す図である。

【0059】

反応認識部ＲＥは、モニタリング映像等を分析して、顧客ＣＵから何らかの言動が検出されたか否かを判定する（ステップＳ１１）。検出対象となる言動は、反応データベース部ＤＢＲに登録されている。検出対象となる言動には、刺激に応答した言動（刺激に対する反応）および刺激とは無関係の言動の双方が含まれる。反応認識部ＲＥは、反応データベース部ＤＢＲに登録された言動がモニタリング映像等から検出された場合には、顧客ＣＵから何らかの言動が検出されたと判定する。

【0060】

顧客ＣＵから何らかの言動が検出された場合には（ステップＳ１１：Ｙｅｓ）、状態推測部ＥＳは、検出された言動に基づいてポジネガ度ＰＮの算出を行う。

【0061】

まず、状態推測部ＥＳは、刺激とは無関係の顧客の言動に基づいて仮ポジネガ度を算出する（ステップＳ１２）。反応認識部ＲＥは、前後の時間帯に刺激に対する予想反応が存在するか否かを判定する（ステップＳ１３）。予想反応が存在する場合には（ステップＳ１３：Ｙｅｓ）、状態推測部ＥＳは、仮ポジネガ度を予想反応と実反応との違いに基づいて補正して得られたポジネガ度ＰＮを顧客ＣＵの状態として出力する。

【0062】

例えば、状態推測部ＥＳは、刺激に対する実際の顧客ＣＵの反応（実反応）が予想反応よりもポジティブであるか否かを判定する（ステップＳ１４）。実反応が予想反応よりもポジティブである場合には（ステップＳ１４：Ｙｅｓ）、状態推測部ＥＳは、予想反応と実反応との違いに基づいて仮ポジネガ度をポジティブに変更する（ステップＳ１５）。実反応が予想反応よりもネガティブである場合には（ステップＳ１４：Ｎｏ）、状態推測部ＥＳは、予想反応と実反応との違いに基づいて仮ポジネガ度をネガティブに変更する（ステップＳ１６）。

【0063】

顧客ＣＵから何らの言動も検出されない場合には（ステップＳ１１：Ｎｏ）、状態推測部ＥＳは、直近の刺激を加味して現在のポジネガ度ＰＮを算出する。直近の刺激とは、予想反応となる言動が現時刻において起こる可能性のある刺激を意味する。例えば、反応データベース部ＤＢＲには、予想反応が起きるタイミングとして、所定の時間幅を持った期間が登録されている。その期間内に現在の時刻が含まれている場合には、直近の刺激が現在の顧客ＣＵの言動に影響を及ぼす可能性があると考えられる。状態推測部ＥＳは、そのような現在の顧客ＣＵの言動に影響を及ぼす可能性のある直近の刺激を加味して現在のポジネガ度ＰＮを算出する。

【0064】

まず、状態推測部ＥＳは、現在の顧客ＣＵの言動に影響を及ぼす可能性のある過去の刺激が存在するか否かを判定する（ステップＳ１８）。状態推測部ＥＳは、予想反応が起きるタイミングとして登録された期間内に現在の時刻が含まれる場合には、現在の顧客ＣＵの言動に影響を及ぼす可能性のある過去の刺激が存在すると判定する。

【0065】

現在の顧客ＣＵの言動に影響を及ぼす可能性のある過去の刺激が存在する場合には（ステップＳ１８：Ｙｅｓ）、状態推測部ＥＳは、過去の刺激に対する予想反応がポジティブな反応であるか否かを判定する（ステップＳ１９）。

【0066】

状態推測部ＥＳは、反応データベース部ＤＢＲから、予想反応に対応する予想ポジネガ度を抽出する。予想反応がポジティブな反応である場合には（ステップＳ１９：Ｙｅｓ）、状態推測部ＥＳは、予想ポジネガ度に応じて仮ポジネガ度をネガティブに変更する（ステップＳ２０）。予想反応がネガティブな反応である場合には（ステップＳ１９：Ｎｏ）、状態推測部ＥＳは、予想ポジネガ度に応じて仮ポジネガ度をポジティブに変更する（ステップＳ２１）。

【0067】

ステップＳ２０およびステップＳ２１において使用される仮ポジネガ度は、例えば、直近に算出された仮ポジネガ度またはポジネガ度ＰＮである。これにより、状態推測部ＥＳは、直近に算出されたポジネガ度ＰＮを加味して現在のポジネガ度ＰＮを算出することができる。なお、顧客ＣＵの状態（ポジティブ、ネガティブ）はしばらく保持され、少しずつニュートラルに戻るような動きになると考えられる。そのため、ポジネガ度ＰＮもそれに応じてニュートラルに戻るような変化を示すようにしてもよい。例えば、状態推測部ＥＳは、時間の経過に伴ってポジネガ度ＰＮを徐々にニュートラルの値に近づける。

【0068】

状態推測部ＥＳは、ステップＳ１５，Ｓ１６，Ｓ２０，Ｓ２１において補正された後の仮ポジネガ度を顧客ＣＵの状態を示すポジネガ度ＰＮとして保険外交員ＣＮに通知する（ステップＳ１７）。

【0069】

［４．ハードウェア構成例］
図６は、通信端末ＴＭのハードウェア構成の一例を示す図である。

【0070】

通信端末ＴＭの情報処理は、例えば、コンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１００、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒy）１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

【0071】

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラム（プログラムデータ１４５０）に基づいて動作し、各部の制御を行う。たとえば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

【0072】

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）などのブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラムなどを格納する。

【0073】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを非一時的に記録する、コンピュータが読み取り可能な非一時的記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例としての、実施形態にかかる情報処理プログラムを記録する記録媒体である。

【0074】

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（たとえばインターネット）と接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

【0075】

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウスなどの入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、表示装置やスピーカやプリンタなどの出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラムなどを読み取るメディアインターフェイスとして機能してもよい。メディアとは、たとえばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）などの光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。

【0076】

たとえば、コンピュータ１０００が実施形態にかかる通信端末ＴＭとして機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、前述した各部の機能を実現する。また、ＨＤＤ１４００には、本開示にかかる情報処理プログラム、各種モデルおよび各種データが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

【0077】

［５．効果］
端末ＴＡは、刺激認識部ＳＴ、反応予想部ＰＲ、反応認識部ＲＥおよび状態推測部ＥＳを有する。刺激認識部ＳＴは、対話の相手ＰＡを刺激する話者ＳＫの言動を認識する。反応予想部ＰＲは、刺激に対して予想される相手ＰＡの反応を予想反応として認識する。反応認識部ＲＥは、刺激に対する実際の相手ＰＡの反応を実反応として認識する。状態推測部ＥＳは、予想反応と実反応の違いに基づいて相手ＰＡの状態を推測する。本開示の情報処理方法は、端末ＴＡの処理がコンピュータ１０００により実行される。本開示のプログラムは、端末ＴＡの処理をコンピュータ１０００に実現させる。

【0078】

この構成によれば、話者ＳＫの言動（刺激）に対して相手ＰＡがどのように反応したかによって相手ＰＡの状態が推測される。相手ＰＡの情報（絶対的な表情等のレベル）のみから相手ＰＡの状態を推測すると、個人差によって精度のよい推測が行われない。話者ＳＫの言動と相手ＰＡの反応との相関関係に基づいて相手ＰＡの状態を推測することで、推測の精度が高まる。

【0079】

状態推測部ＥＳは、予想反応と実反応との間の反応の大きさの違いおよび反応が起きるタイミングの違いを加味して相手ＰＡの状態を推測する。

【0080】

この構成によれば、相手ＰＡの状態の推測の精度が高まる。

【0081】

刺激認識部ＳＴは、話者ＳＫが持つ特有の行動パターンに基づく言動を刺激として認識する。

【0082】

この構成によれば、話者ＳＫの行動パターンを加味した適切な刺激の抽出が行われる。

【0083】

反応予想部ＰＲは、相手ＰＡが持つ特有の行動パターンを加味して刺激に対する相手ＰＡの反応を予想する。

【0084】

この構成によれば、相手ＰＡの行動パターンを加味した適切な反応の予想が行われる。

【0085】

状態推測部ＥＳは、刺激とは無関係の相手ＰＡの言動に基づいて仮ポジネガ度を算出する。状態推測部ＥＳは、仮ポジネガ度を予想反応と実反応との違いに基づいて補正して得られたポジネガ度ＰＮを相手ＰＡの状態として出力する。

【0086】

この構成によれば、実反応以外の相手ＰＡの言動を加味した適切な状態の推測が行われる。

【0087】

状態推測部ＥＳは、現在の相手ＰＡの言動に影響を及ぼす可能性のある直近の刺激を加味して現在のポジネガ度ＰＮを算出する。

【0088】

この構成によれば、直近の刺激の影響を現在の相手ＰＡの状態に適切に反映させることができる。

【0089】

状態推測部ＥＳは、直近に算出されたポジネガ度ＰＮを加味して現在のポジネガ度ＰＮを算出する。

【0090】

この構成によれば、時系列で並ぶデータ相互の前後関係（文脈）を考慮した適切な状態の推測が行われる。

【0091】

状態推測部ＥＳは、時間の経過に伴ってポジネガ度ＰＮを徐々にニュートラルの値に近づける。

【0092】

この構成によれば、ポジネガ度ＰＮが感情の変化に即した緩やかな変化を示す。

【0093】

端末ＴＫは、データ送信部ＤＴＫ、データ受信部ＤＲＫおよび相手状態提示部ＰＳを有する。データ送信部ＤＴＫは、対話の相手ＰＡを刺激する話者ＳＫの言動を送信する。データ受信部ＤＲＫは、刺激に対して推測される相手ＰＡの状態を受信する。相手状態提示部ＰＳは、相手ＰＡの状態を話者ＳＫに提示する。

【0094】

この構成によれば、話者ＳＫは相手ＰＡの状態を確認しながら対話を行うことができる。

【0095】

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0096】

［付記］
なお、本技術は以下のような構成も採ることができる。
（１）
対話の相手を刺激する話者の言動を認識する刺激認識部と、
刺激に対して予想される前記相手の反応を予想反応として認識する反応予想部と、
前記刺激に対する実際の前記相手の反応を実反応として認識する反応認識部と、
前記予想反応と前記実反応の違いに基づいて前記相手の状態を推測する状態推測部と、
を有する情報処理装置。
（２）
前記状態推測部は、前記予想反応と前記実反応との間の反応の大きさの違いおよび反応が起きるタイミングの違いを加味して前記相手の状態を推測する、
上記（１）に記載の情報処理装置。
（３）
前記刺激認識部は、前記話者が持つ特有の行動パターンに基づく言動を前記刺激として認識する、
上記（１）または（２）に記載の情報処理装置。
（４）
前記反応予想部は、前記相手が持つ特有の行動パターンを加味して前記刺激に対する前記相手の反応を予想する、
上記（１）ないし（３）のいずれか１つに記載の情報処理装置。
（５）
前記状態推測部は、前記刺激とは無関係の前記相手の言動に基づいて仮ポジネガ度を算出し、前記仮ポジネガ度を前記予想反応と前記実反応との違いに基づいて補正して得られたポジネガ度を前記相手の状態として出力する、
上記（１）ないし（５）のいずれか１つに記載の情報処理装置。
（６）
前記状態推測部は、現在の前記相手の言動に影響を及ぼす可能性のある直近の前記刺激を加味して現在の前記ポジネガ度を算出する、
上記（５）に記載の情報処理装置。
（７）
前記状態推測部は、直近に算出された前記ポジネガ度を加味して現在の前記ポジネガ度を算出する、
上記（５）または（６）に記載の情報処理装置。
（８）
前記状態推測部は、時間の経過に伴って前記ポジネガ度を徐々にニュートラルの値に近づける、
上記（７）に記載の情報処理装置。
（９）
対話の相手を刺激する話者の言動を前記相手に送信するデータ送信部と、
前記刺激に対して推測される前記相手の状態を受信するデータ受信部と、
前記相手の状態を前記話者に提示する相手状態提示部と、
を有する情報処理装置。
（１０）
対話の相手を刺激する話者の言動を認識し、
刺激に対して予想される前記相手の反応を予想反応として認識し、
前記刺激に対する実際の前記相手の反応を実反応として認識し、
前記予想反応と前記実反応の違いに基づいて前記相手の状態を推測する、
ことを有する、コンピュータにより実行される情報処理方法。
（１１）
対話の相手を刺激する話者の言動を認識し、
刺激に対して予想される前記相手の反応を予想反応として認識し、
前記刺激に対する実際の前記相手の反応を実反応として認識し、
前記予想反応と前記実反応の違いに基づいて前記相手の状態を推測する、
ことをコンピュータに実現させるプログラム。

【符号の説明】

【0097】

ＤＲＫ データ受信部
ＤＴＫ データ送信部
ＥＳ 状態推測部
ＰＡ 相手
ＰＮ ポジネガ度
ＰＲ 反応予想部
ＰＳ 相手状態提示部
ＲＥ 反応認識部
ＳＫ 話者
ＳＴ 刺激認識部
ＴＡ 端末（情報処理装置）
ＴＫ 端末（情報処理装置）
ＴＭ 通信端末（情報処理装置）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】