特開 2024-173209 コミュニケーション支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024173209

(43)【公開日】2024-12-12

(54)【発明の名称】コミュニケーション支援装置

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20241205BHJP

   G06Q 50/10 20120101ALI20241205BHJP

【ＦＩ】

G06Q10/04

G06Q50/10

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023091464

(22)【出願日】2023-06-02

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(74)【代理人】

【識別番号】100183438

【弁理士】

【氏名又は名称】内藤 泰史

(72)【発明者】

【氏名】山田 仰

(72)【発明者】

【氏名】瀧上 順也

【テーマコード（参考）】

5L010

5L049

5L050

【Ｆターム（参考）】

5L010AA04

5L049AA04

5L049CC11

5L050CC11

(57)【要約】

【課題】対話相手が興味のある話題をより高精度に推定して出力すること。
【解決手段】コミュニケーション支援装置１０は、ユーザの対話相手に係る情報に基づき対話相手の状況を推定する状況推定部１１と、対話相手の状況に基づき対話相手の興味度を推定する際の推定基準を決定し、対話相手の興味に係る情報と推定基準とに基づき興味度を推定する興味度推定部１２と、ユーザと対話相手との対話中の発話に基づき話題を推定する話題推定部１３と、推定された興味度及び話題に基づき対話相手が興味のある話題を推定して出力する興味対象推定部１４と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザの対話相手に係る情報に基づき前記対話相手の状況を推定する状況推定部と、
前記状況推定部によって推定された前記対話相手の状況に基づき、前記対話相手の興味度を推定する際の推定基準を決定し、前記対話相手の興味に係る情報と前記推定基準とに基づき、前記興味度を推定する興味度推定部と、を備える、コミュニケーション支援装置。

【請求項2】

前記ユーザと前記対話相手との対話中の発話に基づき、話題を推定する話題推定部と、
推定された前記興味度及び前記話題に基づき、前記対話相手が興味のある話題を推定して出力する興味対象推定部と、を更に備える、請求項１記載のコミュニケーション支援装置。

【請求項3】

前記状況推定部は、前記対話相手に係る映像入力及び音声入力の少なくともいずれか一方を含む第１情報に基づき前記対話相手の状況を推定し、
前記興味度推定部は、前記対話相手に係る映像入力及び音声入力の少なくともいずれか一方を含む第２情報に基づき前記対話相手の振る舞いを特定し、該振る舞いと前記推定基準とに基づき、前記興味度を推定する、請求項１記載のコミュニケーション支援装置。

【請求項4】

前記状況推定部は、前記第１情報に基づき、前記対話相手が話し手であるか否かを推定する、請求項３記載のコミュニケーション支援装置。

【請求項5】

前記状況推定部は、前記第１情報に基づき、前記対話相手が直接対面での対話中であるか否かを推定する、請求項３記載のコミュニケーション支援装置。

【請求項6】

前記興味度推定部は、前記対話相手の状況に加えて前記対話相手の振る舞いを更に考慮して、前記推定基準を決定する、請求項３～５のいずれか一項記載のコミュニケーション支援装置。

【請求項7】

前記興味度推定部は、前記対話相手の状況が第１の状況であると推定されている第１の期間における前記対話相手の振る舞いを考慮して、前記第１の期間における前記推定基準を決定する、請求項６記載のコミュニケーション支援装置。

【請求項8】

前記興味度推定部は、前記対話相手の状況が第１の状況であると推定されている第１の期間における前記対話相手の振る舞いを考慮して、前記第１の期間に続く第２の期間における前記推定基準を決定する、請求項６記載のコミュニケーション支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の一態様は、コミュニケーション支援装置に関する。

【背景技術】

【0002】

特許文献１には、生成手段が生成した話題を話し手が話した際における聞き手の反応（音声、視線、ジェスチャ、表情、生体信号等）を解析し、解析結果を聞き手のプロファイル情報として登録することが記載されている。このようなプロファイル情報が登録されることにより、聞き手に合った話題を、話し手に提供することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１７７４８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したような技術では、対話相手（聞き手）の興味度を高精度に推定することが重要である。

【0005】

本開示の一態様は上記実情に鑑みてなされたものであり、対話相手の興味度を高精度に推定することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様に係るコミュニケーション支援装置は、ユーザの対話相手に係る情報に基づき対話相手の状況を推定する状況推定部と、状況推定部によって推定された対話相手の状況に基づき、対話相手の興味度を推定する際の推定基準を決定し、対話相手の興味に係る情報と推定基準とに基づき、興味度を推定する興味度推定部と、を備える。

【0007】

本開示の一態様に係るコミュニケーション支援装置では、対話相手の興味に係る情報から興味度が推定される。ここで、本開示の一態様に係るコミュニケーション支援装置では、興味に係る情報から興味度が推定される際の判断基準が、対話相手の状況に応じて決定されている。一般的に、対話相手の興味度を推定するための情報（興味に係る情報）、具体的には発話や表情等の振る舞いが同じであっても、対話相手の状況（話し手か聞き手か、直接対面しているかＷｅｂ対面であるか等）に応じて対話相手の興味度は異なると考えられる。この点に着目し、対話相手の状況に応じて興味度が推定される際の判断基準が変更されることによって、対話相手の興味度をより高精度に推定することができる。以上のように、本開示の一態様に係るコミュニケーション支援装置によれば、対話相手の興味度を高精度に推定することができる。

【発明の効果】

【0008】

本開示の一態様によれば、対話相手の興味度をより高精度に推定することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態にかかわるコミュニケーション支援装置の活用例を説明する図である。

【図2】図２は、本実施形態に係るコミュニケーション支援装置を含むコミュニケーション支援システムの構成図である。

【図3】図３は、本実施形態に係るコミュニケーション支援装置の機能ブロック図である。

【図4】図４は、本実施形態に係るコミュニケーション支援装置が実行するコミュニケーション支援方法を示すフローチャートである。

【図5】図５は、本実施形態に係るコミュニケーション支援装置のハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら本開示の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

【0011】

図１は、本実施形態に係るコミュニケーション支援装置１０の活用例を説明する図である。図１に示される例では、コミュニケーション支援装置１０が住宅メーカーの営業担当者によるオンライン面談に活用されている。

【0012】

いま、例えば、「挨拶（アイスブレイク）」「具体的な営業トーク（耐震性、耐熱性、デザイン、アフターサポート、費用）」「Ｑ＆Ａ」「クロージング」の構成で、見込み客に対してオンライン面談を行う場合を考える。「挨拶（アイスブレイク）」の際に営業担当者が判断すべき事項としては、お客様が雑談が好きかあるいはすぐに本題に入りたいタイプか、等がある。「具体的な営業トーク（耐震性、耐熱性、デザイン、アフターサポート、費用）」の際に営業担当者が判断すべき事項としては、お客様が興味があるのはどの項目か、感覚的な説明が好きかあるいは論理的な説明が好きか、「ここだけの話」「他のお客様の話」「競合との比較」等の言葉に興味を持つか、途中で発言／質問をしたいか、話が長くなって集中が切れて飽きていないか、等がある。「Ｑ＆Ａ」の際に営業担当者が判断すべき事項としては、お客様の質問に的確に答えることができているか、等がある。

【0013】

図１に示されるように、コミュニケーション支援装置１０を活用したオンライン面談においては、例えば、見込み客の夫婦（夫及び妻）のそれぞれについて、対話中の振る舞い等から話題に対する興味度が時系列で推定されており、興味度に基づき夫婦それぞれの興味対象が検出されている。例えば、「挨拶（アイスブレイク）」において、妻の興味度は安定しているが夫の興味度が徐々に下がってきていることが示されている。この場合、営業担当者は、コミュニケーション支援装置１０の推定結果に基づいて、「興味が下がってきたので、本題に入ろう」といった判断が可能になる。また、耐震性及び耐熱性の話をしている際に、夫の興味度が上がってきていない場合に、営業担当者は、「ここだけの話をしてみよう」といった判断が可能になる。今回の例では、「ここだけの話」をしたことにより、夫の興味度が上がっている。また、デザインの話をしている際やアフターサポートの話をしている際に、興味度が徐々に下がってきている場合に、営業担当者は、「興味がなさそうなので、一度話題を変えよう」といった判断が可能になる。また、「Ｑ＆Ａ」において回答した後に夫の興味度が下がっていることを確認し、営業担当者は、「質問の答えになっていなかったかな、質問をもう一度確認してみよう」といった判断が可能になる。

【0014】

このように、対話中における話題に対する興味度が時系列で推定されて、推定結果が営業担当者にリアルタイムでフィードバックされることにより、営業担当者が適切な行動（話題の切り替え等）をとることができ、最終的にいい雰囲気で「クロージング」を迎えて、次回の約束を取り付ける等が可能になる。コミュニケーション支援装置１０は、例えば興味対象（対話相手が興味のある話題）を営業担当の端末の画面に表示してもよいし、図１に示されるような興味度の時系列変化を営業担当の端末の画面に表示してもよい。なお、コミュニケーション支援装置１０の活用シーンは、言うまでもなく図１に示される態様に限定されず、直接対面又はオンラインの各種対話において活用することができる。

【0015】

図２は、本実施形態に係るコミュニケーション支援装置１０を含むコミュニケーション支援システム１の構成図である。コミュニケーション支援システム１は、互いにネットワーク２で接続された、コミュニケーション支援装置１０と、複数のコンピュータ２０，３０と、を含んで構成されている。ネットワーク２は、インターネット又はローカルネットワークである。コンピュータ２０とコンピュータ３０とは、互いに同様の機能を有する端末であるが、コミュニケーション支援装置１０の支援を受けるユーザが保持する端末をコンピュータ２０、該ユーザの対話相手となり得る複数の対話相手が保持する端末をコンピュータ３０と記載している。以下では、「コミュニケーション支援装置１０の支援を受けるユーザ」（コンピュータ２０を保持するユーザ）を単に「ユーザ」と記載する場合がある。また、コンピュータ３０を保持する対話相手を単に「対話相手」と記載する場合がある。

【0016】

コンピュータ２０，３０は、無線又は優先での通信が可能な端末であり、例えば、スマートフォン、タブレット端末、ＰＣ等の端末である。コンピュータ２０，３０は、映像及び音声の入出力が可能に構成されている。すなわち、コンピュータ２０は、映像入力部２１から映像の入力を受けると共に、音声入力部２２から音声の入力を受ける。また、コンピュータ２０は、映像出力部２３を介して外部に映像を出力すると共に、音声出力部２４を介して外部に音声を出力する。映像入力部２１、音声入力部２２、映像出力部２３、及び音声出力部２４は、コンピュータ２０と一体的に構成されていてもよい。同様に、コンピュータ３０は、映像入力部３１から映像の入力を受けると共に、音声入力部３２から音声の入力を受ける。また、コンピュータ３０は、映像出力部３３を介して外部に映像を出力すると共に、音声出力部３４を介して外部に音声を出力する。映像入力部３１、音声入力部３２、映像出力部３３、及び音声出力部３４は、コンピュータ３０と一体的に構成されていてもよい。なお、複数の対話相手によって１台のコンピュータ３０が共有されていてもよい。その場合、コミュニケーション支援装置１０側（サーバ側）において映像及び音声の話者分離が行われてもよい。

【0017】

コンピュータ２０は、例えば音声入力部２２を介して取得したユーザからの音声入力（発話）をコミュニケーション支援装置１０に送信する。コンピュータ３０は、例えば映像入力部３１を介して取得した対話相手からの映像入力（対話相手の表情等）及び音声入力部３２を介して取得した対話相手からの音声入力（発話）をコミュニケーション支援装置１０に送信する。また、コンピュータ２０は、コミュニケーション支援装置１０において推定された対話相手の興味対象を、映像出力部２３を介してユーザが閲覧可能になるように出力（表示）する。コンピュータ２０は、対話相手が複数いる場合には、対話相手毎に興味対象を出力してもよい。

【0018】

コミュニケーション支援装置１０は、対話相手の興味対象（興味がある話題）を推定し、該興味対象を、ユーザが保持するコンピュータ２０に出力するサーバ装置である。コミュニケーション支援装置１０は、ネットワーク２を介してコンピュータ２０，３０と通信可能に構成されたサーバであり、コンピュータ２０，３０から取得した情報に基づき、対話相手の興味対象を推定する。すなわち、コミュニケーション支援装置１０は、対話相手からの映像入力及び音声入力と、ユーザからの音声入力とに基づき、対話相手の興味対象を推定する。コミュニケーション支援装置１０は、ユーザと対話相手との組み合わせ毎に、それぞれ独立して映像入力及び音声入力を管理し、興味対象の推定を行う。コミュニケーション支援装置１０は、例えば、Ｗｅｂ会議ツールと併用される装置であってもよいし、装置自体がＷｅｂ会議ツールの機能を有していてもよいし、Ｗｅｂ会議ツールの一機能として組み込まれていてもよい。

【0019】

図３は、本実施形態に係るコミュニケーション支援装置１０の機能ブロック図である。コミュニケーション支援装置１０は、状況推定部１１と、興味度推定部１２と、話題推定部１３と、興味対象推定部１４と、を備えている。

【0020】

状況推定部１１は、ユーザの対話相手に係る情報に基づき対話相手の状況を推定する機能である。対話相手に係る情報とは、対話相手の状況を推定することができる情報であればよく、例えば、対話相手に係るテキスト情報、映像情報、音声情報等であってもよい。対話相手に係る情報は、コンピュータ３０により取得されてコミュニケーション支援装置１０に入力される情報であってもよいし、予めコミュニケーション支援装置１０に設定されている情報であってもよい。本実施形態では、対話相手に係る情報が、対話相手に係る映像情報及び音声情報であり、詳細には、対話相手に係る映像入力及び音声入力を含む対話相手情報（第１情報）であるとして説明する。映像入力とは、コンピュータ３０により取得されてコミュニケーション支援装置１０に入力される映像情報を示しており、音声入力とは、コンピュータ３０により取得されてコミュニケーション支援装置１０に入力される音声情報を示している。すなわち、本実施形態では、状況推定部１１は、対話相手に係る映像入力及び音声入力を含む対話相手情報（第１情報）を、コンピュータ３０より取得し、該対話相手情報に基づき対話相手の状況を推定する。状況推定部１１は、推定した対話相手の状況を興味度推定部１２に出力する。

【0021】

状況推定部１１は、対話相手情報に基づき、対話相手が話し手であるか聞き手であるかを推定してもよい。具体的には、状況推定部１１は、対話相手に係る映像入力及び音声入力の少なくともいずれか一方から、対話相手が継続的に発話しているか否かを判定し、継続的に発話している場合に話し手であると推定し、継続的に発話していない（全く発話していない又は相槌程度である）場合に聞き手であると推定してもよい。映像入力から推定される場合には、例えば画像認識された口の動きから発話中か否かが推定されてもよい。音声入力から推定される場合には、音声入力の有無により発話中か否かが推定されてもよい。

【0022】

状況推定部１１は、対話相手情報に基づき、対話相手が直接対面での対話中であるかＷｅｂ面談等でのオンラインでの対話中であるかを推定してもよい。具体的には、状況推定部１１は、対話相手に係る映像入力から、対話相手の視線方向を検知し、該視線方向が映像入力部３１（カメラ）を向いていない場合に直接対面での対話中であると推定し、視線方向が映像入力部３１（カメラ）を向いている場合にオンラインでの対話中であると推定してもよい。

【0023】

なお、状況推定部１１は、対話相手の状況をその確からしさで表現してもよい。具体的には、状況推定部１１は、例えば発話状況であることへの確信度が大きいほど０に近づき、傾聴状態である確信度が高いほど１に近づくように、０～１の連続値で対話相手の状況を表現してもよい。

【0024】

興味度推定部１２は、状況推定部１１によって推定された対話相手の状況に基づき、対話相手の興味度を推定する際の興味度推定基準を決定し、対話相手の興味に係る情報と興味度推定基準とに基づき、興味度を推定する。

【0025】

対話相手の興味に係る情報とは、対話相手の興味度（対話相手が興味を持っているか否か）を推定することができる情報であればよく、例えば、対話相手に係るテキスト情報、映像情報、音声情報等であってもよい。対話相手の興味に係る情報は、コンピュータ３０により取得されてコミュニケーション支援装置１０に入力される情報であってもよいし、予めコミュニケーション支援装置１０に設定されている情報であってもよい。本実施形態では、対話相手の興味に係る情報が、対話相手に係る映像情報及び音声情報であり、詳細には、対話相手に係る映像入力及び音声入力を含む対話相手情報（第２情報）であるとして説明する。映像入力とは、コンピュータ３０により取得されてコミュニケーション支援装置１０に入力される映像情報を示しており、音声入力とは、コンピュータ３０により取得されてコミュニケーション支援装置１０に入力される音声情報を示している。すなわち、本実施形態では、興味度推定部１２は、対話相手に係る映像入力及び音声入力を含む対話相手情報（第２情報）を、コンピュータ３０より取得し、該対話相手情報と興味度推定基準とに基づき、興味度を推定する。

【0026】

なお、予めコミュニケーション支援装置１０に設定されている対話相手の興味に係る情報の例としては、例えば、対話相手のプロフィール情報（性別、年齢、住所、職業、年収、金融資産、趣味等）等が考えられる。この場合、興味度推定部１２は、例えば、予め話題の中心（住宅の購入について）が定まっている場合に、対話相手のプロフィール情報に基づいて対話相手の興味度の予測を立てることができる。そして、興味度推定部１２は、興味度の予測と興味度推定基準とに基づき、最終的な興味度を推定してもよい。なお、以下では、上述したとおり、対話相手の興味に係る情報が対話相手に係る映像入力及び音声入力を含む対話相手情報（第２情報）であるとして説明する。

【0027】

興味度推定部１２は、上述した対話相手情報に基づき、対話相手の振る舞いを特定し、該振る舞いと興味度推定基準に基づき、興味度を推定してもよい。ここでの振る舞いとは、例えば仕草（うなづき、ジェスチャー）、表情（目の動き、口の動き、笑い）、発話（声色、話速、話調、音量、発話内容、相槌）等の表出行動である。ここで、興味度推定部１２は、固定された一定のルールに基づき対話相手の振る舞いから興味度を推定するのではなく、状況推定部１１によって推定された対話相手の状況に応じて、興味度推定基準を決定し、該興味度推定基準に照らして、対話相手の振る舞いから興味度を推定する。興味度推定基準においては、各表出行動について興味度推定の際にどの程度重視するか、どのような場合にどの程度の興味度とするか（興味度自体の大きさの見積り）が規定されている。

【0028】

興味度推定部１２は、まず、状況推定部１１によって推定された対話相手の状況に応じて、興味度を推定する際の興味度推定基準を決定する。興味度推定部１２は、対話相手の状況に応じて興味度推定基準を切り替えながら、対話相手の興味度を推定する。例えば、対話相手が話し手である場合と聞き手である場合とで、興味の表出行動は異なると考えられる。具体的には、対話相手が話し手である場合には、発話内容（言語情報自体）に興味が表れやすく、対話相手が聞き手である場合には、相槌（うんうん等）の頻度に興味が表れやすいと考えられる。また、対話相手が話し手である場合には、喜びや興奮の表情として興味が表れやすく、対話相手が聞き手である場合には、真剣に考えこんだような表情（額にしわを寄せ、目を細くし、口に力を入れたような表情）として興味が表れやすいと考えられる。このように、対話相手の状況によってどのような表出行動に興味が表れやすいかが変わるため、対話相手の状況に応じて、どの表出行動を重視する興味度推定基準を用いるかを決定することが好ましい。

【0029】

また、例えば同じ「良いですね」という発話であっても、話し手の状況で発した場合と比べて聞き手の状況で相手の発言に合わせた相槌として口から思わず出てきた場合には、より大きな興味度を持っていると推定される。また、同じレベル（表出度合い）の会話のリアクションとしてのポジティブな表情でも、それが少なくとも１名と直接対面していた場合と、完全に画面越し（リモート）の相手に向けた場合とでは、表出までの減衰が大きい後者の方がより大きな興味度を持っていると推定される。興味度推定基準では、このような状況に応じた興味度の見積りが規定されている。

【0030】

興味度推定部１２は、対話相手に係る映像入力及び音声入力の少なくともいずれか一方を含む対話相手情報（第２情報）に基づき対話相手の振る舞いを特定（検出）し、該振る舞いと、決定した興味度推定基準とに基づき、興味度を推定する。すなわち、興味度推定部１２は、決定した興味度推定基準に基づいて、対話相手の振る舞い（仕草、表情、発話等）が興味を示したものであるか（興味あり）、又は、興味を示したものでないか（興味なし）を推定する。興味度の表現方法は、このような興味あり／なしの２値であってもよいし、多段階評価（興味なし、やや興味あり、興味あり、非常に興味あり）であってもよいし、連続値（０～１．０の間の値）であってもよい。

【0031】

興味度推定部１２は、例えば、対話相手の振る舞いである仕草（うなづき、ジェスチャー）、表情（目の動き、口の動き、笑い）、発話（声色、話速、話調、音量、発話内容、相槌）等の表出行動を検出すると共に、それらの確からしさの重み付け和を興味度推定基準に基づき算出し、該重み付け和に応じて、興味あり／なしを推定する。興味度推定基準を切り替えることは、言い換えると、例えば、重み付け和を切り替えること、又は、興味あり／なしの閾値を切り替えることに相当する。

【0032】

興味度推定部１２は、対話相手の興味度と対応する時刻情報とを興味対象推定部１４に出力する。なお、興味度推定部１２は、例えば多段階評価で興味度が連続的に推定されている場合等において、推定した興味度をコンピュータ２０に送信してもよい。そして、コンピュータ２０が映像出力部２３を介して興味度を出力することにより、コンピュータ２０を保持するユーザはリアルタイムに対話相手の興味度を把握することができ、図１に示されるような興味度の時系列変化を把握することができる。

【0033】

なお、興味度推定部１２は、対話相手の状況に加えて、対話相手の振る舞いを更に考慮して、興味度推定基準を決定してもよい。興味度推定部１２は、例えば、全体的に仕草が小さい対話相手の場合、興味ありと判定する閾値が小さくなるように、興味度推定基準を決定してもよい。ここでの仕草が小さいとは、例えば、仕草の大きさの時間平均が規定値よりも小さい場合等を意味している。

【0034】

興味度推定部１２は、対話相手の状況が第１の状況であると推定されている第１の期間における対話相手の振る舞いを考慮して、第１の期間における興味度推定基準を決定してもよい。或いは、興味度推定部１２は、対話相手の状況が第１の状況であると推定されている第１の期間における対話相手の振る舞いを考慮して、第１の期間に続く第２の期間における判定基準を決定してもよい。

【0035】

話題推定部１３は、ユーザと対話相手との対話中の発話に基づき、話題を推定する。話題とは、コンピュータ２０により取得されたユーザの発話に含まれる単語や発話の要約であってもよいし、コンピュータ３０により取得された対話相手の発話に含まれる単語や発話の要約であってもよいし、これらの組み合わせであってもよいし。話題推定部１３は、例えば音声認識技術により、音声をテキスト情報に変換し、該テキスト情報に対して重要語検出技術や要約技術を適用することにより、話題を検出してもよい。話題推定部１３は、例えば一定時間周期毎に話題推定処理を行ってもよいし、句点毎又は句読点毎に話題推定処理を行ってもよいし、話者が切り替わったタイミングで話題推定処理を行ってもよい。なお、話題推定部１３は、必ずしもテキスト情報を話題として推定しなくてもよく、例えば画像（発話があった際にユーザが対話相手に共有しているスライドの頁に含まれる画像等）を話題として推定してもよい。話題推定部１３は、推定した話題と対応する時刻情報とを興味対象推定部１４に出力する。

【0036】

興味対象推定部１４は、推定された興味度及び話題に基づき、対話相手が興味のある話題を推定して出力する。興味対象推定部１４は、興味度推定部１２によって推定された興味度（例えば、興味あり／なしを示す情報）と話題推定部１３によって推定された話題とを、時刻情報に基づき関連付ける。そして、興味対象推定部１４は、例えば、対話相手が興味のある話題のみを抽出して、該話題を対話相手の興味対象（対話相手が興味を示した話題）としてコンピュータ２０に送信する。そして、コンピュータ２０が映像出力部２３を介して興味対象を出力することにより、コンピュータ２０を保持するユーザはリアルタイムにユーザの興味対象を把握することができる。

【0037】

次に、図４を参照して、コミュニケーション支援装置１０が実行するコミュニケーション支援方法の処理について説明する。図４は、コミュニケーション支援装置１０が実行するコミュニケーション支援方法を示すフローチャートである。

【0038】

図４に示されるように、コミュニケーション支援装置１０では、最初に、ユーザの対話相手の状況が推定される（ステップＳ１）。具体的には、対話相手に係る映像入力及び音声入力の少なくともいずれか一方を含む対話相手情報（第１情報）に基づき、対話相手の状況が推定される。

【0039】

つづいて、対話相手の状況の推定結果に応じて、興味度を推定する際の興味度推定基準が決定される（ステップＳ２）。具体的には、対話相手が話し手であるか否か、対話相手が直接対面での対話中であるか否か等に基づき、興味度推定基準が決定される。

【0040】

つづいて、対話相手の振る舞いから、興味度が推定される（ステップＳ３）。具体的には、決定された興味度推定基準に照らして、対話相手の振る舞いである、仕草（うなづき、ジェスチャー）、表情（目の動き、口の動き、笑い）、発話（声色、話速、話調、音量、発話内容、相槌）等の表出行動から、興味度が推定される。

【0041】

つづいて、対話相手との対話中の発話から話題が推定される（ステップＳ４）。具体的には、コンピュータ２０により取得されたユーザの発話に含まれる単語や発話の要約、又は、コンピュータ３０により取得された対話相手の発話に含まれる単語や発話の要約から、話題が推定される。

【0042】

つづいて、ステップＳ３において推定された興味度とステップＳ４において推定された話題とが、時刻情報に基づき関連付けられ、興味度が高い話題が、対話相手の興味対象として推定される（ステップＳ５）。

【0043】

最後に、興味対象がコンピュータに２０出力（送信）されて（ステップＳ６）、ユーザが対話相手の興味対象を把握する。以上が、コミュニケーション支援装置１０によって実行されるコミュニケーション支援方法の処理である。

【0044】

次に、本実施形態に係るコミュニケーション支援装置１０の作用効果について説明する。

【0045】

コミュニケーション支援装置１０は、ユーザの対話相手に係る情報に基づき対話相手の状況を推定する状況推定部１１と、状況推定部１１によって推定された対話相手の状況に基づき、対話相手の興味度を推定する際の興味度推定基準を決定し、対話相手の興味に係る情報と興味度推定基準とに基づき、興味度を推定する興味度推定部１２と、ユーザと対話相手との対話中の発話に基づき、話題を推定する話題推定部１３と、推定された興味度及び話題に基づき、対話相手が興味のある話題を推定して出力する興味対象推定部１４と、を備える。

【0046】

本実施形態に係るコミュニケーション支援装置１０では、対話相手の興味に係る情報から興味度が推定されると共に、ユーザと対話相手との対話中の発話から話題が推定され、興味度及び話題に基づいて、対話相手が興味のある話題が出力される。ここで、本実施形態に係るコミュニケーション支援装置１０では、興味に係る情報から興味度が推定される際の判断基準（興味度推定基準）が、対話相手の状況に応じて決定されている。一般的に、対話相手の興味度を推定するための情報（興味に係る情報）、具体的には発話や表情等の振る舞いが同じであっても、対話相手の状況（話し手か聞き手か、直接対面しているかＷｅｂ対面であるか等）に応じて対話相手の興味度は異なると考えられる。この点に着目し、対話相手の状況に応じて興味度が推定される際の興味度推定基準が変更されることによって、対話相手の興味度をより高精度に推定することができる。以上のように、本実施形態に係るコミュニケーション支援装置１０によれば、対話相手の興味度を高精度に推定し、対話相手が興味のある話題をより高精度に推定して出力することができる。

【0047】

状況推定部１１は、対話相手に係る映像入力及び音声入力の少なくともいずれか一方を含む対話相手情報に基づき対話相手の状況を推定し、興味度推定部１２は、対話相手に係る映像入力及び音声入力の少なくともいずれか一方を含む対話相手情報に基づき対話相手の振る舞いを特定し、該振る舞いと決定した興味度推定基準とに基づき、興味度を推定してもよい。このように、対話相手に係る映像入力及び音声入力等の情報によれば、対話相手の状況（話し手か聞き手か、直接対面しているかＷｅｂ対面であるか等）や対話相手の振る舞い（発話や表情等）を適切に推定（特定）することができる。その結果、興味度を高精度に推定することが可能になる。

【0048】

状況推定部１１は、対話相手情報に基づき、対話相手が話し手であるか否かを推定してもよい。対話相手が話し手である場合と聞き手である場合とでは、興味度に応じた発話及び表情等が異なる場合が多い。このため、対話相手が話し手であるか否かが推定されて、該推定結果に応じて興味度推定における興味度推定基準が決定されることにより、対話相手の興味度をより高精度に推定することができる。

【0049】

状況推定部１１は、対話相手情報に基づき、対話相手が直接対面での対話中であるか否かを推定してもよい。対話相手が直接対面での対話を行っている場合と例えばＷｅｂでの対話を行っている場合とでは、興味度に応じた発話及び表情等が異なる場合が多い。このため、対話相手が直接対面での対話中であるか否かが推定されて、該推定結果に応じて興味度推定における興味度推定基準が決定されることにより、対話相手の興味度をより高精度に推定することができる。

【0050】

興味度推定部１２は、対話相手の状況に加えて対話相手の振る舞いを更に考慮して、興味度推定基準を決定してもよい。発話や表情等の振る舞いは個人差がある。このような振る舞いの個人差を考慮して興味度推定基準が決定されることにより、対話相手の興味度をより高精度に推定することができる。

【0051】

興味度推定部１２は、対話相手の状況が第１の状況であると推定されている第１の期間における対話相手の振る舞いを考慮して、第１の期間における興味度推定基準を決定してもよい。このような構成によれば、対話相手の振る舞いに基づいて、該振る舞いが行われた同じ期間についての興味度推定基準が決定されるので、対話相手の興味度をより高精度に推定することができる。

【0052】

興味度推定部１２は、対話相手の状況が第１の状況であると推定されている第１の期間における対話相手の振る舞いを考慮して、第１の期間に続く第２の期間における興味度推定基準を決定してもよい。例えば、振る舞いを考慮して該振る舞いが実行された同じ期間の興味度推定基準が決定される場合と比較して、振る舞いが実行された期間の次の期間の興味度推定基準が決定される場合には、興味度推定基準を決定するまでに要する時間が短くなるため、よりリアルタイムに興味対象を推定することが可能になる。

【0053】

なお、上述の様態において、話題推定部１３および興味対象推定部１４はなくてもよい。この場合、コミュニケーション支援装置１０からの出力としては対話相手の興味度があればよく、コンピュータ２０が映像出力部２３を介して興味度を出力することにより、コンピュータ２０を保持するユーザはリアルタイムにユーザの興味度を把握することができる。ユーザは把握した興味度と、実際の対話相手との対話内容を考慮して、対話相手が興味をもつ対象を高精度に特定することができる。

【0054】

なお、上述の態様においては、興味度を推定の対象として説明したが、コミュニケーション相手に合った話題や好みの対象を判断できる情報であればよく、興味度の代わりに関心度、好奇心の強度、注目度、ポジティブ度、心理状態などの推定としてもよい。シチュエーションが商談であれば、興味度は成約率とも関連するとの考え方から、成約率推定と考えてもよい。

【0055】

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0056】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

【0057】

例えば、本開示の一実施の形態におけるコミュニケーション支援装置１０は、本開示の情報処理を行うコンピュータとして機能してもよい。図５は、本開示の一実施の形態に係るコミュニケーション支援装置１０のハードウェア構成の一例を示す図である。上述のコミュニケーション支援装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。コンピュータ２０，３０のハードウェア構成も、ここで説明するものであってもよい。

【0058】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。コミュニケーション支援装置１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0059】

コミュニケーション支援装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0060】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述のコミュニケーション支援装置１０における各機能は、プロセッサ１００１によって実現されてもよい。

【0061】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、コミュニケーション支援装置１０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0062】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0063】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。コミュニケーション支援装置１０が備える記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

【0064】

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0065】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0066】

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0067】

また、コミュニケーション支援装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0068】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0069】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0070】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0071】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0072】

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

【0073】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0074】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0075】

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0076】

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

【0077】

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

【0078】

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

【0079】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0080】

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0081】

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

【0082】

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0083】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【符号の説明】

【0084】

１０…コミュニケーション支援装置、１１…状況推定部、１２…興味度推定部、１３…話題推定部、１４…興味対象推定部。

【図1】

【図2】

【図3】

【図4】

【図5】