特許 7284401 視線情報処理プログラム、情報処理装置および視線情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-23

(45)【発行日】2023-05-31

(54)【発明の名称】視線情報処理プログラム、情報処理装置および視線情報処理方法

(51)【国際特許分類】

   H04N 7/14 20060101AFI20230524BHJP

   H04L 65/40 20220101ALI20230524BHJP

【ＦＩ】

H04N7/14 110

H04L65/40

【請求項の数】 7

(21)【出願番号】P 2019166031

(22)【出願日】2019-09-12

(65)【公開番号】P2021044723

(43)【公開日】2021-03-18

【審査請求日】2022-06-09

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】于 珊珊

(72)【発明者】

【氏名】森岡 清訓

【審査官】大西 宏

(56)【参考文献】

【文献】特開２００９－１４７７９２（ＪＰ，Ａ）

【文献】特開２０１１－０９７５３１（ＪＰ，Ａ）

【文献】特開２０１３－０４６３１９（ＪＰ，Ａ）

【文献】特開２０１４－０９０２３０（ＪＰ，Ａ）

【文献】特開２０１６－１４０７２０（ＪＰ，Ａ）

【文献】特開２０１６－１６３１６６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３７８１８３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｈ０４Ｌ ６１／００ －６５／８０

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
ネットワークで接続された第１端末装置を用いる第１ユーザと第２端末装置を用いる第２ユーザとのビデオ通話の通話実施期間において、前記第１端末装置の第１表示部に表示される前記第２ユーザの顔が写った複数の第２ユーザ画像と、前記第１表示部に表示されるコンテンツとの前記第１表示部における画面内の表示領域を示すレイアウト情報と、前記第１ユーザの顔が写った複数の第１ユーザ画像から算出される、前記通話実施期間において前記第１ユーザが前記第１表示部に対して向けた視線を示す第１視線情報とに基づいて、前記第１ユーザによる前記コンテンツに関する説明が行われた第１期間と、前記第１ユーザと前記第２ユーザとで前記コンテンツの説明以外のコミュニケーションが行われた第２期間とを判定し、
前記第１表示部に表示される前記複数の第２ユーザ画像に基づいて、前記通話実施期間において前記第２ユーザが向けた視線を示す第２視線情報を算出し、
前記第２視線情報に示される、前記第１期間と前記第２期間とにおける前記第２ユーザの視線の違いに基づいて、前記コンテンツと前記複数の第１ユーザ画像とが表示された前記第２端末装置の第２表示部における、前記複数の第１ユーザ画像の第２表示部の画面内の表示領域を推定し、
推定された前記複数の第１ユーザ画像の表示領域と前記第２視線情報とに基づいて、前記通話実施期間において、前記第２ユーザが、前記第２端末装置の第２表示部に表示される前記複数の第１ユーザ画像を見ているか否かを推定する、
処理を実行させる視線情報処理プログラム。

【請求項2】

前記複数の第１ユーザ画像の表示領域の推定では、
前記第２表示部の画面を分割して得られる単位領域ごとに、前記第１期間内において、前記第２ユーザの視線が前記単位領域に向けられた回数を示す第１回数を集計し、
前記単位領域ごとに、前記第２期間内において、前記第２ユーザの視線が前記単位領域に向けられた回数を示す第２回数を集計し、
単位時間あたりの前記第２回数から前記単位時間あたりの前記第１回数を減算した値が所定値以上となる前記単位領域の集合を、前記複数の第１ユーザ画像の表示領域と推定する、
請求項１記載の視線情報処理プログラム。

【請求項3】

前記コンピュータに、さらに、
前記複数の第２ユーザ画像から、前記通話実施期間における前記第２ユーザの顔向きを示す値を算出し、
前記第１期間における前記顔向きを示す値の平均値を算出する、
処理を実行させ、
前記複数の第１ユーザ画像の表示領域の推定では、前記第２期間内の前記第２ユーザの顔が写った所定の第２ユーザ画像から算出される前記顔向きを示す値と前記平均値との差の絶対値が閾値以上である場合、前記所定の第２ユーザ画像から算出される前記第２ユーザの視線を集計対象から除外する、
請求項２記載の視線情報処理プログラム。

【請求項4】

前記第１期間と前記第２期間との判定では、前記通話実施期間を分割して得られる複数の単位期間のうちの判定対象単位期間内の前記第１ユーザの視線のうち、前記コンテンツの表示領域に向けられた視線の割合が所定値以上の場合、前記判定対象単位期間を前記第１期間と判定する、
請求項１ないし３のいずれかに記載の視線情報処理プログラム。

【請求項5】

前記第１期間と前記第２期間との判定では、前記通話実施期間を分割して得られる複数の単位期間のうちの判定対象単位期間内の前記第１ユーザの視線のうち、前記複数の第２ユーザ画像の表示領域または前記第１ユーザを撮影するカメラの設置領域に向けられた視線の割合が所定値未満の場合、前記判定対象単位期間を前記第１期間と判定する、
請求項１ないし３のいずれかに記載の視線情報処理プログラム。

【請求項6】

ネットワークで接続された第１端末装置を用いる第１ユーザと第２端末装置を用いる第２ユーザとのビデオ通話の通話実施期間において、前記第２端末装置の第２表示部に表示される前記第１ユーザの顔が写った複数の第１ユーザ画像と、前記通話実施期間において、前記第１端末装置の第１表示部に表示される前記第２ユーザの顔が写った複数の第２ユーザ画像と、前記複数の第２ユーザ画像と前記第１表示部に表示されるコンテンツとの前記第１表示部における画面内の表示領域を示すレイアウト情報とを記憶する記憶部と、
前記レイアウト情報と、前記複数の第１ユーザ画像から算出される、前記通話実施期間において前記第１ユーザが前記第１表示部に対して向けた視線を示す第１視線情報とに基づいて、前記第１ユーザによる前記コンテンツに関する説明が行われた第１期間と、前記第１ユーザと前記第２ユーザとで前記コンテンツの説明以外のコミュニケーションが行われた第２期間とを判定し、前記複数の第２ユーザ画像に基づいて、前記通話実施期間において前記第２ユーザが向けた視線を示す第２視線情報を算出し、前記第２視線情報に示される、前記第１期間と前記第２期間とにおける前記第２ユーザの視線の違いに基づいて、前記コンテンツと前記複数の第１ユーザ画像とが表示された前記第２端末装置の第２表示部における、前記複数の第１ユーザ画像の第２表示部の画面内の表示領域を推定し、推定された前記複数の第１ユーザ画像の表示領域と前記第２視線情報とに基づいて、前記通話実施期間において、前記第２ユーザが、前記第２端末装置の第２表示部に表示される前記複数の第１ユーザ画像を見ているか否かを推定する処理部と、
を有する情報処理装置。

【請求項7】

コンピュータが、
ネットワークで接続された第１端末装置を用いる第１ユーザと第２端末装置を用いる第２ユーザとのビデオ通話の通話実施期間において、前記第１端末装置の第１表示部に表示される前記第２ユーザの顔が写った複数の第２ユーザ画像と、前記第１表示部に表示されるコンテンツとの前記第１表示部における画面内の表示領域を示すレイアウト情報と、前記第１ユーザの顔が写った複数の第１ユーザ画像から算出される、前記通話実施期間において前記第１ユーザが前記第１表示部に対して向けた視線を示す第１視線情報とに基づいて、前記第１ユーザによる前記コンテンツに関する説明が行われた第１期間と、前記第１ユーザと前記第２ユーザとで前記コンテンツの説明以外のコミュニケーションが行われた第２期間とを判定し、
前記第１表示部に表示される前記複数の第２ユーザ画像に基づいて、前記通話実施期間において前記第２ユーザが向けた視線を示す第２視線情報を算出し、
前記第２視線情報に示される、前記第１期間と前記第２期間とにおける前記第２ユーザの視線の違いに基づいて、前記コンテンツと前記複数の第１ユーザ画像とが表示された前記第２端末装置の第２表示部における、前記複数の第１ユーザ画像の第２表示部の画面内の表示領域を推定し、
推定された前記複数の第１ユーザ画像の表示領域と前記第２視線情報とに基づいて、前記通話実施期間において、前記第２ユーザが、前記第２端末装置の第２表示部に表示される前記複数の第１ユーザ画像を見ているか否かを推定する、
視線情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線情報処理プログラム、情報処理装置および視線情報処理方法に関する。

【背景技術】

【0002】

カウンセリングにおいて、カウンセラがクライアントの心理を推測する場合、言語情報だけでなくクライアントから得られる非言語情報も重要である。例えばカウンセラは、クライアントの視線情報から、クライアントが話題に興味を持っているかや発話したいかなどの情報を読み取ることがある。

【0003】

また近年、ビデオ通話の技術を用い、カウンセラとクライアントが遠隔通信によってディスプレイなどを介してコミュニケーションをする、遠隔カウンセリングが増えている。遠隔カウンセリングでカウンセラが視線情報を得るために、ディスプレイを見ているクライアントの視線を検出する技術が重要である。このとき、ディスプレイ上でクライアントの画像が表示されている位置は、レイアウトによって異なる。

【0004】

表示のレイアウトに関する技術としては、例えば時間情報に基づいてレイアウト要素間の差分時間を算出し、差分時間に対応するレイアウト要素間の配置間隔で、パス情報の経路に沿って、レイアウト要素を配置する要素レイアウト装置が提案されている。また視線検出に関する技術としては、例えば対象物を閲覧者の視野と対比してどのように見えるかを確認するのに適したヒートマップを作成することが可能な視線分析システムが提案されている。また、簡単な校正で視線パターンを任意の視線ターゲットに合わせる方法も提案されている。

【0005】

また遠隔通信によるコミュニケーションに関する技術としては、例えば対話者の顔の向きを検出し、検出した距離及び顔の向きに応じて対話用通信を続行するか否かを判定する対話用通信システムが提案されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００５－１００３３８号公報

【文献】特開２０１５－２１９８９２号公報

【文献】特開２０１６－６３４１３号公報

【非特許文献】

【0007】

【文献】Feng Lu, Xiaowu Chen, Yoichi Sato, ”Appearance-Based Gaze Estimation via Uncalibrated Gaze Pattern Recovery”, IEEE Transactions on Image Processing, Vol. 26, No. 4, April 2017.

【発明の概要】

【発明が解決しようとする課題】

【0008】

カウンセリングにおいてクライアントがカウンセラを頻繁に見ている場合、クライアントは話題に関心を示していたり、発話したがっていたりすることが多い。遠隔カウンセリングで、クライアントがカウンセラを見ているか否かを判定するには、クライアントのディスプレイに表示されたカウンセラの画像をクライアントが見ているか判定すればよい。

【0009】

しかし、クライアント側の情報処理装置に、クライアントのディスプレイのレイアウト情報をカウンセラ側の情報処理装置に送信するためのソフトウェアを入れることは制限される場合がある。この場合、クライアントのディスプレイでのカウンセラの画像の表示位置が不明であるため、クライアントがカウンセラの画像を見ているか判定するのが難しい。

【0010】

１つの側面では、本件は、ビデオ通話の一方のユーザが他方のユーザの画像を見ているかについての汎用性の高い判定技術を提供することを目的とする。

【課題を解決するための手段】

【0011】

１つの案では、コンピュータに以下の処理を実行させる視線情報処理プログラムが提供される。
コンピュータは、ネットワークで接続された第１端末装置を用いる第１ユーザと第２端末装置を用いる第２ユーザとのビデオ通話の通話実施期間において、第１端末装置の第１表示部に表示される第２ユーザの顔が写った複数の第２ユーザ画像と、第１表示部に表示されるコンテンツとの第１表示部における画面内の表示領域を示すレイアウト情報と、第１ユーザの顔が写った複数の第１ユーザ画像から算出される、通話実施期間において第１ユーザが第１表示部に対して向けた視線を示す第１視線情報とに基づいて、第１ユーザによるコンテンツに関する説明が行われた第１期間と、第１ユーザと第２ユーザとでコンテンツの説明以外のコミュニケーションが行われた第２期間とを判定し、第１表示部に表示される複数の第２ユーザ画像に基づいて、通話実施期間において第２ユーザが向けた視線を示す第２視線情報を算出し、第２視線情報に示される、第１期間と第２期間とにおける第２ユーザの視線の違いに基づいて、コンテンツと複数の第１ユーザ画像とが表示された第２端末装置の第２表示部における、複数の第１ユーザ画像の第２表示部の画面内の表示領域を推定し、推定された複数の第１ユーザ画像の表示領域と第２視線情報とに基づいて、通話実施期間において、第２ユーザが、第２端末装置の第２表示部に表示される複数の第１ユーザ画像を見ているか否かを推定する。

【発明の効果】

【0012】

１態様によれば、ビデオ通話の一方のユーザが他方のユーザの画像を見ているかについての汎用性の高い判定技術が提供される。

【図面の簡単な説明】

【0013】

【図1】視線情報処理方法を実施する情報処理システムの一例を示す図である。

【図2】第２の実施の形態のシステム構成の一例を示す図である。

【図3】カウンセラ端末のハードウェアの一例を示す図である。

【図4】遠隔カウンセリングにおけるカウンセラ側のモニタの例を示す図である。

【図5】遠隔カウンセリングにおけるクライアント側のモニタの例を示す図である。

【図6】カウンセラ端末の機能を示すブロック図である。

【図7】資料領域ビットマップおよび動画・カメラ領域ビットマップの生成方法の一例を示す図である。

【図8】カウンセラ動画ビットマップの生成方法の一例を示す図である。

【図9】視線推定結果テーブルの一例を示す図である。

【図10】カウンセラ動画位置推定の手順の一例を示すフローチャートである。

【図11】期間判定の手順の一例を示すフローチャートである。

【図12】カウンセラ動画ビットマップ生成の手順の一例を示すフローチャートである。

【図13】カウンセラ動画のモニタ上の推定位置の例を示す図である。

【図14】視線推定の手順の一例を示すフローチャートである。

【図15】視線推定結果の表示例を示す図である。

【図16】関心度グラフの例を示す図である。

【発明を実施するための形態】

【0014】

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。

【0015】

図１は、視線情報処理方法を実施する情報処理システムの一例を示す図である。図１の例では、情報処理装置１０が視線情報処理方法を実施する。情報処理装置１０は、例えば視線情報処理方法の処理手順が記述された視線情報処理プログラムを実行することにより、視線情報処理方法を実施することができる。

【0016】

情報処理装置１０は、ネットワークで接続された端末装置２ａを用いるユーザ１ａと端末装置２ｂを用いるユーザ１ｂとのビデオ通話の通話実施期間において、ユーザ１ｂがユーザ１ａの画像を見ているか否かを推定する。端末装置２ａは、表示部３ａを有する。表示部３ａは、例えば端末装置２ａに接続されたモニタである。端末装置２ｂは、表示部３ｂを有する。表示部３ｂは、例えば端末装置２ｂに接続されたモニタである。情報処理装置１０は、端末装置２ａと接続されていてもよいし、端末装置２ａが情報処理装置１０の機能を有していてもよい。

【0017】

情報処理装置１０は、記憶部１１と処理部１２とを有する。記憶部１１は、例えば情報処理装置１０が有するメモリ、またはストレージ装置である。処理部１２は、例えば情報処理装置１０が有するプロセッサ、または演算回路である。

【0018】

記憶部１１は、ユーザ画像４ａ，４ｂ，４ｃ，・・・とユーザ画像５ａ，５ｂ，５ｃ，・・・とレイアウト情報６とを記憶する。ユーザ画像４ａ，４ｂ，４ｃ，・・・は、通話実施期間に端末装置２ｂの表示部３ｂに表示されるユーザ１ａの顔が写った画像である。端末装置２ｂは、ビデオ通話においてユーザ画像４ａ，４ｂ，４ｃ，・・・を画面内の共通の表示領域にリアルタイムで表示する。

【0019】

ユーザ画像５ａ，５ｂ，５ｃ，・・・は、通話実施期間に端末装置２ａの表示部３ａに表示されるユーザ１ｂの顔が写った画像である。端末装置２ａは、ビデオ通話においてユーザ画像５ａ，５ｂ，５ｃ，・・・を画面内の共通の表示領域にリアルタイムで表示する。レイアウト情報６は、表示部３ａの表示レイアウトを示す。例えばレイアウト情報６は、表示部３ａに表示されるユーザ画像５ａ，５ｂ，５ｃ，・・・と、表示部３ａに表示されるコンテンツとの表示部３ａにおける画面内の表示領域を示す。

【0020】

処理部１２は、ユーザ画像４ａ，４ｂ，４ｃ，・・・から、通話実施期間においてユーザ１ａが表示部３ａに対して向けた視線を示す視線情報７を算出する。視線情報７は、例えば通話実施期間においてユーザ１ａの視線が向けられた位置を示す視線座標７ａ，７ｂ，７ｃ，・・・を含む。視線座標７ａ，７ｂ，７ｃ，・・・は、通話実施期間においてユーザ１ａが視線を向けた箇所の表示部３ａの画面における座標である。処理部１２は、例えば前述の非特許文献１に記載の方法で、視線座標７ａ，７ｂ，７ｃ，・・・を算出する。

【0021】

処理部１２は、レイアウト情報６と視線情報７とに基づいて、ユーザ１ａによるコンテンツに関する説明が行われたコンテンツ説明期間と、ユーザ１ａとユーザ１ｂとでコンテンツの説明以外のコミュニケーションが行われた自由会話期間とを判定する。例えば処理部１２は、通話実施期間を分割して得られる複数の単位期間のうちの判定対象単位期間内のユーザ１ａの視線のうち、コンテンツの表示領域に向けられた視線の割合が所定値以上の場合、判定対象単位期間をコンテンツ説明期間と判定する。

【0022】

一例として、時刻「１」～「８」を通話実施期間とするビデオ通話の時刻「１」，「２」，「４」，「６」において、ユーザ１ａの視線が向けられた位置が、コンテンツの表示領域に含まれるとする。また時刻「３」，「５」，「７」，「８」において、ユーザ１ａの視線が向けられた位置が、ユーザ画像５ａ，５ｂ，５ｃ，・・・の表示領域に含まれるとする。ここで処理部１２は、通話実施期間が時刻を４つ含む単位期間に分割され、それぞれの単位期間でユーザ１ａの視線が向けられた複数の位置のうち、コンテンツの表示領域に含まれる位置の割合が５０％以上の単位期間をコンテンツ説明期間とする。この場合、処理部１２は、時刻「１」～「４」をコンテンツ説明期間と判定し、時刻「５」～「８」を自由会話期間であると判定する。

【0023】

処理部１２は、ユーザ画像５ａ，５ｂ，５ｃ，・・・に基づいて、通話実施期間においてユーザ１ｂが向けた視線を示す視線情報８を算出する。視線情報８は、例えば通話実施期間においてユーザ１ｂの視線が向けられた位置を示す視線座標８ａ，８ｂ，８ｃ，・・・を含む。視線座標８ａ，８ｂ，８ｃ，・・・は、例えば通話実施期間においてユーザ１ｂが視線を向けた箇所の、表示部３ｂの画面を含む平面における座標である。視線座標８ａ，８ｂ，８ｃ，・・・は、視線座標７ａ，７ｂ，７ｃ，・・・の算出と同様の方法で算出される。

【0024】

処理部１２は、視線情報８に示されるコンテンツ説明期間と自由会話期間とにおけるユーザ１ｂの視線の違いに基づいて、推定表示領域９を推定する。推定表示領域９は、コンテンツとユーザ画像４ａ，４ｂ，４ｃ，・・・とが表示された表示部３ｂにおける、ユーザ画像４ａ，４ｂ，４ｃ，・・・の表示部３ｂの画面内の表示領域を推定したものである。

【0025】

例えば処理部１２は、表示部３ｂの画面を分割して得られる単位領域ごとに、コンテンツ説明期間において、ユーザ１ｂの視線が単位領域に向けられた回数を示す第１回数を集計する。また処理部１２は、単位領域ごとに、自由会話期間内において、ユーザ１ｂの視線が単位領域に向けられた回数を示す第２回数を集計する。そして処理部１２は、単位時間あたりの第２回数から単位時間あたりの第１回数を減算した値が所定値以上となる単位領域の集合を、推定表示領域９と推定する。つまり処理部１２は、コンテンツ説明期間と比較して自由会話期間に多くユーザ１ｂによって見られた領域を推定表示領域９と推定する。

【0026】

処理部１２は、推定表示領域９と視線情報８とに基づいて、通話実施期間において、ユーザ１ｂが端末装置２ｂの表示部３ｂに表示されるユーザ画像４ａ，４ｂ，４ｃ，・・・を見ているか否かを推定する。例えば処理部１２は、通話実施期間の所定の時刻においてユーザ１ｂが視線を向けた箇所の座標が、推定表示領域９に含まれる場合、ユーザ１ｂが所定の時刻においてユーザ画像４ａ，４ｂ，４ｃ，・・・を見ていると推定する。一方処理部１２は、所定の時刻においてユーザ１ｂが視線を向けた箇所の座標が、推定表示領域９に含まれない場合、ユーザ１ｂが所定の時刻においてユーザ画像４ａ，４ｂ，４ｃ，・・・を見ていないと推定する。処理部１２は、推定結果を示す情報を端末装置２ａの表示部３ａに表示してもよい。

【0027】

このようにユーザ１ａの視線とレイアウト情報６から、通話実施期間がコンテンツ説明期間と自由会話期間とに分けられ、それぞれの期間のユーザ１ｂの視線を基に推定表示領域９が推定される。そして、ある時刻におけるユーザ１ｂの視線が推定表示領域９に向けられたか否かによって、当該時刻にユーザ１ｂがユーザ１ａの画像を見ているか否かが推定される。これにより、ユーザ１ｂが使用する端末装置２ｂのレイアウトが不明である場合でも、ユーザ１ｂが表示部３ｂに表示されたユーザ１ａの画像を見ているか否かの推定が可能となる。すなわち、ビデオ通話の一方のユーザが他方のユーザの画像を見ているかについての判定技術を適用可能なシステムの範囲が広がり、そのような判定技術の汎用性が向上する。

【0028】

例えば情報処理装置１０は、カウンセラであるユーザ１ａがクライアントであるユーザ１ｂに対して行う遠隔のカウンセリングにおいて用いられてもよい。この場合、例えばカウンセリング開始から一定時間までの期間に推定表示領域９が推定される。そして当該期間経過後視線情報処理が行われることで、ユーザ１ａは、ユーザ１ｂが表示部３ｂに表示されたユーザ１ａの画像を見ているか否かをリアルタイムに把握することができる。これによりユーザ１ａは、ユーザ１ｂがユーザ１ａへ関心を持っているか、ユーザ１ｂがユーザ１ａに話しかけたいか、などのユーザ１ｂの視線から得られる情報を取得できる。

【0029】

また処理部１２は、ユーザ１ｂが顔の向きを変えてよそ見をしている場合の視線を、推定表示領域９の推定に用いる視線から除外するため、以下の処理を行ってもよい。処理部１２は、ユーザ画像５ａ，５ｂ，５ｃ，・・・から、通話実施期間におけるユーザ１ｂの顔向きを示す値を算出する。顔向きを示す値は、例えばユーザ画像５ａ，５ｂ，５ｃ，・・・に写ったユーザ１ｂの、右目に対する左目の大きさの割合である。処理部１２は、コンテンツ説明期間における顔向きを示す値の平均値を算出する。そして処理部１２は、自由会話期間のユーザ１ｂの顔が写った所定のユーザ画像から算出される顔向きを示す値と顔向きを示す値の平均値との差の絶対値が閾値以上である場合、所定のユーザ画像から算出されるユーザ１ｂの視線を集計対象から除外する。これにより、推定表示領域９の推定精度が向上する。

【0030】

〔第２の実施の形態〕
次に第２の実施の形態について説明する。第２の実施の形態は、ビデオ通話による遠隔カウンセリングにおいて、カウンセリングの対象であるクライアントがカウンセラの動画を見ているか否かをリアルタイムで推定するものである。なお、以下の説明では、視線が向けられた位置を、単に視線と呼ぶこともある。

【0031】

図２は、第２の実施の形態のシステム構成の一例を示す図である。カウンセラ端末１００は、ネットワーク２０を介して、クライアント端末２００と指導者端末２３とに接続されている。カウンセラ端末１００は、カウンセラ２１の使用するコンピュータである。クライアント端末２００は、クライアント２２が使用するコンピュータである。指導者端末２３は、カウンセラ２１に対してカウンセリングの指導を行う指導者が使用するコンピュータである。

【0032】

カウンセラ２１は、カウンセラ端末１００によってクライアント２２に遠隔カウンセリングを行う。カウンセラ端末１００は、カウンセラ２１の動画をリアルタイムでクライアント端末２００に送信する。またカウンセラ端末１００は、クライアント端末２００から受信した動画をリアルタイムで表示する。またカウンセラ端末１００は、クライアント２２がカウンセラ２１の動画を見ているか否かをリアルタイムで推定し、推定結果を表示する。

【0033】

クライアント２２は、クライアント端末２００によってカウンセラ２１から遠隔カウンセリングを受ける。クライアント端末２００は、クライアント２２の動画をリアルタイムでカウンセラ端末１００に送信する。またクライアント端末２００は、カウンセラ端末１００から受信した動画をリアルタイムで表示する。指導者端末２３は、カウンセラ２１の指導者が操作する端末である。指導者端末２３は、カウンセラ２１によるクライアント２２へのカウンセリングの結果をカウンセラ端末１００から取得する。

【0034】

図３は、カウンセラ端末のハードウェアの一例を示す図である。カウンセラ端末１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１１１を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。

【0035】

メモリ１０２は、カウンセラ端末１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。

【0036】

バス１１１に接続されている周辺機器としては、ストレージ装置１０３、グラフィック処理装置１０４、機器接続インタフェース１０５、入力インタフェース１０６、光学ドライブ装置１０７、機器接続インタフェース１０８、音声入出力部１０９およびネットワークインタフェース１１０がある。

【0037】

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

【0038】

グラフィック処理装置１０４には、モニタ３１が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令に従って、画像をモニタ３１の画面に表示させる。モニタ３１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置などがある。

【0039】

機器接続インタフェース１０５には、カメラ３２が接続されている。カメラ３２は、例えばモニタ３１の画面上部に設置される、撮影装置である。カメラ３２は、プロセッサ１０１からの命令に従って、カメラ３２のレンズを向けた先の光景の静止画または動画のデータを生成し、メモリ１０２に格納する。

【0040】

入力インタフェース１０６には、キーボード３３とマウス３４とが接続されている。入力インタフェース１０６は、キーボード３３やマウス３４から送られてくる信号をプロセッサ１０１に送信する。なお、マウス３４は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

【0041】

光学ドライブ装置１０７は、レーザ光などを利用して、光ディスク３５に記録されたデータの読み取りを行う。光ディスク３５は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク３５には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

【0042】

機器接続インタフェース１０８は、カウンセラ端末１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０８には、メモリ装置３６やメモリリーダライタ３７を接続することができる。メモリ装置３６は、機器接続インタフェース１０８との通信機能を搭載した記録媒体である。メモリリーダライタ３７は、メモリカード３７ａへのデータの書き込み、またはメモリカード３７ａからのデータの読み出しを行う装置である。メモリカード３７ａは、カード型の記録媒体である。

【0043】

音声入出力部１０９には、マイク３８とスピーカ３９とが接続されている。音声入出力部１０９は、マイク３８から入力された音声信号をディジタル信号に変換して、プロセッサ１０１に送信する。また音声入出力部１０９は、プロセッサ１０１から音声データを受信すると、音声データに従った音声信号を生成し、スピーカ３９から音声出力を行う。

【0044】

ネットワークインタフェース１１０は、ネットワーク２０に接続されている。ネットワークインタフェース１１０は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

【0045】

カウンセラ端末１００は、以上のようなハードウェア構成によって、第２の実施の形態の処理機能を実現することができる。またクライアント端末２００および指導者端末２３も、図３に示したカウンセラ端末１００と同様のハードウェアにより実現することができる。ただし、指導者端末２３は、機器接続インタフェース１０５を有していなくてもよく、音声入出力部１０９にマイク３８が接続されていなくてもよい。第１の実施の形態に示した情報処理装置１０も、図３に示したカウンセラ端末１００と同様のハードウェアにより実現することができる。またプロセッサ１０１は、第１の実施の形態に示した処理部１２の一例である。またメモリ１０２またはストレージ装置１０３は、第１の実施の形態に示した記憶部１１の一例である。またモニタ３１は、第１の実施の形態に示した表示部３ａの一例である。

【0046】

カウンセラ端末１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。カウンセラ端末１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、カウンセラ端末１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。またカウンセラ端末１００に実行させるプログラムを、光ディスク３５、メモリ装置３６、メモリカード３７ａなどの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

【0047】

次に、第２の実施の形態の遠隔カウンセリングについて説明する。
第２の実施の形態の遠隔カウンセリングでは、カウンセラ端末１００およびクライアント端末２００は、ビデオ通話アプリケーションを実行する。ビデオ通話アプリケーションは、相手方の動画をリアルタイムでモニタに表示する。つまりカウンセラ２１とクライアント２２は、カウンセラ端末１００およびクライアント端末２００を介したビデオ通話でコミュニケーションを行う。このときカウンセラ２１は、話題に応じて、モニタに表示された資料を用いた説明をクライアント２２にすることがある。以下では図４，５を参照して、モニタの表示とカウンセラ２１およびクライアント２２の視線の傾向とについて説明する。

【0048】

図４は、遠隔カウンセリングにおけるカウンセラ側のモニタの例を示す図である。カウンセラ２１は、カウンセラ端末１００に接続されたモニタ３１を見ながらカウンセリングを行う。モニタ３１の画面の上部には、カメラ３２が設置されている。カウンセラ端末１００は、カメラ３２によって、カウンセラ２１の顔を撮影する。なおカウンセラ端末１００は、マイク３８によってカウンセラ２１の声を示す音声を取得する。カウンセラ端末１００は、カメラ３２で撮影した画像を示す画像データとマイク３８で取得した音声を示す音声データとを含む動画データをリアルタイムでクライアント端末２００に送信する。

【0049】

モニタ３１の画面には、クライアント動画４１と説明資料４２とが表示されている。クライアント動画４１は、クライアント端末２００から受信した動画データに基づいて、カウンセラ端末１００がリアルタイムに再生した画像である。再生された動画には、クライアント２２の顔が写されている。なおクライアント動画４１の音声は、例えばスピーカ３９によって出力される。

【0050】

説明資料４２は、カウンセラ２１がクライアント２２に説明する資料である。例えばカウンセラ端末１００は、説明資料４２のファイルを、例えばストレージ装置１０３に記憶している。そしてカウンセラ端末１００は、そのファイルをストレージ装置１０３から読み出し、モニタ３１の所定の表示領域に説明資料４２を表示する。

【0051】

ここで、カウンセリング中にカウンセラ２１が視線を向ける頻度が高い領域として、視線増加領域４３、視線増加領域４４、視線増加箇所４５などがある。
視線増加領域４３は、カウンセラ２１による資料説明が行われている期間（資料説明期間）にカウンセラ２１が視線を向ける頻度が高頻度となる領域である。視線増加領域４３には、モニタ３１の画面上で説明資料４２が表示された領域が含まれる。これは、資料説明期間にカウンセラ２１が、説明資料４２を見ながらクライアント２２と話をするためである。

【0052】

視線増加領域４４は、資料説明期間以外のコミュニケーションが行われている期間（自由会話期間）にカウンセラ２１が視線を向ける頻度が高頻度となる領域である。視線増加領域４４には、モニタ３１の画面上でクライアント動画４１が表示された領域が含まれる。これは、自由会話期間にカウンセラ２１が、クライアント２２の様子を見ながらクライアント２２と話をするためである。

【0053】

視線増加箇所４５は、自由会話期間にカウンセラ２１が視線を向ける頻度が高頻度となる箇所である。視線増加箇所４５は、モニタ３１のカメラ３２が設置された箇所である。これは自由会話期間に、カウンセラ２１がクライアント２２を見ているとクライアント２２に感じさせるように、カウンセラ２１がカメラ３２に視線を向けることがあるためである。

【0054】

図５は、遠隔カウンセリングにおけるクライアント側のモニタの例を示す図である。クライアント２２は、クライアント端末２００に接続されたモニタ５１を見ながらカウンセリングを受ける。モニタ５１は、第１の実施の形態に示した表示部３ｂの一例である。モニタ５１の画面の上部には、クライアント端末２００に接続されたカメラ５２が設置されている。クライアント端末２００は、カメラ５２によってクライアント２２の顔を撮影する。またクライアント端末２００は、接続されたマイクによってクライアント２２の声を示す音声を取得する。クライアント端末２００は、カメラ５２で撮影した画像を示す画像データとクライアント端末２００のマイクで取得した音声データとを含む動画データをリアルタイムでカウンセラ端末１００に送信する。

【0055】

モニタ５１の画面には、カウンセラ動画６１と説明資料６２とが表示されている。カウンセラ動画６１は、カウンセラ端末１００から受信した動画データに基づいて、クライアント端末２００がリアルタイムに再生した画像である。再生された動画には、カウンセラ２１の顔が写されている。なおカウンセラ動画６１の音声は、例えばクライアント端末２００に接続されたスピーカによって出力される。

【0056】

説明資料６２は、カウンセラ２１がクライアント２２に説明する資料である。例えばクライアント端末２００は、カウンセラ端末１００に表示された説明資料４２と同じ内容の説明資料６２のファイルをカウンセラ端末１００から受信し、ストレージ装置に格納する。そしてクライアント端末２００は、そのファイルをストレージ装置から読み出し、モニタ５１の所定の表示領域に説明資料６２を表示する。

【0057】

ここで、カウンセリング中にクライアント２２が視線を向ける頻度が高い領域として、視線増加領域６３、視線増加領域６４、よそ見領域６５などがある。
視線増加領域６３は、資料説明期間にクライアント２２が視線を向ける頻度が高頻度となる領域である。視線増加領域６３には、モニタ５１の画面上で説明資料６２が表示された領域が含まれる。これは、資料説明期間にクライアント２２が、説明資料６２を見ながらカウンセラ２１と話をするためである。

【0058】

視線増加領域６４は、自由会話期間にクライアント２２が視線を向ける頻度が高頻度となる領域である。視線増加領域６４には、モニタ５１の画面上でカウンセラ動画６１が表示された領域が含まれる。これは、自由会話期間にクライアント２２が、カウンセラ２１を見ながらカウンセラ２１と話をするためである。

【0059】

よそ見領域６５は、モニタ５１の画面の外の領域である。よそ見領域６５などのモニタ５１の画面の外の領域は、クライアント２２が考え事をしたりよそ見をする時に、視線を向けられることがある。

【0060】

なお、説明資料４２，６２は、第１の実施の形態に示したコンテンツの一例である。
上記のように、カウンセラ２１およびクライアント２２の視線の傾向は、資料説明期間と自由会話期間とで異なる。この傾向の違いに基づいて、カウンセラ端末１００は、モニタ５１のレイアウト情報なしに、クライアント２２がカウンセラ動画６１を見ているか否かを推定する。まずカウンセラ端末１００は、カウンセラ２１の視線とモニタ３１のレイアウトとに基づいて、資料説明期間と自由会話期間とを特定する。例えばカウンセラ端末１００は、カウンセラ２１の視線が説明資料４２の表示領域周辺で停留している割合が高い期間を、資料説明期間と判定する。またカウンセラ端末１００は、カウンセラ２１の視線がクライアント動画４１の表示領域周辺で停留するか、またはカメラ３２を向いている割合が高い期間を、自由会話期間と判定する。

【0061】

次にカウンセラ端末１００は、推定した資料説明期間と自由会話期間とにおけるクライアント２２の視線の違いに基づいて、モニタ５１上でカウンセラ動画６１が表示されている領域を推定する。そしてカウンセラ端末１００は、クライアント２２が推定した領域を見ているか否かを推定する。

【0062】

またカウンセラ端末１００は、クライアント２２の顔向きからクライアント２２がよそ見領域６５を見ているか否かを判定する。カウンセラ端末１００は、クライアント２２の顔向きが平均と大きくずれた時刻において、クライアント２２がよそ見領域６５を見ていると判定する。そしてカウンセラ端末１００は、当該時刻のクライアント２２の視線を、カウンセラ動画６１が表示されている領域の推定に用いる視線から除外する。

【0063】

次に、カウンセラ端末１００の機能について詳細に説明する。
図６は、カウンセラ端末の機能を示すブロック図である。カウンセラ端末１００は、記憶部１２０、レイアウト取得部１３０、画像取得部１４０、視線座標算出部１５０、顔向き算出部１６０、カウンセラ動画位置推定部１７０、視線推定部１８０および推定結果表示部１９０を有する。

【0064】

記憶部１２０は、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・とクライアント画像１２２－１，１２２－２，１２２－３，・・・とを記憶する。また記憶部１２０は、資料領域ビットマップ１２３、動画・カメラ領域ビットマップ１２４、カウンセラ動画ビットマップ１２５および視線推定結果テーブル１２６を記憶する。

【0065】

カウンセラ画像１２１－１，１２１－２，１２１－３，・・・は、カウンセラ２１の顔を写した画像である。カウンセラ画像１２１－１，１２１－２，１２１－３，・・・それぞれは、撮影された時刻と対応付けられている。クライアント画像１２２－１，１２２－２，１２２－３，・・・は、クライアント２２の顔を写した画像である。クライアント画像１２２－１，１２２－２，１２２－３，・・・それぞれは、撮影された時刻と対応付けられている。

【0066】

資料領域ビットマップ１２３は、モニタ３１に表示される画面内での説明資料が表示される領域を示すビットマップ形式の情報である。動画・カメラ領域ビットマップ１２４は、モニタ３１に表示される画面内でのクライアント動画が表示される領域と、カメラ３２の設置位置とを示すビットマップ形式の情報である。例えば資料領域ビットマップ１２３と動画・カメラ領域ビットマップ１２４とは、モニタ３１の画面およびその周辺（カメラ３２の設置場所を含む範囲）を含む面を分割した複数の単位領域それぞれに対応するビットを有するビットマップである。資料領域ビットマップ１２３では、資料説明期間に高頻度で視線が向けられる視線増加領域４３に対応するビットは「１」、その他のビットは「０」に設定される。動画・カメラ領域ビットマップ１２４では、自由会話期間に高頻度で視線が向けられる視線増加領域４４または視線増加箇所４５に対応するビットは「１」、その他のビットは「０」に設定される。

【0067】

カウンセラ動画ビットマップ１２５は、モニタ５１の画面を分割した複数の単位領域それぞれに対応するビットを有するビットマップである。カウンセラ動画ビットマップ１２５では、カウンセラ動画６１が表示されていると推定された領域に対応するビットは「１」、その他のビットは「０」に設定される。視線推定結果テーブル１２６は、各時刻におけるクライアント２２の視線推定の結果を記憶するテーブルである。

【0068】

レイアウト取得部１３０は、カウンセラ端末１００のモニタ３１に表示された画面レイアウトを取得する。レイアウト取得部１３０は、画面レイアウトを、カウンセラ端末１００のＯＳから取得してもよいしカウンセラ２１の入力から取得してもよい。またレイアウト取得部１３０は、モニタ３１の画面上でカメラ３２が設置されている領域を取得する。カメラ３２が設置されている領域は、例えばカウンセラ２１の入力によって指定される。レイアウト取得部１３０は、取得した画面レイアウトとカメラ３２の設置領域とに基づいて資料領域ビットマップ１２３および動画・カメラ領域ビットマップ１２４を生成し、記憶部１２０に格納する。

【0069】

画像取得部１４０は、カメラ３２が撮影したカウンセラ２１の顔を写した画像をリアルタイムで取得する。そして画像取得部１４０は、取得した画像を撮影された時刻と対応付けて、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・として記憶部１２０に格納する。また画像取得部１４０は、クライアント端末２００から受信した動画から、クライアント２２の顔を写した画像をリアルタイムで取得する。そして画像取得部１４０は、取得した画像を撮影された時刻と対応付けて、クライアント画像１２２－１，１２２－２，１２２－３，・・・として記憶部１２０に格納する。

【0070】

視線座標算出部１５０は、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・からカウンセラ２１の視線座標を算出する。カウンセラ２１の視線座標は、例えば非特許文献１に示された方法で算出される、カウンセラ２１が視線を向けたモニタ３１上の座標を示す。また視線座標算出部１５０は、クライアント画像１２２－１，１２２－２，１２２－３，・・・からクライアント２２の視線座標を算出する。クライアント２２の視線座標は、クライアント２２が視線を向けたモニタ５１の画面を含む平面上の座標を示す。クライアント２２の視線座標は、カウンセラ２１の視線座標と同様の方法で算出される。

【0071】

顔向き算出部１６０は、クライアント画像１２２－１，１２２－２，１２２－３，・・・から各時刻のクライアント２２の顔向きを示す値を算出する。顔向きを示す値は、例えばクライアント画像１２２－１，１２２－２，１２２－３，・・・に写ったクライアント２２の、右目に対する左目の大きさの割合である。

【0072】

カウンセラ動画位置推定部１７０は、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・を基に資料説明期間と自由会話期間を特定し、クライアント画像１２２－１，１２２－２，１２２－３，・・・を基にカウンセラ動画６１の表示位置を推定する。カウンセラ動画位置推定部１７０は、期間判定部１７１および位置推定部１７２を有する。

【0073】

期間判定部１７１は、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・の撮影された期間を複数の単位期間に区切り、各単位期間が資料説明期間に含まれるか自由会話期間に含まれるかを判定する。例えば期間判定部１７１は、視線座標算出部１５０に、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・から各時刻におけるカウンセラ２１の視線座標を算出させる。そして期間判定部１７１は、ある単位期間で、資料領域ビットマップ１２３でビットが「１」の領域内の視線座標の数が、動画・カメラ領域ビットマップ１２４でビットが「１」の領域内の視線座標の数以上の場合、当該単位期間を資料説明期間と判定する。一方期間判定部１７１は、ある単位期間で、資料領域ビットマップ１２３でビットが「１」の領域内の視線座標の数が、動画・カメラ領域ビットマップ１２４でビットが「１」の領域内の視線座標の数未満の場合、当該単位期間を自由会話期間と判定する。

【0074】

位置推定部１７２は、カウンセラ動画ビットマップ１２５を生成する。例えば位置推定部１７２は、視線座標算出部１５０に、クライアント画像１２２－１，１２２－２，１２２－３，・・・のうち、資料説明期間に撮影されたものから、資料説明期間に含まれる各時刻のクライアント２２の視線座標を算出させる。また位置推定部１７２は、視線座標算出部１５０に、クライアント画像１２２－１，１２２－２，１２２－３，・・・のうち、自由会話期間に撮影されたものから、自由会話期間に含まれる各時刻のクライアント２２の視線座標を算出させる。

【0075】

位置推定部１７２は、モニタ５１の領域を分割した複数の単位領域それぞれに含まれる、資料説明期間のクライアント２２の視線座標と自由会話期間のクライアント２２の視線座標とをそれぞれ集計する。位置推定部１７２は、各単位領域について、自由会話期間のクライアント２２の視線座標の数と資料説明期間のクライアント２２の視線座標の数との差分を算出する。そして位置推定部１７２は、差分が閾値以上であった単位領域に対応するビットが「１」、その他のビットが「０」のカウンセラ動画ビットマップ１２５を生成し、記憶部１２０に格納する。

【0076】

なお位置推定部１７２は、自由会話期間においてクライアント２２の顔向きが平均と大きくずれた時刻の視線を集計対象から除外する。位置推定部１７２は、顔向き算出部１６０に、クライアント画像１２２－１，１２２－２，１２２－３，・・・のうち、資料説明期間に撮影されたものから、資料説明期間に含まれる各時刻のクライアント２２の顔向きを示す値を算出させる。そして位置推定部１７２は、資料説明期間におけるクライアント２２の顔向きを示す値の平均値を算出する。

【0077】

位置推定部１７２は、顔向き算出部１６０に、クライアント画像１２２－１，１２２－２，１２２－３，・・・のうち、自由会話期間に撮影されたものから、自由会話期間に含まれる各時刻のクライアント２２の顔向きを示す値を算出させる。そして位置推定部１７２は、自由会話期間に含まれるある時刻の顔向きを示す値と資料説明期間における顔向きを示す値の平均値との差の絶対値が閾値以上である場合、当該時刻のクライアント２２の視線座標を集計対象から除外する。

【0078】

視線推定部１８０は、リアルタイムで取得したクライアント動画４１を基に、現在クライアント２２がカウンセラ動画６１を見ているか否かの推定（視線推定）をする。視線推定部１８０は、視線座標算出部１５０に、画像取得部１４０が取得したクライアント２２の画像から、現在のクライアント２２の視線座標を算出させる。そして視線推定部１８０は、現在のクライアント２２の視線座標が、カウンセラ動画ビットマップ１２５でビットが「１」の領域に含まれる場合、現在クライアント２２はカウンセラ動画６１を見ていると判定する。一方視線推定部１８０は、現在のクライアント２２の視線座標が、カウンセラ動画ビットマップ１２５でビットが「１」の領域に含まれない場合、現在クライアント２２はカウンセラ動画６１を見ていないと判定する。

【0079】

また視線推定部１８０は、クライアント２２の現在の関心度を算出する。現在の関心度は、例えば現在の時刻の一定時間前（例えば、１０秒前）から現在の時刻までにクライアント２２がカウンセラ動画６１を見たと判定された回数の割合［％］である。

【0080】

推定結果表示部１９０は、視線推定の結果を表示する。例えば推定結果表示部１９０は、クライアント２２の現在の関心度が閾値より大きい場合、クライアント２２が話題に関心を持っている旨の文言をモニタ３１に表示する。

【0081】

なお、図６に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図６に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。

【0082】

次に、記憶部１２０に記憶されるデータの生成方法について説明する。まず資料領域ビットマップ１２３と動画・カメラ領域ビットマップ１２４との生成方法について説明する。

【0083】

図７は、資料領域ビットマップおよび動画・カメラ領域ビットマップの生成方法の一例を示す図である。レイアウト取得部１３０は、モニタ３１の画面レイアウト１３１に基づいて資料領域ビットマップ１２３および動画・カメラ領域ビットマップ１２４を生成する。画面レイアウト１３１には、例えばモニタ３１の画面内でのクライアント動画４１の表示領域と説明資料４２の表示領域とが示されている。

【0084】

レイアウト取得部１３０は、モニタ３１の画面を分割した複数の単位領域それぞれに対応するビットを有する、初期ビットマップから資料領域ビットマップ１２３および動画・カメラ領域ビットマップ１２４を生成する。なお、初期ビットマップの各ビットの初期値は「０」である。

【0085】

資料領域ビットマップ１２３の生成では、レイアウト取得部１３０は、モニタ３１の画面レイアウト１３１から説明資料４２が表示されている資料領域１２３ａを取得する。レイアウト取得部１３０は、初期ビットマップの、資料領域１２３ａに含まれる単位領域に対応するビットを「１」としたビットマップを、資料領域ビットマップ１２３とする。

【0086】

動画・カメラ領域ビットマップ１２４の生成では、レイアウト取得部１３０は、モニタ３１の画面レイアウト１３１からクライアント動画４１が表示されている動画領域１２４ａを取得する。またレイアウト取得部１３０は、カウンセラ２１の入力からモニタ３１の画面上でカメラ３２が設置されているカメラ領域１２４ｂを取得する。レイアウト取得部１３０は、初期ビットマップの、動画領域１２４ａまたはカメラ領域１２４ｂに含まれる単位領域に対応するビットを「１」としたビットマップを、動画・カメラ領域ビットマップ１２４とする。

【0087】

期間判定部１７１は、単位期間内に取得したカウンセラ２１の視線座標を、資料領域ビットマップ１２３と動画・カメラ領域ビットマップ１２４とのそれぞれと比較することで、資料説明期間と自由会話期間とを判定する。資料説明期間と自由会話期間とが判定されると、位置推定部１７２は、クライアント端末２００のモニタ５１におけるカウンセラ動画６１の表示領域を推定し、該当領域を示すカウンセラ動画ビットマップ１２５を生成する。

【0088】

図８は、カウンセラ動画ビットマップの生成方法の一例を示す図である。位置推定部１７２は、資料説明期間におけるクライアント２２の視線座標の集計と自由会話期間におけるクライアント２２の視線座標の集計との差分に基づいて、カウンセラ動画ビットマップ１２５を生成する。

【0089】

位置推定部１７２は、モニタ５１の画面を分割した複数の単位領域それぞれに対応する要素を有する、初期配列を用いてクライアント２２の視線座標を集計する。初期配列の各要素の初期値は、例えば「０」である。位置推定部１７２は、初期配列の値を更新し、資料説明期間におけるクライアント２２の視線座標の集計を示す資料説明期間ヒートマップ７１および自由会話期間におけるクライアント２２の視線座標の集計を示す自由会話期間ヒートマップ７２を生成する。なお図８では、ヒートマップの各要素の値の大小が、点の濃淡で表される。

【0090】

資料説明期間ヒートマップ７１の生成では、位置推定部１７２は、初期配列の各要素を、資料説明期間におけるクライアント２２の視線座標のうち対応する単位領域に含まれるものの数に更新する。そして位置推定部１７２は、更新した初期配列の各要素を資料説明期間におけるクライアント２２の視線座標の数で除したものを資料説明期間ヒートマップ７１とする。

【0091】

自由会話期間ヒートマップ７２の生成では、位置推定部１７２は、初期配列の各要素を、自由会話期間におけるクライアント２２の視線座標のうち対応する単位領域に含まれるものの数に更新する。そして位置推定部１７２は、更新した初期配列の各要素を自由会話期間におけるクライアント２２の視線座標の数で除したものを自由会話期間ヒートマップ７２とする。なお、クライアント２２の顔向きが平均と大きくずれていると判定された時刻のクライアント２２の視線座標は、自由会話期間ヒートマップ７２の生成では、自由会話期間におけるクライアント２２の視線座標に含まれない。

【0092】

位置推定部１７２は、自由会話期間ヒートマップ７２と資料説明期間ヒートマップ７１との差分を示す差分ヒートマップ７３を生成する。差分ヒートマップ７３の各要素には、自由会話期間ヒートマップ７２の対応する要素の値から資料説明期間ヒートマップ７１の対応する要素の値を引いた値が格納される。そして位置推定部１７２は、差分ヒートマップ７３からカウンセラ動画ビットマップ１２５を生成する。カウンセラ動画ビットマップ１２５は、差分ヒートマップ７３の各要素に対応するビットを有しており、差分ヒートマップ７３の、値が閾値以上の要素に対応するビットが「１」、その他のビットが「０」のビットマップである。

【0093】

なおカウンセラ動画ビットマップ１２５は、一定時間（例えば、１５分）のクライアント２２の視線座標を基に生成される。そのため、カウンセリング開始から一定時間後（例えば、１５分後）に、カウンセラ動画ビットマップ１２５は生成され、視線推定が開始する。

【0094】

次に図９を参照し、カウンセラ端末１００の保持する情報について、詳細に説明する。
図９は、視線推定結果テーブルの一例を示す図である。視線推定結果テーブル１２６には、時刻に対応付けて、視線推定結果および関心度が設定されている。時刻は、例えば視線推定が開始してからの時間で表される。

【0095】

視線推定結果には、対応する時刻における視線推定の結果が設定される。例えば視線推定結果には、対応する時刻にクライアント２２がカウンセラ動画６１を見ている場合は「１」、対応する時刻にクライアント２２がカウンセラ動画６１を見ていない場合は「０」が設定される。関心度には、対応する時刻におけるクライアント２２の関心度が設定される。ここで、ある時刻の関心度の算出は、当該時刻の一定時間前（例えば、１０秒前）から当該時刻までの、視線推定の結果を基に算出される。そのため、視線推定が開始してから一定時間後（例えば、１０秒後）までの時刻に対応する関心度は空欄となる。

【0096】

以下、カウンセラ動画位置推定の手順について、詳細に説明する。
図１０は、カウンセラ動画位置推定の手順の一例を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。

【0097】

［ステップＳ１０１］レイアウト取得部１３０は、カウンセラ端末１００のモニタ３１に表示された画面の構成を示す画面レイアウト１３１を取得する。画面レイアウト１３１は、カウンセラ端末１００のＯＳから取得されてもよいしカウンセラ２１によって入力されてもよい。またレイアウト取得部１３０は、モニタ３１の画面上でカメラ３２が設置されている領域を取得する。カメラ３２が設置されている領域は、例えばカウンセラ２１の入力によって指定される。

【0098】

［ステップＳ１０２］レイアウト取得部１３０は、ステップＳ１０１で取得した画面レイアウト１３１とカメラ３２の設置領域とに基づいて資料領域ビットマップ１２３および動画・カメラ領域ビットマップ１２４を生成する。レイアウト取得部１３０は、生成した資料領域ビットマップ１２３および動画・カメラ領域ビットマップ１２４を、記憶部１２０に格納する。

【0099】

［ステップＳ１０３］カウンセラ動画位置推定部１７０は、一定時間（例えば、１５分間）待機する。カウンセラ動画位置推定部１７０は、一定時間経過後、処理をステップＳ１０４に進める。

【0100】

［ステップＳ１０４］期間判定部１７１は、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・、資料領域ビットマップ１２３および動画・カメラ領域ビットマップ１２４を用いて、資料説明期間と自由会話期間とを推定する。期間判定の詳細については後述する（図１１参照）。

【0101】

［ステップＳ１０５］位置推定部１７２は、クライアント画像１２２－１，１２２－２，１２２－３，・・・を用いて、カウンセラ動画ビットマップ１２５を生成する。カウンセラ動画ビットマップ生成の詳細については後述する（図１２参照）。

【0102】

［ステップＳ１０６］カウンセラ動画位置推定部１７０は、カウンセリングが終了したか否かを判定する。例えばカウンセラ動画位置推定部１７０は、カウンセラ端末１００とクライアント端末２００との間の通信が終了している場合、カウンセリングが終了したと判定する。カウンセラ動画位置推定部１７０は、カウンセリングが終了したと判定した場合、処理を終了する。またカウンセラ動画位置推定部１７０は、カウンセリングが終了していないと判定した場合、処理をステップＳ１０３に進める。

【0103】

このように、カウンセラ動画６１のモニタ５１上の推定位置を示すカウンセラ動画ビットマップ１２５が生成される。最初のカウンセラ動画ビットマップ１２５は、カウンセリング開始から一定時間で取得された、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・およびクライアント画像１２２－１，１２２－２，１２２－３，・・・を基に生成される。

【0104】

その後カウンセラ動画ビットマップ１２５は、一定時間ごとに更新される。このとき一定時間が経過することによって、記憶部１２０に格納されるカウンセラ画像１２１－１，１２１－２，１２１－３，・・・およびクライアント画像１２２－１，１２２－２，１２２－３，・・・の数は増える。すると、カウンセラ動画ビットマップ１２５の生成に用いられるカウンセラ画像１２１－１，１２１－２，１２１－３，・・・およびクライアント画像１２２－１，１２２－２，１２２－３，・・・の数も増える。よって一定時間ごとに、カウンセラ動画ビットマップ１２５が示すカウンセラ動画６１の位置の推定精度が向上する。

【0105】

次に、期間判定について詳細に説明する。
図１１は、期間判定の手順の一例を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。

【0106】

［ステップＳ１１１］期間判定部１７１は、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・を記憶部１２０から取得する。
［ステップＳ１１２］期間判定部１７１は、視線座標算出部１５０に、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・から、カウンセラ２１の視線座標を算出させる。視線座標算出部１５０は、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・が撮影された各時刻のカウンセラ２１の視線座標を算出する。

【0107】

［ステップＳ１１３］期間判定部１７１は、カウンセリング開始から現在までの期間（カウンセリング期間）を一定時間（例えば、５分間）ごとの単位期間に分割する。
［ステップＳ１１４］期間判定部１７１は、全単位期間から、判定対象単位期間を１つ選択する。

【0108】

［ステップＳ１１５］期間判定部１７１は、ステップＳ１１４で選択した判定対象単位期間中の各時刻におけるカウンセラ２１の視線座標のうち、資料領域ビットマップ１２３で「１」のビットに対応する領域内の視線座標数をカウントする。期間判定部１７１は、カウントした値を変数ａに代入する。

【0109】

［ステップＳ１１６］期間判定部１７１は、ステップＳ１１４で選択した判定対象単位期間中の各時刻におけるカウンセラ２１の視線座標のうち、動画・カメラ領域ビットマップ１２４で「１」のビットに対応する領域内の視線座標数をカウントする。期間判定部１７１は、カウントした値を変数ｂに代入する。

【0110】

［ステップＳ１１７］期間判定部１７１は、変数ａが変数ｂ以上であるか否かを判定する。つまり期間判定部１７１は、判定対象単位期間中の視線座標のうち、資料領域ビットマップ１２３で「１」のビットに対応する領域内のものの数が、動画・カメラ領域ビットマップ１２４で「１」のビットに対応する領域内のものの数以上であるか否か判定する。期間判定部１７１は、変数ａが変数ｂ以上であると判定した場合、処理をステップＳ１１８に進める。また期間判定部１７１は、変数ａが変数ｂ未満であると判定した場合、処理をステップＳ１１９に進める。

【0111】

［ステップＳ１１８］期間判定部１７１は、ステップＳ１１４で選択した判定対象単位期間を資料説明期間と判定する。そして期間判定部１７１は、処理をステップＳ１２０に進める。

【0112】

［ステップＳ１１９］期間判定部１７１は、ステップＳ１１４で選択した判定対象単位期間を自由会話期間と判定する。
［ステップＳ１２０］期間判定部１７１は、全ての単位期間を判定対象単位期間として選択したか否かを判定する。期間判定部１７１は、全ての単位期間を判定対象単位期間として選択したと判定した場合、処理を終了する。また期間判定部１７１は、判定対象単位期間として選択していない単位期間が残っていると判定した場合、処理をステップＳ１１４に進める。

【0113】

このように、カウンセリング開始から現在までの期間に含まれる単位期間それぞれを判定対象単位期間として、各判定対象単位期間が資料説明期間であるか自由会話期間であるかが推定される。ここで判定対象単位期間内のカウンセラ２１の視線座標のうち、説明資料４２の表示領域に含まれるものが、クライアント動画４１の表示領域またはカメラ３２の設置領域に含まれるもの以上の場合、判定対象単位期間は資料説明期間であると推定される。すなわち、判定対象単位期間内のカウンセラ２１の視線のうち、クライアント動画４１の表示領域またはカメラ３２の設置領域に向けられた視線の割合が所定値未満の場合、判定対象単位期間が自由会話期間と判定される。これにより、資料説明期間と自由会話期間とで異なるカウンセラ２１の視線の傾向に基づいた期間の判定が可能となる。

【0114】

次に、カウンセラ動画ビットマップ生成について詳細に説明する。
図１２は、カウンセラ動画ビットマップ生成の手順の一例を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。

【0115】

［ステップＳ１３１］位置推定部１７２は、クライアント画像１２２－１，１２２－２，１２２－３，・・・のうち、資料説明期間に撮影されたものを記憶部１２０から取得する。

【0116】

［ステップＳ１３２］位置推定部１７２は、顔向き算出部１６０に、ステップＳ１３１で取得したクライアント画像から、クライアント２２の顔向きを示す値を算出させる。顔向き算出部１６０は、資料説明期間の各時刻のクライアント２２の顔向きを示す値を算出する。クライアント２２の顔向きを示す値は、例えばクライアント画像に写ったクライアント２２の、右目に対する左目の大きさの割合である。

【0117】

［ステップＳ１３３］位置推定部１７２は、資料説明期間のクライアント２２の顔向きを示す値の平均値を算出する。
［ステップＳ１３４］位置推定部１７２は、視線座標算出部１５０に、ステップＳ１３１で取得したクライアント画像から、クライアント２２の視線座標を算出させる。視線座標算出部１５０は、資料説明期間の各時刻のクライアント２２の視線座標を算出する。

【0118】

［ステップＳ１３５］位置推定部１７２は、資料説明期間ヒートマップ７１を生成する。例えば位置推定部１７２は、モニタ５１の画面を分割した複数の単位領域それぞれに対応する要素を有する初期配列の各要素に、ステップＳ１３４で算出したクライアント２２の視線座標のうち、対応する単位領域に含まれるものの数を格納する。そして位置推定部１７２は、視線座標の数を格納した初期配列の各要素を、ステップＳ１３４で算出したクライアント２２の視線座標の数で除した配列を資料説明期間ヒートマップ７１とする。

【0119】

［ステップＳ１３６］位置推定部１７２は、クライアント画像１２２－１，１２２－２，１２２－３，・・・のうち、自由会話期間に撮影されたものを記憶部１２０から取得する。

【0120】

［ステップＳ１３７］位置推定部１７２は、顔向き算出部１６０に、ステップＳ１３１で取得したクライアント画像から、クライアント２２の顔向きを示す値を算出させる。顔向き算出部１６０は、自由会話期間の各時刻のクライアント２２の顔向きを示す値を算出する。

【0121】

［ステップＳ１３８］位置推定部１７２は、自由会話期間の各時刻についてステップＳ１３７で算出した顔向きを示す値とステップＳ１３３で算出した平均値との差を算出する。そして位置推定部１７２は、算出された差の絶対値が閾値以上の時刻（すなわち、顔向きが平均と大きくずれた時刻）のクライアント画像を、ステップＳ１３６で取得したクライアント画像から除外する。

【0122】

［ステップＳ１３９］位置推定部１７２は、視線座標算出部１５０に、ステップＳ１３６で取得したクライアント画像のうち、ステップＳ１３８で除外されなかったものから、クライアント２２の視線座標を算出させる。視線座標算出部１５０は、自由会話期間の各時刻のクライアント２２の視線座標を算出する。

【0123】

［ステップＳ１４０］位置推定部１７２は、自由会話期間ヒートマップ７２を生成する。例えば位置推定部１７２は、モニタ５１の画面を分割した複数の単位領域それぞれに対応する要素を有する初期配列の各要素に、ステップＳ１３９で算出したクライアント２２の視線座標のうち、対応する単位領域に含まれるものの数を格納する。そして位置推定部１７２は、視線座標の数を格納した初期配列の各要素を、ステップＳ１３９で算出したクライアント２２の視線座標の数で除した配列を自由会話期間ヒートマップ７２とする。

【0124】

［ステップＳ１４１］位置推定部１７２は、差分ヒートマップ７３を生成する。例えば位置推定部１７２は、自由会話期間ヒートマップ７２の各要素の値から資料説明期間ヒートマップ７１の対応する要素の値を引いたものを差分ヒートマップ７３とする。

【0125】

［ステップＳ１４２］位置推定部１７２は、差分ヒートマップ７３からカウンセラ動画ビットマップ１２５を生成する。例えば位置推定部１７２は、差分ヒートマップ７３の各要素に対応する、初期値「０」のビットを有するビットマップを生成する。そして位置推定部１７２は、差分ヒートマップ７３の要素のうち、値が閾値以上である要素を抽出し、生成したビットマップのビットのうち、抽出した要素に対応するビットを「１」にしたものを、カウンセラ動画ビットマップ１２５とする。

【0126】

このように、資料説明期間および自由会話期間のクライアント２２の視線座標を基に、カウンセラ動画ビットマップ１２５が生成される。ここで、クライアント２２の顔向きが平均と大きくずれた時刻の視線座標は、カウンセラ動画ビットマップ１２５の生成に用いられない。これにより、クライアント２２がよそ見をしていた場合の視線座標が除去される。

【0127】

クライアント２２がよそ見をしていた場合に視線が向けられる箇所は、資料説明期間に視線が向けられる頻度が少ない場合がある。そのため、クライアント２２がよそ見をしていた場合の視線座標が資料説明期間ヒートマップ７１に集計されると、差分ヒートマップ７３において当該視線座標を含む領域に対応する要素の値が閾値より大きくなる可能性がある。すると、クライアント２２がよそ見をしているときに視線を向けていた領域でカウンセラ動画６１が誤検出される。よって、クライアント２２がよそ見をしていた場合の視線座標が除去されることにより、カウンセラ動画ビットマップ１２５の精度が向上する。

【0128】

図１３は、カウンセラ動画のモニタ上の推定位置の例を示す図である。モニタ５１は、カウンセラ動画６１と説明資料６２とを表示する。また図１３に示された印は、モニタ５１に対するクライアント２２の視線の一例を示す。

【0129】

資料説明期間にクライアント２２は、説明資料６２の周辺の領域に頻繁に視線を向けている。また、資料説明期間にクライアント２２は、カウンセラ動画６１の周辺の領域や、カウンセラ動画６１と説明資料６２のいずれも表示されていない領域に視線を向けていることもある。

【0130】

自由会話期間にクライアント２２は、カウンセラ動画６１の周辺の領域に頻繁に視線を向けている。また、自由会話期間にクライアント２２は、説明資料６２の周辺の領域や、カウンセラ動画６１と説明資料６２のいずれも表示されていない領域や、モニタ５１以外の領域に視線を向けていることもある。

【0131】

ここで、資料説明期間の視線座標を集計した資料説明期間ヒートマップ７１と自由会話期間の視線座標を集計した自由会話期間ヒートマップ７２との差分である差分ヒートマップ７３の値が閾値以上の要素に対応する領域にカウンセラ動画６１があると推定される。つまり、自由会話期間にクライアント２２が視線を向ける頻度が一定以上増加した領域が、推定カウンセラ動画領域６６である。推定カウンセラ動画領域６６は、カウンセラ動画６１があると推定された領域で、カウンセラ動画ビットマップ１２５の「１」のビットに対応する領域の集合である。

【0132】

カウンセラ動画６１の周辺の領域は、自由会話期間にクライアント２２が視線を向ける頻度が増加しているため、推定カウンセラ動画領域６６と推定される。また、説明資料６２の周辺の領域は、自由会話期間にクライアント２２が視線を向ける頻度が減少しているため、推定カウンセラ動画領域６６と推定されない。また、カウンセラ動画６１と説明資料６２のいずれも表示されていない領域は、資料説明期間と自由会話期間とでクライアント２２は、同程度の頻度で視線を向けているため、推定カウンセラ動画領域６６と推定されない。また、モニタ５１以外の領域に対する視線は、クライアント２２がよそ見をしていたとして、集計から除去される。よってモニタ５１以外の領域は、推定カウンセラ動画領域６６と推定されない。

【0133】

このように、自由会話期間にクライアント２２が視線を向ける頻度が増加した領域が推定カウンセラ動画領域６６と推定されることで、モニタ５１の画面レイアウトなしにカウンセラ動画６１の位置が推定される。

【0134】

次に、視線推定について詳細に説明する。
図１４は、視線推定の手順の一例を示すフローチャートである。以下、図１４に示す処理をステップ番号に沿って説明する。

【0135】

［ステップＳ２０１］画像取得部１４０は、カウンセラ画像とクライアント画像とを取得する。画像取得部１４０は、例えばカメラ３２が撮影した現在のカウンセラ２１の顔をカウンセラ画像として取得する。そして画像取得部１４０は、取得したカウンセラ画像を現在時刻と対応付けて、カウンセラ画像１２１－１，１２１－２，１２１－３，・・・として記憶部１２０に格納する。また画像取得部１４０は、例えばクライアント端末２００から受信した動画から、現在のクライアント２２の顔を写した画像をクライアント画像として取得する。そして画像取得部１４０は、取得したクライアント画像を現在時刻と対応付けて、クライアント画像１２２－１，１２２－２，１２２－３，・・・として記憶部１２０に格納する。なお画像取得部１４０は、ステップＳ２０１を一定時間間隔（例えば０．５秒間隔）で行う。

【0136】

［ステップＳ２０２］画像取得部１４０は、カウンセラ動画ビットマップ１２５が生成済みであるか否かを判定する。画像取得部１４０は、カウンセラ動画ビットマップ１２５が生成済みであると判定した場合、処理をステップＳ２０３に進める。また画像取得部１４０は、カウンセラ動画ビットマップ１２５がまだ生成されていないと判定した場合、処理をステップＳ２０１に進める。

【0137】

［ステップＳ２０３］視線座標算出部１５０は、ステップＳ２０１で取得されたクライアント画像から、当該画像が撮影された時刻のクライアント２２の視線座標を算出する。
［ステップＳ２０４］視線推定部１８０は、ステップＳ２０３で算出されたクライアント２２の視線座標が、カウンセラ動画ビットマップ１２５で「１」のビットに対応する領域内にあるか否かを判定する。視線推定部１８０は、視線座標がカウンセラ動画ビットマップ１２５で「１」のビットに対応する領域内にあると判定した場合、処理をステップＳ２０５に進める。また視線推定部１８０は、視線座標がカウンセラ動画ビットマップ１２５で「１」のビットに対応する領域内にないと判定した場合、処理をステップＳ２０６に進める。

【0138】

［ステップＳ２０５］視線推定部１８０は、クライアント２２が現在カウンセラ動画６１を見ていると判定する。視線推定部１８０は、視線推定結果テーブル１２６に、時刻を現在時刻、視線推定結果を「１」に設定したレコードを追加する。そして視線推定部１８０は、処理をステップＳ２０７に進める。

【0139】

［ステップＳ２０６］視線推定部１８０は、クライアント２２が現在カウンセラ動画６１を見ていないと判定する。視線推定部１８０は、視線推定結果テーブル１２６に、時刻を現在時刻、視線推定結果を「０」に設定したレコードを追加する。

【0140】

［ステップＳ２０７］視線推定部１８０は、クライアント２２の現在の関心度を算出する。例えば視線推定部１８０は、視線推定結果テーブル１２６を参照し、現在時刻の１０秒前から現在時刻までの視線推定結果の欄のうち、「１」に設定されているものの割合［％］をクライアント２２の現在の関心度として算出する。そして視線推定部１８０は、視線推定結果テーブル１２６の現在時刻に対応する関心度を、算出した関心度に設定する。

【0141】

［ステップＳ２０８］推定結果表示部１９０は、ステップＳ２０７で算出したクライアント２２の現在の関心度が、閾値より大きいか否かを判定する。推定結果表示部１９０は、関心度が閾値より大きいと判定した場合、処理をステップＳ２０９に進める。また推定結果表示部１９０は、関心度が閾値以下と判定した場合、処理をステップＳ２１０に進める。

【0142】

［ステップＳ２０９］推定結果表示部１９０は、クライアント２２が関心を持っていることをモニタ３１に表示する。
［ステップＳ２１０］視線推定部１８０は、カウンセリングが終了したか否かを判定する。例えば視線推定部１８０は、カウンセラ端末１００とクライアント端末２００との間の通信が終了している場合、カウンセリングが終了したと判定する。視線推定部１８０は、カウンセリングが終了したと判定した場合、処理を終了する。また視線推定部１８０は、カウンセリングが終了していないと判定した場合、処理をステップＳ２０１に進める。

【0143】

このように、カウンセラ動画ビットマップ１２５と現在のクライアント２２の画像から、現在クライアント２２がカウンセラ動画６１を見ているか否かが推定される。これにより、モニタ５１の画面レイアウトなしに、現在クライアント２２がカウンセラ動画６１を見ているか否かが推定される。

【0144】

また、視線推定結果を基にクライアント２２の現在の関心度が算出される。関心度は、クライアント２２がカウンセラ２１を見る頻度を示す。例えば関心度が急に高まった場合、クライアント２２は発話したがっていることが多い。また例えば関心度が低い場合、クライアント２２はカウンセラ２１の話題への関心が低いことが多い。このように、関心度を算出することで遠隔カウンセリングにおいてクライアント２２の心理状態を推定できる。以下では、カウンセラ２１に関心度を通知するための表示について説明する。

【0145】

図１５は、視線推定結果の表示例を示す図である。カウンセリング中にモニタ３１は、クライアント動画４１と説明資料４２に加えて、推定結果表示部４６を表示する。推定結果表示部４６は、クライアント２２の現在の関心度に応じた表示をする。

【0146】

関心度が閾値以下であれば、例えば推定結果表示部４６は文言を表示しない。例えばカウンセラ２１は、推定結果表示部４６が何も表示しない状態が続くと、話題を変更する。また関心度が閾値を超えると、例えば推定結果表示部４６は、「関心あり」などのクライアント２２が関心を持っていることを示す文言を表示する。例えばカウンセラ２１は、推定結果表示部４６が「関心あり」と表示すると、クライアント２２に発話させる。このように、カウンセラ２１は、関心度に応じたコミュニケーションをすることで円滑にカウンセリングを進めることができるようになる。

【0147】

またカウンセラ端末１００は、カウンセリング終了後、視線推定結果テーブル１２６およびカウンセリング中のカウンセラ２１とクライアント２２の動画を指導者端末２３に送信してもよい。カウンセラ２１の指導者は、各時刻におけるクライアント２２の関心度とカウンセリングの様子から、カウンセラ２１の評価ができる。

【0148】

図１６は、関心度グラフの例を示す図である。関心度グラフ８１は、横軸が時刻、縦軸が関心度を示すグラフである。関心度グラフ８１は、視線推定結果テーブル１２６から生成され、指導者端末２３に表示される。

【0149】

関心度グラフ８１より、時刻「０：００：１０」ごろから時刻「０：０２：００」ごろまでの期間は、関心度が４０％未満であったため、クライアント２２はカウンセラ２１の話題に関心がなかったと推定される。また、時刻「０：０３：５０」ごろから後の時刻では、関心度が７０％以上であったため、クライアント２２はカウンセラ２１の話題に関心があったと推定される。この場合、関心度が低かった時刻「０：００：１０」ごろから時刻「０：０２：００」ごろまでの期間では、例えばカウンセラ２１は話題を変更するとよい。例えばカウンセラ２１の指導者は、関心度が低かった時間帯の動画を指導者端末２３で再生し、カウンセラ２１が当該時間帯に話題を変更していたか否かを確認する。

【0150】

また、関心度グラフ８１より、時刻「０：０２：００」ごろと時刻「０：０５：００」ごろの関心度の上昇が大きいことから、クライアント２２が時刻「０：０２：００」ごろと時刻「０：０５：００」ごろに発話したがっていたと推定される。この場合、時刻「０：０２：００」ごろと時刻「０：０５：００」ごろでは、例えばカウンセラ２１はクライアント２２に発話させるとよい。例えばカウンセラ２１の指導者は、関心度の上昇が大きい時間帯の動画を指導者端末２３で再生し、カウンセラ２１が当該時間帯にクライアント２２に発話させていたか否かを確認する。

【0151】

このように、関心度グラフ８１によってカウンセラ２１の指導者に、カウンセリングを評価するために注目すべき時間帯と確認する事項が提示される。これにより、カウンセラ２１の指導者は、カウンセラ２１のカウンセリングを適切に評価できる。

【0152】

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

【符号の説明】

【0153】

１ａ，１ｂ ユーザ
２ａ，２ｂ 端末装置
３ａ，３ｂ 表示部
４ａ，４ｂ，４ｃ,・・・，５ａ，５ｂ，５ｃ，・・・ ユーザ画像
６ レイアウト情報
７，８ 視線情報
７ａ，７ｂ，７ｃ，・・・，８ａ，８ｂ，８ｃ，・・・ 視線座標
９ 推定表示領域
１０ 情報処理装置
１１ 記憶部
１２ 処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】