特開2023-180598コミュニケーション支援システム、およびコミュニケーション支援方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180598
(43)【公開日】2023-12-21
(54)【発明の名称】コミュニケーション支援システム、およびコミュニケーション支援方法
(51)【国際特許分類】
G06F 3/04817 20220101AFI20231214BHJP
G06F 3/01 20060101ALI20231214BHJP
G06F 3/0346 20130101ALI20231214BHJP
G06F 3/038 20130101ALI20231214BHJP
G06T 7/20 20170101ALI20231214BHJP
G06V 40/16 20220101ALI20231214BHJP
H04N 21/431 20110101ALI20231214BHJP
H04N 7/15 20060101ALI20231214BHJP
【ＦＩ】
G06F3/04817
G06F3/01 510
G06F3/0346 423
G06F3/038 310A
G06T7/20 300B
G06V40/16 B
H04N21/431
H04N7/15 170
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022094027
(22)【出願日】2022-06-09
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】宇都木 契
(72)【発明者】
【氏名】藤原 貴之
(72)【発明者】
【氏名】栗原 恒弥
【テーマコード（参考）】
5B087
5C164
5E555
5L096
【Ｆターム（参考）】
5B087AA09
5B087AE03
5B087BC01
5B087BC32
5B087DE03
5C164FA10
5C164MA03S
5C164UB41S
5C164UB83P
5C164VA07P
5C164YA12
5E555AA26
5E555AA61
5E555AA76
5E555BA02
5E555BA05
5E555BA06
5E555BA13
5E555BB02
5E555BB05
5E555BB06
5E555BC08
5E555BD05
5E555CA42
5E555CB65
5E555CB67
5E555DB18
5E555DB32
5E555DB42
5E555DB53
5E555DB57
5E555DC09
5E555DC17
5E555DC21
5E555DC59
5E555DC75
5E555DD06
5E555EA04
5E555EA05
5E555EA07
5E555EA08
5E555EA09
5E555EA22
5E555FA00
5L096AA02
5L096AA06
5L096CA02
5L096DA02
5L096EA39
5L096FA06
5L096FA67
5L096GA55
5L096JA11
(57)【要約】
【課題】限られたディスプレイ空間上で、ドキュメントコンテンツと顔情報を効果的に表示する。
【解決手段】ユーザのそれぞれが操作する情報端末は、表示装置を有し、プロセッサは、各ユーザの情報端末の間で共有するドキュメントを再生して表示装置に出力するドキュメント描画処理を行い、撮像装置から得られたユーザを撮像した顔画像からユーザの特徴点を算出し、算出したユーザの特徴点に基づいてユーザの顔シンボルを生成して表示装置に出力する第１の顔シンボル描画処理と、顔画像からユーザの視線方向を検出し、ユーザが表示装置における視線の向きを推定する第２の顔シンボル描画処理と、所定のエネルギーマップにより算出したドキュメントの重要度と、推定されたユーザの視線の向きとに基づいて、生成されたユーザの顔シンボルの表示装置上における配置位置を決定するレイアウト配置処理と、を行う。
【選択図】 図７
【解決手段】ユーザのそれぞれが操作する情報端末は、表示装置を有し、プロセッサは、各ユーザの情報端末の間で共有するドキュメントを再生して表示装置に出力するドキュメント描画処理を行い、撮像装置から得られたユーザを撮像した顔画像からユーザの特徴点を算出し、算出したユーザの特徴点に基づいてユーザの顔シンボルを生成して表示装置に出力する第１の顔シンボル描画処理と、顔画像からユーザの視線方向を検出し、ユーザが表示装置における視線の向きを推定する第２の顔シンボル描画処理と、所定のエネルギーマップにより算出したドキュメントの重要度と、推定されたユーザの視線の向きとに基づいて、生成されたユーザの顔シンボルの表示装置上における配置位置を決定するレイアウト配置処理と、を行う。
【選択図】 図７
【特許請求の範囲】
【請求項1】
プロセッサとメモリとを有したコンピュータにより構成される情報端末により、ユーザ同士のコミュニケーションを支援するコミュニケーション支援システムであって、
前記ユーザのそれぞれが操作する前記情報端末は、
表示装置を有し、
前記プロセッサは、
各ユーザの前記情報端末の間で共有するドキュメントを再生して前記表示装置に出力するドキュメント描画処理を行い、
撮像装置から得られた前記ユーザを撮像した顔画像から前記ユーザの特徴点を算出し、算出した前記ユーザの特徴点に基づいて前記ユーザの顔シンボルを生成して前記表示装置に出力する第１の顔シンボル描画処理と、
前記顔画像から前記ユーザの視線方向を検出し、前記ユーザが前記表示装置における視線の向きを推定する第２の顔シンボル描画処理と、
所定のエネルギーマップにより算出した前記ドキュメントの重要度と、推定された前記ユーザの視線の向きとに基づいて、生成された前記ユーザの顔シンボルの前記表示装置上における配置位置を決定するレイアウト配置処理と、
を行うことを特徴とするコミュニケーション支援システム。
前記ユーザのそれぞれが操作する前記情報端末は、
表示装置を有し、
前記プロセッサは、
各ユーザの前記情報端末の間で共有するドキュメントを再生して前記表示装置に出力するドキュメント描画処理を行い、
撮像装置から得られた前記ユーザを撮像した顔画像から前記ユーザの特徴点を算出し、算出した前記ユーザの特徴点に基づいて前記ユーザの顔シンボルを生成して前記表示装置に出力する第１の顔シンボル描画処理と、
前記顔画像から前記ユーザの視線方向を検出し、前記ユーザが前記表示装置における視線の向きを推定する第２の顔シンボル描画処理と、
所定のエネルギーマップにより算出した前記ドキュメントの重要度と、推定された前記ユーザの視線の向きとに基づいて、生成された前記ユーザの顔シンボルの前記表示装置上における配置位置を決定するレイアウト配置処理と、
を行うことを特徴とするコミュニケーション支援システム。
【請求項2】
前記プロセッサは、
前記レイアウト配置処理において、前記所定のエネルギーマップが所定の条件を満たさない前記ドキュメント上の範囲を、前記重要度が低い範囲と判断し、当該重要度が低い範囲に前記ユーザの顔シンボルを配置する、
ことを特徴とする請求項１に記載のコミュニケーション支援システム。
前記レイアウト配置処理において、前記所定のエネルギーマップが所定の条件を満たさない前記ドキュメント上の範囲を、前記重要度が低い範囲と判断し、当該重要度が低い範囲に前記ユーザの顔シンボルを配置する、
ことを特徴とする請求項１に記載のコミュニケーション支援システム。
【請求項3】
前記プロセッサは、
前記レイアウト配置処理において、前記表示装置に表示されるそれぞれのユーザの顔シンボルが、所定の分布に基づいて互いに一定間隔を隔てて配置されるように、前記エネルギーマップを設定する、
ことを特徴とする請求項１に記載のコミュニケーション支援システム。
前記レイアウト配置処理において、前記表示装置に表示されるそれぞれのユーザの顔シンボルが、所定の分布に基づいて互いに一定間隔を隔てて配置されるように、前記エネルギーマップを設定する、
ことを特徴とする請求項１に記載のコミュニケーション支援システム。
【請求項4】
前記プロセッサは、
前記レイアウト配置処理において、前記ユーザの視線の向きが、前記表示装置に表示されている前記顔シンボルを追跡しているか否かを判定することにより、前記ユーザが前記ドキュメントを視聴しているのか、前記顔シンボルに視線を送っているのかを確認する、
ことを特徴とする請求項１に記載のコミュニケーション支援システム。
前記レイアウト配置処理において、前記ユーザの視線の向きが、前記表示装置に表示されている前記顔シンボルを追跡しているか否かを判定することにより、前記ユーザが前記ドキュメントを視聴しているのか、前記顔シンボルに視線を送っているのかを確認する、
ことを特徴とする請求項１に記載のコミュニケーション支援システム。
【請求項5】
前記プロセッサは、
前記レイアウト配置処理において、前記ドキュメントの周辺を当該ドキュメントよりも低いエネルギー領域とした前記所定のエネルギーマップを生成し、生成した前記所定のエネルギーマップの前記低いエネルギー領域で前記顔シンボルを移動させる、
ことを特徴とする請求項１に記載のコミュニケーション支援システム。
前記レイアウト配置処理において、前記ドキュメントの周辺を当該ドキュメントよりも低いエネルギー領域とした前記所定のエネルギーマップを生成し、生成した前記所定のエネルギーマップの前記低いエネルギー領域で前記顔シンボルを移動させる、
ことを特徴とする請求項１に記載のコミュニケーション支援システム。
【請求項6】
プロセッサとメモリとを有したコンピュータにより構成される情報端末により、ユーザ同士のコミュニケーションを支援するコミュニケーション支援システムで行われるコミュニケーション支援方法であって、
前記ユーザのそれぞれが操作する前記情報端末は、
各ユーザの前記情報端末の間で共有するドキュメントを再生して表示装置に出力し、
撮像装置から得られた前記ユーザを撮像した顔画像から前記ユーザの特徴点を算出し、算出した前記ユーザの特徴点に基づいて前記ユーザの顔シンボルを生成して前記表示装置に出力し、
前記顔画像から前記ユーザの視線方向を検出し、前記ユーザが前記表示装置における視線の向きを推定し、
所定のエネルギーマップにより算出した前記ドキュメントの重要度と、推定された前記ユーザの視線の向きとに基づいて、生成された前記ユーザの顔シンボルの前記表示装置上における配置位置を決定する、
ことを特徴とするコミュニケーション支援方法。
前記ユーザのそれぞれが操作する前記情報端末は、
各ユーザの前記情報端末の間で共有するドキュメントを再生して表示装置に出力し、
撮像装置から得られた前記ユーザを撮像した顔画像から前記ユーザの特徴点を算出し、算出した前記ユーザの特徴点に基づいて前記ユーザの顔シンボルを生成して前記表示装置に出力し、
前記顔画像から前記ユーザの視線方向を検出し、前記ユーザが前記表示装置における視線の向きを推定し、
所定のエネルギーマップにより算出した前記ドキュメントの重要度と、推定された前記ユーザの視線の向きとに基づいて、生成された前記ユーザの顔シンボルの前記表示装置上における配置位置を決定する、
ことを特徴とするコミュニケーション支援方法。
【請求項7】
前記配置位置の決定において、前記所定のエネルギーマップが所定の条件を満たさない前記ドキュメント上の範囲を、前記重要度が低い範囲と判断し、当該重要度が低い範囲に前記ユーザの顔シンボルを配置する、
ことを特徴とする請求項６に記載のコミュニケーション支援方法。
ことを特徴とする請求項６に記載のコミュニケーション支援方法。
【請求項8】
前記配置位置の決定において、前記表示装置に表示されるそれぞれのユーザの顔シンボルが、所定の分布に基づいて互いに一定間隔を隔てて配置されるように、前記エネルギーマップを設定する、
ことを特徴とする請求項６に記載のコミュニケーション支援方法。
ことを特徴とする請求項６に記載のコミュニケーション支援方法。
【請求項9】
前記配置位置の決定において、前記ユーザの視線の向きが、前記表示装置に表示されている前記顔シンボルを追跡しているか否かを判定することにより、前記ユーザが前記ドキュメントを視聴しているのか、前記顔シンボルに視線を送っているのかを確認する、
ことを特徴とする請求項６に記載のコミュニケーション支援方法。
ことを特徴とする請求項６に記載のコミュニケーション支援方法。
【請求項10】
前記配置位置の決定において、前記ドキュメントの周辺を当該ドキュメントよりも低いエネルギー領域とした前記所定のエネルギーマップを生成し、生成した前記所定のエネルギーマップの前記低いエネルギー領域で前記顔シンボルを移動させる、
ことを特徴とする請求項６に記載のコミュニケーション支援方法。
ことを特徴とする請求項６に記載のコミュニケーション支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コミュニケーションを支援する技術に関する。
【背景技術】
【0002】
新型コロナウイルス感染症（ＣＯＶＩＤ－１９）対策として、対面でのコミュニケーションが制限される問題を解消するため、各個人・各企業間において、デジタル技術を活用した遠隔会議や遠隔協創活動が拡大している。そうした背景で、遠隔会議や遠隔協創活動は、実環境での活動に比べて相手方のリアルな反応がわかりにくいという理由により、コミュニケーションが円滑に進まない場面が多くなるという問題がある。そのため、多人数が関与する遠隔コミュニケーションにおいては、状況に応じた参加者の反応のフィードバックを適切に行い、遠隔でのコミュニケーションを支援する効果が重要である。
【0003】
遠隔でのコミュニケーションを支援する技術として、例えば、特許文献１、２が知られている。特許文献１には、複数の顔映像が提示される遠隔コミュニケーションシステムにおいて、誰に向かって話しているかわからない問題に対して、注目しているユーザを強調表示する手法が示されている。また特許文献２では、視線情報から注視対象のユーザを判別し、３Ｄ的に頭部モデルをその対象に向けることで誰に対するメッセージかを明示化する方法が示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－００５６１６号公報
【特許文献2】特開２０１０－２０６３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献の構成では、顔画像が格子状に配置され、参加者の顔画像の上に視線が一定時間滞留した場合に、同参加者を見ているものと判断してアイコンタクトを表現する方法が示されている。しかし、カメラを用いた視線計測装置の識別制度は高くないため、ディスプレイが小さい場合や参加人数が多い場合には隣接したユーザへのアイコンタクトを誤認識する可能性がある。また、顔画像と共に共有ドキュメントが提示される場合、お互いにディスプレイ上の面積を奪い合う画面構成となる。
【0006】
本発明は、限られたディスプレイ空間上で、ドキュメントと顔情報とを画面上に効果的に表示することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明にかかるコミュニケーション支援システムは、プロセッサとメモリとを有したコンピュータにより構成される情報端末により、ユーザ同士のコミュニケーションを支援するコミュニケーション支援システムであって、前記ユーザのそれぞれが操作する前記情報端末は、表示装置を有し、前記プロセッサは、各ユーザの前記情報端末の間で共有するドキュメントを再生して前記表示装置に出力するドキュメント描画処理を行い、撮像装置から得られた前記ユーザを撮像した顔画像から前記ユーザの特徴点を算出し、算出した前記ユーザの特徴点に基づいて前記ユーザの顔シンボルを生成して前記表示装置に出力する第１の顔シンボル描画処理と、前記顔画像から前記ユーザの視線方向を検出し、前記ユーザが前記表示装置における視線の向きを推定する第２の顔シンボル描画処理と、所定のエネルギーマップにより算出した前記ドキュメントの重要度と、推定された前記ユーザの視線の向きとに基づいて、生成された前記ユーザの顔シンボルの前記表示装置上における配置位置を決定するレイアウト配置処理と、を行うことを特徴とするコミュニケーション支援システムとして構成される。
【発明の効果】
【0008】
本発明によれば、限られたディスプレイ空間上で、ドキュメントコンテンツと顔情報を効果的に表示することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係る、コミュニケーション支援システムの構成の一例を示す図である。
【図3】情報端末に表示される画面の一例を示す図である。
【図4】顔シンボル描画プログラムが行うユーザの顔画像を解析して特徴点を抽出する一例を示す図である。
【図6】カメラ撮影画像を用いて瞳孔計測による視線を抽出した一例を示す図である。
【図7】本実施例における処理の全体の表示の流れの一例を示すフローチャートである。
【図8A】ネットワークから受信する情報の一例を示す図である。
【図8B】拡大表示領域の一例を示す図である。
【図9】各ユーザについての顔シンボルの配置方法の工程の流れの一例を示すフローチャートである。
【図10A】エネルギーマップの一例を示す図である。
【図10B】エネルギーマップと顔シンボルの移動との関係を説明するための図である。
【図10C】視聴ユーザが視聴するドキュメント等のコンテンツが表示された画面の視聴エリアから得られる重要度マップの一例を示す図である。
【図10D】エネルギーマップの設定例を示す図である。
【図11A】工程９０４における処理の詳細の一例を示すフローチャートである。
【図11B】視線追従の計測に用いるデータの一例を示す図である。
【図12A】３Ｄモデルで顔シンボルを表現している例を示す図である。
【図12B】３Ｄモデルで顔シンボルを表現している例を示す図である。
【図13A】顔シンボルの表示位置を変更する場合の一例を示す図である。
【図13B】顔シンボルの表示位置を変更する場合の一例を示す図である（エネルギーマップ）。
【図14A】マウスポインタにより、画面上のある位置を指定する場合の顔シンボルの制御の一例を示す図である。
【図14B】マウスポインタにより、画面上のある位置を指定する場合の顔シンボルの制御の一例を示す図である（エネルギーマップ）。
【図15】３Ｄメタバースと連携させて動作させたシステムとして構成した場合の形態の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、実施例を、図面を用いて説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0011】
すなわち、以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
【0012】
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
【0013】
以下の説明では、「データベース」、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いた場合、これらについてはお互いに置換が可能である。
【0014】
同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【0015】
また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部や演算装置であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））を含んでいてもよい。
【0016】
プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0017】
また、本システムに記憶され、あるいは処理に用いられる様々なデータは、ＣＰＵがメモリまたは記憶装置から読み出して利用することにより実現可能である。また、各機能部（例えば、ネットワーク制御プログラム２０３１、ドキュメント描画プログラム２０３２、顔シンボル描画プログラム２０３３、レイアウト配置プログラム２０３４）は、ＣＰＵが記憶装置に記憶されている所定のプログラムをメモリにロードして実行することにより実現可能である。
【0018】
上述した所定のプログラムは、記憶媒体から、あるいはネットワークから、記憶装置に記憶（ダウンロード）され、それから、メモリ上にロードされて、ＣＰＵにより実行されるようにしてもよい。また、記憶媒体から、あるいは通信装置を介してネットワークから、メモリ上に直接ロードされ、ＣＰＵにより実行されるようにしてもよい。
【0019】
以下では、本システムの機能が、ある１つのサーバにより行われる場合を例示するが、これらの機能の全部または一部が、クラウドのような１または複数のコンピュータに分散して設けられ、ネットワークを介して互いに通信することにより同様の機能を実現してもよい。本システムを構成する各部が行う具体的な処理については、フローチャートを用いて後述する。
【0020】
（実施例１）
図１は、本実施形態に係る、コミュニケーション支援システム１０００の構成の一例を示す図である。
サーバ１は、一般通信網のネット回線を介して発表ユーザ３の情報端末２と、視聴ユーザ６の情報端末７と接続され、これらのユーザ同士の遠隔コミュニケーションの内容を分析している。情報端末としては、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や、スマートフォンやタブレット端末をはじめとする携帯端末を用いてよい。これらの情報端末は、ハードウェアとしては一般的な構成を有し、例えば、ディスプレイ、入力機器、カメラ、マイクといった各種の入出力機器を備えている。
図１は、本実施形態に係る、コミュニケーション支援システム１０００の構成の一例を示す図である。
サーバ１は、一般通信網のネット回線を介して発表ユーザ３の情報端末２と、視聴ユーザ６の情報端末７と接続され、これらのユーザ同士の遠隔コミュニケーションの内容を分析している。情報端末としては、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や、スマートフォンやタブレット端末をはじめとする携帯端末を用いてよい。これらの情報端末は、ハードウェアとしては一般的な構成を有し、例えば、ディスプレイ、入力機器、カメラ、マイクといった各種の入出力機器を備えている。
【0021】
発表ユーザ３は、情報端末２を通じて、視聴ユーザ６に対して、発表対象となるドキュメント等のコンテンツの内容を発表している。各視聴ユーザ６は、発表ユーザ３の発表を、情報端末２や、情報端末７を介して視聴している。視聴ユーザ６は、第１のグループ４と第２のグループ５とに分かれている。このグループ分けは、例えば、企業ごとのグループ、組織内の部署ごとのグループ、年齢別のグループ等、遠隔コミュニケーションに参加するユーザの集団の関係性の近さなどによって自由に設定される。以下では、ユーザが上記コンテンツの内容を視聴する場合について説明するが、聴講等の同義の用語についても同様に適用してよい。
【0022】
図２は、図１で使用されるサーバや情報端末の構成の一例を示す図である。一例として、視聴ユーザ６が保持する情報端末７が備える本体と入出力インタフェースを示す。サーバ１や発表ユーザ３が保持する情報端末２についても同様の構成を備えていてもよい。この情報端末は、ネットワークＮに接続されたサーバ１にアクセスし、入出力インタフェースとして、上述したコンテンツの内容や後述する各種処理の実行結果を表示するディスプレイ、キーボードやタッチパネル等の入力機器、視聴ユーザ６の視線を計測する撮像装置である視線計測カメラ等、から構成される。
【0023】
上記サーバや情報端末は、ＣＰＵ２０１、プログラムデータが読み出されて記憶される主メモリ２０２、プログラムデータを記憶するメモリカードなどの外部記憶（装置）２０３を有して構成されている。ＣＰＵ２０１には、コミュニケーション支援システム１０００を構成する各種機器に接続するネットワーク制御プログラム２０３１、文書ドキュメントや動画映像などのコンテンツを再生するドキュメント描画プログラム２０３２、カメラ画像から顔の表情情報を取得し、参加者の顔シンボルを表示する顔シンボル描画プログラム２０３３、顔シンボルの配置位置を決定するレイアウト配置プログラム２０３４、が備えられている。この詳細は後述する。これらのプログラムは、サーバ１に記憶され、実行されてもよいし、あるいは、各情報端末がサーバ１の役割を持つマスタとして機能させることで、１つの情報端末をサーバ１と同様に機能させてもよい。
【0024】
また、上述した情報端末は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの外部バス２０４で一般通信網と接続されている、ディスプレイ２９１、カメラ２９２、マイク２９３、入出力機器２９４（キーボードやマウス、タッチパネルなど）を使用して、音声映像を視聴もしくは発信している。
【0025】
（画面構成）
図３は、情報端末に表示される画面の一例である。画面には、ドキュメントレイアと顔シンボルレイアが含まれる。具体的には、各情報端末の間で共有する文書を表示するためのレイヤであるドキュメントレイア３０１の上に、各情報端末を操作するユーザの顔シンボルを表示するレイヤである顔シンボルレイア３０２が重ね合わせて描画される。図３では、例えば、「Ｄｏｃｕｍｅｎｔ ｘｘｘ」を表示するドキュメントレイヤ３０１の層に重なるように、顔シンボルレイア３０２の層にｕｓｅｒ１～ｕｓｅｒ５までの顔シンボル１１～１５が、それぞれ表示されていることがわかる。これにより、顔シンボルの不透明度を調整しつつ、ドキュメントの上に描画することができる。ドキュメント描画プログラム２０３２が、ドキュメントレイア３０１の映像や画像を生成して画面上に表示し、顔シンボル描画プログラム２０３３が、顔シンボルレイア３０２の映像や画像を生成して画面上に表示する。本実施例では、上記画面を見ている視聴ユーザあるいは発表ユーザをユーザ０、ネットワークを経由した同等の画面からアクセスしているＮ名のユーザである視聴ユーザおよび発表ユーザをそれぞれユーザ１～ユーザＮと呼称することがある。
図３は、情報端末に表示される画面の一例である。画面には、ドキュメントレイアと顔シンボルレイアが含まれる。具体的には、各情報端末の間で共有する文書を表示するためのレイヤであるドキュメントレイア３０１の上に、各情報端末を操作するユーザの顔シンボルを表示するレイヤである顔シンボルレイア３０２が重ね合わせて描画される。図３では、例えば、「Ｄｏｃｕｍｅｎｔ ｘｘｘ」を表示するドキュメントレイヤ３０１の層に重なるように、顔シンボルレイア３０２の層にｕｓｅｒ１～ｕｓｅｒ５までの顔シンボル１１～１５が、それぞれ表示されていることがわかる。これにより、顔シンボルの不透明度を調整しつつ、ドキュメントの上に描画することができる。ドキュメント描画プログラム２０３２が、ドキュメントレイア３０１の映像や画像を生成して画面上に表示し、顔シンボル描画プログラム２０３３が、顔シンボルレイア３０２の映像や画像を生成して画面上に表示する。本実施例では、上記画面を見ている視聴ユーザあるいは発表ユーザをユーザ０、ネットワークを経由した同等の画面からアクセスしているＮ名のユーザである視聴ユーザおよび発表ユーザをそれぞれユーザ１～ユーザＮと呼称することがある。
【0026】
ドキュメント描画プログラム２０３２で作成された映像や画像には、共有ドキュメント１０が表示される。共有ドキュメント１０は、発表ユーザの情報端末に記憶され、各視聴ユーザとの間で共有状態にあるドキュメントである。ドキュメント描画プログラム２０３２は、上記共有状態にあるドキュメントに対して、特定のユーザにより書き込みが行われると、当該書き込まれた内容が、各ユーザが操作する情報端末が表示する画面の映像や画像に反映する。また、ドキュメント描画プログラム２０３２は、特定のユーザが個人的に一部を視聴したい場合には、共有ドキュメント１０に対してズーム拡大処理を行うことができ、このような表示注視領域を変えるのみの場合には、他ユーザの画面に対しては変化を与えないものとする。これらのドキュメント共有手法は広く知られたソフトウェア手法で実現される。
【0027】
顔シンボル描画プログラム２０３３は、参加者であるユーザ１～Ｎのリアクションを観察するために用いられる。顔シンボル描画プログラム２０３３は、視聴ユーザの顔シンボル１１～１５として、カメラ２９２で撮影した顔の実映像または実画像、表情再現モデル（実在の人物の表情の動きを基に表情を再現する三次元ＣＧモデル）のいずれかを表示する。情報端末６の顔シンボル描画プログラム２０３３は、備え付けられたカメラ２９２でユーザの顔映像を撮影し、その顔画像の解析結果を用いて、視線抽出や、特徴的な表情やジェスチャの取得を行う。これらの情報の使い方は後述する。
【0028】
図４は、顔シンボル描画プログラム２０３３が行うユーザの顔画像を解析して特徴点を抽出する例である。また、図５A、５Bは、図４において抽出されたユーザの顔の特徴点（図５Ａ）や解析のための判定値（図５Ｂ）を示したデータの例である。なお、図５Ａは「表情情報」として送信対象となる特徴点データの例であり、図５Ｂは、「感情分類データ」として送信対象となるデータの例である。
【0029】
サーバ１の顔シンボル描画プログラム２０３３が、カメラ撮影画像２２を読み取ってユーザの表情を分析することで、当該ユーザの表情に対応するユーザの感情を判断し、コミュニケーションに関する指標を算出することができる。顔シンボル描画プログラム２０３３は、算出した当該指標を基に、表情再現モデルまたは表情再現アイコンを生成する。分析方法は、特徴点抽出画像２３に示すように、表情の特徴となるポイント（特徴点）を設定されている数だけｘ座標とｙ座標で数値化して抽出し、データテーブルを作成する。これにより、図５Ａに示すように、特徴点抽出画像２３における特徴点ごとの座標値が抽出される。図５Ａでは、例えば、抽出された特徴点１の座標は、（０．１２，０．４５）であることを示している。
【0030】
そして、各特徴点の座標値を顔の特定部位にそれぞれ対応付けたモデル画像を生成することにより、表情再現モデル２４が完成する。こうして完成した表情再現モデル２４からユーザの表情を判別することで、ユーザの感情を判断することができる。このとき、ユーザの感情に応じて表情再現モデル２４に変化を加えることで、ユーザの感情をより一層分かりやすく表現した表情再現モデル２４を生成してもよい。なお、図５Ａでは４つの特徴点だけで表記されているが、実際には３０以上の特徴点によって判断される。
【0031】
また、顔シンボル描画プログラム２０３３は、機械学習判別機を利用して特徴点抽出画像２３からコミュニケーションに関する指標を算出し、その算出結果に基づいて、表情アイコン２５を決定できる。これは図５Ｂに示すように、笑顔や頷き具合などの表情項目ごとに、コミュニケーションに関する指標としての判定値を算出することにより、表情アイコン２５が決まる。図５Ｂでは、例えば、特徴点抽出画像２３に含まれる口角の上方への変化が０．５ポイントであり、所定のしきい値以上（例えば、０．３以上）となっているため、顔の表情は笑顔になっていると判定できる。さらに、ユーザの顔の向きや視線方向が所定の閾値以上変化した場合には、当該変化に応じて、表情アイコン２５の表示を変化させる。機械学習判別機には、例えばＳＶＭ（Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）や、ＮＮ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などがあるが、従来から知られている様々な技術を用いてよい。顔シンボル描画プログラム２０３３は、上記の感情分類データに基づき、ＣＧの顔モデルの表情を変化させるなどの処理を行う。
【0032】
上記のようにして作成された表情アイコン２５が顔シンボルとなる。顔シンボルは、ユーザ同士のコミュニケーションに関する指標に基づいて、各ユーザの表情を再現した画像である。これらはサーバ１から各ユーザの端末へと送信され、例えば、図３に示した画面において、顔シンボル１１～１５の映像や画像として表示されることで、各ユーザに対して視認可能な態様で出力が行われる。なお、図４は、表情の分析による出力のみ記載しているが、同様に音声からの入力を基にして笑い声の認識、声の声量などで、音を機械学習の分類機などにかけて感情パラメータを生成することでフィードバックする機構を備えることもできる。
【0033】
（視線抽出）
図６は、カメラ撮影画像２２を用いて瞳孔計測による視線を抽出した例を示す図である。情報端末のカメラをユーザの前に設置し、顔シンボル描画プログラム２０３３が、ユーザＡの眼球運動を計測することでユーザＡの視線データを取得することができる。画像上の顔の位置と、特徴量から推定された顔の向き、目の画像内の黒目の位置に基づいて、ユーザがディスプレイの上のどの位置に視線を向けているかを推定する。例えば、図６では、顔シンボル描画プログラム２０３３が、角膜６０１の検出を行うとともに、目頭特徴点６０２および目尻特徴点６０３を検出することで黒目の位置を総合的に判断し、ユーザの視線方向を推定している。
図６は、カメラ撮影画像２２を用いて瞳孔計測による視線を抽出した例を示す図である。情報端末のカメラをユーザの前に設置し、顔シンボル描画プログラム２０３３が、ユーザＡの眼球運動を計測することでユーザＡの視線データを取得することができる。画像上の顔の位置と、特徴量から推定された顔の向き、目の画像内の黒目の位置に基づいて、ユーザがディスプレイの上のどの位置に視線を向けているかを推定する。例えば、図６では、顔シンボル描画プログラム２０３３が、角膜６０１の検出を行うとともに、目頭特徴点６０２および目尻特徴点６０３を検出することで黒目の位置を総合的に判断し、ユーザの視線方向を推定している。
【0034】
視線を推定する装置としては眼鏡型の装置を使用してもよい。眼鏡型装置の場合には、眼鏡に仕掛けられたカメラにより顔方向を推定と、眼球運動の計測を行い、同様の推定処理を行う。
【0035】
（工程全体の流れ）
図７を用いて、本実施例の主要な特徴は、顔シンボルの配置位置を動的に調整する制御と、当該制御により得られた顔画像や顔シンボルの認識精度の向上にある。全体の表示の流れを示す。
図７を用いて、本実施例の主要な特徴は、顔シンボルの配置位置を動的に調整する制御と、当該制御により得られた顔画像や顔シンボルの認識精度の向上にある。全体の表示の流れを示す。
【0036】
工程７０では、ＣＰＵ２０１は、入出力機器２９４から入力情報を受け付ける。当該入力情報は、マウスやタッチパッドを用いるなどの一般的な入力機器から入力される情報であり、ドキュメントのページ変更指示やドキュメントの拡大縮小表示指示などが含まれる。
【0037】
工程７１では、ネットワーク制御プログラム２０３１が、他端末からの情報の受信を行う。受信する情報の例を図８Ａに示す。各項目の詳細は後述する。
【0038】
工程７２では、ドキュメント描画プログラム２０３２が、工程７１で受信した情報にドキュメントの表示情報が含まれている場合、ドキュメントレイア３０１で示したドキュメントレイア部分に、ドキュメントの再描画を行う。例えば、発表ユーザ３が操作する情報端末において、ドキュメントの表示情報として、ドキュメントを１２０％に拡大する旨の情報が入力された場合、視聴ユーザの情報端末のドキュメント描画プログラム２０３２は、当該拡大する旨の情報に基づいて、自端末に現在表示しているドキュメントを１２０％に拡大して画面上に表示させる。
【0039】
工程７３では、顔シンボル描画プログラム２０３３が、発表ユーザ３や視聴ユーザ６のそれぞれについて、顔認識に関する処理を行う。
【0040】
工程７４では、顔シンボル描画プログラム２０３３が、顔シンボルレイア３０２で示した顔シンボルレイア部分に、各ユーザの顔シンボルとして、ｕｓｅｒ１～ｕｓｅｒ５までの顔シンボル１１～１５を描画する。情報端末の動作中は工程７０～７４が繰り返される。
【0041】
図８Ａは工程７１において各ユーザの端末の間でやりとりされる情報の例である。
当該情報端末の視聴ユーザであるユーザ０が操作する情報端末には、ユーザ１～ユーザ５が操作する情報端末から、視聴しているドキュメント等のコンテンツの表示状態に関する情報や視聴しているユーザの視聴状態に関する情報を含む、視聴構成情報が送信される。具体的には、図８Ａに示すように、上記視聴構成情報には、以下の各項目のデータが含まれる。図８Ａは、ユーザ１～５までの各ユーザ（ここでは代表してユーザ１、ユーザ２）について例示している。
当該情報端末の視聴ユーザであるユーザ０が操作する情報端末には、ユーザ１～ユーザ５が操作する情報端末から、視聴しているドキュメント等のコンテンツの表示状態に関する情報や視聴しているユーザの視聴状態に関する情報を含む、視聴構成情報が送信される。具体的には、図８Ａに示すように、上記視聴構成情報には、以下の各項目のデータが含まれる。図８Ａは、ユーザ１～５までの各ユーザ（ここでは代表してユーザ１、ユーザ２）について例示している。
【0042】
図８Ａに示すように、視聴構成情報８００には、ドキュメントＩＤ８０１、ドキュメント表示部分８０２、拡大表示領域Ｗ＿ｎ８０３、ドキュメント視線位置ｖ＿ｎ８０４、顔向き８０５、表情分類８０６、顔シンボルｎの顕著度８０７、アイコンタクト相手８０８が含まれる。上記表示状態に関する情報は、例えば、ドキュメント表示部分８０２、拡大表示領域Ｗ＿ｎ８０３であり、上記視聴状態に関する情報は、例えば、ドキュメント視線位置ｖ＿ｎ８０４、顔向き８０５、表情分類８０６、顔シンボルｎの顕著度８０７、アイコンタクト相手８０８である。
【0043】
ドキュメントＩＤ８０１は、各ユーザで共有されている文書を識別するための情報である。具体的には後述するが、本システムでは、同一の文書を開いているユーザ間のみで顔シンボルの表示が行われる。したがって、別の文書を開いているユーザがいる場合、当該別の文書を開いているユーザ同士で、顔シンボルのやり取りが行われる。ドキュメントＩＤ８０１は、ドキュメント描画プログラム２０３２により設定される。
【0044】
ドキュメント表示部分８０２は、同文書の開いているページ番号が格納されている。ドキュメント表示部分８０２は、ドキュメント描画プログラム２０３２により設定される。
【0045】
拡大表示領域Ｗ＿ｎ８０３には、画面のうちどの領域を拡大して視聴しているかが格納されている。拡大表示領域Ｗ＿ｎ８０３は、ドキュメント描画プログラム２０３２により設定される。
【0046】
図８Ｂに、拡大表示領域Ｗ＿ｎの例を示す。画面に表示されているドキュメント等のコンテンツのページの左上を座標（０．０，０．０）、右下を座標（１．０，１．０）とする。ユーザが操作する情報端末が、携帯端末など画面が小さい表示機器である場合、ページの一部を拡大して、ドキュメント等のコンテンツをみている場合がある。図８Ｂでは、情報端末が携帯端末である場合において、ドキュメント描画プログラム２０３２は、ユーザから、入力機器から入力される拡大（あるいは縮小）操作の操作量に応じて、拡大前（あるいは縮小前）における当該携帯端末の画面上の左上座標（０．２，０．２）－右下座標（０．８，０．８）の領域を、上記操作量に応じた所定の倍率に拡大している。この場合には、ドキュメント描画プログラム２０３２は、上記左上の座標および上記右下の座標を、ドキュメントＩＤ８０１に対応付けて送信することによって、該当ユーザがどの領域に興味を持って注視しているかを判別することができる。
【0047】
ドキュメント視線位置ｖ＿ｎ８０４には、ユーザがドキュメントのどの位置を視聴しているかの推定情報が格納される。この座標系は拡大表示領域Ｗ＿ｎ８０３同様に、画面に表示されているドキュメント等のコンテンツのページの左上を座標（０．０，０．０）、右下を座標（１．０，１．０）とする。ドキュメント視線位置ｖ＿ｎ８０４は、顔シンボル描画プログラム２０３３により設定される。
【0048】
顔向き８０５には、ユーザの顔の向きに関する情報が格納される。顔シンボル描画プログラム２０３３は、カメラ２９２の映像や画像から、ユーザの顔が画面に対してどちらの方向を見ているかを取得して、その回転角度を送信し、のちに述べる顔シンボルの３Ｄ表示に用いる。顔向き８０５は、顔シンボル描画プログラム２０３３により設定される。
【0049】
表情分類８０６には、図４の手法で取得したユーザｎの表情の分類情報を入れる。この分類は、のちに述べる顔シンボルの３Ｄ表示に用いる。表情分類８０６は、顔シンボル描画プログラム２０３３により設定される。
【0050】
顔シンボルｎの顕著度８０７には、ユーザｎの顔シンボルをどのくらい目立つように表示するべきかを示唆する数字が記載される。この値を顕著度と呼ぶ。顕著度は０．０～１．０の値をとるものとする。顔シンボルｎの顕著度８０７には、ユーザｎから得られる顕著度の情報が保存される。この値は、例えば、顔シンボル描画プログラム２０３３が、特徴点抽出画像２３に基づいて判定した表情が笑顔であると判定した場合、＋０．３、頷いた表情であると判定した場合、＋０．４など、ユーザｎの挙動にコミュニケーションとしての情報が多く含まれる場合に増加させるものとする。顔シンボルｎの顕著度８０７は、顔シンボル描画プログラム２０３３により設定される。
【0051】
アイコンタクト相手８０８はユーザｎが特定の相手ユーザｍとアイコンタクトを交わしている場合に、コンタクト相手のユーザＩＤが記載される。この判別方法は各ユーザごとに行われる。ユーザ０のアイコンタクト判断成立は工程９１０で行われるため、具体的な計算方法は当該処理の説明時に行う。アイコンタクト相手８０８は、顔シンボル描画プログラム２０３３により設定される（顔シンボルの配置アルゴリズム）。
【0052】
本実施例では、ドキュメントレイア３０１に表示されているドキュメントに重畳表示される顔シンボルレイア３０２に表示される顔シンボルを、ドキュメントの周辺（例えば、ドキュメントが表示された画面の上または横に配置し、ユーザの協調動作に合わせて、当該協調動作に関わったすべてのユーザについての顔シンボルが動的に動くことを特徴としている。協調動作とは、例えば、複数の視聴ユーザが表示されているドキュメントのコンテンツについて、オンライン会議を行う様々なアプリケーションを介して議論を行っている場合、当該議論が、参加者による協調動作となる。
【0053】
図９に、これらの各ユーザについての顔シンボルの配置方法の工程の流れを示す。
【0054】
工程９０１では、レイアウト配置プログラム２０３４は、画面に表示されているドキュメント等のコンテンツの表示内容に基づいたエネルギーマップを計算する。
【0055】
（ドキュメントのエネルギー関数）
図１０Ａは、エネルギーマップの例を示す図である。ここでは、画面上に表示されたドキュメント等のコンテンツの表示内容の重要度を計算し、一定の閾値以上の重要度であると計算された範囲を避けるように、顔シンボルを配置する例について説明する。本手法では、高いエネルギー領域から低いエネルギー領域に物体が移動する物理シミュレーション手法を模して、顔シンボルの動的な移動モデルを制御する。そのため、以下このような重要度を割り振られたものをエネルギーマップと呼ぶ。
図１０Ａは、エネルギーマップの例を示す図である。ここでは、画面上に表示されたドキュメント等のコンテンツの表示内容の重要度を計算し、一定の閾値以上の重要度であると計算された範囲を避けるように、顔シンボルを配置する例について説明する。本手法では、高いエネルギー領域から低いエネルギー領域に物体が移動する物理シミュレーション手法を模して、顔シンボルの動的な移動モデルを制御する。そのため、以下このような重要度を割り振られたものをエネルギーマップと呼ぶ。
【0056】
図１０Ａでは、元ドキュメント１００１における色の濃い黒色部分Ｒ１、Ｒ２およびその周辺領域Ｒ３が、高エネルギー領域であると計算され、顔シンボルの配置を避けるべき領域、図の色の薄い白色部分Ｒ４ほかの部分はエネルギーが低く配置に適した領域を示す。レイアウト配置プログラム２０３４は、ドキュメントレイア３０１に表示されているドキュメントのある領域の画像と、顔シンボルレイア３０２に表示する顔シンボルの画像とを重畳させたときに、重畳させた範囲の非透明ピクセル領域に割り当てられたエネルギーマップの値の総和が小さくなるように、顔シンボルの画像の位置を移動させていく。このようなエネルギーマップの作製には、いくつかの基準で作ったマップを合成することで得られる。
【0057】
本実施例では、レイアウト配置プログラム２０３４は、元ドキュメント１００１から、エッジ情報と色を用いた一般に顕著度マップＳ（ｐ）と呼ばれる手法で得られたマップ１００２と、当該非透明ピクセル領域に含まれるコンテンツとしてあらわされている各テキストの文字情報や画像認識によって得られたコンテンツの部分に関連付けられた重要要素検出マップＤ（ｐ）と呼ばれる手法で得られたマップ１００３と、別途コンテンツ作成者（例えば、発表ユーザ３）が手動にて意図的に定義した、コンテンツの表示内容についての重要度の設定値を定めたユーザ指定マップＭ（ｐ）であるマップ１００４を、それぞれ計算する。そして、レイアウト配置プログラム２０３４は、元ドキュメント１００１から計算したこれらのマップ１００２～１００４に対して、重み値による重みづけを行い、エネルギーの値に当該重み値を加算した値を、ドキュメント画像から得られる重要度として設定する。当該重要度を算出するための計算式を、（数１）として示す。但し、ｐは画像内の位置を示し、Ｓ（ｐ），Ｄ（ｐ），Ｍ（ｐ）はｐに対応するそれぞれのエネルギー値を返す関数である。またＣ＿ｘと記載されている変数は適切に選ばれた定数であるものとする。このエネルギーを適用すると、各顔シンボルは、この重要度マップで定義されたコンテンツの重要部分となるべく重複しない位置に配置される。特に、ドキュメント上の空白位置や、ドキュメントの枠外などの位置に優先的に配置されるようになる。
（数１）
Ｅ＿１（ｐ） ＝ Ｃ＿１１・Ｓ（ｐ） ＋ Ｃ＿１２・Ｄ（ｐ）＋Ｃ＿１３・Ｍ（ｐ） …（１）
（数１）
Ｅ＿１（ｐ） ＝ Ｃ＿１１・Ｓ（ｐ） ＋ Ｃ＿１２・Ｄ（ｐ）＋Ｃ＿１３・Ｍ（ｐ） …（１）
【0058】
以下、それぞれのマップの作成方法の一例を説明する。（顕著度マップ Ｓ（ｐ））
マップＳ（ｐ）は、例えば、以下の非特許文献（Ｚｈａｉ， Ｙｕｎ； Ｓｈａｈ， Ｍｕｂａｒａｋ （２００６－１０－２３）． Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ Ｕｓｉｎｇ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｃｕｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １４ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ． ＭＭ ’０６． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ： ＡＣＭ． ｐｐ． ８１５-８２４．）に記載の技術を用いて作成することができる。顕著度マップは、画像のエッジ、色彩度などをフィルタリング処理し、人間の目がどこに向かいやすいかの蓋然性モデルを推定する手法である。各ピクセルごとにエネルギーが割り振られ、目を引きやすい領域にはエネルギーを高く設定する。例えば一般文書であれば、文字の周辺などはエッジが多く存在するためエネルギーの高い領域となり、空白の領域はエッジが存在しないためエネルギーが低く設定される。この計算には、人間の目を引きそうな要素、例えば顔の映像や特定のオブジェクトが認識された場合には、当該顔の映像や特定のオブジェクトの画素よりも高いエネルギーを割り当てるなどの様々な亜種が提案されている。
マップＳ（ｐ）は、例えば、以下の非特許文献（Ｚｈａｉ， Ｙｕｎ； Ｓｈａｈ， Ｍｕｂａｒａｋ （２００６－１０－２３）． Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ Ｕｓｉｎｇ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｃｕｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １４ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ． ＭＭ ’０６． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ： ＡＣＭ． ｐｐ． ８１５-８２４．）に記載の技術を用いて作成することができる。顕著度マップは、画像のエッジ、色彩度などをフィルタリング処理し、人間の目がどこに向かいやすいかの蓋然性モデルを推定する手法である。各ピクセルごとにエネルギーが割り振られ、目を引きやすい領域にはエネルギーを高く設定する。例えば一般文書であれば、文字の周辺などはエッジが多く存在するためエネルギーの高い領域となり、空白の領域はエッジが存在しないためエネルギーが低く設定される。この計算には、人間の目を引きそうな要素、例えば顔の映像や特定のオブジェクトが認識された場合には、当該顔の映像や特定のオブジェクトの画素よりも高いエネルギーを割り当てるなどの様々な亜種が提案されている。
【0059】
（重要要素検出マップ Ｄ（ｐ））
マップＤ（ｐ）の作り方の方法として、レイアウト配置プログラム２０３４は、ドキュメント等のコンテンツに記載された単語が、あらかじめ本システムのデータベース等の記憶装置に登録された重要単語の重みづけデータベースに登録されているか否かを判定する。レイアウト配置プログラム２０３４は、ドキュメント等のコンテンツに記載された単語が、当該データベースに登録されていると判定した場合には、当該重要単語に対応付けて記憶されている重み値をデータとして与えることができる。このような手法以外にも、広く知られる機械学習などの処理を用いて、文書の単語重要度を判別する手法を用いてもよい。
マップＤ（ｐ）の作り方の方法として、レイアウト配置プログラム２０３４は、ドキュメント等のコンテンツに記載された単語が、あらかじめ本システムのデータベース等の記憶装置に登録された重要単語の重みづけデータベースに登録されているか否かを判定する。レイアウト配置プログラム２０３４は、ドキュメント等のコンテンツに記載された単語が、当該データベースに登録されていると判定した場合には、当該重要単語に対応付けて記憶されている重み値をデータとして与えることができる。このような手法以外にも、広く知られる機械学習などの処理を用いて、文書の単語重要度を判別する手法を用いてもよい。
【0060】
（ユーザ指定マップ Ｍ （ｐ））
ユーザ指定マップＭ （ｐ）は、任意の領域の画素に対して重み値による重みづけを行って得られるものである。レイアウト配置プログラム２０３４は、別途作成して入力されたビットマップを割り当てたり、色としてエネルギーを設定する別の編集画面を用意したりすることで、画素に応じた重み値を任意に設定することができる。
ユーザ指定マップＭ （ｐ）は、任意の領域の画素に対して重み値による重みづけを行って得られるものである。レイアウト配置プログラム２０３４は、別途作成して入力されたビットマップを割り当てたり、色としてエネルギーを設定する別の編集画面を用意したりすることで、画素に応じた重み値を任意に設定することができる。
【0061】
（視聴ユーザの視線情報に基づくエネルギーの追加）
工程９０２では、レイアウト配置プログラム２０３４は、ドキュメント等のコンテンツが表示された画面を視聴しているユーザ０が、当該画面上のどの位置を見ているかを、図６を用いて説明した手法に基づいて計測する。
工程９０２では、レイアウト配置プログラム２０３４は、ドキュメント等のコンテンツが表示された画面を視聴しているユーザ０が、当該画面上のどの位置を見ているかを、図６を用いて説明した手法に基づいて計測する。
【0062】
工程９０３では、レイアウト配置プログラム２０３４は、工程９０２で計測した視聴ユーザ０の視線情報から、エネルギーマップを計算する。具体的には、レイアウト配置プログラム２０３４は、図６において説明したように、カメラ２９２で撮像した映像や画像から視聴者であるユーザ０について推定した視線方向の画面上の位置をｐ＿０として設定する。レイアウト配置プログラム２０３４は、画面上の任意の位置ｐに対して、位置ｐ＿０を中心とした半径ｄピクセルの空間にエネルギーを配置する。このエネルギーを適用すると、レイアウト配置プログラム２０３４は、顔シンボルＡを、視線がｄ以内に近づくと視線を避けるように移動させる。
【0063】
図１０Ｂに、このときの例を示す。図１０Ｂは、エネルギーマップと顔シンボルの移動との関係を説明するための図である。視線の中心となる位置ｐ＿０の周辺に半径ｄピクセルの円としてエネルギーが配置され、円の中心は高いエネルギー、円の周辺になるにつれ低いエネルギーとなる。図１０Ｂでは、避けるべき範囲（視線の周辺の高エネルギー領域）として領域Ｒ５が設定されていることを示している。レイアウト配置プログラム２０３４は、このようなエネルギーを配置することで、視線が向けられた位置から顔シンボルは避けるように移動させる。つまり、レイアウト配置プログラム２０３４は、顔シンボルの位置が、視線の中心となる位置から半径ｄとする所定範囲に入ってきた場合、あるいは当該半径ｄよりも内側であって、エネルギーが所定の閾値以上である範囲に入ってきた場合、これらの範囲を避けて、所定の閾値よりもエネルギーが低い位置に移動させる。
【0064】
上記領域Ｒ５におけるエネルギーは、例えば、以下の式であらわすことができる。
（数２）
Ｅ＿２（ｐ）＝ Ｃ＿２ ｍａｘ（０， ｄ－｜ｐ＿０－ｐ｜） …（２）
このエネルギー項Ｅ＿２（ｐ）は、ユーザがドキュメントを見ているときに、顔シンボルが該当部分に重複してドキュメントが読みにくくなるのを防ぐために設定されたもので、顔シンボルが視線を回避するように動くものである。上記の関数はこの目的に沿うように設定されていれば別の関数を用いることもできる。
（数２）
Ｅ＿２（ｐ）＝ Ｃ＿２ ｍａｘ（０， ｄ－｜ｐ＿０－ｐ｜） …（２）
このエネルギー項Ｅ＿２（ｐ）は、ユーザがドキュメントを見ているときに、顔シンボルが該当部分に重複してドキュメントが読みにくくなるのを防ぐために設定されたもので、顔シンボルが視線を回避するように動くものである。上記の関数はこの目的に沿うように設定されていれば別の関数を用いることもできる。
【0065】
工程９０４～工程９０８は、ネットワークに接続している対話先のユーザ（すなわち視聴ユーザ以外のユーザ）、ｎ＝１…Ｎ－１に対して行われる繰り返しループ処理である。各ループでの対象をユーザｎ、顔シンボルｎと呼称する。各ユーザの顔シンボルは、画面上の点ｐ＿ｎに配置されているものとする。
【0066】
工程９０４では、レイアウト配置プログラム２０３４は、工程９０８で行われた顔シンボルの移動と、工程９０２で行われた視聴ユーザ０の視線計測の結果を合わせて、ユーザ０が、ドキュメントではなくユーザｎの顔シンボルｎを視聴しているかどうかの判断処理を行う。この工程の詳細については後述する。
【0067】
ユーザｎの顔シンボルの位置ｐ＿ｎは工程９０１と工程９０３で設定されたユーザ０の視聴行動と、工程９０５～工程９０７で設定されたユーザｎの情報に基づくエネルギー関数をもとにして工程９０８で更新する。
【0068】
まず、工程９０５において、レイアウト配置プログラム２０３４は、ユーザｎが視聴しているエリアをエネルギー項に加え、工程９０６で他の顔シンボルとの位置関係を計算してエネルギー項に加える。また、レイアウト配置プログラム２０３４は、工程９０７において、工程９０４～工程９０６までに計算したエネルギー項の値と、工程９０１で計算したコンテンツのエネルギー項の値との合計を算出する。さらに、工程９０８において、レイアウト配置プログラム２０３４は、算出した結果を用いて、ユーザｎの顔シンボルを、前フレームの顔シンボルの位置ｐ＿ｎ（ｔ－１）の近傍で、エネルギーの低い領域ｐ＿ｎ（ｔ）に移動させる。それぞれの工程でのエネルギー作成の詳細について、以下順に述べる。
【0069】
（ユーザｎの視聴エリアに基づくエネルギー計算）
工程９０５では、レイアウト配置プログラム２０３４は、参加しているユーザｎの視線情報からエネルギーマップを計算する。
工程９０５では、レイアウト配置プログラム２０３４は、参加しているユーザｎの視線情報からエネルギーマップを計算する。
【0070】
図１０Ｃは、視聴ユーザが視聴するドキュメント等のコンテンツが表示された画面の視聴エリアから得られる重要度マップの一例を示す図である。当該重要度マップは、レイアウト配置プログラム２０３４が、顔シンボルｎに関連付けられたユーザｎについて、過去Ｔ秒間に見た視線位置の情報を合計してマップにしたものである。図１０Ｃでは、ドキュメント等のコンテンツの非表示領域Ｒ６（図中の黒領域）に、ユーザｎが図８Ｂで説明したように拡大（あるいは縮小）操作を行って表示した領域である拡大領域Ｒ７（図中の濃いグレー領域）が表示されている。レイアウト配置プログラム２０３４は、過去Ｔ秒間（この例では、現在、０．５秒前、１．０秒前）の各時点における視線位置から得られるユーザｎの視聴エリアに基づくエネルギーマップを生成し、これらを重ね合わせたエネルギーマップを生成する。図１０Ｃでは、レイアウト配置プログラム２０３４は、ユーザｎの現在の視線位置１０２１、ユーザｎの０．５秒前の視線位置１０２２、ユーザｎの１．０秒前の視線位置１０２３を、図１０Ｂを用いて説明したような顔シンボルが避けるべき範囲として表示している。
【0071】
より具体的には、レイアウト配置プログラム２０３４は、視線の周辺の高エネルギー領域を避けるべき範囲として算出する場合、視点位置に相当する領域を中心にしたガウス分布を適用して吸引型のエネルギーを与える。レイアウト配置プログラム２０３４は、ユーザｎのドキュメント視線位置ｖ＿ｎを、図８Ａに示した視聴構成情報から読み込んで、以下のように計算を行う。
（数３）
Ｅ＿３（ｐ） ＝ Ｃ＿３ ・－Σ＿ｔ｜ｖ＿ｎ（ｔ）－ｐ｜ …（３）
ただしこれらのエネルギー項はユーザｎの顔シンボルのみに適用される。このようなエネルギー項を適用すると、ユーザｎの顔シンボルは、このマップが高い位置、すなわちユーザｎが視聴しているコンテンツ領域になるべく近い位置に吸引される。
（数３）
Ｅ＿３（ｐ） ＝ Ｃ＿３ ・－Σ＿ｔ｜ｖ＿ｎ（ｔ）－ｐ｜ …（３）
ただしこれらのエネルギー項はユーザｎの顔シンボルのみに適用される。このようなエネルギー項を適用すると、ユーザｎの顔シンボルは、このマップが高い位置、すなわちユーザｎが視聴しているコンテンツ領域になるべく近い位置に吸引される。
【0072】
またユーザｎがドキュメントの一部の部分を拡大した領域Ｒ７を表示している場合には、当該領域Ｒ７に吸引型のエネルギー（負の値）を与える。当該エネルギーは、例えば、以下の算式で求めることができる。
（数４）
Ｅ＿３’（ｐ） ＝ Ｃ＿３’・ｗ （ｉｆ ｐ ｉｎ Ｗ） …（４） ｅｌｓｅ ０
但し、ｐは画像上の点、Ｗは図８Ａに示した視聴構成情報の拡大表示領域Ｗ＿ｎ８０３として格納されている、ユーザｎが視聴している画像内の領域を意味する。
（数４）
Ｅ＿３’（ｐ） ＝ Ｃ＿３’・ｗ （ｉｆ ｐ ｉｎ Ｗ） …（４） ｅｌｓｅ ０
但し、ｐは画像上の点、Ｗは図８Ａに示した視聴構成情報の拡大表示領域Ｗ＿ｎ８０３として格納されている、ユーザｎが視聴している画像内の領域を意味する。
【0073】
（顔シンボル同士の反発エネルギーの計算）
工程９０６では、レイアウト配置プログラム２０３４は、表示されている顔シンボルが相互になるべく離れるように移動の調整を行う。顔シンボルｐ＿ｎ（ｔ－１）に対して、他の顔シンボルｐ＿ｍ（ｔ－１） ｍ≠ｎがあるとき、ｐ＿ｍ（ｔ－１）を中心としたガウス分布を設定し、ｐ＿ｍに反発するようにエネルギーマップを設定する。この例を図１０Ｄに示す。図１０Ｄでは、レイアウト配置プログラム２０３４が、視線位置ｐｍ１に基づく顔シンボルｍ１の位置Ｐ１、視線位置ｐｍ２に基づく顔シンボルｍ２の位置Ｐ２、視線位置ｐｍ３に基づく顔シンボルｍ３の位置Ｐ３のそれぞれを、互いに所定の間隔を隔てて離れた位置に配置する。当該離れた位置は、それぞれの顔シンボル同士のエネルギーの値が一定程度近い値となるように定められる。これにより、顔シンボル同士を反発させるエネルギーマップを作成することができる。
工程９０６では、レイアウト配置プログラム２０３４は、表示されている顔シンボルが相互になるべく離れるように移動の調整を行う。顔シンボルｐ＿ｎ（ｔ－１）に対して、他の顔シンボルｐ＿ｍ（ｔ－１） ｍ≠ｎがあるとき、ｐ＿ｍ（ｔ－１）を中心としたガウス分布を設定し、ｐ＿ｍに反発するようにエネルギーマップを設定する。この例を図１０Ｄに示す。図１０Ｄでは、レイアウト配置プログラム２０３４が、視線位置ｐｍ１に基づく顔シンボルｍ１の位置Ｐ１、視線位置ｐｍ２に基づく顔シンボルｍ２の位置Ｐ２、視線位置ｐｍ３に基づく顔シンボルｍ３の位置Ｐ３のそれぞれを、互いに所定の間隔を隔てて離れた位置に配置する。当該離れた位置は、それぞれの顔シンボル同士のエネルギーの値が一定程度近い値となるように定められる。これにより、顔シンボル同士を反発させるエネルギーマップを作成することができる。
【0074】
工程９０７では、レイアウト配置プログラム２０３４は、工程９０１、工程９０５、工程９０６のエネルギーの総和をとりＥ（ｐ）を作成する。レイアウト配置プログラム２０３４は、作成したエネルギーＥ（ｐ）の勾配Δｐ＿ｎ（ｔ）を計算し、工程９０８において、ｐ＿ｎ（ｔ－１）からエネルギーの低い領域ｐ＿ｎ（ｔ）に移動させる。
時刻ｔ時点におけるｐ＿ｎ（ｔ）は、例えば、次の数式により算出することができる。
（数５）
ｐ＿ｎ（ｔ） ＝ ｐ＿ｎ（ｔ－１）＋ Δｐ＿ｎ（ｔ） …（５）
時刻ｔ時点におけるｐ＿ｎ（ｔ）は、例えば、次の数式により算出することができる。
（数５）
ｐ＿ｎ（ｔ） ＝ ｐ＿ｎ（ｔ－１）＋ Δｐ＿ｎ（ｔ） …（５）
【0075】
工程９０９では、レイアウト配置プログラム２０３４は、共有ドキュメント１０を共有しているすべてのユーザについて工程９０１~工程９０８の処理を行ったか否かを判定し、すべてのユーザについて工程９０１~工程９０８の処理を行ったと判定した場合には工程９１０以降の処理を行う（工程９０９；Ｙｅｓ）。一方、レイアウト配置プログラム２０３４は、すべてのユーザ（ｎ人のユーザ）について工程９０１~工程９０８の処理を行っていないと判定した場合には、工程９０９Ａにおいて、残りのユーザ（ｎ＝ｎ＋１人目）をカウントし、当該カウントしたユーザについて、工程９０１~工程９０８の処理を繰り返す（工程９０９；Ｎｏ）。
【0076】
レイアウト配置プログラム２０３４は、工程９１０において、すべてのユーザについて、工程９０１~工程９０８までの各処理で算出した結果に基づいて、画面上の顔シンボルやユーザの視線位置などの情報を更新する。さらに、工程９１１において、レイアウト配置プログラム２０３４は、ネットワーク制御プログラム２０３１に、更新した上記情報を他のユーザが操作する情報端末に送信させる。そして、レイアウト配置プログラム２０３４は、時間を計時する図示しないカウンタを次の値ｔ＋１に更新し（工程９１１Ａ）、工程９０１に戻って以降の処理を繰り返す。
【0077】
（顔シンボルの追跡による視聴の確認）
レイアウト配置プログラム２０３４は、各ユーザの顔シンボルを、工程９０５～９０９で生成された様々なエネルギーマップの影響を受けてエネルギー順位の低い位置に動的に移動させる。レイアウト配置プログラム２０３４は、前フレーム（例えば、０．５秒前）の処理で移動した顔シンボルに対して、視聴しているユーザ０がユーザＮの顔シンボルｎを見ているかどうか（アイコンタクト）の判断を行う。ここで、アイコンタクトを取るとは、顔シンボルの実体であるユーザ０が画面上に表示された顔シンボルｎに視線を送ることである。この視線が顔シンボルの位置に位置しているかどうかの判断処理は、レイアウト配置プログラム２０３４が、顔シンボルごとに工程９０４でチェックする。
レイアウト配置プログラム２０３４は、各ユーザの顔シンボルを、工程９０５～９０９で生成された様々なエネルギーマップの影響を受けてエネルギー順位の低い位置に動的に移動させる。レイアウト配置プログラム２０３４は、前フレーム（例えば、０．５秒前）の処理で移動した顔シンボルに対して、視聴しているユーザ０がユーザＮの顔シンボルｎを見ているかどうか（アイコンタクト）の判断を行う。ここで、アイコンタクトを取るとは、顔シンボルの実体であるユーザ０が画面上に表示された顔シンボルｎに視線を送ることである。この視線が顔シンボルの位置に位置しているかどうかの判断処理は、レイアウト配置プログラム２０３４が、顔シンボルごとに工程９０４でチェックする。
【0078】
しかしながら、視線方向の計測には大きな誤差が伴うことが多いため、ユーザ０の視線情報だけでは、ユーザｎの顔シンボルを確認しているか、またはその顔シンボルが存在する周辺のコンテンツを読んでいるか、または別の顔シンボルを確認しているのか、十分判断できない場合がある。本実施例では、このようなアイコンタクトの精度を向上させ不確定性を解決するために、一連の確認動作を行うことを特徴の一つとする。
【0079】
図１１Ａに、工程９０４における処理の詳細を示す。以下その手順を記載する。図１１Ａは、顔シンボルを追跡することにより、ユーザがドキュメント等のコンテンツを視聴しているのか、あるいは顔シンボルに視線を送っているのかを確認するための確認処理の処理手順を示すフローチャートである。以下では、顔シンボルごとに、図１１Ｂに示すような視線追従の計測に用いるデータが定義される。レイアウト配置プログラム２０３４は、視聴ユーザ０が顔シンボルｎを見ているかどうかを、当該データを参照することで、ユーザの視聴状態をモードとして管理する。
【0080】
工程９０４では、レイアウト配置プログラム２０３４は、各ユーザの顔シンボルが次モードに推移するかどうかの判断を行う。モードの推移は以下の手順で判別する。手順は三段階からなり、（１）ユーザ０の視線推定位置から一定の距離内に所定の時間のあいだ顔シンボルがあるか（近傍段階、工程９０１０、９０１０Ａ）、（２）顔シンボルｎが逃げるように動く方向にユーザ０の視線が追いかけるように動くか（追跡段階、工程９０１１、９０１１Ａ）、（３）特定の顔シンボルを見ていると判断して顔シンボルの情報を強調して表示し、ユーザｎとアイコンタクトの情報を送り、またユーザｎの視聴状態についての補足情報を提示する（顕現性向上段階、工程９０１２）、の三段階に応じて計算処理を行う。これらの処理は、複数回のループをまたがって行われる処理である。そのため、上記データに顔シンボルのモードを管理する変数を持たせ、レイアウト配置プログラム２０３４は、一定の基準を満たした場合、上記近傍段階を示す状態モード１（近傍モード）、上記追跡段階を示す状態モード２（追跡モード）、上記顕現性向上段階を示す状態モード３（注視モード）と、ユーザｎの視聴状態を切り替えていく。これらの変数を、以下では状態モード変数と呼ぶ。
【0081】
図１１Ｂに示すように、視線追従の計測に用いるデータ１１００は、ユーザを識別するためのユーザ番号ごとに、顕著度１１０１、顔シンボル配置位置座標ｐ＿ｎ（ｔ）１１０２、前フレームでの位置座標ｐ＿ｎ（ｔ－１）１１０３、近傍モード１１０４および当該モードの持続期間１１０５、追跡モード１１０５および当該モードの持続期間１１０６、注視モード１１０７および当該モードの持続期間１１０８が、対応付けて記憶されている。
【0082】
各モードの持続時間は、レイアウト配置プログラム２０３４が、それぞれのモードが持続している時間を、図示しないカウンタを用いてカウントし、一定の時間のあいだモード状態が維持されていたら次のモードに切り替わるようにする。以下、各モードの判断と切り替え手順の詳細を述べる。
【0083】
（状態モード１：近傍段階）
レイアウト配置プログラム２０３４は、図１０Ｂを用いて説明したように、視聴ユーザ０について推定した視線方向の画面上の位置ｐ＿０が、顔シンボルｎから一定距離以内ｄ＿ｖに向いている場合、当該ユーザ０が顔シンボルｎを見ている可能性があるすると判断する。この場合、レイアウト配置プログラム２０３４は、上記データの近傍モード１１０４に、変数として「１」（Ｔｒｕｅ）を設定する。これとは逆に、レイアウト配置プログラム２０３４は、上記位置ｐ＿０が、顔シンボルｎから一定距離ｄ＿ｖ以上に離れた場合には、上記変数の値を「０」（Ｆａｌｓｅ）にリセットする。また、レイアウト配置プログラム２０３４は、上記変数の値「１」の状態が何フレームの間継続して維持されているかをカウントし、上記持続期間１１０５に記録する。
レイアウト配置プログラム２０３４は、図１０Ｂを用いて説明したように、視聴ユーザ０について推定した視線方向の画面上の位置ｐ＿０が、顔シンボルｎから一定距離以内ｄ＿ｖに向いている場合、当該ユーザ０が顔シンボルｎを見ている可能性があるすると判断する。この場合、レイアウト配置プログラム２０３４は、上記データの近傍モード１１０４に、変数として「１」（Ｔｒｕｅ）を設定する。これとは逆に、レイアウト配置プログラム２０３４は、上記位置ｐ＿０が、顔シンボルｎから一定距離ｄ＿ｖ以上に離れた場合には、上記変数の値を「０」（Ｆａｌｓｅ）にリセットする。また、レイアウト配置プログラム２０３４は、上記変数の値「１」の状態が何フレームの間継続して維持されているかをカウントし、上記持続期間１１０５に記録する。
【0084】
（状態モード２；追跡段階）
レイアウト配置プログラム２０３４は、上記状態モード１において説明したように、ユーザ０の視線が顔シンボルｎに向いた場合、（数２）で示したエネルギー項Ｅ＿２（ｐ）の影響で、顔シンボルｎは、ユーザ０の視線を避けるように移動する。レイアウト配置プログラム２０３４は、当該顔シンボルｎの時刻ｔ－１から時刻ｔまでの間における相対移動方向ｆｖ（ｔ）＝（ｆｐ（ｔ）－ｆｐ（ｔ－１））／｜ｆｐ（ｔ）－ｆｐ（ｔ－１）｜と、上記視聴ユーザ０について推定した視線方向の画面上の位置ｐ＿０の時刻ｔ－１から時刻ｔまでの間における相対移動方向ｖ（ｔ）＝（ｐ（ｔ）－ｐ（ｔ－１））／｜ｐ（ｔ）－ｐ（ｔ－１）｜とを比較する。ただし、ｆｐ（ｔ）は、時刻ｔにおける顔シンボルの表示位置、ｐ（ｔ）は時刻ｔにおける上記視線方向の画面上の位置である。
レイアウト配置プログラム２０３４は、上記状態モード１において説明したように、ユーザ０の視線が顔シンボルｎに向いた場合、（数２）で示したエネルギー項Ｅ＿２（ｐ）の影響で、顔シンボルｎは、ユーザ０の視線を避けるように移動する。レイアウト配置プログラム２０３４は、当該顔シンボルｎの時刻ｔ－１から時刻ｔまでの間における相対移動方向ｆｖ（ｔ）＝（ｆｐ（ｔ）－ｆｐ（ｔ－１））／｜ｆｐ（ｔ）－ｆｐ（ｔ－１）｜と、上記視聴ユーザ０について推定した視線方向の画面上の位置ｐ＿０の時刻ｔ－１から時刻ｔまでの間における相対移動方向ｖ（ｔ）＝（ｐ（ｔ）－ｐ（ｔ－１））／｜ｐ（ｔ）－ｐ（ｔ－１）｜とを比較する。ただし、ｆｐ（ｔ）は、時刻ｔにおける顔シンボルの表示位置、ｐ（ｔ）は時刻ｔにおける上記視線方向の画面上の位置である。
【0085】
ユーザが顔シンボルを見ている場合には顔シンボルの移動方向に合わせた眼球運動が発生するため、この二つの相対移動方向が一定程度以上の近しい関係になる。この関係を利用して、レイアウト配置プログラム２０３４は、上記状態モード１の変数の値が「１」であり、相対移動方向ｆｖ（ｔ）と相対移動方向ｖ（ｔ）との角度の差が所定の角度「θ」以下であった場合には、ユーザ０の視線は顔シンボルｎを追従していると判断し、上記状態モード２の変数の値に「１」（Ｔｒｕｅ）を設定する。この処理により、ユーザ０は、単に顔シンボル付近のコンテンツを見ていたのか、顔シンボル自体を見ようとしているのかを判別することができる。
【0086】
また、レイアウト配置プログラム２０３４は、上記状態モード２の変数の値として「１」の設定が継続されている期間は、当該状態モード２の持続期間１１０７をインクリメントする。例えば、レイアウト配置プログラム２０３４は、上記状態モード２の変数の値「１」の設定が何フレームの間継続して維持されているかをカウントし、上記持続期間１１０７に記録する。また、レイアウト配置プログラム２０３４は、上記状態モード１の変数と同様、状態モード変数２の状態が解除された場合には、上記変数の値を「０」（Ｆａｌｓｅ）にリセットする。レイアウト配置プログラム２０３４は、上記状態モード２の変数の値に「１」（Ｔｒｕｅ）が設定され、当該設定された期間が一定時間以上であった場合には、一定時間の追従が行われたと判断し、上記状態モード３の変数の値に「１」（Ｔｒｕｅ）を設定する。
【0087】
（状態モード３：顔シンボルの顕現性向上）
レイアウト配置プログラム２０３４は、上記状態モード３の変数の値に「１」（Ｔｒｕｅ）が設定されている場合、（数２）で示したエネルギー項Ｅ＿２（ｐ）の定数Ｃ＿２をゼロに設定し、顔シンボルｎがユーザ０の視線を避ける移動を停止して、顔シンボルｎの顕現性を向上させる。レイアウト配置プログラム２０３４は、顔シンボルｎの顕著度８０７に示されたユーザｎの表情から得られた顔シンボルｎの顕現性に、ユーザ０の視線集中に基づくボーナス値を加えた値を、顔シンボルｎの顕著度１１０１として設定し、この数値に合わせて顔シンボルｎの表示方法を変更する。顔シンボルｎの顕現性を向上させる具体例としては、当該顔シンボルを大きく表示する、当該顔シンボルの透明度を下げる（つまり、はっきり見えるようにする）などの処理がある。
レイアウト配置プログラム２０３４は、上記状態モード３の変数の値に「１」（Ｔｒｕｅ）が設定されている場合、（数２）で示したエネルギー項Ｅ＿２（ｐ）の定数Ｃ＿２をゼロに設定し、顔シンボルｎがユーザ０の視線を避ける移動を停止して、顔シンボルｎの顕現性を向上させる。レイアウト配置プログラム２０３４は、顔シンボルｎの顕著度８０７に示されたユーザｎの表情から得られた顔シンボルｎの顕現性に、ユーザ０の視線集中に基づくボーナス値を加えた値を、顔シンボルｎの顕著度１１０１として設定し、この数値に合わせて顔シンボルｎの表示方法を変更する。顔シンボルｎの顕現性を向上させる具体例としては、当該顔シンボルを大きく表示する、当該顔シンボルの透明度を下げる（つまり、はっきり見えるようにする）などの処理がある。
【0088】
また、レイアウト配置プログラム２０３４は、上記状態モードの変数の値に「１」（Ｔｒｕｅ）が設定されている場合、視線位置ｐ（ｔ）と顔シンボルｆｐ（ｔ）との距離｜ｆｐ（ｔ）－ｐ（ｔ）｜を計算する。レイアウト配置プログラム２０３４は、この値が所定の値ｄ＿３以下である場合には、顔シンボルｆｐ（ｔ）の視聴を続けていると判断し、当該状態モード３の持続期間１１０９をインクリメントする。
【0089】
（顔シンボルの注視継続による情報の提示）
顔シンボル描画プログラム２０３３は、上記状態モード３の持続期間１１０９が一定の値以上になった場合、ユーザ０は意識的に顔シンボルｎを確認しているものと判断し、顔シンボルｎの実体であるユーザｎに対するアイコンタクトが成立した旨の情報の送信と、ユーザｎが見ている情報を共有するために、当該情報に関連する情報の提示を行う。この提示の例として、顔シンボル描画プログラム２０３３は、ユーザｎが見ている文書領域（例えば、図８Ａに示した拡大表示領域Ｗ＿ｎ８０３）に相当する領域の色を、他の領域と比べて一定以上彩度を高めた領域として表示する。あるいは、顔シンボル描画プログラム２０３３は、ユーザｎが表示していない領域の色を暗く設定するなどの処理を行う。
顔シンボル描画プログラム２０３３は、上記状態モード３の持続期間１１０９が一定の値以上になった場合、ユーザ０は意識的に顔シンボルｎを確認しているものと判断し、顔シンボルｎの実体であるユーザｎに対するアイコンタクトが成立した旨の情報の送信と、ユーザｎが見ている情報を共有するために、当該情報に関連する情報の提示を行う。この提示の例として、顔シンボル描画プログラム２０３３は、ユーザｎが見ている文書領域（例えば、図８Ａに示した拡大表示領域Ｗ＿ｎ８０３）に相当する領域の色を、他の領域と比べて一定以上彩度を高めた領域として表示する。あるいは、顔シンボル描画プログラム２０３３は、ユーザｎが表示していない領域の色を暗く設定するなどの処理を行う。
【0090】
図８Ａに示したアイコンタクト相手８０８は、アイコンタクトが成立した場合に設定されるデータ項目である。顔シンボル描画プログラム２０３３は、この項目にユーザ０が設定されている場合、あるユーザｎがユーザ０の顔シンボルを見てアイコンタクトを取っていることを知らせるために、顔シンボルの表示変更を行う。図１２Ａ、１２Ｂに、表示変更される顔シンボルの一例を示す。
【0091】
図１２Ａは、３Ｄモデルで顔シンボルを表現している例を示している。この場合には、顔シンボル描画プログラム２０３３は、３Ｄアニメーションで視線の動きや顔の向きを自由に変えることができる。顔シンボルに３Ｄモデルを用いている場合には、顔シンボルの向きをディスプレイ正面に向けて、ユーザ０の方を向いているかのように表現する。図１２Ａ左では、ユーザｎが、自身が操作する情報端末の画面に表示されているドキュメント等のコンテンツのある位置に視線を送っている。そのため、顔シンボル描画プログラム２０３３は、図４で説明したように、ユーザｎの顔シンボルもその視線に合わせて上記位置の方向を向いた顔シンボル１２０１として表示している。その後、上述したように、ユーザｎとユーザ０との間でアイコンタクトが成立すると、顔シンボル描画プログラム２０３３は、図１２Ａ右に示すように、画面の正面を向くユーザ０の顔シンボル１２０２に変化させ、ユーザ０が操作する情報端末の画面上に表示する。
【0092】
また一方、顔シンボルにビデオ画像などが用いられている場合には、顔の映像を自由に加工することができない。この場合には図１２Ｂのように、カメラ２９２で撮影した画像をテクスチャとして平面上に貼り付け、この平面を正面に向けることで、視聴者の方を向いているかのように表現することができる。図１２Ｂ左では、図１２Ａ左の場合と同様、ユーザｎが、上記ドキュメント等のコンテンツのある位置に視線を送っている。そのため、顔シンボル描画プログラム２０３３は、ユーザｎの顔シンボルとして上記カメラ２９２で撮影した画像もその視線に合わせて上記位置の方向を向いた顔シンボル１２０３として表示している。その後、上述したように、ユーザｎとユーザ０との間でアイコンタクトが成立すると、顔シンボル描画プログラム２０３３は、図１２Ｂ右に示すように、画面の正面を向くように変化させた上記カメラ２９２で撮影した画像１２０４を、ユーザ０が操作する情報端末の画面上に表示する。
【0093】
このほか、もっと単純に、ユーザ０の方を見ている場合には顔シンボルの枠の色を彩度の高いものに変える、顔シンボルの周辺に注目を促すようなアイコンを表示する、音声や効果音を発生する、テキストを表示するなどの様々な手法をとることもできる。また、この時ユーザｎが視聴しているコンテンツの内容をユーザ０に知らせるために、コンテンツの当該部（視線が滞留している位置や、拡大しているエリア）の色を変えるなどの処理を行い、ユーザｎの視聴内容を共有するようにすることもできる。
【0094】
（第三者の視聴）
これまでは、情報端末を操作するユーザと、ドキュメント等のコンテンツを共有しているユーザの顔シンボルとの間でアイコンタクトが成立した場合について説明した。しかし、他のユーザ同士がアイコンタクトをとっている場合も同様に考えることができる。具体的には、顔シンボル描画プログラム２０３３は、ユーザｎが別のユーザｍの顔シンボルとアイコンタクトをとっている場合、第三者であるユーザｏの情報端末の画面上において、ユーザｎの顔シンボルｎを顔シンボルｍが表示されている位置に向けるようにすることができる。顔シンボルの位置は、図１１Ｂに示した顔シンボル配置位置座標ｐ＿ｎ（ｔ）１１０２、前フレームでの位置座標ｐ＿ｎ（ｔ－１）１１０３などから特定すればよい。具体的には、工程９０１と工程９０３で設定されたユーザ０の視聴行動と、工程９０５～工程９０７で設定されたユーザｎの情報に基づくエネルギー関数をもとにして工程９０８で更新された顔シンボルの位置ｐ＿ｎを現在の顔シンボルの位置とし、当該顔シンボルの位置の方向に、アイコンタクトしている顔シンボルを向ければよい。
これまでは、情報端末を操作するユーザと、ドキュメント等のコンテンツを共有しているユーザの顔シンボルとの間でアイコンタクトが成立した場合について説明した。しかし、他のユーザ同士がアイコンタクトをとっている場合も同様に考えることができる。具体的には、顔シンボル描画プログラム２０３３は、ユーザｎが別のユーザｍの顔シンボルとアイコンタクトをとっている場合、第三者であるユーザｏの情報端末の画面上において、ユーザｎの顔シンボルｎを顔シンボルｍが表示されている位置に向けるようにすることができる。顔シンボルの位置は、図１１Ｂに示した顔シンボル配置位置座標ｐ＿ｎ（ｔ）１１０２、前フレームでの位置座標ｐ＿ｎ（ｔ－１）１１０３などから特定すればよい。具体的には、工程９０１と工程９０３で設定されたユーザ０の視聴行動と、工程９０５～工程９０７で設定されたユーザｎの情報に基づくエネルギー関数をもとにして工程９０８で更新された顔シンボルの位置ｐ＿ｎを現在の顔シンボルの位置とし、当該顔シンボルの位置の方向に、アイコンタクトしている顔シンボルを向ければよい。
【0095】
また、ユーザｎがどのユーザの顔シンボルともアイコンタクトをとっていない場合には、顔シンボル描画プログラム２０３３は、話者である発表ユーザ３の顔シンボルか、ユーザｎが操作する情報端末の画面に表示されているドキュメントの中心位置、または当該ドキュメントのうちユーザｎが注視している位置に向けておくこともできる（表情に合わせた顕現性の変更）。
【0096】
図８Ａを用いて既に説明したように、カメラ２９２により撮像されたユーザｎの顔の映像に基づいて定められた表情分類８０６に合わせて３Ｄモデルの表情を変える、または背景色を変える、テキストや漫符表現によって、３Ｄモデルの印象を変えることもできる。この際、顔シンボル描画プログラム２０３３は、ユーザｎの表情やリアクションが基準より大きい場合には、顔シンボルｎの顕著度１１０１の値に、ユーザｎの表情やリアクションの変化の大きさに応じた値を加算することで、顔シンボルｎの顕著度１１０１を向上させて、各ユーザの画面上で、より顕著に表示させることを指示することもできる。その場合、顔シンボル描画プログラム２０３３は、上記顕著度１１０１には、ドキュメント等のコンテンツを画面上に表示しているユーザ０についての顕著度１１０１に、当該コンテンツを共有しているユーザｎの表情やリアクションに基づいて設定された表情分類８０６に応じた値を加算（または類似した処理）した結果を用いる。これにより、より表情が大きく、かつまたユーザｎによって認知されているユーザの顔シンボルが、分かりやすく表示されるようになる。
【0097】
（実施例２）
図１３Ａ、１３Ｂに、他の実施例を示す。図１３Ａ、１３Ｂでは、顔シンボルの表示位置を変更する場合の例を示している。この例では、ユーザの顔シンボルがドキュメントに重複することがより一層生じないように、顔シンボルをドキュメントの周囲の枠のエリアのみに配置されるように設定する。このような設定は、エネルギー関数をドキュメント枠の１次元上で設定することで対応できる。図１３Ｂに、このような制御を行う場合のエネルギーマップの例を示す。ドキュメント上に高いエネルギー領域を置き、ドキュメントの外側に沿って低エネルギー領域を配置することで、顔シンボルはこの低いエネルギー領域に沿ってしか動かないようになる。図１３Ｂでは、図１０Ａ等を用いて説明した方法を用いて、画面上に表示される元ドキュメント１００１の大きさの範囲よりも一定程度狭い領域（例えば、ドキュメントの印字領域の外側の非印字領域として定められた範囲を除いた領域）の外周領域１３０１の内側の範囲Ｒ８を所定値よりも高いエネルギー領域とし、当該領域Ｒ８の外側の領域を上記所定値よりも低いエネルギー領域として設定する。これにより、顔シンボルが上記領域Ｒ８の外側の範囲で移動することとなる。
図１３Ａ、１３Ｂに、他の実施例を示す。図１３Ａ、１３Ｂでは、顔シンボルの表示位置を変更する場合の例を示している。この例では、ユーザの顔シンボルがドキュメントに重複することがより一層生じないように、顔シンボルをドキュメントの周囲の枠のエリアのみに配置されるように設定する。このような設定は、エネルギー関数をドキュメント枠の１次元上で設定することで対応できる。図１３Ｂに、このような制御を行う場合のエネルギーマップの例を示す。ドキュメント上に高いエネルギー領域を置き、ドキュメントの外側に沿って低エネルギー領域を配置することで、顔シンボルはこの低いエネルギー領域に沿ってしか動かないようになる。図１３Ｂでは、図１０Ａ等を用いて説明した方法を用いて、画面上に表示される元ドキュメント１００１の大きさの範囲よりも一定程度狭い領域（例えば、ドキュメントの印字領域の外側の非印字領域として定められた範囲を除いた領域）の外周領域１３０１の内側の範囲Ｒ８を所定値よりも高いエネルギー領域とし、当該領域Ｒ８の外側の領域を上記所定値よりも低いエネルギー領域として設定する。これにより、顔シンボルが上記領域Ｒ８の外側の範囲で移動することとなる。
【0098】
実施例１の手法と同様に、ユーザｎの顔シンボルは、ユーザｎがドキュメントのどの位置を視聴しているかを反映するとともに、互いに距離をとるように配置される。また、図１３Ａの右側で示されるように、レイアウト配置プログラム２０３４は、ユーザ２の顔シンボル１３０１に視線が一定期間集中した場合には、画面右上に位置する顔シンボル１３０１を、上記領域Ｒ８の外側の範囲であって、所定の位置（この図の例では右側中央の位置）に移動させて顔シンボル１３０１’として表示する。工程９０４に相当する処理によって視線が追従したことを確認することで、ユーザ２とアイコンタクトが成立したか否かについては、実施例１と同様の手法を用いればよい。
【0099】
（マウスポインタ）
また、図１３Ａにおいて、発表者であるユーザ（ユーザ５）が、当該ユーザが操作する情報端末の入出力機器２９４であるマウスカーソルなどのポインティングデバイスによるマウスポインタにより、画面上のある位置１３０２を指定することもできる。この場合の顔シンボルの制御について、図１３Ａ、１４を用いて説明する。図１４Ａに示すように、ユーザ５が、自身が操作する情報端末の入出力機器２９４を操作して、画面上にマウスポインタを位置１３０２に移動させた場合を考える。この場合、レイアウト配置プログラム２０３４は、当該位置１３０２にあるマウスポインタの外側の所定範囲に、当該ユーザ５の顔シンボル１３０３を表示させる。顔シンボル１３０３を表示する位置は、レイアウト配置プログラム２０３４が、図１１Ｂに示した顔シンボル配置位置座標ｐ＿ｎ（ｔ）１１０２、前フレームでの位置座標ｐ＿ｎ（ｔ－１）１１０３などから特定した位置が、マウスポインタの位置１３０２から上記所定範囲内となるような任意の位置に配置して表示させればよい。
また、図１３Ａにおいて、発表者であるユーザ（ユーザ５）が、当該ユーザが操作する情報端末の入出力機器２９４であるマウスカーソルなどのポインティングデバイスによるマウスポインタにより、画面上のある位置１３０２を指定することもできる。この場合の顔シンボルの制御について、図１３Ａ、１４を用いて説明する。図１４Ａに示すように、ユーザ５が、自身が操作する情報端末の入出力機器２９４を操作して、画面上にマウスポインタを位置１３０２に移動させた場合を考える。この場合、レイアウト配置プログラム２０３４は、当該位置１３０２にあるマウスポインタの外側の所定範囲に、当該ユーザ５の顔シンボル１３０３を表示させる。顔シンボル１３０３を表示する位置は、レイアウト配置プログラム２０３４が、図１１Ｂに示した顔シンボル配置位置座標ｐ＿ｎ（ｔ）１１０２、前フレームでの位置座標ｐ＿ｎ（ｔ－１）１１０３などから特定した位置が、マウスポインタの位置１３０２から上記所定範囲内となるような任意の位置に配置して表示させればよい。
【0100】
この場合でも、マウスカーソルに対応付けて顔シンボルが表示されるが、当該顔シンボルと、その下層に表示されているドキュメント等のコンテンツの一部分とが重なって表示されるため、発表者であるユーザ５は、自身が発表している上記コンテンツの内容を視認できなくなってしまう。そこで、図１４Ａに示すように、レイアウト配置プログラム２０３４は、マウスポインタの位置１３０２の周辺でエネルギーが一定の閾値に満たない（すなわち重要度の低い）位置１３０４に、当該ユーザ５の顔シンボルを移動させてもよい。例えば、レイアウト配置プログラム２０３４は、顔シンボルを、顔シンボル１３０３の位置から位置１３０４に移動させる。この場合、図１４Ａに示すように、マウスポインタの位置１３０２から顔シンボルの位置１３０４まで矢印や吹き出し線を描き、マウスポインタが示す位置を参照できるように可視化する。
【0101】
レイアウト配置プログラム２０３４は、この方法以外にも、マウスポインタが示す位置と顔シンボルの位置とを視認可能な様々な態様で対応付けて、画面上に表示してよい。この配置位置の決定には、実施例１で説明した工程９０７で作成したエネルギーマップを使用する。具体的には、レイアウト配置プログラム２０３４は、工程９０１、工程９０５、工程９０６のエネルギーの総和Ｅ（ｐ）と、当該エネルギーＥ（ｐ）の勾配Δｐ＿ｎ（ｔ）とを計算し、工程９０８において、マウスポインタが示す位置に対応付けて表示している顔シンボル１３０３の位置を、ｐ＿ｎ（ｔ－１）からエネルギーの低い領域ｐ＿ｎ（ｔ）である上記位置１３０４に移動させる。
【0102】
この際、移動後の上記位置１３０４がマウスポインタの位置１３０２から一定以上離れすぎることが無いように、図１４Ｂに示すようなエネルギー項を追加する。このエネルギー項は、マウスポインタの位置１３０２の周辺半径ｄ＿Ａ１ではエネルギーの値を０とし、そこから一定距離離れるごとに距離に比例したエネルギー値がかかるものとする。図１４Ｂでは、例えば、レイアウト配置プログラム２０３４は、上記位置１３０２としてマウスポインタの中心位置１４０１が表示され、当該中心位置から距離ｄ＿Ａ１を隔てた範囲では、中心位置１４０１からの距離に応じて一定程度の割合で上記エネルギーの値を増加させる。そして、レイアウト配置プログラム２０３４は、上記中心位置から距離ｄ＿Ａ１よりも距離が遠くなる位置では、さらに一定程度高いエネルギーの値とする（図１４Ｂの黒領域）。このようなエネルギーの値の設定により、マウスポインタの周辺へ顔シンボルを移動させる制御を行った場合でも、当該マウスポインタとの距離が離れすぎることがなくなり、ユーザによるマウスポインタおよび顔シンボルの視認性を両立させることができる。
【0103】
上述のように、マウスポインタの位置に対応する位置に顔シンボルを表示させる場合において、レイアウト配置プログラム２０３４は、顔シンボル１３０３の位置を、ｐ＿ｎ（ｔ－１）からエネルギーの低い領域ｐ＿ｎ（ｔ）である上記位置１３０４に移動させる。このときに、レイアウト配置プログラム２０３４は、カメラ２９２の映像や画像から推定されたユーザの視線方向が、顔シンボルの移動前の位置から移動後の位置に移動したか否かを判定し、顔シンボルの移動前の位置から移動後の位置に移動したと判定した場合、ユーザは顔シンボルを見ているものと判断して、実施例１の手順に従い顔シンボル５の顕現性を向上させる。
【0104】
（実施例３）
図１５は、上述した各実施例を、３Ｄメタバースと連携させて動作させたシステムとして構成した場合の形態を示したものである。仮想空間１５００は、各ユーザ０～５を示す顔シンボルを含むアバターが、３次元の仮想空間内のいずれかの位置に３Ｄモデルとして配置されたものである。仮想空間１５００に対する３Ｄアバターの実装については、従来から知られている様々な技術を用いてよい。
図１５は、上述した各実施例を、３Ｄメタバースと連携させて動作させたシステムとして構成した場合の形態を示したものである。仮想空間１５００は、各ユーザ０～５を示す顔シンボルを含むアバターが、３次元の仮想空間内のいずれかの位置に３Ｄモデルとして配置されたものである。仮想空間１５００に対する３Ｄアバターの実装については、従来から知られている様々な技術を用いてよい。
【0105】
仮想空間１５００内には、各ユーザで共有するドキュメントを大きく表示した仮想ディスプレイ１５０１が表示されている。また、各ユーザは、ディスプレイ１５０１が見にくいと判断し、その旨の情報を各ユーザが操作する情報端末（例えば、スマートフォン）から入力したには、ドキュメント描画プログラム２０３２は、仮想ディスプレイ１５０１に表示されているドキュメントと同様の内容を表示した画面を、仮想空間１５０１内の個人用の仮想ディスプレイ１５０２に表示することもできる。この例では、ｕｓｅｒ４が個人用仮想ディスプレイ１５０２を見ている様子を示している。ユーザ０～５は、この仮想空間内で会議や議論などを行うことができる。
【0106】
（２Ｄから３Ｄへの反映）
画面１５１０は、実施例１の手法を用いて仮想空間１５００で行われる会議に参加するユーザ０の画面である。当該画面１５０１は、上述した仮想ディスプレイ１５０１や個人用の仮想ディスプレイ１５０２に表示されたドキュメントを表示する画面である。画面１５１０は、各ユーザが操作する情報端末のディスプレイ２９１に表示される。
画面１５１０は、実施例１の手法を用いて仮想空間１５００で行われる会議に参加するユーザ０の画面である。当該画面１５０１は、上述した仮想ディスプレイ１５０１や個人用の仮想ディスプレイ１５０２に表示されたドキュメントを表示する画面である。画面１５１０は、各ユーザが操作する情報端末のディスプレイ２９１に表示される。
【0107】
実施例１の手法を通して、顔シンボル描画プログラム２０３３が、ユーザ０がどのユーザの顔シンボルに視線を送っているかを判断すると、当該判断されたユーザの顔シンボルとのアイコンタクトの内容を、仮想空間１５００のディスプレイ１５０１に反映する。例えば、顔シンボル描画プログラム２０３３は、仮想空間１５００内に表示されているユーザ０のアバター１５０３の向きを、見ているユーザｍのアバターが表示されている方向に向ける。また、ユーザが、どのユーザのアバターともアイコンタクトを行っておらず、ドキュメントを視聴している場合には、顔シンボル描画プログラム２０３３は、アバター１５０３の向きを、仮想ディスプレイ１５０１に向けて表示させる。
【0108】
（３Ｄから２Ｄへの反映）
また同様に、仮想空間１５００内で、どのアバターがどのアバターを見ているかを検出する手段がある場合には、画面１５１０に表示されている顔シンボルの向きにも、仮想空間１５００におけるアバターの向きの変化を反映する。例えば、顔シンボル描画プログラム２０３３は、ｕｓｅｒ３のアバターが仮想空間１５００内でｕｓｅｒ２のアバターを見ている場合には、画面１５１０に表示されているｕｓｅｒ３の顔シンボル３をｕｓｅｒ２の顔シンボル２の方向に向けて表示させる。また、上述した仮想ディスプレイ１５０１を見ているユーザ１や個人用の仮想ディスプレイ１５０２に表示された顔シンボルを見ているユーザ４については、顔シンボル描画プログラム２０３３は、それぞれ実施例１の手法を用いて、画面１５１０に表示されているコンテンツのなかで、着目している位置を見るように顔シンボルの向きを反映させる。
また同様に、仮想空間１５００内で、どのアバターがどのアバターを見ているかを検出する手段がある場合には、画面１５１０に表示されている顔シンボルの向きにも、仮想空間１５００におけるアバターの向きの変化を反映する。例えば、顔シンボル描画プログラム２０３３は、ｕｓｅｒ３のアバターが仮想空間１５００内でｕｓｅｒ２のアバターを見ている場合には、画面１５１０に表示されているｕｓｅｒ３の顔シンボル３をｕｓｅｒ２の顔シンボル２の方向に向けて表示させる。また、上述した仮想ディスプレイ１５０１を見ているユーザ１や個人用の仮想ディスプレイ１５０２に表示された顔シンボルを見ているユーザ４については、顔シンボル描画プログラム２０３３は、それぞれ実施例１の手法を用いて、画面１５１０に表示されているコンテンツのなかで、着目している位置を見るように顔シンボルの向きを反映させる。
【0109】
以上、各実施例について説明したが、実施例１に示したコミュニケーション支援システムでは、図７、図９のＳ９０５、Ｓ９０８、図１０Ａ－１０Ｃ等を用いて説明したように、プロセッサとメモリとを有したコンピュータにより構成される情報端末２（あるいはサーバ１等）により、ユーザ同士のコミュニケーションを支援するコミュニケーション支援システム１０００において、上記ユーザのそれぞれが操作する上記情報端末は、表示装置（ディスプレイ２９１）を有し、上記プロセッサは、各ユーザの上記情報端末の間で共有するドキュメントを再生して上記表示装置に出力するドキュメント描画処理（ドキュメント描画プログラム２０３２）を行い、撮像装置（カメラ２９２）から得られた上記ユーザを撮像した顔画像から上記ユーザの特徴点を算出し、算出した上記ユーザの特徴点に基づいて上記ユーザの顔シンボル（表情アイコン２５）を生成して上記表示装置に出力する第１の顔シンボル描画処理（顔シンボル描画プログラム２０３３）と、上記顔画像から上記ユーザの視線方向を検出し、上記ユーザが上記表示装置における視線の向きを推定する第２の顔シンボル描画処理（顔シンボル描画プログラム２０３３）と、所定のエネルギーマップにより算出した上記ドキュメントの重要度と、推定された上記ユーザの視線の向きとに基づいて、生成された上記ユーザの顔シンボルの上記表示装置上における配置位置を決定するレイアウト配置処理（レイアウト配置プログラム２０３４）と、を行う。これにより、画面に表示されるドキュメント等の文書と顔画像シンボルの表示を伴う遠隔コミュニケーションにおいて、限られたディスプレイ空間上で、ドキュメントと顔情報とを画面上に効果的に表示することができ、共有ドキュメントの表示と顔情報の提示を省スペースで効率よく実現できる。
【0110】
また、図９のＳ９０１、Ｓ９０８、図１０Ａ－１０Ｃ等を用いて説明したように、上記プロセッサは、上記レイアウト配置処理において、上記所定のエネルギーマップが所定の条件（例えば、エネルギーマップの値が一定の閾値以上であること）を満たさない上記ドキュメント上の範囲を、上記重要度が低い範囲と判断し、当該重要度が低い範囲に上記ユーザの顔シンボルを配置する。これにより、ドキュメント上の重要な範囲を避けるように顔シンボルを配置することができる。
【0111】
また、図９のＳ９０６、図１０Ｄ等を用いて説明したように、上記プロセッサは、上記レイアウト配置処理において、上記表示装置に表示されるそれぞれのユーザの顔シンボルが、所定の分布（例えば、ガウス分布）に基づいて互いに一定間隔を隔てて配置されるように、上記エネルギーマップを設定する。これにより、表示されている顔シンボルが相互になるべく離れるような位置への配置が可能となる。
【0112】
また、図９のＳ９０４、図１１Ａ、１１Ｂ等を用いて説明したように、上記プロセッサは、上記レイアウト配置処理において、上記ユーザの視線の向きが、上記表示装置に表示されている上記顔シンボルを追跡しているか否かを判定することにより、上記ユーザが上記ドキュメントを視聴しているのか、上記顔シンボルに視線を送っているのかを確認する。これにより、顔シンボルに対するアイコンタクトの精度を向上させることができる。
【0113】
また、実施例２、図１３Ａ、１３Ｂ等を用いて説明したように、上記プロセッサは、上記レイアウト配置処理において、上記ドキュメントの周辺を当該ドキュメントよりも低いエネルギー領域とした上記所定のエネルギーマップを生成し、生成した上記所定のエネルギーマップの上記低いエネルギー領域（例えば、ドキュメントの印字領域の外側の非印字領域）で上記顔シンボルを移動させる。これにより、ドキュメント上に顔シンボルを表示する場合でも、当該ドキュメントの視認性を高めることができる。
【0114】
本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化したり、上記実施の形態に開示されている複数の構成要素を適宜組み合わせて実施することができる。
【符号の説明】
【0115】
１…サーバ
２…情報端末（ＰＣ）
３…発表ユーザ
４…第１のグループ
５…第２のグループ
６ａ～６ｃ…視聴ユーザ
７…情報端末（パッド）
１１…ユーザ１の顔シンボル
１５…ユーザ５（発表ユーザ）の顔シンボル
２２…カメラ撮影画像
２３…特徴点抽出画像
２４…表情再現モデル
２５…表情再現アイコン
１１０１ …元ドキュメント
１１０２ …顕著度マップ
１１０３ …重要要素検出マップ
１１０４ …ユーザ指定マップ
１５００ …３Ｄメタバース空間
１５０１ …メタバース内の共有仮想ディスプレイ
１５０２ …メタバース内の個人用仮想ディスプレイ
１５０３ …ユーザ０の３Ｄアバター
２…情報端末（ＰＣ）
３…発表ユーザ
４…第１のグループ
５…第２のグループ
６ａ～６ｃ…視聴ユーザ
７…情報端末（パッド）
１１…ユーザ１の顔シンボル
１５…ユーザ５（発表ユーザ）の顔シンボル
２２…カメラ撮影画像
２３…特徴点抽出画像
２４…表情再現モデル
２５…表情再現アイコン
１１０１ …元ドキュメント
１１０２ …顕著度マップ
１１０３ …重要要素検出マップ
１１０４ …ユーザ指定マップ
１５００ …３Ｄメタバース空間
１５０１ …メタバース内の共有仮想ディスプレイ
１５０２ …メタバース内の個人用仮想ディスプレイ
１５０３ …ユーザ０の３Ｄアバター
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A】
【図13B】
【図14A】
【図14B】
【図15】