特許 7453652 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-12

(45)【発行日】2024-03-21

(54)【発明の名称】視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240313BHJP

   G06F 3/04815 20220101ALI20240313BHJP

   G06F 3/0346 20130101ALI20240313BHJP

   G06F 3/038 20130101ALI20240313BHJP

   G06T 19/00 20110101ALI20240313BHJP

   G09G 5/00 20060101ALI20240313BHJP

   G09G 5/37 20060101ALI20240313BHJP

   G09G 5/02 20060101ALI20240313BHJP

   G09G 5/10 20060101ALI20240313BHJP

   G09G 5/373 20060101ALI20240313BHJP

   H04N 7/18 20060101ALI20240313BHJP

【ＦＩ】

G06F3/01 510

G06F3/04815

G06F3/0346 421

G06F3/038 310A

G06T19/00 600

G09G5/00 550C

G09G5/00 550B

G09G5/37 200

G09G5/02 B

G09G5/10 B

G09G5/37 320

G09G5/373 100

H04N7/18 U

【請求項の数】 8

(21)【出願番号】P 2020187319

(22)【出願日】2020-11-10

(65)【公開番号】P2022076762

(43)【公開日】2022-05-20

【審査請求日】2023-05-18

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】598121341

【氏名又は名称】慶應義塾

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】志水 信哉

(72)【発明者】

【氏名】磯貝 愛

(72)【発明者】

【氏名】中尾 拓郎

(72)【発明者】

【氏名】クンツェ カイ

【審査官】槙 俊秋

(56)【参考文献】

【文献】特開２０１７－５５９９３（ＪＰ，Ａ）

【文献】特表２０１６－５０９７０５（ＪＰ，Ａ）

【文献】国際公開第２０１９／１８７４８７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１４／０３６１９７１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／００２７２１８（ＵＳ，Ａ１）

【文献】特開２０１３－１９６１５８（ＪＰ，Ａ）

【文献】特開２０１０－２６８１５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０９Ｇ ５／００－５／４２

Ａ６３Ｆ ９／２４

Ａ６３Ｆ １３／００－１３／９８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０－１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００－１９／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する注視対象検出部と、
前記注視対象検出部が検出する前記オブジェクトの特徴を強調して前記仮想空間、又は、前記複合空間に表示する表示部と、
を備え、
前記注視対象検出部は、
前記参加者の視線に関するデータと、前記参加者ごとの視野画像データとに基づいて、前記参加者が注視しているオブジェクトである注視対象オブジェクトを検出し、前記参加者の最新の視線と、１つ前の視線とが成す角度で表される視線の変化量が、予め定められる視線の変化量の閾値を超えている場合には、閾値を超えている視線の変化量に応じたオブジェクトの種類を検出対象のオブジェクトとし、前記視線の変化量が、前記閾値以下である場合には、閾値以下の視線の変化量に応じたオブジェクトの種類を検出対象のオブジェクトとし、前記検出対象のオブジェクトに応じて参加者毎に前記注視対象オブジェクトを検出する視線情報提示装置。

【請求項2】

仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する注視対象検出部と、
前記注視対象検出部が検出する前記オブジェクトの特徴を強調して前記仮想空間、又は、前記複合空間に表示する表示部と、
を備え、
前記注視対象検出部は、
前記参加者の視線に関するデータと、前記参加者ごとの視野画像データとに基づいて、前記参加者が注視しているオブジェクトである注視対象オブジェクトを検出し、前記参加者と前記参加者の視線の方向に存在するオブジェクトとの間の距離と、前記参加者の瞳孔径とに基づいて算出される合焦度が、予め定められる合焦度閾値未満である場合には前記オブジェクトを前記注視対象オブジェクトとして検出しない視線情報提示装置。

【請求項3】

前記表示部は、
前記参加者が複数である場合に注視している前記参加者の数が多い前記オブジェクトほど、又は、注視されている時間が長い前記オブジェクトほど、当該オブジェクトの特徴を強調する度合いを強くする、
請求項１又は２に記載の視線情報提示装置。

【請求項4】

前記表示部は、
前記注視対象オブジェクトを示すデータに基づいて、前記仮想空間の生成に用いられる仮想空間データを加工する仮想空間加工部と、
前記仮想空間の場合には、前記仮想空間加工部が加工した前記仮想空間データに基づいて、前記参加者ごとの視野の領域に応じた前記仮想空間の視野画像データを生成し、前記複合空間の場合には、前記仮想空間加工部が加工した前記仮想空間データと、前記現実空間を撮影することにより得られる現実空間データとに基づいて、前記参加者ごとの視野の領域に応じた前記複合空間の視野画像データを生成する視野画像データ生成部と、
を備える請求項１から３のいずれか一項に記載の視線情報提示装置。

【請求項5】

前記仮想空間加工部は、
前記注視対象オブジェクトのプロパティの設定値を変更する前記仮想空間データの加工を行い、
前記複合空間の場合に、前記注視対象オブジェクトが前記現実空間データに示されているオブジェクトである場合、
前記仮想空間加工部は、
前記注視対象オブジェクトに対応する仮想オブジェクトが、前記仮想空間において前記注視対象オブジェクトに重なって表示されるように前記仮想空間データを加工し、当該仮想オブジェクトのプロパティの設定値を変更する前記仮想空間データの加工を行う、
請求項４に記載の視線情報提示装置。

【請求項6】

仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する注視対象検出ステップと、
検出した前記オブジェクトの特徴を強調して前記仮想空間、又は、前記複合空間に表示する表示ステップと、
を含み、
前記注視対象検出ステップにおいて、前記参加者の視線に関するデータと、前記参加者ごとの視野画像データとに基づいて、前記参加者が注視しているオブジェクトである注視対象オブジェクトを検出し、前記参加者の最新の視線と、１つ前の視線とが成す角度で表される視線の変化量が、予め定められる視線の変化量の閾値を超えている場合には、閾値を超えている視線の変化量に応じたオブジェクトの種類を検出対象のオブジェクトとし、前記視線の変化量が、前記閾値以下である場合には、閾値以下の視線の変化量に応じたオブジェクトの種類を検出対象のオブジェクトとし、前記検出対象のオブジェクトに応じて参加者毎に前記注視対象オブジェクトを検出する視線情報提示方法。

【請求項7】

仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する注視対象検出ステップと、
検出した前記オブジェクトの特徴を強調して前記仮想空間、又は、前記複合空間に表示する表示ステップと、
を含み、
前記注視対象検出ステップにおいて、前記参加者の視線に関するデータと、前記参加者ごとの視野画像データとに基づいて、前記参加者が注視しているオブジェクトである注視対象オブジェクトを検出し、前記参加者と前記参加者の視線の方向に存在するオブジェクトとの間の距離と、前記参加者の瞳孔径とに基づいて算出される合焦度が、予め定められる合焦度閾値未満である場合には前記オブジェクトを前記注視対象オブジェクトとして検出しない視線情報提示方法。

【請求項8】

請求項１から請求項５のいずれか一項に記載の視線情報提示装置としてコンピュータを実行させるための視線情報提示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線情報提示装置、視線情報提示方法、及び視線情報提示プログラムに関する。

【背景技術】

【0002】

仮想空間を用いることで、遠く離れた人々が空間を共有し、コミュニケーションを取ることが可能である。仮想空間には、自由にオブジェクトを作成して配置することができるので、現実空間では体験することが困難なことを体験することができる。仮想空間での体験を通じて現実空間では得られない情報を得たりすることで知識などを高めたりすることができる。そのため、学習などでの活用が期待されている。

【0003】

ところで、仮想空間において、仮想空間の参加者を表すアバターの表現力は、現実空間の人間と比べて、非常に限定されている。そのため、現実空間におけるインタラクションでは交換できていた情報が正しく交換できないことがある。特に、相手がどこを見ているかという視線の情報は、インタラクションには非常に重要な情報であるが、微妙な顔の向きの違いや眼球運動によって伝えられる情報である。そのため、視線の情報を忠実にアバターに反映させるのは難しい。忠実に反映できたとしても、ヘッドマウントディスプレイ等では表現可能な視野角が限られるため、インタラクションの相手がその情報を受け取れるとは限らない。

【0004】

この問題に対して、仮想空間の特徴を生かし、現実空間では明に可視化されていない視線の情報を示す仮想オブジェクトとして提示することにより、インタラクションの相手との間で視線の情報を共有する技術が、非特許文献１に開示されている。

【先行技術文献】

【非特許文献】

【0005】

【文献】Rahman, Yitoshee & Asish, Sarker Monojit & Khokhar, Adil & Kulshreshth, Arun K. & Borst, Christoph W.,"Gaze Data Visualizations for Educational VR Applications", SUI '19, Symposium on Spatial User Interaction. 1-2. 10.1145/3357251.3358752, October 2019

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、人の視線は極めて頻繁に移動するため、非特許文献１に記載の技術では、実際には存在しない視線の情報を示す仮想オブジェクトが頻繁に動くことになる。そのため、この頻繁に動く視線の情報を示す仮想オブジェクトが、仮想空間の参加者の注意を引いてしまうことになり、参加者の間のインタラクションを阻害することになってしまうという問題がある。

【0007】

上記事情に鑑み、本発明は、参加者が注視しているオブジェクトを共有することができる視線情報提示装置、視線情報提示方法、及び視線情報提示プログラムを提供することにある。

【課題を解決するための手段】

【0008】

本発明の一態様は、仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する注視対象検出部と、前記注視対象検出部が検出する前記オブジェクトの特徴を強調して前記仮想空間、又は、前記複合空間に表示する表示部と、を備える視線情報提示装置である。

【0009】

本発明の一態様は、仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する注視対象検出ステップと、検出した前記オブジェクトの特徴を強調して前記仮想空間、又は、前記複合空間に表示する表示ステップと、を含む視線情報提示方法である。

【0010】

本発明の一態様は、上記の視線情報提示装置としてコンピュータを実行させるための視線情報提示プログラムである。

【発明の効果】

【0011】

本発明により、参加者が注視しているオブジェクトを共有することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態による視線情報提示システムの構成を示すブロック図である。

【図2】本実施形態におけるオブジェクト単位テーブルのデータ構成を示す図である。

【図3】本実施形態におけるプロパティ変更オブジェクトテーブルのデータ構成を示す図である。

【図4】本実施形態の視線情報提示装置における処理の流れを示すフローチャートである。

【図5】本実施形態の視線情報提示装置のハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の実施形態による視線情報提示システム１の構成を示すブロック図である。視線情報提示システム１は、視線情報提示装置２、視線計測装置３－１～３－Ｎ、表示装置４－１～４－Ｍ、及び方向検出装置５－１～５－Ｍを備える。ここで、Ｎ、Ｍは、１以上の整数である。したがって、視線情報提示システム１を利用するユーザ（以下「参加者」という。）の最低人数は、一人であってもよいことになる。

【0014】

Ｎは、Ｍ以下の値である。例えば、一人の教師と、複数の生徒が参加する学習環境において、教師の視線情報を生徒に共有させる必要がない場合、教師には視線計測装置３－１～３－Ｎは不要になる。この場合、Ｎは、Ｍよりも１つ少ない値になる。

【0015】

例えば、Ｍ人の参加者の各々に対して、頭部に装着するヘッドマウントディスプレイが１つずつ割り当てられる場合、ヘッドマウントディスプレイは、Ｍ個存在することになる。Ｍ個のヘッドマウントディスプレイの各々は、表示装置４－１～４－Ｍのいずれか１つと、方向検出装置５－１～５－Ｍのいずれか１つとを備える。Ｍ個のヘッドマウントディスプレイの中のＮ個のヘッドマウントディスプレイの各々は、更に、視線計測装置３－１～３－Ｎのいずれか１つを備えることになる。なお、視線計測装置３－１～３－Ｎと、表示装置４－１～４－Ｍと、方向検出装置５－１～５－Ｍという３つの装置において、符号の枝番号が同一である装置、例えば、視線計測装置３－１と、表示装置４－１と、方向検出装置５－１とが、例えば、同一のヘッドマウントディスプレイに備えられており、同一の参加者に対応付けられているものとする。

【0016】

視線計測装置３－１～３－Ｎ、表示装置４－１～４－Ｍ、及び方向検出装置５－１～５－Ｍは、視線情報提示装置２に接続する。当該接続は、データの送受信が可能であればどのような接続形態であってもよく、有線や無線による物理的な接続であってもよいし、通信ネットワークを介した論理的な接続であってもよい。

【0017】

視線計測装置３－１～３－Ｎの各々は、同一の構成を有しており、各々に対応する参加者の視線に関する情報を計測する。視線に関する情報を計測する手法としては、参加者の視線の方向や、焦点の合焦度などを判定することができるデータを計測することができるのであれば、どのような手法を適用してもよい。ここで、参加者の視線の方向や、焦点の合焦度などを判定することができるデータとは、例えば、参加者の頭の方向、眼球運動、瞳孔径などのデータである。

【0018】

表示装置４－１～４－Ｍの各々は、同一の構成を有しており、視線情報提示装置２が参加者ごとに生成する視野画像データを画面に表示する。方向検出装置５－１～５－Ｍの各々は、同一の構成を有しており、内部に備えるジャイロセンサ等により各々に対応する参加者の顔の方向を示すデータを検出する。

【0019】

視線情報提示装置２は、空間データ記憶部２１、視野画像データ記憶部２２、注視対象検出部２３、オブジェクト単位記憶部２４、プロパティ変更オブジェクト記憶部２５、及び表示部３０を備える。表示部３０は、仮想空間加工部３１と、視野画像データ生成部３２とを備える。

【0020】

空間データ記憶部２１は、仮想空間の生成に用いられる仮想空間データを記憶する。ここで、仮想空間とは、いわゆるサイバースペースのことである。例えば、仮想空間は、コンピュータや、コンピュータ・ネットワーク上において電子的に作られた仮想的な空間のことである。仮想空間では、全てのオブジェクトがコンピュータグラフィックスにより生成されているものとする。オブジェクトとは、例えば、人、家具、建築物、道路、車両、樹木などの物体のことである。したがって、仮想空間データは、コンピュータグラフィックスにより生成される仮想的なオブジェクト（以下「仮想オブジェクト」という。）のデータを含むことになる。

【0021】

仮想空間データに含まれる複数の仮想オブジェクトのデータの各々には、個々のオブジェクトを識別可能なオブジェクト識別情報、オブジェクトの３次元形状を示すデータ、オブジェクトの仮想空間内における位置や方向などの配置状態を示すデータ、オブジェクトの種類を示すデータ、オブジェクトの属性を示すプロパティを示すデータ等が含まれている。プロパティを示すデータには、例えば、彩度、明度、シャープネス、大きさ、輪郭線の太さ、輪郭線の色などのプロパティの種類と、プロパティの種類ごとの設定値が含まれている。

【0022】

視線情報提示装置２が、参加者に対して仮想空間のみを提供する場合、空間データ記憶部２１は、仮想空間データのみを記憶する。これに対して、視線情報提示装置２が、参加者に対して一部が仮想的に構築された空間、すなわち、仮想空間と現実空間とを含む複合空間を提供する場合、空間データ記憶部２１は、仮想空間データと、現実空間データとを記憶する。

【0023】

ここで、現実空間データとは、例えば、３６０°を撮影できるカメラによって現実世界に存在する特定の街や室内などを予め撮影した画像データであってもよいし、例えば、参加者の前方に実際に見えている現実世界の景色を、参加者が装着するヘッドマウントディスプレイに搭載されたカメラによって撮影した画像データであってもよい。なお、前者の画像データの場合、全ての参加者に対して現実空間データは１つであり、後者の画像データの場合、参加者ごとに現実空間データが存在することになる。前者の現実空間データと、後者の現実空間データとを区別して示す場合、前者を参加者共有現実空間データといい、後者の現実空間データを参加者別現実空間データという。

【0024】

視野画像データ生成部３２は、空間データ記憶部２１が、仮想空間データのみを記憶している場合、方向検出装置５－１～５－Ｍが検出する各参加者の顔の方向を示すデータと、仮想空間データとに基づいて、各参加者の視野画像データを生成する。

【0025】

視野画像データ生成部３２は、空間データ記憶部２１が、仮想空間データと、参加者共有現実空間データとを記憶している場合、方向検出装置５－１～５－Ｍが検出する各参加者の顔の方向を示すデータと、仮想空間データと、参加者共有現実空間データとに基づいて、各参加者の視野画像データを生成する。

【0026】

視野画像データ生成部３２は、空間データ記憶部２１が、仮想空間データと、参加者別現実空間データとを記憶している場合、以下のような手順で、各参加者の視野画像データを生成する。最初に、視野画像データ生成部３２は、方向検出装置５－１～５－Ｍが検出する各参加者の顔の方向を示すデータと、仮想空間データとに基づいて、仮想空間の部分の視野画像データを参加者ごとに生成する。次に、視野画像データ生成部３２は、生成した各参加者の仮想空間の部分の視野画像データの各々に、各々に対応する参加者の参加者別現実空間データを結合させて、各参加者の視野画像データを生成する。

【0027】

上記の各参加者の視野画像データとは、仮想空間、又は、仮想空間と現実空間とを含む複合空間において見ることができる任意の景色のうち、各参加者の視野の領域を切り出した景色を示す画像データである。仮想空間データと、参加者共有現実空間データとについては、参加者の顔の方向によって視野の領域が変わることになる。そのため、視野画像データ生成部３２は、参加者の顔の方向を中心とした予め定められる一定の領域を、当該参加者の視野の領域として特定する。

【0028】

ここで、視野の領域を特定した、ある一人の参加者を参加者Ａとする。視野画像データ生成部３２は、仮想空間データから特定した参加者Ａの視野の領域を切り出して仮想空間の部分の視野画像データを生成する。空間データ記憶部２１が、仮想空間データのみを記憶している場合、生成した仮想空間の部分の視野画像データが、参加者Ａについての最終的な視野画像データになる。

【0029】

なお、視野画像データ生成部３２は、仮想空間の部分の視野画像データを生成する際、当該仮想オブジェクトに関連付けられている仮想オブジェクトのデータ、すなわち、オブジェクト識別情報や、オブジェクトの種類を示すデータなどを関連付けた状態で視野画像データを生成する。

【0030】

空間データ記憶部２１が、仮想空間データと、参加者共有現実空間データとを記憶している場合、視野画像データ生成部３２は、更に、参加者共有現実空間データから特定した参加者Ａの視野の領域を切り出して現実空間の部分の視野画像データを生成する。視野画像データ生成部３２は、参加者Ａの仮想空間の部分の視野画像データと、参加者Ａの現実空間部分の視野画像データとを結合して、参加者Ａについての最終的な視野画像データを生成する。

【0031】

これに対して、参加者別現実空間データは、参加者ごとに生成されるデータである。そのため、空間データ記憶部２１が、仮想空間データと、参加者別現実空間データとを記憶している場合、視野画像データ生成部３２は、参加者Ａの仮想空間の部分の視野画像データと、参加者Ａの参加者別現実空間データを結合して、参加者Ａについての最終的な視野画像データを生成する。

【0032】

視野画像データ記憶部２２は、視野画像データ生成部３２が参加者ごとに生成する視野画像データを記憶する。視野画像データ生成部３２は、一定の間隔で各参加者の視野画像データを生成する。そのため、視野画像データ記憶部２２が記憶する各参加者の視野画像データは、視野画像データ生成部３２が新たな視野画像データを生成するごとに、視野画像データ生成部３２によって上書きされることになる。

【0033】

オブジェクト単位記憶部２４は、例えば、図２に示すオブジェクト単位テーブル２４０を記憶する。オブジェクト単位テーブル２４０は、「視線の変化量」と「オブジェクト種別」の項目を有しており、「視線の変化量」には、「大」と「小」が書き込まれ、「オブジェクト種別」には、本棚、人などのオブジェクトの種別が書き込まれる。

【0034】

注視対象検出部２３は、視線計測装置３－１～３－Ｎが計測する各参加者の視線に関する情報のデータ、すなわち、頭の方向、眼球運動、瞳孔径などのデータと、視野画像データ記憶部２２が記憶する各参加者の視野画像データと、オブジェクト単位テーブル２４０が記憶するデータとに基づいて、各参加者が注視しているオブジェクト（以下「注視対象オブジェクト」という。）を検出する。

【0035】

仮想空間加工部３１は、仮想空間データに含まれる仮想オブジェクトを生成したり、仮想オブジェクトを削除したり、仮想オブジェクトを移動させたりする加工を仮想空間データに対して行う。仮想空間加工部３１は、注視対象検出部２３が検出した注視対象オブジェクトの中から予め定められる所定の条件、例えば、注視対象オブジェクトを注視している参加者の数などに基づいてプロパティの設定値の変更を行う変更対象のオブジェクト（以下「変更対象オブジェクト」という。）を選択する。仮想空間加工部３１は、選択した変更対象オブジェクトのプロパティの設定値を変更する加工を空間データ記憶部２１が記憶する仮想空間データに対して行う。

【0036】

仮想空間加工部３１は、選択した変更対象オブジェクトが現実空間データに含まれているオブジェクトである場合、空間データ記憶部２１が記憶する仮想空間データに対して、変更対象オブジェクトに対応する仮想オブジェクトを生成する加工を行い、更に、生成した仮想オブジェクトのプロパティの設定値を変更する加工を行う。

【0037】

プロパティ変更オブジェクト記憶部２５は、例えば、図３に示すプロパティ変更オブジェクトテーブル２５０を記憶する。プロパティ変更オブジェクトテーブル２５０は、「オブジェクト識別情報」、「プロパティの種類」、「初期値」の項目を有している。「オブジェクト識別情報」の項目には、プロパティの設定値の変更を行ったオブジェクトのオブジェクト識別情報が書き込まれる。「プロパティの種類」の項目には、設定値の変更が行われたプロパティの種類が書き込まれる。「初期値」の項目には、変更が行われる前の設定値、すなわち初期値が書き込まれる。

【0038】

上記の視線情報提示システム１において、各参加者に対して、各参加者を識別可能な参加者識別情報が予め付与されている。視線計測装置３－１～３－Ｎ、及び方向検出装置５－１～５－Ｍの各々の内部の記憶領域には、各々に対応する参加者の参加者識別情報が予め書き込まれており、視線計測装置３－１～３－Ｎ、及び方向検出装置５－１～５－Ｍの各々は、データを視線情報提示装置２に出力する際に、データに各々の参加者識別情報を付与して出力する。

【0039】

視野画像データ生成部３２の内部の記憶領域には、全ての参加者識別情報と、参加者識別情報の各々に対応する参加者の表示装置４－１～４－Ｍへの出力ポートとを対応付けたテーブルが予め書き込まれている。視野画像データ生成部３２は、各参加者の視野画像データを生成した際、内部の記憶領域のテーブルを参照して、生成した各参加者の視野画像データの各々を、各々に対応する表示装置４－１～４－Ｍへの出力ポートに出力する。視野画像データ生成部３２は、各参加者の視野画像データを生成した際、生成した視野画像データの各々に、各々に対応する参加者識別情報を関連付けて、生成した視野画像データの各々を視野画像データ記憶部２２に書き込む。

【0040】

空間データ記憶部２１が、参加者別現実空間データを記憶する場合、参加者別現実空間データを撮影により生成するヘッドマウントディスプレイに搭載されたカメラの各々の内部の記憶領域に、各々に対応する参加者の参加者識別情報が予め書き込まれている。当該カメラの各々は、撮影により参加者別現実空間データを生成すると、生成した参加者別現実空間データに、各々の内部の記憶領域が記憶する参加者識別情報を関連付けて、生成した参加者別現実空間データを空間データ記憶部２１に書き込む。

【0041】

これにより、各参加者と、視線計測装置３－１～３－Ｎ、及び方向検出装置５－１～５－Ｍの各々が出力するデータと、視野画像データ生成部３２が参加者ごとに生成する視野画像データと、空間データ記憶部２１が記憶する参加者別現実空間データと、表示装置４－１～４－Ｍとが、参加者識別情報によって関連付けられることになる。

【0042】

（視線情報提示システムによる処理）
図４は、視線情報提示装置２における処理の流れを示したフローチャートであり、当該フローチャートを参照しつつ、視線情報提示システム１の処理について説明する。

【0043】

視野画像データ生成部３２は、方向検出装置５－１～５－Ｍが検出する各参加者の顔の方向を示すデータと、空間データ記憶部２１が記憶する仮想空間データとに基づいて、各参加者の視野画像データを生成する。空間データ記憶部２１が現実空間データを記憶している場合、視野画像データ生成部３２は、上記したように、現実空間データを加えて各参加者の視野画像データを生成する。

【0044】

視野画像データ生成部３２は、内部の記憶領域のテーブルを参照して、生成した各参加者の視野画像データの各々を、各々に対応する表示装置４－１～４－Ｍに出力する。視野画像データ生成部３２は、生成した視野画像データの各々に、各々に対応する参加者識別情報を関連付けて、生成した視野画像データの各々を視野画像データ記憶部２２に書き込む（ステップＳ１）。

【0045】

注視対象検出部２３は、視線計測装置３－１～３－Ｎが計測して出力する各参加者の視線に関する情報のデータを取り込む（ステップＳ２）。注視対象検出部２３は、取り込んだ各参加者の視線に関する情報のデータと、視野画像データ記憶部２２が記憶する各参加者の視野画像データと、オブジェクト単位テーブル２４０が記憶するデータとに基づいて、参加者ごとに注視している注視対象オブジェクトを検出する（ステップＳ３）。注視対象検出部２３による注視対象オブジェクトの検出は、例えば、以下のようにして行われる。

【0046】

注視対象検出部２３は、視野画像データに現実空間データが含まれている場合、当該現実空間データの部分に対して予め画像処理を行い、現実空間データに含まれているオブジェクト（以下「現実のオブジェクト」という。）の領域を輪郭抽出などの画像処理により検出し、更に、画像認識処理などにより検出した現実のオブジェクトの種類を特定する。

【0047】

注視対象検出部２３は、参加者ごとの検出対象のオブジェクトの単位を特定する。注視対象検出部２３は、時系列で得られる各参加者の視線に関する情報のデータから、各参加者の最新の視線と、１つ前の視線とが成す角度を、視線の変化量として検出し、検出した各参加者の視線の変化量が、予め定められる視線の変化量の閾値を超えるか否かを判定する。

【0048】

注視対象検出部２３は、オブジェクト単位テーブル２４０を参照し、視線の変化量が、予め定められる視線の変化量の閾値を超えている参加者については、「視線の変化量」が「大」になっているレコードの「オブジェクト種別」の項目に書き込まれているオブジェクトの種類を検出対象のオブジェクトとする。一方、注視対象検出部２３は、オブジェクト単位テーブル２４０を参照し、視線の変化量が、予め定められる視線の変化量の閾値以下である参加者については、「視線の変化量」が「小」になっているレコードの「オブジェクト種別」の項目に書き込まれているオブジェクトの種類を検出対象のオブジェクトとする。

【0049】

例えば、図２に示すように、オブジェクト単位テーブル２４０の「視線の変化量」が「大」のレコードについては「オブジェクト種別」の項目に、サイズが大きいオブジェクトの種類を予め書き込んでおき、「視線の変化量」が「小」のレコードについては「オブジェクト種別」の項目に、サイズが小さいオブジェクトの種類を予め書き込んでおく。これにより、例えば、参加者の視線が大きく動いている場合には、本棚などの大きなオブジェクトを検出対象のオブジェクトにすることができ、参加者の視線の動きが小さくなった場合には、本棚の中の本などの小さなオブジェクトを検出対象のオブジェクトにすることができる。そのため、参加者の視線の変化量に応じて検出対象のオブジェクトの種類を絞り込むことが可能になる。

【0050】

次に、注視対象検出部２３は、各参加者の視線に関する情報のデータに含まれる頭の向きと、眼球運動とから、各参加者の視線の方向を算出する。注視対象検出部２３は、例えば、算出した各参加者の視線の方向に存在する最初のオブジェクトを、各参加者の注視対象オブジェクトとして検出する。

【0051】

ただし、注視対象検出部２３は、以下のような場合、各参加者の視線の方向に存在する最初のオブジェクトであっても注視対象オブジェクトとして検出しないようにしてもよい。注視対象検出部２３は、ある参加者と、当該参加者の視線の方向に存在する最初のオブジェクトとの間の距離と、当該参加者の視線に関する情報に含まれる瞳孔径とから合焦度を算出する。注視対象検出部２３は、算出した合焦度が、予め定められる合焦度閾値未満である場合、当該オブジェクトに焦点があっていないものとして、当該参加者については、注視対象オブジェクトが存在しないと判定し、当該オブジェクトを注視対象オブジェクトとして検出しないようにしてもよい。

【0052】

注視対象検出部２３は、検出した各参加者の注視対象オブジェクトに現実のオブジェクトが複数含まれている場合、複数の現実のオブジェクトが同一のオブジェクトであるか否かを、例えば、パターンマッチング等の処理により判定する。注視対象検出部２３は、判定の結果、同一のオブジェクトとして判定した現実のオブジェクトの各々については、同一のオブジェクト識別情報を生成して付与する。一方、注視対象検出部２３は、同一でないと判定した現実のオブジェクトの各々については、それぞれに対して異なるオブジェクト識別情報を生成して付与する。これにより、注視対象オブジェクトとして検出された現実のオブジェクトに対して、仮想オブジェクトと同様に、同一のオブジェクトについては、同一のオブジェクト識別情報が付与され、異なるオブジェクトについては、異なるオブジェクト識別情報が付与される。なお、現実のオブジェクトに対して付与するオブジェクト識別情報は、現実のオブジェクトと仮想オブジェクトとの区別が容易になるように、例えば、仮想オブジェクトに付与されているオブジェクト識別情報とは別の番号体系や記号体系で表されているものとする。

【0053】

注視対象検出部２３は、参加者ごとに検出した注視対象オブジェクトのオブジェクト識別情報などを仮想空間加工部３１に出力する。注視対象オブジェクトが仮想オブジェクトである場合、注視対象検出部２３は、当該仮想オブジェクトのオブジェクト識別情報のみを仮想空間加工部３１に出力する。注視対象オブジェクトが現実のオブジェクトである場合、注視対象検出部２３は、当該現実のオブジェクトのオブジェクト識別情報と、視野画像データから切り出した当該現実のオブジェクトの画像データと、当該現実のオブジェクトの種類と、仮想空間の座標系における当該現実のオブジェクトの位置を示すデータとを関連付けて仮想空間加工部３１に出力する。

【0054】

仮想空間加工部３１は、注視対象検出部２３が出力する注視対象オブジェクトのオブジェクト識別情報を取り込む。注視対象検出部２３がオブジェクト識別情報に関連付けて現実のオブジェクトの画像データと、当該現実のオブジェクトの種類と、仮想空間の座標系における現実のオブジェクトの位置を示すデータとを出力している場合、仮想空間加工部３１は、オブジェクト識別情報に関連付けられているデータも取り込む。

【0055】

仮想空間加工部３１は、取り込んだオブジェクト識別情報ごとの数をカウントすることにより、注視対象オブジェクトごとに、注視対象オブジェクトを注視していた参加者の数を算出する（ステップＳ４）。仮想空間加工部３１は、算出した注視対象オブジェクトごとの参加者の数が、予め定められる注視者数閾値を超える注視対象オブジェクトが存在するか否かを判定する（ステップＳ５）。仮想空間加工部３１は、算出した注視対象オブジェクトごとの参加者の数が、予め定められる注視者数閾値を超える注視対象オブジェクトが存在しないと判定した場合（ステップＳ５、Ｎｏ）、処理をステップＳ９に進める。

【0056】

一方、仮想空間加工部３１は、算出した注視対象オブジェクトごとの参加者の数が、予め定められる注視者数閾値を超える注視対象オブジェクトが存在すると判定した場合（ステップＳ５、Ｙｅｓ）、当該注視対象オブジェクトを変更対象オブジェクトとする。仮想空間加工部３１は、変更対象オブジェクトに現実のオブジェクトが含まれているか否かを判定する（ステップＳ６）。上記したように、現実のオブジェクトのオブジェクト識別情報は、仮想オブジェクトのオブジェクト識別情報とは別の番号体系や記号体系で表されている。そのため、仮想空間加工部３１は、変更対象オブジェクトに対応するオブジェクト識別情報が、現実のオブジェクトのオブジェクト識別情報の番号体系や記号体系であるか否かに基づいて、変更対象オブジェクトに現実のオブジェクトが含まれているか否かを判定する。

【0057】

仮想空間加工部３１は、変更対象オブジェクトに現実のオブジェクトが含まれていないと判定した場合（ステップＳ６、Ｎｏ）、処理をステップＳ８に進める。一方、仮想空間加工部３１は、変更対象オブジェクトに現実のオブジェクトが含まれていると判定した場合（ステップＳ６、Ｙｅｓ）、現実のオブジェクトについては、ステップＳ８のプロパティの設定値の変更ができないため、現実のオブジェクトに対応する仮想オブジェクトを生成する。具体的には、仮想空間加工部３１は、変更対象オブジェクトに含まれている現実のオブジェクトのオブジェクト識別情報に関連付けられている現実のオブジェクトの画像データから特定できる範囲で現実のオブジェクトと同一になる３次元形状やプロパティを有する仮想オブジェクトを生成する。

【0058】

仮想空間加工部３１は、仮想オブジェクトを生成する際に、当該仮想オブジェクトに対応する現実のオブジェクトに付与されているオブジェクト識別情報と、当該オブジェクト識別情報に関連付けられているオブジェクトの種類とを含めて仮想オブジェクトを生成する。これにより、生成した仮想オブジェクトのデータには、オブジェクト識別情報、オブジェクトの３次元形状を示すデータ、オブジェクトの種類を示すデータ、オブジェクトの属性を示すプロパティを示すデータ等が含まれることになる。

【0059】

仮想空間加工部３１は、生成した仮想オブジェクトのオブジェクト識別情報に関連付けられている仮想空間の座標系における位置を示すデータと、現実のオブジェクトの画像データとに基づいて、生成した仮想オブジェクトが現実のオブジェクトに重なるように調整して配置する。仮想空間加工部３１は、生成した仮想オブジェクトを配置した際の仮想空間内における位置や方向などの配置状態を示すデータを、生成した仮想オブジェクトのデータに加える。仮想空間加工部３１は、生成した仮想オブジェクトに対応する現実のオブジェクトに替えて、当該仮想オブジェクトを変更対象オブジェクトとする（ステップＳ７）。これにより、変更対象オブジェクトを、全て仮想空間に配置される仮想オブジェクトにすることができる。

【0060】

仮想空間加工部３１は、変更対象オブジェクトの特徴を強調するようにプロパティの設定値を初期値から予め定められる変更値になるように変更する。仮想空間加工部３１は、彩度、明度、シャープネス、大きさ、輪郭線の太さ、輪郭線の色などのプロパティの種類のいずれか１つの種類のプロパティの設定値を変更してもよいし、複数の種類のプロパティの設定値を変更してもよい。変更対象のプロパティの種類は、予め定められていてもよいし、仮想空間加工部３１が、ランダムに選択するようにしてもよい。なお、上記のプロパティの設定値の変更値は、プロパティの種類ごとに予め定められているものとする。

【0061】

ここで、変更対象オブジェクトの特徴を強調するようにプロパティの設定値を変更するとは、変更対象オブジェクトを見る参加者が、変更対象オブジェクトがどのような物体であり、どのような種類の物体であるかを認識することができる程度に本来あるべき属性に変調を加えることである。具体的には、彩度、明度、シャープネスの場合には、これらの設定値を大きな値にすることであり、大きさの場合には、形状が大きくなるように、大きさの設定値を大きな値にすることであり、輪郭線の太さの場合には、輪郭線の太さ示す値を大きな値にすることであり、輪郭線の色の場合には、輪郭線の色を目立つような色になるように、Ｒ（赤）とＧ（緑）とＢ（青）の値を変更することである。

【0062】

仮想空間加工部３１は、プロパティの設定値を変更した変更対象オブジェクトのオブジェクト識別情報と、当該変更対象オブジェクトにおいて変更したプロパティの種類と、変更したプロパティの初期値とを関連付けてプロパティ変更オブジェクト記憶部２５のプロパティ変更オブジェクトテーブル２５０に書き込む（ステップＳ８）。

【0063】

仮想空間加工部３１は、過去にプロパティの設定値を変更したオブジェクトのうち変更対象オブジェクトでなくなったオブジェクトのプロパティの設定値を初期値に戻すように、仮想空間データの加工を行う（ステップＳ９）。具体的には、仮想空間加工部３１は、プロパティ変更オブジェクトテーブル２５０を参照し、プロパティ変更オブジェクトテーブル２５０が記憶するオブジェクト識別情報のうち、変更対象オブジェクトに含まれていないオブジェクト識別情報を検出する。仮想空間加工部３１は、検出したオブジェクト識別情報と、当該オブジェクト識別情報に関連付けられているプロパティの種類、及び初期値とを読み出す。

【0064】

仮想空間加工部３１は、仮想空間データにおいて、読み出したオブジェクト識別情報に対応する仮想オブジェクトのデータを特定する。仮想空間加工部３１は、特定した仮想オブジェクトのデータにおいて、読み出したプロパティの種類に対応するプロパティの設定値を、読み出した初期値に書き替える。これにより、注視されなくなった仮想オブジェクトを元の状態に戻すことができる。仮想空間加工部３１は、プロパティ変更オブジェクトテーブル２５０からプロパティの設定値を初期値に戻したオブジェクトのレコードを削除する。その後、再びステップＳ１以降の処理が行われる。

【0065】

なお、再び行われるステップＳ３において、ステップＳ７において仮想空間加工部３１が当該現実のオブジェクトに基づいて生成した仮想オブジェクトが視野画像データに含まれている場合、注視対象検出部２３は、各参加者の視線の方向に存在する最初のオブジェクトとして、現実のオブジェクトと、当該現実のオブジェクトに対応する仮想オブジェクトの両方を検出する場合も想定される。この場合、注視対象検出部２３は、仮想オブジェクトのみを注視対象オブジェクトとして検出する。

【0066】

上記の実施形態の視線情報提示装置２において、注視対象検出部２３は、仮想空間、又は、仮想空間と現実空間とを含む複合空間に参加する参加者が注視しているオブジェクトを検出する。表示部３０は、注視対象検出部２３が検出するオブジェクトの特徴を強調して仮想空間、又は、複合空間に表示する。

【0067】

上記の視線情報提示装置２を用いることで、参加者が注視しているオブジェクトの特徴を強調することができ、参加者の視線の情報を直接的に示すことなく、参加者の視線がどこに集まっているか示すことが可能になり、複数の参加者が存在する場合、参加者が互いに視線の情報を共有することが可能になる。言い換えると、視線情報提示装置２は、非特許文献１に記載の技術のように、実際には存在しない視線の情報を示す仮想オブジェクトを生成したりするようなことがないので、このような実際には存在しない視線の情報を示す仮想オブジェクトが参加者の注意を引いてインタラクションを阻害するようなこともなく、参加者が互いに視線の情報を共有することを可能にする。

【0068】

なお、上記の実施形態において、空間データ記憶部２１が、仮想空間データのみを記憶する場合、すなわち、視線情報提示装置２が仮想空間のみを提供する場合、視線情報提示装置２は、視線計測装置３－１～３－Ｎの各々に対応するＮ個の注視対象検出部２３を備えるようにしてもよい。この場合、Ｎ個の注視対象検出部２３の各々が、各々に対応する参加者識別情報を内部の記憶領域に記憶することになる。視線計測装置３－１～３－Ｎは、Ｎ個の注視対象検出部２３に一対一で対応付けられることになる。そのため、視線計測装置３－１～３－Ｎは、内部の記憶領域に参加者識別情報を記憶しなくてもよいし、データを出力する際に参加者識別情報を付与してデータを出力しなくてもよくなる。

【0069】

上記の実施形態において、視線情報提示装置２は、表示装置４－１～４－Ｍ、及び方向検出装置５－１～５－Ｍの各々に対応するＭ個の視野画像データ生成部３２を備えるようにしてもよい。この場合、Ｍ個の視野画像データ生成部３２の各々が、各々に対応する参加者識別情報を内部の記憶領域に記憶することになる。表示装置４－１～４－Ｍ、及び方向検出装置５－１～５－Ｍは、Ｍ個の視野画像データ生成部３２に一対一で対応付けられることになる。そのため、方向検出装置５－１～５－Ｍは、内部の記憶領域に参加者識別情報を記憶しなくてもよくなり、データを出力する際に参加者識別情報を付与してデータを出力しなくてもよくなる。Ｍ個の視野画像データ生成部３２は、参加者識別情報と、表示装置４－１～４－Ｍへの出力ポートとを対応付けたテーブルを記憶しなくてもよくなる。

【0070】

上記の実施形態では、方向検出装置５－１～５－Ｍを用いて参加者の顔の方向を検出し、検出した顔の方向に基づいて参加者の視野の領域を特定するようにしている。これに対して、視線情報提示システム１が、方向検出装置５－１～５－Ｍに替えて、キーボードやマウスなどのＭ個の入力装置を備えるようにしてもよい。この場合、Ｍ個の入力装置をＭ人の参加者の各々に割り当て、参加者の各々が、各々に割り当てられた入力装置を操作して各々の視野の領域を選択し、選択した視野の領域を示すデータを視野画像データ生成部３２に与えるようにしてもよい。なお、Ｍ個の入力装置の各々の内部の記憶領域には、各々に対応する参加者の参加者識別情報が予め記憶されており、Ｍ個の入力装置は、視野の領域を示すデータを視野画像データ生成部３２に与える際、視野の領域を示すデータに各々の内部の記憶領域が記憶する参加者識別情報を関連付けて視野画像データ生成部３２に出力することになる。

【0071】

オブジェクト単位テーブル２４０の「視線の変化量」の項目に替えて、「瞳孔径の大きさ」の項目を設け、注視対象検出部２３が、ステップＳ３の処理において、視線計測装置３－１～３－Ｎが出力する視線に関する情報のデータに含まれる瞳孔径の大きさに応じて検出対象のオブジェクトの種類を変えるようにしてもよい。

【0072】

視線情報提示装置２が、オブジェクト単位記憶部２４を備えずに、上記のステップＳ３の処理において、注視対象検出部２３が、予め固定的に定めた検出対象のオブジェクトの種類を内部の記憶領域に記憶させておき、内部の記憶領域が記憶する検出対象のオブジェクトの種類に一致するオブジェクトのみを注視対象オブジェクトとして検出するようにしてもよい。

【0073】

視線情報提示システム１が、オブジェクト単位記憶部２４を備えずに、注視対象検出部２３に接続するマイクを備えており、注視対象検出部２３が、マイクを通じて得られる参加者の発話情報に対して、例えば、音声認識技術などを適用して、発話情報に含まれるオブジェクトの種類を特定し、特定したオブジェクトの種類を検出対象のオブジェクトの種類にするようにしてもよい。

【0074】

上記の実施形態のステップＳ３の処理において、以下のような場合にも、各参加者の視線の方向に存在する最初のオブジェクトであっても注視対象オブジェクトとして検出しないようにしてもよい。例えば、注視対象検出部２３は、過去に注視対象オブジェクトとして検出したオブジェクトごとに、注視していた時間を内部の記憶領域に記録し、記録した注視していた時間に基づいて、例えば、オブジェクトごとの平均注視時間を算出しておく。注視対象検出部２３は、ある参加者の視線の方向に存在する最初のオブジェクトを検出した際、内部の記憶領域を参照し、当該オブジェクトに対応する平均注視時間以上、検出したオブジェクトを当該参加者が注視していない場合、当該参加者については、注視対象オブジェクトが存在しないと判定し、当該オブジェクトを注視対象オブジェクトとして検出しないようにしてもよい。

【0075】

上記の実施形態のステップＳ３では、注視対象検出部２３は、各参加者の視線の方向に存在する最初のオブジェクトを、各参加者の注視対象オブジェクトとして検出する手法を用いているが、注視しているオブジェクトを判定する手法は、当該手法に限られるものではなく、他の手法を適用してもよい。

【0076】

また、上記の実施形態において、ステップＳ４と、ステップＳ５を行わず、注視対象オブジェクトの全てを変更対象オブジェクトにするようにしてもよい。このようにすることで、参加者が、教師と、複数の生徒である場合、複数の生徒の各々がどのオブジェクトを注視しているかを教師が知ることができ、例えば、他の生徒と違うオブジェクトを注視している生徒に、本来注視すべきオブジェクトを見るように促すことができる。

【0077】

また、上記の実施形態のステップＳ８では、仮想空間加工部３１は、プロパティの設定値を初期値から予め定められる変更値になるように変更するようにしているが、以下のように変更する値の大きさを変化させるようにしてもよい。例えば、仮想空間加工部３１は、ステップＳ４で算出済みの変更対象オブジェクトごとの参加者の数と、全参加者数とに基づいて、変更対象オブジェクトごとの参加者の比率を算出する。参加者の比率の高い変更対象オブジェクトほど、多くの参加者に注視されていることになる。そのため、仮想空間加工部３１は、注視している参加者が多い変更対象オブジェクトほど、その多さに応じて多ければ多いほど、プロパティの設定値をより大きくしたり、設定値を変更するプロパティの種類をより多く増やしたりして、当該変更対象オブジェクトの特徴を強調する度合いを強くするようにしてもよい。

【0078】

以下のように変更する値の大きさを変化させるようにしてもよい。例えば、プロパティ変更オブジェクトテーブル２５０に「変更開始時刻」という項目を設けておく。仮想空間加工部３１は、あるオブジェクト識別情報についてのレコードをプロパティ変更オブジェクトテーブル２５０に新たに書き込む際に、視線情報提示装置２が備える時計などの計時手段から時刻を取得し、取得した時刻を「変更開始時刻」の項目に書き込んでおく。仮想空間加工部３１は、変更対象オブジェクトを選択した際に、選択した変更対象オブジェクトのオブジェクト識別情報が、既にプロパティ変更オブジェクトテーブル２５０に書き込まれている場合、計時手段から時刻を取得し、取得した時刻と、当該オブジェクト識別情報のレコードの「変更開始時刻」の項目に書き込まれている時刻とに基づいて経過時間を算出する。算出した経過時間は、当該オブジェクト識別情報に対応する変更対象オブジェクトが、継続して注視されている時間を示すことになる。そのため、仮想空間加工部３１は、継続して注視されている時間が長い変更対象オブジェクトほど、その時間の長さに応じて長ければ長いほど、プロパティの設定値をより大きくしたり、設定値を変更するプロパティの種類をより多く増やしたりして、当該変更対象オブジェクトの特徴を強調する度合いを強くするようにしてもよい。これにより、注視され始めたばかりのオブジェクトよりも、注視されている時間が長いオブジェクトの方が、特徴がより強調されて目立つことになる。

【0079】

上記の実施形態のステップＳ７では、仮想空間加工部３１は、現実のオブジェクトに対応する３次元の形状を有する仮想オブジェクトを生成するようにしている。これに対して、仮想空間加工部３１は、現実のオブジェクトの画像データに基づいて、３次元の形状を有する仮想オブジェクトを生成せずに、現実のオブジェクトの画像データに基づいて、２次元の画像の仮想オブジェクトとして生成し、当該現実のオブジェクトに重なるように仮想空間内に配置するようにしてもよい。その上で、仮想空間加工部３１は、ステップＳ８において、画像の仮想オブジェクトのプロパティの設定値を変更するようにしてもよい。

【0080】

上記の実施形態のステップＳ９において、仮想空間加工部３１は、プロパティの設定値を初期値に戻して、プロパティの設定値を初期値に戻したオブジェクトのレコードをプロパティ変更オブジェクトテーブル２５０から削除するようにしている。これに対して、以下のようにして、プロパティの設定値を徐々に初期値に戻すようにしてもよい。例えば、プロパティ変更オブジェクトテーブル２５０に「注視対象外開始時刻」という項目を設けておく。仮想空間加工部３１は、あるオブジェクト識別情報についてのレコードをプロパティ変更オブジェクトテーブル２５０に新たに書き込む際に「注視対象外開始時刻」の項目を「０時間，０分，０秒」にして初期化しておく。仮想空間加工部３１は、プロパティ変更オブジェクトテーブル２５０を参照し、プロパティ変更オブジェクトテーブル２５０が記憶するオブジェクト識別情報のうち、変更対象オブジェクトに含まれていないオブジェクト識別情報を検出した際、計時手段から時刻を取得する。

【0081】

仮想空間加工部３１は、検出したオブジェクト識別情報のレコードの「注視対象外開始時刻」の項目が「０時間，０分，０秒」の初期値である場合、取得した時刻を「注視対象外開始時刻」の項目に書き込む。一方、仮想空間加工部３１は、検出したオブジェクト識別情報のレコードの「注視対象外開始時刻」の項目が「０時間，０分，０秒」の初期値でない場合、取得した時刻と、検出したオブジェクト識別情報のレコードの「注視対象外開始時刻」の項目に書き込まれている時刻とに基づいて経過時間を算出する。算出した経過時間は、検出したオブジェクト識別情報に対応するオブジェクトが、注視されなくなってからの時間を示すことになる。仮想空間加工部３１は、プロパティの設定値を初期値に戻すまでの時間の長さを予め定めておき、プロパティの設定値を初期値に戻すまでの時間の長さに対する算出した経過時間の割合に応じて、検出したオブジェクト識別情報に対応するレコードの「プロパティの種類」の項目のプロパティの設定値が初期値に近づくように徐々に変更するようにしてもよい。これにより、参加者に注視されなくなったオブジェクトの特徴が少しずつ弱まり、最終的に、元の状態に戻ることになる。なお、当該オブジェクトが、再び変更対象オブジェクトになった場合、仮想空間加工部３１は、当該オブジェクトに対応するレコードの「注視対象外開始時刻」の項目に「０時間，０分，０秒」を書き込んで初期化する。

【0082】

上記の実施形態のステップＳ９において、仮想空間加工部３１は、プロパティの設定値を初期値に戻して、プロパティの設定値を初期値に戻したオブジェクトのレコードをプロパティ変更オブジェクトテーブル２５０から削除するようにしているが、初期値に戻したオブジェクトが、ステップＳ７において、現実のオブジェクトに基づいて生成された仮想オブジェクトである場合、当該仮想オブジェクトのデータを仮想空間データから消去するようにしてもよい。

【0083】

上記の実施形態では、空間データ記憶部２１が、参加者別現実空間データを記憶している場合、視野画像データ生成部３２は、生成した各参加者の仮想空間の部分の視野画像データの各々に、各々に対応する参加者の参加者別現実空間データを結合させて、各参加者の視野画像データを生成するようにしている。これに対して、参加者に光学シースルー型のヘッドマウントディスプレイが割り当てられている場合、参加者は、現実空間を目視することができるため、視野画像データ生成部３２は、表示装置４－１～４－Ｍに対しては、生成した各参加者の仮想空間の部分の視野画像データのみを出力するようにしてもよい。

【0084】

上記の実施形態において、参加者別現実空間データは、空間データ記憶部２１に書き込まれることなく、ヘッドマウントディスプレイに搭載されたカメラが出力する参加者別現実空間データを、視野画像データ生成部３２が、直接取り込むようにしてもよい。

【0085】

図５は、視線情報提示装置２のハードウェア構成例を示す図である。視線情報提示装置２は、記憶部１０１と、プロセッサ１０２と、通信部１０３と、これらを接続するバス回線１０４とを備える。

【0086】

視線情報提示装置２が備える注視対象検出部２３、仮想空間加工部３１、視野画像データ生成部３２、視野画像データ記憶部２２、オブジェクト単位記憶部２４、プロパティ変更オブジェクト記憶部２５、及び空間データ記憶部２１の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ１０２が、不揮発性の記録媒体、すなわち非一時的な記録媒体を有する記憶部１０１に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの不揮発性の記録媒体である。プログラムは、電気通信回線を経由して、通信部１０３によって受信されてもよい。

【0087】

注視対象検出部２３、仮想空間加工部３１、視野画像データ生成部３２、視野画像データ記憶部２２、オブジェクト単位記憶部２４、プロパティ変更オブジェクト記憶部２５、及び空間データ記憶部２１の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuitまたはcircuitry）を含むハードウェアを用いて実現されてもよい。

【0088】

なお、上記の実施形態の構成では、視線の変化量の閾値、合焦度閾値、注視者数閾値を用いる判定処理において、不等号または、等号付き不等号を用いた判定処理を行っている。しかしながら、本発明は、当該実施の形態に限られるものではなく、「超過するか否か」、「未満であるか否か」という判定処理は一例に過ぎず、各々の閾値の定め方に応じて、それぞれ「以上であるか否か」、「以下であるか否か」という判定処理に置き換えられてもよい。

【0089】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【産業上の利用可能性】

【0090】

本発明は、仮想空間、又は、仮想空間と現実空間とを含む複合空間を提供する装置に適用可能である。

【符号の説明】

【0091】

１…視線情報提示システム、２…視線情報提示装置、３－１～３－Ｎ…視線計測装置、４－１～４－Ｍ…表示装置、５－１～５－Ｍ…方向検出装置、２１…空間データ記憶部、２２…視野画像データ記憶部、２３…注視対象検出部、２４…オブジェクト単位記憶部、２５…プロパティ変更オブジェクト記憶部、３０…表示部、３１…仮想空間加工部、３２…視野画像データ生成部

【図1】

【図2】

【図3】

【図4】

【図5】