ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-103522情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024103522
(43)【公開日】2024-08-01
(54)【発明の名称】情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
(51)【国際特許分類】
G06F 3/0346 20130101AFI20240725BHJP
G06F 3/01 20060101ALI20240725BHJP
G06F 3/04842 20220101ALI20240725BHJP
【ＦＩ】
G06F3/0346 423
G06F3/01 570
G06F3/04842
【審査請求】有
【請求項の数】25
【出願形態】ＯＬ
(21)【出願番号】P 2024079864
(22)【出願日】2024-05-16
(62)【分割の表示】P 2021507159の分割
【原出願日】2020-03-03
(31)【優先権主張番号】P 2019048684
(32)【優先日】2019-03-15
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】安田 亮平
(72)【発明者】
【氏名】野田 卓郎
(57)【要約】
【課題】視線を用いた選択操作の操作性を向上すること。
【解決手段】情報処理装置は、眼球情報取得部と、視線推定部と、表示制御部と、ジェスチャー情報取得部と、モード切替部とを具備する。眼球情報取得部は、第１のセンサからユーザの眼球の位置姿勢情報を取得する。視線推定部は、眼球の位置姿勢情報に基づいて視線ベクトルを推定する。表示制御部は、視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する。ジェスチャー情報取得部は、第２のセンサから眼球の位置姿勢情報とは異なるジェスチャー情報を取得する。モード切替部は、ガイド画像に関するユーザのモード切替入力に応じて、眼球の位置姿勢情報をガイド画像に反映する第１のモードと、ジェスチャー情報に基づいて注視状態を補正する第２のモードとを切り替える。
【選択図】図６
【解決手段】情報処理装置は、眼球情報取得部と、視線推定部と、表示制御部と、ジェスチャー情報取得部と、モード切替部とを具備する。眼球情報取得部は、第１のセンサからユーザの眼球の位置姿勢情報を取得する。視線推定部は、眼球の位置姿勢情報に基づいて視線ベクトルを推定する。表示制御部は、視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する。ジェスチャー情報取得部は、第２のセンサから眼球の位置姿勢情報とは異なるジェスチャー情報を取得する。モード切替部は、ガイド画像に関するユーザのモード切替入力に応じて、眼球の位置姿勢情報をガイド画像に反映する第１のモードと、ジェスチャー情報に基づいて注視状態を補正する第２のモードとを切り替える。
【選択図】図６
【特許請求の範囲】
【請求項1】
第１のセンサからユーザの眼球の位置姿勢情報を取得する眼球情報取得部と、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する視線推定部と、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する表示制御部と、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するジェスチャー情報取得部と、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるモード切替部と
を具備する情報処理装置。
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する視線推定部と、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する表示制御部と、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するジェスチャー情報取得部と、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるモード切替部と
を具備する情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、
前記ガイド画像は、前記注視状態として、前記視線ベクトルに基づく注視位置または前記注視位置を含む注視オブジェクトの少なくとも一方を示す画像であり、
前記表示制御部は、前記第２のモードが実行された場合に、前記ジェスチャー情報に基づいて前記注視位置を補正する
情報処理装置。
前記ガイド画像は、前記注視状態として、前記視線ベクトルに基づく注視位置または前記注視位置を含む注視オブジェクトの少なくとも一方を示す画像であり、
前記表示制御部は、前記第２のモードが実行された場合に、前記ジェスチャー情報に基づいて前記注視位置を補正する
情報処理装置。
【請求項3】
請求項２に記載の情報処理装置であって、
前記表示制御部は、前記第２のモードが実行された場合に、前記注視位置が補正された前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
前記表示制御部は、前記第２のモードが実行された場合に、前記注視位置が補正された前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
【請求項4】
請求項２に記載の情報処理装置であって、
前記表示制御部は、前記ジェスチャー情報に基づいて前記視線ベクトルを補正することで前記注視位置を補正する
情報処理装置。
前記表示制御部は、前記ジェスチャー情報に基づいて前記視線ベクトルを補正することで前記注視位置を補正する
情報処理装置。
【請求項5】
請求項２に記載の情報処理装置であって、
前記ジェスチャー情報は、前記ユーザが頭部を回転させるヘッドジェスチャーに関する情報を含み、
前記表示制御部は、前記第２のモードが実行された場合に、前記ユーザの頭部の回転に応じて前記注視位置が補正された前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
前記ジェスチャー情報は、前記ユーザが頭部を回転させるヘッドジェスチャーに関する情報を含み、
前記表示制御部は、前記第２のモードが実行された場合に、前記ユーザの頭部の回転に応じて前記注視位置が補正された前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
【請求項6】
請求項５に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転方向に前記視線ベクトルを回転させる
情報処理装置。
前記表示制御部は、前記ユーザの頭部の回転方向に前記視線ベクトルを回転させる
情報処理装置。
【請求項7】
請求項５に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度に応じて、第１の範囲に収まるように前記視線ベクトルの回転角度を設定する
情報処理装置。
前記表示制御部は、前記ユーザの頭部の回転角度に応じて、第１の範囲に収まるように前記視線ベクトルの回転角度を設定する
情報処理装置。
【請求項8】
請求項７に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度が第２の範囲を超えた場合に、前記視線ベクトルの回転角度を前記第１の範囲の最大角度に設定する
情報処理装置。
前記表示制御部は、前記ユーザの頭部の回転角度が第２の範囲を超えた場合に、前記視線ベクトルの回転角度を前記第１の範囲の最大角度に設定する
情報処理装置。
【請求項9】
請求項８に記載の情報処理装置であって、
前記第２の範囲は、前記視線ベクトルの推定精度、前記視線ベクトルの較正データ、前記注視オブジェクトの候補となる候補オブジェクトの密集度、及び前記第２のモードが実行されたタイミングでの前記ユーザの頭部の姿勢の少なくとも１つに基づいて設定される
情報処理装置。
前記第２の範囲は、前記視線ベクトルの推定精度、前記視線ベクトルの較正データ、前記注視オブジェクトの候補となる候補オブジェクトの密集度、及び前記第２のモードが実行されたタイミングでの前記ユーザの頭部の姿勢の少なくとも１つに基づいて設定される
情報処理装置。
【請求項10】
請求項７に記載の情報処理装置であって、
前記ユーザの頭部の回転角度は、前記第２のモードが実行されたタイミングでの前記ユーザの頭部の回転位置を基準として算出される
情報処理装置。
前記ユーザの頭部の回転角度は、前記第２のモードが実行されたタイミングでの前記ユーザの頭部の回転位置を基準として算出される
情報処理装置。
【請求項11】
請求項５に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度に係らず、前記ユーザの頭部の回転方向に前記視線ベクトルを連続的に回転させることで前記注視位置を連続的に移動する
情報処理装置。
前記表示制御部は、前記ユーザの頭部の回転角度に係らず、前記ユーザの頭部の回転方向に前記視線ベクトルを連続的に回転させることで前記注視位置を連続的に移動する
情報処理装置。
【請求項12】
請求項１１に記載の情報処理装置であって、
前記表示制御部は、連続的に移動する前記注視位置に応じて前記注視オブジェクトが切り替わるように前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
前記表示制御部は、連続的に移動する前記注視位置に応じて前記注視オブジェクトが切り替わるように前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
【請求項13】
請求項５に記載の情報処理装置であって、
前記表示制御部は、前記注視オブジェクトの候補となる候補オブジェクトの移動に連動する前記ユーザの頭部の回転速度に基づいて、前記移動する候補オブジェクトに対する前記ユーザの頭部の相対的な回転角度を算出する
情報処理装置。
前記表示制御部は、前記注視オブジェクトの候補となる候補オブジェクトの移動に連動する前記ユーザの頭部の回転速度に基づいて、前記移動する候補オブジェクトに対する前記ユーザの頭部の相対的な回転角度を算出する
情報処理装置。
【請求項14】
請求項２に記載の情報処理装置であって、
前記モード切替部は、前記第２のモードの開始条件及び終了条件に基づいて前記モード切替入力を判定する
情報処理装置。
前記モード切替部は、前記第２のモードの開始条件及び終了条件に基づいて前記モード切替入力を判定する
情報処理装置。
【請求項15】
請求項１４に記載の情報処理装置であって、
前記開始条件は、前記注視オブジェクトが注視されている期間に関する条件、前記ユーザによる操作入力の有無に関する条件、前記視線ベクトルの変化量に関する条件のうち少なくとも１つの条件を含む
情報処理装置。
前記開始条件は、前記注視オブジェクトが注視されている期間に関する条件、前記ユーザによる操作入力の有無に関する条件、前記視線ベクトルの変化量に関する条件のうち少なくとも１つの条件を含む
情報処理装置。
【請求項16】
請求項１４に記載の情報処理装置であって、
前記終了条件は、前記ユーザの眼動作に関する条件、前記ユーザの頭部の回転速度に関する条件、前記ユーザによる操作入力の有無に関する条件、前記視線ベクトルの変化量に関する条件のうち少なくとも１つの条件を含む
情報処理装置。
前記終了条件は、前記ユーザの眼動作に関する条件、前記ユーザの頭部の回転速度に関する条件、前記ユーザによる操作入力の有無に関する条件、前記視線ベクトルの変化量に関する条件のうち少なくとも１つの条件を含む
情報処理装置。
【請求項17】
請求項１に記載の情報処理装置であって、
前記ジェスチャー情報は、前記ユーザが上半身を傾けるボディジェスチャー、または前記ユーザが手を動かすハンドジェスチャーの少なくとも一方に関する情報を含む
情報処理装置。
前記ジェスチャー情報は、前記ユーザが上半身を傾けるボディジェスチャー、または前記ユーザが手を動かすハンドジェスチャーの少なくとも一方に関する情報を含む
情報処理装置。
【請求項18】
請求項１に記載の情報処理装置であって、
前記表示制御部は、前記第２のモードにおいて前記注視状態を補正する補正量を算出し、前記補正量に基づいて前記第１のモードでの前記ガイド画像の表示を実行する
情報処理装置。
前記表示制御部は、前記第２のモードにおいて前記注視状態を補正する補正量を算出し、前記補正量に基づいて前記第１のモードでの前記ガイド画像の表示を実行する
情報処理装置。
【請求項19】
請求項１に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの注視対象となる１以上のオブジェクトのうち、前記視線ベクトルに対する離間度が最も小さい前記オブジェクトを、前記注視対象として選択する
情報処理装置。
前記表示制御部は、前記ユーザの注視対象となる１以上のオブジェクトのうち、前記視線ベクトルに対する離間度が最も小さい前記オブジェクトを、前記注視対象として選択する
情報処理装置。
【請求項20】
請求項１９に記載の情報処理装置であって、
前記視線ベクトルに対する離間度は、前記視線ベクトルと前記オブジェクトの位置ベクトルとの角度間隔である
情報処理装置。
前記視線ベクトルに対する離間度は、前記視線ベクトルと前記オブジェクトの位置ベクトルとの角度間隔である
情報処理装置。
【請求項21】
請求項１に記載の情報処理装置であって、
前記ガイド画像は、前記ユーザの注視対象となる１以上のオブジェクトを含み、
前記表示制御部は、前記１以上のオブジェクトの前記視線ベクトルに対する離間度に応じて、各オブジェクトの表示が変化するように前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
前記ガイド画像は、前記ユーザの注視対象となる１以上のオブジェクトを含み、
前記表示制御部は、前記１以上のオブジェクトの前記視線ベクトルに対する離間度に応じて、各オブジェクトの表示が変化するように前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
【請求項22】
請求項２１に記載の情報処理装置であって、
前記視線ベクトルに対する離間度は、前記視線ベクトルと前記オブジェクトの位置ベクトルとの角度間隔であり、
前記表示制御部は、前記角度間隔に応じて、前記１以上のオブジェクトの色、サイズ、形状、動作の少なくとも１つを変化させる
情報処理装置。
前記視線ベクトルに対する離間度は、前記視線ベクトルと前記オブジェクトの位置ベクトルとの角度間隔であり、
前記表示制御部は、前記角度間隔に応じて、前記１以上のオブジェクトの色、サイズ、形状、動作の少なくとも１つを変化させる
情報処理装置。
【請求項23】
請求項２１に記載の情報処理装置であって、
前記表示制御部は、前記１以上のオブジェクトのうち、前記視線ベクトルを基準とする所定の角度範囲に含まれない前記オブジェクトに対して、ぼかし処理又は非表示処理の一方を実行する
情報処理装置。
前記表示制御部は、前記１以上のオブジェクトのうち、前記視線ベクトルを基準とする所定の角度範囲に含まれない前記オブジェクトに対して、ぼかし処理又は非表示処理の一方を実行する
情報処理装置。
【請求項24】
第１のセンサからユーザの眼球の位置姿勢情報を取得し、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定し、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御し、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得し、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替える
ことをコンピュータシステムが実行する情報処理方法。
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定し、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御し、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得し、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替える
ことをコンピュータシステムが実行する情報処理方法。
【請求項25】
第１のセンサからユーザの眼球の位置姿勢情報を取得するステップと、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定するステップと、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御するステップと、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するステップと、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定するステップと、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御するステップと、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するステップと、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、ユーザの視線を用いた操作等を行う情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体に関する。
【背景技術】
【0002】
従来、ユーザの視線を検出する技術が開発されている。例えば、ユーザの視線の検出結果を用いることで、ユーザが見ている対象等を選択するといった、視線による選択操作等が可能となる。
【0003】
特許文献１には、ユーザの視線を用いてアイコンを選択することが可能な頭部装着型端末について記載されている。この頭部装着型端末には、ユーザの首の動きを検出するジャイロセンサが搭載される。例えばジャイロセンサにより検出されたユーザの首の動きに応じて、表示領域に表示されているアイコンの表示位置や間隔等が、視線で選択し易くなるように変更される。これにより、視線入力によるアイコンの選択等が容易になる（特許文献１の明細書段落［００２１］［００２９］［００２４］［００３６］図２等）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１５／１７０５２０号
【発明の概要】
【発明が解決しようとする課題】
【0005】
視線を用いて対象を選択する技術は、アミューズメント、教育、ショッピングといった様々な分野での応用が期待されており、視線を用いた選択操作の操作性を向上する技術が求められている。
【0006】
以上のような事情に鑑み、本技術の目的は、視線を用いた選択操作の操作性を向上することが可能な情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、眼球情報取得部と、視線推定部と、表示制御部と、ジェスチャー情報取得部と、モード切替部とを具備する。
前記眼球情報取得部は、第１のセンサからユーザの眼球の位置姿勢情報を取得する。
前記視線推定部は、前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する。
前記表示制御部は、前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する。
前記ジェスチャー情報取得部は、第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得する。
前記モード切替部は、前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替える。
前記眼球情報取得部は、第１のセンサからユーザの眼球の位置姿勢情報を取得する。
前記視線推定部は、前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する。
前記表示制御部は、前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する。
前記ジェスチャー情報取得部は、第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得する。
前記モード切替部は、前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替える。
【0008】
この情報処理装置では、ユーザの眼球の位置姿勢情報が取得され、眼球の位置姿勢情報に基づいて視線ベクトルが推定される。この視線ベクトルに基づいた注視状態を示すガイド画像が表示装置に表示される。またガイド画像に関するモードを切り替えるモード切替入力に応じて、眼球の位置姿勢情報をガイド画像に反映する第１のモードと、眼球の位置姿勢情報とは異なるジェスチャー情報に基づいて注視状態を補正する第２のモードとが切り替えられる。これにより、視線を用いた選択操作の操作性を向上することが可能となる。
【0009】
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、第１のセンサからユーザの眼球の位置姿勢情報を取得することを含む。
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルが推定される。
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置が制御される。
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報が取得される。
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとが切り替えられる。
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルが推定される。
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置が制御される。
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報が取得される。
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとが切り替えられる。
【0010】
本技術の一形態に係るコンピュータが読み取り可能な記録媒体は、コンピュータシステムに以下のステップを実行させるプログラムを記録する。
第１のセンサからユーザの眼球の位置姿勢情報を取得するステップ。
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定するステップ。
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御するステップ。
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するステップと、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
第１のセンサからユーザの眼球の位置姿勢情報を取得するステップ。
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定するステップ。
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御するステップ。
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するステップと、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
【図面の簡単な説明】
【0011】
【図1】本技術の一実施形態に係るヘッドマウントディスプレイの外観を示す斜視図である。
【図2】ＨＭＤの機能的な構成例を示すブロック図である。
【図3】ガイド画像の一例を示す模式図である。
【図4】ＨＭＤの基本的な動作を説明するための模式図である。
【図5】ユーザの頭部の回転について説明するための模式図である。
【図6】視線ベクトルの補正処理の一例を示すフローチャートである。
【図7】視線ベクトルの補正処理の一例を示す模式図である。
【図8】視線ベクトルの補正に用いられる頭部の回転方向を示す模式図である。
【図9】視線ベクトルの最大回転範囲の一例を示す模式図である。
【図10】視線ベクトルを補正する処理の他の一例を示す模式図である。
【図11】視線ベクトルの補正処理の他の一例を示す模式図である。
【図12】視線による選択操作が適用される画面の一例を示す模式図である。
【図13】視線による選択操作が適用される画面の一例を示す模式図である。
【図14】視線による選択操作が適用される画面の一例を示す模式図である。
【図15】第２のモードにおける画面の表示例を示す模式図である。
【図16】ユーザのボディジェスチャーの一例を示す模式図である。
【図17】ユーザのハンドジェスチャーの一例を示す模式図である。
【図18】比較例として挙げる視線を用いた選択操作を説明するための模式図である。
【図19】他の実施形態に係る注視位置の補正処理の一例を示す模式図である。
【図20】注視対象の選択処理の一例を示す模式図である。
【図21】注視対象の選択処理の一例を示す模式図である。
【図22】注視対象となる仮想オブジェクトの表示例を示す模式図である。
【図23】角度間隔に応じた表示処理について説明するための模式図である。
【図24】他の実施形態に係るＨＭＤの機能的な構成例を示すブロック図である。
【図25】他の実施形態に係るＨＭＤの基本的な動作例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0013】
［ＨＭＤの構成］
図１は、本技術の一実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の外観を示す斜視図である。図２は、ＨＭＤ１００の機能的な構成例を示すブロック図である。ＨＭＤ１００は、ユーザの頭部に装着して使用され、ユーザの視界に画像表示を行う表示装置として機能する。ＨＭＤ１００を装着したユーザは、例えば仮想現実（ＶＲ：Virtual Reality）や拡張現実（Augmented Reality）等を体験することが可能である。
図１は、本技術の一実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の外観を示す斜視図である。図２は、ＨＭＤ１００の機能的な構成例を示すブロック図である。ＨＭＤ１００は、ユーザの頭部に装着して使用され、ユーザの視界に画像表示を行う表示装置として機能する。ＨＭＤ１００を装着したユーザは、例えば仮想現実（ＶＲ：Virtual Reality）や拡張現実（Augmented Reality）等を体験することが可能である。
【0014】
図１に示すようにＨＭＤ１００は、基体部１０と、装着バンド１１とを有する。基体部１０は、ユーザの左右の眼の前方に配置される部材である。基体部１０は、ユーザの視界を覆うように構成され、画像表示を行うためのディスプレイ１５等を収納する筐体として機能する。
【0015】
装着バンド１１は、ユーザの頭部に装着される。図１に示すように、装着バンド１１は、側頭バンド１１ａと、頭頂バンド１１ｂとを有する。側頭バンド１１ａは、基体部１０に接続され、側頭部から後頭部にかけてユーザの頭部を囲むように装着される。頭頂バンド１１ｂは、側頭バンド１１ａに接続され、側頭部から頭頂部にかけてユーザの頭部を囲むように装着される。これにより、ユーザの眼前に基体部１０を保持することが可能となる。
【0016】
図２に示すようにＨＭＤ１００は、さらに、内向きカメラ１２と、動作センサ１３と、外部センサ１４と、ディスプレイ１５と、通信部１６と、記憶部１７と、コントローラ２０とを有する。
【0017】
内向きカメラ１２は、ユーザの眼球を撮影する。ユーザの眼球が撮影された眼球画像は、後述するユーザの視線ベクトルを検出する処理に用いられる。内向きカメラ１２は、例えばユーザの左眼及び右眼が撮影可能となるように基体部１０の内部に配置された左眼用及び右眼用カメラを用いて構成される。本実施形態では、内向きカメラ１２は、第１のセンサに相当する。
【0018】
内向きカメラ１２（左眼用及び右眼用カメラ）としては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。また、例えば赤外線ＬＥＤ等の赤外線光源を搭載した赤外線カメラが用いられてもよい。これにより、眼球の赤外線画像を撮影することが可能となり、例えばユーザの視線ベクトルを精度よく検出することが可能となる。内向きカメラ１２の具体的な構成は限定されない。
【0019】
動作センサ１３は、ＨＭＤ１００の動きに関する情報を検出するセンサである。動作センサ１３は、例えば基体部１０の所定の位置に固定して配置され、ＨＭＤ１００の傾斜や回転等を検出する。従って、動作センサ１３は、ＨＭＤ１００を装着したユーザの頭部の動きに関する情報を検出するセンサであるとも言える。本実施形態では、動作センサ１３は、第２のセンサに相当する。
【0020】
動作センサ１３としては、例えば慣性計測装置（ＩＭＵ：Inertial Measurement Unit）等が用いられる。慣性計測装置は、例えば３軸のジャイロ及び加速度計によって、３次元の角速度及び加速度を検出するセンサである。また例えば、３軸のジャイロや加速度に加え３軸の速度計を備えた９軸センサ等が動作センサ１３として用いられてもよい。この他、動作センサ１３の種類は限定されず、ＨＭＤ１００の動作を検出可能な任意のセンサが用いられてよい。
【0021】
外部センサ１４は、ＨＭＤ１００の外側の情報を検出するセンサである。外部センサ１４としては、ＨＭＤ１００の正面（ユーザの正面）を撮影するデジタルカメラ（外向きカメラ）等が用いられる。また例えば、実空間の奥行情報等を検出可能なステレオカメラやＴＯＦ（Time of Flight）センサ等を備えたカメラ等が外部センサ１４として用いられてもよい。例えば外部センサ１４により検出された画像をディスプレイ１５に表示することで、ＡＲ体験等を提供することが可能である。この他、レーダセンサやＬｉＤＡＲセンサ等が外部センサ１４として搭載されてもよい。
【0022】
ディスプレイ１５は、ユーザの視界の少なくとも一部を覆うように基体部１０に設けられる。例えば左眼用及び右眼用の画像を表示するように２つのディスプレイ１５が、ユーザの視界に配置される。あるいは、単一のディスプレイ１５を用いて左眼用及び右眼用の画像が表示される構成が採用されてもよい。またディスプレイ１５とユーザの左眼及び右眼との間には、例えばフォーカスを調整するためのレンズ等が設けられてもよい。
【0023】
ディスプレイ１５としては、例えば有機ＥＬディスプレイやＬＣＤ（Liquid Crystal Display、液晶表示素子）ディスプレイ等が用いられる。この他、ディスプレイ１５の具体的な構成は限定されない。本実施形態では、ディスプレイ１５は、表示装置に相当する。
【0024】
通信部１６は、他のデバイスとの間で、ネットワーク通信や近距離無線通信等を実行するためのモジュールである。通信部１６としては、例えばＷｉＦｉ等の無線ＬＡＮモジュールや、Bluetooth（登録商標）等の通信モジュールが設けられる。
【0025】
また通信部１６は、例えばユーザが手を使った操作入力等を行うための入力装置（図示省略）との通信を実行する。入力装置としては、例えば、選択ボタン、アナログスティック、及びスイッチ等を備えた装置（ゲームコントローラ等）が用いられる。入力装置の種類等は限定されず、例えばキーボード等が用いられてもよい。
【0026】
記憶部１７は、不揮発性の記憶デバイスである。記憶部１７としては、例えばＳＳＤ（Solid State Drive）等の固体素子を用いた記録媒体や、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体が用いられる。この他、記憶部１７として用いられる記録媒体の種類等は限定されず、例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。
【0027】
記憶部１７には、ＨＭＤ１００の全体の動作を制御するための制御プログラム１８が記憶される。制御プログラム１８は、本実施形態に係るプログラムであり、記憶部１７は、プログラムが記録されているコンピュータが読み取り可能な記録媒体に相当する。
【0028】
コントローラ２０は、ＨＭＤ１００が有する各ブロックの動作を制御する。コントローラ２０は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部１７に記憶されている制御プログラム１８をＲＡＭにロードして実行することにより、種々の処理が実行される。本実施形態では、コントローラ２０は、情報処理装置に相当する。
【0029】
コントローラ２０として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。また例えばＧＰＵ（Graphics Processing Unit）等のプロセッサがコントローラ２０として用いられてもよい。
【0030】
なおコントローラ２０や記憶部１７は、ＨＭＤ１００本体とは別に設けられてもよい。例えば、図示しない通信部等を介して、ＨＭＤ１００本体と、コントローラ２０等が通信することにより、ＨＭＤ１００の制御が実現されてもよい。これにより、ＨＭＤ１００本体の消費電力が抑制され、ＨＭＤ１００の稼働時間を向上することが可能である。
【0031】
本実施形態では、コントローラ２０のＣＰＵが本実施形態に係るプログラムを実行することで、機能ブロックとして、視線検出部２１、頭部位置姿勢検出部２２、表示制御部２３、及びモード切替部２４が実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。
【0032】
視線検出部２１は、ユーザの眼球の位置姿勢情報に基づいてユーザの視線を検出する。ここでユーザの眼球の位置姿勢情報とは、ユーザの眼球の位置及び姿勢を検出することが可能な情報である。例えばユーザの左右の眼球の間隔や各眼球の前後の位置等、あるいは各眼球の向き（姿勢）等を検出するための情報が、眼球の位置姿勢情報となる。
【0033】
本実施形態では、視線検出部２１は、内向きカメラ１２からユーザの眼球の位置姿勢情報を取得する。具体的には、ユーザの眼球の位置姿勢情報として、内向きカメラ１２により撮影された眼球画像が適宜読み込まれる。従って本実施形態では、眼球画像が、ユーザの眼球の位置姿勢情報となる。
【0034】
また、視線検出部２１は、眼球の位置姿勢情報に基づいてユーザの視線ベクトルを推定する。すなわち内向きカメラ１２により撮影された眼球画像に基づいて、ユーザの視線ベクトルが推定される。視線ベクトルは、ユーザの視線方向の推定結果を表すベクトルであり、例えばＨＭＤ１００（コントローラ２０）で用いられる所定の座標系でのベクトルとして検出される。本実施形態では、視線検出部２１は、眼球情報取得部及び視線推定部として機能する。
【0035】
視線ベクトルは、例えば角膜反射法等を用いて推定される。角膜反射法では、例えば赤外線カメラ（内向きカメラ１２）及び赤外光源を用いて眼球が撮影される。この場合、眼球画像には、赤外線が角膜等で反射されることで生じる輝点（プルキニエ像）が映り込むことになる。この赤外線の輝点と瞳孔位置とに基づいて視線ベクトルが推定される。角膜反射法を用いることで、視線ベクトルを精度よく検出することが可能である。
【0036】
また例えば、眼球画像に基づいて、目じり等の特徴点を基準に視線ベクトルを推定する方法等が用いられてもよい。この方法では、例えば赤外線光源等を設ける必要がないため、部品点数を抑えることが可能である。この他、眼球画像に基づいて視線ベクトルを推定する方法は限定されず、機械学習等を用いて視線ベクトルを推定する方法等が用いられてもよい。
【0037】
本実施形態では、例えば左右の眼球ごとに視線ベクトルが推定され、これらを適宜合成することで、単一の視線ベクトルが推定される。これに限定されず、例えば左右の眼球ごとに推定された視線ベクトルが用いられる場合にも本技術は適用可能である。なお、視線ベクトルの推定処理には、推定誤差が含まれる。従って、視線ベクトルは、実際にユーザが見ている方向と必ずしも一致するとは限らない。この点については後述する。
【0038】
頭部位置姿勢検出部２２は、動作センサ１３の検出結果を読み込み、ユーザの頭部の位置及び姿勢を検出する。また頭部位置姿勢検出部２２は、ユーザが頭部を回転させるヘッドジェスチャーに伴う、ユーザの頭部の回転方向及び回転角度を検出する。
【0039】
上記したように、動作センサ１３は、ＨＭＤ１００の動きに関する情報、すなわちユーザの頭部の動きに関する情報を検出する。従って、動作センサ１３の検出結果（頭部の速度・加速度・角速度等）は、ユーザが頭部を回転させるヘッドジェスチャーに関する情報（以下、ヘッドジェスチャー情報と記載する）となる。
【0040】
このように、頭部位置姿勢検出部２２は、動作センサ１３からヘッドジェスチャー情報を取得する。本実施形態では、ヘッドジェスチャー情報は、眼球の位置姿勢情報とは異なるユーザのジェスチャー情報の一例である。また本実施形態では、頭部位置姿勢検出部２２は、ジェスチャー情報取得部に相当する。
【0041】
頭部位置姿勢検出部２２は、動作センサ１３の検出結果に基づいて、ユーザの頭部の位置及び姿勢を検出する。例えば頭部の移動方向を推定することで、頭部の位置が検出される。頭部の位置は、例えばユーザの視線方向の基点（視点）となる。また例えば、頭部の傾き等に基づいて、頭部の姿勢が検出される。
【0042】
また頭部位置姿勢検出部２２は、ユーザの頭部の回転方向及び回転角度を検出する。例えばあるタイミングでの頭部の姿勢を基準として頭部の姿勢の変化量が算出される。この変化量に基づいて頭部の回転方向や回転角度等が検出される。頭部の位置、姿勢、回転方向、及び回転角度等を検出する方法は限定されない。
【0043】
表示制御部２３は、ＨＭＤ１００のディスプレイ１５における画像表示を制御する。すなわち、表示制御部２３は、状況に応じて適正な画像が表示されるように、ディスプレイ１５を制御するとも言える。本実施形態では、表示制御部２３は、視線方向調整部２５と、画像処理部２６とを有する。
【0044】
視線方向調整部２５は、ユーザのヘッドジェスチャーに応じて、視線検出部２１により検出された視線ベクトルを補正（調整）する。例えば、頭部位置姿勢検出部２２により検出されたユーザの頭部の回転方向及び回転角度等に基づいて、視線ベクトルを回転することで、視線ベクトルが補正される。視線ベクトルを補正する方法については、後に詳しく説明する。
【0045】
なお視線ベクトルの補正は、後述するモード切替部２４により指定されるモードに応じて実行される。例えば視線方向調整部２５は、指定されたモードに応じて、視線ベクトルを補正しないモード（第１のモード）と、視線ベクトルを補正するモード（第２のモード）とを実行する。例えば第１のモードでは、視線検出部２１により検出された視線ベクトルの情報が、補正されることなく、画像処理部２６に出力される。また第２のモードでは、補正された視線ベクトルの情報が、画像処理部２６に出力される。
【0046】
画像処理部２６は、ディスプレイ１５に表示される画像を生成する。画像処理部２６は、例えばＨＭＤ１００で実行されるコンテンツ情報を取得し、コンテンツの進行状況や、ユーザの頭部（ＨＭＤ１００）の位置・姿勢等に応じて、コンテンツ画像を生成する。
【0047】
また画像処理部２６は、視線ベクトルに基づいた注視状態を示すガイド画像を生成する。ここで注視状態とは、例えばユーザの視覚動作の状態である。例えばユーザが注視している位置やオブジェクト等を可視化することで、注視状態を示すことが可能である。従って、視線ベクトルに基づいた注視状態には、例えば視線ベクトルを用いて算出される注視位置Ｐや注視オブジェクト等が含まれる。
【0048】
画像処理部２６では、視線方向調整部２５から出力された視線ベクトルに基づいて注視位置Ｐが算出される。従って第１のモードでは、補正されていない視線ベクトルでの注視位置Ｐが算出され、第２のモードでは、補正された視線ベクトルでの注視位置Ｐが算出される。
【0049】
また注視位置Ｐの算出には、例えばコンテンツの情報等が用いられる。例えば仮想空間に表示される仮想オブジェクトと、視線ベクトルとが交差する位置が、注視位置Ｐとして算出される。また注視位置Ｐを含む仮想オブジェクト、すなわち視線ベクトルと交差する仮想オブジェクトが、注視オブジェクトとして検出される。注視位置Ｐを算出する方法や注視オブジェクトを検出する方法等は限定されない。
【0050】
図３は、ガイド画像の一例を示す模式図である。図３Ａ～図３Ｃには、互いに種類の異なるガイド画像３０が模式的に図示されている。なお図３Ａ～図３Ｃに示す各ガイド画像３０は、共通の視線ベクトルを用いて算出された画像である。
【0051】
図３Ａに示すガイド画像３０は、ポインタ画像３１（ポインタオブジェクト）である。ポインタ画像３１は、視線ベクトルに基づいて算出された注視位置Ｐを示す画像である。ポインタ画像３１は、視線ベクトルに応じて、ディスプレイ１５上の任意の位置に表示されるガイド画像３０である。図３Ａに示す例では、互いに直交する２本のラインと各ラインの交差位置を中心とする円により、ポインタ画像３１が構成される。ポインタ画像３１では、各ラインの交差位置（円の中心）により、注視位置Ｐが表される。
【0052】
図３Ａには、横方向に１列に配置された５つの仮想オブジェクト４０（立方体）を含むコンテンツ画像２７が図示されている。このうちポインタ画像３１は、左端の仮想オブジェクト４０に重なるように表示される。これにより、ＨＭＤ１００（コントローラ２０）側で算出された注視位置Ｐ（視線ベクトル）を可視化して表示することが可能となる。
【0053】
このように、図３Ａに示すガイド画像３０（ポインタ画像３１）は、注視状態として、視線ベクトルに基づく注視位置Ｐを示す画像である。なお、上記したように、視線ベクトルには推定誤差が含まれるため、注視位置Ｐはユーザが実際にみている位置とは限らない。
【0054】
図３Ｂに示すガイド画像３０は、仮想オブジェクト４０が強調して表示されたハイライト画像３２である。ハイライト画像３２では、視線ベクトルと交差する、すなわち注視位置Ｐを含む仮想オブジェクト４０が強調される。以下では、注視位置Ｐを含む仮想オブジェクト４０を注視オブジェクト４１と記載する。なおディスプレイ１５に表示された５つの仮想オブジェクト４０は、注視オブジェクト４１の候補となる候補オブジェクト４２である。
【0055】
ハイライト画像３２は、例えばコンテンツ画像２７に含まれる注視オブジェクト４１が強調表示された画像である。すなわち、コンテンツ画像２７の一部が、注視状態を示すように強調された画像もガイド画像３０に含まれる。このように、図３Ｂに示すガイド画像３０（ハイライト画像３２）は、注視状態として、注視位置Ｐを含む注視オブジェクト４１を示す画像である。なお注視位置Ｐと同様に、注視オブジェクト４１は、ユーザが実際に注視しているオブジェクトであるとは限らない。
【0056】
図３Ｃに示すガイド画像３０は、ディスプレイ１５内の所定の位置に表示されるスコープ画像３３である。スコープ画像３３は、注視状態として、視線ベクトルに基づく注視位置Ｐを示す画像であり、図３Ａに示すポインタ画像３１とは異なり、ディスプレイ１５上の定まった位置に表示される画像である。
【0057】
スコープ画像３３は、例えばディスプレイ１５の中央位置に定位するように表示される。この場合、スコープ画像３３の中心（ディスプレイ１５の中央位置）が、注視位置Ｐとなるように、コンテンツ画像２７の表示範囲等が適宜調整される。従って、図３Ｃに示す例では、ユーザの視線に連動して、表示内容（コンテンツ画像２７）が移動することになる。
【0058】
なお、図３Ａ～図３Ｃに示すガイド画像３０は、単独で用いられてもよいし、適宜組み合わせて用いられてもよい。例えば、ポインタ画像３１が重畳された仮想オブジェクト４０をハイライト画像３２として強調するといった処理が可能である。また例えば、スコープ画像３３とハイライト画像３２とが組み合わせて用いられてもよい。
【0059】
このように、表示制御部２３（視線方向調整部２５及び画像処理部２６）は、推定された視線ベクトルに基づいた注視状態を示すガイド画像３０を表示するようディスプレイ１５を制御する。例えば、注視位置や注視オブジェクトを表示することで、ユーザは視線を用いた選択操作等を実行することが可能となる。
【0060】
モード切替部２４は、モード切替入力に応じて、第１のモードと第２のモードとを切り替える。モード切替入力は、例えば視線ベクトルを補正する第２モードの開始や終了を指定する入力情報である。またモード切替部は、第２のモードの開始条件及び終了条件に基づいてモード切替入力を判定する。この判定結果に応じて、第１及び第２のモードが切り替えて実行される。モード切替入力の種類や、その判定条件等については、後に詳しく説明する。
【0061】
第１のモードでは、視線検出部２１により検出された視線ベクトルを補正することなくそのままガイド画像３０が生成される。すなわち第１のモードは、ユーザの眼球の位置姿勢情報をガイド画像３０に反映させるモードであると言える。
【0062】
第２のモードは、視線検出部２１により検出された視線ベクトルをヘッドジェスチャー情報に基づいて補正するモードである。従って第２のモードでは、補正された視線ベクトルを用いてガイド画像が生成される。すなわち第２のモードは、ヘッドジェスチャー情報に基づいて、注視状態（注視位置Ｐや注視オブジェクト）が補正されるモードであると言える。
【0063】
このように、モード切替部２４は、ガイド画像３０に関するユーザのモード切替入力に応じて、眼球の位置姿勢情報をガイド画像３０に反映する第１のモードと、ヘッドジェスチャー情報に基づいて注視状態を補正する第２のモードとを切り替える。すなわちＨＭＤ１００では、視線ベクトルを補正せずにそのまま用いるモードと、視線ベクトルを補正して注視位置Ｐ等を補正するモードとが切り替えられて実行されることになる。
【0064】
図４は、ＨＭＤの基本的な動作を説明するための模式図である。図４Ａ及び図４Ｂには、第１のモード及び第２のモードにおけるユーザ１と３つの仮想オブジェクト４０ａ～４０ｃとの配置関係が模式的に図示されている。また図４では、ガイド画像３０として、ポインタ画像３１及びハイライト画像３２が用いられる。
【0065】
図４Ａに示すように、第１のモードが実行されている状態で、ユーザが左端の仮想オブジェクト４０ａを注視したとする。図４Ａには、ユーザ１が実際に注視している方向を示す実視線ベクトル５０が点線の矢印を用いて模式的に図示されている。この実視線ベクトル５０と仮想オブジェクト４０ａとの交点（図中の十字マーク）が、ユーザ１が実際に注視している実注視位置Ｒとなる。この場合、仮想オブジェクト４０ａが、ユーザ１が本来選択したいオブジェクトとなる。
【0066】
また図４Ａには、ＨＭＤ１００（視線検出部２１）により検出された視線ベクトル５１が、実線の矢印を用いて模式的に図示されている。視線ベクトル５１は、推定誤差（視線検出誤差）を含むため、実視線ベクトル５０とは異なるベクトルとなっている。図４Ａに示す例では、視線ベクトル５１は、ユーザ１が実際に見ている仮想オブジェクト４０ａの右前に配置された仮想オブジェクト４０ｂと交差する。この結果、視線ベクトル５１に基づく注視位置Ｐは、仮想オブジェクト４０ｂ上に検出され、仮想オブジェクト４０ｂが注視オブジェクト４１となる。
【0067】
ＨＭＤ１００では、例えば図４Ａに示すような、誤った仮想オブジェクト４０ｂが注視オブジェクト４１として選択された状態が所定時間経過した場合、第１のモードが第２のモードへと切り替えられる。この場合、ユーザ１の注視時間が、モード切替入力となる。また例えば、ユーザ１がゲームコントローラ等のボタンを操作することで、第２のモードへの切り替えが実行されてもよい。この場合、ボタンを用いた操作入力の有無がモード切替入力となる。
【0068】
本実施形態では、表示制御部２３により、第２のモードが実行された場合に、ヘッドジェスチャー情報に基づいて注視位置Ｐが補正される。すなわち、第２のモードでは、ユーザ１は頭を回転させることで、注視位置Ｐを補正することが可能である。図４Ｂには、注視位置Ｐを補正する際のユーザ１のヘッドジェスチャーが、頭部２の回転方向を示す矢印を用いて模式的に図示されている。
【0069】
例えばユーザ１が実際に見ている実注視位置Ｒの右側に注視位置Ｐ（ポインタ画像３１）が表示されている状況では、図４Ｂに示すように、ユーザ１は、注視位置Ｐが左側に動くように、頭部２を左側に向けて回転させることが考えられる。本実施形態では、このようなヘッドジェスチャーに基づいて、注視位置Ｐが補正される。
【0070】
図５は、ユーザ１の頭部の回転について説明するための模式図である。図５の左側及び右側には、図４Ｂに示すユーザ１を頭上から見下ろした場合のユーザ１の頭部２が模式的に図示されている。図５では、例えばユーザ１の左右方向をＸ軸方向とし、Ｘ軸方向と直交する垂直面内の方向をＹ軸方向とし、Ｘ軸方向と直交する水平面内の方向をＺ軸方向とする。なお、ユーザ１の鼻３が向いている方向を頭部２の正面方向とする。
【0071】
例えば図５の左側に示すように、ユーザ１が左前方を向いている状態で、第２のモードが実行されたとする。ＨＭＤ１００では、この状態でのユーザ１の頭部２の回転位置が検出され、基準位置として記憶される。回転位置としては、例えば頭部２の正面方向を表すベクトル量（姿勢）等が適宜検出される。
【0072】
第２のモードの実行中に、ユーザ１が頭部２を回転させるヘッドジェスチャーを行った場合、その時の回転方向及び回転角度が検出される。例えば、図５の右側に示すように、ユーザ１が基準位置からさらに左方向を向くように頭部２を回転させたとする。この場合、鼻３が向いている正面方向が回転した方向（図中の反時計方向）がヘッドジェスチャーの回転方向として検出される。また回転された正面方向と、基準位置での正面方向との間の角度の差分（頭部差分回転量）が、ヘッドジェスチャーの回転角度として検出される。
【0073】
このように、ユーザ１の頭部２の回転角度は、第２のモードが実行されたタイミングでのユーザ１の頭部２の回転位置を基準として算出される。これにより、ユーザ１が注視位置Ｐ（視線ベクトル５１）を補正するために行う動作の動作量（ヘッドジェスチャーにおける回転角度）を精度よく検出することが可能となる。この結果、視線ベクトル５１及び注視位置Ｐを精度よく補正することが可能となる。
【0074】
なお、一般に人間は、同じ位置を見ながら頭部２を回転させることが可能である。従って、ユーザ１は関心を持っている対象（仮想オブジェクト４０ａ）を見ながら、注視位置Ｐを補正するためのヘッドジェスチャーを実行することが可能である。
【0075】
図４Ｂに示すように、表示制御部２３は、検出されたヘッドジェスチャーの回転方向と同様の方向に、視線ベクトル５１を偏向させる。すなわち、表示制御部２３は、ユーザ１の頭部の回転方向に視線ベクトル５１を回転させる。これにより、図４Ｂに示すように、注視位置Ｐは左方向に移動することになる。このように、視線ベクトル５１を回転させることで、ユーザ１が注視位置Ｐ（視線ベクトル５１）を補正する方向を直感的に指定することが可能となり、視線ベクトル５１及び注視位置Ｐを容易に補正することが可能となる。
【0076】
また視線ベクトル５１を偏向する量、すなわち視線ベクトル５１の回転角度は、ヘッドジェスチャーの回転角度に応じて、一定の範囲に収まるように適宜調整される。この点については、後に詳しく説明する。このように、表示制御部２３は、ヘッドジェスチャー情報に基づいて視線ベクトル５１を補正することで注視位置Ｐを補正する。
【0077】
また補正後の注視位置Ｐを表すガイド画像３０（ポインタ画像３１及びハイライト画像３２）が生成され、ディスプレイ１５に表示される。この結果、図４Ｂに示すように、ポインタ画像３１は、左側の仮想オブジェクト４０ａ上に移動される。また注視オブジェクト４１として、仮想オブジェクト４０ａが強調されたハイライト画像３２が表示される。このように、表示制御部２３は、第２のモードが実行された場合に、注視位置Ｐが補正されたガイド画像３０を表示するようディスプレイ１５を制御する。
【0078】
このように、第２のモードでは、ＨＭＤ１００側で検出された視線ベクトル５１が、ユーザ１の頭部２の回転で調整される。すなわち、第２のモードは、視線ベクトル５１を頭部２で調整する頭部調整モードであると言える。これにより、ユーザ１が所望とするオブジェクトが選択し易くなり、例えば図４Ａ及び図４Ｂに示すように、互いに近接した仮想オブジェクト４０等から、所望の対象を容易に選択することが可能となる。これにより、視線を用いた選択操作の操作性を向上することが可能である。
【0079】
図６は、視線ベクトル５１の補正処理の一例を示すフローチャートである。図７は、視線ベクトル５１の補正処理の一例を示す模式図である。以下では、図６及び図７を参照して、視線ベクトル５１の補正処理（注視位置Ｐの補正処理）について具体的に説明する。
【0080】
図７には、アイテム選択を行うコンテンツ画像２７の一例が模式的に図示されている。図７に示す例では、棚に配置された複数のアイテム（仮想オブジェクト４０）から、所望のアイテムを選択する選択操作が行われる。このコンテンツ画像２７は、視線を用いた選択操作が適用される画面の一例である。なお、図７には、ユーザ１が注視しているアイテム４３ａとは異なるアイテム４３ｂが選択された状態が示されている。
【0081】
図６に示す処理は、例えばコンテンツの開始とともに実行されるループ処理である。まず視線ベクトル５１と、頭部２の位置及び姿勢（回転位置）とが検出される（ステップ１０１）。例えば、視線検出部２１により、内向きカメラ１２から眼球の位置姿勢情報（ユーザ１の眼球画像）が読み込まれ、視線ベクトル５１が検出される。また頭部位置姿勢検出部２２により、動作センサ１３の検出結果（ヘッドジェスチャー情報）が読み込まれ、頭部２の位置及び姿勢が検出される。
【0082】
第２のモードが実行中（ＯＮ）であるか否かが判定される（ステップ１０２）。例えば第２のモードがＯＦＦである場合（ステップ１０２のＮｏ）、モード切替部２４により、第２のモードの開始条件を判定する処理が実行される。
【0083】
図６に示す例では、ユーザ１が同一方向を１００ｍｓｅｃ以上注視しているか否かが判定される（ステップ１０３）。ここでユーザ１が同一方向を注視している状態とは、例えば視線ベクトル５１が所定の角度以下に収まっている状態である。例えば１００ｍｓｅｃ前の視線ベクトル５１と、現在の視線ベクトル５１との間の角度が所定の角度（例えば５度等）以下である場合に、ユーザ１が同一方向を１００ｍｓｅｃ以上注視していると判定される。
【0084】
例えば、図７に示すように、ユーザ１が意図したアイテム４３ａを選択したい場合には、そのアイテム４３ａを継続して注視するため、視線ベクトル５１がほとんど動かないといった状態が起きると考えられる。この場合、ユーザ１が同一方向を注視することが、ユーザ１のモード切替入力となる。これにより、ユーザ１は自然にモード切替を行うことが可能である。
【0085】
これら視線ベクトル５１を判定するための期間や角度は、第２のモードの開始条件となる。このように、第２のモードの開始条件は、視線ベクトル５１の変化量に関する条件を含む。なお、視線ベクトル５１を判定するための期間や角度等の開始条件は限定されない。例えば視線ベクトル５１の推定誤差や、コントローラ２０の処理速度等に応じて、適宜設定されてよい。
【0086】
また例えば、ステップ１０３として、同一のオブジェクトが注視されている期間が判定されてもよい。例えば図７では、ユーザ１がアイテム４３ａを見ている間、ユーザ１の意図しないアイテム４３ｂが注視オブジェクト４１となっている。この場合、例えばアイテム４３ｂが注視オブジェクト４１として選択されている期間が所定の期間（例えば１００ｍｓｅｃ等）である場合に、開始条件が満たされたと判定される。このように、第２のモードの開始条件は、注視オブジェクト４１が注視されている期間に関する条件を含む。
【0087】
また例えば、ステップ１０３として、ユーザ１によるボタン等を用いた操作入力の有無が判定されてもよい。すなわち、ユーザ１が第２のモードを開始するための入力を実行したか否かが判定されてもよい。これにより、確実に第２のモードを開始することが可能となる。このように、第２のモードの開始条件は、ユーザによる操作入力の有無に関する条件を含む。この他、第２のモードの開始条件は限定されず、適宜設定されてよい。
【0088】
図６に戻り、ユーザ１が同一方向を１００ｍｓｅｃ以上注視していないと判定された場合、すなわち、第２のモードの開始条件が満たされていないと判定された場合（ステップ１０３のＮｏ）、ステップ１０１以降の処理が再度実行される。
【0089】
ユーザ１が同一方向を１００ｍｓｅｃ以上注視していると判定された場合、すなわち、第２のモードの開始条件が満たされていると判定された場合（ステップ１０３のＹｅｓ）、視線ベクトル５１が記憶される（ステップ１０４）。また視線ベクトル５１が記憶されると、頭部の基準回転位置が記憶される（ステップ１０５）。そして、モード切替部２４により、第２のモードがＯＮに切り替えられる（ステップ１０６）。
【0090】
第２のモードがＯＮに切り替えられると、再度ステップ１０１が実行され、視線ベクトル５１と、ユーザ１の頭部の位置及び姿勢とが検出される。またステップ１０２が実行され、第２のモードがＯＮであるか否かが判定される。第２のモードがＯＮであると判定された場合（ステップ１０２のＹｅｓ）、モード切替部２４により、第２のモードの終了条件を判定する処理が実行される。
【0091】
図６に示す例では、視線ベクトル５１がステップ１０４で記憶された視線ベクトル５１と比べて、５度以上変化したか否かが判定される（ステップ１０７）。すなわち、第２のモードを開始する際の視線ベクトル５１と現在の視線ベクトル５１との間の角度が５度以上であるか否かが判定される。
【0092】
例えば、図７において、ユーザ１が注視していたアイテム４３ａから、他のアイテム４３に関心が移った場合には、ユーザ１は、他のアイテム４３を注視するように視線を移動すると考えられる。このため、視線ベクトル５１の変化量が一定の角度（図６では５度）以上変化した場合には、第２のモードを終了する処理が実行される。
【0093】
この場合、ユーザ１が他の方向（アイテム）を注視することが、ユーザ１のモード切替入力となる。また、視線ベクトル５１の変化量を判定するための角度が、第２のモードの終了条件となる。このように、第２のモードの終了条件は、視線ベクトル５１の変化量に関する条件を含む。なお、視線ベクトル５１の変化量を判定するための角度等の終了条件は限定されない。
【0094】
また例えば、ステップ１０７として、ユーザ１の頭部の回転速度（角速度等）が判定されてもよい。例えばユーザ１の頭部回転角速度が一定の速度よりも大きい場合には、第２のモードを終了する処理が実行されてもよい。これにより、例えばユーザ１が注視していたアイテム４３ａに興味を失った場合等には、すぐに第２のモードを解除することが可能となる。また例えばユーザ１が頭部２を左右に大きく振った場合に第２のモードが終了されてもよい。この場合、ユーザ１の頭部の回転速度がモード切替入力となり、回転速度を判定するための角速度等が第２のモードの終了条件となる。このように、第２のモードの終了条件は、ユーザ１の頭部２の回転速度に関する条件を含む。
【0095】
また例えば、ステップ１０７として、ユーザ１の眼の動作（眼動作）が判定されてもよい。例えばユーザ１が一定の期間以上眼を閉じている場合等には、第２のモードを終了する処理が実行されてもよい。これにより、容易に第２のモードを解除することが可能となる。この場合、ユーザ１が眼を閉じる動作がモード切替入力となり、眼を閉じる動作を判定するための期間が第２のモードの終了条件となる。このように、第２のモードの終了条件は、ユーザ１の眼動作に関する条件を含む。
【0096】
また例えば、ステップ１０７として、ユーザ１によるボタン等を用いた操作入力の有無が判定されてもよい。すなわち、ユーザ１が第２のモードを終了するための入力を実行したか否かが判定されてもよい。これにより、確実に第２のモードを終了することが可能となる。このように、第２のモードの終了条件は、ユーザによる操作入力の有無に関する条件を含む。この他、第２のモードの終了条件は限定されず、適宜設定されてよい。
【0097】
図６に戻り、視線ベクトル５１が第２のモードの開始時から５度以上変化していないと判定された場合、すなわち、第２のモードの終了条件が満たされていないと判定された場合（ステップ１０７のＮｏ）、視線ベクトル５１を補正する処理が実行される（ステップ１０８）。
【0098】
図６に示す例では、視線ベクトル５１を補正する処理として、ステップ１０５で記憶された基準回転位置と、現在の回転位置との差分に応じて、視線ベクトル５１を偏向する処理が実行される。すなわち、第２のモードが開始されたタイミングからのユーザ１の頭部２の回転角度に応じて、視線ベクトル５１の回転角度が設定される。
【0099】
また視線ベクトル５１を補正する処理は、例えば現在の視線ベクトル５１を補正する処理である。すなわち、ステップ１０８では、直前に実行されたステップ１０１で検出された視線ベクトル５１を補正する処理が実行される。以下では、視線ベクトル５１を補正する処理について具体的に説明する。
【0100】
図８は、視線ベクトル５１の補正に用いられる頭部２の回転方向を示す模式図である。図８には、ユーザ１が正面方向を向いている場合を基準として、水平方向（左右方向）及び垂直方向（上下方向）の頭部２の回転方向５５ａ及び５５ｂが模式的に図示されている。本実施形態では、視線ベクトル５１の補正に用いられる頭部２の回転角度についての最大調整範囲が設けられる。最大調整範囲は、例えば基準回転位置からの角度範囲として設定される。本実施形態では、最大調整範囲は、第２の範囲に相当する。
【0101】
一般に、人間があるポイントを見ながら頭部２を回転させることが可能な範囲は、上下方向の回転に比べ左右方向の回転の方が広い。例えばこのような特性に応じて、最大調整範囲が設定される。例えば水平方向の回転方向５５ａの最大調整範囲は、基準回転位置を中心に±７度に設定される。また例えば垂直方向の回転方向５５ｂの最大調整範囲は、基準回転位置を中心に±３度に設定される。
【0102】
図９は、視線ベクトル５１の最大回転範囲の一例を示す模式図である。図９Ａは、視線ベクトル５１の水平方向における最大回転範囲５６ａを示す模式図であり、図９Ｂは、視線ベクトル５１の垂直方向における最大回転範囲５６ｂを示す模式図である。また実線の矢印は、現在の視線ベクトル５１である。
【0103】
視線ベクトル５１の最大回転範囲とは、視線ベクトル５１が補正される最大の回転範囲である。図９Ａ及び図９Ｂに示す例では、水平方向及び垂直方向における最大回転範囲５６ａ及び５６ｂがともに±２度に設定される。
【0104】
表示制御部２３（視線方向調整部２５）は、この最大回転範囲５６内で、頭部２の回転角度に応じて視線ベクトル５１の回転角度が設定される。このように、表示制御部２３は、ユーザ１の頭部２の回転角度に応じて、最大回転範囲５６に収まるように視線ベクトル５１の回転角度を設定する。本実施形態では、最大回転範囲５６は、第１の範囲に相当する。
【0105】
例えば視線ベクトル５１の回転角度は、頭部２の回転角度に比例するように設定される。例えば、図９Ａにおいて、頭部２の回転に関する水平方向における最大調整範囲５７ａ（図中の点線）が±７度であるとする。この場合、例えば頭部２の回転角度が水平方向に０度から７度に回転する時、視線ベクトル５１の回転角度（調整量）は、０度から２度に比例変化する。
【0106】
また図９Ｂにおいて、頭部２の回転に関する垂直方向における最大調整範囲５７ｂ（図中の点線）が±３度であるとする。この場合、例えば頭部２の回転角度が水平方向に０度から３度に回転する時、視線ベクトル５１の回転角度（調整量）は、０度から２度に比例変化する。このように、視線ベクトル５１及び頭部２の各回転角度の比例係数は、回転方向に応じて異なるように設定される。
【0107】
なお頭部２の最大調整範囲５７に対して、不感領域が設定されてもよい。例えば頭部２の回転角度が十分に小さい場合には、視線ベクトル５１の補正を実行しない等の処理が実行される。例えばこのような設定が可能である。
【0108】
また、ユーザ１の頭部２の水平方向の回転角度が±７度の範囲を超えたとする。この場合、視線ベクトル５１の回転角度は、視線ベクトル５１の最大回転範囲５６ａの最大値±２度で制限される。すなわち、水平方向に±７度の範囲を超えた分の回転角度は、視線ベクトル５１の補正に反映されない。垂直方向についても同様に、±３度の範囲を超えた場合には、最大回転範囲５６ｂの最大値±２度で視線ベクトル５１の回転角度が制限される。
【0109】
このように、表示制御部２３は、ユーザ１の頭部２の回転角度が最大調整範囲５７を超えた場合に、視線ベクトル５１の回転角度を最大回転範囲５６の最大角度に設定する。これにより、例えば、ユーザ１が無理な姿勢で視線ベクトル５１の補正を行うといったことを防止することが可能である。
【0110】
ユーザ１の頭部２の最大調整範囲５７を設定する方法は限定されない。例えば、頭部２の最大調整範囲５７は、コンテンツの進行状況やユーザ１の姿勢等に応じて動的に設定されてもよい。
【0111】
例えば頭部２の最大調整範囲５７は、第２のモードが実行されたタイミングでのユーザ１の頭部２の姿勢に基づいて設定されてもよい。例えばユーザ１が図７に示すような棚等のコンテンツ画像２７に対して頭部２を左右のどちらかに回転させて斜めに注視しているといった状況が考えられる。この場合、頭部２が水平方向に回転しているため、体の正面を向くように頭部２を回転させることは、その反対に回転させるよりも容易である。
【0112】
第２のモードにおいて、このような頭部２の姿勢（基準回転位置）が検出された場合、正面を向くように回転させる方向の最大回転範囲５６を大きく設定し、その反対方向の最大回転範囲５６を小さく設定するといった処理が実行されてもよい。すなわち、最大回転範囲５６は、基準回転位置に対して非対称に設定される。これにより、頭部２を容易に回転させることが可能な方向に対して、視線ベクトル５１を細かく調整するといったことが可能となる。
【0113】
また例えば、頭部２の最大調整範囲５７は、注視オブジェクト４１の候補となる候補オブジェクト４２の密集度に基づいて設定されてもよい。例えば図７に示すように、候補オブジェクト４２（アイテム４３）が多数存在するような画面では、視線ベクトル５１の詳細な調整が可能となるように、最大調整範囲５７が大きく設定される。これにより、細かい選択操作を容易に実行することが可能となる。
【0114】
また例えば、頭部２の最大調整範囲５７は、視線ベクトル５１の推定精度に基づいて設定されてもよい。例えば推定精度が低い場合には、最大調整範囲５７を大きく設定し、推定精度が高い場合には、最大調整範囲を小さく設定する。これにより、推定精度に応じた適正な感度で選択操作を行うことが可能である。例えばこのような設定が可能である。
【0115】
また例えば、頭部２の最大調整範囲５７は、視線ベクトル５１の較正データに基づいて設定されてもよい。視線ベクトル５１の較正データとは、例えば、ＨＭＤ１００を装着したユーザ１の視線ベクトル５１のキャリブレーションを行った際のデータである。較正データには、例えばキャリブレーション時の眼球の姿勢等が記録される。
【0116】
例えば、較正データに記録された眼球の姿勢の範囲をこえた状態で推定される視線ベクトル５１は、推定精度が低くなる場合がある。例えば頭部２の最大調整範囲５７は、あるポイントを見ながら頭部２を回転させた場合の眼球の姿勢が、較正データにおける眼球の姿勢の範囲を超えないように、適宜設定される。これにより、推定精度を維持したまま、視線ベクトル５１を調整することが可能となる。
【0117】
また、視線ベクトル５１の最大回転範囲５６を設定する方法は限定されない。例えば、頭部２の最大調整範囲５７と同様に、最大回転範囲５６が、コンテンツの進行状況やユーザ１の姿勢等に応じて動的に設定されてもよい。
【0118】
例えば、視線ベクトル５１の最大回転範囲５６が、候補オブジェクト４２の密集度に基づいて設定されてもよい。例えば候補オブジェクト４２が密集している場合には、詳細な調整が可能となるように、最大回転範囲５６が小さく設定される。また候補オブジェクト４２がまばらである場合には、最大回転範囲５６が大きく設定される。
【0119】
また例えば、視線ベクトル５１の最大回転範囲５６は、視線ベクトル５１の推定精度に基づいて設定されてもよい。最大回転範囲５６は、例えば推定精度が低い場合には、最大調整範囲５７が大きく設定され、推定精度が高い場合には、最大調整範囲５７が小さく設定される。これにより、推定精度に応じた適正な感度で選択操作を行うことが可能である。例えばこのような設定が可能である。
【0120】
図６に戻り、ステップ１０８で視線ベクトル５１が補正されると、表示制御部２３（画像処理部２６）では、補正された視線ベクトル５１に基づいて注視位置Ｐが補正される。そして補正された注視位置Ｐに応じたポインタ画像３１やハイライト画像３２が生成され、ディスプレイ１５に表示される。このように、表示制御部２３は、第２のモードが実行された場合に、ユーザ１の頭部２の回転に応じて注視位置Ｐが補正されたガイド画像３０を表示するようディスプレイ１５を制御する。例えばハイライト画像３２が表示されることで、ユーザ１は、所望のアイテム４３が選択されたことを視覚することが可能である。
【0121】
なお、ステップ１０７において、視線ベクトル５１が第２のモードの開始時から５度以上変化していると判定された場合、すなわち、第２のモードの終了条件が満たされていると判定された場合（ステップ１０７のＹｅｓ）、モード切替部２４により、第２のモードがＯＦＦに切り替えられ、第１のモードが開始される。第２のモードがＯＦＦに切り替えられると、ステップ１０１以降の処理が再度実行される。
【0122】
【0123】
図１０Ａ～図１０Ｂには、５×５に配列された２５個の仮想オブジェクト４０（立方体）が図示されている。これらの仮想オブジェクト４０の内、中央の仮想オブジェクト４０ｄの左隣りの仮想オブジェクト４０ｅが、ユーザ１が実際に注視している仮想オブジェクト４０である。すなわち、ユーザ１の実際の視線方向を表す実視線ベクトル５０（図中の点線の矢印）は、仮想オブジェクト４０ｅに向けられている。
【0124】
図１０Ａには、第１のモードにおいて、仮想オブジェクト４０ｅを見ているユーザ１が模式的に図示されている。なおＨＭＤ１００により推定された視線ベクトル５１（図中の実線の矢印）は、中央の仮想オブジェクト４０ｄに向けられている。このため注視位置Ｐは中央の仮想オブジェクト４０ｄ上で検出され、仮想オブジェクト４０ｄが注視オブジェクト４１として選択されている。
【0125】
このように、隣接する仮想オブジェクト４０が配置された状態では、ユーザ１が実際に注視している仮想オブジェクト４０を絞り込むことが可能である。すなわち、視線ベクトル５１の補正によりユーザ１が選択する可能性のある選択対象の候補を予め予測することが可能である。第１のモードでは、例えば画像処理部２６により、現在の視線ベクトル５１を所定の角度範囲で変化させた時に含まれる候補領域（図中の円）が算出される。所定の角度範囲は、例えば視線ベクトル５１の推定精度等に応じて適宜設定される。
【0126】
図１０Ｂに示すように、第２のモードが実行されたタイミングで、選択対象の候補が絞り込まれる。例えば表示制御部２３（画像処理部２６）により、図１０Ａで算出された候補領域に含まれる仮想オブジェクト４０が、選択対象の候補となるオブジェクト群として検出される。図１０Ｂに示す例では、中央の仮想オブジェクト４０ｄを囲む９つの仮想オブジェクト４０が選択対象の候補となる。
【0127】
また第２のモードが実行されると、ユーザが頭部２を回転するヘッドジェスチャーの回転方向が検出される。そして、頭部２の回転方向に向けて視線ベクトル５１が連続的に回転するように、すなわち視線ベクトル５１が慣性的に移動するように、視線ベクトル５１が補正される。図１０Ｂに示す例では、例えばユーザ１の頭部２が図中の左方向に回転される。この場合、表示制御部２３は、左方向にずれるように視線ベクトル５１を角度変化させ続ける。なお、この処理では、視線ベクトル５１の回転角度は、設定されていない。
【0128】
また視線ベクトル５１の移動に伴い、注視位置Ｐも左方向に連続的に移動することになる。つまり、ユーザ１のヘッドジェスチャーは、注視位置Ｐの移動方向を指定するジェスチャーであると言える。このように、表示制御部２３は、ユーザ１の頭部２の回転角度に係らず、ユーザ１の頭部２の回転方向に視線ベクトル５１を連続的に回転させることで注視位置を連続的に移動する。
【0129】
連続的に移動する注視位置Ｐは、選択対象となるオブジェクト群に向けて進行する。例えば、図１０Ｃでは、注視位置Ｐは、仮想オブジェクト４０ｄの左隣りの仮想オブジェクト４０ｅに到達する。この結果、ユーザ１が実際に見ている仮想オブジェクト４０ｅが、注視オブジェクト４１として選択される。すなわち、視線ベクトル５１を角度変化させて最初にヒットした仮想オブジェクト４０に、選択が切り替えられる。
【0130】
なお選択が切り替わった時点で、視線ベクトル５１の回転（注視位置Ｐの移動）は停止される。このように、図１０では、頭部２の回転方向と同じ方向に注視位置Ｐを動かして、選択対象の候補に対して注視位置Ｐを吸着させる吸着動作が実行されるとも言える。
【0131】
例えば注視オブジェクト４１に切り替わった仮想オブジェクト４０ｅはハイライト画像３２（ガイド画像３０）として表示される。すなわち、表示制御部２３は、連続的に移動する注視位置Ｐに応じて注視オブジェクト４１が切り替わるようにガイド画像３０を表示するようディスプレイ１５を制御する。
【0132】
このように、注視位置Ｐを連続的に移動することで、注視位置Ｐの移動量等を指示することなく、注視位置Ｐを補正することが可能である。これにより、例えば仮想オブジェクト４０等が密集して表示されている場合等に、移動距離の指定等を行わなくても、所望の仮想オブジェクト４０を容易に選択することが可能である。また仮想オブジェクト４０等が互いに離れて表示されている場合でも、頭部２を回転させて注視位置Ｐの移動方向を指定するだけで、所望の位置に注視位置Ｐを誘導することが可能である。
【0133】
【0134】
図１１Ａ～図１１Ｂには、図中の右方向に移動する３つの仮想オブジェクト４０（飛行機）が模式的に図示されている。これらの仮想オブジェクト４０の内、移動方向の先頭（右側）に位置する仮想オブジェクト４０ｆがユーザ１が実際に注視している仮想オブジェクト４０である。すなわち、ユーザ１の実際の視線方向を表す実視線ベクトル５０（図中の点線の矢印）は、先頭の仮想オブジェクト４０ｆに向けられている。
【0135】
図１１Ａには、第１のモードにおいて、仮想オブジェクト４０ｆを見ているユーザ１が模式的に図示されている。なおＨＭＤ１００により推定された視線ベクトル５１（図中の実線の矢印）は、先頭の仮想オブジェクト４０ｆの後方の仮想オブジェクト４０ｇに向けられている。このため注視位置Ｐは、仮想オブジェクト４０ｇ上で検出され、仮想オブジェクト４０ｇが注視オブジェクト４１として選択されている。
【0136】
例えば、図１１Ａに示す状態で、第２のモードが開始される。なお第２のモードの実行中も仮想オブジェクト４０は移動しているものとする。仮想オブジェクト４０ｆを見ているユーザ１は、仮想オブジェクト４０ｆの移動に連動するように頭部２を右方向に回転させる。この結果、図１１Ｂに示すように、実視線ベクトル５０及び視線ベクトル５１は、仮想オブジェクト４０ｆの移動に連動して回転する。
【0137】
表示制御部２３（画像処理部２６）では、各仮想オブジェクト４０の移動に連動するユーザ１の頭部２の回転速度が算出される。例えば、ユーザ１の視点位置Ｏと、注視オブジェクト４１（仮想オブジェクト４０ｆ）の位置とを結ぶベクトルの回転角速度ω１が算出される。なお、視点位置Ｏ及び注視オブジェクト４１を結ぶベクトルとしては、例えばコンテンツ情報等に基づいて算出されたベクトルが用いられてもよいし、視線ベクトル５１が用いられてもよい。
【0138】
また表示制御部２３は、ユーザ１の頭部２の回転角速度ω２を読み込む。例えば、ユーザ１が仮想オブジェクト４０ｆを注視しながら、注視位置Ｐを補正する方向（図中の右方向）に頭部２を回転させたとする。この場合、頭部２の回転角速度ω２は、仮想オブジェクト４０の移動に連動する回転角速度ω１よりも大きくなることが考えられる。
【0139】
例えばω１及びω２に基づいて、仮想オブジェクト４０の動きに連動した頭部２の動きをキャンセルした回転角速度（補正角速度Ｒ）が算出される。例えば、図１１Ｂに示すように、ω２≧ω１となっている場合、補正角速度Ｒは以下の式を用いて算出される。
Ｒ＝ω１－ω２
Ｒ＝ω１－ω２
【0140】
また表示制御部２３は、上記式によって算出された補正角速度Ｒに、サンプリング周期ΔＴ（ｓｅｃ）等を乗算して、頭部２の角度変位量（Ｒ・ΔＴ）を算出する。この角度変位量は、仮想オブジェクト４０の移動に連動した頭部２の回転がキャンセルされた変位量であり、移動する仮想オブジェクト４０に対するユーザ１の頭部２の相対的な回転角度であると言える。
【0141】
このように、表示制御部２３は、注視オブジェクト４１の候補となる仮想オブジェクト４０の移動に連動するユーザ１の頭部の回転速度に基づいて、移動する仮想オブジェクト４０に対するユーザの頭部の相対的な回転角度を算出する。この相対的な回転角度（角度変位量）により、例えばユーザ１が注視位置Ｐ（視線ベクトル５１）を補正するために行ったヘッドジェスチャーの回転角度を表すことが可能である。
【0142】
図１１Ｃに示すように、角度変位量Ｒ・ΔＴを回転角度として、視線ベクトル５１が補正される。例えば仮想オブジェクト４０ｇに向けられていた視線ベクトル５１が、先頭の仮想オブジェクト４０ｆに向けられるように補正される。この結果、注視位置Ｐは、仮想オブジェクト４０ｆに移動し、仮想オブジェクト４０ｆが注視オブジェクト４１として選択される。このように、選択対象が移動している場合であっても、選択対象の移動に伴うユーザ１の頭部２の回転の影響を取り除くことで、所望の対象を選択することが可能である。
【0143】
図１２～図１４は、視線による選択操作が適用される画面の一例を示す模式図である。図１２には、１人称視点のシューティングゲーム（ＦＰＳ：First Person Shooter）のコンテンツ画像２７が模式的に図示されている。図１２に示す例では、注視位置Ｐを示すガイド画像３０として、図３Ｂを参照して説明したスコープ画像３３が用いられる。
【0144】
図１２に示すスコープ画像３３は、照準器３４を備える銃型の仮想オブジェクト４０である。スコープ画像３３は、例えば照準器３４の中心が画面（ディスプレイ１５）の中心となるように表示される。また、画面の中心が注視位置Ｐとなるように、コンテンツ画像２７の表示が制御される。なおコンテンツ画像２７には射撃対象３５が図示されている。
【0145】
図１２に示す例では、照準器３４の中心が、射撃対象３５のからずれている。このような状態で、射撃対象３５が存在する方向（図中の左上方向）に、ユーザ１が頭部２を回転させるとする。この場合、注視位置Ｐは射撃対象３５に向けて移動するように補正される。この結果、射撃対象３５が画面の中心（注視位置Ｐ）に移動するようにコンテンツ画像２７全体が補正される。このように、射撃対象３５に照準器３４を向けるエイミング動作を、頭部２の向きで微調整することが可能である。これにより、ゲームコンテンツの操作性を十分に向上することが可能となる。
【0146】
図１３には、俯瞰状態での地図コンテンツを示すコンテンツ画像２７が図示されている。図１３に示すように、地図コンテンツには、例えば多数のランドマーク３６を示す仮想オブジェクト４０が含まれる。ランドマーク３６は、例えばショッピング、レストラン、学校、パーキングといったランドマーク３６となる位置・建物の特徴を表すアイコンで表される。これらのランドマーク３６の中から、ユーザ１が意図するランドマーク３６を選択される。
【0147】
例えば、注視位置Ｐを示すポインタ画像３１が表示される。ポインタ画像３１が意図するランドマーク３６に重なっていない場合には、ユーザ１は頭部２を回転させることで、注視位置Ｐ（ポインタ画像３１）を容易に補正することが可能である。これにより、多数のランドマーク３６が密集しているような場合であっても、所望のランドマーク３６を簡単に選択することが可能である。
【0148】
また例えば、交差点等を路上のポイントを選択したい場合に、隣接するビルやランドマーク３６等の他のオブジェクトが選択されてしまうといったことが考えられる。このような場合でも、ユーザ１は地図コンテンツを見ながら、頭部２を適宜回転させることで、注視位置Ｐ（ポインタ画像３１）を補正することが可能であり、所望のポイントを容易に選択することが可能である。
【0149】
図１４には、３Ｄモデリングを示すコンテンツ画像２７が図示されている。図１４には、複数の原子３７（仮想オブジェクト４０）で構成された化学式の３次元モデルが模式的に図示されている。３Ｄモデリングでは、例えば奥行方向に重なった仮想オブジェクト４０が表示される。例えばユーザ１が奥側に表示されている仮想オブジェクト４０（原子３７）を選択しようとした場合に、注視位置Ｐが手前の仮想オブジェクト４０を選択してしまうといった可能性がある。
【0150】
このような場合、ユーザ１は、例えば奥側の仮想オブジェクト４０が見えている方向に頭部２を回転させることで、奥側の仮想オブジェクト４０に向けて注視位置Ｐ（ポインタ画像３１）を調整することが可能である。このように、選択対象が立体的に表示されている場合であっても、所望の対象を容易に選択することが可能である。
【0151】
図１５は、第２のモードにおける画面の表示例を示す模式図である。図１５の左側の図は、第１のモードが実行されている場合にディスプレイ１５に表示される画面の一例であり、注視位置Ｐを補正しないモードでの表示例である。なお図１５の左側の図には、図１２を参照して説明したゲームのコンテンツ画像２７の一部が示されている。
【0152】
図１５の中央の図は、第２のモードが実行されている場合にディスプレイ１５に表示される画面の一例である。中央の図に示すように、例えば第２のモードが実行され、注視位置Ｐを補正する操作が開始された場合には、画面全体が拡大（ズームイン）される。このように、ズームインした視点を表示することで、例えば、注視位置Ｐとユーザ１が実際に注視している仮想オブジェクト４０（射撃対象３５）との位置関係を詳細に観察することが可能となる。これにより、例えば、頭部２の回転を用いた注視位置Ｐの補正処理を精度よく実行することが可能となる。
【0153】
図１５の右側の図は、第２のモードが実行されている場合にディスプレイ１５に表示される画面の他の一例である。右側の図に示す例では、第２のモードが実行されて場合に、照準器３４の内側の色が、第１のモードとは異なる色に切り替えられる。これにより、第２のモードが開始されたことを明示的に示すことが可能となる。この結果、例えば第２のモードが開始されていない状態で、注視位置Ｐを移動するためのジェスチャーが実行されるといった事態を十分に回避することが可能である。
【0154】
なお、図１５に示す例に限定されず、第２のモードが実行されていることを表す表示の切り替え等が適宜実行されてよい。例えば、第２のモードが開始された場合に、ポインタ画像３１の色、サイズ、デザイン等が変更されてもよい。また例えば、第２のモードが開始された場合に、ハイライト画像３２の色を切り替える、あるいはハイライト画像３２を点滅させる等の処理が実行されてもよい。
【0155】
上記では、注視位置Ｐ（視線ベクトル５１）を補正するためのジェスチャーとして、ヘッドジェスチャーを例に説明した。これに限定されず、例えばＨＭＤ１００を装着したユーザ１が行うことが可能な任意のジェスチャーが検出され、そのジェスチャーに関するジェスチャー情報に基づいて、注視位置Ｐ等を補正する処理が実行されてもよい。
【0156】
図１６は、ユーザ１のボディジェスチャーの一例を示す模式図である。例えばジェスチャー情報として、ユーザ１が上半身４を傾けるボディジェスチャーに関する情報が用いられてもよい。図１６には、ユーザ１が上半身４を傾けるボディジェスチャーが模式的に図示されている。
【0157】
図１６の左側の図は、ユーザ１が上半身４を左右に傾けるボディジェスチャーの一例である。例えば上半身４が左に傾けられると、視線ベクトル５１（注視位置Ｐ）が左側に調整される。また例えば、上半身４が右に傾けられると、視線ベクトル５１（注視位置Ｐ）が右側に調整される。図１６の右側の図は、ユーザ１が上半身４を前後に傾けるボディジェスチャーの一例である。例えば上半身４が後ろに傾けられると、視線ベクトル５１（注視位置Ｐ）が上側に調整される。また例えば、上半身４が前に傾けられると、視線ベクトル５１（注視位置Ｐ）が下側に調整される。
【0158】
このように、上半身４の前後左右の傾きに応じて、視線ベクトル５１を上下左右に補正することが可能である。なお、視線ベクトル５１の回転角度等の調整量は、上半身４の傾きの大きさ等に応じて適宜設定されてよい。
【0159】
このようなボディジェスチャーは、例えばＨＭＤ１００に搭載された動作センサ１３により検出される。あるいは、ＨＭＤ１００を装着したユーザ１を外側から撮影するカメラ等を用いて、ボディジェスチャーが検出されてもよい。この場合、外側に設けられたカメラは、第２のセンサとして機能する。
【0160】
図１７は、ユーザ１のハンドジェスチャーの一例を示す模式図である。例えばジェスチャー情報として、ユーザ１が手５を動かすハンドジェスチャーに関する情報が用いられてもよい。図１７には、ユーザ１が手５を左右及び上下に振るハンドジェスチャーが模式的に図示されている。
【0161】
図１７の左側の図は、ユーザ１が手５を左右に振るハンドジェスチャーの一例である。ユーザ１は例えば手のひらを垂直に構えた状態で、肘または手首等を左右に振るジェスチャーを行う。例えばユーザ１の手５が右に振られた場合、視線ベクトル５１（注視位置Ｐ）が右側に調整され、左に振られた場合、視線ベクトル５１（注視位置Ｐ）が左側に調整される。
【0162】
図１７の右側の図は、ユーザ１が手５を上下に振るハンドジェスチャーの一例である。ユーザ１は例えば手のひらを水平に構えた状態で、肘または手首等を上下に振るジェスチャーを行う。例えばユーザ１の手５が上に振られた場合、視線ベクトル５１（注視位置Ｐ）が上側に調整され、下に振られた場合、視線ベクトル５１（注視位置Ｐ）が下側に調整される。
【0163】
このように、ユーザ１の手５の上下左右の動きに応じて、視線ベクトル５１を上下左右に補正することが可能である。なお、視線ベクトル５１の回転角度等の調整量は、手５のふり幅等に応じて適宜設定されてよい。このようなボディジェスチャーは、例えばＨＭＤ１００を装着したユーザ１を外側から撮影するカメラ等を用いて検出される。あるいは、ユーザ１が手５にするゲームコントローラ等の動きに基づいて、ユーザ１が手５を動かすハンドジェスチャーが検出されてもよい。
【0164】
以上、本実施形態に係るコントローラ２０では、ユーザ１の眼球の位置姿勢情報が取得され、眼球の位置姿勢情報に基づいて視線ベクトル５１が推定される。この視線ベクトル５１に基づいた注視状態を示すガイド画像３０がディスプレイ１５に表示される。またガイド画像３０に関するモードを切り替えるモード切替入力に応じて、眼球の位置姿勢情報をガイド画像３０に反映する第１のモードと、眼球の位置姿勢情報とは異なるジェスチャー情報に基づいて注視状態を補正する第２のモードとが切り替えられる。これにより、視線を用いた選択操作の操作性を向上することが可能となる。
【0165】
図１８は、比較例として挙げる視線を用いた選択操作を説明するための模式図である。図１８の左側に示すように、ユーザ１が奥側の仮想オブジェクト４０を見ている状態で、システムにより検出された注視点６０が手前側の仮想オブジェクト４０を選択してしまうといったことがあり得る。この場合、ユーザ１が本来選択しようとしている奥側の仮想オブジェクト４０が選択されなくなる。
【0166】
例えばユーザ１は、奥側の仮想オブジェクト４０を注視したまま、注視点６０を移動しようとして頭部を左右に振る等の動作を行うことが考えられる。この場合、頭部を左右に動かしても、ユーザ１の本来の注視点はほとんど移動せず、また誤差傾向もほとんど変化しない。このため、頭部を左右に振る動作を行っても、システムにより検出された注視点６０は、ほとんど移動せず、また仮想オブジェクト４０の選択状態も変化しない。
【0167】
また例えば、図１８の右側に示すように、ユーザ１が実際に見ている注視点を意図的にずらすことで、システム側の注視点６０を移動させるといった方法が考えられる。この場合、選択したい仮想オブジェクト４０から離れた場所を意図的に注視しながら、選択操作を行う必要がある。一方で、注視点６０を調整する調整量を確認することも必要であり、選択操作そのものが困難になる可能性がある。このように、視線方向や注視点等が補正できない場合には、選択操作が難しくなるシーン等が存在する。
【0168】
また注視方向や注視点等を補正する代わりに、仮想オブジェクト４０自身を移動させて、ユーザに視覚しやすくするといった方法も考えられる。この場合、例えばユーザ１の注視点に応じて仮想オブジェクト４０が移動するため、選択操作は容易となる。一方で、オブジェクトの配置を変更することが不自然となるコンテンツ等では、仮想オブジェクト４０を動かすことで、コンテンツ自身の品質を劣化させてしまう可能性がある。
【0169】
本実施形態では、推定された視線ベクトル５１に基づいた注視位置Ｐや注視オブジェクト４１等の注視状態を示すガイド画像３０が生成される。またユーザのジェスチャー情報に基づいて、ガイド画像３０によって示される注視状態を補正する第２のモードが実行される。これにより、ユーザ１は、選択操作の途中で、所望の対象が選択されるように、注視位置Ｐ等を容易に調整することが可能である。
【0170】
このため、例えば誤った仮想オブジェクト４０が選択されている場合には、本来選択したい仮想オブジェクト４０が存在する方向に頭部２を回転させるといった動作を行うことで、容易に選択を切り替えることが可能である。また注視位置Ｐをジェスチャーにより調整することが可能であるため、注視位置Ｐが移動するように視線方向を別の方向に向けるといった操作は不要となる。また選択対象を移動させるといった処理が無くても、所望の対象を容易に選択することが可能である。
【0171】
本実施形態では、視線による選択操作の付加操作として、頭部２のジェスチャーを利用している。これにより、注視位置Ｐを補正する処理を選択操作の一部として自然に実行することが可能となり、視線を用いた選択操作の操作性を大幅に向上することが可能となる。また本実施形態では、視線を用いて素早く移動できる選択操作と頭部２による高分解能な選択操作とが両立した構成となっている。
【0172】
このように、高分解能な選択操作が可能であることから、例えば狭い場所にオブジェクトが集まっている状態や、オブジェクトそのものが小さい状態、あるいはオブジェクトが遠くに配置されている状態においても、視線を用いた選択操作を適用することが可能となる。これにより、視線による選択操作の応用範囲が広がり、新規なユーザインタフェース等を提供することが可能となる。
【0173】
また、視線検出精度が高くない場合であっても、本技術を用いることで、所望のオブジェクトを容易に選択可能なシステム等を構築することが可能である。これにより、例えば、視線検出用カメラに要するコストを抑制することや、キャリブレーションを省略して誰でもすぐに利用できるシステム等を実現することが可能となる。
【0174】
＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【0175】
図１９は、他の実施形態に係る注視位置Ｐの補正処理の一例を示す模式図である。図１９に示す例では、注視位置Ｐの奥行方向（前後方向）の位置が補正される。図１９では、透過性のある仮想オブジェクト４０ｈの後方に、他の仮想オブジェクト４０が配置される。またユーザ１は透過性のある仮想オブジェクト４０ｈの後方に配置された仮想オブジェクト４０ｉを選択しようとしているものとする。
【0176】
注視位置Ｐの奥行方向の位置は、例えば左右の眼球の視線ベクトル５１が交差する位置（輻輳）を検出することで検出可能である。なお、注視対象の位置がユーザ１から離れるほど、左右の視線ベクトル５１は平行な状態に近づき、各視線ベクトル５１が交差する位置の推定精度が低下する場合がある。また左右の視線ベクトル５１を合成して単一の視線ベクトル５１を算出する方法では、手前の仮想オブジェクト４０を選択しているのか、奥側の仮想オブジェクト４０を選択しているのかを判定することが難しい場合がある。
【0177】
例えば図１９では、透過性のある手前の仮想オブジェクト４０ｈが選択される。この場合、ユーザ１の所定のジェスチャーに応じて、注視位置Ｐを補正する処理（第２のモード）が実行される。所定のジェスチャーは、例えば上半身を前後に動かすボディジャスチャー（図１６の右側の図参照）である。この場合、例えばユーザ１が前に上半身を傾けると、注視位置Ｐが奥側に補正され、後ろに上半身を傾けると、注視位置Ｐが手前側に補正される。
【0178】
またユーザ１のハンドジェスチャーに応じて、注視位置Ｐの奥行方向が調整されてもよい。例えばユーザ１が手５を前方に移動させる動作に応じて、注視位置Ｐが奥側に補正され、手５を手前に移動させる動作に応じて、注視位置Ｐが手前側に補正される。あるいは、ユーザ１がゲームコントローラ等を用いている場合には、ゲームコントローラの移動に基づいて、ユーザ１の手５の動作が検出されてもよい。
【0179】
このように、ユーザ１のジェスチャーに応じて、注視位置Ｐの奥行方向を補正することで、仮想オブジェクト４０ｈの後方の仮想オブジェクト４０ｉを選択することが可能となる。例えばこのような処理が実行されてもよい。
【0180】
図６のステップ１０８を参照して説明したように、上記では、視線ベクトル５１を補正するための回転角度（補正量）が、ループ処理の度に算出された。例えばこの補正量が第１のモードにおける視線ベクトル５１の算出等に用いられてもよい。
【0181】
例えば第２のモードでは、表示制御部により、視線ベクトル５１に基づいた注視位置Ｐ等を補正するための補正量が算出される。例えば、視線ベクトル５１を補正する際の回転角度が、補正量に相当する。この補正量は、ＨＭＤ１００で推定される視線ベクトル５１と、ユーザ１の実際の視線方向とのずれ量であるとも言える。この補正量が、視線ベクトル５１のキャリブレーション用のデータとして用いられる。
【0182】
表示制御部２３は、この補正量に基づいて、第１のモードでの視線ベクトル５１を算出する。例えば第１のモードの実行中に推定された視線ベクトル５１が、補正量（回転角度）に応じて適宜回転される。これにより、第１のモードにおける視線ベクトル５１の推定精度が向上し、高精度な注視位置Ｐを示すガイド画像３０等を表示することが可能となる。すなわち、表示制御部２３は、第２のモードにおいて注視状態を補正する補正量を算出し、補正量に基づいて第１のモードでのガイド画像３０の表示を実行する
【0183】
このように、第２のモードで算出された補正量、すなわち視線ベクトル５１の調整量を、視線キャリブレーション用のデータとして利用することで、装置を使用している最中に、視線検出精度を向上していくことが可能である。これにより、例えば視線を用いた選択操作の精度を大幅に向上することが可能となる。
【0184】
図２０及び図２１は、注視対象の選択処理の一例を示す模式図である。以下では、ディスプレイに表示される１以上の仮想オブジェクト４０から、ユーザ１が注視していると推定される仮想オブジェクト４０（注視対象）を選択する処理について説明する。なお、注視対象は、実際にユーザ１が注視しているオブジェクトであるとは限らない。以下では、注視対象として選択された仮想オブジェクト４０を、選択オブジェクト４５と記載する。
【0185】
図２０に示す選択処理では、視線ベクトル５１と仮想オブジェクト４０とが重なるように視線ベクトル５１を操作することで注視対象が選択される。この場合、ユーザ１は、視線ベクトル５１の注視位置Ｐを示すポインタ画像３１を、自身が見ている場所（注視対象）に合わせる操作を最後まで行うことで、注視対象を選択することが可能である。この選択処理は、例えば、図４等を参照して説明した第２のモードにおける視線ベクトル５１の補正処理に基づいて実行される。
【0186】
図２０の上側の図では、ユーザ１の視線ベクトル５１が仮想オブジェクト４０ｊの近傍に向けられている。この視線ベクトル５１に基づく注視位置Ｐは、ポインタ画像３１として表示される。ここで、ユーザ１が実際に見ているオブジェクトが、注視位置Ｐの右側にある仮想オブジェクト４０ｋであったとする。この場合、図２０の下側の図に示すように、ユーザ１はヘッドジェスチャーを行うことでポインタ画像３１（視線ベクトル５１）を補正することが可能である。
【0187】
例えば、ユーザ１が頭部を右側に回転させると、ポインタ画像３１が右側に移動し、仮想オブジェクト４０ｋに接近する。そしてポインタ画像３１が仮想オブジェクト４０ｋと重なるタイミングで、仮想オブジェクト４０ｋが注視対象として選択される。このとき、仮想オブジェクト４０ｋは、注視位置Ｐを含む注視オブジェクトであるとともに、注視対象として選択された選択オブジェクト４５となる。
【0188】
このように図２０に示す例では、ポインタ画像３１が示す位置は、視線ベクトル５１の注視位置Ｐと一致している。従って、ユーザ１は、ポインタ画像３１を見ながらその位置を適宜補正することで、実際に注視している仮想オブジェクト４０を注視対象として選択することが可能となる。
【0189】
図２１に示す選択処理では、視線ベクトル５１の近傍に存在する仮想オブジェクト４０が自動的に注視対象として選択される。これは、複数の仮想オブジェクト４０の中から、視線ベクトル５１を利用して近いものを自動選択するオブジェクトスナップを実行する処理である。具体的には、表示制御部２３により、ユーザ１の注視対象となる１以上の仮想オブジェクト４０のうち、視線ベクトル５１に対する離間度が最も小さい仮想オブジェクト４０が、注視対象として選択される。
【0190】
視線ベクトル５１に対する離間度とは、仮想オブジェクト４０が視線ベクトル５１から離れている度合を表すことが可能なパラメータである。例えばユーザ１が中心視野でとらえることが可能な仮想オブジェクト４０は、周辺視野に含まれる仮想オブジェクト４０と比べて離間度が小さいと言える。
【0191】
典型的には、視線ベクトル５１に対する離間度として、視線ベクトル５１と仮想オブジェクト４０の位置ベクトル５２との角度間隔θが用いられる。ここで、仮想オブジェクト４０の位置ベクトル５２とは、例えば視線ベクトル５１の原点Ｏと仮想オブジェクト４０の中心点とを結ぶベクトルである。すなわち、視線ベクトル５１及び位置ベクトル５２は、共通の原点Ｏを有する３次元ベクトルであるといえる。角度間隔θは、例えば視線ベクトル５１と位置ベクトル５２とを含む平面において各ベクトルのなす角度である。角度間隔θを用いることで、視線ベクトル５１からのずれ具合を適正に表すことが可能である。
【0192】
なお、離間度として角度間隔以外のパラメータが用いられてもよい。例えば仮想オブジェクト４０の中心点と視線ベクトル５１との距離が離間度として用いられてもよい。また例えば、各仮想オブジェクト４０が平面上に表示される場合等には、当該平面における注視位置Ｐと各仮想オブジェクト４０との距離が離間度として用いられてもよい。
【0193】
図２１に示す選択処理では、表示制御部２３により、角度間隔θが最も小さい仮想オブジェクト４０が、注視対象として選択される。すなわち、視線ベクトル５１に最も近い仮想オブジェクト４０（角度間隔θが最小となる仮想オブジェクト４０）を自動的に選択するオブジェクトスナップが実行される。
【0194】
例えば視線ベクトル５１との角度間隔θが所定の閾値以下となる仮想オブジェクト４０が存在するか否かが判定される。このような仮想オブジェクト４０が存在した場合、その中で最も角度間隔θが小さい仮想オブジェクト４０が注視対象（選択オブジェクト４５）として選択される。この時、視線ベクトル５１の注視位置Ｐを表していたポインタ画像３１等が、選択オブジェクト４５に重畳して表示される。また、角度間隔θが所定の閾値以下となる仮想オブジェクト４０が存在しない場合、注視対象の選択処理は実行されず、ポインタ画像３１は注視位置Ｐに表示される。角度間隔θを判定する閾値は、例えば視線ベクトル５１の検出精度や、仮想オブジェクト４０の密集度等に応じて適宜設定される。
【0195】
図２１の上側の図では、視線ベクトル５１と仮想オブジェクト４０ｊの位置ベクトル５２との角度間隔θjが、他の仮想オブジェクト４０との角度間隔と比べて最も小さい状態であるとする。なお、視線ベクトル５１は、仮想オブジェクト４０ｊと交差していないものとする。例えば、角度間隔θjが、所定の閾値以下となったタイミングで、仮想オブジェクト４０ｊは、選択オブジェクト４５として選択され、ポインタ画像３１は、注視位置Ｐから仮想オブジェクト４０ｊに重畳して表示される。これにより、ユーザ１に仮想オブジェクト４０ｊが選択されたことを知らせることが可能である。なお、仮想オブジェクト４０ｊが選択されたからといって、視線ベクトル５１が補正されるわけではなない。
【0196】
ここで、ユーザ１が実際に見ているオブジェクトが、注視位置Ｐの右側にある仮想オブジェクト４０ｋであったとする。この場合、図２１の下側の図に示すように、ユーザ１はヘッドジェスチャーを行うことで視線ベクトル５１を補正し、仮想オブジェクト４０ｋを選択することが可能である。この選択処理は、例えば、図４等を参照して説明した第２のモードにおける視線ベクトル５１の補正処理に基づいて実行される。
【0197】
例えば、ユーザ１が頭部を右側に回転させると、視線ベクトル５１（注視位置Ｐ）が右側に移動して仮想オブジェクト４０ｋに接近する。この過程で、例えば視線ベクトル５１と仮想オブジェクト４０ｊとの角度間隔θjが閾値よりも大きくなると、ポインタ画像３１は、注視位置Ｐに表示される。さらに注視位置Ｐが仮想オブジェクト４０ｋに接近し、仮想オブジェクト４０ｋとの角度間隔θkが閾値よりも小さくなると、仮想オブジェクト４０ｋが、選択オブジェクト４５として選択される。この時、ポインタ画像３１は、注視位置Ｐから移動して仮想オブジェクト４０ｋに重畳して表示される。なお、仮想オブジェクト４０ｊ及び４０ｋの間隔が狭い場合等には、仮想オブジェクト４０ｊの選択が仮想オブジェクト４０ｋの選択に直接切り替えられる場合もある。これにより、ユーザ１は実際に見ている仮想オブジェクト４０ｋを注視対象として選択することが可能となる。
【0198】
このように図２１では、複数の仮想オブジェクト４０（オブジェクト群）において、視線ベクトル５１に最近傍のオブジェクトを選択状態にする処理が実行される。これにより、短い時間で対象を容易に選択することが可能となる。またユーザ１の注視状態を判別し、頭部の回転分が視線ベクトルの調整に反映される。従って、ヘッドジェスチャーを利用して選択オブジェクト４５を変更することが可能である。これにより、視線ベクトル５１の補正を利用した適正な選択操作が可能となり、所望とするオブジェクトを高速に選択するといったことが可能となる。また、後述するように、仮想オブジェクト４０の自動選択で算出される補正量（角度間隔等）を、キャリブレーションデータとして利用することも可能である。
【0199】
なお、図２１を参照して説明した仮想オブジェクト４０を自動的に選択する処理は、視線ベクトル５１の補正処理（第２のモード）を行わない場合にも適用可能である。すなわち、視線ベクトル５１の補正をしないＨＭＤ等に、上記したオブジェクトスナップの機能が実装されてもよい。
【0200】
上記では、装置が推定した視線ベクトル５１の注視位置Ｐを、ポインタ画像３１等のガイド画像３０を用いて明示的に表示する場合について説明した。例えばポインタ画像３１が表示されない場合や、ポインタ画像３１が示す位置が注視位置Ｐと一致しない場合（例えば仮想オブジェクト４０の自動選択が実行される場合等）には、視線ベクトル５１の向きや注視位置Ｐが不明になることが考えられる。この場合、ヘッドジェスチャー等を行う際の手がかりが得られなくなり、視線ベクトル５１の調整が難しくなる恐れがある。
【0201】
このように、注視位置Ｐが明示的に表示されない状況であっても、例えば仮想オブジェクト４０を利用して、視線ベクトル５１の調整を補助する表示を行うことが可能である。以下では、仮想オブジェクト４０の表示方法について具体的に説明する。
【0202】
図２２は、注視対象となる仮想オブジェクト４０の表示例を示す模式図である。図２２Ａ～図２２Ｃには、互いに異なる表示処理によって表示された仮想オブジェクト４０が模式的に図示されている。これらユーザ１の注視対象となる１以上の仮想オブジェクト４０が含まれる画像は、視線ベクトル５１に基づいた注視状態を示すガイド画像３０として機能する。なお図２２に示す各表示処理は、例えば視線ベクトル５１を補正する第２のモード（注視状態）で実行され、第２のモードがＯＦＦになると終了する処理である。
【0203】
図２２では、表示制御部２３により、１以上の仮想オブジェクト４０の視線ベクトル５１に対する離間度に応じて、各オブジェクトの表示が変化するようにガイド画像３０を表示するようディスプレイ１５が制御される。すなわち、離間度に応じて表示パラメータ等がそれぞれ変更された仮想オブジェクト４０を含む画像（ガイド画像３０）が生成され、ディスプレイ１５に表示される。ここでは、視線ベクトル５１に対する離間度として、図２１を参照して説明した角度間隔θが用いられる。なお、角度間隔θ以外の離間度を用いた処理が実行されてもよい。
【0204】
このように、視線ベクトル５１から離れている度合（角度間隔θ等）を指標とすることで、ユーザ１の視線の変化に合わせて各仮想オブジェクト４０の表示を変化させることが可能となる。これにより、視線ベクトル５１や注視位置Ｐを明示しない場合であっても、視線ベクトル５１がどこに向いているのか、あるいは注視位置Ｐがどこにあるのかといった情報をユーザ１に知らせることが可能となる。
【0205】
図２２Ａに示す表示処理では、角度間隔θに応じて各仮想オブジェクト４０の色が設定される。例えば、視線ベクトル５１から離れており角度間隔θが大きい仮想オブジェクト４０を薄く表示し、視線ベクトル５１に近く角度間隔θが小さい仮想オブジェクト４０は濃く表示するといった処理が実行される。従って、この場合、視線ベクトル５１の変化に応じて、各仮想オブジェクト４０の濃淡が変化する。これは、視線ベクトル５１に近いほど、オブジェクトを強調表示する処理であるといえる。
【0206】
図２２Ａでは、視線ベクトル５１を基準とする所定の角度範囲７０に含まれる仮想オブジェクト４０を対象として実行される。角度範囲７０は、典型的には、視線ベクトル５１を中心軸とする円錐型の範囲として設定される。円錐型の角度範囲７０は、例えば視線ベクトル５１の原点Ｏを通り視線ベクトル５１と角度φで交差する直線を、視線ベクトル５１を軸に回転して得られる範囲である。図２２Ａでは、視線ベクトル５１の注視位置Ｐを中心とする円形の範囲により、角度範囲７０が模式的に図示されている。
【0207】
なお、図２２Ａに示す例では、注視対象として選択された仮想オブジェクト４０ｊが識別可能となるように、点線で囲まれて表示されている。この時、視線ベクトル５１や注視位置Ｐを示す画像は表示されていない。例えばユーザ１が仮想オブジェクト４０ｊ以外のオブジェクトを選択するようにヘッドジェスチャー等を行う場合には、角度範囲７０における各仮想オブジェクト４０の濃淡の変化が手がかりとなる。
【0208】
図２３は、角度間隔θに応じた表示処理について説明するための模式図である。図２３には、図２２Ａに示す角度範囲７０に含まれる仮想オブジェクト４０ｊ、４０ｋ、４０ｌと、各仮想オブジェクト４０の視線ベクトル５１に対する角度間隔θj、θk、θlが図示されている。ここでは、仮想オブジェクト４０ｊ、４０ｋ、４０ｌの表示を変化させる処理について説明する。
【0209】
まず、視線ベクトル５１の原点Ｏから、処理対象となる仮想オブジェクト４０ｊ、４０ｋ、４０ｌの中心を結ぶベクトル（位置ベクトル５２）がそれぞれ算出される。そして、これらの位置ベクトル５２と視線ベクトル５１とのなす角度間隔（θj、θk、θl）が算出される。オブジェクト毎の表現をこれらの角度間隔に比例変化させることで、強調表現が実現される。
【0210】
例えば、各仮想オブジェクト４０の色を８ｂｉｔ階調のＲＧＢで指定するとする。この時、仮想オブジェクト４０の色を以下のように設定する。
ＲＧＢ＝（２５５，Ｘｇ，２５５）
ここでＸｇは、緑色（Ｇ）の階調値を表すパラメータである。この場合、赤色（Ｒ）と青色（Ｂ）は、固定値（２５５）であり、緑色（Ｇ）のみが変数となる。
ＲＧＢ＝（２５５，Ｘｇ，２５５）
ここでＸｇは、緑色（Ｇ）の階調値を表すパラメータである。この場合、赤色（Ｒ）と青色（Ｂ）は、固定値（２５５）であり、緑色（Ｇ）のみが変数となる。
【0211】
変数Ｘｇは、上記した角度間隔θj、θk、θlのいずれかが代入されるθと、変化の傾きＣを用いて、以下のように設定される。
Ｘｇ＝θ・Ｃ
変化の傾きＣは、例えば仮想オブジェクト４０の密集度等に応じて適宜設定される。またＸｇが、階調の最大値（２５５）でクランプするように調整される。
Ｘｇ＝θ・Ｃ
変化の傾きＣは、例えば仮想オブジェクト４０の密集度等に応じて適宜設定される。またＸｇが、階調の最大値（２５５）でクランプするように調整される。
【0212】
この方法を用いた場合、仮想オブジェクト４０の色は視線ベクトル５１からの角度が小さいほどマゼンタ色が濃くなり、遠いものほど白色になる。なお図２３では、マゼンタ色の濃淡がグレースケールの濃淡として模式的に図示されている。例えば、仮想オブジェクト４０ｊは、角度間隔θjが最小であり、視線ベクトル５１に最も近いため、濃いマゼンタ色で表示される。一方で、仮想オブジェクト４０ｌは、角度間隔θlが最大であり、視線ベクトル５１から最も離れているため、白色に近い色で表示される。
【0213】
このように、視線ベクトル５１の近傍のオブジェクトの表現を視線ベクトル５１からの距離（角度間隔θ）に比例して変化させることで、例えば視線ベクトル５１を補正する際に、どの方向に調整しているのかといった情報を、ユーザ１にフィードバックすることが可能となる。この結果、ユーザ１は、周辺視野でとらえた各オブジェクトの色等を参考に、頭部を動かす方向等を決定することが可能となる。
【0214】
仮想オブジェクト４０の色に変えて、仮想オブジェクト４０のサイズ、形状、動作等が変化するような表示処理が実行されてもよい。例えば角度間隔θが小さいほど、仮想オブジェクト４０が目立つように、サイズを大きくする、形状を複雑にするといった処理が実行される。また仮想オブジェクト４０が所定の動作（回転動作、振動動作、キャラクター動作等）を行う場合には、角度間隔θが小さいほど動作量を増加させることも可能である。このように、角度間隔θに応じて、１以上の仮想オブジェクト４０の色、サイズ、形状、動作の少なくとも１つを変化させる処理が実行されてよい。この他、仮想オブジェクト４０を強調して表示する方法等は限定されない。
【0215】
図２２Ｂに示す表示処理では、１以上の仮想オブジェクト４０のうち、視線ベクトル５１を基準とする所定の角度範囲７０に含まれない仮想オブジェクト４０に対して、ぼかし処理が実行される。この表示処理は、視線ベクトル５１に近いオブジェクトを鮮明に表示し、視線ベクトル５１から遠いオブジェクトをぼかして表示する処理であるといえる。
【0216】
例えば、角度範囲７０に含まれる仮想オブジェクト４０ｊ、４０ｋ、４０ｌは、そのままの状態で表示される。一方で、角度範囲７０に含まれない他の仮想オブジェクト４０には、例えばぼかしフィルター等を用いたぼかし処理が実行される。なお、図２２Ｂに示す例では、注視対象として選択された仮想オブジェクト４０ｊにポインタ画像３１が重畳して表示され、注視対象が識別可能となっている。例えばユーザ１が視線を動かすと、角度範囲７０が移動してぼかし処理が実行される範囲が変化する。この角度範囲７０の移動が、視線ベクトル５１を補正する際の手がかりとなる。
【0217】
例えば図２２Ａに示すように、仮想オブジェクト４０ごとに表示を変化させる方法では。視線ベクトル５１の近傍に存在するオブジェクトが少ないと、手がかりになりにくい場合がある。これに対し、角度範囲７０に含まれない仮想オブジェクト４０の表示をぼかすことで、視線ベクトル５１の向き等を容易に把握することが可能となる。なお、ぼかし処理に変えて、角度範囲７０に含まれない仮想オブジェクト４０を非表示にする非表示処理が実行されてもよい。この場合、角度範囲７０に含まれる仮想オブジェクト４０だけが表示される。これにより、視線ベクトル５１の調整を補助することが可能である。
【0218】
図２２Ｃに示す表示処理では、図２２Ａ及び図２２Ｂに示す表示処理を組み合わせた処理が実行される。すなわち、角度範囲７０に含まれる仮想オブジェクト４０は、それぞれの角度間隔θに応じた色やサイズで表示され、角度範囲７０に含まれない仮想オブジェクト４０には、ぼかし処理等が実行される。これにより、視線ベクトル５１を補正するために頭部を動かす方向等を容易に決定することが可能となる。
【0219】
なお、図２２及び図２３を参照して説明した仮想オブジェクト４０の表示処理は、視線ベクトル５１の補正処理（第２のモード）を行わない場合にも適用可能である。すなわち、視線ベクトル５１の補正をしないＨＭＤ等において、視線ベクトル５１との離間度に応じて仮想オブジェクト４０を表示する処理等が実行されてもよい。
【0220】
図２４は、他の実施形態に係るＨＭＤの機能的な構成例を示すブロック図である。ＨＭＤ２００は、例えば図２を参照して説明したＨＭＤ１００のコントローラ２０（制御部）に較正処理部２８を加えた構成となっている。また、ＨＭＤ２００には、通信部１６を介して操作部２９が接続される。以下では、ＨＭＤ１００と同様の構成については、その説明を省略する。
【0221】
較正処理部２８は、視線検出部２１によって推定された視線ベクトル５１を較正するキャリブレーション処理を実行する。また較正処理部２８は、キャリブレーション用のデータ（以下では、較正データと記載する）を生成する。後述するように、ＨＭＤ２００では、コンテンツの動作中に較正データが生成される。この較正データを用いて、キャリブレーション処理が実行され、視線ベクトル５１が逐次較正される。従ってＨＭＤ２００（較正処理部２８）では、コンテンツを実行している間にキャリブレーション処理を行うランニングキャリブレーションが可能である。
【0222】
キャリブレーション処理は、装置によって検出された視線方向（視線ベクトル５１）を、実際の視線方向（実視線ベクトル５０）に合わせるように較正する処理である。一般に、視線を用いた入力操作を行う装置では、装置の使用開始時に、キャリブレーションを行うための専用のＵＩ画面を表示してキャリブレーションが行われる。この場合、例えばＵＩ画面に表示された複数の点を見たときの視線方向がそれぞれ検出される。そして、検出された視線方向に対する補正角度が、各点ごとに算出される。
【0223】
補正角度は、装置によって検出された視線方向と、各点を見たときに検出されるべき視線方向（理想的な視線方向等）との角度の差分である。例えば、検出された視線方向を理想的な視線方向に一致させるために必要な回転量が、補正角度として用いられる。補正角度は、典型的には、３次元空間における回転をあらわすクォータニオンとして表される。あるいは、３次元空間の直交軸周りの回転量（ロール、ピッチ、ヨー）等を用いて補正角度を表すことも可能である。
【0224】
較正データには、各点を見たときに検出された視線方向（視線ベクトル５１）と、その視線方向に対する補正角度が関連付けられて記録される。これらのデータが、視線方向を較正する際に参照される。例えば、現在の視線方向を較正する場合、較正データから現在の視線方向に近い方向に関連付けられた補正角度が１つ以上選択される。選択された補正角度を、現在の視線方向との近さに応じて加重平均することで、現在の視線方向に対する補正角度が算出される。このように加重平均によって算出された補正角度を用いて、現在の視線方向が較正される。
【0225】
ＨＭＤ２００では、較正処理部２８により、上記した較正データがコンテンツの実行中にも生成される。この結果、例えば視線ベクトル５１を較正するためのデータ点が増加し、視線ベクトル５１の較正制度を大幅に向上することが可能となる。なお視線ベクトル５１を較正する方法は限定されず、他の方法が用いられてもよい。
【0226】
操作部２９は、ユーザ１の各種の操作を受け付けるコントローラである。操作部２９は、例えばユーザ１がコンテンツの実行中に行う決定操作や選択操作等を受け付ける。操作部２９としては、例えばボタンやスイッチ等を含む有線方式又は無線方式のリモートコントローラが用いられる。この他、マウスやキーボート等のデバイスが操作部２９として用いられてもよい。
【0227】
図２５は、他の実施形態に係るＨＭＤ２００の基本的な動作例を示すフローチャートである。図２５に示す処理は、ＨＭＤ２００においてコンテンツの処理と並列に繰り返し実行される処理である。以下では、ＨＭＤ２００で実行される視線ベクトルの補正処理、及び較正データの生成処理について説明する。
【0228】
まず、視線検出部２１により視線ベクトル５１が検出され、頭部位置姿勢検出部２２によりユーザの頭部の位置及び姿勢（回転位置）が検出される（ステップ２０１）。次に、視線ベクトル５１の速度が所定の閾値以下であるか否かが判定される（ステップ２０２）。例えば、視線ベクトル５１の回転速度が算出され、回転速度についての閾値判定が実行される。これにより、例えばユーザ１が視線の静状態（視線がゆっくり移動している、あるいはほとんど静止している状態）と動状態（視線が素早く移動している状態）とが判別される。視線ベクトル５１の速度に関する閾値は、例えば人間の特性やコンテンツの種類等に応じて適宜設定されてよい。
【0229】
視線ベクトル５１の速度が閾値以下であると判定された場合（ステップ２０３のＹｅｓ）、第２のモードがＯＮであるか否かが判定される（ステップ２０３）。第２のモードがＯＦＦである場合、すなわち第１のモードがＯＮである場合（ステップ２０３のＮｏ）、タイマーによってカウントされた時間が所定の時間を超えたか否かが判定される（ステップ２０４）。タイマーは、例えばユーザ１の視線が静状態である時間をカウントする。具体的には、第２のモードがＯＦＦに切り替えられたタイミング（後述するステップ２０９）から静状態が継続する期間がカウントされる。タイマーに関する閾値（所定の時間）は、例えば人間の特性やコンテンツの種類等に応じて適宜設定されてよい。
【0230】
タイマーの時間が所定の時間を経過した場合（ステップ２０４のＹｅｓ）、頭部の基準回転位置が記憶される（ステップ２０５）。この時、ステップ２０１で算出された最新の視線ベクトル５１も記憶される。基準回転位置及び視線ベクトルが記憶されると、第２のモードがＯＮに設定される（ステップ２０６）。このように、ＨＭＤ２００では、ユーザ１の視線が静状態である期間が閾値を超えると、第２のモードが開始される。
【0231】
上記したように、第２のモードでは、ヘッドジェスチャーによる視線ベクトル５１の補正が可能となる。またＨＭＤ２００では、第２のモードがＯＮに設定されたタイミングで、仮想オブジェクト４０の表示方法が、図２２Ａ～図２２Ｃ等を参照して説明した表示方法に切り替えられる。第２のモードが開始されると、ステップ２１０以降の処理が実行される。なお、タイマーの時間が所定の時間を経過していない場合（ステップ２０４のＮｏ）、第１のモードのままでステップ２１０以降の処理が実行される。
【0232】
ステップ２０３に戻り、第２のモードがＯＮである場合（ステップ２０３のＹｅｓ）、視線ベクトル５１を補正する処理が実行される（ステップ２０７）。ここでは、視線ベクトル５１を補正する処理として、ステップ２０５で記憶された基準回転位置と、現在の回転位置との差分に応じて、視線ベクトル５１を偏向（回転）する処理が実行される。ステップ２０７の処理は、例えば図６に示すステップ１０８で説明した処理と同様の処理である。これにより、ユーザ１のヘッドジェスチャーを用いた視線ベクトル５１の補正が可能となる。視線ベクトル５１が補正されると、ステップ２１０以降の処理が実行される。
【0233】
ステップ２０２に戻り、視線ベクトル５１の速度が閾値以上であると判定された場合（ステップ２０２のＮｏ）、ユーザ１の視線は動状態であるとして、第２のモードをＯＦＦに設定され、第１のモードがＯＮに設定される（ステップ２０８）。なお、ステップ２０２が実行された時点ですでに第２のモードがＯＦＦであった場合（第１のモードがＯＮであった場合）は、その状態が維持される。また、ステップ２０８が実行されるとタイマーがリセットされる（ステップ２０９）。
【0234】
このように、ユーザ１の視線が動状態である場合には、第２のモードが終了し、静状態の期間をカウントしていたタイマーがリセットされる。なお、タイマーはリセット後、再度カウントを開始する。従って視線ベクトル５１の速度が閾値よりも早い間は、タイマーはループが実行されるたびにリセットされることになる。タイマーがリセットされると、ステップ２１０以降の処理が実行される。
【0235】
ステップ２１０では、視線ベクトル５１に最も近い仮想オブジェクト４０が選択される。ここでは、図２１を参照して説明した仮想オブジェクト４０を自動的に選択する処理（オブジェクトスナップ）が実行される。例えば、ステップ２１０が実行されたタイミングでの視線ベクトル５１が記録される。この視線ベクトル５１との角度間隔θが所定の閾値以下となる仮想オブジェクト４０が検出され、そのうち角度間隔θが最小となる仮想オブジェクト４０が注視対象（選択オブジェクト４５）として選択される。なお、選択オブジェクト４５には、そのオブジェクトが選択されたことをユーザ１に知らせるために、ポインタ画像３１等が重畳して表示される。
【0236】
選択オブジェクト４５が選択されると、較正処理部２８により較正データを生成する処理（ステップ２１１～ステップ２１０）が開始される。まず、選択オブジェクト４５に対する決定操作が検出されたか否かが判定される（ステップ２１１）。ここで、決定操作とは、例えばユーザ１が操作部２９を介して入力する操作であり、ユーザ１が選択を決定する際に行う操作である。以下、図２１を参照して、決定操作について説明する。
【0237】
例えば、図２１の上側の図に示すように、視線ベクトル５１の近傍にある仮想オブジェクト４０ｊが、自動的に選択されたとする。この時、仮想オブジェクト４０ｊは、ユーザ１が実際に選択したいオブジェクトではなかったとすると、ユーザ１は、操作部２９を介した決定操作を行わないものと考えられる。この場合、仮想オブジェクト４０ｊは、自動選択により選択オブジェクト４５として選択されているが、その選択を決定する決定操作は行われないことになる。
【0238】
また例えば、図２１の下側の図に示すように、ユーザ１が視線ベクトル５１を補正して、実際に選択したい（実際に見ている）仮想オブジェクト４０ｋが選択されたとする。この時、ユーザ１は、所望のオブジェクトが選択されたとして決定操作を行うものと考えられる。この場合、仮想オブジェクト４０ｋは、自動選択により選択オブジェクト４５として選択されており、ユーザ１によりその選択を決定する決定操作が行われることになる。
【0239】
このように、決定操作は、ユーザ１が実際に注視している仮想オブジェクト４０と、選択処理により選択された選択オブジェクト４５とが一致した場合に、その選択を決定する操作であるといえる。決定操作の有無を参照することで、例えばユーザ１の視線が実際に向けられている仮想オブジェクト４０を判別するとともに、ユーザ１の実注視位置を適正に検出することが可能となる。
【0240】
選択オブジェクト４５に対する決定操作が検出されなかった場合（ステップ２１１のＮｏ）、ステップ２０１以降の処理が再度実行される。なお、ステップ２１０でいずれのオブジェクトも選択されなかった場合にも、ステップ２０１に戻り次のループが開始される。一方で、選択オブジェクト４５に対する決定操作が検出された場合（ステップ２１１のＮｏ）、選択オブジェクト４５の位置ベクトル５２が算出される（ステップ２１２）。例えば、視線ベクトル５１の原点Ｏから、選択オブジェクト４５の中心点までのベクトルが、選択オブジェクト４５の位置ベクトル５２として算出される。
【0241】
位置ベクトル５２が算出されると、元の視線ベクトル５１と位置ベクトル５２との角度の差分が算出され、較正データとして登録される（ステップ２１３）。ここで、元の視線ベクトル５１とは、ヘッドジェスチャー等を用いた補正を受けていない視線ベクトル５１である。例えば元の視線ベクトル５１と位置ベクトル５２との間の回転量（クォータニオン等）が角度の差分として算出される。そして、元の視線ベクトル５１と、それに対応する角度の差分とが関連付けられて較正データに登録される。これにより、較正データのデータ点を逐次追加することが可能となる。
【0242】
例えば、ステップ２０７が実行され視線ベクトル５１が補正された場合は、補正前の視線ベクトル５１（ステップ２０５で記憶された視線ベクトル５１）が元の視線ベクトル５１となる。この場合、補正によってずれた視線ベクトル５１ではなく、補正が開始されたタイミングでの視線ベクトル５１と、選択オブジェクト４５の位置ベクトル５２と角度の差分が算出される。これにより、装置が実際に検出した視線ベクトル５１を補正することが可能となる。
【0243】
また、ステップ２０７が実行されず視線ベクトル５１が補正されていない場合は、ステップ２１０が実行されたタイミングでの視線ベクトル５１が元の視線ベクトル５１となる。すなわち、ヘッドジェスチャー等による視線ベクトル５１の補正がない場合には、自動選択に用いられた視線ベクトル５１と、選択オブジェクト４５の位置ベクトル５２との角度の差分が算出される。このように選択オブジェクト４５の自動選択が実行される場合には、ユーザ１による決定操作をトリガーとして、較正データを新たに追加することが可能である。
【0244】
また、ステップ２０７で実行された視線ベクトル５１の補正処理に用いた補正量（例えば頭部回転に応じて調整された角度等）が、較正データに追加されてもよい。これにより、ユーザ１が実際に補正した角度を、較正データとして用いることが可能となり、較正精度を向上することが可能である。なお、仮想オブジェクト４０の自動選択等が実行されない場合であっても、視線ベクトル５１の補正量を較正データとして用いること可能である。
【0245】
較正データが登録されると、ステップ２０１に戻り、次のループ処理が実行される。またステップ２０１では、視線ベクトル５１を検出する際に、新たに追加された較正データを利用することが可能となる。このように、ＨＭＤ２００では、コンテンツの実行中も較正データが順次蓄積されるため、視線ベクトル５１の推定精度を十分に高めることが可能となる。
【0246】
一般に、視線を利用したコンテンツでは、視線の検出結果と、実際にユーザが見ている方向とのズレを補正する必要が生じる場合がある。このような場合、コンテンツの操作中に較正を行うことが理想的である。一方で、キャリブレーション専用のＵＩ画面とは異なり、コンテンツの実行中に表示される画面には、注視対象となるオブジェクトが複数存在するため、ユーザが実際にどこを見ているかを検出することが困難である事が多い。このため、較正が必要となった場合には、例えばキャリブレーション専用のＵＩ画面に一時的に切り替えて、再度キャリブレーションを行うといった方法が考えられる。しかしながら、この方法では、コンテンツの操作を中断することになり、利便性を損なう可能性がある。
【0247】
また、注視対象となるオブジェクトが複数存在している場合、ユーザが実際にどれを見ているか検出するには、オブジェクト同士が視線検出のバラつき範囲よりも離れて位置している必要がある。しかしながら、視線精度のバラつき範囲は個人によって異なり、限定された空間内においては、オブジェクト同士の距離を十分離す事が困難な状況がある。また、コンテンツの画面で、オブジェクトの間隔を広げようとすると、予めキャリブレーション等を意図したレイアウトを用意する必要や、動的にオブジェクトを引き離す仕組みを導入する必要があり、適用可能なシーンが限定されていた。
【0248】
ＨＭＤ２００では、仮想オブジェクト４０に対する自動選択が実行される。また自動選択による選択結果は、ユーザ１がヘッドジェスチャー等により視線ベクトル５１を補正することで適宜変更することが可能である（図２１等参照）。これにより、例えば仮想オブジェクト４０が密集していた場合であっても、ユーザ１は所望の仮想オブジェクト４０を容易に選択することが可能である。
【0249】
さらに、視線ベクトル５１を補正する際には、仮想オブジェクト４０は視線ベクトル５１から離れている度合に応じて表示される（図２２参照）。これによりユーザ１に対して視線ベクトル５１を補正するべき方向を知らせることが可能となり、自動選択の変更操作等を容易に行うことが可能となる。
【0250】
またＨＭＤ２００では、ユーザ１による決定操作を検出して、仮想オブジェクト４０（選択オブジェクト４５）の選択が決定される。この決定操作により、ユーザ１が実際にどの仮想オブジェクト４０を見ているかが判別される。これにより、較正データとして利用可能なデータ（ユーザ１の実視線ベクトル５０と視線ベクトル５１との角度の差分等）を新たに生成することが可能となる。
【0251】
このように、ＨＭＤ２００では、選択対象のオブジェクト群の位置を意図的に変更する事なく、ユーザ１は必要な時に視線ベクトル５１の補正を行って所望の仮想オブジェクト４０を容易に選択することが可能である。また視線を利用するコンテンツの実行中であっても、仮想オブジェクト４０を選択した時の角度の差分等を較正データとして蓄積していくことで、視線ベクトル５１の検出精度を段階的に向上させていく事が可能である。
【0252】
上記では、内向きカメラを用いてユーザの眼球の位置姿勢情報（眼球画像）が検出された。これに限定されず、例えば眼電位に基づいて、ユーザの注視点Ｐが検出されてもよい。一般に人間の眼球は、角膜（瞳孔）側は正に帯電し、その反対の網膜側は負に帯電している。例えばＨＭＤに所定の電位センサ（図示省略）を設けることで、眼球の動きに伴う電位の変化を検出することが可能である。この電位の変化に関する情報（眼球の位置姿勢情報）に基づいて、ユーザの視線ベクトル５１及び注視位置Ｐが検出されてもよい。
【0253】
上記の実施形態では、表示装置を搭載した没入型のＨＭＤについて説明した。本技術に係る視線を用いた選択操作は、没入型のＨＭＤのみならず、任意の表示装置に対して適用可能である。
【0254】
例えば、光学透過型のＨＭＤが用いられてもよい。本開示における光学透過型のＨＭＤは、実世界の三次元空間を測定する外部カメラ等のセンサと視線検出のための内向きカメラとを有し、実オブジェクトの情報を用いて注視位置Ｐ等が適宜検出し得る。光学透過型のＨＭＤは、実空間の三次元座標、すなわちグローバル座標系を基準として、あたかも仮想オブジェクトが実空間に存在するかのように重畳し得る。光学透過型のＨＭＤを用いることで、ユーザ１は、例えばＡＲ空間を体験することが可能であり、ユーザ１の注視対象となるオブジェクトは、実空間の実オブジェクトとなる場合がある。このような場合であっても、ユーザ１の視線ベクトル５１及びヘッドジェスチャー等を適宜検出することで、注視位置Ｐ等を補正することが可能である。
【0255】
また例えば、ＰＣ（Personal Computer）のディスプレイやＴＶ等の表示装置を用いて、視線を用いた選択操作が実行されてもよい。この場合、ユーザ１の顔（眼球）を撮影するカメラ等を用いて、ＰＣのディスプレイ等を視聴するユーザ１の視線ベクトル５１が推定される。また例えば、同様のカメラ等を用いてユーザ１が頭部を回転させるヘッドジェスチャー等が検出される。これにより、注視位置Ｐ等補正することが可能となる。
【0256】
上記ではユーザ１により操作されるＨＭＤ１００等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザ１が操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザ１が操作するコンピュータと、他のコンピュータとが連動して、本技術に係るコンテンツ提供システムが構築されてもよい。
【0257】
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
【0258】
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えばユーザの眼球の位置姿勢情報の取得、ユーザの視線ベクトルの推定、視線ベクトルに基づいた注視状態を示すガイド画像を表示する表示装置の制御、ユーザのジェスチャー情報の取得、及び第１のモードと第２のモードとの切替等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュー
タに実行させその結果を取得することを含む。
タに実行させその結果を取得することを含む。
【0259】
すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
【0260】
以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
【0261】
本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。
【0262】
なお、本技術は以下のような構成も採ることができる。
（１）第１のセンサからユーザの眼球の位置姿勢情報を取得する眼球情報取得部と、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する視線推定部と、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する表示制御部と、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するジェスチャー情報取得部と、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるモード切替部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記ガイド画像は、前記注視状態として、前記視線ベクトルに基づく注視位置または前記注視位置を含む注視オブジェクトの少なくとも一方を示す画像であり、
前記表示制御部は、前記第２のモードが実行された場合に、前記ジェスチャー情報に基づいて前記注視位置を補正する
情報処理装置。
（３）（２）に記載の情報処理装置であって、
前記表示制御部は、前記第２のモードが実行された場合に、前記注視位置が補正された前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
（４）（２）又は（３）に記載の情報処理装置であって、
前記表示制御部は、前記ジェスチャー情報に基づいて前記視線ベクトルを補正することで前記注視位置を補正する
情報処理装置。
（５）（２）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記ジェスチャー情報は、前記ユーザが頭部を回転させるヘッドジェスチャーに関する情報を含み、
前記表示制御部は、前記第２のモードが実行された場合に、前記ユーザの頭部の回転に応じて前記注視位置が補正された前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転方向に前記視線ベクトルを回転させる
情報処理装置。
（７）（５）又は（６）に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度に応じて、第１の範囲に収まるように前記視線ベクトルの回転角度を設定する
情報処理装置。
（８）（７）に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度が第２の範囲を超えた場合に、前記視線ベクトルの回転角度を前記第１の範囲の最大角度に設定する
情報処理装置。
（９）（８）に記載の情報処理装置であって、
前記第２の範囲は、前記視線ベクトルの推定精度、前記視線ベクトルの較正データ、前記注視オブジェクトの候補となる候補オブジェクトの密集度、及び前記第２のモードが実行されたタイミングでの前記ユーザの頭部の姿勢の少なくとも１つに基づいて設定される
情報処理装置。
（１０）（７）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記ユーザの頭部の回転角度は、前記第２のモードが実行されたタイミングでの前記ユーザの頭部の回転位置を基準として算出される
情報処理装置。
（１１）（５）に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度に係らず、前記ユーザの頭部の回転方向に前記視線ベクトルを連続的に回転させることで前記注視位置を連続的に移動する
情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
前記表示制御部は、連続的に移動する前記注視位置に応じて前記注視オブジェクトが切り替わるように前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
（１３）（５）から（１２）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記注視オブジェクトの候補となる候補オブジェクトの移動に連動する前記ユーザの頭部の回転速度に基づいて、前記移動する候補オブジェクトに対する前記ユーザの頭部の相対的な回転角度を算出する
情報処理装置。
（１４）（２）から（１３）のうちいずれか１つに記載の情報処理装置であって、
前記モード切替部は、前記第２のモードの開始条件及び終了条件に基づいて前記モード切替入力を判定する
情報処理装置。
（１５）（１４）に記載の情報処理装置であって、
前記開始条件は、前記注視オブジェクトが注視されている期間に関する条件、前記ユーザによる操作入力の有無に関する条件、前記視線ベクトルの変化量に関する条件のうち少なくとも１つの条件を含む
情報処理装置。
（１６）（１４）又は（１５）に記載の情報処理装置であって、
前記終了条件は、前記ユーザの眼動作に関する条件、前記ユーザの頭部の回転速度に関する条件、前記ユーザによる操作入力の有無に関する条件、前記視線ベクトルの変化量に関する条件のうち少なくとも１つの条件を含む
情報処理装置。
（１７）（１）から（１６）のうちいずれか１つに記載の情報処理装置であって、
前記ジェスチャー情報は、前記ユーザが上半身を傾けるボディジェスチャー、または前記ユーザが手を動かすハンドジェスチャーの少なくとも一方に関する情報を含む
情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記第２のモードにおいて前記注視状態を補正する補正量を算出し、前記補正量に基づいて前記第１のモードでの前記ガイド画像の表示を実行する
情報処理装置。
（１９）（１）から（１８）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記ユーザの注視対象となる１以上のオブジェクトのうち、前記視線ベクトルに対する離間度が最も小さい前記オブジェクトを、前記注視対象として選択する
情報処理装置。
（２０）（１９）に記載の情報処理装置であって、
前記視線ベクトルに対する離間度は、前記視線ベクトルと前記オブジェクトの位置ベクトルとの角度間隔である
情報処理装置。
（２１）（１）から（２０）のうちいずれか１つに記載の情報処理装置であって、
前記ガイド画像は、前記ユーザの注視対象となる１以上のオブジェクトを含み、
前記表示制御部は、前記１以上のオブジェクトの前記視線ベクトルに対する離間度に応じて、各オブジェクトの表示が変化するように前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
（２２）（２１）に記載の情報処理装置であって、
前記視線ベクトルに対する離間度は、前記視線ベクトルと前記オブジェクトの位置ベクトルとの角度間隔であり、
前記表示制御部は、前記角度間隔に応じて、前記１以上のオブジェクトの色、サイズ、形状、動作の少なくとも１つを変化させる
情報処理装置。
（２３）（２１）又は（２２）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記１以上のオブジェクトのうち、前記視線ベクトルを基準とする所定の角度範囲に含まれない前記オブジェクトに対して、ぼかし処理又は非表示処理の一方を実行する
情報処理装置。
（２４）第１のセンサからユーザの眼球の位置姿勢情報を取得し、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定し、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御し、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得し、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替える
ことをコンピュータシステムが実行する情報処理方法。
（２５）第１のセンサからユーザの眼球の位置姿勢情報を取得するステップと、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定するステップと、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御するステップと、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するステップと、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
（２６）第１のセンサからユーザの眼球の位置姿勢情報を取得する眼球情報取得部と、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する視線推定部と、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する表示制御部とを具備し、
前記ガイド画像は、前記ユーザの注視対象となる１以上のオブジェクトを含み、
前記表示制御部は、前記１以上のオブジェクトの前記視線ベクトルに対する離間度に応じて、各オブジェクトの表示が変化するように前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
（２７）第１のセンサからユーザの眼球の位置姿勢情報を取得する眼球情報取得部と、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する視線推定部と、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する表示制御部とを具備し、
前記表示制御部は、前記ユーザの注視対象となる１以上のオブジェクトのうち、前記視線ベクトルに対する離間度が最も小さい前記オブジェクトを、前記注視対象として選択する
情報処理装置。
（１）第１のセンサからユーザの眼球の位置姿勢情報を取得する眼球情報取得部と、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する視線推定部と、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する表示制御部と、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するジェスチャー情報取得部と、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるモード切替部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記ガイド画像は、前記注視状態として、前記視線ベクトルに基づく注視位置または前記注視位置を含む注視オブジェクトの少なくとも一方を示す画像であり、
前記表示制御部は、前記第２のモードが実行された場合に、前記ジェスチャー情報に基づいて前記注視位置を補正する
情報処理装置。
（３）（２）に記載の情報処理装置であって、
前記表示制御部は、前記第２のモードが実行された場合に、前記注視位置が補正された前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
（４）（２）又は（３）に記載の情報処理装置であって、
前記表示制御部は、前記ジェスチャー情報に基づいて前記視線ベクトルを補正することで前記注視位置を補正する
情報処理装置。
（５）（２）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記ジェスチャー情報は、前記ユーザが頭部を回転させるヘッドジェスチャーに関する情報を含み、
前記表示制御部は、前記第２のモードが実行された場合に、前記ユーザの頭部の回転に応じて前記注視位置が補正された前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転方向に前記視線ベクトルを回転させる
情報処理装置。
（７）（５）又は（６）に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度に応じて、第１の範囲に収まるように前記視線ベクトルの回転角度を設定する
情報処理装置。
（８）（７）に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度が第２の範囲を超えた場合に、前記視線ベクトルの回転角度を前記第１の範囲の最大角度に設定する
情報処理装置。
（９）（８）に記載の情報処理装置であって、
前記第２の範囲は、前記視線ベクトルの推定精度、前記視線ベクトルの較正データ、前記注視オブジェクトの候補となる候補オブジェクトの密集度、及び前記第２のモードが実行されたタイミングでの前記ユーザの頭部の姿勢の少なくとも１つに基づいて設定される
情報処理装置。
（１０）（７）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記ユーザの頭部の回転角度は、前記第２のモードが実行されたタイミングでの前記ユーザの頭部の回転位置を基準として算出される
情報処理装置。
（１１）（５）に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの頭部の回転角度に係らず、前記ユーザの頭部の回転方向に前記視線ベクトルを連続的に回転させることで前記注視位置を連続的に移動する
情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
前記表示制御部は、連続的に移動する前記注視位置に応じて前記注視オブジェクトが切り替わるように前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
（１３）（５）から（１２）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記注視オブジェクトの候補となる候補オブジェクトの移動に連動する前記ユーザの頭部の回転速度に基づいて、前記移動する候補オブジェクトに対する前記ユーザの頭部の相対的な回転角度を算出する
情報処理装置。
（１４）（２）から（１３）のうちいずれか１つに記載の情報処理装置であって、
前記モード切替部は、前記第２のモードの開始条件及び終了条件に基づいて前記モード切替入力を判定する
情報処理装置。
（１５）（１４）に記載の情報処理装置であって、
前記開始条件は、前記注視オブジェクトが注視されている期間に関する条件、前記ユーザによる操作入力の有無に関する条件、前記視線ベクトルの変化量に関する条件のうち少なくとも１つの条件を含む
情報処理装置。
（１６）（１４）又は（１５）に記載の情報処理装置であって、
前記終了条件は、前記ユーザの眼動作に関する条件、前記ユーザの頭部の回転速度に関する条件、前記ユーザによる操作入力の有無に関する条件、前記視線ベクトルの変化量に関する条件のうち少なくとも１つの条件を含む
情報処理装置。
（１７）（１）から（１６）のうちいずれか１つに記載の情報処理装置であって、
前記ジェスチャー情報は、前記ユーザが上半身を傾けるボディジェスチャー、または前記ユーザが手を動かすハンドジェスチャーの少なくとも一方に関する情報を含む
情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記第２のモードにおいて前記注視状態を補正する補正量を算出し、前記補正量に基づいて前記第１のモードでの前記ガイド画像の表示を実行する
情報処理装置。
（１９）（１）から（１８）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記ユーザの注視対象となる１以上のオブジェクトのうち、前記視線ベクトルに対する離間度が最も小さい前記オブジェクトを、前記注視対象として選択する
情報処理装置。
（２０）（１９）に記載の情報処理装置であって、
前記視線ベクトルに対する離間度は、前記視線ベクトルと前記オブジェクトの位置ベクトルとの角度間隔である
情報処理装置。
（２１）（１）から（２０）のうちいずれか１つに記載の情報処理装置であって、
前記ガイド画像は、前記ユーザの注視対象となる１以上のオブジェクトを含み、
前記表示制御部は、前記１以上のオブジェクトの前記視線ベクトルに対する離間度に応じて、各オブジェクトの表示が変化するように前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
（２２）（２１）に記載の情報処理装置であって、
前記視線ベクトルに対する離間度は、前記視線ベクトルと前記オブジェクトの位置ベクトルとの角度間隔であり、
前記表示制御部は、前記角度間隔に応じて、前記１以上のオブジェクトの色、サイズ、形状、動作の少なくとも１つを変化させる
情報処理装置。
（２３）（２１）又は（２２）のうちいずれか１つに記載の情報処理装置であって、
前記表示制御部は、前記１以上のオブジェクトのうち、前記視線ベクトルを基準とする所定の角度範囲に含まれない前記オブジェクトに対して、ぼかし処理又は非表示処理の一方を実行する
情報処理装置。
（２４）第１のセンサからユーザの眼球の位置姿勢情報を取得し、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定し、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御し、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得し、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替える
ことをコンピュータシステムが実行する情報処理方法。
（２５）第１のセンサからユーザの眼球の位置姿勢情報を取得するステップと、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定するステップと、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御するステップと、
第２のセンサから前記眼球の位置姿勢情報とは異なる前記ユーザのジェスチャー情報を取得するステップと、
前記ガイド画像に関する前記ユーザのモード切替入力に応じて、前記眼球の位置姿勢情報を前記ガイド画像に反映する第１のモードと、前記ジェスチャー情報に基づいて前記注視状態を補正する第２のモードとを切り替えるステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。
（２６）第１のセンサからユーザの眼球の位置姿勢情報を取得する眼球情報取得部と、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する視線推定部と、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する表示制御部とを具備し、
前記ガイド画像は、前記ユーザの注視対象となる１以上のオブジェクトを含み、
前記表示制御部は、前記１以上のオブジェクトの前記視線ベクトルに対する離間度に応じて、各オブジェクトの表示が変化するように前記ガイド画像を表示するよう前記表示装置を制御する
情報処理装置。
（２７）第１のセンサからユーザの眼球の位置姿勢情報を取得する眼球情報取得部と、
前記眼球の位置姿勢情報に基づいて前記ユーザの視線ベクトルを推定する視線推定部と、
前記推定された視線ベクトルに基づいた注視状態を示すガイド画像を表示するよう表示装置を制御する表示制御部とを具備し、
前記表示制御部は、前記ユーザの注視対象となる１以上のオブジェクトのうち、前記視線ベクトルに対する離間度が最も小さい前記オブジェクトを、前記注視対象として選択する
情報処理装置。
【符号の説明】
【0263】
θ…角度間隔
１…ユーザ
２…頭部
１５…ディスプレイ
１７…記憶部
１８…制御プログラム
２０…コントローラ
２１…視線検出部
２２…頭部位置姿勢検出部
２３…表示制御部
２４…モード切替部
２５…視線方向調整部
２６…画像処理部
３０…ガイド画像
４０、４０ａ～４０ｉ…仮想オブジェクト
４１…注視オブジェクト
４２…候補オブジェクト
４５…選択オブジェクト
５０…実視線ベクトル
５１…視線ベクトル
５２…位置ベクトル
７０…角度範囲
１００…ＨＭＤ
１…ユーザ
２…頭部
１５…ディスプレイ
１７…記憶部
１８…制御プログラム
２０…コントローラ
２１…視線検出部
２２…頭部位置姿勢検出部
２３…表示制御部
２４…モード切替部
２５…視線方向調整部
２６…画像処理部
３０…ガイド画像
４０、４０ａ～４０ｉ…仮想オブジェクト
４１…注視オブジェクト
４２…候補オブジェクト
４５…選択オブジェクト
５０…実視線ベクトル
５１…視線ベクトル
５２…位置ベクトル
７０…角度範囲
１００…ＨＭＤ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】