(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160840
(43)【公開日】2024-11-15
(54)【発明の名称】視線検出装置および視線検出装置の制御方法
(51)【国際特許分類】
G09G 5/38 20060101AFI20241108BHJP
G09G 5/00 20060101ALI20241108BHJP
【ＦＩ】
G09G5/38 100
G09G5/00 550C
G09G5/00 510A
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023076267
(22)【出願日】2023-05-02
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】内田 武志
【テーマコード（参考）】
5C182
【Ｆターム（参考）】
5C182AA05
5C182AB25
5C182AB31
5C182AB35
5C182AC03
5C182AC39
5C182BA14
5C182BA29
5C182BA54
5C182BA56
5C182BA66
5C182BC26
5C182CB42
5C182CB45
(57)【要約】
【課題】両眼で見ている状態と片眼で見ている状態とで、ユーザが見ている外界の物体の位置と仮想物体の位置との関係が変化しないよう制御する。
【解決手段】視線検出装置は、ユーザが見ている物体に対して仮想物体を表示するように制御する表示制御手段と、前記ユーザの視線位置を検出する検出手段とを有し、前記表示制御手段は、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正することを特徴とする。
【選択図】図４
【解決手段】視線検出装置は、ユーザが見ている物体に対して仮想物体を表示するように制御する表示制御手段と、前記ユーザの視線位置を検出する検出手段とを有し、前記表示制御手段は、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正することを特徴とする。
【選択図】図４
【特許請求の範囲】
【請求項1】
ユーザが見ている物体に対して仮想物体を表示するように制御する表示制御手段と、
前記ユーザの視線位置を検出する検出手段と
を有し、
前記表示制御手段は、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正する
ことを特徴とする視線検出装置。
前記ユーザの視線位置を検出する検出手段と
を有し、
前記表示制御手段は、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正する
ことを特徴とする視線検出装置。
【請求項2】
前記表示制御手段は、両眼で見ている状態と片眼で見ている状態との間で、前記ユーザが知覚する前記物体の位置と前記仮想物体の位置との関係が変化しないように前記仮想物体の表示位置を補正する
ことを特徴とする請求項１に記載の視線検出装置。
ことを特徴とする請求項１に記載の視線検出装置。
【請求項3】
前記表示制御手段は、前記ユーザが両眼で見ている状態から片眼で見ている状態に遷移した場合、前記ユーザが開いている眼の位置と前記物体の位置に応じた位置とを通る直線上の位置に、前記仮想物体の表示位置を補正する
ことを特徴とする請求項１に記載の視線検出装置。
ことを特徴とする請求項１に記載の視線検出装置。
【請求項4】
前記表示制御手段は、前記ユーザから前記物体までの距離を繰り返し検出し、検出した前記ユーザから前記物体までの距離に基づいて前記仮想物体の表示位置を補正する
ことを特徴とする請求項１に記載の視線検出装置。
ことを特徴とする請求項１に記載の視線検出装置。
【請求項5】
前記表示制御手段は、前記ユーザから前記仮想物体を表示する表示部までの距離を繰り返し検出し、検出した前記ユーザから前記表示部までの距離に基づいて前記仮想物体の表示位置を補正する
ことを特徴とする請求項１に記載の視線検出装置。
ことを特徴とする請求項１に記載の視線検出装置。
【請求項6】
前記表示制御手段は、補正後の前記仮想物体の表示位置が、前記仮想物体の表示が制限される制限領域に含まれる場合、前記仮想物体を補正前の表示位置に表示するか、または、前記仮想物体を表示しないように制御する
ことを特徴とする請求項１に記載の視線検出装置。
ことを特徴とする請求項１に記載の視線検出装置。
【請求項7】
補正後の前記仮想物体の表示位置が、前記仮想物体の表示が制限される前記制限領域に含まれる場合、前記ユーザに所定の通知を行うように制御する通知制御手段をさらに有する
ことを特徴とする請求項６に記載の視線検出装置。
ことを特徴とする請求項６に記載の視線検出装置。
【請求項8】
前記検出手段は、前記ユーザが両眼を開いているか、いずれか一方の眼を閉じているかを検出する
ことを特徴とする請求項１に記載の視線検出装置。
ことを特徴とする請求項１に記載の視線検出装置。
【請求項9】
ユーザが見ている物体に対して仮想物体を表示するように制御する表示制御ステップと、
前記ユーザの視線位置を検出する検出ステップと
を有し、
前記表示制御ステップでは、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正する
ことを特徴とする視線検出装置の制御方法。
前記ユーザの視線位置を検出する検出ステップと
を有し、
前記表示制御ステップでは、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正する
ことを特徴とする視線検出装置の制御方法。
【請求項10】
コンピュータを、請求項１～８のいずれか１項に記載の視線検出装置の各手段として機能させるためのプログラム。
【請求項11】
コンピュータを、請求項１～８のいずれか１項に記載の視線検出装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視線検出装置および視線検出装置の制御方法に関する。
【背景技術】
【0002】
近年、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）またはＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を利用した眼鏡型デバイスといった視線検出機能を有する頭部装着型表示装置の自動化・インテリジェント化が進んでいる。頭部装着型表示装置の方式としては、ユーザが透過型の光学部材（レンズ）を介して外界（現実空間）を見たり、頭部装着型表示装置によって表示されたグラフィック（例えば仮想物体）を見たりすることができる光学シースルー方式がある。特許文献１は、使用者の視線の方向を検出し、選択肢を表す映像で視線が向けられた選択肢に応じて、テレビ等の外部機器を制御する技術を開示している。また、特許文献２は、顔画像から片方の目しか検出できない場合であっても、視線の検出精度を向上させる技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００３－２３０５３９号公報
【特許文献2】特開２０２１－７７２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
頭部装着型表示装置を装着したユーザが、透過型の光学部材を介して外界の物体および仮想物体を両眼で見ている際に片眼を閉じた場合、仮想物体の位置は、背景にある外界の物体の位置に対して相対的に移動したように見える。特許文献１、２では、ユーザが片眼を閉じることによる見え方の変化が考慮されておらず、ユーザは、片眼を閉じた場合に外界の物体に対して仮想物体が移動したと誤認する恐れがある。
【0005】
上記を鑑みて、本発明は、両眼で見ている状態と片眼で見ている状態とで、ユーザが見ている外界の物体の位置と仮想物体の位置との関係が変化しないよう制御する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第１の態様は、ユーザが見ている物体に対して仮想物体を表示するように制御する表示制御手段と、前記ユーザの視線位置を検出する検出手段とを有し、前記表示制御手段は、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正することを特徴とする視線検出装置である。
【0007】
本発明の第２の態様は、ユーザが見ている物体に対して仮想物体を表示するように制御する表示制御ステップと、前記ユーザの視線位置を検出する検出ステップとを有し、前記表示制御ステップでは、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正することを特徴とする視線検出装置の制御方法である。
【0008】
本発明の第３の態様は、コンピュータを、上述した視線検出装置の各手段として機能させるためのプログラムである。本発明の第４の態様は、コンピュータを、上述した視線検出装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。
【発明の効果】
【0009】
本発明によれば、両眼で見ている状態と片眼で見ている状態とで、ユーザが見ている外界の物体の位置と仮想物体の位置との関係が変化しないよう制御する技術を提供することができる。
【図面の簡単な説明】
【0010】
【図1】表示装置の外観図である。
【図2】表示装置のブロック図である。
【図3】表示装置の他の例の外観図である。
【図4】実施形態１に係る仮想物体表示処理を例示するフローチャートである。
【図5】視線検出について説明する図である。
【図6】両眼で見ている状態での仮想物体の見え方を説明する図である。
【図7】片眼で見ている状態での仮想物体の見え方を説明する図である。
【図8】ブロックマッチング法について説明する図である。
【図9】視線検出方法の原理を説明する図である。
【図10】眼撮像素子に投影される眼画像の概略図である。
【図11】視線検出処理を例示するフローチャートである。
【図12】キャリブレーションについて説明する図である。
【図13】開眼状態の検出方法について説明する図である。
【図14】左右両眼の眼球角度に基づく視線位置の決定方法を説明する図である。
【図15】実施形態２の仮想物体の表示位置の補正について説明する図である。
【図16】実施形態３の仮想物体の表示位置の補正について説明する図である。
【図17】仮想物体の表示が制限される制限領域について説明する図である。
【図18】実施形態４に係る仮想物体表示処理を例示するフローチャートである。
【発明を実施するための形態】
【0011】
以下、添付の図面を参照して本発明の実施形態を説明する。
【0012】
＜実施形態１＞
本発明の実施形態１について説明する。本発明は、光学シースルー方式の頭部装着型表示装置（ＨＭＤ、ヘッドマウントディスプレイ）に適用可能である。光学シースルー方式の頭部表示装置は、例えば、スマートグラス（ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス）である。光学シースルー方式の頭部表示装置は、例えば、一般的な眼鏡のレンズと同様のレンズ（光学部材）を有し、レンズまたはユーザの網膜に対してグラフィック（例えば仮想物体）を投影する。光学シースルー方式の頭部装着型表示装置を装着したユーザは、光学部材（レンズ）を介して外界（現実空間）を見たり、頭部装着型表示装置によって投影（表示）されたグラフィックを見たりすることができる。
本発明の実施形態１について説明する。本発明は、光学シースルー方式の頭部装着型表示装置（ＨＭＤ、ヘッドマウントディスプレイ）に適用可能である。光学シースルー方式の頭部表示装置は、例えば、スマートグラス（ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス）である。光学シースルー方式の頭部表示装置は、例えば、一般的な眼鏡のレンズと同様のレンズ（光学部材）を有し、レンズまたはユーザの網膜に対してグラフィック（例えば仮想物体）を投影する。光学シースルー方式の頭部装着型表示装置を装着したユーザは、光学部材（レンズ）を介して外界（現実空間）を見たり、頭部装着型表示装置によって投影（表示）されたグラフィックを見たりすることができる。
【0013】
＜構成の説明＞
図１（Ａ），１（Ｂ）は、実施形態１に係る視線検出装置としての表示装置１００の外観を示す。図１（Ａ）は正面斜視図であり、図１（Ｂ）は背面斜視図である。表示装置１００は光学シースルー方式の頭部装着型表示装置である。表示装置１００は、表示装置１００を頭部に装着したユーザの右目の視線と左目の視線とを個別に検出することができる。以後、表示装置１００を頭部に装着したユーザのことを、単にユーザと称する。
図１（Ａ），１（Ｂ）は、実施形態１に係る視線検出装置としての表示装置１００の外観を示す。図１（Ａ）は正面斜視図であり、図１（Ｂ）は背面斜視図である。表示装置１００は光学シースルー方式の頭部装着型表示装置である。表示装置１００は、表示装置１００を頭部に装着したユーザの右目の視線と左目の視線とを個別に検出することができる。以後、表示装置１００を頭部に装着したユーザのことを、単にユーザと称する。
【0014】
レンズ１０は、ユーザの眼に対向（正対）する光学部材である。ユーザは、レンズ１０を通して外界を視認することができる。表示デバイス１１は、後述するＣＰＵ２からの制御（表示制御）によって、ユーザの両目（右目と左目の両方）に対して、グラフィック（例えば仮想物体の虚像）を表示する。例えば、レンズ１０がプリズムまたはハーフミラー
を有し、表示デバイス１１は、レンズ１０にグラフィックを投影する。表示デバイス１１は、ユーザの網膜にグラフィックを投影してもよい。レンズ１０が、表示機能（表示デバイス１１の機能）を有する透過型ディスプレイ（表示部）であってもよい。表示デバイス１１は、例えば、グラフィックとして、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、例えばボタンまたはアイコン）を表示する。ユーザは、表示された仮想物体を、外界に存在するように見ることができる。グラフィックを表示する際に、右目に対する表示位置と左目に対する表示位置との左右方向の位置関係（視差）を調整することによって、ユーザから見たグラフィックの奥行位置（奥行方向（ユーザから遠ざかる方向）の位置）を調整することができる。
を有し、表示デバイス１１は、レンズ１０にグラフィックを投影する。表示デバイス１１は、ユーザの網膜にグラフィックを投影してもよい。レンズ１０が、表示機能（表示デバイス１１の機能）を有する透過型ディスプレイ（表示部）であってもよい。表示デバイス１１は、例えば、グラフィックとして、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、例えばボタンまたはアイコン）を表示する。ユーザは、表示された仮想物体を、外界に存在するように見ることができる。グラフィックを表示する際に、右目に対する表示位置と左目に対する表示位置との左右方向の位置関係（視差）を調整することによって、ユーザから見たグラフィックの奥行位置（奥行方向（ユーザから遠ざかる方向）の位置）を調整することができる。
【0015】
光源駆動回路１２は、光源１３ａ，１３ｂを駆動する。光源１３ａと光源１３ｂのそれぞれは、ユーザの眼を照明する光源であり、例えばユーザに対して不感の赤外光を発する赤外発光ダイオードである。光源１３ａ，１３ｂから発せられてユーザの眼で反射した光の一部は、受光レンズ１６によって、眼撮像素子１７に集光する。眼撮像素子１７は、ユーザの眼を撮像する撮像センサ（撮像素子）である。撮像センサは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。
【0016】
レンズ１０、表示デバイス１１、光源駆動回路１２、光源１３ａ，１３ｂ、受光レンズ１６、および眼撮像素子１７は、右目と左目のそれぞれについて設けられている。光源駆動回路１２、光源１３ａ，１３ｂ、受光レンズ１６、および眼撮像素子１７を用いて、ユーザの視線情報を取得することができる。視線情報は、視線に関する情報であり、例えば視点、視線方向（視線の方向）、および輻輳角（右目の視線と左目の視線とのなす角度）の少なくともいずれかを示す。視点は、視線が注がれた位置と捉えたり、ユーザが見ている位置と捉えたり、視線位置と捉えたりすることもできる。視線情報の取得方法の詳細については後述する。
【0017】
外界撮像ユニット２０は、ユーザが顔を向けている方向の外界の光景を撮像する撮像センサ（撮像素子）を含む。さらに、外界撮像ユニット２０は、外界情報（外界に関する情報）を取得するための様々な機能を有する。撮像センサは、例えばＣＣＤセンサまたはＣＭＯＳセンサである。
【0018】
例えば、外界撮像ユニット２０は、ＧＵＩを操作する操作体（例えば、ユーザの手、ユーザの指、またはユーザが手に持った指示棒）を検出して追跡し、操作体の特定の動き（ジェスチャー）を検出するための機能を有する。操作体は、例えば、外界を撮像した画像から検出される。この機能には、様々な公知技術（例えばハンドトラッキングの技術）を用いてよい。例えば、ＧＵＩであるボタンを指でタップするような動きを、ボタンの押下を想定した処理に紐づけておくことによって、当該ボタンに対するジェスチャー操作（ジェスチャーによる操作）が可能となる。
【0019】
また、外界撮像ユニット２０は、表示装置１００（ユーザ）から外界に存在する現実物体までの距離を検出するための機能（当該距離に関する情報（距離情報）を取得するための機能）を有する。この機能には、様々な公知技術を用いてよい。例えば、光波（例えばレーザー光またはＬＥＤ（Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）光）が対象物に向かって発せられてから、当該光波が対象物で反射して戻ってくるまでの時間を計測する方法を用いてもよい。光波でなく、音波または電波を用いてもよい。上述の撮像センサとは異なる測距センサ（例えば、レーザー光を利用するＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサ、またはＬＥＤ光を利用するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ）を用いてもよい。外界を撮像した画像から距離を算出する方法を用いてもよい。例えば、２つの撮像センサを用いて測距を行うステレオカメ
ラを用いてもよい。撮像センサの撮像面内における異なる複数の画素（複数の光電変換素子）を用いて測距を行う方法（位相差ＡＦ（ＡｕｔｏＦｏｃｕｓ））を用いてもよい。
ラを用いてもよい。撮像センサの撮像面内における異なる複数の画素（複数の光電変換素子）を用いて測距を行う方法（位相差ＡＦ（ＡｕｔｏＦｏｃｕｓ））を用いてもよい。
【0020】
ＴＯＦセンサの一種であるＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）センサは、高速かつ高感度に測距を行うことができる。ＳＰＡＤセンサでは、例えば数ｍ先までのリアルタイムな測距において、距離の検出誤差は数％未満である。位相差ＡＦを用いれば、同じ撮像センサを用いて現実物体の測距と操作体の検出とを行うことができる。用いられるセンサの数が減るため、コストを低減することができる。
【0021】
なお、現実物体までの距離と、現実物体を見たときのユーザの輻輳角とには相関があり、表示装置１００（ユーザ）から１ｍ程度の範囲内では、それらを高精度に検出することができる。
【0022】
図２は、表示装置１００における電気的構成を示すブロック図である。ＣＰＵ２は、表示装置１００に内蔵されたマイクロコンピュータの中央処理部であり、表示装置１００全体を制御する。ＣＰＵ２には、表示デバイス１１、光源駆動回路１２、視線検出回路１５、外界撮像ユニット２０、距離検出回路２０１、およびメモリ部３が接続されている。
【0023】
メモリ部３は、眼撮像素子１７からの映像信号の記憶機能、視線補正係数（視線の個人差を補正するパラメータ）の記憶機能などを有する。
【0024】
視線検出回路１５は、眼撮像素子１７上に眼の光学像が結像した状態での眼撮像素子１７の出力（眼を撮像した眼画像）をＡ／Ｄ変換し、その結果をＣＰＵ２に送信する。ＣＰＵ２は、所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザの視線を検出する。
【0025】
距離検出回路２０１は、外界撮像ユニット２０における撮像センサに含まれた、位相差検出のための複数の画素（複数の光電変換素子）からの信号（電圧）をＡ／Ｄ変換し、ＣＰＵ２に送る。ＣＰＵ２は、複数の画素の信号を用いて、各距離検出ポイントに対応する現実物体（被写体）までの距離を算出する。
【0026】
上記の説明では頭部装着型表示装置（ＨＭＤ）を例として挙げたが、本発明は、これに限られず、ユーザの両眼の視線情報を検出し、両眼の視線位置に基づいて仮想物体を表示する光学シースルー方式のＸＲ機器であれば適用可能である。
【0027】
図３は、本発明が適用可能な表示装置１００の他の例として、ヘッドアップディスプレイ（ＨＵＤ、Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）を搭載した車両の外観図を示す。ＨＵＤは、図１で説明した表示装置１００と同様の構成を有し、車両のフロントガラスに仮想物体を表示することができる。図１（Ａ），１（Ｂ）と同じ構成については、同じ符号を付して説明は省略する。ＨＵＤの表示デバイス１１は、レンズ１０として機能するフロントウィンドウ（光学部材）を介して、外界を視認するユーザの視界に重畳させて仮想物体を表示する。図３の例では、ＨＵＤは、ユーザが見ている人物４０（外界の物体）に重畳させて、枠３０（仮想物体）を表示している。
【0028】
＜仮想物体表示処理＞
表示装置１００は、視線方向を検出する機能を有する光学シースルー方式のＸＲ機器であり、ユーザが見ている物体に対して仮想物体を表示する。表示装置１００は、ユーザが物体を両眼で見ている状態から片眼で見ている状態に遷移した場合、ユーザが知覚する物体の位置と仮想物体の位置との関係が変化しないように仮想物体の表示位置を補正する。仮想物体の表示位置が補正されることにより、物体の位置に対して仮想物体の位置がずれ
たように見えるユーザの誤認は軽減される。
表示装置１００は、視線方向を検出する機能を有する光学シースルー方式のＸＲ機器であり、ユーザが見ている物体に対して仮想物体を表示する。表示装置１００は、ユーザが物体を両眼で見ている状態から片眼で見ている状態に遷移した場合、ユーザが知覚する物体の位置と仮想物体の位置との関係が変化しないように仮想物体の表示位置を補正する。仮想物体の表示位置が補正されることにより、物体の位置に対して仮想物体の位置がずれ
たように見えるユーザの誤認は軽減される。
【0029】
図４は、実施形態１に係る仮想物体表示処理を例示するフローチャートである。仮想物体表示処理において、表示装置１００は、ユーザが物体を両眼で見ている状態から片眼で見ている状態に遷移した場合、仮想物体の表示位置を補正する。仮想物体表示処理は、ユーザが表示装置１００の使用を始めること（例えば、ユーザが表示装置１００を装着すること、ユーザが表示装置１００の電源を入れること等）により開始される。図４に示す処理は、外界撮像ユニット２０によって撮像されるフレームごとに実行される。
【0030】
ステップＳ１０１において、ＣＰＵ２は、外界撮像ユニット２０により外界を撮像した画像を取得する。ステップＳ１０２において、ＣＰＵ２は、ユーザの画像を取得する。具体的には、光源１３ａ、１３ｂはユーザの眼に向けて赤外光を放射する。放射された赤外光によって照明されたユーザの眼画像は、眼撮像素子１７上に受光レンズ１６を通して結像される。ユーザの眼画像は、眼撮像素子１７により光電変換がなされ、電気信号として処理が可能となる。
【0031】
ステップＳ１０３において、ＣＰＵ２は、ステップＳ１０２で撮像されたユーザの眼画像から、左右それぞれの眼球の画像を取得する。表示装置１００が頭部装着型表示装置である場合、表示装置１００は左右それぞれの眼撮像素子１７を備え、ＣＰＵ２は、ステップＳ１０２で左右の眼撮像素子１７により撮像した画像を、それぞれ左右の眼球の画像として取得することができる。
【0032】
なお、表示装置１００がＨＵＤである場合、ステップＳ１０２では、ＣＰＵ２は、図５（Ａ）に示すように眼撮像素子１７により両眼を含むように撮像した１枚のユーザの画像を取得する。ＣＰＵ２は、ステップＳ１０２で取得したユーザの画像から、右眼画像５０１および左眼画像５０２を取得することができる。
【0033】
ステップＳ１０４において、ＣＰＵ２は、ステップＳ１０３で取得した左右の眼球の画像それぞれに対し、視線検出処理を実行し、左右眼球の眼球角度などの視線情報を取得する。視線検出処理については、図９～図１１を参照して後述する。
【0034】
ステップＳ１０５において、ＣＰＵ２は、ステップＳ１０３で得られたユーザの左右の眼球画像より、少なくとも片眼が開眼状態であるか否かを判定する。ＣＰＵ２は、ユーザが両眼を開いている場合、またはいずれか片方の眼を閉じている場合に、少なくとも片眼が開眼状態であると判定してステップＳ１０６に進む。ＣＰＵ２は、ユーザが両眼とも閉じている場合、または眼撮像素子１７の撮影範囲内に両眼の眼球が映っていない場合等、両眼の視線が検出されない場合には、ステップＳ１０１に戻る。
【0035】
ステップＳ１０６において、ＣＰＵ２は、両眼ともに開眼状態にあるか否かを判定する。ＣＰＵ２は、ステップＳ１０５の処理結果に基づいて両眼が開眼しているか否か判定することができる。両眼ともに開眼状態にある場合、処理はステップＳ１１０に進む。片眼のみ開眼状態である場合等、一方の眼の視線が検出されない場合には、処理はステップＳ１２０に進む。
【0036】
ステップＳ１１０において、ＣＰＵ２は、ステップＳ１０４で取得した両眼それぞれの眼球角度に基づいて、ユーザが外界において見ている位置（視線位置）を決定する。左右両方の眼球角度が取得されている場合には、ＣＰＵ２は、左右それぞれの視線位置の平均、またはあらかじめ設定された重みづけ係数を用いた重みづけ平均により、ユーザの視線位置を取得することができる。
【0037】
ステップＳ１１１において、ＣＰＵ２は、ステップＳ１０１で取得した外界画像から、ステップＳ１１０で決定した視線位置を用いて、視線位置に存在する物体を検出する。
【0038】
ステップＳ１１２において、ＣＰＵ２は、距離検出回路２０１により、ステップＳ１１１で検出した物体までの距離を取得する。距離検出回路２０１は、例えば、外界撮像ユニット２０に含まれる画素を用いて、カメラによる撮像面位相差ＡＦとして知られる公知の技術により、外界の物体までの距離を測定することができる。
【0039】
なお、ＣＰＵ２は、物体までの距離を毎フレーム測定しなくてもよい。ＣＰＵ２は、例えば、ステップＳ１１１で検出した物体が前フレームで検出した物体と同じ場合、または前フレームから眼球角度の変化がない場合には、外界の物体までの距離を測定せずに、前フレームで取得した距離をそのまま使用してもよい。ＣＰＵ２は、ユーザから外界の物体までの距離が変化しないような場合には、ユーザから外界の物体までの距離の測定を行わないことで、仮想物体を表示する処理の負荷を軽減することができる。
【0040】
ステップＳ１１３において、ＣＰＵ２は、ステップＳ１１１で検出した物体に対して表示する仮想物体の表示位置を決定する。ＣＰＵ２は、ステップＳ１１０で決定した視線位置およびステップＳ１１２で測定した物体までの距離に基づいて、仮想物体の表示位置を決定する。
【0041】
ステップＳ１１３からステップＳ１４０に進むと、ＣＰＵ２は、ステップＳ１１３で決定された表示位置に仮想物体を表示する。図５（Ｂ）の例では、仮想物体は、ユーザの視線位置を示す枠３０である。なお、表示装置１００が頭部装着型表示装置である場合、仮想物体は左右それぞれのレンズ１０（表示部）に表示されるが、図５（Ｂ）は、説明の便宜上、１つのレンズ１０に仮想物体が表示されている例を示す。
【0042】
表示装置１００は、ユーザの視線位置を検出し、ユーザの視界に重畳させて仮想物体（枠３０）をレンズ１０に表示することができる。ユーザは、外界の物体（現実物体）をシースルーの光学部材を介して視認しつつ、表示装置１００のレンズ１０に重畳表示された仮想物体を視認することができる。
【0043】
図５（Ｂ）の例では、ユーザは、外界の物体（例えば、人物）および視線位置を示す枠３０を視認可能である。図５（Ｂ）では、外界の物体と視線位置を示す枠とは、重なって配置されている。ユーザは、外界の物体を注視することで選択または捕捉する機能を動作させる際、視線位置を示す枠３０が物体と重なることで、自身が選択したい物体が選択されていることを確認することができる。表示装置１００は、例えば、ユーザの視線位置が、所定時間、物体の位置に存在する場合に、ユーザが物体を注視していると判定することができる。
【0044】
注視によって外界の物体を選択または捕捉する機能の利用例として、以下の例が挙げられる。運転中のユーザは、歩行者の中で危険な飛び出しをするおそれがある子供など、挙動に注意したい対象を注視して選択または捕捉し、表示装置１００のＣＰＵ２は、選択された対象を監視して、危険な挙動があれば運転者に警告するように制御することができる。また、ＣＰＵ２は、ユーザが看板および標識といった物体を注視すると、注視した物体の画像を拡大表示することができる。また、ＣＰＵ２は、ユーザが建造物を注視すると、注視した建造物の関連情報を表示することができる。
【0045】
ユーザが外界の物体に視線を向けて選択または捕捉する際に、両眼で見ている状態から片眼で見ている状態に遷移した場合、ユーザには、外界の物体と視線位置に表示した仮想物体との位置関係が変化したように見える。そこで、ＣＰＵ２は、ステップＳ１２０から
ステップＳ１２３までの処理において、ユーザが知覚する外界の物体の位置と仮想物体の位置との関係が変化しないように仮想物体の表示位置を補正する。
ステップＳ１２３までの処理において、ユーザが知覚する外界の物体の位置と仮想物体の位置との関係が変化しないように仮想物体の表示位置を補正する。
【0046】
ステップＳ１２０において、ＣＰＵ２は、所定時間内に両眼の開眼状態から片眼の開眼状態に移行したか否かを判定する。ステップＳ１２０では、片眼が開眼状態であり、ＣＰＵ２は、現在のフレームより所定時間前までのフレーム中に両眼が開眼状態となっているフレームがあった場合に、所定時間内に両眼の開眼状態から片眼の開眼状態に移行したと判定することができる。
【0047】
所定時間内に両眼の開眼状態から片眼の開眼状態に移行した場合、すなわち所定時間内に両眼で見ている状態から片眼で見ている状態に遷移した場合、処理はステップＳ１２１に進む。所定時間内に両眼の開眼状態から片眼の開眼状態に移行しなかった場合、すなわち所定時間以上、片眼で見ている状態が継続している場合、処理はステップＳ１３０に進む。
【0048】
ここで、図６（Ａ），６（Ｂ）および図７（Ａ）～７（Ｃ）を用いて、両眼で見ている状態および片眼で見ている状態での仮想物体の見え方について説明する。両眼で見ている状態から片眼で見ている状態に遷移した場合、外界の物体の位置と仮想物体の位置とは、相対的にずれたように見える。
【0049】
図６（Ａ）は、ユーザが両眼で見ている状態で、レンズ１０を通してユーザの視界方向に見える光景を図示している。なお、図１に例示する表示装置１００は、左右それぞれのレンズ１０を有するが、以下では、簡略化のため１つのレンズ１０を図示して説明する。ユーザは、光学シースルーのレンズ１０を通して外界の光景が視認することができる。表示デバイス１１は、ユーザが見ている人物４０（外界の物体）に重畳させて、仮想物体である枠３０をレンズ１０に表示する。
【0050】
図６（Ｂ）は、ユーザが両眼で見ている状態の鳥瞰図を示している。ユーザは、レンズ１０に表示された仮想物体（枠３０）と、外界の物体（人物４０）とを見ている。両眼が開眼状態であるため、ユーザは、点線で囲んだ右眼視界５０および２点鎖線で囲んだ左眼視界５１の双方を認識し、図６（Ｃ）に示すように両視界を統合して認識する。左右の視界は、視線位置を中心として脳内で結合される。レンズ１０に表示される枠３０は、人物４０とともにユーザの正面に配置されており、ユーザは、枠３０と人物４０とがずれることなく配置されていると認識する。ユーザは、視線により外界の物体を選択または捕捉する機能を動作させる際に、選択したい外界の物体を両眼で見ることにより、誤らずに選択することができる。
【0051】
図７（Ａ）～７（Ｃ）は、両眼で見ている状態から、片方の眼が閉じられ、片眼で見ている状態に遷移した場合の見え方の変化を説明する図である。図７（Ａ）は、片眼で見ている状態に遷移した場合の鳥瞰図を示す。ユーザは、両眼で見ている状態から継続して、レンズ１０に表示されている仮想物体（枠３０）と外界の物体（人物４０）とを見ている。
【0052】
しかしながら、ユーザが片眼を閉じることで、左右の視界は統合されず、ユーザは右眼視界５０のみを見るため、図７（Ｂ）に示すように枠３０と人物４０との位置にずれが生じたと認識してしまう。ユーザが右眼視界５０の中心に枠３０を視認した場合、人物４０の位置に、右眼視界５０の中心からのずれ量ΔＨが生じるためである。
【0053】
以上のように、両眼で見ている状態では仮想物体の位置と外界の物体の位置とにずれがないように見えていても、片眼を閉じた際に、ユーザは、仮想物体の位置と外界の物体の
位置との関係が変化したと認識してしまう。
位置との関係が変化したと認識してしまう。
【0054】
両眼で見ている状態から片眼で見ている状態に遷移した瞬間に、仮想物体と外界の物体とがずれて見えるため、ユーザは、視線位置に基づいて物体を選択している場合に片眼を閉じると、物体の選択に失敗したと誤認するおそれがある。両眼で見ている状態から片眼で見ている状態への遷移は、例えば、片眼の瞬きがあった場合、ごみが入って片眼を閉じた場合、まぶしさで片眼を閉じた場合などに生じることが想定される。
【0055】
ユーザが片眼を閉じた際に、仮想物体と外界の物体とがずれたと誤認しないようにするため、表示装置１００は、ステップＳ１２１～Ｓ１２３で、仮想物体の表示位置を補正する。
【0056】
ステップＳ１２１において、ＣＰＵ２は、外界撮像ユニット２０により撮像した画像から、両眼が開眼状態であった際に視線位置があった物体を検出する。ＣＰＵ２は、外界撮像ユニット２０で撮像した画像のうち、両眼開眼状態で撮像されたフレーム画像と、次に撮像されたフレーム画像とを比較し、ブロックマッチング法といったパターンマッチング技術によりユーザが両眼で見ていた物体を追跡することができる。
【0057】
ＣＰＵ２は、片眼で見ている状態に遷移した際のフレームまで１フレームずつパターンマッチングを行うことで、片眼で見ている状態に遷移した際のフレームにおいて、両眼で見ていた物体を検出することができる。なお、ＣＰＵ２は、両眼で見ていた物体を検出することができればよく、１フレームごとに限られず、数フレームごとにパターンマッチングを行って当該物体を追跡してもよい。
【0058】
図８（Ａ）～８（Ｃ）は、ブロックマッチング法について説明する図である。図８（Ａ）は時刻ｔｎで取得された画像６１、図８（Ｂ）は時刻ｔｎよりも後の時刻ｔｎ＋１で取得された画像６４である。図８（Ｃ）は、時刻ｔｎで取得された画像６１および時刻ｔｎ＋１で取得された画像６４を重ねて表示した画像６８に対し、ユーザが見ている被写体（物体）の移動量を表すベクトル６９を模式的に示す図である。
【0059】
ＣＰＵ２は、図８（Ａ）に示す画像６１で、被写体６２の一部を含む着目領域６３に着目して被写体６２を追跡する。着目領域６３の大きさは、任意に設定可能であるが、例えば８×８画素とすることができる。
【0060】
ＣＰＵ２は、着目領域６３が、図８（Ｂ）に示す画像６４のどこに移動したかを差分絶対値（ＳＡＤ、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などを基準として探索することができる。
【0061】
具体的には、ＣＰＵ２は、画像６４で、画像６１の着目領域６３に対応する領域６５を、矢印６６で示す方向にずらしながら、着目領域６３とのＳＡＤを計算すればよい。ＣＰＵ２は、ＳＡＤが最小となる位置を、着目領域６３に対応する、画像６４での着目領域６７として取得する。図８（Ｃ）に示すように、着目領域６３は、時刻ｔｎから時刻ｔｎ＋１までの間に、ベクトル６９に沿って着目領域６７の位置まで移動している。このように、ＣＰＵ２は、ブロックマッチング法により、外界撮像ユニット２０で撮像した被写体（外界の物体）を追跡することが可能である。
【0062】
ステップＳ１２２において、ＣＰＵ２は、距離検出回路２０１により、ステップＳ１２１で検出した物体までのＺ方向の距離を取得する。距離検出回路２０１は、例えば、外界撮像ユニット２０に含まれる画素により、カメラにおける撮像面位相差ＡＦとして知られる公知の技術を用いて、物体までの距離を測定することができる。なお、ＣＰＵ２は、ス
テップＳ１１２と同様に、外界の物体までの距離を毎フレーム測定せずに、前フレームで取得した距離をそのまま使用してもよい。
テップＳ１１２と同様に、外界の物体までの距離を毎フレーム測定せずに、前フレームで取得した距離をそのまま使用してもよい。
【0063】
ステップＳ１２３において、ＣＰＵ２は、レンズ１０に表示する仮想物体の表示位置を補正する。ＣＰＵ２は、両眼で見ている状態でユーザが知覚する物体の位置と仮想物体の位置との関係が、片眼で見ている状態になっても変化しないように、仮想物体の補正後の表示位置を決定する。
【0064】
図７（Ａ）～７（Ｃ）を用いて、仮想物体の補正後の表示位置の決定方法の一例について説明する。図７（Ａ）は、両眼で見ている状態から片眼で見ている状態に遷移した直後のユーザの状態を鳥瞰図で示している。ユーザの正面に位置する枠３０（仮想物体）を、両眼で見ている状態から片眼で見ている状態に遷移した場合、ユーザは同じ枠３０の位置を見続ける。したがって、ユーザは、片眼で見ている状態に遷移した直後も、両眼で正面方向に見えていた枠３０の位置を片眼で見続ける。このため、片眼の眼球角度から取得される視線位置は、元の枠３０の位置と同じ位置になる。
【0065】
ユーザが左眼を閉じて視界が右眼視界５０のみになった場合に、枠３０を同じ位置に表示し続けると、図７（Ｂ）のように、枠３０の位置と人物４０の位置とはずれているように見える。ユーザは両眼で見ている状態から片眼を閉じても継続して同じ位置を見ているつもりであるため、枠３０と人物４０とが急にずれたように見えることで、混乱する可能性がある。
【0066】
そこで、ＣＰＵ２は、図７（Ｃ）のように、ユーザが枠３０の位置と人物４０の位置とはずれていないと認識できるように、枠３０の表示位置を補正する。具体的には、図７（Ａ）において、開眼している眼球の中心を点Ｒ、人物４０の中心を点Ｏとすると、枠３０の位置は、人物４０における点Ｏと右眼球の点Ｒとを結んだ直線ＯＲ上の位置に補正されればよい。ＣＰＵ２は、両眼で見ている状態から片眼で見ている状態へ遷移した場合に、点Ｏおよび点Ｒを結ぶ直線ＯＲと、レンズ１０の表示面との交点ＷＲの位置に枠３０を表示するように、枠３０の表示位置を補正すればよい。
【0067】
人物４０の位置である点Ｏの３次元座標は、外界撮像ユニット２０の画像から算出することができる。また、眼球の位置である点Ｒの３次元座標は、眼撮像素子１７の画像から算出することができる。なお、点Ｏは、人物４０（外界の物体）の中心に限られず、人物４０の重心または人物４０の境界上の位置などであってもよい。また、点Ｒは、眼球の中心に限られず、瞳孔中心など眼球における他の位置であってもよい。
【0068】
図７（Ａ）～７（Ｃ）は、仮想物体である枠３０を、ユーザの視線位置に存在する外界の物体に重ねて表示している場合に、表示位置を補正する方法について説明するが、仮想物体は、外界の物体に重ねて表示されなくてもよい。仮想物体は、外界の物体（例えば、施設または店舗など）に関する文字情報などであってもよく、物体と並べて表示されるようしてもよい。
【0069】
仮想物体が外界の物体と重っていない場合、ＣＰＵ２は、例えば、ユーザが開いている眼の位置と、両眼で見ている状態で仮想物体が表示されていた位置（外界の物体の位置に応じた位置）とを通る直線上の位置に、仮想物体の表示位置を補正することができる。また、仮想物体が外界の物体と重っていない場合、ＣＰＵ２は、図７（Ｂ）で説明した外界の物体（人物４０）のずれ量ΔＨと、外界の物体に対する仮想物体（枠３０）の相対位置とに基づいて、仮想物体の表示位置を補正してもよい。
【0070】
ステップ１２３からステップＳ１４０に進むと、ＣＰＵ２は、レンズ１０の表示領域に
対し、ステップ１２３で補正した表示位置に仮想物体（枠３０）を表示する。このように、ＣＰＵ２は、両眼で見ている状態から片眼で見ている状態へ遷移すると、検出された片眼の眼球角度から決定される視線位置ではなく、ステップＳ１２３で補正された表示位置に仮想物体としての枠３０を表示する。これにより、表示装置１００は、ユーザが知覚する枠３０（仮想物体）の位置と人物４０（外界の物体）の位置との関係が変化しないように制御することができる。
対し、ステップ１２３で補正した表示位置に仮想物体（枠３０）を表示する。このように、ＣＰＵ２は、両眼で見ている状態から片眼で見ている状態へ遷移すると、検出された片眼の眼球角度から決定される視線位置ではなく、ステップＳ１２３で補正された表示位置に仮想物体としての枠３０を表示する。これにより、表示装置１００は、ユーザが知覚する枠３０（仮想物体）の位置と人物４０（外界の物体）の位置との関係が変化しないように制御することができる。
【0071】
ステップＳ１２０において、片目の開眼状態のまま所定時間以上経過している場合には、ＣＰＵ２は、所定時間内に両眼の開眼状態から片眼の開眼状態への移行はなかったと判定し、ステップＳ１３０に進む。ステップＳ１３０において、ＣＰＵ２は、検出された片眼の眼球角度から視線位置を決定する。
【0072】
ステップＳ１３１において、ＣＰＵ２は、ステップＳ１３０で決定した視線位置に基づいて、仮想物体である枠３０の表示位置を決定する。片眼の開眼状態のまま所定時間以上経過している場合には、ユーザは、仮想物体の位置と外界の物体の位置とがずれたと錯覚しないためである。ステップＳ１３１からステップＳ１４０に進むと、ＣＰＵ２は、レンズ１０の表示領域に対し、ステップ１３１で決定した表示位置に仮想物体（枠３０）を表示する。
【0073】
ステップＳ１４１において、ＣＰＵ２は、所定の時間、待機をしてからステップＳ１４２に進む。ステップＳ１４２において、ＣＰＵ２は、ユーザが表示装置１００の使用を終了して電源をオフにしたか否かを判定する。表示装置１００の電源がオフにされている場合、図４に示す処理は終了する。表示装置１００の電源がオフにされていない場合、処理はステップＳ１０１に戻る。
【0074】
図４の仮想物体表示処理によれば、表示装置１００は、ユーザが両眼で見ている状態から片眼で見ている状態に遷移した場合、ユーザから見た外界の物体の位置に対する仮想物体の相対位置が変化しないように、仮想物体の表示位置を補正する。したがって、表示装置１００は、ユーザが両眼で見ている状態から片眼で見ている状態に遷移した場合に、外界の物体に対して表示された仮想物体について、ユーザが知覚する位置ずれを抑制することができる。
【0075】
【0076】
図４のステップＳ１０３において、図５（Ａ）で例示したように、ＣＰＵ２は、ステップＳ１０２で取得したユーザの画像から、右眼画像５０１および左眼画像５０２を取得する。ＣＰＵ２は、ステップＳ１０４において、取得した眼画像に対して視線検出処理を実行する。ＣＰＵ２は、左右両眼の眼球角度をそれぞれ算出し、算出した左右の眼球角度に基づいて、以下で説明するように視線位置を決定することができる。
【0077】
図９は視線検出方法の原理を説明するための図であり、視線を検出するための光学系の概略図である。図９に示すように、光源１３ａ，１３ｂはユーザに対して不感の赤外光を放射する発光ダイオード等の光源である。光源１３ａ，１３ｂは、受光レンズ１６の光軸に対して略対称に配置され、ユーザの眼球１４を照らす。光源１３ａ，１３ｂから発せられて眼球で反射した光の一部は、受光レンズ１６によって、眼撮像素子１７に集光される。表示装置１００が頭部装着型の視線検出装置である場合、表示装置１００は、図１に示すように左右それぞれの眼撮像素子１７を有し、左右それぞれの眼画像を取得する。
【0078】
【0079】
図１１は、視線検出処理を例示するフローチャートである。視線検出処理が開始すると、ステップＳ２０１において、光源１３ａ，１３ｂは、ユーザの眼球１４に向けて赤外光を照射する。赤外光によって照明されたユーザの眼の光学像は、受光レンズ１６を通して眼撮像素子１７上に結像され、眼撮像素子１７によって光電変換される。これにより、処理可能な眼画像の電気信号が得られる。ステップＳ２０２では、ＣＰＵ２は、眼撮像素子１７から視線検出回路１５を介して眼画像（眼画像の電気信号；眼画像の画像データ）を取得する。
【0080】
ステップＳ２０３では、ＣＰＵ２は、ステップＳ２０２で得られた眼画像から、図９に示す光源１３ａ，１３ｂの角膜反射像Ｐｄ，Ｐｅおよび瞳孔中心ｃに対応する点の座標を求める。光源１３ａ，１３ｂより照射された赤外光は、ユーザの眼球１４の角膜１４２を照明する。角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは受光レンズ１６により集光され、眼撮像素子１７上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。同様に瞳孔１４１の端部ａ，ｂからの光束は、眼撮像素子１７上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。
【0081】
図１０（Ａ）は、眼撮像素子１７から得られる反射像の眼画像の例を示す。図１０（Ｂ）は、図１０（Ａ）の眼画像における領域α１の輝度情報（輝度分布）を示す。図１０（Ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とする。角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標はＸｄ，Ｘｅとする。瞳孔端像ａ’，ｂ’のＸ軸方向の座標はＸａ，Ｘｂとする。
【0082】
図１０（Ｂ）に示されるように、角膜反射像Ｐｄ’，Ｐｅ’の座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔１４１の領域（瞳孔１４１からの光束が眼撮像素子１７上に結像して得られる瞳孔像の領域）に相当する、座標ＸｂからＸａまでの領域では、座標Ｘｄ、Ｘｅを除いて、極端に低いレベルの輝度が得られる。
【0083】
これに対し、瞳孔１４１の外側の虹彩１４３の領域（虹彩１４３からの光束が結像して得られる、瞳孔像の外側の虹彩像の領域）では、上記２種の輝度の中間の輝度が得られる。具体的には、Ｘ座標がＸｂより小さい領域およびＸ座標がＸａより大きい領域での輝度は、上記２種の中間程度の輝度となる。
【0084】
図１０（Ｂ）に示すような輝度分布から、ＣＰＵ２は、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅ、および瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。具体的には、ＣＰＵ２は、輝度が極端に高い座標を角膜反射像Ｐｄ’，Ｐｅ’の座標として得ることができ、輝度が極端に低くなる境界の座標を瞳孔端像ａ’，ｂ’の座標として得ることができる。
【0085】
受光レンズ１６の光軸に対する、眼球１４の光軸の回転角θｘが所定の角度以下の場合には、瞳孔中心ｃからの光束が眼撮像素子１７上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。所定の角度は、例えば、眼撮像素子１７上に角膜反射像Ｐｄ’，Ｐｅ’が結像されるように決定することができる。瞳孔中心像ｃ’の座標Ｘｃは、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂから算出することができる。このように、ＣＰＵ２は、角膜反射像Ｐｄ’，Ｐｅ’の座標、および瞳孔中心像ｃ’の座標を見積もることができる。
【0086】
ステップＳ２０４では、ＣＰＵ２は、眼画像の結像倍率βを取得する。結像倍率βは、受光レンズ１６に対する眼球１４の位置により決まる倍率で、角膜反射像Ｐｄ’、Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。
【0087】
ステップＳ２０５では、ＣＰＵ２は、受光レンズ１６の光軸に対する眼球１４の光軸の回転角を取得する。角膜反射像Ｐｄ’とＰｅ’との中点のＸ座標は、角膜１４２の曲率中心ＣのＸ座標とはほぼ一致する。角膜１４２の曲率中心Ｃと瞳孔１４１の中心ｃまでの標準的な距離をＣｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球１４の光軸の回転角θＸは、以下の式１で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４の回転角θｙは、回転角θｘと同様の方法で算出できる。
β×Ｃｃ×ＳＩＮθＸ≒｛（Ｘｄ＋Ｘｅ）／２｝－ Ｘｃ ・・・（式１）
β×Ｃｃ×ＳＩＮθＸ≒｛（Ｘｄ＋Ｘｅ）／２｝－ Ｘｃ ・・・（式１）
【0088】
ステップＳ２０６では、ＣＰＵ２は、ステップＳ２０５で算出した回転角θｘ，θｙを用いて、レンズ１０上でのユーザの視線位置（以下、視点とも称する）を取得する。視点の座標（Ｈｘ，Ｈｙ）がレンズ１０上での瞳孔１４１の中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は、以下の式２，３で算出できる。
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） ・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） ・・・（式３）
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） ・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） ・・・（式３）
【0089】
式２，３のパラメータｍ、光学系（受光レンズ１６等）の構成で定まる定数で、回転角θｘ，θｙをレンズ１０上での瞳孔１４１の中心ｃに対応する座標に変換する変換係数である。パラメータｍは、あらかじめ決定されてメモリ部３に記憶される。視線補正係数Ａｘ，Ｂｘ，Ａｙ，Ｂｙはユーザの視線の個人差を補正するパラメータであり、キャリブレーション作業を行うことで取得される。視線補正係数Ａｘ，Ｂｘ，Ａｙ，Ｂｙは、視線検出処理が開始する前にメモリ部３に記憶される。
【0090】
ステップＳ２０７では、ＣＰＵ２は、視点の座標（Ｈｘ，Ｈｙ）をメモリ部３に格納し、視線検出処理を終了する。なお、図１１の処理は、光源１３ａ、１３ｂの角膜反射像を利用して眼球の回転角度を取得し、レンズ１０上での視点の座標を取得する例を示すが、これに限られない。眼球画像から眼球の回転角度を取得する手法は、瞳孔中心位置から視線を計測するといった手法であってもよい。
【0091】
＜キャリブレーション作業＞
図１１で説明したように、表示装置１００は、視線検出処理において眼画像から眼球１４の回転角θｘ、θｙを取得し、瞳孔中心ｃの位置をレンズ１０上での位置に座標変換することで視点を推定できる。図１２（Ａ）は、ユーザの視野４００（レンズ１０を通してユーザが見ることのできる範囲、外界撮像ユニット２０の撮像範囲）を示す図であり、表示デバイス１１が動作した状態を示す。図１２（Ａ）に示すように、表示デバイス１１は、推定された視点Ｐに枠などを表示する。
図１１で説明したように、表示装置１００は、視線検出処理において眼画像から眼球１４の回転角θｘ、θｙを取得し、瞳孔中心ｃの位置をレンズ１０上での位置に座標変換することで視点を推定できる。図１２（Ａ）は、ユーザの視野４００（レンズ１０を通してユーザが見ることのできる範囲、外界撮像ユニット２０の撮像範囲）を示す図であり、表示デバイス１１が動作した状態を示す。図１２（Ａ）に示すように、表示デバイス１１は、推定された視点Ｐに枠などを表示する。
【0092】
しかし、人間の眼球の形状の個人差等の要因により、視点を高精度に推定することは困難な場合がある。具体的には、視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙをユーザに応じて適切な値に調整しなければ、図１２（Ｂ）に示すように、推定された視点Ｒの位置は、ユーザの実際の視点Ｑとずれてしまう場合がある。図１２（Ｂ）では、ユーザは実際の視点Ｑの位置の人物を見ているが、表示装置１００は、誤って背景に含まれる視点Ｒの位置を、ユーザの視点の位置として推定している。
【0093】
そこで、ユーザは、表示装置１００の通常使用の前に、視線検出機能のキャリブレーション作業を行い、表示装置１００は、ユーザに適した視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂ
ｙを決定し、メモリ部３に記憶する。
ｙを決定し、メモリ部３に記憶する。
【0094】
キャリブレーション作業は、例えば、表示装置１００の通常使用の前に図１２（Ｃ）に示すような位置の異なる複数の指標を表示し、ユーザにその指標を見てもらうことで行われる。各視標の注視時に視線検出動作を行い、算出された複数の視点（推定位置）および各指標の座標から、ユーザに適した視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙを決定する技術が、公知の技術として知られている。
【0095】
＜開眼状態の検知＞
図１３（Ａ），１３（Ｂ）を参照して、図４のステップＳ１０５における左右の眼の開眼状態の検出方法の一例について説明する。図１３（Ａ）は、眼撮像素子１７で撮像された眼画像（眼撮像素子１７に投影される眼画像）の概略図である。図１３（Ｂ）は、眼撮像素子１７におけるＣＣＤの出力強度を示す図である。
図１３（Ａ），１３（Ｂ）を参照して、図４のステップＳ１０５における左右の眼の開眼状態の検出方法の一例について説明する。図１３（Ａ）は、眼撮像素子１７で撮像された眼画像（眼撮像素子１７に投影される眼画像）の概略図である。図１３（Ｂ）は、眼撮像素子１７におけるＣＣＤの出力強度を示す図である。
【0096】
光源１３ａ，１３ｂより照射された赤外光は、ユーザの眼球１４の角膜１４２を照明する。角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは受光レンズ１６により集光され、眼撮像素子１７上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。
【0097】
図１３（Ａ）は、眼撮像素子１７から得られる反射像の画像例を示す。図１３（Ｂ）は、図１３（Ａ）の眼画像における領域α２の輝度情報（輝度分布）を示す。図１３（Ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とする。角膜反射像Ｐｄ’のＹ軸方向（垂直方向）の座標はＹｄとする。瞳孔１４１の上端部、下端部からの光束が、眼撮像素子１７上に結像した瞳孔端像（瞳孔のＹ軸方向の両端の像）のＹ座標をＹａ，Ｙｂとする。
【0098】
図１３（Ｂ）に示されるように、角膜反射像Ｐｄ’の座標Ｙｄでは、極端に高いレベルの輝度が得られる。瞳孔１４１の領域（瞳孔１４１からの光束が眼撮像素子１７上に結像して得られる瞳孔像の領域）に相当する、座標ＹａからＹｂまでの領域では、座標Ｙｄを除いて、極端に低いレベルの輝度が得られる。
【0099】
これに対し、瞳孔１４１の外側の虹彩１４３の領域、および上瞼１４５ｆ、下瞼１４５ｇの外側の領域では、上記２種の輝度の中間の輝度が得られる。具体的には、Ｙ座標がＹａより大きい領域およびＹ座標がＹｂより小さい領域での輝度は、上記２種の中間程度の輝度となる。
【0100】
中間程度の輝度値が得られる、Ｙ座標がＹａより大きい領域およびＹ座標がＹｂより小さい領域においても、輝度値は２段階に分かれている。瞳孔１４１の上端のＹ座標Ｙａから上瞼１４５ｆのＹ座標Ｙｆまでの虹彩１４３に相当する領域は、輝度値Ｋ１を有する。Ｙ座標がＹｆより大きい上瞼１４５ｆの外側の領域は、輝度値Ｋ２を有する。
【0101】
下瞼方向についても同様に、瞳孔１４１の下端のＹ座標Ｙｂから下瞼１４５ｇのＹ座標Ｙｇまでの虹彩１４３に相当する領域は、輝度値Ｋ１を有する。Ｙ座標がＹｇより小さい下瞼１４５ｇの外側の領域は、輝度値Ｋ２を有する。
【0102】
表示装置１００は、Ｙ座標に対する輝度値の変動情報から、角膜反射像Ｐｄ’のＹ座標Ｙｄ、瞳孔端像のＹ座標Ｙａ，Ｙｂ、上瞼１４５ｆのＹ座標Ｙｆ、下瞼１４５ｇのＹ座標Ｙｇを得ることができる。上瞼１４５ｆのＹ座標Ｙｆと、下瞼１４５ｇのＹ座標Ｙｇとの差分は、ユーザの瞼の開閉程度を表す。表示装置１００は、瞼の開閉程度を評価することで、開眼状態か否かを判定することができる。例えば、表示装置１００は、上瞼１４５ｆ
のＹ座標Ｙｆと下瞼１４５ｇのＹ座標Ｙｇとの差分が所定の閾値より大きい場合に、開眼状態であると判定することができる。所定の閾値は、開眼状態での上瞼と下瞼との標準的な距離としてもよく、ユーザごとに計測された上瞼と下瞼との距離に基づいて設定されてもよい。
のＹ座標Ｙｆと下瞼１４５ｇのＹ座標Ｙｇとの差分が所定の閾値より大きい場合に、開眼状態であると判定することができる。所定の閾値は、開眼状態での上瞼と下瞼との標準的な距離としてもよく、ユーザごとに計測された上瞼と下瞼との距離に基づいて設定されてもよい。
【0103】
＜両眼での視線位置の決定＞
図４のステップＳ１４０において、左右両眼の視線検出結果である左右それぞれの眼球角度に基づいて、ユーザが外界で見ている位置を決定する方法を、図１４（Ａ）～１４（Ｃ）を用いて説明する。図１４（Ａ）は、ユーザが両眼で見ている状態で、レンズ１０の表示領域を通してユーザの視界方向に見える光景を図示している。図１４（Ｂ）は、ユーザが両眼で見ている状態の鳥瞰図を示している。
図４のステップＳ１４０において、左右両眼の視線検出結果である左右それぞれの眼球角度に基づいて、ユーザが外界で見ている位置を決定する方法を、図１４（Ａ）～１４（Ｃ）を用いて説明する。図１４（Ａ）は、ユーザが両眼で見ている状態で、レンズ１０の表示領域を通してユーザの視界方向に見える光景を図示している。図１４（Ｂ）は、ユーザが両眼で見ている状態の鳥瞰図を示している。
【0104】
表示装置１００は、左右両眼の視線検出結果である左右それぞれの眼球角度に基づいて、レンズ１０の表示領域での左眼の視点６１Ｌおよび右眼の視点６１Ｒの位置を算出することができる。左眼の視点６１Ｌと右眼の視点６１Ｒとは、基本的にはレンズ１０の表示領域における略同一の位置を示すが、特定条件下では図１４（Ａ）に示すように１点に交わらず、互いに離れた状態となる。
【0105】
以下、表示装置１００がＨＵＤである場合に、両眼で見ている状態での視線位置の決定する方法について説明する。ユーザがフロントウィンドウ（レンズ１０）よりも奥に存在する外界の物体に注目している場合、左右の視線方向はフロントウィンドウ上で交差しない。この場合、左眼の視点６１Ｌと右眼の視点６１Ｒとは１点に交わらず、互いに離れた状態となる。
【0106】
そこで、表示装置１００は、左右の視点６１Ｌ，６１Ｒの座標を用いて、左右の視点を統合した両眼での視線位置を決定する。表示装置１００は、決定した両眼での視線位置に、仮想物体である枠３０を表示することができる。左右の視点を統合した両眼での視線位置６１Ｃは、例えば次のように決定することができる。
【0107】
視線位置６１Ｃの座標は（Ｘｃ，Ｙｃ，Ｚｃ）、左眼の視点６１Ｌの座標は（Ｘｌ，Ｙｌ，Ｚｌ）、右眼の視点６１Ｒの座標は（Ｘｒ，Ｙｒ，Ｚｒ）とする。表示装置１００は、例えば、（Ｘｃ，Ｙｃ，Ｚｃ）＝（（Ｘｌ＋Ｘｒ）／２，（Ｙｌ＋Ｙｒ）／２，（Ｚｌ＋Ｚｒ）／２）のように、視線位置６１Ｃを左眼の視点６１Ｌと右眼の視点６１Ｒとを結んだ線分の中点として算出することができる。
【0108】
なお、表示装置１００は、視点６１Ｌと視点６１Ｒとの中点に限られず、左右で異なる重みづけをした係数をかけて視線位置６１Ｃの座標を算出してもよい。利き目の視点は、利き目でない眼の視点よりも信頼性が高いと考えられるためである。例えば、右眼が利き目である場合、右眼対左眼の重みづけの比率を０．６：０．４とすると、視線位置６１Ｃの座標は、（Ｘｃ，Ｙｃ，Ｚｃ）＝（０．６×Ｘｒ＋０．４×Ｘｌ，０．６×Ｙｒ＋０．４×Ｙｌ，０．６×Ｚｒ＋０．４×Ｚｌ）のように算出される。右眼対左眼の重みづけの比率は、ユーザごとに設定されてもよい。このように、表示装置１００は、左眼の視点６１Ｌおよび右眼の視点６１Ｒに基づいて、両眼での視線位置６１Ｃを決定することができればよい。
【0109】
上記の実施形態１では、表示装置１００は、ユーザが両眼で見ている状態から片眼で見ている状態に遷移した際に、ユーザが見ている物体に対して表示している仮想物体の表示位置を補正する。具体的には、表示装置１００は、ユーザが両眼で見ている状態から片眼を閉じた場合に、ユーザが知覚する物体の位置と仮想物体の位置との関係が変化しないように、仮想物体の表示位置を補正する。これにより、表示装置１００は、ユーザが片眼を
閉じた場合に、外界の物体（または光景）と仮想物体の位置との関係が変化したと誤認するおそれを低減することができる。
閉じた場合に、外界の物体（または光景）と仮想物体の位置との関係が変化したと誤認するおそれを低減することができる。
【0110】
なお、上記の実施形態１は、ユーザが両眼で見ている状態から片眼で見ている状態に遷移した場合の例を説明しているが、これに限られない。実施形態１は、ユーザが片眼で見ている状態から両眼で見ている状態に遷移した場合にも適用可能である。この場合、表示装置１００は、ユーザが片眼で見ている状態から両眼で見ている状態に遷移した場合に、両眼で見ている状態での視線位置と外界の物体の位置とを通る直線上の位置に、仮想物体の表示位置を補正すればよい。このように、表示装置１００は、ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に仮想物体の表示位置を補正することで、ユーザが外界の物体と仮想物体の位置との関係が変化したと誤認するおそれを低減することができる。
【0111】
＜実施形態２＞
実施形態１では、表示装置１００は、ユーザから外界の物体までの距離があまり変化しないことが想定される場合、前フレームで使用した距離を用いて、仮想物体の表示位置を決定する。これに対し、実施形態２は、ユーザから外界の物体までの距離を繰り返し検出し、検出したユーザから外界の物体までの距離に基づいて、仮想物体の表示位置を補正する実施形態である。実施形態２では、仮想物体の表示位置は、ユーザから外界の物体まで距離を加味して補正される。実施形態２に係る表示装置１００の外観および構成については、実施形態１と同様であるため説明は省略する。
実施形態１では、表示装置１００は、ユーザから外界の物体までの距離があまり変化しないことが想定される場合、前フレームで使用した距離を用いて、仮想物体の表示位置を決定する。これに対し、実施形態２は、ユーザから外界の物体までの距離を繰り返し検出し、検出したユーザから外界の物体までの距離に基づいて、仮想物体の表示位置を補正する実施形態である。実施形態２では、仮想物体の表示位置は、ユーザから外界の物体まで距離を加味して補正される。実施形態２に係る表示装置１００の外観および構成については、実施形態１と同様であるため説明は省略する。
【0112】
図１５（Ａ）～１５（Ｃ）を用いて、ユーザからの距離が異なる外界の物体に対して表示される仮想物体の表示位置の補正について説明する。図１５（Ａ）の例では、ユーザからの距離が異なる人物４１（外界の物体）および人物４２（外界の物体）は、ユーザの正面に存在している。人物４１の中心の点Ｏ１と開眼状態の右眼球の中心の点Ｒとを結んだ直線Ｏ１Ｒは、交点ＷＲ１の位置でレンズ１０と交わる。また、人物４１の点Ｏ１と開眼状態の右眼球の点Ｒとを結んだ直線Ｏ２Ｒは、交点ＷＲ２の位置でレンズ１０と交わる。
【0113】
交点ＷＲ１と交点ＷＲ２とは、レンズ１０上の異なる位置に存在する。図１５（Ｂ）に示すように、人物４１と枠３０とのずれ量はΔＨ１である。図１５（Ｃ）に示すように、人物４２と枠３０とのずれ量はΔＨ２である。人物４１と枠３０とのずれ量ΔＨ１は、人物４２と枠３０とのずれ量ΔＨ２よりも大きい。このように、ユーザが人物４２よりも遠くに存在する人物４１を見ている場合、人物４１に対する枠３０のずれ量ΔＨ１は、人物４２に対する枠３０のずれ量ΔＨ２よりも大きくなる。したがって、ユーザが人物４１を見ている場合と、人物４１よりも近くに存在する人物４２を見ている場合とで、仮想物体である枠３０の表示位置の補正量は異なる。
【0114】
そこで、実施形態２では、表示装置１００は、ユーザから外界の物体までの距離を繰り返し検出し、図４のステップＳ１２３の処理では、ユーザから外界の物体までの距離を加味して、仮想物体の表示位置を補正する。表示装置１００は、ユーザから外界の物体までの距離を、フレームごとに検出してもよく、所定の時間間隔で検出してもよい。また、表示装置１００は、前フレームからの外界の物体の移動量が所定の閾値以上の場合に、ユーザから外界の物体までの距離を検出しなおしてもよい。
【0115】
上記の実施形態２によれば、外界の物体が移動してユーザから外界の物体までの距離に変動があった場合でも、表示装置１００は、ユーザが知覚する外界の物体と仮想物体とのずれ量に応じて、仮想物体の表示位置を適切に補正することができる。
【0116】
＜実施形態３＞
実施形態１では、表示装置１００は、ユーザから仮想物体を表示するレンズ１０までの距離は略一定であると想定して、仮想物体の表示位置を決定する。すなわち、表示装置１００は、ユーザから外界の物体までの距離があまり変化しないことが想定される場合、前フレームで使用した物体までの距離を用いて、仮想物体の表示位置を決定する。これに対し、実施形態３は、ユーザから仮想物体を表示するレンズ１０までの距離を繰り返し検出し、検出したユーザからレンズ１０までの距離に基づいて、仮想物体の表示位置を補正する実施形態である。実施形態３では、仮想物体の表示位置は、ユーザから仮想物体を表示するレンズ１０までの距離を加味して補正される。実施形態３に係る表示装置１００の外観および構成については、実施形態１と同様であるため説明は省略する。
実施形態１では、表示装置１００は、ユーザから仮想物体を表示するレンズ１０までの距離は略一定であると想定して、仮想物体の表示位置を決定する。すなわち、表示装置１００は、ユーザから外界の物体までの距離があまり変化しないことが想定される場合、前フレームで使用した物体までの距離を用いて、仮想物体の表示位置を決定する。これに対し、実施形態３は、ユーザから仮想物体を表示するレンズ１０までの距離を繰り返し検出し、検出したユーザからレンズ１０までの距離に基づいて、仮想物体の表示位置を補正する実施形態である。実施形態３では、仮想物体の表示位置は、ユーザから仮想物体を表示するレンズ１０までの距離を加味して補正される。実施形態３に係る表示装置１００の外観および構成については、実施形態１と同様であるため説明は省略する。
【0117】
図１６（Ａ），１６（Ｂ）を用いて、ユーザから仮想物体を表示するレンズ１０までの距離が変化する場合の、仮想物体の表示位置の補正について説明する。図１６（Ａ）は、ユーザＵ１の眼球がＺ座標Ｚｒ１の位置に存在し、ユーザＵ２の眼球がＺ座標Ｚｒ２の位置に存在する例を示す。人物４０（外界の物体）の中心の点Ｏ３とユーザＵ１の右眼球の中心の点Ｒ１とを結んだ直線Ｏ３Ｒ１は、交点ＷＲ１’の位置でレンズ１０と交わる。また、人物４０の点Ｏ３とユーザＵ２の右眼球の点Ｒ２とを結んだ直線Ｏ３Ｒ２は、交点ＷＲ２’の位置でレンズ１０と交わる。
【0118】
交点ＷＲ１’と交点ＷＲ２’とは、レンズ１０上の異なる位置に存在する。ユーザＵ１が人物４０を見ている場合、ユーザＵ２が人物４０を見ている場合よりも、枠３０（仮想物体）と人物４０とのずれ量は大きくなる。したがって、ユーザＵ１が人物４０を見ている場合と、ユーザＵ２が人物４０を見ている場合とで、仮想物体である枠３０の表示位置の補正量は異なる。
【0119】
そこで、実施形態３では、表示装置１００は、ユーザから仮想物体を表示するレンズ１０までの距離を繰り返し検出し、図４のステップＳ１２３の処理では、ユーザからレンズ１０までの距離を加味して、仮想物体の表示位置を補正する。表示装置１００は、ユーザからレンズ１０までの距離を、所定の時間間隔で検出してもよい。ユーザからレンズ１０までの距離は、実施形態２で説明したユーザから外界の物体までの距離よりも、変化量および変化の頻度は少ないことが想定されるため、より長い時間間隔で検出されるようにしてもよい。また、表示装置１００は、前フレームからのユーザの姿勢変化等による移動量が所定の閾値以上の場合に、ユーザからレンズ１０までの距離を検出しなおしてもよい。
【0120】
図１６（Ｂ）を用いて、ユーザの眼球から仮想物体を表示するレンズ１０までの距離の算出方法について説明する。表示装置１００は、図１０（Ａ）で説明した眼球画像における２つのプルキニエ像の間隔を用いて、ユーザの眼球からレンズ１０までの距離を算出することができる。
【0121】
図１６（Ｂ）は、像間隔ΔＰと眼球距離Ｚとの関係を示すグラフである。像間隔ΔＰは、光源１３ａ，１３ｂによって形成される角膜反射像Ｐｄ’と角膜反射像Ｐｅ’との間隔である。眼球距離Ｚは、眼撮像素子１７から眼球までの距離である。眼球距離Ｚは、像間隔ΔＰの増加と共に非線形に単調減少する。像間隔ΔＰを決定すると、表示装置１００は、眼撮像素子１７から眼球までの眼球距離Ｚを一意に算出することができる。
【0122】
図１６（Ｂ）の例では、ユーザＵ１の角膜反射像Ｐｄ１’，Ｐｅ１’間の像間隔がΔＰ１の場合、ユーザＵ１の眼球距離はＺ１となる。また、ユーザＵ２の角膜反射像Ｐｄ２’，Ｐｅ２’間の像間隔がΔＰ２の場合、ユーザＵ２の眼球距離はＺ２となる。像間隔ΔＰが広いほど、眼球距離Ｚは大きくなる。
【0123】
角膜反射像の像間隔ΔＰと眼球距離Ｚとの対応関係は、例えば、メモリ部３に格納され
る相関テーブルなどの形式で、あらかじめ設定しておくことができる。表示装置１００は、相関テーブルを読み出すことで、測定された像間隔ΔＰから眼球距離Ｚを取得することができる。表示装置１００は、取得した眼球距離Ｚを、ユーザからレンズ１０までの距離として、仮想物体の表示位置を決定することができる。
る相関テーブルなどの形式で、あらかじめ設定しておくことができる。表示装置１００は、相関テーブルを読み出すことで、測定された像間隔ΔＰから眼球距離Ｚを取得することができる。表示装置１００は、取得した眼球距離Ｚを、ユーザからレンズ１０までの距離として、仮想物体の表示位置を決定することができる。
【0124】
なお、ユーザから仮想物体を表示するレンズ１０までの距離の算出方法は、図１６（Ｂ）で説明したプルキニエ像の像間隔ΔＰを利用した算出方法に限られない。表示装置１００は、ユーザからレンズ１０までの距離を測定可能な手段を有していればよく、例えば、眼撮像素子１７に組み込まれた距離検出回路によって眼球までの距離を算出してもよい。
【0125】
上記の実施形態３によれば、ユーザから仮想物体を表示するレンズ１０までの距離に変動があった場合でも、表示装置１００は、距離の変動に応じて、ユーザが知覚する外界の物体と仮想物体とのずれ量を適切に補正することができる。例えば、表示装置１００がＨＵＤであった場合、ユーザが姿勢を変えることによりＨＵＤのフロントウィンドウまでの距離に変動があった場合でも、ＨＵＤは仮想物体の表示位置を適切に補正することができる。
【0126】
＜実施形態４＞
実施形態４では、表示装置１００は、補正後の仮想物体の表示位置が、仮想物体の表示が制限される制限領域に含まれる場合、仮想物体を補正前の表示位置に表示するか、または、仮想物体を表示しないように制御する。具体的には、表示装置１００は、仮想物体の表示位置を補正した後、補正後の仮想物体の表示位置が制限領域に含まれるか否かを判定する。表示装置１００は、補正後の仮想物体の表示位置が制限領域に含まれる場合、仮想物体を補正前の表示位置に表示するか、または、仮想物体を表示しないように制御する。実施形態４に係る表示装置１００の外観および構成については、実施形態１と同様であるため説明は省略する。
実施形態４では、表示装置１００は、補正後の仮想物体の表示位置が、仮想物体の表示が制限される制限領域に含まれる場合、仮想物体を補正前の表示位置に表示するか、または、仮想物体を表示しないように制御する。具体的には、表示装置１００は、仮想物体の表示位置を補正した後、補正後の仮想物体の表示位置が制限領域に含まれるか否かを判定する。表示装置１００は、補正後の仮想物体の表示位置が制限領域に含まれる場合、仮想物体を補正前の表示位置に表示するか、または、仮想物体を表示しないように制御する。実施形態４に係る表示装置１００の外観および構成については、実施形態１と同様であるため説明は省略する。
【0127】
図１７は、仮想物体の表示が制限される制限領域について説明する図である。図１７は、レンズ１０を通してユーザの視界方向に見える光景を図示している。ユーザは光学シースルーのレンズ１０を通して外界の光景を視認することができる。表示デバイス１１は、仮想物体である枠３０をレンズ１０の表示領域に表示する。レンズ１０の一部は、制限領域６００として、仮想物体の表示が制限されている。
【0128】
制限領域６００は、レンズ１０の表示領域のうち、仮想物体の表示が制限されている領域である。制限領域６００は、例えば、重要な情報を表示するために、その他の情報の表示が制限されている領域である。表示装置１００の一例であるＨＵＤは、例えば、重要な道路標識、車体の故障状況などを制限領域６００に表示する。制限領域６００は、レンズ１０の表示領域において、固定位置に配置されてもよく、道路標識の位置など外界の状況に応じて、配置位置が変更されてもよい。
【0129】
図１７に示す枠３０は、ユーザが両眼で見ている状態で検出された視線位置を示す仮想物体である。枠３１は、ユーザが片眼を閉じて片眼で見ている状態に遷移した際の枠３０の補正後の位置を示している。補正後の枠３１が制限領域６００に含まれる場合、表示装置１００は、制限領域６００内には枠３１を表示しないように制御する。
【0130】
具体的には、表示装置１００は、仮想物体（枠３０）の補正後の表示位置を取得した後、補正後の表示位置が制限領域６００に含まれるか否かを判定する。表示装置１００は、仮想物体の補正後の表示位置が制限領域６００に含まれる場合、補正前の表示位置に仮想物体を表示する。図１７の例では、枠３１は制限領域６００に含まれるため、表示装置１００は、表示位置の補正を行わずに補正前の表示位置（枠３０の位置）に枠を表示する。
また、表示装置１００は、仮想物体の補正後の表示位置が制限領域６００に含まれる場合、仮想物体自体を表示しないようにしてもよい。
また、表示装置１００は、仮想物体の補正後の表示位置が制限領域６００に含まれる場合、仮想物体自体を表示しないようにしてもよい。
【0131】
表示装置１００は、仮想物体の表示位置を補正しない場合、その旨をユーザに知らせる所定の通知を行うように制御（通知制御）する。仮想物体の表示位置が補正されなかった場合、ユーザは、仮想物体と外界との物体のずれを知覚して違和感を持つ。表示装置１００は、ユーザの視線位置による操作に支障が出ることを防止するため、図１７に示すように、通知領域６０１に仮想物体の表示位置（枠位置）の補正が制限されたことを通知するメッセージを表示する。表示装置１００は、メッセージを表示する代わりに、仮想物体（枠３０）の色および形状の少なくともいずれかを変更したり、仮想物体を点滅表示したりすることによって、仮想物体の表示位置が補正されていないことを、ユーザに通知してもよい。
【0132】
また、表示装置１００は、仮想物体の補正後の表示位置が制限領域６００に含まれることで、仮想物体自体を表示しない場合も、その旨をユーザに知らせる所定の通知を行うように制御（通知制御）する。仮想物体が表示されなかった場合、ユーザは、仮想物体が見えなくなることで違和感を持つ。表示装置１００は、ユーザの視線位置による操作に支障が出ることを防止するため、通知領域６０１に仮想物体の表示自体が制限されたことを通知するメッセージを表示する。
【0133】
図１８は、実施形態４に係る仮想物体表示処理を例示するフローチャートである。図１８に示す仮想物体表示処理は、図４に示す実施形態１に係る仮想物体表示処理に対し、ステップＳ１５０～Ｓ１５２を追加した処理である。図４と同じ処理については、同じ符号を付して説明は省略する。
【0134】
表示装置１００のＣＰＵ２は、ステップＳ１０１～Ｓ１１３、ステップＳ１２０～Ｓ１２３、ステップＳ１３０～Ｓ１３１において、実施形態１と同様に、仮想物体の表示位置を決定する。
【0135】
ステップＳ１５０において、ＣＰＵ２は、決定された仮想物体の表示位置が制限領域６００に含まれるか否かを判定する。ＣＰＵ２は、例えば、仮想物体の中心点が制限領域６００に含まれる場合に、仮想物体の表示位置が制限領域６００に含まれると判定することができる。なお、ＣＰＵ２は、仮想物体の全体または一部が制限領域６００に含まれる場合に、仮想物体の表示位置が制限領域６００に含まれると判定してもよい。仮想物体の表示位置が制限領域６００に含まれない場合、処理はステップＳ１４０に進む。仮想物体の表示位置が制限領域６００に含まれる場合、処理はステップＳ１５１に進む。
【0136】
ステップＳ１５１において、ＣＰＵ２は、制限領域６００には仮想物体を表示せず、補正前の表示位置に仮想物体を表示する。また、ＣＰＵ２は、仮想物体を非表示にしてもよい。仮想物体を補正前の表示位置にするか非表示とするかは、あらかじめ設定しておくことができる。
【0137】
ステップＳ１５２において、ＣＰＵ２は、仮想物体が補正前の表示位置に表示されたこと、すなわち仮想物体の表示位置が補正されなかったことをユーザに通知する。ＣＰＵ２は、例えば、図１７に示す通知領域６０１に、仮想物体の表示位置の補正が制限されたことを通知するメッセージを表示する。ＣＰＵ２は、補正前の表示位置に表示した仮想物体（枠３０）の色および形状の少なくともいずれかを変更したり、枠を点滅表示したりすることによって、仮想物体の表示位置が補正されていないことを、ユーザに通知してもよい。ＣＰＵ２は、仮想物体を非表示とする場合には、その旨を通知するメッセージを通知領域６０１に表示すればよい。
【0138】
ステップＳ１４１において、ＣＰＵ２は、所定の時間、待機をしてからステップＳ１４２に進む。ステップＳ１４２において、ＣＰＵ２は、ユーザが表示装置１００の使用を終了して電源をオフにしたか否かを判定する。表示装置１００の電源がオフにされている場合、図１８に示す処理は終了する。表示装置１００の電源がオフにされていない場合、処理はステップＳ１０１に戻る。
【0139】
上記の実施形態４によれば、表示装置１００は、ユーザが両眼で見ている状態から、片眼で見ている状態に遷移した際に、仮想物体の表示位置を補正しつつ、制限領域６００での仮想物体の表示を制限する。したがって、表示装置１００は、制限領域６００に表示される主要な情報の視認を妨げることなく、仮想物体の表示を制御することができる。
【0140】
以上述べた実施形態は、本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。また、本発明の要旨を逸脱しない範囲で、各種形態を適宜組み合わせることも可能である。
【0141】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0142】
本実施形態の開示は、以下の構成、方法、プログラムおよび媒体を含む。
（構成１）
ユーザが見ている物体に対して仮想物体を表示するように制御する表示制御手段と、
前記ユーザの視線位置を検出する検出手段と
を有し、
前記表示制御手段は、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正する
ことを特徴とする視線検出装置。
（構成２）
前記表示制御手段は、両眼で見ている状態と片眼で見ている状態との間で、前記ユーザが知覚する前記物体の位置と前記仮想物体の位置との関係が変化しないように前記仮想物体の表示位置を補正する
ことを特徴とする構成１に記載の視線検出装置。
（構成３）
前記表示制御手段は、前記ユーザが両眼で見ている状態から片眼で見ている状態に遷移した場合、前記ユーザが開いている眼の位置と前記物体の位置に応じた位置とを通る直線上の位置に、前記仮想物体の表示位置を補正する
ことを特徴とする構成１または２に記載の視線検出装置。
（構成４）
前記ユーザから前記物体までの距離を繰り返し検出し、検出した前記ユーザから前記物体までの距離に基づいて前記仮想物体の表示位置を補正する
ことを特徴とする構成１または２に記載の視線検出装置。
（構成５）
前記ユーザから前記仮想物体を表示する表示部までの距離を繰り返し検出し、検出した前記ユーザから前記表示部までの距離に基づいて前記仮想物体の表示位置を補正する
ことを特徴とする構成１～３のいずれかに記載の視線検出装置。
（構成６）
前記表示制御手段は、補正後の前記仮想物体の表示位置が、前記仮想物体の表示が制限
される制限領域に含まれる場合、前記仮想物体を補正前の表示位置に表示するか、または、前記仮想物体を表示しないように制御する
ことを特徴とする構成１～５のいずれかに記載の視線検出装置。
（構成７）
補正後の前記仮想物体の表示位置が、前記仮想物体の表示が制限される前記制限領域に含まれる場合、前記ユーザに所定の通知を行うように制御する通知制御手段をさらに有する
ことを特徴とする構成６に記載の視線検出装置。
（構成８）
前記検出手段は、前記ユーザが両眼を開いているか、いずれか一方の眼を閉じているかを検出する
ことを特徴とする構成１～７のいずれかに記載の視線検出装置。
（方法）
ユーザが見ている物体に対して仮想物体を表示するように制御する表示制御ステップと、
前記ユーザの視線位置を検出する検出ステップと
を有し、
前記表示制御ステップでは、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正する
ことを特徴とする視線検出装置の制御方法。
（プログラム）
コンピュータを、構成１～８のいずれかに記載の視線検出装置の各手段として機能させるためのプログラム。
（媒体）
コンピュータを、構成１～８のいずれかに記載の視線検出装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
（構成１）
ユーザが見ている物体に対して仮想物体を表示するように制御する表示制御手段と、
前記ユーザの視線位置を検出する検出手段と
を有し、
前記表示制御手段は、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正する
ことを特徴とする視線検出装置。
（構成２）
前記表示制御手段は、両眼で見ている状態と片眼で見ている状態との間で、前記ユーザが知覚する前記物体の位置と前記仮想物体の位置との関係が変化しないように前記仮想物体の表示位置を補正する
ことを特徴とする構成１に記載の視線検出装置。
（構成３）
前記表示制御手段は、前記ユーザが両眼で見ている状態から片眼で見ている状態に遷移した場合、前記ユーザが開いている眼の位置と前記物体の位置に応じた位置とを通る直線上の位置に、前記仮想物体の表示位置を補正する
ことを特徴とする構成１または２に記載の視線検出装置。
（構成４）
前記ユーザから前記物体までの距離を繰り返し検出し、検出した前記ユーザから前記物体までの距離に基づいて前記仮想物体の表示位置を補正する
ことを特徴とする構成１または２に記載の視線検出装置。
（構成５）
前記ユーザから前記仮想物体を表示する表示部までの距離を繰り返し検出し、検出した前記ユーザから前記表示部までの距離に基づいて前記仮想物体の表示位置を補正する
ことを特徴とする構成１～３のいずれかに記載の視線検出装置。
（構成６）
前記表示制御手段は、補正後の前記仮想物体の表示位置が、前記仮想物体の表示が制限
される制限領域に含まれる場合、前記仮想物体を補正前の表示位置に表示するか、または、前記仮想物体を表示しないように制御する
ことを特徴とする構成１～５のいずれかに記載の視線検出装置。
（構成７）
補正後の前記仮想物体の表示位置が、前記仮想物体の表示が制限される前記制限領域に含まれる場合、前記ユーザに所定の通知を行うように制御する通知制御手段をさらに有する
ことを特徴とする構成６に記載の視線検出装置。
（構成８）
前記検出手段は、前記ユーザが両眼を開いているか、いずれか一方の眼を閉じているかを検出する
ことを特徴とする構成１～７のいずれかに記載の視線検出装置。
（方法）
ユーザが見ている物体に対して仮想物体を表示するように制御する表示制御ステップと、
前記ユーザの視線位置を検出する検出ステップと
を有し、
前記表示制御ステップでは、前記ユーザが両眼で見ている状態と片眼で見ている状態の一方から他方に遷移した場合に、前記仮想物体の表示位置を補正する
ことを特徴とする視線検出装置の制御方法。
（プログラム）
コンピュータを、構成１～８のいずれかに記載の視線検出装置の各手段として機能させるためのプログラム。
（媒体）
コンピュータを、構成１～８のいずれかに記載の視線検出装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【符号の説明】
【0143】
２：ＣＰＵ、１０：レンズ、１７：眼撮像素子、１００：表示装置（視線検出装置）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】