特許 6494863 プリズムによる視線追跡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6494863

(24)【登録日】2019年3月15日

(45)【発行日】2019年4月3日

(54)【発明の名称】プリズムによる視線追跡

(51)【国際特許分類】

   G02B 27/02 20060101AFI20190325BHJP

   H04N 5/64 20060101ALI20190325BHJP

【ＦＩ】

   G02B27/02 Z

   H04N5/64 511A

【請求項の数】15

【全頁数】15

(21)【出願番号】特願2018-507532(P2018-507532)

(86)(22)【出願日】2016年11月18日

(65)【公表番号】特表2018-536883(P2018-536883A)

(43)【公表日】2018年12月13日

(86)【国際出願番号】US2016062896

(87)【国際公開番号】WO2017091477

(87)【国際公開日】20170601

【審査請求日】2018年5月11日

(31)【優先権主張番号】62/259,761

(32)【優先日】2015年11月25日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】チャン，ジビン

(72)【発明者】

【氏名】キャロッロ，ジェリー

【審査官】 佐藤 洋允

(56)【参考文献】

【文献】 米国特許出願公開第２００１／０００９４７８（ＵＳ，Ａ１）

【文献】 特表２００８−５１１８７４（ＪＰ，Ａ）

【文献】 特開平０８−０５０２５６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００４９０１３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２７／００−２７／６４

(57)【特許請求の範囲】

【請求項1】

イメージを表示するための表示パネル（１０２、３０８、３１０）と、
前記表示パネルとユーザの目（１１２）の予想位置との間の第１軸（２０２）に沿って配置されたＸプリズムビームスプリッタ（１０４）とを備え、前記Ｘプリズムビームスプリッタは、前記表示パネルから前記目へ前記第１軸に沿って、前記表示パネルから出射される第１の光線（２１２）を第１方向に透過し、前記第１軸に実質的に垂直な第２軸（２０８）に沿って第２の光線（２１６）を第２方向に反射し、前記第２軸に沿って第３の光線（２２２）を前記第２方向に反射し、前記反射された第２の光線は、前記第１の光線の分割光であり、前記反射された第３の光線は、前記目からの前記第１の光線の反射の分割光であり、さらに、
前記第２軸と位置合わせされた光軸を有する撮影カメラ（１０６）を備え、前記撮影カメラは、前記第２の光線と前記第３の光線との結合体を含む、前記表示パネルと前記目との合成画像（２３２）を撮影する、ヘッドマウントディスプレイ（ＨＭＤ）装置（１００、３００）。

【請求項2】

前記表示パネルとの位置関係が固定された状態で配置された１つ以上の赤外線（ＩＲ）光源（１２６、１２７、１２８、１２９）からなるセットをさらに備え、
前記第１の光線は、前記１つ以上のＩＲ光源からなるセットから出射されるＩＲ光を含む、請求項１に記載のＨＭＤ装置。

【請求項3】

前記撮影カメラは、グローバルシャッターを有するＩＲカメラを備え、
前記１つ以上のＩＲ光源からなるセットは、前記グローバルシャッターの垂直同期信号に基づいて起動される、請求項２に記載のＨＭＤ装置。

【請求項4】

前記合成画像に基づいて、前記目の位置、前記目の向き、または前記目の視線方向のうちの少なくとも１つを判断する視線追跡モジュール（４１２）をさらに備える、請求項２または請求項３に記載のＨＭＤ装置。

【請求項5】

前記視線追跡モジュールは、前記合成画像に存在する前記１つ以上のＩＲ光源からなるセットからの前記ＩＲ光を基準座標系として利用することに基づいて、前記目の位置、前記目の向き、または前記目の視線方向のうちの前記少なくとも１つを判断する、請求項４に記載のＨＭＤ装置。

【請求項6】

前記Ｘプリズムビームスプリッタは、
前記第１軸に対して第１角度で配置された第１の部分反射面（１１４）と、
前記第１軸に対して第２角度で配置された第２の部分反射面（１１５）とを備え、前記第２角度は、前記第１角度に実質的に垂直であり、
前記第１の部分反射面は、可視光およびＩＲ光を部分的に反射し、前記第２の部分反射面は、ＩＲ光を部分的に反射し、可視光を実質的に透過させる、請求項２に記載のＨＭＤ装置。

【請求項7】

前記１つ以上のＩＲ光源からなるセットは、１つ以上の垂直共振器面発光レーザからなるセットを含む、請求項２に記載のＨＭＤ装置。

【請求項8】

前記合成画像に基づいて、前記目の位置、前記目の向き、または前記目の視線方向のうちの少なくとも１つを判断する視線追跡モジュール（４１２）をさらに備える、請求項１、請求項６、および請求項７のいずれか１項に記載のＨＭＤ装置。

【請求項9】

前記判断された目の位置、目の向き、または目の視線方向に基づいて、前記ＨＭＤ装置の少なくとも１つの構成要素（４０４、４０８）が制御される、請求項８に記載のＨＭＤ装置。

【請求項10】

ヘッドマウントディスプレイ（ＨＭＤ）装置（１００、３００）において、
Ｘプリズムビームスプリッタ（１０４）を通して、表示パネル（１０２、３０８、３１０）から出射される第１の光線（２１２）を前記表示パネルから第１軸（２０２）に沿ってユーザの目（１１２）に透過させるステップと、
前記Ｘプリズムビームスプリッタからの第２の光線（２１６）を、前記第１軸に実質的に垂直な第２軸（２０８）に沿って撮影カメラ（１０６）に反射させるステップとを含み、前記反射された第２の光線は、前記第１の光線の反射の分割光であり、さらに、
前記Ｘプリズムビームスプリッタからの第３の光線（２２２）を、前記第２軸に沿って前記撮影カメラに反射させるステップを含み、前記反射された第３の光線は、前記ユーザの目からの前記第１の光線の反射の分割光であり、さらに、
前記撮影カメラにおいて、前記第２の光線と前記第３の光線との結合体を含む、前記表示パネルと前記目との合成画像（２３２）を撮影するステップを含む、方法。

【請求項11】

前記第１の光線は、前記表示パネルとの位置関係が固定された状態で配置された１つ以上のＩＲ光源（１２６、１２７、１２８、１２９）からなるセットから出射されるＩＲ光を含む、請求項１０に記載の方法。

【請求項12】

前記１つ以上のＩＲ光源からなるセットを、前記撮影カメラのグローバルシャッターの垂直同期信号に基づいて起動するステップをさらに備える、請求項１１に記載の方法。

【請求項13】

前記ＨＭＤ装置の処理モジュール（４１２）において、前記合成画像に基づいて、前記目の位置、前記目の向き、または前記目の視線方向のうちの少なくとも１つを判断するステップをさらに備える、請求項１１または請求項１２に記載の方法。

【請求項14】

前記目の位置、前記目の向き、または前記目の視線方向のうちの前記少なくとも１つを判断するステップは、前記合成画像に存在する前記１つ以上のＩＲ光源からなるセットからの前記ＩＲ光を基準座標系として利用するステップを含む、請求項１３に記載の方法。

【請求項15】

前記判断された目の位置、目の向き、または目の視線方向に基づいて、前記ＨＭＤ装置の少なくとも１つの構成要素（４０４、４０８）の動作を制御するステップをさらに備える、請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の分野
本開示は、全体的に、ヘッドマウントディスプレイシステムに関し、特に、ヘッドマウントディスプレイシステムにおける視線追跡に関する。

【背景技術】

【0002】

背景
ヘッドマウントディスプレイ（ＨＭＤ）装置は、ユーザの両目の前に取り付けられた表示パネルを利用して、仮想現実（ＶＲ）コンテンツ、拡張現実（ＡＲ）コンテンツなどを含む、さまざまな種類のコンテンツを表示する。視線追跡は、フォービエイテッド（ｆｏｖｅａｔｅｄ）イメージング（眼球運動連動型（ｇａｚｅ−ｃｏｎｔｉｎｇｅｎｔ）イメージングとしても知られている）、眼球運動によるユーザ入力またはインタラクションなど、さまざまな機能を容易にするためにＨＭＤシステムに実装されることが多い。従来の視線追跡機構は、通常、レンズおよびミラーの複雑な配置を採用して目の画像を撮影し、この画像から目の視線方向を推定する。しかしながら、ＨＭＤ装置メーカーは、フォームファクタを低減したＨＭＤ装置を提供しようと懸命に努力しており、従来のシステムが表示パネルを遮ることなくこの視線追跡機能を提供するために必要とされる、複雑な光学機構は、ＨＭＤ装置のスモールフォームファクタの実現を妨げてしまうことが多い。また、従来の方法で撮影された目の画像に基づいて目の視線を推定するために実装されるアルゴリズムは、多くの演算を必要とすることが多いため、高価かつ電力を消耗する高性能コンピュータシステムを持たないＨＭＤ装置に実装するには実用的ではない。

【発明の概要】

【課題を解決するための手段】

【0003】

添付の図面を参照することによって、本開示は当業者によって理解され、その数多くの特徴および利点が当業者に明らかになるであろう。異なる図面における同一の参照符号の使用は、同様または同一の項目を示す。

【図面の簡単な説明】

【0004】

【図1】本開示の少なくとも１つの実施形態に係る、Ｘプリズムビームスプリッタを利用した視線追跡システムの構成要素の配置を示す図である。

【図2】本開示の少なくとも１つの実施形態に係る図１の視線追跡システムの断面図を示す図である。

【図3】本開示の少なくとも１つの実施形態に係る図１の視線追跡システムを実装するＨＭＤ装置の背面図を示す図である。

【図4】本開示の少なくとも１つの実施形態に係る図３のＨＭＤ装置の処理システムを示す図である。

【図5】本開示の少なくとも１つの実施形態に係る、視線追跡に使用する合成画像の２つの例を示す図である。

【発明を実施するための形態】

【0005】

詳細な説明
以下の説明は、ＨＭＤによる視線追跡システムに関するいくつかの具体的な実施の形態および詳細を提供することによって、本開示の十分な理解を伝えるためのものである。しかしながら、本開示は、例示に過ぎないこれらの具体的な実施形態および詳細に限定されず、本開示の範囲は、以下の請求項およびその均等物によってのみ適宜限定されるものであることを理解されたい。説明するために、本明細書に記載の視線追跡システムは、ＨＭＤベースのシステムのみならず、その他のシステムにおいて利用されてもよい。当業者は、周知のシステムおよび方法に鑑みて、多くの代替的な実施形態における、具体的な設計およびその他の必要性に応じた、本開示の意図する目的および利益のための本開示の利用を理解するであろうことをさらに理解されたい。

【0006】

図１〜図５は、ＨＭＤ装置またはその他の同様の装置における視線追跡のための例示的な装置および技術を示す図である。少なくとも１つの実施形態において、表示パネルとユーザの目の予想位置との間の視線軸に沿ってＸプリズムビームスプリッタが位置しており、視線軸と交差するＸプリズムビームスプリッタの２つのポートに垂直なＸプリズムビームスプリッタのポートに焦点を合わせるように視線追跡カメラが位置している。視線を追跡するために、表示パネルとの位置関係が固定されたＩＲ光源のセットが起動または「点滅」させられて、Ｘプリズムビームスプリッタを通してユーザの目を照らす。Ｘプリズムビームスプリッタは、表示画面からの光およびＩＲ光源のセットからのＩＲ光の画像またはその他の表現を視線追跡カメラに投射させると同時に、ユーザの目からの光の反射および目の周囲の領域の画像またはその他の表現を視線追跡カメラに投射させる。視線追跡カメラは、このように、表示パネルおよびＩＲ光源のイメージと、ユーザの目からの反射および周囲の領域のイメージとを含む合成画像を撮影することができる。その後、この合成画像は分析され、ユーザの目の現在位置、向き、または視線方向のうちの１つ以上が判断され得る。

【0007】

図１は、少なくとも１つの実施形態に係る、ヘッドマウント装置（ＨＭＤ）または同様のディスプレイシステムにおいて実装される視線追跡システム１００を示す図である。図に示すように、視線追跡システム１００は、表示パネル１０２と、Ｘプリズムビームスプリッタ１０４と、撮影カメラ１０６と、視線追跡処理サブシステム１０８とを備える。表示パネル１０２は、ユーザにイメージを表示するために使用される。いくつかの実施形態において、１つの表示パネル１０２は、横並びの別々の画像を共に表示するために使用され、ユーザの片目１１２に対して１つの画像を表示する。その他の実施形態において、片目１１２ずつに別の表示パネル１０２が使用される。さらに、いくつかの実施形態において、ユーザの両目が追跡される。この場合、片目１１２ずつに別の視線追跡カメラ１０６が実装される。別のＸプリズムビームスプリッタ１０４も、同様に、片目ずつに実装される。または、ユーザの両目１１２を跨いで（つまり、表示パネル１０２の面と平行な方向に）延在する幅を有する１つのＸプリズムビームスプリッタ１０４を使用してもよい。表示パネル１０２とＸプリズムビームスプリッタ１０４との間、Ｘプリズムビームスプリッタ１０４と目１１２との間、または両方の位置において視線軸に沿って１つ以上の光学レンズ（図示せず）が位置してもよい。

【0008】

Ｘプリズムビームスプリッタ１０４（以下、参照の便宜上、「Ｘプリズム１０４」）は、表示パネル１０２と目１１２の予想されるまたは予期される位置との間の視線軸（視線軸２０２、図２）に沿って位置する。Ｘプリズム１０４は、２つの部分反射面１１４、１１５を有する正六面体プリズムまたはその他の平行六面体プリズムから構成される。２つの部分反射面１１４、１１５は、互いに実質的に垂直（つまり、９０°±１０°）であり、視線軸に対して実質的に非垂直な角度である。図１１６に示すように、Ｘプリズム１０４は、４つの別々の直角三角形のプリズム１１７、１１８、１１９、１２０によって組み立てられてもよい。直角三角形のプリズム１１７〜１２０は、互いに接着されて、または機械で接合されて平行６面体ビームスプリッタを形成する。プリズム１１７〜１２０は、部分反射面１１４、１１５の各々に対して、入射光線を部分的に透過させ、部分的に反射させるように実装される。たとえば、プリズム１１７〜１２０は、（特定の波長に対して）透過性の、特定の波長に基づいた厚さを有する接着層を用いて互いに接着されてもよく、入射光線のうちのある割合（たとえば、５０％）が入射角に対して９０度の角度で反射され、入射光のうちの残りの割合（たとえば、５０％）が、プリズム間の界面およびプリズム間の接着層の厚さによって生じる減衰全反射現象によって、実質的にその元の経路に沿ってＸプリズム１０４を透過させられる。これに代えて、プリズム１１７〜１２０のうちのいくつかの向かい合った側面は、金属（たとえば、アルミニウム）またはその他の適した材料（たとえば、ＩＲ／可視光ダイクロイック材料）の薄いまたは不連続の被覆で覆われ、プリズム１１７〜１２０が互いに接合されてＸプリズム１０４を形成するときに、薄い／不連続の被覆が部分反射面１１４、１１５を形成してもよい。たとえば、プリズム１１７の面１２１およびプリズム１１９の面１２２は、各々、適切な材料の薄いまたは不連続の被覆を受け、プリズム１１７〜１２０が互いに接合されたときに、面１２１、１２２の薄い／不連続の被覆が合わさって部分反射層１１５を形成してもよい。同様に、プリズム１１８の面１２３およびプリズム１２０の面１２４は、各々、材料の薄いまたは不連続の被覆を受け、プリズム１１７〜１２０が互いに接合されるときに、面１２３および１２４の薄い／不連続の被覆が合わさって部分反射面１１４を形成してもよい。

【0009】

いくつかの実施形態において、赤外線（ＩＲ）光（より具体的には、近赤外線（ＮＩＲ）光）など、可視スペクトル外の光は、視線を追跡するために目１１２を照らすために使用されると共に、視線追跡処理のための座標系基準点としての役割がある。説明すると、ＩＲ光源１２６、１２７、１２８、１２９など、１つ以上のＩＲ光源からなるセットは、特定パターンで表示パネル１０２との位置関係が固定された状態で実装されてもよい。以下に説明するが、ＩＲ光源のセットの特定パターンおよびそれらの表示パネル１０２に対する固定関係は、基準座標系としての役割がある。いくつかの実施形態において、この固定位置関係は、図１に示すように、表示パネル１０２の四隅または表示パネル１０２の縁もしくは「コード（ｆｌｅｘ）」沿いなど、表示パネル１０２内にＩＲ光源１２６〜１２９を取り付けることによって得られる。その他の実施形態において、ＩＲ光源は、１つ以上のレンズを介して表示パネル１０２上に「仮想的」に位置するようにカメラ空間の近くに物理的に位置決めすることによって、表示パネル１０２に関連して「仮想的」に埋め込むことができる。いずれの手法にせよ、ＩＲ光源および表示パネル１０２は、各々、固定されており、それらの相対位置は変わることはないため、ＩＲ光源と表示パネル１０２との間に固定の相対位置関係を確立する。たとえば、ＩＲ光源１２６〜１２９は、各々、ＩＲを発する垂直共振器面発光レーザ（ＶＥＣＳＥＬ）、ＩＲ発光ダイオード（ＬＥＤ）などから構成されてもよい。

【0010】

視線追跡システム１００の全体的な動作は、図２を参照するとより理解される。図２は、いくつかの実施形態に係る視線追跡システム１００の断面図２００を示す図である。図に示すように、Ｘプリズム１０４は、表示パネル１０２と目１１２との間の視線軸２０２に沿ってまたは視線軸２０２と位置合わせされて、表示パネル１０２とユーザの対応する目１１２の予想位置との間に位置する。よって、表示パネル１０２に面するポート２０３と、目１１２に面する反対側のポート２０５とを有する。表示パネル１０２とＸプリズム１０４との間に配置される拡大レンズ２０４またはＸプリズム１０４と目１１２との間に配置される拡大レンズ２０６など、１つ以上のレンズまたはその他の光学素子がこの視線軸２０２に沿って配置されてもよい。

【0011】

撮影カメラ１０６（以下、「視線追跡カメラ１０６」）が光軸２０８（以下、「反射軸２０８」）に沿って配置される。光軸２０８は、概ね、視線軸２０２に実質的に垂直であり、Ｘプリズム１０４内の部分反射面１１４、１１５の交差点またはその近くにおいて視線軸２０２と交差する。つまり、視線追跡カメラ１０６は、ポート２０３に垂直なポート２０７に焦点が合わせられている。図２に示すように、視線追跡カメラ１０６は、イメージセンサ２１１に入射光を当てるために、１つ以上のレンズからなるレンズアセンブリ２１０を備える。本明細書に記載されるように、ＩＲ光は、目を照らすことおよび視線追跡のための基準点の生成に利用され得るため、イメージセンサ２１１は、アールジービー（ＲＧＢ）−ＩＲのデュアル機能を有するイメージセンサなど、ＩＲ光を感知可能またはＩＲ光の中身を取り込み可能なイメージセンサから構成され得る。このようなセンサの例として、ＯｍｎｉＶｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｉｎｃから入手可能な、ＯＶ４６８２ ＲＧＢＩＲイメージセンサがある。また、ＨＭＤ装置に通常見られる比較的小さいフォームファクタによって、視線追跡カメラ１０６は、Ｘプリズム１０４のポート２０７に比較的近い可能性があるため、視線追跡カメラ１０６は、無限遠から過焦点距離までの間の適切な変調伝達関数（ＭＴＦ）を用いて、Ｘプリズム１０４を通して目１１２および表示パネル１０２に過焦点距離で焦点を合わせられるように小さい絞り値（または「Ｆ値」）を有して実装されてもよい。

【0012】

通常動作において（つまり、本明細書に記載の視線追跡処理を連動させない場合）、表示パネル１０２は、表示制御装置によって駆動され、表示パネル１０２から出射される可視光の形でイメージを表示する。この可視光は、視線軸２０２に沿ってＸプリズム１０４のポート２０３へ透過させられる。可視光がポート２０３からＸプリズム１０４を通過して反対側のポート２０５まで進むと、可視光は、部分反射面１１４、１１５に当たる。少なくとも１つの実施形態において、部分反射面１１４は、可視光スペクトルの光（約４００〜７００ナノメートル（ｎｍ））を実質的に透過させるように構成されているため、部分反射面１１４は、可視光が視線軸２０２に沿ってポート２０３からポート２０５へ、そのすぐ後に目１１２へ進む際に、可視光を過度に減衰させたり遮ったりしない。対照的に、少なくとも１つの実施形態において、部分反射面１１５は、可視光スペクトルの光を部分的に反射するように構成されているため、可視光の一部が部分反射面１１５によって反射されて、反射軸２０８に沿ってポート２０７に向かい、通過する。このように、Ｘプリズム１０４は、可視光がＸプリズム１０４を通って目１１２に進む際に可視光に存在する強度または照度を減衰させる。たとえば、可視光に対する部分反射面１１４が１００％透過比であり、部分反射面１１５が５０％反射／５０％透過比（図をわかりやすくするために、Ｘプリズム１０４内の損失は無視してもよいこととする）であると想定した場合、Ｘプリズム１０４を通って目１１２に到達している可視光の光度は、ポート２０３に入射する可視光の光度の５０％であろう。通常のＨＭＤの用途において、表示パネル１０２の光度容量は、この損失を補償するには十分すぎるほどであり、目１１２に満足な可視光強度を届けることができる。

【0013】

視線追跡動作において、光源１２６〜１２９のセット（断面図２００には、光源１２６および１２９のみを図示）は、起動させられるため、ＩＲ光を出射する。ＩＲ光は、表示パネル１０２から出射された可視光と結合されて、Ｘプリズム１０４のポート２０３に焦点が合わされた光線２１２（以下、「初期光線２１２」）を形成する。Ｘプリズム１０４を通過する際、初期光線２１２は、部分反射面１１４および部分反射面１１５の両方に当たる。部分反射面１１５は、ＩＲおよび初期光線２１２の可視光の一部（たとえば、５０％）を視線軸２０２に沿ってポート２０７まで引き続き透過させ、そこから透過光線２１４として目２１２まで透過させる一方、ＩＲおよび初期光線２１２からの可視光の別の一部（たとえば、５０％）は、直角で反射され、反射光線２１６として反射軸２０８に沿ってポート２０７に向かう。

【0014】

上述したように、部分反射面１１４は、可視光を実質的に透過させるように構成され得るため、反射面１１４は、初期光線２１２の可視光の中身の透過に著しく強い影響を与えない。しかしながら、赤外スペクトルの光（たとえば、ＮＩＲの場合、約７００ｎｍ〜８５０ｎｍ、フルスペクトルＩＲの場合、約７００ｎｍ〜１０００ｎｍ）については、部分反射面１１４は、ＩＲ光を、たとえば、５０％透過／５０％反射比で部分的に反射するように構成されてもよい。したがって、部分反射面１１４に当たると、初期光線２１２に存在するＩＲ光の一部（たとえば、５０％）は、ポート２０５へ透過させられて、次に、目１１２へ透過させられる一方、ＩＲ光の別の一部（たとえば、５０％）は、反射され、反射軸２０８に沿ってポート２０７の反対側のポート２０９に向かう。したがって、たとえば、部分反射面１１４、１１５の各々によるＩＲ光に対する反射比が５０％、部分反射面１１４および部分反射面１１５による可視光に対する反射比がそれぞれ０％、５０％であると想定した場合、透過光線２１４は、可視光の５０％および初期光線２１２からのＩＲ光の２５％を含んでおり、反射光線２１６は、可視光の５０％および初期光線２１２からのＩＲ光の２５％を含んでいるだろう。

【0015】

透過光線２１４は、ポート２０５を通ってＸプリズム１０４を離れ、目１１２に当たる。透過光線２１４に存在するＩＲおよび可視光の一部は、目１１２および周囲の領域によって反射され、視線軸２０２に沿って反射光線２１８としてポート２０５に返ってくる。反射光線２１８は、Ｘプリズム１０４を通過すると、部分反射面１１４、１１５に当たり、部分反射面１１４、１１５は、反射光線２１８に存在するＩＲ光および可視光の対応する一部を、初期光線２１２を例に上述した方法と同様の方法で透過させたり反射したりするように動作する。したがって、部分反射面１１４、１１５は、反射光線２１８の一部を、透過光線２２０として、視線軸２０３に沿ってポート２０３へ透過させ、反射光線２１８の別の一部を、反射光線２２２として、ポート２０７に向けて反射する。反射光線２１８の別の一部はポート２０９に向けて反射されるが、この態様は、明確にするために、図２から省かれているということが理解されるだろう。

【0016】

部分反射面１１４、１１５は、その部分反射率のために、反射光線２１８に存在するＩＲ光の一部を反射軸２０８に沿ってポート２０７に向けて反射するように動作する。説明すると、部分反射面１１４、１１５の両方の反射比がＩＲ光に対して５０％であると想定した場合、反射光線２１８に存在するＩＲ光のおよそ２５％が、反射光線２１８から生成される反射光線２２２に存在する。さらに、部分反射面１１４は可視光を実質的に透過させる一方、部分反射面１１５は入射した可視光の少なくとも一部を反射するため、部分反射面１１５は、反射光線２１８に存在する可視光の一部を反射軸２０８に沿ってポート２０９に向かって反射するように動作する。たとえば、可視光に対する部分反射面１１４の反射比が０％、部分反射面または面の反射比が５０％であると想定した場合、反射光線２１８に存在する可視光のおよそ５０％が、反射光線２１８から生成される反射光線２２２に存在する。

【0017】

視線追跡カメラ１０６がポート２０７に焦点を合わせていると、ポート２０７から出射した反射光線２１６、２２２がイメージセンサ２１１によって同時に取り込まれる。反射光線２１６は初期光線２１２の分割光表現であるので、反射光線２１６は、ＩＲ光点２２６、２２７、２２８、２２９としてのＩＲ光源１２６〜１２９のセットから出射されたそれぞれのＩＲ光と共に表示パネル１０２の画像２２４を表現する。同様に、反射光線２２２は、反射光線２１８の分割光表現であるため、目１１２および目１１２の周囲の領域からの表示パネル１０２およびＩＲ光源１２６〜１２９のセットの反射の表現である。したがって、反射光線２２２は、目１１２の画像２３０、およびＩＲ光源１２６〜１２９のセットからのＩＲ光ならびに表示パネル１０２から出射された可視光によって照射された周囲の領域を表現する。このように、イメージセンサ２１による反射光線２１６、２２２の同時取り込みによって、イメージセンサ２１１が画像２２４および２３０の合成または結合体である画像２３２を撮影することになる。したがって、画像２３２（以下、「合成画像２３２」）は、画像撮影時に表示パネル１０２に表示される可視光イメージと、ＩＲ光点２２６〜２２９の形のＩＲ光源１２６〜１２９のセットから出射されたＩＲ光と、ユーザの目１１２および周囲の領域から反射した可視光およびＩＲ光と、たとえば、ＩＲ光点２２６、２２７、２２８、および２２９については、それぞれ反射点２３６、２３７、２３８、および２３９の形の目１１２からのＩＲ光点２２６〜２２９の一部またはすべての反射とを含む。合成画像２３２から検出される目１１２の瞳孔、虹彩、角膜、または強膜のうちの１つ以上の位置から、視線追跡処理サブシステム１０８は、さまざまな視線追跡アルゴリズムのうちのいずれかを用いて、目１１２の視線角度または視線方向を判断することができる。さらに、ＩＲ光点２２６、２２７、２２８、および２２９の存在は、詳細は後述するが、表示パネル１０２の隅に紐づけられた基準座標系として作用することによって、目１１２の視線の位置をさらに正確に特定するのに役立つだろう。

【0018】

図３は、少なくとも１つの実施形態に係る図１および図２の視線追跡システム１００を実装するように構成された、例示的なＨＭＤ装置３００を示す図である。ＨＭＤ装置３００は、ユーザの頭部１１０に装着されたまたは紐で固定された装置の使用によって、ＨＭＤ装置３００がユーザの顔の近傍に固定して位置されてユーザの動きに合わせて動くように、ユーザの頭部１１０に装着される。しかしながら、状況によっては、ユーザは、タブレットコンピュータまたはその他のハンドヘルド型装置をユーザの顔まで持ち上げ、ユーザの頭部１１０が動いたとしてもユーザの頭部に対するハンドヘルド型装置の向きが比較的固定されるように、ハンドヘルド型装置の動きを制限し得る。このような場合、このように操作されるハンドヘルド型装置も、物理的な締め具によってユーザの頭部１１０に「装着」されていないが、ＨＭＤ装置３００の実装とみなされてもよい。

【0019】

ＨＭＤ装置３００は、筐体３０２から構成され、筐体３０２は、表面３０４と、フェイスガスケット３０６と、ユーザが筐体３０２の表面３０４に面するようにユーザの頭部１１０に筐体３０２を装着するためのストラップのセットまたはハーネス（明確にするために図３からは省略）とを有する。図に示す実施形態において、ＨＭＤ装置３００は、双眼用ＨＭＤであるため、表面３０４に配置された左目用ディスプレイ３０８と、右目用ディスプレイ３１０とを有する（ディスプレイ３０８、３１０は、表示パネル１０２の具体的表現をまとめてまたは別々に表す）。ディスプレイ３０８、３１０は、別々の表示パネル（つまり、別々のディスプレイ・ドライバ・ハードウェア・コンポーネントによって駆動される独立した表示アレイ）として実装されてもよく、ディスプレイ３０８、３１０は、１つの表示パネルの論理的に分けられた領域（たとえば、左と右「半分」とに論理的に分割された１つの表示アレイ）として実装されてもよい。筐体３０２は、さらに、左目用ディスプレイ３０８と位置合わせされた接眼レンズ３１２と、右目用ディスプレイ３１０と位置合わせされた接眼レンズ３１４とを備える。これに代えて、いくつかの実施形態において、ＨＭＤ装置３００は、１つの画像が、左目用接眼レンズ３１２および右目用接眼レンズ３１４のいずれかを通して、または、中間レンズなしで直接ユーザの両目に提示される、単眼用ＨＭＤとして実装されてもよい。

【0020】

図に示す例において、ＨＭＤ装置３００は、さらに、片目ずつに視線追跡システム１００の別々の実装を備えるため、左目用に、レンズ３１２とディスプレイ３０８との間に配置されたＸプリズム３１６と、右目用に、レンズ３１４とディスプレイ３１０との間に配置されたＸプリズム３１８とを備える（Ｘプリズム３１６、３１８は、Ｘプリズム１０４の具体的表現を構成する）。さらに、ＨＭＤ装置３００は、Ｘプリズム３１６の下方、またはＸプリズム３１６の横もしくは上方に配置される視線追跡カメラ３２０と、Ｘプリズム３１８の下方、上方、または横に配置される視線追跡カメラ３２２（視線追跡カメラ３２０、３２２は、視線追跡カメラ１０６の具体的表現である）を備える。視線追跡カメラ３２０は、本明細書に記載の技術を用いて、Ｘプリズム３１６による反射光線を同時に取り込むことによってユーザの左目とディスプレイ３０８との合成画像を撮影するように動作する。同様に、視線追跡カメラ３２２は、同様の方法で、Ｘプリズム３１８を利用してユーザの右目とディスプレイ３１０との合成画像を撮影するように動作する。

【0021】

図４は、いくつかの実施形態に係る図３のＨＭＤ装置３００の例示的なハードウェア構成４００および視線追跡処理を実装するためのハードウェア構成４００の動作方法４０２を示す図である。ハードウェア構成４００は、アプリケーションプロセッサ４０４と、システムメモリ４０６と、合成部４０８と、ＩＲ制御部４１０と、表示パネル１０２と、視線追跡カメラ１０６とを備える。ハードウェア構成４００は、さらに、視線追跡カメラ１０６に連結された視線追跡モジュール４１２（図１の視線追跡処理サブシステム１０８の一具体的表現）を備える。図をわかりやすくするために、ハードウェア構成４００は、片目を追跡するための構成として示されている。しかしながら、デュアル視線追跡の実装の場合、ハードウェア構成４００は、さらに、第２の目用の第２視線追跡カメラ１０６、および、個々のディスプレイ構成によっては、上述のものと同じように動作する第２表示パネル１０２と、ＩＲ光源１２６〜１２９の第２のセットと、第２のＩＲ制御部４１０とを備えるだろう。

【0022】

視線追跡モジュール４１２は、ソフトウェア、つまり、システムメモリ４０６またはその他の記憶場所に格納された実行可能な命令のセット（つまり、「ソフトウェア」）を実行するアプリケーションプロセッサ４０４またはその他のプロセッサによって実装されてもよい。これに代えて、視線追跡モジュール４１２は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックなどによって、ハードコードされたロジックとして実装されてもよい。さらに、いくつかの実施形態において、視線追跡モジュール４１２は、ソフトウェアとハードコードされたロジックとの組み合わせによって実装されてもよい。アプリケーションプロセッサ４０４は、１つ以上のＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）およびＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、または１つ以上のＣＰＵと１つ以上のＧＰＵとの組み合わせから構成される。Ｑｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ製のＳｎａｐｄｒａｇｏｎ（登録商標）８１０ ＭＳＭ８９９４ ＳｏＣ（ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）は、アプリケーションプロセッサ４０４の市販されている具体的表現の例である。合成部４０８は、たとえば、ＡＳＩＣ、プログラマブルロジック、１つ以上のＧＰＵ、またはそれらの組み合わせとして実装されてもよい。１つ以上のＧＰＵは、当該１つ以上のＧＰＵを操作して上述の機能を提供するソフトウェアを実行する。ＩＲ制御部４１０は、表示パネル１０２のＩＲ光源１２６〜１２９のセットに連結されており、信号線４１４によって視線追跡カメラ１０６に連結されている。

【0023】

動作中、アプリケーションプロセッサ４０４は、（たとえば、システムメモリ４０６に格納された）ＶＲ／ＡＲアプリケーション４１６を実行してユーザにＶＲ／ＡＲ機能を提供する。この処理の一部として、ＶＲ／ＡＲアプリケーション４１６は、アプリケーションプロセッサ４０４または関係するプロセッサを操作して、ＶＲまたはＡＲシーンを表現する一連の画像をレンダリングし、表示パネル１０２に表示する。合成部４０８は、表示パネル１０２を駆動して一連の画像またはその表現を表示するように動作する。

【0024】

これと平行して、視線追跡カメラ１０６、ＩＲ制御部４１０、および視線追跡モジュール４１２は、共働して、対応する目１１２の動き、位置、および／または視線方向を追跡する。方法４０２は、この処理の例を説明する。少なくとも１つの実施形態において、目１１２の視線方向、位置、または向きは、指定された頻度または速度で更新される。指定された頻度または速度は、表示パネル１０２に表示されているイメージのフレームレートまたは別の要因に基づき得る。したがって、更新の繰り返しを開始するために、ブロック４２２において、視線追跡カメラ１０６は、信号線４１４のアサートまたはその他の操作によって、ＩＲ制御部４１０に信号を送り、これに応答して、ＩＲ制御部４１０は、ＩＲ光源１２６〜１２９のセットを起動させて、目１１２および周囲の領域を照らすようにＩＲ光を短い間出力（つまり、「点滅」）させる。説明すると、一実施形態において、視線追跡カメラ１０６は、対応する垂直同期（ＶＳＹＮＣ）信号（アプリケーションプロセッサ４０４によって制御されるまたは表示パネル１０２用の垂直同期信号と同調させられる）によって起動されるグローバルシャッターを実装してもよい。したがって、グローバルシャッターを起動するためにＶＳＹＮＣ信号をアサートするたびに、信号線４１４も、同様に、ＩＲ制御部４１０によってＩＲ光の点滅を起動するためにアサートされる。このように、ＩＲ光の点滅は、視線追跡カメラ１０６のグローバルシャッターと同調させることができる。

【0025】

上述したように、表示パネル１０２から出射された光およびＩＲ光源１２６〜１２９のセットからのＩＲ光は、Ｘプリズム１０４を通過し、目１１２および目の周囲の領域に反射し、その結果、Ｘプリズム１０４によって視線追跡カメラ１０６に同時に投射されている、表示パネル１０２ならびにＩＲ光源１２６〜１２９のセットの表現および目１１２ならびに周囲の領域の表現の両方をもたらす。したがって、ブロック４２４において、視線追跡カメラ１０６は、両方の表現の合成画像（たとえば、合成画像２３２、図２）を撮影し、視線追跡モジュール４１２に合成画像を処理のために提供する。ブロック４２６において、視線追跡モジュール４１２は、合成画像に画像解析処理を行い、目１１２の虹彩／瞳孔の現在位置または向きのうちの１つ以上を特定し、視線追跡モジュール４１２は、この情報から目１１２の現在の視線方向を判断し得る。この処理の例は、図５を参照して以下に説明する。

【0026】

特定された虹彩／瞳孔の現在位置、虹彩／瞳孔の現在の向き、または目１１２の視線方向のうちの１つ以上を用いて、ブロック４２８において、視線追跡モジュール４１２は、ハードウェア構成４００の１つ以上の構成要素の動作を適宜変更し得る。説明すると、いくつかの実施形態において、現在の視線方向を用いてフォービエイテッド表示を提供してもよいため、このような場合、視線追跡モジュール４１２は、目１１２の現在の焦点領域の解像度を向上させるために表示イメージのレンダリングを制御するように、ＶＲ／ＡＲアプリケーション４１６または合成部４０８に、現在の視線方向を信号で送ってもよい。別の例として、いくつかの実施形態において、ＶＲ／ＡＲアプリケーション４１６または別のソフトウェアアプリケーションは、ユーザの視線方向をユーザ入力として利用してもよい。たとえば、ＨＭＤ装置３００は、人間とコンピュータとの目によるインタラクションを提供してもよいため、視線追跡モジュール４１２は、現在の視線方向を、ユーザーインターフェース入力として、このアプリケーションに提供してもよい。つまり、仮想マウスとして、または目によるその他の「ジェスチャ」入力として提供してもよい。たとえば、この視線追跡情報のその他の用途として、（たとえば、眼球運動によってユーザを認証するまたは視線追跡によってユーザを特定するための）生体情報のために、視線追跡情報を用いてＨＭＤ装置３００を起動させる／停止させることなどがある。

【0027】

図５は、本開示の少なくとも１つの実施形態に係る、現在の目の視線方向を判断するために合成画像を処理する２つの例を説明する図である。第１の例において、表示パネル１０２と目１１２の現在位置との合成画像５０２を、上述の処理に従って撮影する。視線追跡モジュール４１２は、瞳孔５０４の現在位置を特定する。そして、ＩＲ光源１２６〜１２９のセットからのＩＲ光点５１６、５１７、５１８、５１９のパターンと、ＩＲ光源１２６〜１２９の目１１２からの反射からのＩＲ光点５２０、５２１、５２２、５２３のパターンとによって形成される基準座標系に対する瞳孔５０４の向きに基づいて、視線追跡モジュール４１２は、現在の目の視線が表示パネル１０２の左下象限の点５２４に向いていることを判断し得る。

【0028】

第２の例において、表示パネル１０２と目１１２の現在位置との合成画像５３２が、上述の処理に従って撮影される。視線追跡モジュール４１２は、瞳孔５０４の現在位置を特定する。そして、ＩＲ光源１２６〜１２９のセットからのＩＲ光点５４６、５４７、５４８、５４９のパターンと、ＩＲ光源１２６〜１２９の目１１２からの反射からのＩＲ光点５５０、５５１、５５２、５５３のパターンとによって形成される基準座標系に対する瞳孔５０４の向きに基づいて、視線追跡モジュール４１２は、現在の目の視線が表示パネル１０２の右上象限の点５５４に向いていることを判断し得る。

【0029】

合成画像において光源によって形成された基準座標系を考慮した適切な変更を行い、さまざまな視線追跡アルゴリズムのうちのいずれかを用いて合成画像５３２から目１１２の現在の視線方向を追跡してもよい。説明すると、シングル視線追跡カメラの実装において、ＩＲ光源は、点光源として作用してもよく、それらの相対的な強度に基づいて、目１１２までの距離が判断されてもよい。さらに、ＩＲ光源に代表される多くの点光源からの（距離を利用した）三角測量に基づいて、目１１２の３Ｄモデルが構築されてもよく、この３Ｄモデルから、光軸、つまり視線方向が判断されてもよい。デュアル視線追跡カメラの実装において、２つのカメラの使用によってもたらされる視差現象によって、目１１２の３Ｄモデルが構築されてもよい。さらに、この手法は、一般的に、周辺光を感知しないため、上述のＩＲ光源の代わりに可視光源を用いて目１１２を照らしてもよい。

【0030】

上記の本発明の機能の大半および本発明の原理の多くは、特定用途向けＩＣ（ＡＳＩＣ）など、集積回路（ＩＣ）を用いてまたはＩＣ内に実装することに十分適している。おそらくかなりの努力を要し、たとえば、利用可能な時間、現在の技術、および経済的な理由によって動機づけられる多くの設計事項にもかかわらず、当業者は、本明細書に開示する概念および原理を指針とした場合、このようなＩＣを最低限の実験で容易に創造できることが予想される。そのため、本開示に係る原理および概念を簡潔にするために、および曖昧にしてしまうおそれを最低限に抑えるために、このようなソフトウェアおよびＩＣのさらなる説明があるとすれば、好適な実施形態の範囲内の原理および概念の要旨に限定されるだろう。

【0031】

いくつかの実施形態において、上述の技術のいくつかの態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実装されてもよい。ソフトウェアは、非一時的なコンピュータ読取可能な記憶媒体に格納されるまたは有形に含まれる実行可能な命令の１つ以上のセットから構成される。ソフトウェアは、１つ以上のプロセッサによって実行された場合に１つ以上のプロセッサに上述の技術の１つ以上の態様を実行させる命令および特定のデータを含めることができる。非一時的なコンピュータ読取可能な記憶媒体は、たとえば、磁気または光ディスク記憶装置、フラッシュメモリ、キャッシュ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、またはその他の１つまたは複数の非一時的なメモリ素子など、固体記憶装置を含めることができる。非一時的なコンピュータ読取可能な記憶媒体に格納された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈されるまたは実行可能なその他の命令形式で格納されてもよい。

【0032】

本明細書において、第１の、第２の、などの関係語は、ある実体または動作と別の実体または動作とを、このような実体または動作同士の実際のこのような関係または順序を必ずしも必要としたり黙示したりすることなく、区別するためにのみ使用され得る。用語「備える／構成する（ｃｏｍｐｒｉｓｅｓ）」、「備える／構成する（ｃｏｍｐｒｉｓｉｎｇ）」、またはその他の語形変化は、非排他的包含を含むものとするため、列挙された構成要素を備える処理、方法、物品、または装置は、これらの構成要素のみを含むわけではなく、明示的には挙げられていないその他の構成要素、またはこのような処理、方法、物品、もしくは装置に固有なその他の構成要素を含み得る。「〜を備える（ｃｏｍｐｒｉｓｅｓ…ａ）」に先行する構成要素は、当該構成要素を備える処理、方法、物品、または装置における、さらなる同一の構成要素の存在を、さらなる制約なしに排除しない。用語「別の（ａｎｏｔｈｅｒ）」は、本明細書で使用する場合、少なくとも第２のもの以上と定義される。用語「ｉｎｃｌｕｄｉｎｇ」（含む）および／または「有する（ｈａｖｉｎｇ）」は、本明細書で使用する場合、備える（ｃｏｍｐｒｉｓｉｎｇ）と定義される。用語「連結される（ｃｏｕｐｌｅｄ）」は、電気光学技術に関連して本明細書で使用する場合、接続される（ｃｏｎｎｅｃｔｅｄ）と定義されるが、必ずしも直接接続されている必要はなく、必ずしも機械的に接続されている必要もない。用語「プログラム」は、本明細書で使用する場合、コンピュータシステム上で実行されるように設計された一連の命令として定義される。「アプリケーション」、または「ソフトウェア」は、サブルーチン、関数、プロシージャ、オブジェクトのメソッド、オブジェクの実装、実行可能アプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共有ライブラリ／ダイナミックロードライブラリ、および／またはコンピュータシステム上で実行されるように設計されたその他の一連の命令を含み得る。

【0033】

明細書および図面は、一例にすぎないと考えられるべきであり、本開示の範囲は、以下の請求項およびその均等物によってのみ適宜限定されるものである。なお、全体的な説明に上述された活動または構成要素のすべてが必要であるわけではない。特定の活動または装置の一部を必要としなくてもよい。記載されたものに加えて、１つ以上のさらなる活動が実行されてもよく、１つ以上のさらなる構成要素が含まれてもよい。さらに、活動が挙げられている順番は、必ずしもそれらが実行される順番ではない。上に示したフローチャートのステップは、別段の定めがない限り、いかなる順番であってもよく、ステップは、実装によって、排除、繰り返し、および／または追加されてもよい。また、具体的な実施の形態を例に概念を説明した。しかしながら、当業者は、さまざまな変形、変更を、以下の請求項に記載の本開示の範囲から逸脱することなく行うことが可能であることがわかる。したがって、明細書および図面は、厳密ではなく、例示であるとみなされるべきであり、すべてのこのような変形は、本開示の範囲に含まれるものとする。

【0034】

利益、その他の利点、および問題の解決策を、具体的な実施の形態を例に説明した。しかしながら、利益、利点、問題の解決策、およびいずれの利益、利点、または解決策を生じさせ得るまたはより顕著にさせ得るいかなる特徴は、いずれかまたはすべての請求項の重大な特徴、必要な特徴、または必須の特徴として解釈されないものとする。

【図1】

【図2】

【図3】

【図4】

【図5】