特表 2023-546789 レチクルのアライメント

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-08

(54)【発明の名称】レチクルのアライメント

(51)【国際特許分類】

   G09G 5/00 20060101AFI20231031BHJP

   G02B 27/02 20060101ALI20231031BHJP

   G09G 5/38 20060101ALI20231031BHJP

   G09G 5/377 20060101ALI20231031BHJP

   G09G 5/37 20060101ALI20231031BHJP

   G09G 5/373 20060101ALI20231031BHJP

   H04N 5/74 20060101ALI20231031BHJP

   H04N 5/64 20060101ALI20231031BHJP

【ＦＩ】

G09G5/00 550C

G02B27/02 Z

G09G5/00 510G

G09G5/38 100

G09G5/00 510H

G09G5/00 550X

G09G5/00 530M

G09G5/377 100

G09G5/37 320

G09G5/373 300

G09G5/00 X

H04N5/74 A

H04N5/64 511A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023519019

(86)(22)【出願日】2021-10-01

(85)【翻訳文提出日】2023-04-28

(86)【国際出願番号】 US2021053209

(87)【国際公開番号】W WO2022072854

(87)【国際公開日】2022-04-07

(31)【優先権主張番号】63/087,102

(32)【優先日】2020-10-02

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】516201548

【氏名又は名称】ビュージックス コーポレーション

【氏名又は名称原語表記】Ｖｕｚｉｘ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】110003340

【氏名又は名称】弁理士法人湧泉特許事務所

(72)【発明者】

【氏名】ケラー，ブレント

(72)【発明者】

【氏名】トラバース，ポール， ジェイ．

(72)【発明者】

【氏名】ゴゴルスキー，アダム シー．

【テーマコード（参考）】

2H199

5C058

5C182

【Ｆターム（参考）】

2H199CA02

2H199CA12

2H199CA53

2H199CA66

2H199CA67

2H199CA92

5C058BA35

5C058EA02

5C058EA13

5C182AA04

5C182AA05

5C182AA26

5C182AA31

5C182AB33

5C182AC03

5C182AC12

5C182AC38

5C182AC39

5C182AC46

5C182BA01

5C182BA06

5C182BA14

5C182BA35

5C182BA55

5C182BA56

5C182BA65

5C182BA66

5C182BA68

5C182CA11

5C182CA32

5C182CB13

5C182CB14

5C182CB15

5C182CB16

5C182CB23

5C182CB42

5C182CB45

5C182CB47

5C182CB54

5C182CC21

5C182CC27

5C182DA70

(57)【要約】

頭部装着ディスプレイシステムは、画像担持光を生成するように動作可能な画像ソースと、バーチャル像を見ることができるアイボックスに画像担持光ビームを伝送するように動作可能なニアアイディスプレイと、ニアアイディスプレイに隣接して配置され焦点中心を有するカメラと、画像ソースに信号を出力するように動作可能な処理ユニットとを含む。処理ユニットは、画像ソースを介してバーチャル像内にレチクルを形成し、レチクルをカメラの焦点中心に位置させるように動作可能である。

【特許請求の範囲】

【請求項1】

画像担持光を生成するように動作可能な画像ソースと、
前記画像ソースからの画像担持光ビームを、バーチャル像を見ることができるアイボックスへと伝送するように動作可能な導波路と、
前記導波路に隣接して配置され、焦点中心を有するカメラと、
前記画像ソースに信号を出力するように動作可能であり、前記画像ソースを介して前記バーチャル像内にレチクルを形成し、前記レチクルを前記カメラの焦点中心に動的に位置させるように動作可能な処理ユニットと、
を備えた頭部装着ニアアイディスプレイシステム。

【請求項2】

前記処理ユニットと通信する入力デバイスをさらに備え、前記入力デバイスは、前記バーチャル像内で前記レチクルの位置を動的に制御するように動作可能である、請求項１に記載の頭部装着ニアアイディスプレイシステム。

【請求項3】

前記処理ユニットは、前記レチクルと前記カメラの焦点中心との相対的アライメントを記憶するように動作可能である、請求項１に記載の頭部装着ニアアイディスプレイシステム。

【請求項4】

前記処理ユニットは、前記カメラのオートフォーカスシステムの関数として前記レチクルの位置を変更するように動作可能である、請求項１に記載の頭部装着ニアアイディスプレイシステム。

【請求項5】

前記処理ユニットは、前記レチクルの前記位置を、前記オートフォーカスシステムによって決定される前記カメラと対象平面との間の距離の関数として変更するように動作可能である、請求項４に記載の頭部装着ニアアイディスプレイシステム。

【請求項6】

前記処理ユニットは、前記オートフォーカスシステムのアクチュエータの動きの関数として前記レチクルの前記位置を変更するように動作可能である、請求項４に記載の頭部装着ニアアイディスプレイシステム。

【請求項7】

前記処理ユニットは、前記レチクルと前記カメラの焦点中心との相対的アライメントを記憶するように動作可能であり、前記処理ユニットは、前記オートフォーカスシステムと前記記憶された相対アライメントの関数として、前記レチクルの前記位置を変更するように動作可能である、請求項４に記載の頭部装着ニアアイディスプレイシステム。

【請求項8】

前記カメラが前記処理ユニットと通信し、前記処理ユニットが前記画像ソースを介して前記バーチャル像内にバウンディングボックスを形成するように動作可能であり、
前記境界ボックスが、前記カメラの視野の少なくとも一部を表す、請求項１に記載の頭部装着ニアアイディスプレイシステム。

【請求項9】

前記処理ユニットと通信する入力デバイスをさらに備え、前記入力デバイスは、前記バーチャル像内の前記バウンディングボックスのサイズを動的に制御するように動作可能であり、前記カメラのズームは、前記境界ボックスのサイズに比例して変化するように動作可能である、請求項８に記載の頭部装着ニアアイディスプレイシステム。

【請求項10】

前記バウンディングボックスは、正方形、長方形、または楕円形を含む、請求項８に記載の頭部装着ニアアイディスプレイシステム。

【請求項11】

画像担持光を生成するように動作可能な画像ソースと、
操作者の眼の視野内に配置されるように動作可能な眼用アセンブリと、
前記眼用アセンブリ内に配置され、前記画像ソースからの画像担持光ビームを、バーチャル像を見ることができるアイボックスへと伝送するように動作可能な透過性導波路と、
前記眼用アセンブリに隣接して配置され、焦点中心を有するカメラと、
前記画像ソースに信号を出力し、前記画像ソースを介して前記バーチャル像内にレチクルを形成し、前記レチクルを前記カメラの焦点中心に動的に位置させるように動作可能な処理ユニットと、
を備えた頭部装着ニアアイディスプレイシステム。

【請求項12】

前記処理ユニットは、前記バーチャル像の前記レチクルのアライメントを変更するように動作可能であり、それによって視差が低減される、請求項９に記載の頭部装着ニアアイディスプレイシステム。

【請求項13】

処理ユニットと、
前記処理ユニットと通信し、画像担持光を生成するように動作可能な画像ソースと、
前記画像ソースからの画像担持光ビームを、バーチャル像を見ることができるアイボックスへと伝送するように動作可能なニアアイディスプレイと、
前記処理ユニットと通信する入力デバイスと、
前記ニアアイディスプレイに隣接して配置され、焦点中心を有するカメラと、
を備え、
前記バーチャル像内のレチクルの位置は、操作者の目と前記カメラとの間の平均距離の関数として、前記カメラの焦点中心と少なくとも部分的にアライメントされ、
前記入力デバイスは、前記バーチャル像内で前記レチクルの位置を制御して、前記レチクルを前記カメラの焦点中心にアライメントするように動作可能であり、
前記処理ユニットは、前記レチクルと前記カメラの焦点中心の相対的アライメントを記憶するように動作可能である頭部装着ディスプレイシステム。

【請求項14】

前記処理ユニットは、前記記憶された相対アライメントの関数として、前記レチクルの前記位置を変更するように動作可能である、請求項１３に記載の頭部装着ニアアイディスプレイシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、電子ＡＲ／ＶＲディスプレイに関し、より具体的には、レチクルまたはバウンディングボックスを表示するように動作可能な画像光ガイドを用いたディスプレイに関する。

【背景技術】

【0002】

バーチャル像のニアアイディスプレイシステムは、軍用、商業用、産業用、消防用、娯楽用など、さまざまな用途向けに開発されている。これらの用途の多くでは、ユーザーの視野にある現実世界の像に視覚的に重ねることができるバーチャル像を形成することに価値がある。光学的な画像光ガイドは、バーチャル像を視者の瞳孔に向け、上記の重ね合わせ機能を可能にするために、狭い空間内で視者に画像担持光を伝送することができる。

【0003】

ヘッドマウントディスプレイ（ＨＭＤ）やその他の個々の着用者向けアプリケーションに見られるバーチャル像のニアアイディスプレイシステムの較正（キャリブレーション；calibration）は、操作者毎に瞳孔間距離と個人的な好みが異なるため、困難を伴う。本開示は、とりわけ、視差（parallax error）を繰り返し修正するためのプレビュー画像に依存することなく、操作者がカメラビューと現実世界のビューをアライメントできるようにするレチクルを含む光学的アライメントシステムを提供する。

【発明の概要】

【0004】

本開示は、バーチャル像のレチクルを表示し較正するシステムおよび方法を提供する。

【0005】

第１の実施形態では、本開示が提供する頭部装着ディスプレイシステムは、画像担持光を生成するように動作可能な画像ソースと、画像担持光ビームを、バーチャル像を見ることができるアイボックスへと伝送するように動作可能なニアアイディスプレイと、前記ニアアイディスプレイに隣接して配置され焦点中心を有するカメラと、前記画像ソースに信号を出力するように動作可能な処理ユニットと、を備えている。前記処理ユニットは、前記画像ソースを介してバーチャル像内にレチクルを形成し、前記レチクルをカメラの焦点中心に動的に位置させるように動作可能である。

【0006】

前記レチクルは、十字線またはバウンディングボックスとすることができるが、これらに限定されず、ユーザーの好みに合わせた色および形状を有してもよい。本開示はさらに、カメラの機械的アライメントのレベルを保証する頭部装着ニアアイディスプレイの較正方法を提供する。

【図面の簡単な説明】

【0007】

添付の図面は、詳細な説明の一部として本明細書に組み込まれる。図面は、ここで開示されている主題の実施形態を示しており、本開示の選択された原理および教示を示している。しかし、 図面はここで開示されている主題のすべての可能な実施形態を示しているわけではなく、本開示の範囲を限定することを意図していない。

【0008】

【図1A】本開示の主題の例示的実施形態による画像光ガイドの概略上面図であり、この画像光ガイドは、インカップリング回折光学要素と、視者に拡大されたアイボックスを提供するアウトカップリング回折光学要素を有する。

【0009】

【図1B】本開示の主題の例示的実施形態によるヘッドマウントディスプレイ（ＨＭＤ）を装着した人の概略図である。

【0010】

【図2A】本開示の主題の例示的実施形態による頭部装着ニアアイディスプレイシステムにより伝送された、カメラで生成された現実世界の対象のバーチャル像の概略図である。

【0011】

【図2B】本開示の主題の例示的実施形態による頭部装着ニアアイディスプレイシステムを通して見られる現実世界の対象の概略図である。

【0012】

【図3】本開示の主題の例示的実施形態による頭部装着ニアアイディスプレイシステムを通して見た現実世界の対象と、光学的無限遠に現れて現実世界の対象に視覚的に重ね合わされたレチクルの概略図である。

【0013】

【図4A】本開示の主題の例示的な実施形態による頭部装着ニアアイディスプレイシステムを通して見られる焦点マップ（focal map）の概略図であり、カメラの焦点中心が操作者の焦点中心にアライメントされている。

【0014】

【図4B】図４Ａの焦点マップの概略図であり、位置がずれており、カメラの焦点中心と操作者の焦点中心とがアライメントされておらず、視差が生じている状態を示している。

【0015】

【図4C】本開示の主題の例示的な実施形態による頭部装着ニアアイディスプレイシステムにおける図４Ｂの焦点マップの概略図であり、焦点マップのバーチャル像が、視差（レチクルとサブレチクルによって表されている）の影響を受けた状態を示している。

【0016】

【図4D】図４Ｂの焦点マップの概略図であり、焦点マップが頭部装着ニアアイディスプレイシステムの近く配置され、視差が増大した状態を示している。この視差増大は、焦点マップが頭部装着ニアアイディスプレイシステムに近接することに少なくとも部分的に起因する。

【0017】

【図4E】本開示の主題の例示的な実施形態による頭部装着ニアアイディスプレイシステムにおける図４Ｄの焦点マップの概略図であり、視差を考慮した自動アライメント補正を示している。

【0018】

【図5A】本開示の主題の例示的な実施形態による頭部装着ニアアイディスプレイシステムの概略上面図であり、このシステムは、視差を考慮するように動作可能な、動的に配置されるレチクルを示す。

【0019】

【図5B】本開示の主題の例示的な実施形態による頭部装着ニアアイディスプレイシステムの概略上面図であり、このシステムは、視差を考慮するように動作可能な、動的に配置されるレチクルを示す。

【0020】

【図6A】本開示の主題の例示的な実施形態において、頭部装着ニアアイディスプレイシステムを通して見た現実世界の対象と、現実世界の対象に又はその周囲に視覚的に重ね合わされたバーチャルのバウンディングボックスを示す概略図である。

【0021】

【図6B】本開示の主題の例示的な実施形態において、頭部装着ニアアイディスプレイシステムを通して見た現実世界の対象と、現実世界の対象に又はその周囲に視覚的に重ね合わされたバーチャルのバウンディングボックスを示す概略図であり、このバウンディングボックスは、狭められたカメラの視野境界を示している。

【0022】

【図7】本開示の主題の例示的実施形態によるレチクルおよびバウンディングボックスのデザインの概略図である。

【0023】

【図8】本開示の主題の例示的な実施形態による頭部装着ニアアイディスプレイと第三者のレチクルソフトウェアとの結合のためのフロー図である。

【詳細な説明】

【0024】

本発明は、明確に指定されている場合を除いて、様々な代替の向きおよびステップシーケンスを想定し得ることを理解すべきである。添付の図面に示され以下の明細書で説明される特定のアセンブリおよびシステムは、本明細書で定義される発明概念の単なる例示的な実施形態であることも理解されたい。したがって、開示された実施形態に関連する特定の寸法、方向、または他の物理的特性は、特に断りのない限り、限定と見なされるべきではない。また、そうでない場合もあるが、本明細書に記載の様々な実施形態における同様の要素は、同様の参照番号で共通に参照される。

【0025】

本明細書で使用される場合、「第１」、「第２」等の用語は必ずしも順序、順次または優先関係を示すものではなく、特に明記しない限り、単に1つの要素または要素の集合を
他と明確に区別するために用いられる。

【0026】

本明細書で使用される場合、「例示的」という用語は、「例」を意味し、好ましいまたは理想的な実施形態を示唆することを意図していない。

【0027】

本明細書で使用される場合、「視者」、「操作者」、「観察者」、および「ユーザー」という用語は均等と見なされ、頭部装着（ヘッドマウント）ニアアイディスプレイシステムによって伝送されるバーチャル像を視る人または機械を指す。

【0028】

本明細書で使用される場合、「集合（set）」という用語は、要素又はメンバーの集まりをいう概念として初等数学で広く理解されているように、非空集合を指す。本明細書で使用される場合、「部分集合（subset）」という用語は、特に明記されない限り、非空の真部分集合、すなわち、１以上の要素を持つ、より大きな集合のうちの部分集合を指す。部分集合が全体集合Ｓを構成してもよい。しかし、集合Ｓの「真部分集合（proper subset）」は、集合Ｓに完全に含まれ、しかも集合Ｓの少なくとも１つのメンバーを除外したものを指す。

【0029】

本明細書で使用される用語「レチクル」は、ニアアイディスプレイシステムのプロジェクタ／画像ソースによって生成されるバーチャル像を指す。レチクルは、十字線、ポインター、バウンディングボックス（境界ボックス；bounding box）、またはその他の視覚的に識別可能な形態をとることができるが、これらに限定されない。このレチクルは、現実の対象またはバーチャル像に視覚的に重ね合わせることができ、頭部装着ニアアイディスプレイシステムから発せられたコマンドの実行に使用される。バウンディングボックスは、バーチャル像の外縁を示すこともできるし、単に中央のアライメント点を示すこともできる。バウンディングボックスのサイズと形状は、カメラのズームレベルが調整された時にバーチャル像において調整することができる。

【0030】

頭部装着ニアアイディスプレイシステムなどの光学システムは、画像ソースを介してバーチャル像を生成することができる。実像を形成する方法とは対照的に、バーチャル像がディスプレイ面に形成されることはない。つまり、ディスプレイ面がバーチャル像を知覚する位置にあるとしたら、このディスプレイ面に像は形成されない。拡張現実表示において、バーチャル像表示には固有の利点が数多くある。例えば、バーチャル像の見かけの大きさはディスプレイ面の寸法や位置によって制限されない。さらに、バーチャル像のソースとなる対象物は、小さくすることができる。例えば拡大鏡が対象物のバーチャル像を提供する。実像を投影するシステムに比べて、ある程度離れたところにあるように見えるバーチャル像を形成することによって、よりリアルな視覚体験を提供することができる。また、バーチャル像を提供すれば、実像投影の場合には必要となるスクリーンアーチファクトを補正する必要が無くなる。

【0031】

ここで図面に目を向けると、頭部装着ニアアイディスプレイシステムは、軍事、商業、産業、消防、娯楽などのさまざまな用途向けに開発されている。頭部装着ニアアイディスプレイシステムは、頭部装着ニアアイディスプレイシステムのユーザーの視野内にある現実世界に視覚的に重ね合わせることができるバーチャルカラー画像を形成するように動作可能である。図１Ａを参照すると、平面導波路とも呼ばれる光学的に透明な平板平行板導波路１００は、多色または単色のプロジェクタシステム１１０によって生成された画像担持光ＷＩをＨＭＤのユーザーに伝送する。平面導波路１００は、画像担持光ＷＩを狭い空間で伝送し、画像をＨＭＤユーザーの瞳孔に向け、ＨＭＤユーザーの視野にある現実世界の像にバーチャル像４６を重ねることができる。

【0032】

カラー画像投射源１１０からの、コリメートされ相対的に角度的にエンンコードされた光ビームは、インカップリング回折光学要素ＩＤＯなどの入力カップリング光学要素によって光学的に透明な平面導波路１００内へと結合される。このインカップリング回折光学要素は、平行平板の平面導波路の表面に取り付けられるか形成され、またはこの導波路内に配置されている。このような回折光学要素は、回折格子、ホログラフィック光学素子として形成されるが、これらに限定されない。例えば、回折格子は、表面レリーフによって形成することができる。回折されたカラー画像担持光ＷＧは、平面導波路１００に沿って伝搬した後、アウトカップリング回折光学要素ＯＤＯなどの同様の出力カップリング光学要素によって、平面導波路１００の外に戻るように向けられる。この出力カップリング光学要素は、１以上の方向に沿って瞳拡大を提供するように構成されている。さらに、１以上の回折回転格子を導波路１００に沿い光学的に入力格子ＩＤＯと出力格子ＯＤＯの間に配置して、１以上の方向の瞳拡大を提供することができる。平行平板の平面導波路１００から出力された画像担持光ＷＯは、視者に拡大されたアイボックスＥを提供する。導波路１００は、頭部装着ニアアイディスプレイシステムの右眼用アセンブリ２５に示されているが、左眼用アセンブリ２４または両眼用アセンブリ２４、２５に配置してもよい。

【0033】

図１Ｂは、レチクルシステムの一実施形態において、眼鏡（すなわち、スマートグラス）の形態の頭部装着ニアアイディスプレイシステム２０を示す。頭部装着ニアアイディスプレイシステム２０は、少なくとも右テンプルアーム１２と、処理ユニット１８とを含む。処理ユニット１８は、データを格納しコンピュータプログラムを格納し、コンピュータアプリケーションを格納するメモリを有し、コンピュータプログラムおよびアプリケーションを実行する。例えば、処理ユニット１８に格納された頭部装着ニアアイディスプレイシステム２０のソフトウェアは、操作者１０のコマンドの生成、制御、および処理を実行するように動作可能である。処理ユニット１８は、入力デバイス１６及び／又はユーザー入力ボタン１４に接続される。入力デバイス１６は、ユーザー入力を処理ユニット１８に伝達するように動作可能である。一実施形態では、入力デバイス１６はタッチパッドまたはタッチセンサである。タッチセンサ１６は、ユーザー１０の１本以上の指からの入力及び／又はスタイラスからの入力を受信するように動作可能である。当業者であれば、入力ジェスチャが操作者１０の指によって実行されるものとして説明されている場合、入力ジェスチャはスタイラスによっても実行され得ることを理解するであろう。タッチセンサ１６によって受信されるジェスチャには、次に列挙するジェスチャが含まれるが、これらに限定されない。
すなわち、タッチセンサ１６をタップする。タッチセンサ１６を横切るように前から後方向にスワイプ／ドラッグする。タッチセンサ１６を横切るように後から前方向にスワイプ／ドラッグする。タッチセンサ１６を横切るように上から下方向にスワイプ/ドラッグする。タッチセンサ１６を横切るように下から上方向にスワイプ/ドラッグする。タッチセンサ１６を横切るように前から後方向と後から前方向に同時にスワイプ/ドラッグする（例えば、つまみ動作）、およびその逆。タッチセンサ１６を横切るように前から後方向、前方向の順でスワイプ／ドラッグする。タッチセンサ１６を横切るように後から前方向、後方向の順でスワイプ／ドラッグする。タッチセンサ１６を横切るように下から、上方向、下方向の順でスワイプ／ドラッグする。タッチセンサ１６を横切るように上から下方向、上方向の順でスワイプ／ドラッグする。
タッチセンサ１６は、さらにジェスチャ中に１本の指、２本の指、または３本の指のいずれが使用されたかを検出することができる。一実施形態では、ユーザー入力ボタン１４は、コマンドを処理ユニット１８に伝送するように動作可能である。別の実施形態では、操作者１０は、手持ちのデバイスまたは音声入力を介してコマンドを送ることができる。処理ユニット１８は、操作者１０のユーザー入力ボタン１４でのやり取り、またはジェスチャのシーケンスを、記憶された記号のシーケンスとの比較に適した記号のシーケンスに変換することができる。この記憶された記号のシーケンスは、装置の動作を制御する（カメラのオン／オフの切り替え、カメラのフォーカス、バーチャル像の表示と非表示、コンピュータプログラムの有効化と無効化、コンピュータプログラムの制御、ビジュアルガイドの有効化と無効化、ビジュアルガイドの制御、メニューアイテムの選択と制御、ネットワーク化された現実世界の対象およびデバイス４２の選択と制御等を含む）ために使用される。

【0034】

頭部装着ニアアイディスプレイシステム２０は、バーチャル像４６を着用者の目に表示する能力を有する拡張現実（ＡＲ）の単眼または双眼のスマートグラスを含む。頭部装着ニアアイディスプレイシステム２０は、外部処理ユニット（例えばスマートフォン）に接続することができる。この外部処理ユニットは、処理ユニット１８に加えて又は処理ユニット１８の代わりに、バーチャル像４６の表示及び/又はバーチャル像４６内のレチクルの表示を、少なくとも部分的に制御する。

【0035】

頭部装着ニアアイディスプレイシステム２０は、カメラ２２が見ているもののバーチャル像４６のプレビューを示すことができる。カメラ２２は、ユーザー入力ボタン１４、タッチセンサ１６、ジェスチャ、または口頭指令を介して動作可能であり、操作者１０が、複数のタスク（写真の撮影、ビデオの記録、双方向通話、バーコードのスキャン、ネットワーク化された現実世界の対象およびデバイス４２の選択と制御等を含む）を開始できるようにする。

【0036】

一実施形態では、頭部装着ニアアイディスプレイシステム２０は、ユーザー１０の手のジェスチャ、およびＦＯＶ内の現実の対象を見るように配置された少なくとも１つのカメラ２２をさらに備える。一実施形態では、カメラ２２は、頭部装着ニアアイディスプレイシステムの左眼用アセンブリ２４または右眼用アセンブリ２５の外周に隣接して配置される。カメラ２２のＦＯＶは、通常、操作者１０の前方に位置する。別の実施形態では、カメラ２２は、頭部装着ニアアイディスプレイシステム２０の左または右のテンプルアーム１２に配置される。カメラ２２のＦＯＶは、一般に、操作者１０の正面に臨んで配置される。別の実施形態では、カメラ２２または追加のカメラは、頭部装着ニアアイディスプレイシステム２０のＦＯＶを、操作者１０の上、後、または横等の追加の向きで拡張することができる。

【0037】

一実施形態では、頭部装着ニアアイディスプレイシステム２０は、まばたき、ウインク、目の動き、唇の動き、顔の表情などを含む操作者１０の顔の動きを見るように配置された少なくとも１つの操作者対面のカメラ２８をさらに備えることができる。この動きは、装置のある動作の制御（カメラのオン/オフ、カメラのフォーカス、バーチャル像の表示と非表示、バーチャル像表示への注釈付け、コンピュータプログラムの有効化または無効化、コンピュータプログラムの制御、ビジュアルガイドの有効化または無効化、ビジュアルガイドの制御、バーチャルメニュー上のメニューアイテムの選択および制御、ネットワーク化されたアイテムとＩＯＴデバイスなどの現実世界におけるデバイス４２の選択と制御等を含む）を開始するために使用される。一実施形態では、図２Ａ～図３に示すように、操作者に対面するカメラ２８は、左眼用または右眼用アセンブリ２４、２５の眼鏡フレームに配置される。図２Ａ～図３において、操作者に対面する第１のカメラ２８が左テンプルアーム１２に隣接して配置されて示され、操作者に対面する第２のカメラ２８が左眼用アセンブリ２４の眼鏡フレームの下部に配置されている。

【0038】

図２Ａを参照すると、一実施形態では、実世界の対象４２がカメラ２２によってキャプチャされ、そのバーチャル像４６が、頭部装着ニアアイディスプレイシステム２０を介して表示される。この例では、バーチャル像４６は、右眼用アセンブリ２５の導波路１００が頭部装着ニアアイディスプレイシステム２０の他の光学構成要素と連動することにより生成された右眼用のアイボックスを介して、光学的無限遠に位置する。別の実施形態では、バーチャル像４６は、左眼用アセンブリ２４の導波路１００が頭部装着ニアアイディスプレイシステム２０の他の光学部品と連動することにより生成された左眼用のアイボックスを介して、光学的無限遠に位置する。さらに別の実施形態では、バーチャル像４６は、両眼の頭部装着ニアアイディスプレイシステム２０の他の光学構成要素と連動する右眼導波路１００および左眼導波路１００を介して、光学的無限遠に位置する。カメラ２２は、対象に焦点を合わせ、文書およびアイテムをスキャンし、バーコードおよび他のデジタル符号化された機械可読光学ラベルを読み取り、写真をデジタル記録し、現実世界の対象４２のビデオを記録等するように動作可能である。カメラでキャプチャされた画像が、バーチャル像４６に表示される。

【0039】

図２Ｂでは、バーチャル像４６が無効化され、観察者１０は現実世界の対象４２を妨げられずに見ることができる。別の実施形態では、頭部装着ニアアイディスプレイシステム２０はさらに、操作者１０が通常の矯正メガネを用いたのと同様に実世界を見ることができる１つまたは複数の矯正レンズを備える。

【0040】

図３の実施形態で示すように、レチクル６０が有効化される。バーチャル像４６はレチクル６０を含み、レチクル６０は現実世界の対象４２の上に重ねられて見える。この例では、レチクル６０はバーチャル像４６の中心に現れ、操作者１０の視界を遮ることなくカメラ２２の焦点中心を示す。

【0041】

図４Ａ～図４Ｅに示すように、カメラ２２に対する操作者１０の観察角度に起因して対象４２のサイズ、測定値、及び／又は向きが歪むと、視差が発生する。図４Ａに示すように、カメラの焦点中心７０と操作者の焦点中心７２は、焦点マップ７４上でアライメントされる。この焦点マップは、操作者１０の正面において距離をおいて直交して配置されたグリッドを含む。しかし、カメラ２２が操作者１０の目から離れた位置にあるため、カメラの焦点中心７０は、操作者の焦点中心７２とは異なる可能性がある。図４Ｂに示すように、対象平面（例えば、焦点マップ７４）の位置及び／又は観察角度は視差を生じさせる可能性がある。引き続き図４Ｂを参照すると、操作者の焦点中心７２は、焦点マップ７４のグリッドの中心にあるが、カメラの焦点中心７０は、カメラ２２の位置と操作者１０の目との間の距離に比例した距離だけ、操作者の焦点中心７２の中心から離れて配置される。したがって、頭部装着ニアアイディスプレイシステム２０上のカメラ２２の位置は、アライメント誤差を呈示する。

【0042】

頭部装着ニアアイディスプレイシステム２０は、カメラ２２を介して取り込まれた画像のプレビューを示すために用いることができる。このプレビューは、操作者の目からカメラまでの距離を考慮した視差を明らかにする。ただし、このプレビューは、操作者の視野の一部を覆い隠したり、操作者の注意を現実世界から遠ざけたりする可能性がある。本明細書でさらに提供されるように、動的に配置されたレチクル６０を利用して、そのような視差を考慮し、低減／削除することができる。

【0043】

一実施形態では、機械的アライメントを確実にするために、頭部装着ニアアイディスプレイシステム２０は、製造中に工場ツールからの値に基づいて較正される。これらの値は、操作者１０の目からカメラ２２までの平均距離に近似し、カメラの焦点中心７０と操作者の焦点中心７２との間の矯正されたアライメントをユーザーに提供する。一実施形態では、カメラ２２の焦点中心７０は、操作者の焦点中心７２と平行になるようにアライメントすることができる。

【0044】

図４Ｃに示すように、較正前に、レチクル６０は操作者の焦点中心７２とアライメントされ、カメラの焦点中心７０に対するアライメントから外れている。サブレチクル６１が、カメラの焦点中心７０の位置を示す。図４Ｄに示すように、視差は、操作者１０が焦点マップ７４に近づくほど顕著になり、カメラの焦点中心７０は、操作者の焦点中心７２から遠ざかる。

【0045】

図４Ｅを参照すると、一実施形態では、カメラ２２は、頭部装着ニアアイディスプレイシステム２０から離れた対象４２にオートフォーカスするように動作可能である。一実施形態では、カメラ２２のオートフォーカスシステムは、処理ユニット１８と通信する１つ以上のセンサとアクチュエータを含む。例えば、カメラ２２のオートフォーカスシステムは、隣接するピクセルのコントラスト測定を利用して対象物４２の対象平面にカメラの焦点を合わせるように動作可能なパッシブシステムであってもよい。視差を考慮するために、頭部装着ニアアイディスプレイシステム２０のソフトウェアは、オートフォーカスアクチュエータの動きを記録し、レチクル６０がバーチャル像４６内に現れる位置を、記録されたオートフォーカスアクチュエータの動きの関数として動的にシフトするように動作可能である。一実施形態では、処理ユニット１８は、レーザーオートフォーカスおよび飛行時間原理（time-of-flight 原理）を利用して、対象４２の対象平面までの距離を計算し記録するように動作可能である。別の実施形態では、処理ユニット１８は、カメラ２２の焦点距離および光パワーを利用して、対象４２の対象平面までの距離を計算し記録するように動作可能である。次に、処理ユニット１８は、レチクル６０の位置を、カメラ２２から対象平面までの距離の関数としてシフトすることができる。

【0046】

図５Ａ、図５Ｂに示すように、操作者１０が操作者１０から第１、第２の距離にある対象４２（例えば、それぞれ対象平面ＤＩ、Ｄ２）を見ると、視差を考慮するため、バーチャル像４６内のレチクル６０の位置がカメラの２２のオートフォーカスの関数として変化する。カメラ２２が対象平面ＤＩに焦点を合わせた後、対象平面Ｄ２にオートフォーカスすると、レチクル６０の位置はレチクル６０_１の位置からレチクル６０_２の位置に変化する。

【0047】

視差を考慮してレチクル６０の位置を動的に調整することにより、カメラ２２の焦点中心７０が所望の位置にあることを確実するために操作者１０がカメラ２２によって取り込まれた画像のプレビューを分析する必要がなくなる。例えば、操作者１０がカメラ２２を利用して、倉庫の棚ユニット上の異なる位置に配置された複数のアイテムのバーコードをスキャン／読み取る場合、レチクル６０の動的な位置決めにより、各バーコードのバーチャル像４６において、操作者１０はカメラ２２が提供するプレビューを見る必要がなく、カメラの焦点中心７０が所望の位置にあることを確実にすることができる。

【0048】

一実施形態では、操作者１０は、ユーザー入力デバイス（入力ボタン１４、タッチセンサ１６、カメラ２２及び／又は口頭指令等。ただし、これらに限定されない）を使用して、レチクル６０の位置をカメラの焦点中心７０に手動で較正することができる。レチクル６０の位置は、視覚的フィードバックに基づいて、カメラの焦点中心７０とアライメントするように手動で再配置することができる。一実施形態では、この較正は、２つ以上の距離で実行することができる。一旦較正されると、カメラの焦点中心７０に対するレチクル６０の相対的アライメントは、レチクル６０の将来の位置決めのために処理ユニット１８のシステムに保存することができる。一実施形態では、レチクル６０の動的位置決めは、１以上の手動較正により決定されたレチクル６０の相対的アライメントとカメラ２２のオートフォーカスの関数である。

【0049】

図６Ａを参照すると、頭部装着ニアアイディスプレイシステム２０のソフトウェアは、レチクル６０の視覚的表現をバウンディングボックス８０に置き換えることができる。この例示的な実施形態では、バウンディングボックス８０が有効化されると、カメラ２２のＦＯＶのズーム境界８２を画定する長方形などの形状を表示する。別の実施形態では、バウンディングボックス８０は、正方形、円形、楕円形、または他の形状として表示することができる。例示的な実施形態では、バウンディングボックス８０は、複数の色、シェーディング、境界重み、および勾配シェーディングを採用でき、レチクルや、様々なカメラＦＯＶ構成のインジケータ（視線、三分割法グリッド、センターライン他）等の補助要素を含むことができる。境界ボックス８０は、バーチャル像４６内に重ね合わせられたバーチャル像として表示される。

【0050】

図６Ｂに示すように、バウンディングボックス８０は、ズーム境界８２に比例してサイズを変更することができる。バウンディングボックス８０のアスペクト比は、複数のアスペクト比（１：１、３：２、４：３、１６：９、１８：６を含むが、これらに限定されない）を設定することができる。頭部装着ニアアイディスプレイシステム２０のソフトウェアは、カメラ２２に応答して、カメラ２２が予め設定された過焦点距離を超えた時に、バウンディングボックス８０を表示するように切り替えることができる。

【0051】

図７に示すように、レチクル６０は、複数の形状（細い十字線、太い十字線、複式十字線、ジャーマンレチクル、ターゲットドット、ヘビーターゲットドット、ミルドット、円、三角形などを含む）を採用可能である。例示的な実施形態では、レチクル６０は、複数の色、シェーディング、境界重み、および勾配シェーディングを採用することができる。例示的な実施形態では、レチクル６０は、視線、三分割法グリッド、センターラインなどの様々なカメラＦＯＶ構成のインジケータの形状を採用することもできる。頭部装着ニアアイディスプレイシステム２０のソフトウェアにより、操作者１０は、レチクル６０とバウンディングボックス８０の異なる実施形態の間で切り替えることができる。

【0052】

コードライブラリが提供されてもよい。このコードライブラリでは、第三者がシステムコマンドを介して、レチクル６０またはバウンディングボックス８０の様々なデザインを生成することができる。これらのデザインは、頭部装着ニアアイディスプレイシステム２０を使用してバーチャル像を生成するために開発されたコンピュータプログラムまたはアプリケーションに含まれ得る。例示的な実施形態では、バウンディングボックス８０は、ＦＯＶの中心を示すレチクル６０も含むことができる。

【0053】

図８は、第三者がレチクルプログラミングを頭部装着ニアアイディスプレイシステム２０のソフトウェアに結合（統合）する方法のフロー図４００を示す。ステップ４１０では、第三者のアプリケーション（以下、「アプリ」と言う）が、頭部装着ニアアイディスプレイシステム２０にダウンロードされる。ステップ４１２では、第三者のアプリが操作者１０によるコマンド入力を介して起動され、初期化される。第三者アプリの初期化は、頭部装着ニアアイディスプレイシステム２０のハードウェアとの接続を確立するためのシステムコールを含む。この初期化の一部として、ステップ４１４は第三者アプリのカメラ２２との結合要求を含む。ステップ４１６では、第三者アプリがソフトウェアと対話する方法の好みを選択するように操作者１０に要求する。別の実施形態では、第三者アプリはレチクル６０の使用を要求し、バーチャル像４６を介したプレビューを許可しない。第三者のソフトウェアアプリが、操作者１０にプレビューの選択を許可した場合には、ステップ４２０で、このユーザー要求を示す。プレビューが必要な場合は、第三者のソフトウェアアプリは、レチクル６０を表示する代わりに、ステップ４２２に示すように、バーチャル像４６を通してプレビューを付与する。ステップ４２４では、第三者ソフトウェアアプリは、操作者１０のコマンドに従って、レチクル６０を表示する。頭部装着ニアアイディスプレイシステム２０のソフトウェアは、すべての基本機能を実行するように動作可能であるが、それに限定されない。ステップ４３０では、操作者１０は第三者アプリを使用して、第三者のアプリによって決定されたキャプチャ（取り込み）条件に従って、カメラ２２を用いてビデオまたは写真をキャプチャする。この条件には、外部要因（照明や定義された外部焦点の存在など）、または第三者によって定義された内部要因（他のユーザーのこのソフトウェアへの接続、ライセンス、またはプライベートネットワークへの接続など）が含まれるが、これらに限定されない。ステップ４３２では、操作者１０は、データキャプチャの要求を開始する。ステップ４３４では、第三者のアプリは写真またはビデオのキャプチャを実行するように動作可能である。ステップ４３６に示すように、頭部装着ニアアイディスプレイシステム２０によってキャプチャされたデータは、頭部装着ニアアイディスプレイシステム２０の内部処理システムに保存される。別の実施形態では、データは、頭部装着ニアアイディスプレイシステム２０の他のソフトウェアアプリケーションに送信することができる。

【0054】

本明細書に記載の実施形態の１つまたは複数の特徴を組み合わせて、図示されていない追加の実施形態を作成することができる。様々な実施形態を詳細に説明したが、それらは例として提示したものであり、限定するものではないことを理解されたい。開示された主題が、その範囲、精神、または本質的な特徴から逸脱することなく、他の特定の形態、変形、および修正で具現化され得ることは、当業者には明らかであろう。したがって、上述の実施形態は、あらゆる点で例示的であり、限定的ではないと見なされるべきである。本発明の範囲は、添付の特許請求の範囲によって示されており、その均等の意味および範囲内にあるすべての変更が含まれることが意図されている。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【国際調査報告】