ホーム > 特許ランキング > Ｌｕｍｕｓ Ｌｔｄ．
特開2023-81930アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023081930
(43)【公開日】2023-06-13
(54)【発明の名称】アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法
(51)【国際特許分類】
G02B 27/02 20060101AFI20230606BHJP
G02B 30/20 20200101ALI20230606BHJP
G09G 5/36 20060101ALI20230606BHJP
G09G 5/00 20060101ALI20230606BHJP
G09G 5/38 20060101ALI20230606BHJP
G03B 35/18 20210101ALI20230606BHJP
G03B 35/08 20210101ALI20230606BHJP
G03B 19/06 20210101ALI20230606BHJP
H04N 13/344 20180101ALI20230606BHJP
H04N 13/327 20180101ALI20230606BHJP
H04N 13/239 20180101ALI20230606BHJP
【ＦＩ】
G02B27/02 Z
G02B30/20
G09G5/36 500
G09G5/00 X
G09G5/00 550C
G09G5/38
G09G5/00 510H
G03B35/18
G03B35/08
G03B19/06
H04N13/344
H04N13/327
H04N13/239
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023031303
(22)【出願日】2023-03-01
(62)【分割の表示】P 2019571700の分割
【原出願日】2019-01-02
(31)【優先権主張番号】62/612,740
(32)【優先日】2018-01-02
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】518010049
【氏名又は名称】ルムス エルティーディー．
【氏名又は名称原語表記】Ｌｕｍｕｓ Ｌｔｄ．
【住所又は居所原語表記】８ Ｐｉｎｃｈａｓ Ｓａｐｉｒ Ｓｔｒｅｅｔ， ７４０３６３１ Ｎｅｓｓ Ｚｉｏｎａ， Ｉｓｒａｅｌ
(74)【代理人】
【識別番号】110003797
【氏名又は名称】弁理士法人清原国際特許事務所
(72)【発明者】
【氏名】ダンジガー，ヨチャイ
(57)【要約】 （修正有）
【課題】両眼拡張現実ディスプレイデバイスおよび対応する方法が、エンドユーザによってアライメントキャリブレーションが実行されることを可能にする。
【解決手段】１つのアプローチに従うと、カメラ８０は、左眼用ディスプレイからの投影画像の一部および右眼用ディスプレイからの投影画像の一部を同時に含む視野を有するように配置される。各ディスプレイを介して較正画像の少なくとも一部を投影すること、およびカメラでサンプリングされた画像内で右視野および左視野のアライメント特性を識別することにより、アライメント補正を導き出すことができる。代替的なアプローチは、右眼および左眼それぞれのディスプレイユニットに厳密に関連付けられた前向きカメラによってサンプリングされた画像の相関を利用するか、または、横方向にスワップされたカメラ画像を現実世界の視野にアラインするための手動調整を入力するようにユーザに要求する。
【選択図】図１０Ａ
【解決手段】１つのアプローチに従うと、カメラ８０は、左眼用ディスプレイからの投影画像の一部および右眼用ディスプレイからの投影画像の一部を同時に含む視野を有するように配置される。各ディスプレイを介して較正画像の少なくとも一部を投影すること、およびカメラでサンプリングされた画像内で右視野および左視野のアライメント特性を識別することにより、アライメント補正を導き出すことができる。代替的なアプローチは、右眼および左眼それぞれのディスプレイユニットに厳密に関連付けられた前向きカメラによってサンプリングされた画像の相関を利用するか、または、横方向にスワップされたカメラ画像を現実世界の視野にアラインするための手動調整を入力するようにユーザに要求する。
【選択図】図１０Ａ
【特許請求の範囲】
【請求項1】
両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間の立体視アライメント補正のための方法であって、前記方法は、以下の工程、
（ａ）拡張現実デバイスを供給する工程であって、
（ｉ）前向きの第１のカメラと堅固に一体化された第１の拡張現実ディスプレイを備えた右眼用ディスプレイユニット、
（ｉｉ）前向きの第２のカメラと堅固に一体化された第２の拡張現実ディスプレイを備えた左眼用ディスプレイユニット、および
（ｉｉｉ）前記右眼用ディスプレイユニットと前記左側用ディスプレイユニットとの間を相互接続する支持構造
を備えた、拡張現実デバイスを供給する工程、
（ｂ）前記第１のカメラと前記第１の拡張現実ディスプレイとの間の第１のアライメントマッピング、および前記第２のカメラと前記第２の拡張現実ディスプレイとの間の第２のアライメントマッピングを供給する工程、
（ｃ）前記第１のカメラから少なくとも１つの画像をサンプリングする工程、
（ｄ）前記第２のカメラから少なくとも１つの画像をサンプリングする工程、
（ｅ）前記第１のカメラと前記第２のカメラとの間の相対的な配向を示すカメラ間マッピングを導き出すために、前記第１のカメラおよび前記第２のカメラからの前記画像を同時処理する工程、
（ｆ）前記第１の拡張現実ディスプレイおよび前記第２の拡張現実ディスプレイの相対的な配向を示すディスプレイ間アライメントマッピングを導き出すために、前記カメラ間マッピングを前記第１のアライメントマッピングおよび前記第２のアライメントマッピングと合わせる工程、ならびに
（ｇ）前記ディスプレイ間アライメントマッピングに基づいて前記拡張現実ディスプレイデバイスにアライメント補正を実施する工程
を包含する、方法。
（ａ）拡張現実デバイスを供給する工程であって、
（ｉ）前向きの第１のカメラと堅固に一体化された第１の拡張現実ディスプレイを備えた右眼用ディスプレイユニット、
（ｉｉ）前向きの第２のカメラと堅固に一体化された第２の拡張現実ディスプレイを備えた左眼用ディスプレイユニット、および
（ｉｉｉ）前記右眼用ディスプレイユニットと前記左側用ディスプレイユニットとの間を相互接続する支持構造
を備えた、拡張現実デバイスを供給する工程、
（ｂ）前記第１のカメラと前記第１の拡張現実ディスプレイとの間の第１のアライメントマッピング、および前記第２のカメラと前記第２の拡張現実ディスプレイとの間の第２のアライメントマッピングを供給する工程、
（ｃ）前記第１のカメラから少なくとも１つの画像をサンプリングする工程、
（ｄ）前記第２のカメラから少なくとも１つの画像をサンプリングする工程、
（ｅ）前記第１のカメラと前記第２のカメラとの間の相対的な配向を示すカメラ間マッピングを導き出すために、前記第１のカメラおよび前記第２のカメラからの前記画像を同時処理する工程、
（ｆ）前記第１の拡張現実ディスプレイおよび前記第２の拡張現実ディスプレイの相対的な配向を示すディスプレイ間アライメントマッピングを導き出すために、前記カメラ間マッピングを前記第１のアライメントマッピングおよび前記第２のアライメントマッピングと合わせる工程、ならびに
（ｇ）前記ディスプレイ間アライメントマッピングに基づいて前記拡張現実ディスプレイデバイスにアライメント補正を実施する工程
を包含する、方法。
【請求項2】
前記第１のカメラおよび前記第２のカメラからの前記少なくとも１つの画像は、遠景に対してサンプリングされる、請求項１に記載の方法。
【請求項3】
前記第１のカメラおよび前記第２のカメラからの前記少なくとも１つの画像が複数の画像であり、前記同時処理する工程が、前記複数の画像に含まれるシーンの少なくとも一部の３次元モデルを導き出すことを含む、請求項１に記載の方法。
【請求項4】
両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間の立体視アライメント補正のための方法であって、前記方法は、以下の工程、
（ａ）右眼用拡張現実ディスプレイ、左眼用拡張現実ディスプレイ、前記右眼用拡張現実ディスプレイに空間的に関連付けられた右カメラ、および前記左眼用拡張現実ディスプレイに空間的に関連付けられた左カメラを備えた拡張現実ディスプレイを供給する工程、
（ｂ）第１の相互登録プロセスを実行する工程であって、
（ｉ）前記右カメラによってサンプリングされたシーンの少なくとも１つの画像を取得すること、
（ｉｉ）前記左眼用拡張現実ディスプレイを介して、前記右カメラによってサンプリングされた前記少なくとも１つの画像から導き出された少なくとも１つのアライメント特性を表示すること、
（ｉｉｉ）少なくとも１つのアライメント特性と、前記シーンの対応する直接見られる特性との間のアライメントオフセットを示すユーザからの入力を受信すること、および
（ｉｖ）少なくとも１つのアライメント特性が前記シーンの対応する直接見られる特性とアラインされるまで、ユーザ入力に従って少なくとも１つのアライメント特性の表示の位置を修正すること
を含む、第１の相互登録プロセスを実行する工程、
（ｃ）第２の相互登録プロセスを実行する工程であって、
（ｉ）前記左カメラによってサンプリングされたシーンの少なくとも１つの画像を取得すること、
（ｉｉ）前記右眼用拡張現実ディスプレイを介して、前記左カメラによってサンプリングされた前記少なくとも１つの画像から導き出された少なくとも１つのアライメント特性を表示すること、
（ｉｉｉ）少なくとも１つのアライメント特性と、前記シーンの対応する直接見られる特性との間のアライメントオフセットを示すユーザからの入力を受信すること、および
（ｉｖ）少なくとも１つのアライメント特性が前記シーンの対応する直接見られる特性とアラインされるまで、ユーザ入力に従って少なくとも１つのアライメント特性の表示の位置を修正すること
を含む、第２の相互登録プロセスを実行する工程、ならびに
（ｄ）前記ユーザ入力に基づいて、拡張現実ディスプレイデバイスにアライメント補正を実施する工程
を包含する、方法。
（ａ）右眼用拡張現実ディスプレイ、左眼用拡張現実ディスプレイ、前記右眼用拡張現実ディスプレイに空間的に関連付けられた右カメラ、および前記左眼用拡張現実ディスプレイに空間的に関連付けられた左カメラを備えた拡張現実ディスプレイを供給する工程、
（ｂ）第１の相互登録プロセスを実行する工程であって、
（ｉ）前記右カメラによってサンプリングされたシーンの少なくとも１つの画像を取得すること、
（ｉｉ）前記左眼用拡張現実ディスプレイを介して、前記右カメラによってサンプリングされた前記少なくとも１つの画像から導き出された少なくとも１つのアライメント特性を表示すること、
（ｉｉｉ）少なくとも１つのアライメント特性と、前記シーンの対応する直接見られる特性との間のアライメントオフセットを示すユーザからの入力を受信すること、および
（ｉｖ）少なくとも１つのアライメント特性が前記シーンの対応する直接見られる特性とアラインされるまで、ユーザ入力に従って少なくとも１つのアライメント特性の表示の位置を修正すること
を含む、第１の相互登録プロセスを実行する工程、
（ｃ）第２の相互登録プロセスを実行する工程であって、
（ｉ）前記左カメラによってサンプリングされたシーンの少なくとも１つの画像を取得すること、
（ｉｉ）前記右眼用拡張現実ディスプレイを介して、前記左カメラによってサンプリングされた前記少なくとも１つの画像から導き出された少なくとも１つのアライメント特性を表示すること、
（ｉｉｉ）少なくとも１つのアライメント特性と、前記シーンの対応する直接見られる特性との間のアライメントオフセットを示すユーザからの入力を受信すること、および
（ｉｖ）少なくとも１つのアライメント特性が前記シーンの対応する直接見られる特性とアラインされるまで、ユーザ入力に従って少なくとも１つのアライメント特性の表示の位置を修正すること
を含む、第２の相互登録プロセスを実行する工程、ならびに
（ｄ）前記ユーザ入力に基づいて、拡張現実ディスプレイデバイスにアライメント補正を実施する工程
を包含する、方法。
【請求項5】
前記相互登録プロセスのそれぞれの前記少なくとも１つのアライメント特性は、サンプリングされた画像の少なくとも一部である、請求項４に記載の方法。
【請求項6】
前記相互登録プロセスのそれぞれの前記少なくとも１つのアライメント特性は、サンプリングされた画像で検出された特徴に対応する位置マーカーである、請求項４に記載の方法。
【請求項7】
サンプリングされた画像内の物体までの推定距離を取得する工程をさらに包含する、前記推定距離は、前記アライメント補正を実施するために利用される、請求項４に記載の方法。
【請求項8】
前記右カメラは、前記右眼用拡張現実ディスプレイに対して堅固に取り付けられ、前記左カメラは、前記左眼用ディスプレイに対して堅固に取り付けられ、前記アライメント補正は、前記右眼用拡張現実ディスプレイに対する前記右カメラの相対アライメントデータ、および前記左眼用拡張現実ディスプレイに対する前記左カメラの相対アライメントデータを使用して実施される、請求項４に記載の方法。
【請求項9】
前記右カメラおよび前記左カメラの一方に対応する、前記右眼用拡張現実ディスプレイおよび前記左眼用拡張現実ディスプレイの少なくとも一方のアライメントを補正するためのユーザ入力を受信するための、少なくとも１つの追加登録プロセスを実行する工程をさらに包含する、請求項４に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実ディスプレイに関し、特に、両眼拡張現実ディスプレイの左眼用ディスプレイおよび右眼用ディスプレイのアライメントを調整するための配置を備えた両眼拡張現実ディスプレイ、ならびに対応するアライメント方法に関する。
【背景技術】
【0002】
拡張画像の効果的な両眼観察体験を提供するために、拡張現実の眼鏡は正確にアラインされなければならず、比較的小さなアライメントのずれでも眼精疲労や頭痛を引き起こすリスクがあり得る。従来のアプローチは、典型的には、予備的なアライメントおよびディスプレイの固定相対位置を達成するために、左眼用ディスプレイおよび右眼用ディスプレイを、図１Ａに図示される機械的に堅固な共通支持構造上に取り付けることを伴う。図１Ｂに概略的に示されるように、画像の電子シフトによって最終的な微細なアライメントが達成され、この図は、ディスプレイ間の正しいアライメントを実現するための、画像生成マトリックス３０（すなわち、ディスプレイ視野の物理的末端）、および、通常、各ディスプレイに関連するファームウェアにプログラムされた較正マトリックスに従って変換された投影画像３２を示す。３０と３２との間のマージンは、事前に規定された制限内でアライメントの誤りを補正するために要求されるいかなる変換にも対応するように、システムに設計されている。
【0003】
このアプローチに従う例示的なアライメントプロセスは、本明細書において図１Ａ－２を参照して例証される。電子アライメントパラメータは、眼鏡を２台の同時アラインされたカメラの前に配置し、２台のプロジェクタによって生成された拡張画像の配向を比較することによって生成される。導き出された較正データは、画像プロジェクタの変換ファームウェアに導入される。あるいは、光学システムの機械的アライメントは、要求される光学的精度の範囲内で正確にすることができる。上記のアライメントプロセスには専用の光学アライメントベンチが要求され、生産施設における実装のためにのみ適している。
【0004】
この技術を消費者市場のためにより適したものにするために、軽量かつコンパクトなフォームファクターで拡張現実眼鏡を実装する必要がある。しかし、軽量の実装では、時間の経過とともに２つのディスプレイの不変のアライメントを保証するために十分な機械的な堅固さが不足することが多く、その代わりに熱変動およびその他の機械的または環境的影響に起因する変動を受ける。
【0005】
さらに、瞳孔間距離（ＩＰＤ、眼の間の距離）は、様々な人について１５ミリメートルまで異なる可能性がある。結果として、２台のプロジェクタがしっかりと接続されている場合、各アイボックス（すなわち、図１Ａの領域１０として示される、瞳孔があると予想される各プロジェクタの照射領域）は、規定されたマージン内にＩＰＤを有する可能性のあるすべてのユーザに対応するために、各眼について１５／２＝７．５ｍｍだけ、より広くなければならない。大きなアイボックスは、よりかさ高くかつ高価な光学部品を決定付ける。ＩＰＤ調整用のメカニズムが提供されている場合、通常、これが２つのディスプレイ間のアライメントにさらなる不確実性を導入し、いかなる事前に較正されたアライメント補正も信頼できなくする。
【発明の概要】
【0006】
本発明は、両眼拡張現実ディスプレイの左眼用ディスプレイおよび右眼用ディスプレイのアライメントを調整するための配置を備えた両眼拡張現実ディスプレイ、および対応するアライメント方法である。
【0007】
本発明の実施形態の教示によれば、両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間のアライメント補正を導き出すための方法が提供され、上記方法は、以下の工程、（ａ）カメラの視野が左眼用ディスプレイからの投影画像の一部と右眼用ディスプレイからの投影画像の一部を同時に含むように、視野を有するカメラを配置する工程、（ｂ）右眼用ディスプレイおよび左眼用ディスプレイのそれぞれを介して、少なくとも１つの右視野アライメント特性および少なくとも１つの左視野アライメント特性を含む較正画像の少なくとも一部を投影する工程、（ｃ）カメラを利用して画像をサンプリングする工程、（ｄ）上記画像内で上記右視野アライメント特性および上記左視野アライメント特性を識別する工程、ならびに（ｅ）上記右視野アライメント特性および上記左視野アライメント特性の画像内の位置から、拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間のアライメント補正を導き出す工程を包含する。
【0008】
本発明の実施形態のさらなる特徴によれば、画像が、右眼用ディスプレイを介して見られる右視野アライメント特性、および左眼用ディスプレイを介して見られる左視野アライメント特性を含むように、カメラが拡張現実ディスプレイデバイスの表示側に配置される。
【0009】
本発明の実施形態のさらなる特徴によれば、投影された較正画像は見かけの焦点距離を用いて表示され、カメラは見かけの焦点距離において焦点が合わされる。
【0010】
本発明の実施形態のさらなる特徴によれば、カメラは、右眼用ディスプレイおよび左眼用ディスプレイのそれぞれからの画像照射の外向きに反射された部分を捕捉し、画像が右眼用ディスプレイを介して見られる左視野アライメント特性、および左眼用ディスプレイを介して見られる右視野アライメント特性を含むように、上記カメラが、拡張現実ディスプレイデバイスの表示側から反対側に配置される。
【0011】
本発明の実施形態のさらなる特徴によれば、カメラはハンドヘルドカメラであり、上記方法は、カメラの正しい位置決めを支援するために、少なくとも１つの指示を、右眼用ディスプレイおよび／または左眼用ディスプレイを介してユーザに表示することをさらに包含する。
【0012】
本発明の実施形態のさらなる特徴によれば、（ａ）少なくとも３つの基準点を規定するために十分な両眼拡張現実ディスプレイデバイスに関連付けられた特徴が画像内で識別され、および（ｂ）カメラの位置は上記少なくとも３つの基準点に対して決定される。
【0013】
本発明の実施形態のさらなる特徴によれば、位置決めは、反射視野が左眼用ディスプレイからの投影画像の一部と右眼用ディスプレイからの投影画像の一部を同時に含むように、カメラを鏡に向けることを含む。
【0014】
本発明の実施形態のさらなる特徴によれば、カメラは、スクリーンと一体化されたモバイルデバイスのカメラであり、上記方法は、カメラの正しい位置決めを支援するために少なくとも１つの指示を上記スクリーンを介してユーザに表示することをさらに含む。
【0015】
本発明の実施形態のさらなる特徴によれば、上記拡張現実ディスプレイデバイスに対するアライメント補正は、導き出されたアライメント補正に基づいて実施される。
【0016】
本発明の実施形態の教示によれば、両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間の立体視アライメント補正のための方法もまた提供され、上記方法は、以下の工程、（ａ）拡張現実デバイスを供給する工程であって、（ｉ）前向きの第１のカメラと厳密に統合された第１の拡張現実ディスプレイを備えた右眼用ディスプレイユニット、（ｉｉ）前向きの第２カメラと厳密に統合された第２の拡張現実ディスプレイを備えた左眼用ディスプレイユニット、および（ｉｉｉ）上記右眼用ディスプレイユニットと上記左眼用ディスプレイユニットとの間を相互接続する支持構造を備えた、拡張現実デバイスを供給する工程、（ｂ）上記第１のカメラと上記第１の拡張現実ディスプレイとの間の第１のアライメントマッピング、および上記第２のカメラと上記第２の拡張現実ディスプレイとの間の第２のアライメントマッピングを供給する工程、（ｃ）上記第１のカメラから少なくとも１つの画像をサンプリングする工程、（ｄ）上記第２のカメラから少なくとも１つの画像をサンプリングする工程、（ｅ）上記第１のカメラおよび第２のカメラからの上記画像を同時処理して、上記第１のカメラと上記第２のカメラとの間の相対的な配向を示すカメラ間マッピングを導き出す工程、（ｆ）上記カメラ間マッピングを上記第１のアライメントマッピングおよび上記第２のアライメントマッピングと組み合わせて、上記第１の拡張現実ディスプレイおよび上記第２の拡張現実ディスプレイの相対的な配向を示すディスプレイ間アライメントマッピングを導き出す工程、ならびに（ｇ）上記ディスプレイ間アライメントマッピングに基づいて上記拡張現実ディスプレイデバイスにアライメント補正を実装する工程を包含する。
【0017】
本発明の実施形態のさらなる特徴によれば、上記第１のカメラおよび上記第２のカメラからの上記少なくとも１つの画像は、遠景に対してサンプリングされる。
【0018】
本発明の実施形態のさらなる特徴によれば、上記第１のカメラおよび上記第２のカメラからの上記少なくとも１つの画像が複数の画像であり、上記同時処理が、上記複数の画像に含まれるシーンの少なくとも一部の３次元モデルを導き出すことを含む。
【0019】
本発明の実施形態の教示によれば、両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間の立体視アライメント補正のための方法もまた提供され、上記方法は、以下の工程、（ａ）右眼用拡張現実ディスプレイ、左眼用拡張現実ディスプレイ、上記右眼用拡張現実ディスプレイに空間的に関連付けられた右カメラ、および上記左眼用拡張現実デバイスに空間的に関連付けられた左カメラを備えた拡張現実ディスプレイを供給する工程、（ｂ）第１の相互登録プロセスを実行する工程であって、（ｉ）上記右カメラによってサンプリングされたシーンの少なくとも１つの画像を取得すること、（ｉｉ）上記左眼用拡張現実ディスプレイを介して、上記右カメラによってサンプリングされた上記少なくとも１つの画像から導き出された少なくとも１つのアライメント特性を表示すること、（ｉｉｉ）少なくとも１つのアライメント特性と、上記シーンの対応する直接見られる特性との間のアライメントオフセットを示すユーザからの入力を受信すること、および（ｉｖ）少なくとも１つのアライメント特性が上記シーンの対応する直接見られる特性とアラインされるまで、ユーザ入力に従って少なくとも１つのアライメント特性の表示の位置を補正することを含む、第１の相互登録プロセスを実行する工程、（ｃ）第２の相互登録プロセスを実行する工程であって、（ｉ）上記左カメラによってサンプリングされたシーンの少なくとも１つの画像を取得すること、（ｉｉ）上記左眼用拡張現実ディスプレイを介して、上記左カメラによってサンプリングされた上記少なくとも１つの画像から導き出された少なくとも１つのアライメント特性を表示すること、（ｉｉｉ）少なくとも１つのアライメント特性と、上記シーンの対応する直接見られる特性との間のアライメントオフセットを示すユーザからの入力を受信すること、および（ｉｖ）少なくとも１つのアライメント特性が上記シーンの対応する直接見られる特性とアラインされるまで、ユーザ入力に従って少なくとも１つのアライメント特性の表示の位置を補正することを含む、第２の相互登録プロセスを実行する工程、ならびに（ｄ）上記ユーザ入力に基づいて、拡張現実ディスプレイデバイスにアライメント補正を実装する工程を包含する方法。
【0020】
本発明の実施形態のさらなる特徴によれば、上記相互登録プロセスのそれぞれの上記少なくとも１つのアライメント特性は、サンプリングされた画像の少なくとも一部である。
【0021】
本発明の実施形態のさらなる特徴によれば、上記相互登録プロセスのそれぞれの上記少なくとも１つのアライメント特性は、サンプリングされた画像で検出された特徴に対応する位置マーカーである。
【0022】
本発明の実施形態のさらなる特徴によれば、サンプリングされた画像中の物体までの推定距離が取得され、上記推定距離は、上記アライメント補正を実装するために利用される。
【0023】
本発明の実施形態のさらなる特徴によれば、上記右カメラは、上記右眼用拡張現実ディスプレイに対して厳密に取り付けられ、上記左カメラは、上記左眼用ディスプレイに対して厳密に取り付けられ、上記アライメント補正は、上記右眼用拡張現実ディスプレイに対する上記右カメラの相対アライメントデータ、および上記左眼用拡張現実ディスプレイに対する上記左カメラの相対アライメントデータを使用して実装される。
【0024】
本発明の実施形態のさらなる特徴によれば、上記右カメラおよび上記左カメラの対応する位置に対する、上記右眼用拡張現実ディスプレイおよび上記左眼用拡張現実ディスプレイの少なくとも一方のアライメントを補正するためのユーザ入力を受信するために、少なくとも１つの追加登録プロセスが実施される。
【図面の簡単な説明】
【0025】
本発明は、単なる例示目的で、添付の図面を参照して、本明細書において説明される。
【図1A】上記の通り、従来技術による両眼拡張現実ディスプレイの上面図である。
【図1B】拡張現実ディスプレイの電子アライメント補正の原理を説明する概略図である。
【図2】従来技術による拡張現実ディスプレイを較正するための工場調整プロセスを図示する流れ図である。
【図3】本発明の実施形態に従って構築され動作する、ＩＰＤを調整するための配置を備えた両眼拡張現実ディスプレイの概略正面図である。
【図7】異なる方向からの物体またはシーンの複数の画像のサンプリングを含む較正プロセスの概略図である。
【図9A】アライメント較正のための代替技術を利用した拡張現実ディスプレイデバイスの側面概略図である。
【図9B】アライメント較正のための代替技術を利用した拡張現実ディスプレイデバイスの正面概略図である。
【図9C】本発明のこの態様による、ユーザによって実行されるアライメント調整の概略図である。
【図10A】本発明のさらなる態様によるアライメント較正の実装の間の拡張現実ディスプレイデバイスの概略側面図である。
【図10B】拡張現実画像をユーザの眼まで送達するための導光光学要素の２つの可能な形状を示す拡大概略側面図である。
【図11D】本発明のこの態様によるアライメント較正の実行の間の拡張現実ディスプレイを介する表示のための較正画像の略図である。
【図11E】本発明のこの態様によるアライメント較正の実行の間のカメラによってサンプリングされた画像の概略図である。
【発明を実施するための形態】
【0026】
本発明は、両眼拡張現実ディスプレイの左眼用ディスプレイおよび右眼用ディスプレイのアライメントを調整するための配置を備えた両眼拡張現実ディスプレイ、および対応するアライメント方法である。
【0027】
本発明によるデバイスおよび方法の原理および動作は、図面および付随する説明を参照してより良好に理解することができる。
【0028】
導入の目的で、本発明は、両眼拡張現実ディスプレイの右眼ディスプレイと左眼ディスプレイとの間の事前較正されたアライメントが存在しないか、信頼できると見なすことができないかのいずれかの一定の範囲の状況に対処する。これは、長期間および／もしくは変動する環境条件にわたる、構成要素の不変の厳密なアライメントを保証できない軽量構造構成要素の使用に起因する可能性があるか、または、ディスプレイの不正確な最終アライメントが生じる可能性がある、調整メカニズム、特にＩＰＤ調整メカニズムの存在に起因する可能性がある。ＩＰＤ調整メカニズムの存在が特に好ましく、それによって、プロジェクタのアイボックスサイズおよび結果として生じるプロジェクタのかさ高さ、複雑さ、およびコストの要求を軽減しながら、様々な瞳孔間距離を有するユーザに、拡張現実ディスプレイデバイスを適応させることを可能にする。しかし、ＩＰＤ調整メカニズムは、通常、２台のディスプレイプロジェクタのアライメントに変動性を導入する。
【0029】
これらの問題に対処するために、本発明は、エンドユーザの通常の作業環境において、かついかなる特殊な機器の必要性も伴うことなく、両眼拡張現実ディスプレイデバイスの右眼用および左眼用のディスプレイのアライメントの較正または再較正を可能にする３つのグループのソリューションを提供する。具体的には、アライメント補正技術の第１のサブセットは、それぞれの左眼用および右眼用のディスプレイに関連付けられた両側カメラによってサンプリングされた画像の相関に基づいて、自動または半自動のアライメントプロセスとして実装される。デバイスに取り付けられたカメラもまた利用する、アライメント補正技術の第２のサブセットは、表示された特性を、対応する現実世界の特徴とアラインさせるためのユーザ入力を要求する。最後に、アライメント補正技術の第３のサブセットは、デバイスに取り付けられたカメラに依存せずに適用でき、その代わりに外部カメラに依存する。これらの技術のサブセットのそれぞれはまた、好ましくは、対応する技術を実装するように構成された制御コンポーネントを備えた両眼拡張現実デバイスの別個の実装に対応する。ここで、各アプローチについて詳しく説明する。
【0030】
ここで、図面を参照すると、図３～８は、両眼拡張現実ディスプレイデバイス、初期部分アライメントプロセス、および両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間の立体視アライメント補正のための対応する方法の様々な態様を図示しており、すべてが本発明の態様の第１のアプローチに従っている。このアプローチによれば、２つのディスプレイ（「プロジェクタ」）のそれぞれは、前向きカメラに堅固に取り付けられている。アイプロジェクタ間を橋渡しする支持構造は比較的堅固ではなく、および／またはユーザによって彼もしくは彼女の個人のＩＰＤに応じて修正およびロックできる。カメラによって受信されたシーンの画像が比較され、プロジェクタ用の変換マトリックスが導き出される。
【0031】
したがって、一般的な用語で言えば、前向きの第１のカメラと堅固に一体化された第１の拡張現実ディスプレイを有する右眼ディスプレイユニット、および前向きの第２のカメラと堅固に一体化された第２の拡張現実ディスプレイを有する左眼ディスプレイユニットを備える拡張現実デバイスが提供される。拡張現実デバイスはまた、右眼ディスプレイユニットと左眼ディスプレイユニットとの間を相互接続する支持構造も備える。このアプローチの好ましい態様によれば、各ディスプレイユニットは堅固であり、その結果、各カメラは対応する拡張現実ディスプレイと固定されたアライメントにあり、システムは、各カメラと対応する拡張現実ディスプレイとの間のアライメントマッピングとともに提供されるか、またはそれを導き出し、これは、通常、カメラアライメントをディスプレイにマッピングする変換マトリックスの形式であり、すなわち、拡張現実ディスプレイを通して見られた遠景についての現実世界に正確にアラインされたカメラ画像の表示を可能にする。一方、支持構造は、一定期間にわたって左眼表示ユニットと右眼表示ユニットの間の不変のアライメントを提供するために必ずしも十分に堅固であるとは想定されておらず、特定の特に好ましい実装においては、調整機構を備え、さまざまなユーザのＩＰＤの調整を可能にし、通常、調整の間に角度アライメントに多少のばらつきを生じる。
【0032】
次いで、アライメント補正は、好ましくは、拡張現実ディスプレイデバイスに関連する処理システムによって実行され、これは、オンボード処理システムでも、短距離または長距離通信接続を介したデバイスに関連する処理システムでもよい。本願のこの箇所または他の箇所において、説明されている処理は、標準の処理コンポーネントによって実行されてもよく、これは、本明細書に記載の機能に最も適したものに従って当業者によって容易に選択されるような、適切なソフトウェア、またはＡＳＩＣまたは他の専用もしくは半専用ハードウェアによって構成される汎用ハードウェアであり得る。さらに、処理は、拡張現実ディスプレイデバイスの一部を形成するオンボードプロセッサ、ＡＲディスプレイデバイスとの有線または無線接続のモバイル通信デバイス、遠隔地に配置され、ＷＡＮを介してＡＲディスプレイデバイスに接続されたサーバー、および動的に割り当てられたコンピューティングリソースで作られたクラウドコンピューティングバーチャルマシンの１つ以上を含むがこれらに限定されない、任意の位置または位置の組み合わせにおいて実行され得る。処理システムの実装の詳細は、本発明の実装のためには必要ではなく、本明細書ではさらに詳細には説明しない。
【0033】
本発明の一態様によるアライメント補正プロセスは、好ましくは以下を含む。
ｉ．第１のカメラから少なくとも１つの画像をサンプリングすること、
ｉｉ．第２のカメラから少なくとも１つの画像をサンプリングすること、
ｉｉｉ．第１のカメラと第２のカメラとの間の相対的な配向を示すカメラ間マッピングを導き出すために、第１のカメラおよび第２のカメラからの画像を同時処理すること、
ｉｖ．第１の拡張現実ディスプレイおよび第２の拡張現実ディスプレイの相対的な配向を示すディスプレイ間アライメントマッピングを導き出すために、カメラ間マッピングを第１のアライメントマッピングおよび第２のアライメントマッピングと組み合わせること、ならびに
ｖ．ディスプレイ間アライメントマッピングに基づいて拡張現実ディスプレイデバイスにアライメント補正を実装すること。
ｉ．第１のカメラから少なくとも１つの画像をサンプリングすること、
ｉｉ．第２のカメラから少なくとも１つの画像をサンプリングすること、
ｉｉｉ．第１のカメラと第２のカメラとの間の相対的な配向を示すカメラ間マッピングを導き出すために、第１のカメラおよび第２のカメラからの画像を同時処理すること、
ｉｖ．第１の拡張現実ディスプレイおよび第２の拡張現実ディスプレイの相対的な配向を示すディスプレイ間アライメントマッピングを導き出すために、カメラ間マッピングを第１のアライメントマッピングおよび第２のアライメントマッピングと組み合わせること、ならびに
ｖ．ディスプレイ間アライメントマッピングに基づいて拡張現実ディスプレイデバイスにアライメント補正を実装すること。
【0034】
このプロセスは、以下でより詳細に議論される。
【0035】
図３は、本発明によるシステムの正面図を概略的に示す。光学アセンブリ４０Ｒおよび４０Ｌは、対応するシースルー光学要素４２Ｒおよび４２Ｌに画像を投影し、好ましくは、それぞれ、観察者の右眼および左眼にバーチャル画像をカップルアウトするための部分反射器または回折光学要素のいずれかを備えた透明導光光学要素として実装される。前向きカメラ４４Ｒおよび４４Ｌは、それらの隣接するプロジェクタに堅固に取り付けられ、一方、好ましくは調整可能な機械的配置として実装される支持構造４６が２つのプロジェクタを接続する。この機械的配置は、好ましくは、プロジェクタ間の距離を変化させるためにロック解除し、使用前に再びロックすることができる。このことは、ＩＰＤ調整を可能にし、プロジェクタのサイズおよび複雑さを軽減する。配置４６のロック解除およびロックの後に、通常、正確な平行性および配向が維持できないことが理解される。
【0036】
図４は、左側のプロジェクタおよびカメラの概略側面図を示す。光学系４０Ｌからの光は、導波路４２Ｌを通過し、眼に向かって偏向する（偏向の方法は図示されていないが、通常、Ｌｕｍｕｓ Ｌｔｄ．から市販されているような内部斜め部分反射ファセットを備えた基板、または回折光学素子の配置に基づいている）。物体５０または風景は、カメラ４４Ｌによって画像化される。同じ物体が右カメラ４４Ｒによって画像化される。
【0037】
本発明のこの態様によるアライメント補正プロセスは、各カメラと、右眼ディスプレイユニットおよび左眼ディスプレイユニットのそれぞれについての対応する拡張現実ディスプレイとの間のアライメントマッピングの決定を要求する。カメラ軸とプロジェクタ軸との間の変換パラメータは、好ましくは、カメラ－プロジェクタの統合後に、好ましくは製造プロセスの一部として測定される。アライメントマッピングを決定するために、さまざまな技術が使用され得る。ここで、２つの選択肢が、図５および図６を参照して説明される。
【0038】
図５において、外部ジグ５２は、プロジェクタ５４およびカメラ５６をしっかりと同時アラインさせて保持する。プロジェクタおよびカメラは、好ましくは、光軸が互いに平行にアラインされており、最も好ましくは、２つの間で変換パラメータが不要であるように十分な精度でアラインされる。プロジェクタ５４は、カメラ４４Ｌによって受け取られる「参照画像」を投影する。処理システムは、同様の中心画像をプロジェクタ４０Ｌに投入し、これは、カメラ５６によって光学素子４２Ｌを介して受信される投影画像を生成する。処理システムは、４４Ｌと５６からの画像を比較して、４０Ｌと４４Ｌの間の変換パラメータを規定する。必要に応じて、視差計算のために４４Ｌと４２Ｌの間の距離（具体的には、この導波路のアイボックスの中心）もまた、記録することが好ましい。
【0039】
図６において、２つのプロジェクタ５４Ｕおよび５４Ｄが堅固に取り付けられ（または、代替的には、十分に大きな開口を有する単一のプロジェクタとして実装されてもよい）、通常無限にコリメートされる較正画像を投影する。５４Ｕからの画像はカメラ４４Ｌによって受信され、プロジェクタ４０Ｌに「投入」される。この場合、カメラ５６は、光学素子４２Ｌを通して、５４Ｄによって投影された直視画像およびプロジェクタ４０Ｌによって投影された画像との重ね合わせを同時に受信する。２つの画像間の差は、プロジェクタ４０Ｌとカメラ４４Ｌとの間の変換データに対応する。適切なグラフィックユーザーインターフェース（図示せず）を使用する手動制御調整プロセスもまた可能であるが、最も好ましくは、自動アライメントプロセスは、鮮明な（正確にオーバーレイされた）画像がカメラ５６によって受信されるまで、プロジェクタ４０Ｌによって生成された画像のアライメントを調整することができる。最終アライメントは両眼アライメントにも依存するので、この調整はこの段階でデバイスファームウェアに実際に実装される必要はない。手動または自動のアライメントを容易にするために、アライメント画像はＸ十字線などであってもよく、アライメントプロセスの間の区別を明確にするために、４０Ｌからの画像の色を変化させてもよく、または画像を点滅させるように作ってもよい。次に、視覚的に区別される２つのＸ十字線をアライメントに至らせる必要がある。
【0040】
プロジェクタ４２Ｌ上の光学系が有限距離でバーチャル画像を生成する場合、較正画像ならびに５４Ｕおよび５４Ｄの変換もまたこの距離に設定されることが好ましく、そしてカメラ４４Ｌとプロジェクタ４２Ｌの間の視差に従って４２Ｌに挿入される場合に、距離パラメータが既知であるため、プロジェクタ４０Ｌから投影される画像がシフトされることが好ましい。
【0041】
左眼表示ユニットについて図示された上記のアライメントプロセスは、右眼表示ユニットのために明確に繰り返される（または同時に実行される）。結果は、カメラアライメントを各ディスプレイユニットのディスプレイにマッピングする、明確に規定された変換マトリックスである。
【0042】
製造中または製造後に上記のアライメント技術のうちの１つかを使用した後で、各プロジェクタとその対応するカメラ間のアライメント変換を導き出すために、次いで、エンドユーザによって実行されるキャリブレーションプロセスにおいてカメラが使用されて、いつでも要求されるときに、例えば、ＩＰＤの調整後、または断続的に実行される自動自己較正プロセスとして、または特定の好ましい応用において、デバイスの電源がオンであるときはいつでも、２つのプロジェクタ間の誤ったアライメントを測定および修正できる。
【0043】
カメラが遠景の画像をサンプリングしている場合、２つのサンプリングされた画像間の視差は無視できるため、カメラ４４Ｌと４４Ｒの相対的な配向の解決（図３で説明したＩＰＤ調整後）は特に容易である。この文脈での「遠い」とは、理想的には約１００メートルを超える任意の距離であり、このことは、眼／カメラ間の収束による角度変動が人間の視覚の角度分解能よりも小さいことを保証する。しかし、実際には、ここでの「距離」には３０メートルを超える任意の距離が含まれてもよく、場合によっては、１０メートルまたは２０メートルの距離もまた、この単純化された較正プロセスの使用を、許容できる結果を伴って可能にする。したがって、ユーザが操作する較正の場合、ユーザは、較正プロセスを開始する前に、デバイスを遠くのシーンに向けるように指示することができる。同様に、デバイスが屋外環境で使用される場合、カメラが遠くのシーンを見ているとき、デバイスは測距センサーを介して、または画像処理によってのいずれかで、検出するように構成されてもよい。次に、各カメラ４４Ｌおよび４４Ｒからの遠景から画像をサンプリングすること、および２つの画像間の画像比較／登録を実行してカメラ間の変換を決定することにより、較正が形成できる。
【0044】
シーンに「深さ」がほとんどなく、両方のカメラが本質的に同じ画像をサンプリングする限り、シーンが短い範囲にある場合でも、簡単な画像登録がアライメント補正のために時々使用され得る。そのような１つの例は、壁上のポスターまたはその他の写真あるいはテクスチャなどの平らな表面を画像化することによる較正である。この場合、輻輳角に対して補正するために、カメラから表面までの距離に関する情報が必要である。
【0045】
「遠くの風景」が利用され得ない状況の範囲における較正を可能にするため、またはユーザの協力なしに自動的に実行されるのに適したより強固な較正プロセスのために、較正は、カメラ間の視差が重要な近くのオブジェクトを使用して実行され得る。この場合、相対的なカメラ位置を「解決」するために、３Ｄ再構成が必要である。カメラの移動が、図７に模式的に示すように、正確なソリューションのための複数の画像を生成するために、必要であり得る。この計算のためのアルゴリズムは、例えば、文献およびＳＬＡＭ（同時ロケーションおよびマッピング）処理に関連するオープンソースのコードライブラリにおいて、よく知られている。これらのアルゴリズムを使用することにより、シーンの少なくとも一部の３Ｄ再構成（または「モデル」）が、各カメラに対して生成される。カメラ間の再構成のオフセットは、プロジェクタ間のオフセット（空間および向き）を決定するために使用される。
【0046】
ＳＬＡＭ処理がモデルを導き出すために使用される場合、スケーリング係数は、モデルを完全に解決するために必要である。このスケーリング係数は、ＩＰＤ調整のないデバイスの場合の２つのカメラ間の既知の距離；エンコーダがＩＰＤ調整メカニズム上に含まれる２つのカメラ間の測定された距離；デバイスと統合された慣性モーションセンサー配列から派生したカメラモーション；例えば、デバイスに統合された距離計によって導き出された画像の１つ内のピクセル位置までの距離；画像の視野内に含まれる既知の寸法のオブジェクトの識別；および例えば、直線の縁などを有することが知られているオブジェクトのような付加的なパラメータ制約の導入を含むが、これらに限定されない多くのソースのいずれかから導き出され得る。
【0047】
ＩＰＤ調整およびその後の再調整の場合の全体的なプロセス全体の例示的な概要を図８に示す。第１に、ここでのプロセスは、ＩＰＤ調整などによるプロジェクタ間の距離の調整後に開始されると想定され（工程１１０）、ユーザにより開始されるか、自動的に引き起こされ得る。プロセスは、自動または半自動プロセスとして実行され得、デバイスの起動時に実行されるか、手動またはソフトウェアトリガー信号によってトリガーされ、必要に応じて、表示されたシーンに関連して移動するようにユーザを促すためのプロンプトが生成される。
【0048】
トリガーされると、デバイスは左カメラ（工程１１２）および右カメラ（工程１１４）に対するシーンの画像を取得し、処理システム（ローカルまたはリモートのデバイスに搭載）は、２つのカメラの相対的な方向を導き出すために画像を比較する（工程１１６）。画像間の視差変動により単純な登録プロセスが失敗する場合、システムは、好ましくは付加的なの画像をサンプリングし、必要に応じて動きを待って（工程１１８）、視野の一部の少なくとも部分的な３Ｄモデルを導き出し、それによって、相対的なカメラの向きの導き出すことを可能にする。工程１２０で、この相対的なカメラ方位データは、以前に導き出された左カメラから左プロジェクタへの変換データ（１２２）および右カメラから右プロジェクタへの変換データ（１２４）と一緒に使用され、対応するファームウェア中に導入される各プロジェクタのための全体的なアライメント補正を決定し、それによって、左バーチャル画像がプロジェクタ４０Ｌからの投影用の左変換バーチャル画像に変換されること、および右バーチャル画像がプロジェクタ４０Ｒからの投影用の右変換バーチャル画像に変換されることを可能にし、正しくアラインされた見られる画像を生成する。
【0049】
次に、両眼拡張現実ディスプレイデバイスの右眼および左眼ディスプレイのためのアライメント補正の方法の第２のサブセットに目を向けると、図９Ａおよび図９Ｂは、ユーザが、アライメント補正の少なくとも一部を定義するために入力を提供する構成を概略的に示す。したがって、図９Ａには、図３および図４の光学装置と同様の光学装置が示されているが、必要に応じて、モバイル電子デバイス上で実行するＡＰＰとして実装される、ジョイスティック、タッチスクリーン、または任意の他の適切なユーザ入力装置であり得るユーザ入力装置１３０が追加されている。前述のように、このアプローチは、左眼拡張現実ディスプレイに空間的に関連付けられた左カメラ４４Ｌ（プロジェクタ４０Ｌおよびアウトカップリング光学素子４２Ｌ）、およびデバイスの右眼側用（図示せず）の対応する要素（右眼拡張現実ディスプレイに空間的に関連付けられた右カメラ）の存在を想定する。
【0050】
アライメント補正方法が、
ｉ．右カメラによってサンプリングされたシーンの少なくとも１つの画像を取得すること、
ｉｉ．左眼拡張現実ディスプレイを介して、右カメラによってサンプリングされた少なくとも１つの画像から導き出された少なくとも１つのアライメント特性を表示すること、
ｉｉｉ．少なくとも１つのアライメント特性と、シーンの対応する直接表示される特性との間のアライメントオフセットを示す入力を、ユーザから受け取ること、および
ｉｖ．少なくとも１つのアライメント特性がシーンの対応する直接表示される機能とアラインされるまで、ユーザ入力に従って少なくとも１つのアライメント機能の表示の位置を補正すること、
を含む、第１の相互登録プロセスを含むことが、本発明のこの態様に係る特定の特に好ましい実施の特定の特徴である。これは、図９Ｂにおける矢印７８によって概略的に表される変換を定義する。
ｉ．右カメラによってサンプリングされたシーンの少なくとも１つの画像を取得すること、
ｉｉ．左眼拡張現実ディスプレイを介して、右カメラによってサンプリングされた少なくとも１つの画像から導き出された少なくとも１つのアライメント特性を表示すること、
ｉｉｉ．少なくとも１つのアライメント特性と、シーンの対応する直接表示される特性との間のアライメントオフセットを示す入力を、ユーザから受け取ること、および
ｉｖ．少なくとも１つのアライメント特性がシーンの対応する直接表示される機能とアラインされるまで、ユーザ入力に従って少なくとも１つのアライメント機能の表示の位置を補正すること、
を含む、第１の相互登録プロセスを含むことが、本発明のこの態様に係る特定の特に好ましい実施の特定の特徴である。これは、図９Ｂにおける矢印７８によって概略的に表される変換を定義する。
【0051】
最も好ましくは、アライメントプロセスは逆相互登録プロセス、すなわち：
ｉ．左カメラによってサンプリングされたシーンの少なくとも１つの画像を取得すること、
ｉｉ．右眼拡張現実ディスプレイを介して、左カメラによってサンプリングされた少なくとも１つの画像から導き出された少なくとも１つのアライメント機能を表示すること
ｉｉｉ．少なくとも１つのアライメント機能と、シーンの対応する直接表示される機能との間のアライメントオフセットを示す入力を、ユーザから受け取ること、および
ｉｖ．少なくとも１つのアライメント機能がシーンの対応する直接表示される機能とアラインされるまで、ユーザ入力に従って少なくとも１つのアライメント機能の表示の位置を補正すること、も含む。これは、図９Ｂにおける矢印７６によって概略的に表される変換を定義する。
ｉ．左カメラによってサンプリングされたシーンの少なくとも１つの画像を取得すること、
ｉｉ．右眼拡張現実ディスプレイを介して、左カメラによってサンプリングされた少なくとも１つの画像から導き出された少なくとも１つのアライメント機能を表示すること
ｉｉｉ．少なくとも１つのアライメント機能と、シーンの対応する直接表示される機能との間のアライメントオフセットを示す入力を、ユーザから受け取ること、および
ｉｖ．少なくとも１つのアライメント機能がシーンの対応する直接表示される機能とアラインされるまで、ユーザ入力に従って少なくとも１つのアライメント機能の表示の位置を補正すること、も含む。これは、図９Ｂにおける矢印７６によって概略的に表される変換を定義する。
【0052】
次に、ユーザ入力は、拡張現実ディスプレイデバイスに対するアライメント補正を実行するために使用される。上述の例のように、各カメラが対応する拡張現実ディスプレイに対して堅固に取り付けられる場合、アライメント補正は、右眼拡張現実ディスプレイ（矢印７４）に対する右カメラ用の相対アライメントデータおよび左眼拡張現実ディスプレイ（矢印７２）に対する左カメラ用の相対アライメントデータを使用して、実行される。そのようなデータは、図５および図６を参照して上記で説明したように、工場のアライメントプロセスを通じて利用可能にされ得る。
【0053】
より一般的な場合、変換７２および７４が不明であるか、カメラに対する左／右ディスプレイの固定されない（例えば、調整可能な）取り付けのために変化し得る場合、変換７２および７４は、右カメラおよび左カメラの対応するものに対する右眼拡張現実ディスプレイおよび左眼拡張現実ディスプレイの少なくとも一方のアライメントを修正するためのユーザ入力を受信するための少なくとも一つの付加的な登録プロセスによって取得され得る。これらの登録プロセスは、本明細書に記載される相互登録プロセスと本質的に同じ方法で実行され得る。
【0054】
すべての４つの変換７２、７４、７６および７８が決定される場合、これらの変換のいずれか３つが、原則として２つのディスプレイ間の全体的な較正マトリックスを決定するのに十分であるため、情報の冗長性がある。実際には、そのような冗長性は、アライメント補正の精度を向上させるための利点に使用される。
【0055】
調整プロセスの間、各プロジェクタは個別に作動される。このアプローチによる典型的な一連の操作は、次のように進む：
１）ユーザは、バーチャルイメージと同じ公称距離（見かけの距離）に位置される風景オブジェクトを見るように指示される。以下で説明するように、視差の問題も修正され得るが、そのプロセスは、視差補正の問題を回避するために「離れた」オブジェクトを使用して最も簡単に実装される。
２）処理システムは、片目のカメラからの画像を隣接するプロジェクタに注入し、その結果、観察者は、同じ拡張されたおよび「現実の世界」が重なっているのを見る。シーンが「離れた」シーンではない場合、視差補正が、シーンまでの推定された距離に応じて、投影された画像に導入される。カメラおよびプロジェクタの軸（視差補償後）が正確でない場合、シフトの不一致（オフセット）５７（図９Ｃ）が存在する。
３）観察者は、バーチャル画像の位置および回転を手動で制御し、「現実の世界」画像５７（マッピング７２）に重ねるために、拡張された現実画像を移動させる。
４）本プロセスは、マッピング７４を生成するために第２の眼に対して繰り返される。これまでのところ、達成される較正は、各カメラとその隣接するプロジェクタとの間である。
５）処理システムは、反対側のプロジェクタ（４０Ｒ）上に片目のカメラ（４４Ｌ）からの画像を注入し、マッピング７６を決定するために、ユーザが画像をアライメントできるようにする。同じことが、マッピング７８を生成するために、反対側のカメラおよびプロジェクタに対して繰り返される。これで、２つのプロジェクタおよび両方のカメラの向きが較正される。
１）ユーザは、バーチャルイメージと同じ公称距離（見かけの距離）に位置される風景オブジェクトを見るように指示される。以下で説明するように、視差の問題も修正され得るが、そのプロセスは、視差補正の問題を回避するために「離れた」オブジェクトを使用して最も簡単に実装される。
２）処理システムは、片目のカメラからの画像を隣接するプロジェクタに注入し、その結果、観察者は、同じ拡張されたおよび「現実の世界」が重なっているのを見る。シーンが「離れた」シーンではない場合、視差補正が、シーンまでの推定された距離に応じて、投影された画像に導入される。カメラおよびプロジェクタの軸（視差補償後）が正確でない場合、シフトの不一致（オフセット）５７（図９Ｃ）が存在する。
３）観察者は、バーチャル画像の位置および回転を手動で制御し、「現実の世界」画像５７（マッピング７２）に重ねるために、拡張された現実画像を移動させる。
４）本プロセスは、マッピング７４を生成するために第２の眼に対して繰り返される。これまでのところ、達成される較正は、各カメラとその隣接するプロジェクタとの間である。
５）処理システムは、反対側のプロジェクタ（４０Ｒ）上に片目のカメラ（４４Ｌ）からの画像を注入し、マッピング７６を決定するために、ユーザが画像をアライメントできるようにする。同じことが、マッピング７８を生成するために、反対側のカメラおよびプロジェクタに対して繰り返される。これで、２つのプロジェクタおよび両方のカメラの向きが較正される。
【0056】
このアライメントプロセスのために投影される画像（アライメント機能）は、サンプリングされた画像の少なくとも一部であり得る。この場合、ユーザは、完全に適合しない重畳された画像の「ダブルビジョン」効果を取得し、それらが適切に重畳されるまで、アライメントを調整する。
【0057】
あるいは、投影されたアライメント特徴画像は、画像処理によってサンプリングされた画像から導き出され、サンプリングされた画像において検出された特徴に対応する１つ以上の位置マーカーを含み得る。これは、オブジェクトの輪郭、または画像内の「コーナー」の特徴を示す多数のマーカーであり得る。この場合、ユーザは、これらの位置マーカーを実際のビューにおける対応する特徴に合わせる。
【0058】
上記プロセスが離れたシーンではないシーンを使用して実行される場合、シーンまでの距離の推定値は、各カメラと対応するＥＭＢセンターとの間の既知の距離に基づいて、視差補正を実行するために必要である。この距離は、当技術分野で知られているように、アプリケーションの詳細に応じて、ユーザによって入力され得るか、利用可能なセンサーおよび／または画像処理の任意の組み合わせからシステムによって導き出され得る。距離がどのように導き出されるかについての非限定的な例として、距離計センサーを使用すること、３Ｄモデルを導き出すために画像上でＳＬＡＭ処理を実行すること（上記で詳細に説明）、および既知の寸法を有するオブジェクトを含む画像をサンプリングすること、が挙げられる。
【0059】
多くのプロジェクタは、バーチャル画像を有限距離に投影する光学部品を含む。この場合、較正は、バーチャル画像の見かけの距離に一致する距離でシーンを見ながら実行されることが好ましい。例えば、バーチャル画像が２メートルに焦点を合わされている場合、較正は、約２メートルの距離に位置されるシーンまたはオブジェクトでも実行することが望ましい。カメラからプロジェクタに注入された画像は、指定された距離およびフィールドの中心で、（相対距離が既知である）カメラとプロジェクタとの間の視差に応じてシフトされる。
【0060】
本明細書で説明されるアラインメント手順は、２つのプロジェクタ／カメラのペアが、製造工程中に厳密に組み合わされる場合、すなわち、ＩＰＤのための調整可能な間隔がない場合にも、適用可能であることに注意することが重要である。この場合、変換７２および７４は通常、上述のように事前に較正され、変換７６および７８のみが、ユーザ入力を通して達成される。
【0061】
「立体視アライメント補正」に言及する本明細書のすべての場合、これは通常、現実の世界に各目を関連付ける較正マトリックスを生成するか、両目間の関係を定義することにより実行される。
【0062】
両眼拡張現実のプロジェクタのクロスアライメントを実行する別のアプローチは、（製品内に存在する場合と存在しない場合がある）外向きのカメラに依存することなく、達成され得る。代わりに、アラインメント補正技術のこの３番目のサブセットは、右眼ディスプレイ及び左眼ディスプレイの両方から同時に画像をサンプリングし、画像からアラインメント補正を導き出すために、拡張現実ディスプレイデバイスとは別のカメラを使用する。この代替アプローチの例示的な実装を以下に示す。
【0063】
一般的に、本発明のこの態様に係る両眼拡張現実ディスプレイデバイスの右眼ディスプレイと左眼ディスプレイとの間のアライメント補正を導き出す方法は、以下の工程を含む：
ａ）カメラの視野が、左眼ディスプレイからの投影された画像の一部および右眼ディスプレイからの投影された画像の一部を同時に含むような視野を有するカメラを配置する工程、
ｂ）右眼用ディスプレイおよび左眼用ディスプレイのそれぞれを介して、少なくとも１つの右視野アライメント機能および少なくとも１つの左視野アライメント機能を含む較正画像の少なくとも一部を投影する工程、
ｃ）画像をサンプリングするためにカメラを使用する工程、
ｄ）画像内で右視野のアライメント機能および左視野のアライメントを識別する工程、および
ｅ）拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間のアライメント補正を、右視野アライメント機能および左視野アライメント機能の画像内の位置から導き出す工程。
ａ）カメラの視野が、左眼ディスプレイからの投影された画像の一部および右眼ディスプレイからの投影された画像の一部を同時に含むような視野を有するカメラを配置する工程、
ｂ）右眼用ディスプレイおよび左眼用ディスプレイのそれぞれを介して、少なくとも１つの右視野アライメント機能および少なくとも１つの左視野アライメント機能を含む較正画像の少なくとも一部を投影する工程、
ｃ）画像をサンプリングするためにカメラを使用する工程、
ｄ）画像内で右視野のアライメント機能および左視野のアライメントを識別する工程、および
ｅ）拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間のアライメント補正を、右視野アライメント機能および左視野アライメント機能の画像内の位置から導き出す工程。
【0064】
このアプローチの１つの実装を図１０Ａに概略的に示す。観察者の眼に向けて導波管４２によって投射される光の一部は、例えば、眼に最も近い導波管の外表面によって前方に（すなわち、ユーザから外側に）反射されることに留意されたい。本明細書に示される実装では、拡張現実ディスプレイデバイス４０Ｌ、４２Ｌの表示側とは反対側に位置決めされたカメラ８０によって検出されるのは、この外向きに反射される光であり、カメラは、右眼用ディスプレイおよび左眼用ディスプレイのそれぞれから、画像照明の外向きに反射される部分をキャプチャする。
【0065】
システム制御装置は、実線の矢印によって示されるように、導波路４２を通して目を照らすプロジェクタ４０に画像を注入する。光の一部は、一点鎖線の矢印によって示されるように、反対方向に反射される。
【0066】
ポータブルデバイス８０上のカメラは、前方に反射される画像の少なくとも一部を受信し、処理のためにシステム制御装置に画像を送信する。（カメラはここでは概略的にのみ示されており、プロジェクタに向かって明確に向けられ、前方に反射される画像照明の一部をキャプチャするように位置決めされる。）処理は、ポータブルデバイス自体において随意に実行され得る。
【0067】
フィールドの一部のみがカメラ８０によって受信されるが、画像は、図１１Ｄを参照して以下でさらに説明されるように、画像のどの部分が受信されるかを導き出すことができるように設計される。その部分から、プロセッサは前方に投影される画像に対するカメラの方向を導き出す。
【0068】
図１０Ｂは、２つのプロジェクタ９９Ｌおよび９９Ｒを概略的に示しており、それぞれは、対応するデバイスの両眼に対するプロジェクタの向きを示す。９９Ｌにおいて、光線１００は、導波路９９Ｌの面に垂直に観察者に向かって投射され、したがって、反射１０２は、光軸に沿って反対方向に反射される。対照的に、導波路９９Ｒにおいて、出力光線１０４によって示される投影された画像の光軸が、導波路９９Ｒの表面に垂直ではなく、したがって反射された光線１０６が１０４と反対ではない、別のジオメトリが示されている。したがって、較正マトリックスは、１０４に対する１０６のオフセットのために導き出されるべきである。この較正マトリックスは、プロジェクタの製造中または以下で説明するように、前方画像（１００および１０４）と反射された画像（１０２および１０６）を比較することにより導き出されるべきである。
【0069】
このアプローチによる画像取得は、図１１Ａの平面図に模式的に示すように、両方のプロジェクタに対して同時に実行される。一点鎖線の矢印は、前方に反射された画像を表す。カメラ８０は、２つのプロジェクタからの反射された画像の異なるセクションを受信し、両方の視野の方向を導き出す。これらの方向を比較することにより、上記のように、プロジェクタ間の相対的な方向を導き出し、電子的にアライメントを修正することができる。
【0070】
較正の改善された精度は、カメラ８０がプロジェクタ４２からさらに離されると達成される。デバイスから遠く離れて便利に保持され得ないハンドヘルドカメラの場合、より大きな有効距離からのイメージングは、図１１Ｂに示すように、ミラー５７を通してプロジェクタを観察することにより、達成され得る。このミラーベースのジオメトリにより、特に単一の中央前方監視カメラを備えたデバイスにおいて、拡張現実ディスプレイデバイス自体の組み込みの前方監視カメラを使用して、この較正技術が実行可能となる。
【0071】
カメラ８０の向きは、較正中にカメラを正しく位置決めするための視覚的ガイダンスキューを、ユーザに提供することにより最適化され得る。例えば、カメラ８０が、携帯電話などのスクリーンと一体化されたモバイル機器のカメラである場合、ユーザへの少なくとも１つの指示が、図１１Ｃに示されるように、カメラの正しい位置決めを支援するために、画面を介して表示され得る。さらに、またはあるいは、ハンドヘルドカメラの場合、少なくとも１つの表示は、カメラの正しい配置を支援するために、拡張現実ディスプレイの一方または両方を介して表示され得る。
【0072】
図１１Ｄは、較正プロセスのために２つのディスプレイにより投影され得る画像の例を示す。他の任意の画像が使用され得るが、この一つが非限定的な例としてここに提示される。画像は、それぞれ左視野のアライメント機能および右視野のアライメント機能として機能する、クリアマーキング９０ａおよび９０ｂを有する。右視野および左視野のアライメント機能は、隣接する幾何学的パターンの一部であっても、孤立された特徴であってもよく、好ましくは互いから区別可能である。それらは、位置および方向を導き出すために画像処理技術によって容易に識別および処理される特徴を含むことが好ましい。画像は、プロジェクタ自体によって導入される任意の幾何学的歪みに対する補正後に投影される。画像の一部のみが、各別個のプロジェクタからカメラ８０によってキャプチャされることに留意されたい。カメラは、プロジェクタの「外側」にあるカメラの場合、サンプリングされた画像が、右眼ディスプレイを介して見られた左視野アライメント機能および左眼ディスプレイを介して見られた右視野アライメント機能を含むように位置決めされる。
【0073】
図１１Ｅは、カメラ８０によって受け取られた画像１００を概略的に示す。カメラ８０から眼鏡までの距離は、眼鏡上のパラメータ、例えば画像内の眼鏡サイズ８２から導き出され得る。導波路４２Ｒおよび４２Ｌでは、投影された画像の反射は、８４Ｒおよび８４Ｌとして明らかである。両方の反射における画像は、マーキング９０ａおよび９０ｂを含む。マーキング８６間の画像内の角距離を測定し、眼鏡までの既知の距離によって生じる視差を考慮することにより、プロジェクタ４２Ｒと４２Ｌとの間の実際のミスアラインメントを知ることが可能である。角度ミスアラインメントは、８８で示されるスキュー角によって示されるようにも導き出され得る。このアーキテクチャは、目の位置６０Ｒおよび６０Ｌの検出も可能にする。これにより、プロジェクタのアイボックス内の目の位置によって生じる歪みを考慮することにより、投影のアライメントがさらに改善される。
【0074】
実装の代替のセットでは、カメラ８０は、拡張現実ディスプレイデバイスの表示側、すなわち、ユーザがディスプレイを通して見る側に位置決めされる。この場合、サンプリングされた画像には、右眼ディスプレイを介して表示される右視野アライメント機能および左眼ディスプレイを介して表示される左視野アライメント機能が含まれる。この実装の例を図１１Ｆに示す。
【0075】
カメラ８０が投影された画像に焦点を合わせることが重要である。レンズがプロジェクタ４２の前に配置される場合、バーチャル画像５１は有限の見かけの距離（見かけの焦点距離）で生成される。これは、８４Ｒおよび８４Ｌに導入された視差を導き出すときに考慮されるべきである。
【0076】
図１１Ｆの例では、プロジェクタはレンズを含むため、画像５１は見かけの焦点距離６１で（４２Ｌからの）バーチャル画像６２Ｌおよび（４２Ｒからの）バーチャル画像６２Ｒとして投影される。これら２つの画像は、最適なアライメントのために、正確に重なり合わされるべきである。カメラ８０によって取得された画像は、８４Ｌおよび８４Ｒ（図１１Ｅで説明）に相当し、６２Ｌと６２Ｒとの間のオフセットを導き出すことは、（レンズによって事前設定された）バーチャル画像６１までの距離および（例えば、画像内のデバイス８２の寸法を特定することにより再び導き出される）カメラ６３までの距離を考慮する。
【0077】
上述のように、ディスプレイデバイスからのカメラ８０の距離は、画像内の幅寸法８２などのディスプレイデバイスに関連する特徴を識別することにより決定され得る。理想的には、表示デバイスに対するカメラの距離と向きの両方を決定するために、処理システムは、少なくとも３つ、および最も好ましくは、４つの非共線（および４つの非共面）基準点を定義するのに十分な両眼拡張現実ディスプレイデバイスに関連する特徴を、画像内で識別することが好ましい。特徴は、デバイスの形状に関連する任意の特徴、またはデバイスの表面に形成された任意の参照パターンであり得る。投影された較正画像が特定の焦点深度でレンダリングされる場合、いくつかの場合、投影されたバーチャル画像の特徴も基準点として使用され得る。次に、基準点は、基準点、したがってプロジェクタに対するカメラの位置を決定するために処理される。
【0078】
このプロセスの例示的な非限定的な実装を図１２に記載する。上記の図８のように、較正が、ＩＰＤ調整によって導入されるミスアライメントによって必要になり得る（工程１４０）が、このような場合に限定されない。工程１４２で、較正画像または「フィールド画像」は、右眼用プロジェクタおよび左眼用プロジェクタの両方を介して表示するために「注入」され、カメラ８０は、各プロジェクタからの較正画像に対応する照明の一部を含む画像をサンプリングするために使用され、好ましくはプロジェクタまたは表示装置自体の他の特徴も画像化する（工程１４４）。
【0079】
工程１４６では、ディスプレイデバイスの特徴が処理されて、各プロジェクタに対するカメラの向きが決定される。これにより、各ディスプレイを介して取得された較正画像の部分からプロジェクタの相対的なアラインメントを導き出すのに十分な情報が得られる（工程１４８）。カメラ８０が、外向きに反射された照明とともにディスプレイの外側で使用され、画像投影軸が導波管の表面に対して垂直でない場合、事前測定された反射オフセットパラメータも、アライメント計算に使用される（１５０）。次に、アライメント計算を使用して、各プロジェクタのファームウェアを更新するための較正マトリックスを生成する（工程１５２）。
【0080】
ポータブルデバイス８０上のカメラはまた、機械的なＩＰＤ調整自体の間に（記載された較正を実行する前に）ユーザを支援するために使用され得る。このオプションによれば、ユーザがプロジェクタ間の距離を変更し、カメラがファセット画像をプロセッサに連続的に送信する。プロセッサは、目の位置を光学プロジェクタ位置（オプションでプロジェクタ位置の検出を容易にするためにマーキングを有し得る）と比較し、相対位置をさらに調整する方法を示すか、またはユーザにとって最適な位置に到達したときにユーザに通知するため、ユーザへの出力（通常は音声信号や視覚ディスプレイ）を生成する。次に、本明細書で説明するように、較正プロセスを実行することが好ましい。
【0081】
上記の説明は例としてのみ機能することを意図しており、他の実施形態が、添付の特許請求の範囲で定義される本発明の範囲内で多くの可能であることが理解されよう。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図11A】
【図11B】
【図11C】
【図11D】
【図11E】
【図11F】
【図12】
【外国語明細書】