特許 7012163 頭部装着型ディスプレイデバイスおよびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-19

(45)【発行日】2022-01-27

(54)【発明の名称】頭部装着型ディスプレイデバイスおよびその方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220120BHJP

   G06F 3/01 20060101ALI20220120BHJP

   G06T 7/00 20170101ALI20220120BHJP

   G06T 7/30 20170101ALI20220120BHJP

   G06F 3/04815 20220101ALI20220120BHJP

【ＦＩ】

G06T19/00 A

G06F3/01 510

G06T7/00 300F

G06T7/30

G06T19/00 600

G06F3/0481 150

【請求項の数】 34

(21)【出願番号】P 2020533662

(86)(22)【出願日】2017-12-19

(65)【公表番号】

(43)【公表日】2021-02-25

(86)【国際出願番号】 EP2017083600

(87)【国際公開番号】W WO2019120488

(87)【国際公開日】2019-06-27

【審査請求日】2020-08-20

(73)【特許権者】

【識別番号】598036300

【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）

(74)【代理人】

【識別番号】100109726

【弁理士】

【氏名又は名称】園田 吉隆

(74)【代理人】

【識別番号】100161470

【弁理士】

【氏名又は名称】冨樫 義孝

(74)【代理人】

【識別番号】100194294

【弁理士】

【氏名又は名称】石岡 利康

(74)【代理人】

【識別番号】100194320

【弁理士】

【氏名又は名称】藤井 亮

(72)【発明者】

【氏名】アラウーホ， ホセ

(72)【発明者】

【氏名】タヤモン， ソマ

【審査官】山▲崎▼ 雄介

(56)【参考文献】

【文献】米国特許出願公開第２０１３／０１２０２２４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００９９４８１（ＵＳ，Ａ１）

【文献】国際公開第２０１６／０１３６３４（ＷＯ，Ａ１）

【文献】国際公開第２０１３／０２１４５８（ＷＯ，Ａ１）

【文献】国際公開第２０１３／１７９４２７（ＷＯ，Ａ１）

【文献】特開２０１２－２０３８２３（ＪＰ，Ａ）

【文献】特開２０１７－１８７６６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００－１９／２０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／３０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９

(57)【特許請求の範囲】

【請求項1】

ユーザ（１２１）が着用するように設定された頭部装着型ディスプレイデバイス（１００）であって、
少なくとも部分的に透明なディスプレイ（１０１）と、
実際のシーンの第１の画像を取り込むように機能する前向きのカメラ（１０２）と、
前記ユーザの角膜（１２３）による前記実際のシーンの反射である第２の画像を取り込むように機能する、目に対向するカメラ（１０３）と、
処理手段（１０４）であって、
前記第１の画像と前記第２の画像の両方の中に見える１つもしくは複数の実際の物体またはこれらの一部分（１３０－１３５）から、較正物体を選択して、
前記ディスプレイ上の表示位置に表示された仮想オブジェクトが、前記ユーザに見られたとき、実際の位置にある対応する実際の物体と位置が合うように、前記第１の画像および前記第２の画像を使用して、前記実際の位置に基づいて前記表示位置を計算するための較正変換を導出するように機能する処理手段（１０４）と
を備えるディスプレイデバイス。

【請求項2】

前記処理手段が、前記目に対向するカメラ（１０３）の視野（１１３）に対応する前記第１の画像の領域の中に見える１つもしくは複数の実際の物体またはこれらの一部分から前記較正物体を選択するように機能する、請求項１に記載のディスプレイデバイス。

【請求項3】

前記処理手段が、前記第２の画像の中の前記較正物体の、前記第１の画像と比較したときの歪みに基づいて、前記較正物体を選択するように機能する、請求項１または２に記載のディスプレイデバイス。

【請求項4】

前記処理手段が、前記較正物体の外観に基づいて前記較正物体を選択するように機能する、請求項１または２に記載のディスプレイデバイス。

【請求項5】

前記処理手段が、前記１つまたは複数の実際の物体から以前に選択された較正物体を前記較正物体として選択するように機能する、請求項１または２に記載のディスプレイデバイス。

【請求項6】

前記ディスプレイデバイスの運動を追跡するように機能する１つまたは複数の運動センサ（１０６）をさらに備え、
前記処理手段が、
前記ディスプレイデバイスの前記追跡された運動に基づいて、前記１つまたは複数の実際の物体が前記第１の画像の中に見えている期間を推定し、
前記推定された、前記第１の画像の中に前記較正物体が見えている期間に基づいて、前記較正物体を選択するように機能する、請求項１または２に記載のディスプレイデバイス。

【請求項7】

前記処理手段が、
１つまたは複数の実際の物体の視覚的特徴を、データベースに記憶されている実際の物体の視覚的特徴に関する情報に対して照合することにより、前記１つまたは複数の実際の物体を識別することと、
前記データベースから得られた、前記識別された実際の物体またはこれらの一部分のそれぞれの較正物体としての適合性を指示する情報に基づいて、前記較正物体を選択することと
によって、前記較正物体を選択するように機能する、請求項１または２に記載のディスプレイデバイス。

【請求項8】

無線通信インターフェース（１０５）をさらに備え、
前記処理手段が、
前記無線通信インターフェースを使用して、前記１つまたは複数の実際の物体から、ディスプレイ（１３１）を備える通信デバイス（１３０）を識別することと、
前記通信デバイスの前記ディスプレイ（１３１）と、そこに表示されたグラフィカルコンテンツ（１３２）と
のうち少なくとも１つを前記較正物体として選択することとによって、前記較正物体を選択するように機能する、請求項１または２に記載のディスプレイデバイス。

【請求項9】

前記処理手段が、前記通信デバイス（１３０）から、前記無線通信インターフェースを介して、前記表示されたグラフィカルコンテンツ（１３２）の表現を受信するようにさらに機能する、請求項８に記載のディスプレイデバイス。

【請求項10】

前記処理手段が、前記無線通信インターフェースを介して、前記通信デバイス（１３０）に、前記通信デバイスの前記ディスプレイ（１３１）に前記グラフィカルコンテンツ（１３２）を表示するようにとの命令を送信するようにさらに機能する、請求項８に記載のディスプレイデバイス。

【請求項11】

前記処理手段が、前記無線通信インターフェースを介して、前記通信デバイス（１３０）に、前記グラフィカルコンテンツ（１３２）の表現を送信するようにさらに機能する、請求項１０に記載のディスプレイデバイス。

【請求項12】

前記処理手段が、
前記ユーザから、較正手順を開始するようにとの命令を受信すること、
前記ディスプレイデバイスに電力を供給すること、
表示された仮想オブジェクトの前記実際のシーンに対する位置合わせ不良を検知すること、
前記ユーザが、前記ディスプレイデバイスの前のユーザとは異なることを検知すること、
前記ディスプレイデバイスが前記ユーザの少なくとも１つの目（１２２）に対して変位したのを検知すること、ならびに
前記ディスプレイ（１０１）および前記前向きのカメラ（１０２）のうちいずれか１つが前記ディスプレイデバイスに対して変位したのを検知すること
のうちいずれか１つに応答して前記較正物体を選択して、前記較正変換を導出するように機能する、請求項１から１１のいずれか一項に記載のディスプレイデバイス。

【請求項13】

前記処理手段が、前記較正物体を選択することに応答して、前記ユーザに見られたとき、前記選択された較正物体と重ね合わさる１つまたは複数の表示された仮想オブジェクトを適合させるようにさらに機能する、請求項１から１２のいずれか一項に記載のディスプレイデバイス。

【請求項14】

前記処理手段が、前記較正物体を選択することに応答して、較正が進行中であると前記ユーザに通知するようにさらに機能する、請求項１から１３のいずれか一項に記載のディスプレイデバイス。

【請求項15】

前記処理手段が、前記選択された較正物体を識別するために、前記ユーザに対して前記ディスプレイ上にマーカ（２５０）を表示することにより、前記較正が進行中であることを前記ユーザに通知するように機能する、請求項１４に記載のディスプレイデバイス。

【請求項16】

前記処理手段が、
前記ユーザに対して表示されるときの仮想オブジェクトの対応する実際の位置を含む命令であって、前記仮想オブジェクトを表示するようにとの命令を受信し、
前記受信した実際の位置に対して、前記較正変換を適用することにより、前記仮想オブジェクトの表示位置を計算し、
前記ディスプレイ上の前記計算された表示位置に前記仮想オブジェクトを表示するようにさらに機能する、請求項１から１５のいずれか一項に記載のディスプレイデバイス。

【請求項17】

ユーザが着用するように設定された頭部装着型ディスプレイデバイスによって実施される方法（５００）であって、
前記ディスプレイデバイスに備わっている前向きのカメラ（１０２）によって取り込まれた実際のシーンの第１の画像と、前記ユーザの角膜による前記実際のシーンの反射である第２の画像であって、前記ディスプレイデバイスに備わっている、目に対向するカメラによって取り込まれた第２の画像との両方の中に見える１つもしくは複数の実際の物体またはこれらの一部分から較正物体を選択すること（５０４）と、
前記ディスプレイデバイスに備わっている少なくとも部分的に透明なディスプレイ（１０１）上の表示位置に表示される仮想オブジェクトが、前記ユーザに見られたとき、実際の位置にある対応する実際の物体と位置が合うように、前記第１の画像および前記第２の画像を使用して、前記実際の位置に基づいて前記表示位置を計算するための較正変換を導出すること（５０７）と
を含む方法。

【請求項18】

前記較正物体が、前記目に対向するカメラの視野に対応する前記第１の画像の領域に見られる１つもしくは複数の実際の物体またはこれらの一部分から選択される（５０４）、請求項１７に記載の方法。

【請求項19】

前記較正物体が、前記第２の画像の中の前記較正物体の、前記第１の画像と比較したときの歪みに基づいて選択される（５０４）、請求項１７に記載の方法。

【請求項20】

前記較正物体が前記較正物体の外観に基づいて選択される（５０４）、請求項１７または１８に記載の方法。

【請求項21】

前記１つまたは複数の実際の物体から以前に選択された較正物体が前記較正物体としての選択される（５０４）、請求項１７または１８に記載の方法。

【請求項22】

前記ディスプレイデバイスに備わっている１つまたは複数の運動センサを使用して前記ディスプレイデバイスの運動を追跡すること（５０２）と、
前記ディスプレイデバイスの前記追跡された運動に基づいて、前記１つまたは複数の実際の物体が前記第１の画像の中に見えている期間を推定すること（５０３）と
をさらに含む方法であって、
前記推定された、前記第１の画像の中に前記較正物体が見えている期間に基づいて、前記較正物体が選択される（５０４）、請求項１７または１８に記載の方法。

【請求項23】

前記較正物体を前記選択すること（５０４）が、
１つまたは複数の実際の物体の視覚的特徴を、データベースに記憶されている実際の物体の視覚的特徴に関する情報に対して照合することにより、前記１つまたは複数の実際の物体を識別することと、
前記データベースから得られた、前記識別された実際の物体またはこれらの一部分のそれぞれの較正物体としての適合性を指示する情報に基づいて、前記較正物体を選択することと
を含む、請求項１７または１８に記載の方法。

【請求項24】

前記較正物体を前記選択すること（５０４）が、
前記ディスプレイデバイスに備わっている無線通信インターフェースを使用して、前記１つまたは複数の実際の物体から、ディスプレイを備える通信デバイスを識別することと、
前記通信デバイスの前記ディスプレイと、そこに表示されたグラフィカルコンテンツとのうち少なくとも１つを前記較正物体として選択することと
を含む、請求項１７または１８に記載の方法。

【請求項25】

前記較正物体を前記選択すること（５０４）が、前記通信デバイスから、前記無線通信インターフェースを介して、前記表示されたグラフィカルコンテンツの表現を受信することをさらに含む、請求項２４に記載の方法。

【請求項26】

前記較正物体を前記選択すること（５０４）が、前記無線通信インターフェースを介して、前記通信デバイスに、前記通信デバイスの前記ディスプレイに前記グラフィカルコンテンツを表示するようにとの命令を送信することをさらに含む、請求項２４に記載の方法。

【請求項27】

前記較正物体を前記選択すること（５０４）が、前記無線通信インターフェースを介して、前記通信デバイスに、前記グラフィカルコンテンツの表現を送信することをさらに含む、請求項２６に記載の方法。

【請求項28】

前記ユーザから、較正手順を開始するようにとの命令を受信すること、
前記ディスプレイデバイスに電力を供給すること、
表示された仮想オブジェクトの前記実際のシーンに対する位置合わせ不良を検知すること、
前記ユーザが、前記ディスプレイデバイスの前のユーザとは異なることを検知すること、
前記ディスプレイデバイスが前記ユーザの少なくとも１つの目（１２２）に対して変位したのを検知すること、ならびに
前記ディスプレイ（１０１）および前記前向きのカメラ（１０２）のうちいずれか１つが前記ディスプレイデバイスに対して変位したのを検知すること
のうちいずれか１つに応答して、前記較正物体が選択され（５０４）、前記較正変換が導出される（５０７）、請求項１７から２７のいずれか一項に記載の方法。

【請求項29】

前記較正物体を選択すること（５０４）に応答して、前記ユーザに見られたとき、前記選択された較正物体に重ね合わさる１つまたは複数の表示される仮想オブジェクトを適合させること（５０５）をさらに含む、請求項１７から２８のいずれか一項に記載の方法。

【請求項30】

前記較正物体を選択すること（５０４）に応答して、前記ユーザに、較正が進行中であると通知すること（５０６）をさらに含む、請求項１７から２９のいずれか一項に記載の方法。

【請求項31】

前記ユーザに、前記選択された較正物体を識別するために、前記ディスプレイ上にマーカを表示することによって、較正が進行中であることを前記ユーザが通知される（５０６）、請求項３０に記載の方法。

【請求項32】

前記ユーザに対して表示されるときの仮想オブジェクトの対応する実際の位置を含む命令であって、前記仮想オブジェクトを表示するようにとの命令を受信すること（５０８）と、
前記受信した実際の位置に対して、前記較正変換を適用することにより、前記仮想オブジェクトの表示位置を計算すること（５０９）と、
前記ディスプレイ上の前記計算された表示位置に前記仮想オブジェクトを表示すること（５１０）と
をさらに含む、請求項１７から３１のいずれか一項に記載の方法。

【請求項33】

コンピュータ実行可能命令を含むコンピュータプログラム（３０４）であって、前記コンピュータ実行可能命令は、頭部装着型ディスプレイデバイスに備わっている処理ユニット（３０２）上で実行されたとき、前記ディスプレイデバイスに、請求項１７から３２のいずれか一項に記載の方法を実施させるためのものである、コンピュータプログラム（３０４）。

【請求項34】

請求項３３に記載のコンピュータプログラム（３０４）を記憶しているコンピュータ可読記憶媒体（３０３）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頭部装着型ディスプレイデバイス、頭部装着型ディスプレイデバイスによって実施される方法、対応するコンピュータプログラム、および対応するコンピュータ可読記憶媒体に関するものである。

【背景技術】

【0002】

複合現実感（ＭＲ）は、ネットワーク社会における不可欠な技術になるとともに民生用電子機器市場を強力に混乱させることが予見される。複合現実感は拡張現実感（ＡＲ）および拡張仮想感（ＡＶ）を包含する。

【0003】

ＡＲは、スマートフォンおよびタブレットなどの携帯用デバイス、またはＭｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓなどの頭部装着型ディスプレイ（ＨＭＤ）（頭部装着型ディスプレイデバイスとしても知られている）によって実施されることが多い。ＨＭＤによるＡＲは、透明なディスプレイを介して、ユーザの実視野の上に、テキスト、画像、または映像などの層化情報を示唆するものである。

【0004】

透明なディスプレイを有するＨＭＤなどのディスプレイデバイスは、没入型のユーザ体感を提供するために較正を必要とする。較正の目的は、表示される仮想オブジェクトが、透明なディスプレイを通してユーザが見る実際の物体と正確に位置が合うように、ＨＭＤの透明なディスプレイ上にテキスト、画像、および映像などの仮想オブジェクトを表示できるようにすることである。実際には、ディスプレイの姿勢と、現実世界の画像を取り込み、かつ／または実際の物体を追跡するための前向きのカメラ（a front-facing camera）、ならびにユーザの目を追跡するための目に対向するカメラ（an eye-facing camera）など、ＨＭＤが備えるあらゆるカメラのそれぞれの姿勢とに加えて、ユーザの目の姿勢も知る必要がある。

【0005】

ＨＭＤに関する既知の較正方法の概要は、Ｊ．Ｇｒｕｂｅｒｔ、Ｙ．Ｉｔｏｈ、Ｋ．Ｍｏｓｅｒ、およびＪ．ｅ．Ｓｗａｎ ＩＩの（「Ａ Ｓｕｒｖｅｙ ｏｆ Ｃａｌｉｂｒａｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｏｐｔｉｃａｌ Ｓｅｅ－Ｔｈｒｏｕｇｈ Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙｓ」、ａｒＸｉｖ：１７０９．０４２９９ｖ１、２０１７年９月１３日）に示されている。そのような較正方法は、一般的にはＨＭＤが使用されているときに手動で実施されるが、較正方法のうちいくつかが自動化され得る。いくつかの既知の較正方法に共通して、非実際的な較正装備および／または割高な較正機器に頼るものがある。

【0006】

たとえば、ＷＯ２０１６／１９１０４３ Ａ１には、ユーザの特定の目の特徴に合わせて較正された視野マトリクスを確立するための手動の較正手順が開示されている。

【0007】

また、（Ａ．Ｐｌｏｐｓｋｉ、Ｃ．Ｎｉｔｓｃｈｋｅ、Ｋ．Ｋｉｙｏｋａｗａ、Ｄ．Ｓｃｈｍａｌｓｔｉｅｇ、およびＨ．Ｔａｋｅｍｕｒａによる「Ｈｙｂｒｉｄ Ｅｙｅ Ｔｒａｃｋｉｎｇ： Ｃｏｍｂｉｎｉｎｇ Ｉｒｉｓ Ｃｏｎｔｏｕｒ ａｎｄ Ｃｏｒｎｅａｌ Ｉｍａｇｉｎｇ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ ａｎｄ Ｔｅｌｅｘｉｓｔｅｎｃｅ Ｅｕｒｏｇｒａｐｈｉｃｓ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ、Ｔｈｅ Ｅｕｒｏｇｒａｐｈｉｃｓ Ａｓｓｏｃｉａｔｉｏｎ、２０１５年）に説明されているように、ユーザの角膜による実際のシーンの反射を結像するために、目に対向するカメラに頼る、角膜の結像に基づく較正方法が知られている。

【発明の概要】

【0008】

本発明は、上記の技法および従来技術に対する改善された代替形態を提供することを目的とするものである。

【0009】

より具体的には、本発明は、透明な頭部装着型ディスプレイデバイスを較正するための改善された解決策を提供することを目的とする。詳細には、本発明の目的は、較正手順で使用するために較正物体を自動的に選択するための解決策を提供することである。

【0010】

本発明のこれらおよび他の目的は、独立請求項によって規定されるような、本発明の異なる態様によって達成される。本発明の実施形態は従属請求項によって特徴づけられる。

【0011】

本発明の第１の態様によれば、頭部装着型ディスプレイデバイスが提供される。このディスプレイデバイスはユーザによって着用されるように設定されており、少なくとも部分的に透明なディスプレイ、前向きのカメラ、および処理手段を備える。前向きのカメラは、実際のシーンの第１の画像を取り込むように機能する。一般的には、ユーザによって着用されたとき、取り込まれる実際のシーンはユーザの目の前のシーンである。処理手段は、第１の画像の中に見える１つまたは複数の実際の物体から、較正物体または較正物体の一部分を選択するように機能する。処理手段は、ディスプレイ上の表示位置に表示された仮想オブジェクトが、ユーザに見られたとき、実際の位置にある対応する実際の物体と位置が合うように、実際の位置に基づいて表示位置を計算するための較正変換を導出するようにさらに機能する。較正変換は、たとえば、マトリクスまたは２つの座標系の間の変換を記述するのに適切な数学的表現の他の形態によって表現され得る。

【0012】

本発明の第２の態様によれば、頭部装着型ディスプレイデバイスによって実施される方法が提供される。ディスプレイデバイスはユーザが着用するように設定されている。この方法は、実際のシーンの第１の画像の中に見られる１つもしくは複数の実際の物体またはこれらの一部分から較正物体を選択することを含む。第１の画像は、ディスプレイデバイスに備わっている前向きのカメラによって取り込まれる。この方法は、少なくとも部分的に透明なディスプレイ上の表示位置に表示された仮想オブジェクトが、ユーザに見られたとき、実際の位置にある対応する実際の物体と位置が合うように、実際の位置に基づいて表示位置を計算するための較正変換を導出することをさらに含む。ディスプレイデバイスには、少なくとも部分的に透明なディスプレイが備わっている。

【0013】

本発明の第３の態様によれば、コンピュータプログラムが提供される。コンピュータプログラムがコンピュータ実行可能命令を含み、コンピュータ実行可能命令は、ディスプレイデバイスに備わっている処理ユニット上で実行されたとき、頭部装着型ディスプレイデバイスに、本発明の第２の態様の一実施形態による方法を実施させるためのものである。

【0014】

本発明の第４の態様によれば、コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体には、本発明の第３の態様によるコンピュータプログラムが記憶されている。

【0015】

本発明は、透明な頭部装着型ディスプレイ（ＨＭＤ）すなわちディスプレイデバイスに関する改善された較正手順が、たとえば当技術で既知の較正手順のうち任意の較正手順に用いる１つまたは複数の実際の物体から較正物体を自動的に選択することによって達成されるという理解を利用するものである。それによって、ＨＭＤのユーザは、専用の較正物体を保持する必要性または持ち運ぶ必要性が、多少なりとも緩和される。本発明の実施形態は、１つまたは複数の実際の物体、すなわち前向きのカメラによって取り込まれた第１の画像の中に見られるユーザの周囲の物理的物体から、適切な較正物体を選択するものである。これらは、前向きのカメラの視野にある、家具、家電製品、建物、ドア、窓、車両、道路標識、タブレット、スマートフォン、ラップトップコンピュータ、チェッカー盤などの実際の物体である。

【0016】

本発明の一実施形態によれば、ディスプレイデバイスは、ユーザの角膜による実際のシーンの反射の第２の画像を取り込むように機能する、目に対向するカメラをさらに備える。この処理手段は、第１の画像と第２の画像の両方に見られる１つもしくは複数の実際の物体またはこれらの一部分から較正物体を選択し、第１の画像および第２の画像を使用して較正変換を導出するように機能する。本発明のこの実施形態は、角膜の結像に頼る較正方法に関するものである。任意選択で、較正物体は、目に対向するカメラの視野に対応する第１の画像の領域に見られる１つもしくは複数の実際の物体またはこれらの一部分から選択される。一般的には、目に対向するカメラの視野は前向きのカメラよりも小さい。角膜の結像に頼る較正手順の一部分として較正変換を導出するために、較正物体が第１の画像と第２の画像の両方において見える必要があるので、較正物体は、有利には、目に対向するカメラの視野に対応する第１の画像の一部分の中に見える実際の物体から選択される。実際には、これらは、目に対向するカメラによって取り込まれた第２の画像の中に見える物体でもある。有利には、角膜の不完全性のために、（前向きのカメラによって取り込まれた）第１の画像は（目に対向するカメラによって取り込まれた）第２の画像よりも一般的には優れているので、第２の画像と比較して、第１の画像の画像処理によって実際の物体を識別する方が、より簡単かつより確実で、リソース消費がより少ない。

【0017】

本発明の一実施形態によれば、較正物体は、第２の画像の中の較正物体の、第１の画像と比較したときの歪みに基づいて選択されてよい。これは、角膜の結像に頼る較正方法が採用される場合のことである。望ましくは、歪みが最小の物体が選択される。較正変換が第１の画像と第２の画像によって取り込まれた同一の物体を比較することによって導出されるので、これは有利である。

【0018】

本発明の一実施形態によれば、較正物体の外観に基づいて較正物体が選択される。たとえば、明瞭に見え、かつ／または高コントラストを有し、したがって画像処理または物体認識によって容易に検知され得る実際の物体が、望ましくは選択される。

【0019】

本発明の一実施形態によれば、以前に１つまたは複数の実際の物体から選択された較正物体が、較正物体として選択される。これは、使用される較正物体のデータベースを維持することによって達成され得る。

【0020】

本発明の一実施形態によれば、ディスプレイデバイスは、ディスプレイデバイスの運動を追跡するように機能する１つまたは複数の運動センサを備える。処理手段は、第１の画像の中に１つまたは複数の実際の物体が見えている期間を推定して、推定された、第１の画像の中に較正物体が見えている期間に基づいて、較正物体を選択するように機能する。第１の画像の中に１つまたは複数の実際の物体が見えている期間は、ディスプレイデバイスの追跡された運動に基づいて推定される。望ましくは、較正手順を実施するために十分に長い期間の間に、第１の画像と、任意選択で第２の画像との中に見える実際の物体が選択される。代替形態として、視野に対してゆっくり移動しているかまたは全く動かない実際の物体が選択されてよい。

【0021】

本発明の一実施形態によれば、較正物体は、１つまたは複数の実際の物体の視覚的特徴を、データベースに記憶された実際の物体の視覚的特徴に関する情報と照合することにより、１つまたは複数の実際の物体を識別することと、データベースから得られた情報に基づいて較正物体を選択することとによって、選択される。データベースから得られる情報は、識別された実際の物体またはこれらの一部分のそれぞれの較正物体としての適合性を指示してよい。この情報は、たとえば、実際の物体の幾何形状に関する外観、寸法、構成等に関するものでよい。この点で、外観が、画像処理による検知が容易な高コントラストまたは幾何形状によって特徴づけられる場合、実際の物体は、較正物体としてより適切であると考えられる。たとえば、チェッカー盤は、簡単な幾何形状から成ることおよび高コントラストによって特徴づけられる。望ましくは、最も適切な較正物体が選択される。

【0022】

本発明の一実施形態によれば、ディスプレイデバイスは無線通信インターフェースをさらに備える。処理手段は、無線通信インターフェースを使用して、１つまたは複数の実際の物体から、ディスプレイを備える通信デバイスを識別することと、通信デバイスのディスプレイと、これに表示されたグラフィカルコンテンツとのうち少なくとも１つを較正物体として選択することとによって、較正物体を選択するように機能する。ディスプレイを備える通信デバイスは、たとえば、近くの通信デバイスのタイプ、能力、または製造元／モデルを問い合わせることにより、近くの通信デバイスと無線通信を確立することによって識別され得る。有利には、前向きのカメラの視野の中にある近くの通信デバイスは、専用の較正パターンの形態のグラフィカルコンテンツを表示してよく、専用の較正パターンは、高コントラストであることを特徴とし、長方形、正方形、円などの簡単な幾何形状から成るものである。任意選択で、ディスプレイデバイスは、通信デバイスから、無線通信インターフェースを介して、表示されたグラフィカルコンテンツの表現を受信してよい。言い換えれば、通信デバイスは、ディスプレイデバイスが、表示されたグラフィカルコンテンツを較正物体として使用し得るように、現在どのようなグラフィカルコンテンツが表示されているのかを、ディスプレイデバイスに報告してよい。代替形態として、ディスプレイデバイスは、無線通信インターフェースを介して、通信デバイスに、通信デバイスのディスプレイにグラフィカルコンテンツを表示するようにとの命令を送信してよい。命令はメッセージまたは信号などの要求でよく、通信デバイスは命令に応答してグラフィカルコンテンツを表示する。任意選択で、ディスプレイデバイスは、無線通信インターフェースを介して、通信デバイスに、グラフィカルコンテンツの表現を送信してよい。

【0023】

本発明の一実施形態によれば、ディスプレイデバイスは仮想オブジェクトを表示するようにとの命令を受信するようにさらに機能し、この命令は、ユーザに表示されているときの仮想オブジェクトの対応する実際の位置を含む。これは、出現する仮想オブジェクトが実際のシーンの中に配置される位置である。この命令は、たとえばＡＲアプリケーションから受信されてよく、ＡＲアプリケーションは、ディスプレイデバイスによって実行されるか、またはユーザに仮想オブジェクトを表示するためにディスプレイデバイスを利用する。ディスプレイデバイスは、受信された実際の位置に較正変換を適用することによって仮想オブジェクトの表示位置を計算し、ディスプレイ上の計算された表示位置に仮想オブジェクトを表示するようにさらに機能する。

【0024】

本発明の利点が、一部の例では本発明の第１の態様の実施形態を参照しながら説明されてきたが、対応する理由付けは本発明の他の態様の実施形態に当てはまる。

【0025】

以下の詳細な開示、図面、および添付の特許請求の範囲を検討すれば、本発明のさらなる目的、特徴、および利点が明らかになるはずである。以下で説明されるものとは別の実施形態を作り出すために、本発明の種々の特徴が組み合わされ得ることが、当業者には理解される。

【0026】

本発明の上記の目的、特徴、および利点、ならびに、さらなる目的、特徴、および利点が、本発明の実施形態の、添付図面の参照を伴う、以下の例示的かつ非限定的な詳細説明によって、一層よく理解されるはずである。

【図面の簡単な説明】

【0027】

【図1】本発明の実施形態による頭部装着型ディスプレイデバイスを示す図である。

【図2】本発明の実施形態による図１のディスプレイデバイスの少なくとも部分的に透明なディスプレイによる視野を示す図である。

【図3】図１のディスプレイデバイスが備える処理手段の一実施形態を示す図である。

【図4】図１のディスプレイデバイスが備える処理手段の別の実施形態を示す図である。

【図5】本発明の実施形態による頭部装着型ディスプレイデバイスによって実施される方法を図示する流れ図である。

【発明を実施するための形態】

【0028】

すべての図は概略であって必ずしも原寸に比例するものではなく、全般的に、本発明を解明するために必要な部分のみを示し、他の部分は省略されるかまたは示唆されるのみであり得る。

【0029】

以下では、本発明のある特定の実施形態を示す添付図面を参照しながら、本発明をより十分に説明する。しかしながら、本発明は異なる形態でも具現され得、本明細書で明らかにされた実施形態に限定されるものと解釈されるべきではない。むしろ、これらの実施形態は、本開示が十分かつ完結したものになるように例として提供されるものであり、当業者に対して本発明の範囲を十分に伝えるはずである。

【0030】

以下では、ユーザが着用するように設定された頭部装着型ディスプレイデバイス（ＨＭＤ）１００を示す図１を参照しながら、ＨＭＤの実施形態を説明する。ＨＭＤ１００は、たとえばストラップ等を使用してユーザの頭部１２１に取り付けられ得る。ＨＭＤ１００が少なくとも部分的に透明なディスプレイ１０１を備え、ユーザは、少なくとも部分的に透明なディスプレイ１０１を通して、ユーザの前方の実際のシーンを目１２２で観察することができる。ディスプレイ１０１は、ユーザに対して、テキスト、画像、映像、または他のタイプのグラフィカルコンテンツなどの仮想オブジェクトを、実際のシーンの上に表示された仮想オブジェクトを重ね合わせるように表示するために使用され得る。ＨＭＤ１００は、実際のシーンの第１の画像を取り込むように機能する前向きのカメラ１０２と、本明細書で明らかにされた本発明の実施形態に従ってＨＭＤ１００を動作させるように機能する処理手段１０４とをさらに備える。

【0031】

より具体的には、ＨＭＤ１００は、前向きのカメラ１０２によって取り込まれた第１の画像の中に見える１つもしくは複数の実際の物体またはこれら一部分１３０－１３５から較正物体を選択するように機能する。第１の画像は、前向きのカメラ１０２の視野１１２の範囲内の実際のシーンの視野を表現する。現在の状況では、実際の物体は、１つの家具、家電製品、建物、ドア、窓、車両、道路標識、タブレット、スマートフォン、ラップトップコンピュータ、チェッカー盤などの、何らかの物理的物体でよい。図１では、少数の実際の物体が、タブレット１３０、ボックス１３３、および自動車１３４として例示されている。本発明の実施形態は、較正物体として、たとえばボックス１３３など実際の物体の全体を選択してよく、または、たとえばタブレット１３０のディスプレイ１３１、もしくはそこに表示されたグラフィカルコンテンツ１３２など、実際の物体の一部分を選択してよい。図１では、グラフィカルコンテンツ１３２はチェッカー盤として例示されており、これは、高コントラストかつ簡単な幾何形状の構成のためにフィールドにおいて一般に使用される較正パターンであり、画像処理および物体認識を容易にするものである。

【0032】

ＨＭＤ１００は、実際の位置に基づいて表示位置を計算するための較正変換を導出するようにさらに機能する。表示位置は、ディスプレイ１０１を通してユーザの目１２２で実際のシーンを見たとき、ユーザに見られたとき、ディスプレイ１０１の座標系に関連した表示位置においてディスプレイ１０１上に表示された仮想オブジェクトが、前向きのカメラ１０２の座標系に関連して実際の位置にある対応する実際の物体と位置が合うように計算される。

【0033】

ＨＭＤ１００などの透明なディスプレイに頼るＡＲでは、重要なタスクは、別々の座標系の相対的な配向および位置すなわち姿勢を確立するためにＨＭＤを較正することである。本発明を解明するために、いくつかの座標系がＨＭＤ１００に関連づけられ得る。第１の座標系はディスプレイ１０１に関連づけられてよく、第２の座標系は前向きのカメラ１０２に関連づけられてよく、第３の座標系は目に対向する任意選択のカメラ１０３（以下でさらに説明される）に関連づけられてよく、第４の座標系はユーザの目１２２に関連づけられてよい。仮想オブジェクトが、実際のシーンの所望位置に見えるようにディスプレイ１０１上に表示され得て没入型ユーザ体感を可能にするのは、適切に較正された場合のみである。当面の問題はＷＯ ２０１６／１９１０４３ Ａ１に概説されており、手動の較正手順が提案されている。異なる較正手順の概要が、Ｊ．Ｇｒｕｂｅｒｔ、Ｙ．Ｉｔｏｈ、Ｋ．Ｍｏｓｅｒ、およびＪ．ｅ．Ｓｗａｎ ＩＩによる「Ａ Ｓｕｒｖｅｙ ｏｆ Ｃａｌｉｂｒａｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｏｐｔｉｃａｌ Ｓｅｅ－Ｔｈｒｏｕｇｈ Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙｓ」（ａｒＸｉｖ：１７０９．０４２９９ｖ１、２０１７年９月１３日）に見いだされ得る。

【0034】

図２には、実際のシーンの上に仮想オブジェクトを重ね合わせることが図示されており、これは、ディスプレイ１０１を通してユーザの目１２２に見える実際のシーンの視野を示すものである。図２では、実際の物体またはこれらの一部分１３０－１３５がディスプレイ１０１を通して見られるが、ここでチェッカー盤としてここに図示された仮想オブジェクト２３２は、タブレット１３０のディスプレイ１３１にグラフィカルコンテンツとして表示されたチェッカー盤１３２と同一であり、ディスプレイ１０１上に表示することによって実際のシーンの上に重ね合わされる。チェッカー盤２３２は、タブレット１３０のディスプレイ１３１上に表示されるチェッカー盤１３２の実際の位置に出現するような表示位置に表示されることになるという想定の下で、ＨＭＤ１００は、目１２２で見られたときのチェックボード２３２の表示位置を、タブレット１３０に表示されたチェックボード１３２へと変位させて合わせるように、すなわち重ね合わせるように補正する必要がある。較正手順の目的は、図２の矢印２４０によって図示されたチェッカー盤２３２の必要な変位である。

【0035】

ＨＭＤ１００が任意選択で目に対向するカメラ１０３を備え得、目に対向するカメラ１０３は、ユーザの角膜１２３による実際のシーンの反射の第２の画像を取り込むように機能する。角膜の結像は、人の前方にあるものの情報を収集するために、また、見ている視野よりも可能性として広い視野における物体に関する情報を収集するために、人間の眼球の球状の性質により、人の角膜、詳細にはＨＭＤのユーザの角膜を結像するようにカメラを利用する技法である。そのような物体は、可能性としてカメラの視野の外にあり、カメラの後ろにあることさえあり得る。この技法は、人間の角膜の高反射性の性質と、またＨＭＤなどの消費者デバイスにおける高解像度カメラの利用可能性とのために可能になるものである。

【0036】

較正手順が角膜の結像に頼る場合には、ＨＭＤ１００は、第１の画像と第２の画像の両方に見られる１つもしくは複数の実際の物体またはこれらの一部分１３０－１３５から較正物体を選択し、第１の画像および第２の画像を使用して較正変換を導出するように機能する。さらに任意選択で、ＨＭＤ１００は、目に対向するカメラ１０３の視野１１３に対応する第１の画像の領域の中に見える１つもしくは複数の実際の物体またはこれらの一部分１３０－１３５から較正物体を選択するように機能し得る。（前向きのカメラ１０２によって視野１１２に対して取り込まれた）第１の画像が、角膜１２３の不完全な表面からの反射のために、（目に対向するカメラ１０３によって視野１１３を用いて取り込まれた）第２の画像よりも一般的には優れているので、第１の画像を使用して、画像処理および物体認識によって実際の物体を識別することは、第２の画像を使用するのと比較して、より簡単かつより確実であり、リソース消費がより少ない。較正物体として適切な実際の物体を識別するために処理する必要のある第１の画像の領域を限定することにより、本発明の実施形態が必要とするコンピューティングリソースがより少なくなり、したがって必要な電力もより少なくなる。

【0037】

較正手順自体、すなわちＨＭＤに関連した異なる座標系の相対姿勢を確立することは本開示の範囲外である。たとえば２つの座標系の間の座標の変換を記述するためのマトリクスまたは適切な数学的表現の何らかの他の形態といった較正変換を導出するために、実際の較正物体が使用されると言うにとどめておく。ＨＭＤの設計に依拠して、座標系のうち１つまたは複数が、互いに対して、かつ／またはＨＭＤ１００に対して、一定の姿勢を有し得ることが理解されよう。たとえば、これは、別々の構成要素が通常の使用中に互いに対して動くことがないように、ディスプレイ１０１、前向きのカメラ１０２、および任意選択の目に対向するカメラ１０３が、単一ユニットの中に含有されているＨＭＤに関する事例である。

【0038】

この技術で使用される較正物体は、一般的にはチェッカー盤または較正装置などの専用の較正物体である（たとえば、Ａ．Ｐｌｏｐｓｋｉ、Ｃ．Ｎｉｔｓｃｈｋｅ、Ｋ．Ｋｉｙｏｋａｗａ、Ｄ．Ｓｃｈｍａｌｓｔｉｅｇ、およびＨ．Ｔａｋｅｍｕｒａによる「Ｈｙｂｒｉｄ Ｅｙｅ Ｔｒａｃｋｉｎｇ： Ｃｏｍｂｉｎｉｎｇ Ｉｒｉｓ Ｃｏｎｔｏｕｒ ａｎｄ Ｃｏｒｎｅａｌ Ｉｍａｇｉｎｇ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ ａｎｄ Ｔｅｌｅｘｉｓｔｅｎｃｅ Ｅｕｒｏｇｒａｐｈｉｃｓ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ、Ｔｈｅ Ｅｕｒｏｇｒａｐｈｉｃｓ Ａｓｓｏｃｉａｔｉｏｎ、２０１５年、を参照されたい）。本発明の実施形態は、ＨＭＤ１００のユーザが保持して場合によっては持ち運ぶ必要のある専用の較正物体を使用することなく、ＨＭＤ１００の較正が必要なとき、ユーザの近くの利用可能な実際の物体を利用することに頼るものである。ＨＭＤの設計およびＨＭＤの使用法に依拠して、一般的には、目１２２の姿勢、すなわちＨＭＤ１００に対する目１２２の配向および／または位置が変化した場合には、較正が必要である。その上に、ディスプレイ１０１、前向きのカメラ１０２、および目に対向するカメラ１０３のうち１つまたは複数が、互いに対して、かつ／またはＨＭＤ１００に対して変位した場合には、較正が必要になり得る。

【0039】

より具体的には、ＨＭＤ１００は、ＨＭＤ１００に電力を供給して較正手順を開始するようにとの命令をユーザから受信すること、表示された仮想オブジェクトの実際のシーンに対する位置合わせ不良を検知すること、ユーザがＨＭＤ１００の前のユーザとは異なることを検知すること、ＨＭＤ１００がユーザの少なくとも１つの目１２２に対して変位したのを検知すること、ならびにディスプレイ１０１、前向きのカメラ１０２、および目に対向するカメラ１０３のうち１つまたは複数が、互いに対して、かつ／またはＨＭＤ１００に対して変位したのを検知すること、のうちいずれか１つに応答して、較正手順を開始するかまたはトリガするように、すなわち較正物体を選択して較正変換を導出するように、機能し得る。

【0040】

実際には、表示された仮想オブジェクトの実際のシーンに対する位置合わせ不良は、特定の実際の物体の実際の位置に対応する表示位置に、仮想オブジェクトを表示することによって検知され得る。詳細には、表示された仮想オブジェクトは、実際の物体と同一の形状を有し得、すなわち実際の物体の仮想表現（または仮想コピー）でよい。表示された仮想オブジェクトと実際の物体の位置合わせが不良であると、少なくともある程度まで較正手順がトリガされる。位置合わせ不良は、ユーザによって、または目に対向するカメラ１０３によって取り込まれた、実際の物体と重ね合わせられた仮想オブジェクトの両方が見られる第２の画像を画像処理することにより、角膜の結像によって、検知され得る。

【0041】

ユーザの少なくとも１つの目１２２に対するＨＭＤ１００の変位は、たとえば目に対向するカメラ１０３を使用して検知され得る。これは、ユーザの目１２２の位置を経時的に追跡することによって達成され得る。ユーザの目１２２の位置が、閾値を超えるほど履歴の平均値から離れると、較正手順がトリガされ得る。閾値は、ユーザ、ＨＭＤ１００の製造業者、またはユーザに仮想オブジェクトを表示するためにＨＭＤ１００を利用しているＡＲアプリケーションのいずれかによってセットされてよい。

【0042】

ディスプレイ１０１、前向きのカメラ１０２、および目に対向するカメラ１０３のうち１つもしくは複数の互いに対する変位ならびに／またはＨＭＤ１００に対する変位は、ディスプレイ１０１、前向きのカメラ１０２、および目に対向するカメラ１０３に備わっている運動センサを利用することによって検知され得る。

【0043】

以下では、１つもしくは複数の実際の物体またはこれらの一部分１３０－１３５から較正物体を選択するための異なる代替形態が説明される。

【0044】

たとえば、ＨＭＤ１００は、較正物体の外観に基づいて較正物体を選択するように機能し得る。望ましくは、優れた照明条件および／もしくは高コントラストで明瞭に見える実際の物体、ならびに／または簡単な幾何形状から成る実際の物体が選択される。そのような実際の物体は、たとえばスケール不変の特徴変換（ＳＩＦＴ）（たとえば米国特許第６，７１１，２９３ Ｂ１号を参照されたい）または当技術において既知の類似のアルゴリズムを使用すれば、一般的には画像処理および物体認識によって検知するのが容易である。

【0045】

あるいは、ＨＭＤ１００は、１つもしくは複数の実際の物体またはこれら一部分１３０－１３５から以前に選択された較正物体を較正物体として選択するように機能し得る。この目的のために、ＨＭＤ１００は、ＨＭＤ１００が備える（図３に示された記憶装置３０３のような）記憶装置におけるデータベース、またはＨＭＤ１００が（無線通信インターフェース１０５を介して）通信ネットワークを通じてアクセス可能なデータベース、たとえばクラウドベースのデータベースのいずれかを維持してよい。データベースには、たとえば１つまたは複数の実際の物体の、外観または視覚的特徴、写真に関する情報、あるいは形状、幾何形状の構成、および寸法に関する情報といった、１つまたは複数の実際の物体から較正物体を識別するために使用され得る情報が、記憶されてよい。

【0046】

さらなる代替形態として、ＨＭＤ１００は、ＨＭＤ１００の運動を追跡するように機能する１つまたは複数の運動センサ１０６を付加的に備え得る。１つまたは複数の運動センサ１０６は、たとえば、通常のスマートフォンに備わっている、当技術で既知の、加速度計、ジャイロスコープ、全地球測位システム（ＧＰＳ）のセンサ、磁力計、カメラなどに基づくものでよい。ＨＭＤ１００は、１つまたは複数の実際の物体が、第１の画像の中に見えている、すなわち前向きのカメラ１０２の視野１１２の範囲内に、とどまっている期間を、ＨＭＤ１００の追跡された運動に基づいて推定して、第１の画像の中にとどまっていると推定された期間に基づいて較正物体を選択するように機能する。これは、ＨＭＤ１００が、選択された較正物体を前向きのカメラ１０２で追跡することに頼る較正手順が採用される場合のことである。望ましくは、較正を実施するのに十分に長い期間にわたって第１の画像の中に見える実際の物体またはこれらの一部分１３０－１３５が、較正物体として選択される。代替形態として、視野１０２に対してゆっくり移動しているかまたは全く動かない実際の物体またはこれらの一部分１３０－１３５が、較正物体として選択されてよい。たとえば、ＨＭＤ１００がある程度静止している場合には、ボックス１３３などの静止している実際の物体が選択されてよい。他方では、たとえばユーザが頭部１２１を旋回しているためにＨＭＤ１００が動いている場合には、自動車１３４などの同様に動いている実際の物体が選択されてよい。

【0047】

較正物体が、目に対向するカメラ１０３の視野１１３に対応する第１の画像の領域の中に見える１つもしくは複数の実際の物体またはこれらの一部分１３０－１３５から選択される場合、較正物体が第２の画像の中に見えている、すなわち目に対向するカメラ１０３の視野１１３の範囲内に見えている、推定された期間に基づいて較正物体が選択され得ることも理解されよう。

【0048】

さらなる代替形態では、ＨＭＤ１００は、１つまたは複数の実際の物体１３０－１３５の視覚的特徴を、データベースに記憶されている実際の物体の視覚的特徴に関する情報に対して照合することによって１つまたは複数の実際の物体１３０－１３５を識別することと、たとえばＳＩＦＴまたは類似のアルゴリズムを使用して、データベースから得られた情報に基づき、較正物体を選択することとによって、較正物体を選択するように機能し得る。得られた情報は、識別された実際の物体またはこれらの一部分１３０－１３５のそれぞれの較正物体としての適合性を指示し得る。たとえば、この情報は、較正変換を導出する際に利用される、外観、形状、幾何形状の構成、寸法等に関するものであり得る。望ましくは、最も適切な較正物体が選択される。

【0049】

さらなる代替形態として、較正変換が、角膜の結像に頼ることにより、第１の画像と第２の画像の両方を使用して導出される場合には、ＨＭＤ１００は、第２の画像の中の較正物体の第１の画像と比較したときの歪みに基づいて較正物体を選択するように機能し得る。第２の画像の中の較正物体の歪みは、球形状の角膜１２３からの反射に由来し得、角膜１２３の外表面の不完全性と、角膜１２３の外表面における涙または汚れとに悩まされる。加えて、ユーザはＨＭＤ１００の光学要素を介して実際のシーンを観察するが、この光学要素が第２の画像の歪みの一因となることがある。望ましくは、較正変換の導出を容易にするために、歪みが最小の物体が選択される。

【0050】

本発明の実施形態は、１つまたは複数の実際の物体から、較正物体として、図１および図２に示されたタブレット１３０、スマートフォン、携帯電話、コンピュータディスプレイ、テレビ等の通信デバイスを選択してもよい。この目的のために、ＨＭＤ１００は、任意の既知の無線通信技術に基づく無線通信インターフェース１０５を備え得る。たとえば、無線通信インターフェース１０５は、無線ローカルエリアネットワーク（ＷＬＡＮ）／ＷｉＦｉもしくはブルートゥースのような近距離無線技術、または汎欧州デジタル移動電話方式（ＧＳＭ）、ユニバーサルモバイル通信システム（ＵＭＴＳ）、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）、もしくはＮＲ／ＮＸに基づく５Ｇ技術のようなセル無線技術に基づくものでよい。通信、すなわちＨＭＤ１００と、無線通信インターフェース１０５と互換性のある無線通信インターフェースを備える通信デバイスとの間のデータのやり取りは、たとえばハイパーテキスト転送プロトコル（ＨＴＴＰ）、制約アプリケーションプロトコル（ＣｏＡＰ）等の任意の適切なプロトコル使用して開始し得る。

【0051】

より具体的には、ＨＭＤ１００は、無線通信インターフェース１０５を使用して、１つまたは複数の実際の物体から、タブレット１３０などの、ディスプレイを備える通信デバイスを識別することと、タブレット１３０のディスプレイ１３１と、これに表示されたグラフィカルコンテンツ１３２とのうち少なくとも１つを較正物体として選択することとによって、較正物体を選択するように機能する。１つまたは複数の実際の物体から無線通信デバイスを識別することは、たとえばブルートゥースおよび他の無線通信技術から知られているような発見手順に頼ることによって達成され得る。ＨＭＤ１００は、発見手順の一部分として、または発見手順の後に、識別された通信デバイスとの無線通信を確立し、かつ／または通信デバイスのタイプもしくは能力に関する情報、詳細には通信デバイスのディスプレイ１３１に関する情報を得るように機能し得る。タブレット１３０などの、ディスプレイを有する通信デバイスを較正物体として利用すると、ディスプレイは、十分に明るいものであれば、幾何形状が簡単でかつ高コントラストであるために、画像処理および物体認識によって識別するのが一般的には容易であるという点で有利である。

【0052】

ディスプレイを備える通信デバイスを較正物体として使用することのさらなる利点には、較正手順中に、通信デバイスのディスプレイに表示されているグラフィカルコンテンツに関する情報が、ＨＭＤ１００と通信デバイスの間でやり取りされ得ることがある。表示されるグラフィカルコンテンツは、たとえば高コントラストであることを特徴とする専用の較正パターンでよく、図１および図２に示されたチェッカー盤１３２などの簡単な幾何形状（長方形、正方形、円）から成るものである。

【0053】

より具体的には、ＨＭＤ１００は、タブレット１３０から、表示されたグラフィカルコンテンツ１３２の表現を、無線通信インターフェース１０５を通じて受信するように機能し得る。すなわち、タブレット１３０は、ディスプレイ１３１上に現在何が表示されているかを報告する。表示されたグラフィカルコンテンツは、タブレット１３０によって実行されている１つまたは複数のアプリ（アプリケーション）によって現在表示されている任意のグラフィカルコンテンツでよいが、有利には、チェッカー盤１３２などの専用の較正パターンであり得る。タブレット１３０は、たとえば、ＨＭＤ１００との通信を確立することに応答して、またはＨＭＤ１００から較正が進行中であるという指示を受信することに応答して、専用の較正パターンを表示するように機能し得る。

【0054】

代替形態として、ＨＭＤ１００は、無線通信インターフェース１０５を介して、タブレット１３０に、ディスプレイ１３１上にグラフィカルコンテンツ１３２を表示するようにとの命令を送信するように機能し得る。命令は、たとえば要求、メッセージ、または信号でよく、これに応答して、タブレット１３０はグラフィカルコンテンツ１３２を表示する。表示されるグラフィカルコンテンツは、専用の較正パターンなどのあらかじめ規定されたものでよい。任意選択で、ＨＭＤ１００は、無線通信インターフェース１０５を通じて、タブレット１３０に、グラフィカルコンテンツ１３２の表現を送信するように機能し得る。このようにして、ＨＭＤ１００は、タブレット１３２によって表示されるグラフィカルコンテンツの詳細を制御し得、タブレット１３２に対して専用の較正パターンを有利に送信し得る。グラフィカルコンテンツの表現は、たとえば既知のコンピュータグラフィックフォーマットまたは画像フォーマットの形態でよい。

【0055】

ＨＭＤ１００は、較正物体を選択することに応答して、ユーザの目１２２で見たとき、選択された較正物体と重ね合わさる１つまたは複数の表示された仮想オブジェクトを適合させるようにさらに機能し得る。これは、たとえば（Ａ．Ｐｌｏｐｓｋｉ、Ｃ．Ｎｉｔｓｃｈｋｅ、Ｋ．Ｋｉｙｏｋａｗａ、Ｄ．Ｓｃｈｍａｌｓｔｉｅｇ、およびＨ．Ｔａｋｅｍｕｒａによる「Ｈｙｂｒｉｄ Ｅｙｅ Ｔｒａｃｋｉｎｇ： Ｃｏｍｂｉｎｉｎｇ Ｉｒｉｓ Ｃｏｎｔｏｕｒ ａｎｄ Ｃｏｒｎｅａｌ Ｉｍａｇｉｎｇ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ ａｎｄ Ｔｅｌｅｘｉｓｔｅｎｃｅ Ｅｕｒｏｇｒａｐｈｉｃｓ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ、Ｔｈｅ Ｅｕｒｏｇｒａｐｈｉｃｓ Ａｓｓｏｃｉａｔｉｏｎ、２０１５年）に説明されているように、角膜の結像に基づく較正方法が採用される場合には特に有利である。それによって、表示された仮想オブジェクトによって較正物体が不明瞭になって較正手順が阻止されるのが回避される。

【0056】

ＨＭＤ１００は、較正物体を選択することに応答して、較正が進行中であるとユーザに通知するようにさらに機能し得る。任意選択で、ＨＭＤ１００は、この場合はボックス１３３である選択された較正物体を識別するために、ユーザに対してディスプレイ１０１上にマーカ２５０を表示することによって、較正が進行中であることをユーザに通知するように機能し得る。それによって、ユーザは、較正手順を容易にするように、選択された較正物体の方向を見つめるか、または自分の運動を適合させるように要求され得る。あるいは、角膜の結像に頼る較正手順が使用されている場合には、ユーザは、第２の画像の中の選択された較正物体の歪みを最小化するように、頭部の姿勢を変化させるか、または選択された較正物体の近くへ移動するように要求され得る。

【0057】

較正変換が導出されたとき、マトリクスまたは電子形式の他の適切な数学的表現などの導出された較正変換の表現は、ＨＭＤ１００の（図３に示された記憶装置３０３のような）記憶装置に記憶され、後に、没入型ユーザ体感を提供するやり方で仮想オブジェクトを表示すために使用され得る。この目的のために、ＨＭＤ１００は、仮想オブジェクトを表示するようにとの命令を受信するように機能し得る。この命令は、たとえばＨＭＤ１００によって実行されるＡＲアプリケーション、またはユーザに対して仮想オブジェクトを表示するためにＨＭＤ１００を利用するＡＲアプリケーションから受信されてよい。たとえば、ＨＭＤ１００は、たとえばＨＴＴＰまたはＣｏＡＰといった任意の適切なプロトコルを使用して、ＡＲアプリケーションを実行するコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット、またはゲームコンソールなどのコンピューティングデバイスに対して、有線または無線で接続され得る。受信される命令は、仮想オブジェクトがユーザに対して表示されるときの対応する実際の位置、すなわち、仮想オブジェクトがユーザに対してディスプレイ１０１に表示されるときに出現する（目１２２に見える）現実世界における位置を含む。ＨＭＤ１００は、受信された実際の位置に較正変換を適用することによって仮想オブジェクトの表示位置を計算し、ディスプレイ１０１上の計算された表示位置に仮想オブジェクトを表示するようにさらに機能する。

【0058】

以下では、ＨＭＤ１００に備わっている処理手段１０４の実施形態が、図３および図４を参照しながら説明される。

【0059】

処理手段１０４の一実施形態３００が図３に示されている。処理手段３００は、汎用プロセッサまたは処理回路などの処理ユニット３０２と、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリなどのコンピュータ可読記憶媒体３０３とを備える。加えて、処理手段３００は、ディスプレイ１０１、前向きのカメラ１０２、目に対向するカメラ１０３、無線通信インターフェース１０５、および１つまたは複数の運動センサ１０６（これらのうちいくつかは任意選択であり得る）など、ＨＭＤ１００に備わっている他の構成要素からの情報を制御し、かつ／または受信するための１つまたは複数のインターフェース３０１（図３における「Ｉ／Ｏ」）を備える。記憶装置３０３がコンピュータ実行可能命令３０４を含有し、コンピュータ実行可能命令３０４すなわちコンピュータプログラムまたはソフトウェアが処理ユニット３０２上で実行されると、ＨＭＤ１００は、本明細書で説明されたような本発明の実施形態に従って機能するようになる。

【0060】

処理手段１０４の代替実施形態４００が図４に図示されている。処理手段４００は、処理手段３００と同様に、ディスプレイ１０１、前向きのカメラ１０２、目に対向するカメラ１０３、無線通信インターフェース１０５、および１つまたは複数の運動センサ１０６（これらのうちいくつかは任意選択であり得る）など、ＨＭＤ１００に備わっている他の構成要素からの情報を制御し、かつ／または受信するための１つまたは複数のインターフェース４０１（図４における「Ｉ／Ｏ」）を備える。処理手段４００は、選択モジュール４０２、較正モジュール４０３、任意選択のトリガモジュール４０４、および任意選択の表示モジュール４０５をさらに備え、選択モジュール４０２、較正モジュール４０３、任意選択のトリガモジュール４０４、および任意選択の表示モジュール４０５は、ＨＭＤ１００を、本明細書で説明されたような本発明の実施形態に従って機能させるように設定されている。

【0061】

詳細には、選択モジュール４０２は、ディスプレイデバイスに備わっている前向きのカメラによって取り込まれた実際のシーンの第１の画像の中に見える１つもしくは複数の実際の物体またはこれらの一部分から較正物体を選択するように設定されている。較正モジュール４０３は、ディスプレイデバイスに備わっている少なくとも部分的に透明なディスプレイ上の表示位置に表示された仮想オブジェクトが、ユーザに見られたとき、実際の位置にある対応する実際の物体と位置が合うように、実際の位置に基づいて表示位置を計算するための較正変換を導出するように設定されている。

【0062】

たとえば、選択モジュール４０２は、較正物体を、第１の画像と、ユーザの角膜による実際のシーンの反射である第２の画像との両方に見られる１つもしくは複数の実際の物体またはこれらの一部分から選択するように設定されてよく、第２の画像は、ディスプレイデバイスに備わっている、目に対向するカメラによって取り込まれる。較正モジュール４０３は、第１の画像および第２の画像を使用して較正変換を導出するように設定され得る。

【0063】

あるいは、選択モジュール４０２は、目に対向するカメラの視野に対応する第１の画像の領域の中に見える１つもしくは複数の実際の物体またはこれらの一部分から較正物体を選択するように設定され得る。

【0064】

別の代替形態として、選択モジュール４０２は、第２の画像の中の較正物体の、第１の画像と比較したときの歪みに基づいて、較正物体を選択するように設定され得る。

【0065】

さらなる代替形態として、選択モジュール４０２は、較正物体の外観に基づいて較正物体を選択するように設定され得る。

【0066】

さらなる代替形態として、選択モジュール４０２は、１つまたは複数の実際の物体から以前に選択された較正物体を較正物体として選択するように設定され得る。

【0067】

さらなる代替形態として、選択モジュール４０２は、ディスプレイデバイスに備わっている１つまたは複数の運動センサを使用してディスプレイデバイスの運動を追跡し、ディスプレイデバイスの追跡された運動に基づいて、１つまたは複数の実際の物体が第１の画像の中に見えている期間を推定して、推定された、較正物体が第１の画像の中に見えている期間に基づいて較正物体を選択するようにさらに設定され得る。

【0068】

さらなる代替形態として、選択モジュール４０２は、１つまたは複数の実際の物体の視覚的特徴を、データベースに記憶されている実際の物体の視覚的特徴に関する情報に対して照合することにより、１つまたは複数の実際の物体を識別することと、データベースから得られた、識別された実際の物体またはこれらの一部分のそれぞれの較正物体としての適合性を指示する情報に基づいて、較正物体を選択することによって、較正物体を選択するように設定され得る。

【0069】

さらなる代替形態として、選択モジュール４０２は、ディスプレイデバイスに備わっている無線通信インターフェースを使用して、１つまたは複数の実際の物体から、ディスプレイを備える通信デバイスを識別することと、通信デバイスのディスプレイと、そこに表示されたグラフィカルコンテンツとのうち少なくとも１つを、較正物体として選択することとによって、較正物体を選択するように設定され得る。任意選択で、選択モジュール４０２は、通信デバイスから、無線通信インターフェースを介して、表示されたグラフィカルコンテンツの表現を受信するようにさらに設定され得る。あるいは、選択モジュール４０２は、無線通信インターフェースを介して、通信デバイスに、通信デバイスのディスプレイにグラフィカルコンテンツを表示するようにとの命令を送信するようにさらに設定され得る。任意選択で、選択モジュール４０２は、通信デバイスに、無線通信インターフェースを介して、グラフィカルコンテンツの表現を送信するようにさらに設定され得る。

【0070】

任意選択のトリガモジュール４０４は、ユーザから、較正手順を開始するようにとの命令を受信すること、ディスプレイデバイスに電力を供給すること、表示された仮想オブジェクトの実際のシーンに対する位置合わせ不良を検知すること、ユーザがディスプレイデバイスの前のユーザとは異なることを検知すること、ディスプレイデバイスがユーザの少なくとも１つの目に対して変位したのを検知すること、ならびにディスプレイ１０１、前向きのカメラ１０２、および目に対向するカメラ１０２のうちいずれか１つがディスプレイデバイスに対して変位したのを検知すること、のうちいずれか１つに応答して、選択モジュール４０２による較正物体の選択をトリガし、較正モジュール４０３によって較正変換を導出するように設定され得る。

【0071】

任意選択の表示モジュール４０５は、選択モジュール４０２による較正物体の選択に応答して、ユーザに見られたとき、選択された較正物体に重ね合わさる１つまたは複数の表示される仮想オブジェクトを適合させるように設定されてよい。

【0072】

任意選択で、選択モジュール４０２は、較正物体を選択することに応答して、較正が進行中であるとユーザに通知するようにさらに設定されてよい。任意選択で、ユーザは、ユーザに、選択した較正物体を識別するために、ディスプレイ上にマーカを表示することによって較正が進行中であることを通知される。

【0073】

任意選択の表示モジュール４０５は、ユーザに対して表示されるときの仮想オブジェクトの対応する実際の位置を含む命令であって、仮想オブジェクトを表示するようにとの命令を受信し、受信した実際の位置に対して、較正モジュール４０３によって導出された較正変換を適用することにより、仮想オブジェクトの表示位置を計算し、ディスプレイ上の計算された表示位置に仮想オブジェクトを表示するようにさらに設定され得る。

【0074】

処理手段４００に備わっているモジュール４０２－４０５は、本明細書で説明されたような本発明の実施形態に従って追加動作または代替動作を実施するようにさらに設定され得る。

【0075】

インターフェース３０１および４０１、モジュール４０２－４０５、ならびに、処理手段４００に備わっている任意の追加モジュールは、たとえばアナログ電子回路、デジタル電子回路、および適切なコンピュータプログラムすなわちソフトウェアを実行する処理手段のいずれか１つ、または組合せといった、任意の種類の電子回路によって実施され得る。

【0076】

以下では、ユーザが着用するように設定された頭部装着型ディスプレイデバイスによって実施される方法５００の実施形態が、図５を参照しながら説明される。

【0077】

方法５００は、ディスプレイデバイスに備わっている前向きのカメラによって取り込まれた実際のシーンの第１の画像の中に見える１つもしくは複数の実際の物体またはこれらの一部分から較正物体を選択すること５０４と、ディスプレイデバイスに備わっている少なくとも部分的に透明なディスプレイ上の表示位置に表示された仮想オブジェクトが、ユーザに見られたとき、実際の位置にある対応する実際の物体と位置が合うように、実際の位置に基づいて表示位置を計算するための較正変換を導出すること５０７とを含む。

【0078】

たとえば、較正物体は、５０４で、第１の画像と、ユーザの角膜による実際のシーンの反射である第２の画像との両方に見られる１つもしくは複数の実際の物体またはこれらの一部分から選択されてよく、第２の画像は、ディスプレイデバイスに備わっている、目に対向するカメラによって取り込まれ、較正変換は、５０７で、第１の画像および第２の画像を使用して導出され得る。

【0079】

あるいは、５０４で、目に対向するカメラの視野に対応する第１の画像の領域に見られる１つもしくは複数の実際の物体またはこれらの一部分から較正物体が選択され得る。

【0080】

別の代替形態として、５０４で、第２の画像の中の較正物体の、第１の画像と比較したときの歪みに基づいて、較正物体が選択され得る。

【0081】

さらなる代替形態として、５０４で、較正物体の外観に基づいて較正物体が選択されてよい。

【0082】

さらなる代替形態として、１つまたは複数の実際の物体から以前に選択された較正物体が、５０４で較正物体として選択され得る。

【0083】

さらなる代替形態として、方法５００は、ディスプレイデバイスに備わっている１つまたは複数の運動センサを使用してディスプレイデバイスの運動を追跡すること５０２と、ディスプレイデバイスの追跡された運動に基づいて、１つまたは複数の実際の物体が第１の画像の中に見えている期間を推定すること５０３とをさらに含み得る。推定された、第１の画像の中に較正物体が見えている期間に基づいて、５０４で、較正物体が選択される。

【0084】

さらなる代替形態として、較正物体を選択すること５０４は、１つまたは複数の実際の物体の視覚的特徴を、データベースに記憶されている実際の物体の視覚的特徴に関する情報に対して照合することにより、１つまたは複数の実際の物体を識別することと、データベースから得られた、識別された実際の物体またはこれらの一部分のそれぞれの較正物体としての適合性を指示する情報に基づいて、較正物体を選択することとを含み得る。

【0085】

さらなる代替形態として、較正物体を選択すること５０４は、ディスプレイデバイスに備わっている無線通信インターフェースを使用して、１つまたは複数の実際の物体から、ディスプレイを備える通信デバイスを識別することと、通信デバイスのディスプレイと、そこに表示されたグラフィカルコンテンツとのうち少なくとも１つを較正物体として選択することとを含み得る。任意選択で、較正物体を選択すること５０４は、通信デバイスから、無線通信インターフェースを介して、表示されたグラフィカルコンテンツの表現を受信することをさらに含み得る。あるいは、較正物体を選択すること５０４は、無線通信インターフェースを介して、通信デバイスに、通信デバイスのディスプレイにグラフィカルコンテンツを表示するようにとの命令を送信することをさらに含み得る。任意選択で、較正物体を選択すること５０４は、通信デバイスから、無線通信インターフェースを介して、グラフィカルコンテンツの表現を送信することをさらに含み得る。

【0086】

任意選択で、５０４で較正物体が選択され、ユーザから、較正手順を開始するようにとの命令を受信すること、ディスプレイデバイスに電力を供給すること、表示された仮想オブジェクトの実際のシーンに対する位置合わせ不良を検知すること、ユーザがディスプレイデバイスの前のユーザとは異なることを検知すること、ディスプレイデバイスがユーザの少なくとも１つの目に対して変位したのを検知すること、ならびにディスプレイ１０１、前向きのカメラ１０２、および目に対向するカメラ１０３のうちいずれか１つがディスプレイデバイスに対して変位したのを検知すること、のうちいずれか１つによって較正がトリガされること５０１に応答して、５０７で較正変換が導出される。

【0087】

任意選択で、方法５００は、較正物体を選択すること５０４に応答して、ユーザに見られたとき、選択された較正物体に重ね合わさる１つまたは複数の表示される仮想オブジェクトを適合させること５０５をさらに含み得る。

【0088】

任意選択で、方法５００は、較正物体を選択すること５０４に応答して、較正が進行中であるとユーザに通知すること５０６をさらに含み得る。任意選択で、５０６で、ユーザは、ユーザに、選択した較正物体を識別するために、ディスプレイ上にマーカを表示することによって較正が進行中であることを通知される。

【0089】

任意選択で、方法５００は、ユーザに対して表示されるときの仮想オブジェクトの対応する実際の位置を含む命令であって、仮想オブジェクトを表示するようにとの命令を受信すること５０８と、受信した実際の位置に対して較正変換を適用することにより、仮想オブジェクトの表示位置を計算すること５０９と、ディスプレイ上の計算された表示位置に仮想オブジェクトを表示すること５１０とをさらに含み得る。

【0090】

方法５００は、本開示の全体にわたって説明されたことに応じて、追加のステップまたは変更されたステップを含み得ることが理解されよう。方法５００の一実施形態は、頭部装着型ディスプレイデバイスに備わっている処理ユニットによって実行されるように、コンピュータプログラム３０４などのソフトウェアとして実施されてよく、それによって、ディスプレイデバイスは、本明細書で説明された本発明の実施形態に従って機能するようになる。コンピュータプログラム３０４は、記憶装置３０３、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティックなどのコンピュータ可読記憶媒体に記憶され得る。コンピュータプログラム３０４はデータ搬送信号によって搬送されてもよい。たとえば、コンピュータプログラム３０４は、無線通信インターフェース１０５を介して、インターネットなどの通信ネットワークを通じて、記憶装置３０３に転送され得る。

【0091】

本発明は前述の実施形態に限定されないことが、当業者には理解される。むしろ、添付の特許請求の範囲の範囲内で、多くの修正形態および変形形態が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】