特表 2023-525508 畳み込みベースのカメラおよびディスプレイ較正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-16

(54)【発明の名称】畳み込みベースのカメラおよびディスプレイ較正

(51)【国際特許分類】

   G06T 7/80 20170101AFI20230609BHJP

【ＦＩ】

G06T7/80

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022567088

(86)(22)【出願日】2021-05-05

(85)【翻訳文提出日】2022-12-21

(86)【国際出願番号】 US2021030962

(87)【国際公開番号】W WO2021226282

(87)【国際公開日】2021-11-11

(31)【優先権主張番号】63/020,787

(32)【優先日】2020-05-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】サワーズ， マイケル アレクサンダー

(72)【発明者】

【氏名】ジア， ジヘン

(72)【発明者】

【氏名】ワック， ハンス ブランドン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096AA09

5L096CA04

5L096CA05

5L096DA01

5L096FA32

5L096FA69

5L096GA55

(57)【要約】

カメラおよびディスプレイを較正するための技法が、開示される。標的の画像が、カメラを使用して捕捉される。標的は、繰り返されるタイルの構造を有する、テッセレーションを含む。標的はさらに、テッセレーション上に重畳される、一意のパターンを含む。行列が、捕捉された画像内のピクセル強度に基づいて形成される。行列のそれぞれは、それぞれがタイルのうちの１つ内のピクセル強度に対応する、値を含む。行列は、カーネルで畳み込まれ、強度マップを生成する。カーネルのそれぞれは、一意のパターンの対応する一意のパターンに基づいて生成される。極値が、強度マップのそれぞれ内で識別される。画像内の一意のパターンのそれぞれの場所は、強度マップ毎に、極値に基づいて決定される。デバイス較正が、一意のパターンのそれぞれの場所を使用して実施される。

【特許請求の範囲】

【請求項1】

デバイス較正を実施するための方法であって、前記方法は、
カメラを使用して、標的の画像を捕捉することであって、前記標的は、繰り返されるタイルの構造を有するテッセレーションを含み、前記標的はさらに、前記テッセレーション上に重畳される１つまたはそれを上回る一意のパターンを含む、ことと、
前記画像のピクセル強度に基づいて、１つまたはそれを上回る行列を形成することであって、前記１つまたはそれを上回る行列のそれぞれは、それぞれが前記タイルのうちの１つ内の前記ピクセル強度に対応する複数の値を含む、ことと、
前記１つまたはそれを上回る行列を１つまたはそれを上回るカーネルで畳み込み、１つまたはそれを上回る強度マップを生成することであって、前記１つまたはそれを上回るカーネルのそれぞれは、前記１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ことと、
前記１つまたはそれを上回る強度マップのそれぞれ内の極値を識別することと、
前記１つまたはそれを上回る強度マップ毎に、前記極値に基づいて、前記画像内の前記１つまたはそれを上回る一意のパターンのそれぞれの場所を決定することと、
前記１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記デバイス較正を実施することと
を含む、方法。

【請求項2】

前記デバイス較正を実施することは、
前記１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記カメラを較正することを含む、請求項１に記載の方法。

【請求項3】

前記標的をディスプレイ上にレンダリングすることをさらに含む、請求項１に記載の方法。

【請求項4】

前記デバイス較正を実施することは、
前記１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記ディスプレイを較正することを含む、請求項３に記載の方法。

【請求項5】

前記画像を複数の画像領域に分割することをさらに含み、前記１つまたはそれを上回る行列の行列は、前記複数の画像領域毎に形成される、請求項１に記載の方法。

【請求項6】

前記１つまたはそれを上回る行列を形成することは、
前記１つまたはそれを上回る行列毎に、前記タイルの対応するタイル内の前記ピクセル強度を平均することによって、前記複数の値のそれぞれを計算することを含む、請求項１に記載の方法。

【請求項7】

前記１つまたはそれを上回るカーネルのそれぞれは、前記テッセレーション上に重畳されている前記１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、請求項１に記載の方法。

【請求項8】

非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を備え、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
カメラを使用して、標的の画像を捕捉することであって、前記標的は、繰り返されるタイルの構造を有するテッセレーションを含み、前記標的はさらに、前記テッセレーション上に重畳される１つまたはそれを上回る一意のパターンを含む、ことと、
前記画像のピクセル強度に基づいて、１つまたはそれを上回る行列を形成することであって、前記１つまたはそれを上回る行列のそれぞれは、それぞれが前記タイルのうちの１つ内の前記ピクセル強度に対応する複数の値を含む、ことと、
前記１つまたはそれを上回る行列を１つまたはそれを上回るカーネルで畳み込み、１つまたはそれを上回る強度マップを生成することであって、前記１つまたはそれを上回るカーネルのそれぞれは、前記１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ことと、
前記１つまたはそれを上回る強度マップのそれぞれ内の極値を識別することと、
前記１つまたはそれを上回る強度マップ毎に、前記極値に基づいて、前記画像内の前記１つまたはそれを上回る一意のパターンのそれぞれの場所を決定することと、
前記１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、デバイス較正を実施することと
を含む動作を実施させる、非一過性コンピュータ可読媒体。

【請求項9】

前記デバイス較正を実施することは、
前記１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記カメラを較正することを含む、請求項８に記載の非一過性コンピュータ可読媒体。

【請求項10】

前記動作はさらに、
前記標的をディスプレイ上にレンダリングすることを含む、請求項８に記載の非一過性コンピュータ可読媒体。

【請求項11】

前記デバイス較正を実施することは、
前記１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記ディスプレイを較正することを含む、請求項１０に記載の非一過性コンピュータ可読媒体。

【請求項12】

前記動作はさらに、
前記画像を複数の画像領域に分割することを含み、前記１つまたはそれを上回る行列の行列は、前記複数の画像領域毎に形成される、請求項８に記載の非一過性コンピュータ可読媒体。

【請求項13】

前記１つまたはそれを上回る行列を形成することは、
前記１つまたはそれを上回る行列毎に、前記タイルの対応するタイル内の前記ピクセル強度を平均することによって、前記複数の値のそれぞれを計算することを含む、請求項８に記載の非一過性コンピュータ可読媒体。

【請求項14】

前記１つまたはそれを上回るカーネルのそれぞれは、前記テッセレーション上に重畳されている前記１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、請求項８に記載の非一過性コンピュータ可読媒体。

【請求項15】

システムであって、
１つまたはそれを上回るプロセッサと、
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を備え、前記命令は、前記１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
カメラを使用して、標的の画像を捕捉することであって、前記標的は、繰り返されるタイルの構造を有するテッセレーションを含み、前記標的はさらに、前記テッセレーション上に重畳される１つまたはそれを上回る一意のパターンを含む、ことと、
前記画像のピクセル強度に基づいて、１つまたはそれを上回る行列を形成することであって、前記１つまたはそれを上回る行列のそれぞれは、それぞれが前記タイルのうちの１つ内の前記ピクセル強度に対応する複数の値を含む、ことと、
前記１つまたはそれを上回る行列を１つまたはそれを上回るカーネルで畳み込み、１つまたはそれを上回る強度マップを生成することであって、前記１つまたはそれを上回るカーネルのそれぞれは、前記１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ことと、
前記１つまたはそれを上回る強度マップのそれぞれ内の極値を識別することと、
前記１つまたはそれを上回る強度マップ毎に、前記極値に基づいて、前記画像内の前記１つまたはそれを上回る一意のパターンのそれぞれの場所を決定することと、
前記１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、デバイス較正を実施することと
を含む動作を実施させる、非一過性コンピュータ可読媒体と
を備える、システム。

【請求項16】

前記デバイス較正を実施することは、
前記１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記カメラを較正することを含む、請求項１５に記載のシステム。

【請求項17】

前記動作はさらに、
前記標的をディスプレイ上にレンダリングすることを含む、請求項１５に記載のシステム。

【請求項18】

前記デバイス較正を実施することは、
前記１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記ディスプレイを較正することを含む、請求項１７に記載のシステム。

【請求項19】

前記動作はさらに、
前記画像を複数の画像領域に分割することを含み、前記１つまたはそれを上回る行列の行列は、前記複数の画像領域毎に形成される、請求項１５に記載のシステム。

【請求項20】

前記１つまたはそれを上回る行列を形成することは、
前記１つまたはそれを上回る行列毎に、前記タイルの対応するタイル内の前記ピクセル強度を平均することによって、前記複数の値のそれぞれを計算することを含む、請求項１５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、その全内容が、あらゆる目的のために、参照することによって本明細書に組み込まれる、２０２０年５月６日に出願され、「ＣＯＮＶＯＬＵＴＩＯＮ－ＢＡＳＥＤ ＣＡＭＥＲＡ ＡＮＤ ＤＩＳＰＬＡＹ ＣＡＬＩＢＲＡＴＩＯＮ」と題された、米国仮特許出願第６３／０２０，７８７号の優先権の利益を主張する。

【背景技術】

【0002】

カメラは、多くの場合、画像またはビデオを捕捉するために採用される、入力デバイスである。カメラによって捕捉されたデータは、種々の異なる目的およびコンテキストで使用される。例えば、ウェアラブルデバイスは、１つまたはそれを上回るオンボードカメラを含み、そのウェアラブルデバイスのユーザの周囲の周囲環境に関する画像データを提供してもよい。一実施例は、立体視ディスプレイを通したユーザへの拡張現実（ＡＲ）提示のために、画像を捕捉するように構成される、２つの前方に配向されたカメラを特徴とする、立体視ウェアラブル眼鏡である。ウェアラブル眼鏡はまた、ユーザの眼の画像を捕捉する後方に配向されたカメラを含んでもよい。

【0003】

カメラ較正が、多くの場合、カメラおよびカメラによって捕捉された画像データから抽出された情報の精度および正確度を確実にするために実施される。カメラ較正プロセスは、画像を生産する、カメラデバイスの真のパラメータを決定し、これは、固有のパラメータおよび付帯パラメータ等のカメラの較正データの決定を可能にする。固有のパラメータは、限定ではないが、焦点、焦点距離、主点、および歪曲係数を含む。付帯パラメータは、限定ではないが、複数のカメラ間の位置関係およびセンサ間の平行移動および回転オフセットを含む。

【0004】

ディスプレイデバイスとも称される、ディスプレイは、情報を視覚的形態で提示する、出力デバイスである。スマートフォン、コンピュータ、およびタブレット内で使用されるもの等のディスプレイは、光学コンポーネントの特性に起因して、その色応答、色調応答等に有意な量の変動性を呈し得る。カメラ較正と同様に、ディスプレイ較正は、ディスプレイと関連付けられる、種々のパラメータを決定するために使用されることができる。これらのパラメータの決定に応じて、ディスプレイは、可能性の中でもとりわけ、所望の輝度または明度レベル、色、色調、ピクセル場所を生産するように調節されることができる。

【0005】

いくつかのインスタンスでは、ディスプレイ較正は、幾何学的側面を含むことができる。例えば、ＡＲディスプレイに見出されるもの等の両眼ディスプレイでは、３次元（３Ｄ）画像が、知覚される深度テクスチャとともに表示されてもよい。接眼レンズ歪曲、不整合発光ダイオード（ＬＥＤ）チャネル、および／または不整合接眼レンズ等に起因して、各ディスプレイピクセルをユーザによって知覚される３Ｄ空間内の特定の方向から生じる光にマッピングする、座標系が、最初に、把握されていない場合がある。幾何学形状ディスプレイ較正が、標的（市松模様または一連のドット等）を表示することによって、各特徴のピクセル内の間隔を決定するために採用されることができる。

【0006】

カメラおよびディスプレイは両方とも、多くの場合、マーカまたは標的と称される、２次元（２Ｄ）パターンの使用を通して較正される。一般に使用される標的は、ＡｒＵｃｏ標的およびその派生物、すなわち、ＣｈＡｒＵｃｏ標的を含む。これらの標的は、良好に照明された環境内で従来的コンピュータビジョン方法を介して、カメラを使用して捕捉される。捕捉された画像は、分析され、標的に沿って２Ｄ点を識別することができ、これは、次いで、６自由度（６ＤＯＦ）姿勢推定を実施するために使用されることができる。例えば、基点ベースのＳＬＡＭは、最初に、少数の固定かつ一意のパターンを世界内に設置することによって、世界を再構築する。較正されたカメラの姿勢は、いったん少なくとも１つのそのような標的が検出されると、推定されることができる。

【発明の概要】

【課題を解決するための手段】

【0007】

本開示は、概して、カメラおよびディスプレイデバイスの性能を改良するための技法に関する。より具体的には、本開示の実施形態は、デバイスが画像を捕捉するか、またはデバイスが捕捉された画像内に含有される標的を表示するかのいずれかの較正のために、マルチパターン標的を含有する、画像の捕捉および処理のための技法を提供する。本開示は、多くの場合、拡張現実（ＡＲ）デバイスを参照して説明されるが、本開示は、コンピュータビジョンおよびディスプレイ技術における種々の用途に適用可能である。

【0008】

本発明の種々の実施形態の説明が、実施例の一覧として、下記に提供される。下記に使用されるように、一連の実施例への任意の言及は、それらの実施例のそれぞれへの離接的な言及として理解されるものである（例えば、「実施例１－４」は、「実施例１、２、３、または４」として理解されるものである）。

【0009】

実施例１は、デバイス較正を実施するための方法であって、カメラを使用して、標的の画像を捕捉するステップであって、標的は、繰り返されるタイルの構造を有する、テッセレーションを含み、標的はさらに、テッセレーション上に重畳される、１つまたはそれを上回る一意のパターンを含む、ステップと、画像のピクセル強度に基づいて、１つまたはそれを上回る行列を形成するステップであって、１つまたはそれを上回る行列のそれぞれは、それぞれがタイルのうちの１つ内のピクセル強度に対応する、複数の値を含む、ステップと、１つまたはそれを上回る行列を１つまたはそれを上回るカーネルで畳み込み、１つまたはそれを上回る強度マップを生成するステップであって、１つまたはそれを上回るカーネルのそれぞれは、１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ステップと、１つまたはそれを上回る強度マップのそれぞれ内の極値を識別するステップと、１つまたはそれを上回る強度マップ毎に、極値に基づいて、画像内の１つまたはそれを上回る一意のパターンのそれぞれの場所を決定するステップと、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、デバイス較正を実施するステップとを含む、方法である。

【0010】

実施例２は、デバイス較正を実施するステップが、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、カメラを較正するステップを含む、実施例１に記載の方法。

【0011】

実施例３は、標的をディスプレイ上にレンダリングするステップをさらに含む、実施例１－２に記載の方法。

【0012】

実施例４は、デバイス較正を実施するステップが、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、ディスプレイを較正するステップを含む、実施例３に記載の方法。

【0013】

実施例５は、画像を複数の画像領域に分割するステップをさらに含み、１つまたはそれを上回る行列の行列が、複数の画像領域毎に形成される、実施例１－４に記載の方法。

【0014】

実施例６は、１つまたはそれを上回る行列を形成するステップが、１つまたはそれを上回る行列毎に、タイルの対応するタイル内のピクセル強度を平均することによって、複数の値のそれぞれを計算するステップを含む、実施例１－５に記載の方法。

【0015】

実施例７は、１つまたはそれを上回るカーネルがそれぞれ、テッセレーション上に重畳されている、１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、実施例１－６に記載の方法。

【0016】

実施例８は、非一過性コンピュータ可読媒体であって、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、カメラを使用して、標的の画像を捕捉するステップであって、標的は、繰り返されるタイルの構造を有する、テッセレーションを含み、標的はさらに、テッセレーション上に重畳される、１つまたはそれを上回る一意のパターンを含む、ステップと、画像のピクセル強度に基づいて、１つまたはそれを上回る行列を形成するステップであって、１つまたはそれを上回る行列のそれぞれは、それぞれがタイルのうちの１つ内のピクセル強度に対応する、複数の値を含む、ステップと、１つまたはそれを上回る行列を１つまたはそれを上回るカーネルで畳み込み、１つまたはそれを上回る強度マップを生成するステップであって、１つまたはそれを上回るカーネルのそれぞれは、１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ステップと、１つまたはそれを上回る強度マップのそれぞれ内の極値を識別するステップと、１つまたはそれを上回る強度マップ毎に、極値に基づいて、画像内の１つまたはそれを上回る一意のパターンのそれぞれの場所を決定するステップと、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、デバイス較正を実施するステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体である。

【0017】

実施例９は、デバイス較正を実施するステップが、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、カメラを較正するステップを含む、実施例８に記載の非一過性コンピュータ可読媒体。

【0018】

実施例１０は、動作はさらに、標的をディスプレイ上にレンダリングするステップを含む、実施例８－９に記載の非一過性コンピュータ可読媒体。

【0019】

実施例１１は、本デバイス較正を実施するステップが、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、ディスプレイを較正するステップを含む、実施例１０に記載の非一過性コンピュータ可読媒体。

【0020】

実施例１２は、動作はさらに、画像を複数の画像領域に分割するステップを含み、１つまたはそれを上回る行列の行列が、複数の画像領域毎に形成される、実施例８－１１に記載の非一過性コンピュータ可読媒体。

【0021】

実施例１３は、１つまたはそれを上回る行列を形成するステップが、１つまたはそれを上回る行列毎に、タイルの対応するタイル内のピクセル強度を平均することによって、複数の値のそれぞれを計算するステップを含む、実施例８－１２に記載の非一過性コンピュータ可読媒体。

【0022】

実施例１４は、１つまたはそれを上回るカーネルがそれぞれ、テッセレーション上に重畳されている、１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、実施例８－１３に記載の非一過性コンピュータ可読媒体。

【0023】

実施例１５は、システムであって、１つまたはそれを上回るプロセッサと、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、カメラを使用して、標的の画像を捕捉するステップであって、標的は、繰り返されるタイルの構造を有する、テッセレーションを含み、標的はさらに、テッセレーション上に重畳される、１つまたはそれを上回る一意のパターンを含む、ステップと、画像のピクセル強度に基づいて、１つまたはそれを上回る行列を形成するステップであって、１つまたはそれを上回る行列のそれぞれは、それぞれがタイルのうちの１つ内のピクセル強度に対応する、複数の値を含む、ステップと、１つまたはそれを上回る行列を１つまたはそれを上回るカーネルで畳み込み、１つまたはそれを上回る強度マップを生成するステップであって、１つまたはそれを上回るカーネルのそれぞれは、１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ステップと、１つまたはそれを上回る強度マップのそれぞれ内の極値を識別するステップと、１つまたはそれを上回る強度マップ毎に、極値に基づいて、画像内の１つまたはそれを上回る一意のパターンのそれぞれの場所を決定するステップと、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、デバイス較正を実施するステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体とを備える、システムである。

【0024】

実施例１６は、デバイス較正を実施するステップが、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、カメラを較正するステップを含む、実施例１５に記載のシステム。

【0025】

実施例１７は、動作がさらに、標的をディスプレイ上にレンダリングするステップを含む、実施例１５－１６に記載のシステム。

【0026】

実施例１８は、デバイス較正を実施するステップが、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、ディスプレイを較正するステップを含む、実施例１７に記載のシステム。

【0027】

実施例１９は、動作がさらに、画像を複数の画像領域に分割するステップを含み、１つまたはそれを上回る行列の行列が、複数の画像領域毎に形成される、実施例１５－１８に記載のシステム。

【0028】

実施例２０は、１つまたはそれを上回る行列を形成するステップが、１つまたはそれを上回る行列毎に、タイルの対応するタイル内のピクセル強度を平均することによって、複数の値のそれぞれを計算するステップを含む、実施例１５－１９に記載のシステム。

【0029】

従来の技法に優る多数の利益が、本開示の方法によって達成される。例えば、実施形態は、標的の一部のみがカメラによって検出されるときでも、正確なデバイス較正を可能にする。加えて、実施形態は、ＣｈＡｒＵｃｏ等の他の標的と比較して、標的内のはるかに細かい間隔を可能にし、標的上のより小さい標的およびより識別可能な点を可能にする。さらに、実施形態は、画像を画像領域に分割し、異なる処理コアを使用して、領域のそれぞれを同時に処理することによって、サイクル時間における短縮を可能にする。

【図面の簡単な説明】

【0030】

本開示のさらなる理解を提供するために含まれる、付随の図面は、本明細書に組み込まれ、その一部を成し、本開示の実施形態を図示し、詳細な説明とともに、本開示の原理を解説する役割を果たす。本開示の基本的な理解およびこれが実践され得る種々の方法に関して必要であり得るよりも詳細に、本開示の構造的詳細を示す試みは、行われない。

【0031】

【図1A】図１Ａは、例示的カメラ較正スキームを図示する。

【0032】

【図1B】図１Ｂは、例示的ディスプレイ較正スキームを図示する。

【0033】

【図2】図２は、種々の例示的標的を図示する。

【0034】

【図3A】図３Ａは、マルチパターン標的の実施例を図示する。

【0035】

【図3B】図３Ｂは、マルチパターン標的の例示的実装を図示する。

【0036】

【図4】図４Ａ－４Ｈは、標的内に含まれ得る、パターンの種々の実施例を図示する。

【0037】

【図5】図５は、マルチパターン標的のために生成され得る、カーネルの実施例を図示する。

【0038】

【図6】図６は、２つのカーネルの例示的計算を図示する。

【0039】

【図7】図７は、マルチパターン標的の画像に基づいてデバイスを較正するための種々の例示的ステップを図示する。

【0040】

【図8】図８は、強度マップの実施例を図示する。

【0041】

【図9】図９は、マルチパターン標的を含有する、画像の実施例を図示する。

【0042】

【図10】図１０は、デバイス較正を実施する方法を図示する。

【0043】

【図11】図１１は、例示的ウェアラブルシステムの概略図を図示する。

【0044】

【図12】図１２は、簡略化されたコンピュータシステムを図示する。

【発明を実施するための形態】

【0045】

詳細な説明
本開示の実施形態は、標的と称される、２次元（２Ｄ）パターンを使用して、カメラおよびディスプレイを較正するための技法を提供する。本明細書に説明される、いくつかの実施形態では、標的は、繰り返されるタイルの構造を有する、テッセレーションを含むように提供される。タイルのそれぞれは、正方形、矩形、三角形、六角形等の同一形状を有してもよい、またはいくつかの異なる形状が、単一テッセレーションまたは標的内のタイルのために使用されてもよい。標的はさらに、テッセレーション上に重畳される、１つまたはそれを上回る一意のパターンを含む。これらの一意のパターンは、少なくとも１つの一意のパターンが画像内で捕捉される、高尤度が存在するように、テッセレーションに沿って、種々の既知の場所に設置されてもよい。

【0046】

いくつかの実装では、カーネルが、画像内のパターンの場所の抽出を可能にする、一意のパターン毎に生成される。各カーネルは、行列であって、その値は、テッセレーション上に重畳される、一意のパターンの検出または予期されるピクセル強度に基づいて決定される。例えば、カーネルを決定するとき、最適化ルーチンが、予期される照明および他の画像効果を考慮するために実施されてもよい。カーネルは、事前に決定され、較正プロセスの間、読出のためにメモリ内に記憶されてもよい。

【0047】

説明される実施形態を使用して、カメラを較正するとき、カメラは、少なくとも部分的に、標的を含有する、画像を捕捉する。標的は、可能性の中でもとりわけ、画面上に表示される、プロジェクタによって表示される、オブジェクト上に印刷される（例えば、紙片上に印刷される）等、いくつかの方法で提示されてもよい。カメラによって捕捉された画像は、分析され、標的上のテッセレーションのタイルを識別してもよい。画像内のピクセル強度は、タイル毎に平均されてもよい。平均された強度は、タイルを表す、行列を形成するために使用されてもよい。

【0048】

次に、カーネルのそれぞれが、タイルを表す行列で畳み込まれ、１つまたはそれを上回る強度マップを生成してもよい。いくつかのインスタンスでは、画像は、複数の画像領域に分割されてもよい。各画像領域は、分析され、平均ピクセル強度を伴う、行列を形成してもよい。各カーネルは、次いで、対応する一意のパターンを含むことが予期される、対応する行列で畳み込まれてもよい。１つまたはそれを上回る強度マップが、分析され、最大または最小値等の極値を識別してもよい。識別された極値は、捕捉された画像内の一意のパターンを位置特定するために使用される。いったん一意のパターンが、位置特定されると、カメラは、一意のパターンの決定された場所に基づいて較正されてもよい。

【0049】

説明される実施形態を使用して、ディスプレイを較正するとき、ディスプレイは、説明されるテッセレーションおよび一意のパターンを有する、標的をレンダリングする。いくつかのインスタンスでは、ディスプレイは、デジタルコンテンツを知覚させるように、光をユーザ側に向かって投影するように構成される、光学導波管を有する、ウェアラブルヘッドセットである。較正されたカメラが、少なくとも部分的に、ディスプレイによってレンダリングされている標的を含有する、画像を捕捉させられ、上記に説明されるステップが、捕捉された画像内の一意のパターンを位置特定するために実施される。

【0050】

以下の説明では、種々の実施例が、説明されるであろう。解説の目的のために、具体的構成および詳細が、実施例の完全な理解を提供するために記載される。しかしながら、また、実施例が具体的詳細を伴わずに実践されてもよいことが当業者に明白となるであろう。さらに、周知の特徴は、説明されている実施形態を不明瞭にしないために、省略または簡略化され得る。

【0051】

図１Ａは、本開示のいくつかの実施形態による、例示的カメラ較正スキームを図示する。図示される実施例では、カメラ１０４が、標的１０６の画像を捕捉し、これは、ディスプレイ上にレンダリングされる、またはオブジェクト上に印刷される等、いくつかの方法で提示されてもよい。カメラ１０４は、ウェアラブルデバイス１０２のコンポーネントとして描写されるが、カメラ１０４は、独立型デバイスであってもよい、または可能性の中でもとりわけ、ポータブル電子デバイス（例えば、スマートフォン、タブレット、腕時計等）、コンピュータ、スマートデバイス、家電、車両等、画像検出を組み込む、任意のタイプのシステムのコンポーネントであってもよい。カメラ１０４が、標的１０６の画像を捕捉後、画像は、本明細書に説明されるように、標的１０６についての既知の情報を使用して分析され、較正を実施する。

【0052】

図１Ｂは、本開示のいくつかの実施形態による、例示的ディスプレイ較正スキームを図示する。図示される実施例では、標的１１０が、ウェアラブルデバイス１０２のディスプレイ１１２上にレンダリングされ、１つまたはそれを上回るカメラ１０８が、表示されている間、標的１１０の画像を捕捉する。標的１１０は、相互に類似する、またはディスプレイ特有であってもよい。ディスプレイ１１２は、光をユーザ側に向かって投影するように構成される、光学導波管を有する、ウェアラブルデバイス１０２のコンポーネントとして描写されるが、ディスプレイ１１２は、独立型デバイスであってもよい、または可能性の中でもとりわけ、ポータブル電子デバイス（例えば、スマートフォン、タブレット、腕時計等）、プロジェクタ、テレビ、コンピュータ等のディスプレイを組み込む、任意のタイプのシステムのコンポーネントであってもよい。カメラ１０８が、標的１１０の画像を捕捉後、画像は、本明細書に説明されるように、標的１１０についての既知の情報を使用して分析され、較正を実施する。

【0053】

図２は、市松模様標的２０２、ＡｒＵｃｏ標的２０４、およびＣｈＡｒＵｃｏ標的２０６を含む、種々の例示的標的を図示する。市松模様標的２０２の１つの利点は、市松模様の各角および交点が明確に定義されることである。しかしながら、市松模様を見出すことは、それが完全に可視である必要があって、部分的オクルージョンが較正を妨げ得るため、困難であり得る。ＡｒＵｃｏ標的２０４は、これらの欠点のうちのいくつかを解決する。ＡｒＵｃｏ標的２０４は、区別可能であって、既知の相対的位置を有し、いくつかのマーカのみが必要とされ、部分的オクルージョンが許容可能であるため、姿勢推定をはるかに多用途にする、種々のマーカを含む。しかしながら、ＡｒＵｃｏ標的２０４は、角位置が市松模様標的２０２ほど分解可能ではないため、正確度問題点に悩まされる。ＣｈＡｒＵｃｏ標的２０６は、市松模様と、白色正方形の内側に埋め込まれる、ＡｒＵｃｏマーカとを組み合わせることによって、市松模様標的２０２およびＡｒＵｃｏ標的２０４の利益を組み合わせるように試みる。ＡｒＵｃｏマーカの検出は、ＡｒＵｃｏ模様の多用途性を有するように、市松模様角の位置を補間するために使用され、補間された角は、市松模様の一部であるため、それらは、サブピクセル正確度の観点から非常に正確である。

【0054】

図３Ａは、本開示のいくつかの実施形態による、マルチパターン標的３００の実施例を図示する。マルチパターン標的３００は、繰り返されるタイルの構造を有する、テッセレーション３０２と、テッセレーション３０２上に重畳される、パターン３１０のセットとを含む。各パターン３１０は、一意であってもよい、または他のパターンのうちの１つに類似してもよい。その中で各パターン３１０が一意である、ある実施例では、パターン３１０－１は、第１のパターンであってもよく、パターン３１０－２は、第２のパターン（第１のパターンと異なる）であってもよく、パターン３１０－３は、第３のパターン（第１および第２のパターンと異なる）であってもよく、パターン３１０－４は、第４のパターン（第１、第２、および第３のパターンと異なる）であってもよい。その中でマルチパターン標的３００が２つの一意のパターンを含む、別の実施例では、パターン３１０－１および３１０－３は、第１のパターンであってもよく、パターン３１０－２および３１０－４は、第２のパターン（第１のパターンと異なる）であってもよい。

【0055】

パターン３１０は、カメラによるパターンのうちの少なくとも１つの検出の高尤度が存在するように、マルチパターン標的３００内の異なる場所に位置付けられてもよい。パターン３１０はまた、マルチパターン標的３００の画像が、別個に処理される（および可能性として、同時に）、異なる画像領域に分割され、各画像領域が、パターンのうちの少なくとも１つを含有し得るような様式で位置付けられてもよい。図示される実施例では、パターン３１０は、マルチパターン標的３００の異なる象限内に比較的に均一に離間され、マルチパターン標的３００の画像は、画像を、中心線に沿って垂直に、かつ中央線に沿って水平に分裂させることによって、４つの画像領域に分割されてもよい。

【0056】

図３Ｂは、本開示のいくつかの実施形態による、マルチパターン標的３００の例示的実装を図示する。図示される実施例では、テッセレーション３０２は、白色と黒色との間で交互する、正方形形状の繰り返されるタイル３０４の構造を有する。タイル３０４によって形成される角および交点は、タイル点３０６と称される。パターン３１０－１および３１０－３のそれぞれは、垂直に分離され、テッセレーション３０２の白色タイル上に重畳される、２つの黒色円形を含む。パターン３１０－２および３１０－４のそれぞれは、水平に分離され、また、テッセレーション３０２の白色タイル上に重畳される、２つの黒色円形を含む。

【0057】

図４Ａ－４Ｈは、本開示のいくつかの実施形態による、標的内に含まれ得る、パターンの種々の実施例を図示する。図４Ａは、垂直に分離される、２つの黒色円形を含む、パターン４１０Ａを図示する。図４Ｂは、水平に分離される、２つの黒色円形を含む、パターン４１０Ｂを図示する。図４Ｃは、菱形に配列される、４つの黒色円形を含む、パターン４１０Ｃを図示する。図４Ｄは、垂直に分離される、２つの黒色三角形を含む、パターン４１０Ｄを図示する。図４Ｅは、水平および垂直に分離される、３つの黒色菱形を含む、パターン４１０Ｅを図示する。図４Ｆは、他のパターンより大きい面積にわたって、水平および垂直に分離される、５つの黒色円形を含む、パターン４１０Ｆを図示する。図４Ｇは、対角線に沿って配列される、３つの白色円形を含む、パターン４１０Ｇを図示する。図４Ｈは、水平に分離される、２つの黒色円形と、対角線に沿って配列される、３つの白色円形とを含む、パターン４１０Ｈを図示する。

【0058】

図５は、本開示のいくつかの実施形態による、マルチパターン標的５００のために生成され得る、カーネル５１２の実施例を図示する。図示される実施例では、テッセレーション５０２およびパターン５１０は、前述のものに類似してもよい。いくつかの実施形態では、カーネル５１２が、テッセレーション５０２上に重畳されている対応するパターンに基づいて、パターン５１０のために生成されてもよい。例えば、各タイル（対応するパターンが重畳される）の平均強度が、計算され、カーネルの値を計算するために使用されてもよい。テッセレーション５０２上に重畳される、パターン５１０－１に関して、黒色タイルの平均強度は、低く、白色タイルの平均強度は、高く、黒色円形がそれら上に重畳される、白色タイルの平均強度は、全ての黒色と全ての白色タイルとの間の中間値である。タイルに関する平均強度は、予期される照明および他の画像効果を組み込んでもよい。例えば、マルチパターン標的５００の縁の近くのタイルは、あるディスプレイに関して、中心の近くのタイルより暗いことが予期され得る。

【0059】

図６は、本開示のいくつかの実施形態による、２つのカーネル６１２の例示的計算を図示する。図示される実施例では、テッセレーション６０２、パターン６１０、およびカーネル６１２は、前述のものに類似してもよい。カーネル６１２は、標的内のパターン６１０を位置特定するために最適化されてもよい。示されるように、カーネル値は、必ずしも、タイルの大きさと相関しない。例えば、白色タイルは、必ずしも、対応するカーネル内の大値に対応せず、同様に、黒色タイルは、必ずしも、小値に対応しない。

【0060】

いくつかの実施形態では、最適化プロシージャは、パターンがオーバーレイされたテッセレーションに由来しない、畳み込み内の値と、それに由来する、単一値との間の大きさにおける最大差異を生産する、カーネルを見出し、それによって、パターン場所が容易に区別されることを可能にすることを狙いとする。用途特有のコントラストおよびパターン円形サイズが、考慮され、試験画像に類似する条件下で一意のパターンを区別する際に高度に効率的である、カーネルをもたらし得ることを意図して、大画像セットが、最適化プロシージャのために使用されてもよい。最適化されない、カーネルも、依然として、良好な結果をもたらし得るが、最適化されたカーネルは、高度な強度ロールオフを有する、不良照明条件またはディスプレイに対処するとき、非常に効率的であり得る。

【0061】

図７は、本開示のいくつかの実施形態による、マルチパターン標的７００の画像７１８に基づいてデバイスを較正するための種々の例示的ステップを図示する。図示される実施例では、マルチパターン標的７００およびカーネル７１２は、前述のものに類似してもよい。画像７１８は、マルチパターン標的７００に指向される、カメラによって捕捉されてもよい。画像７１８は、次いで、複数の画像領域７２０に分割されてもよい。各画像領域７２０は、画像７１８および／またはマルチパターン標的７００の一部を被覆してもよく、異なる画像領域７２０は、部分的に、相互に空間的に重複してもよい。いくつかのインスタンスでは、画像領域７２０は、重複し、特定のパターンが各画像領域７２０内に含有されることを確実にしてもよい。

【0062】

行列７１４が、画像７１８のピクセル強度に基づいて、画像領域７２０のために形成される。画像領域７２０毎に、タイルが、識別され、識別されたタイルのそれぞれ内のピクセル強度が、行列７１４の各値を算出するために使用される。いくつかの実施形態では、平均ピクセル強度が、行列の値毎に使用される。いくつかの実施形態では、最大ピクセル強度または最小ピクセル強度等の他のメトリックもまた、行列の値毎に使用されてもよい。

【0063】

各行列７１４は、対応する画像領域７２０内で見出されることが予期されるパターンに関して、カーネル７１２で畳み込まれる。例えば、行列７１４－１は、カーネル７１２－１が画像領域７２０－１（画像７１８の左上）に見出されることが予期されるパターンに関して生成されたため、カーネル７１２－１で畳み込まれる。別の実施例として、行列７１４－２は、カーネル７１２－２が画像領域７２０－２（画像７１８の右上）に見出されることが予期されるパターンに関して生成されたため、カーネル７１２－２で畳み込まれる。行列７１４をカーネル７１２で畳み込む結果は、強度マップ７１６であって、これもまた、行列であってもよく、行列７１４と類似寸法を有してもよい。極値（例えば、最大値または最小値）が、強度マップ７１６のそれぞれ内で識別される。極値は、パターンが画像７１８内で位置特定されることを可能にする。

【0064】

図８は、本開示のいくつかの実施形態による、強度マップ８１６の実施例を図示する。いくつかの実施形態では、極値８２４（例えば、最小値）が、最大または最小値を決定することによって、強度マップ８１６内で識別される。いくつかの実施形態では、画像を横断した照明の変動等、捕捉された画像内の画像効果を考慮するために、表面８２６は、強度マップ８１６に適合されてもよい。表面８２６は、平坦平面表面または湾曲表面であってもよい。平面表面が、１次元（１Ｄ）方向における変動を考慮し得るが、湾曲表面は、異なる方向における異なる変動を考慮することができる。いったん適合された表面８２６が、取得されると、極値８２４が、適合された表面８２６を参照して識別されてもよい（例えば、表面８２６の特定の側上の表面８２６からより離れた距離）。

【0065】

図９は、本開示のいくつかの実施形態による、マルチパターン標的９００を含有する、画像９１８の実施例を図示する。図示される実施例では、マルチパターン標的９００、タイル９０４、タイル点９０６、および画像９１８は、前述のものに類似してもよい。いったん画像９１８内のパターンの場所が、決定されると、タイル点９０６は、画像９１８内で位置合わせされ、画像９１８を捕捉したカメラまたはマルチパターン標的９００をレンダリングしたディスプレイのいずれかを較正するために使用されてもよい。例えば、マルチパターン標的９００に対するカメラの姿勢が、推定されてもよく、タイル点９０６間の間隔が、カメラの姿勢に基づいて照合されてもよい。いくつかのインスタンスでは、いったんカメラの姿勢が、推定されると、タイル点９０６間で予期される間隔が、算出され、タイル点９０６間で検出された間隔と比較されてもよい。予期および検出された間隔間の差異が、大きい場合、カメラおよび／またはディスプレイのパラメータは、２つの間の一貫性を改良するために調節されてもよい。

【0066】

図１０は、本開示のいくつかの実施形態による、デバイス較正を実施する方法１０００を図示する。方法１０００の１つまたはそれを上回るステップは、方法１０００の実施の間、省略されてもよく、方法１０００の１つまたはそれを上回るステップは、示される順序で実施される必要はない。方法１０００は、プログラムが、１つまたはそれを上回るコンピュータによって実行されると、１つまたはそれを上回るコンピュータに、方法１０００のステップを行わせる、命令を備える、コンピュータ可読媒体またはコンピュータプログラム製品として実装されてもよい。そのようなコンピュータプログラム製品は、有線または無線ネットワークを経由して、コンピュータプログラム製品を搬送するデータキャリア信号内で伝送されることができる。

【0067】

ステップ１００２では、標的（例えば、標的１０６、１１０、３００、５００、７００、９００）が、ディスプレイ（例えば、ディスプレイ１１２）上にレンダリングされる。ディスプレイは、標的が知覚されるように、光をデバイスのユーザ側に向かって投影するように構成される、導波管を有する、光学シースルー（ＯＳＴ）頭部搭載型ディスプレイ（ＨＭＤ）であってもよい。

【0068】

ステップ１００４では、標的の画像（例えば、画像７１８、９１８）が、カメラ（例えば、カメラ１０４、１０８）を使用して捕捉される。画像は、複数のピクセル強度を含んでもよい。標的は、テッセレーション（例えば、テッセレーション３０２、５０２、６０２）を含んでもよい。テッセレーションは、繰り返されるタイル（例えば、タイル３０４、９０４）の構造を有してもよい。標的は、テッセレーション上に重畳される、１つまたはそれを上回る一意のパターン（例えば、パターン３１０、４１０、５１０、６１０）を含んでもよい。いくつかの実施形態では、画像は、複数の画像領域（例えば、画像領域７２０）に分割されてもよい。複数の画像領域のうちの２つまたはそれを上回るものは、相互に重複してもよい。いくつかの実施形態では、画像を分割するステップは、画像を複数の非重複画像領域にパーティション化するステップを含んでもよい。いくつかの実施形態では、複数の画像領域は、複数のプロセッサまたはプロセッサコアを使用して、同時に処理されてもよい。

【0069】

ステップ１００６では、１つまたはそれを上回る行列（例えば、行列７１４）が、画像のピクセル強度に基づいて、形成される。１つまたはそれを上回る行列のそれぞれは、複数の値を含んでもよい。複数の値のそれぞれは、画像内で捕捉されるようなタイルのうちの１つ内のピクセル強度に対応し得る。例えば、複数の値のそれぞれは、タイルのうちの１つ内のピクセル強度を平均することによって計算されてもよい。別の実施例では、複数の値のそれぞれは、タイルのうちの１つ内の最大または最小ピクセル強度を決定することによって計算されてもよい。

【0070】

ステップ１００８では、１つまたはそれを上回る行列が、１つまたはそれを上回るカーネル（例えば、カーネル５１２、６１２、７１２）で畳み込まれる。１つまたはそれを上回る行列を１つまたはそれを上回るカーネルで畳み込むステップは、１つまたはそれを上回る強度マップ（例えば、強度マップ７１６、８１６）を生成し得る。１つまたはそれを上回るカーネルのそれぞれは、１つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成されてもよい。例えば、１つまたはそれを上回るカーネルのそれぞれは、テッセレーション上に重畳されている、対応する一意のパターンの検出または予期されるピクセル強度に基づいて生成されてもよい。

【0071】

ステップ１０１０では、極値（例えば、極値８２４）が、１つまたはそれを上回る強度マップのそれぞれ内で識別される。極値は、最大値または最小値であってもよい。極値は、１つまたはそれを上回る強度マップの強度マップに適合される、表面（例えば、表面８２６）を参照して識別されてもよい。

【0072】

ステップ１０１２では、画像内の１つまたはそれを上回る一意のパターンのそれぞれの場所が、１つまたはそれを上回る強度マップ毎に、極値に基づいて決定される。１つまたはそれを上回る一意のパターンのそれぞれの場所は、画像内のタイル点（例えば、タイル点３０６、９０６）を位置合わせする（例えば、位置特定する）ために使用されてもよく、これは、デバイス較正のために使用される。

【0073】

ステップ１０１４では、デバイス較正が、実施される。デバイス較正は、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して（および／または位置合わせされたタイル点を使用して）、実施されてもよい。ステップ１０１４は、ステップ１０１６および１０１８の一方または両方を含んでもよい。ステップ１０１６では、カメラが、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して（および／または位置合わせされたタイル点を使用して）、較正される。カメラを較正するステップは、位置合わせされたタイル点を使用して、実世界座標系をマッピングするステップを含んでもよい。ステップ１０１８では、ディスプレイが、１つまたはそれを上回る一意のパターンのそれぞれの場所を使用して（および／または位置合わせされたタイル点を使用して）、較正される。ディスプレイを較正するステップは、位置合わせされたタイル点を使用して、実世界座標系をマッピングするステップを含んでもよい。いくつかのインスタンスでは、ステップ１０１８を実施することに先立って、ステップ１００４において画像を捕捉するために使用されるカメラは、実世界座標系をマッピングすることによって事前に較正されている。

【0074】

図１１は、本発明の実施形態による、上記に説明される実施形態のうちの１つまたはそれを上回るものにおいて使用され得る、例示的ウェアラブルシステム１１００の概略図を図示する。ウェアラブルシステム１１００は、ウェアラブルデバイス１１０１と、ウェアラブルデバイス１１０１から遠隔の少なくとも１つの遠隔デバイス１１０３（例えば、別個のハードウェアであるが、通信可能に結合される）とを含んでもよい。ウェアラブルデバイス１１０１が、ユーザによって装着されている間（概して、ヘッドセットとして）、遠隔デバイス１１０３は、ユーザによって保持される（例えば、ハンドヘルドコントローラとして）、またはフレームに固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザに除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において等）等、種々の構成において搭載されてもよい。

【0075】

ウェアラブルデバイス１１０１は、並置構成において配列され、左光学スタックを構成する、左接眼レンズ１１０２Ａと、左レンズアセンブリ１１０５Ａとを含んでもよい。左レンズアセンブリ１１０５Ａは、遠近調節レンズを左光学スタックのユーザ側上に、および補償レンズを左光学スタックの世界側上に含んでもよい。同様に、ウェアラブルデバイス１１０１は、並置構成に配列され、右光学スタックを構成する、右接眼レンズ１１０２Ｂと、右レンズアセンブリ１１０５Ｂとを含んでもよい。右レンズアセンブリ１１０５Ｂは、遠近調節レンズを右光学スタックのユーザ側上に、および補償レンズを右光学スタックの世界側上に含んでもよい。

【0076】

いくつかの実施形態では、ウェアラブルデバイス１１０１は、限定ではないが、左接眼レンズ１１０２Ａに直接またはその近くに取り付けられる、左正面に向いた世界カメラ１１０６Ａと、右接眼レンズ１１０２Ｂに直接またはその近くに取り付けられる、右正面に向いた世界カメラ１１０６Ｂと、左接眼レンズ１１０２Ａに直接またはその近くに取り付けられる、左側に向いた世界カメラ１１０６Ｃと、右接眼レンズ１１０２Ｂに直接またはその近くに取り付けられる、右側に向いた世界カメラ１１０６Ｄと、左眼に向かって指向される、左眼追跡カメラ１１２６Ａと、右眼に向かって指向される、右眼追跡カメラ１１２６Ｂと、接眼レンズ１１０２間に取り付けられる、深度センサ１１２８とを含む、１つまたはそれを上回るセンサを含む。ウェアラブルデバイス１１０１は、左接眼レンズ１１０２Ａに光学的に連結される、左プロジェクタ１１１４Ａ、および右接眼レンズ１１０２Ｂに光学的に連結される、右プロジェクタ１１１４Ｂ等の１つまたはそれを上回る画像投影デバイスを含んでもよい。

【0077】

ウェアラブルシステム１１００は、システム内のデータを収集、処理、および／または制御するための処理モジュール１１５０を含んでもよい。処理モジュール１１５０のコンポーネントは、ウェアラブルデバイス１１０１と遠隔デバイス１１０３との間に分散されてもよい。例えば、処理モジュール１１５０は、ウェアラブルシステム１１００のウェアラブル部分上のローカル処理モジュール１１５２と、ローカル処理モジュール１１５２と物理的に別個であって、それに通信可能に連結される、遠隔処理モジュール１１５６とを含んでもよい。ローカル処理モジュール１１５２および遠隔処理モジュール１１５６のそれぞれは、１つまたはそれを上回る処理ユニット（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）等）と、不揮発性メモリ（例えば、フラッシュメモリ）等の１つまたはそれを上回る記憶デバイスとを含んでもよい。

【0078】

処理モジュール１１５０は、カメラ１１０６、眼追跡カメラ１１２６、深度センサ１１２８、遠隔センサ１１３０、周囲光センサ、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、グローバルナビゲーション衛星システム（ＧＮＳＳ）ユニット、無線デバイス、および／またはジャイロスコープ等のウェアラブルシステム１１００の種々のセンサによって捕捉されたデータを収集してもよい。例えば、処理モジュール１１５０は、画像１１２０をカメラ１１０６から受信してもよい。具体的には、処理モジュール１１５０は、左正面画像１１２０Ａを左正面に向いた世界カメラ１１０６Ａから、右正面画像１１２０Ｂを右正面に向いた世界カメラ１１０６Ｂから、左側画像１１２０Ｃを左側に向いた世界カメラ１１０６Ｃから、および右側画像１１２０Ｄを右側に向いた世界カメラ１１０６Ｄから受信してもよい。いくつかの実施形態では、画像１１２０は、単一画像、一対の画像、画像のストリームから成るビデオ、ペアリングされた画像のストリームから成るビデオ、および同等物を含んでもよい。画像１１２０は、ウェアラブルシステム１１００が電源投入されている間、周期的に、生成され、処理モジュール１１５０に送信されてもよい、または処理モジュール１１５０によってカメラのうちの１つまたはそれを上回るものに送信される命令に応答して、生成されてもよい。

【0079】

カメラ１１０６は、ユーザの周囲の画像を捕捉するように、ウェアラブルデバイス１１０１の外面に沿って、種々の位置および配向において構成されてもよい。いくつかのインスタンスでは、カメラ１１０６Ａ、１１０６Ｂはそれぞれ、ユーザの左および右眼のＦＯＶと実質的に重複する、画像を捕捉するように位置付けられてもよい。故に、カメラ１１０６の設置は、ユーザの眼の近くにあり得るが、ユーザのＦＯＶを不明瞭にするほど近くない。代替として、または加えて、カメラ１１０６Ａ、１１０６Ｂはそれぞれ、仮想画像光１１２２Ａ、１１２２Ｂの内部結合場所と整合するように位置付けられてもよい。カメラ１１０６Ｃ、１１０６Ｄは、ユーザの側面、例えば、ユーザの周辺視覚内またはユーザの周辺視覚の外側の画像を捕捉するように位置付けられてもよい。カメラ１１０６Ｃ、１１０６Ｄを使用して捕捉された画像１１２０Ｃ、１１２０Ｄは、必ずしも、カメラ１１０６Ａ、１１０６Ｂを使用して捕捉された画像１１２０Ａ、１１２０Ｂと重複する必要はない。

【0080】

いくつかの実施形態では、処理モジュール１１５０は、周囲光情報を周囲光センサから受信してもよい。周囲光情報は、ある明度値またはある範囲の空間的に分解された明度値を示し得る。深度センサ１１２８は、ウェアラブルデバイス１１０１の正面に向いた方向において深度画像１１３２を捕捉してもよい。深度画像１１３２の各値は、特定の方向における深度センサ１１２８と最も近くの検出されたオブジェクトとの間の距離に対応し得る。別の実施例として、処理モジュール１１５０は、眼追跡データ１１３４を眼追跡カメラ１１２６から受信してもよく、これは、左および右眼の画像を含んでもよい。別の実施例として、処理モジュール１１５０は、投影された画像明度値をプロジェクタ１１１４の一方または両方から受信してもよい。遠隔デバイス１１０３内に位置する遠隔センサ１１３０は、類似機能性を伴う上記に説明されるセンサのいずれかを含んでもよい。

【0081】

仮想コンテンツは、光学スタック内の他のコンポーネントとともに、プロジェクタ１１１４および接眼レンズ１１０２を使用して、ウェアラブルシステム１１００のユーザに送達される。例えば、接眼レンズ１１０２Ａ、１１０２Ｂは、それぞれ、プロジェクタ１１１４Ａ、１１１４Ｂによって生成された光を指向および外部結合するように構成される、透明または半透明導波管を備えてもよい。具体的には、処理モジュール１１５０は、左プロジェクタ１１１４Ａに、左仮想画像光１１２２Ａを左接眼レンズ１１０２Ａ上に出力させ得、右プロジェクタ１１１４Ｂに、右仮想画像光１１２２Ｂを右接眼レンズ１１０２Ｂ上に出力させ得る。いくつかの実施形態では、プロジェクタ１１１４は、微小電気機械システム（ＭＥＭＳ）空間光変調器（ＳＬＭ）走査デバイスを含んでもよい。いくつかの実施形態では、接眼レンズ１１０２Ａ、１１０２Ｂのそれぞれは、異なる色に対応する、複数の導波管を備えてもよい。いくつかの実施形態では、レンズアセンブリ１１０５Ａ、１１０５Ｂは、接眼レンズ１１０２Ａ、１１０２Ｂに結合され、および／または統合されてもよい。例えば、レンズアセンブリ１１０５Ａ、１１０５Ｂは、多層接眼レンズの中に組み込まれてもよく、接眼レンズ１１０２Ａ、１１０２Ｂのうちの１つを構成する、１つまたはそれを上回る層を形成してもよい。

【0082】

図１２は、本明細書に説明される実施形態による、簡略化されたコンピュータシステム１２００を図示する。図１２に図示されるようなコンピュータシステム１２００は、本明細書に説明されるようなデバイスの中に組み込まれてもよい。図１２は、種々の実施形態によって提供される方法のステップの一部または全部を実施し得る、コンピュータシステム１２００の一実施形態の概略化された例証を提供する。図１２は、種々のコンポーネントの一般化された例証を提供するためだけに意図され、そのいずれかまたは全てが、必要に応じて利用されてもよいことに留意されたい。図１２は、したがって、広義には、個々のシステム要素が比較的に分離された様式または比較的により統合された様式において実装され得る状況を図示する。

【0083】

コンピュータシステム１２００は、バス１２０５を介して電気的に結合されることができる、または必要に応じて別様に通信し得る、ハードウェア要素を備えるように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および／または同等物等の、１つまたはそれを上回る汎用プロセッサおよび／または１つまたはそれを上回る特殊目的プロセッサを含む、１つまたはそれを上回るプロセッサ１２１０と、限定ではないが、マウス、キーボード、カメラ、および／または同等物を含むことができる、１つまたはそれを上回る入力デバイス１２１５と、限定ではないが、ディスプレイデバイス、プリンタ、および／または同等物を含むことができる、１つまたはそれを上回る出力デバイス１２２０とを含んでもよい。

【0084】

コンピュータシステム１２００はさらに、限定ではないが、ローカルおよび／またはネットワークアクセス可能記憶装置を備えることができ、および／または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および／または同等物であることができる、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ（「ＲＡＭ」）等のソリッドステート記憶デバイス、および／または読取専用メモリ（「ＲＯＭ」）を含むことができる、１つまたはそれを上回る非一過性記憶デバイス１２２５を含む、および／またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および／または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。

【0085】

コンピュータシステム１２００はまた、限定ではないが、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラー通信設備等、および／または同等物等のモデム、ネットワークカード（無線または有線）、赤外線通信デバイス、無線通信デバイス、および／またはチップセットを含むことができる、通信サブシステム１２１９を含み得る。通信サブシステム１２１９は、１つまたはそれを上回る入力および／または出力通信インターフェースを含み、データが、一実施例として挙げるために以下に説明されるネットワーク、すなわち、他のコンピュータシステム、テレビ、および／または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および／または他の実装懸念に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム１２１９を介して、画像および／または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第１の電子デバイスは、コンピュータシステム１２００、例えば、電子デバイスの中に入力デバイス１２１５として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム１２００はさらに、作業メモリ１２３５を備え、これは、上記に説明されるようなＲＡＭまたはＲＯＭデバイスを含むことができる。

【0086】

コンピュータシステム１２００はまた、種々の実施形態によって提供されるコンピュータプログラムを備え得る、および／または本明細書に説明されるような他の実施形態によって提供される方法を実装し、および／またはシステムを構成するように設計され得る、１つまたはそれを上回るアプリケーションプログラム１２４５等のオペレーティングシステム１２４０、デバイスドライバ、実行可能ライブラリ、および／または他のコードを含む、作業メモリ１２３５内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、一例として、上記に議論される方法に関して説明される１つまたはそれを上回るプロシージャは、コンピュータまたはコンピュータ内のプロセッサによって実行可能なコードおよび／または命令として実装され得、ある側面では、次いで、そのようなコードおよび／または命令は、説明される方法に従って１つまたはそれを上回る動作を実施するように汎用コンピュータまたは他のデバイスを構成および／または適合するために使用されることができる。

【0087】

これらの命令および／またはコードのセットは、上記に説明される記憶デバイス１２２５等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム１２００等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等の可撤性媒体である、および／または記憶媒体が、汎用コンピュータをその上に記憶される命令／コードを用いてプログラム、構成、および／または適合するために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム１２００によって実行可能である、実行可能コードの形態をとり得る、および／または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティ等のいずれかを使用したコンピュータシステム１２００上へのコンパイルおよび／またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび／またはインストール可能コードの形態をとり得る。

【0088】

実質的な変形例が、具体的要件に従って構成されてもよいことが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および／または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含む、ソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。

【0089】

上記に述べられたように、一側面では、いくつかの実施形態は、コンピュータシステム１２００等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全部は、プロセッサ１２１０が、オペレーティングシステム１２４０の中に組み込まれ得る、１つまたはそれを上回る命令の１つまたはそれを上回るシーケンス、および／または作業メモリ１２３５内に含有される、アプリケーションプログラム１２４５等の他のコードを実行することに応答して、コンピュータシステム１２００によって実施される。そのような命令は、記憶デバイス１２２５のうちの１つまたはそれを上回るもの等の別のコンピュータ可読媒体から作業メモリ１２３５の中に読み取られてもよい。単に、一例として、作業メモリ１２３５内に含有される命令のシーケンスの実行は、プロセッサ１２１０に、本明細書に説明される方法の１つまたはそれを上回るプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊ハードウェアを通して実行されてもよい。

【0090】

用語「機械可読媒体」および「コンピュータ可読媒体」は、本明細書で使用されるとき、機械を具体的方式で動作させるデータを提供することに関わる、任意の媒体を指す。コンピュータシステム１２００を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のための命令／コードをプロセッサ１２１０に提供する際に関わり得る、および／またはそのような命令／コードを記憶および／または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および／または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス１２２５等の光学および／または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ１２３５等の動的メモリを含む。

【0091】

一般的形態の物理的および／または有形コンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、可撓性ディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および／またはコードを読み取ることができる、任意の他の媒体を含む。

【0092】

種々の形態のコンピュータ可読媒体が、実行のための１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスをプロセッサ１２１０に搬送する際に関わってもよい。単に、一例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび／または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム１２００によって受信および／または実行される伝送媒体を経由して、命令を信号として送信し得る。

【0093】

通信サブシステム１２１９および／またはそのコンポーネントは、概して、信号を受信し、バス１２０５が、次いで、信号および／または信号によって搬送されるデータ、命令等を作業メモリ１２３５に搬送し得、そこから、プロセッサ１２１０が、命令を読み出し、実行する。作業メモリ１２３５によって受信された命令は、随意に、プロセッサ１２１０による実行前または後のいずれかにおいて、非一過性記憶デバイス１２２５上に記憶されてもよい。

【0094】

上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、および／または種々の段階は、追加される、省略される、および／または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示の範囲または請求項を限定するものではない。

【0095】

具体的詳細が、実装を含む、例示的構成の完全な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を曖昧にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。

【0096】

また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、順次プロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されることができる。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。

【0097】

いくつかの例示的構成が説明されたが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、前述の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の用途に優先する、または別様にそれを修正してもよい。また、いくつかのステップは、前述の要素が検討される前、間、または後に行われてもよい。故に、前述の説明は、請求項の範囲を束縛するものではない。

【0098】

本明細書および添付の請求項で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈によって明確に別様に示されない限り、複数参照を含む。したがって、例えば、「ユーザ」の言及は、複数のそのようなユーザを含み、「プロセッサ」の言及は、１つまたはそれを上回るプロセッサおよび当業者に公知のその均等物等の言及を含む。

【0099】

また、単語「ｃｏｍｐｒｉｓｅ（～を備える）」、「ｃｏｍｐｒｉｓｉｎｇ（～を備える）」、「ｃｏｎｔａｉｎｓ（～を含有する）」、「ｃｏｎｔａｉｎｉｎｇ（～を含有する）」、「ｉｎｃｌｕｄｅ（～を含む）」、「ｉｎｃｌｕｄｉｎｇ（～を含む）」、および「ｉｎｃｌｕｄｅｓ（～を含む）」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定するために意図されるが、それらは、１つまたはそれを上回る他の特徴、整数、コンポーネント、ステップ、行為、またはグループの存在または追加を除外するものではない。

【0100】

また、本明細書に説明される実施例および実施形態は、例証目的のみのためのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付の請求項の範囲内に含まれることを理解されたい。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図4G】

【図4H】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】