特表 2023-554001 エピポーラ制約を使用したバンドル調節

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-26

(54)【発明の名称】エピポーラ制約を使用したバンドル調節

(51)【国際特許分類】

   G06T 7/80 20170101AFI20231219BHJP

   H04N 13/344 20180101ALI20231219BHJP

   H04N 13/378 20180101ALI20231219BHJP

【ＦＩ】

G06T7/80

H04N13/344

H04N13/378

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023535837

(86)(22)【出願日】2021-12-03

(85)【翻訳文提出日】2023-07-10

(86)【国際出願番号】 US2021061805

(87)【国際公開番号】W WO2022132464

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】63/125,137

(32)【優先日】2020-12-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】スーイアイ， モハメド

(72)【発明者】

【氏名】グプタ， アンクール

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA05

5L096EA15

5L096EA16

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

エピポーラ制約を使用してバンドリング調節を実施するための方法、システム、および装置。方法は、特定の姿勢に関してヘッドセットから画像データを受信することを含む。本方法は、少なくとも部分的に、第１の画像および第２の画像内に表される環境の３次元モデルにおける少なくとも１つのキー点を識別することと、バンドル調節を実施することとを含む。バンドル調節は、少なくとも１つのキー点に関する再投影誤差および少なくとも１つのキー点に関するエピポーラ誤差を共同で最適化することによって実施される。バンドル調節の結果は、（ｉ）３次元モデルを更新すること、（ｉｉ）特定の姿勢におけるヘッドセットの位置を決定すること、または（ｉｉｉ）第１のカメラおよび第２のカメラの外部パラメータを決定することのうちの少なくとも１つを実施するために使用される。

【特許請求の範囲】

【請求項1】

方法であって、
ヘッドセットから、前記ヘッドセットの特定の姿勢に関する画像データを受信することであって、前記画像データは、（ｉ）前記ヘッドセットの第１のカメラからの第１の画像と、（ｉｉ）前記ヘッドセットの第２のカメラからの第２の画像とを備える、ことと、
少なくとも部分的に、前記第１の画像および前記第２の画像内に表される環境の３次元モデルにおける少なくとも１つのキー点を識別することと、
（ｉ）前記第１の画像および前記第２の画像に基づく前記少なくとも１つのキー点に関する再投影誤差と、（ｉｉ）前記第１の画像および前記第２の画像に基づく前記少なくとも１つのキー点に関するエピポーラ誤差とを共同で最適化することによって、前記第１の画像および第２の画像を使用して、バンドル調節を実施することと、
前記バンドル調節の結果を使用し、（ｉ）前記３次元モデルを更新すること、（ｉｉ）前記特定の姿勢における前記ヘッドセットの位置を決定すること、または（ｉｉｉ）前記第１のカメラおよび第２のカメラの外部パラメータを決定することのうちの少なくとも１つを実施することと
を含む、方法。

【請求項2】

前記更新された３次元モデルに基づいて、前記ヘッドセットによる表示のための出力を提供することを含む、請求項１に記載の方法。

【請求項3】

前記エピポーラ誤差は、前記ヘッドセットの較正からの差異を引き起こす前記ヘッドセットの変形の結果である、請求項１に記載の方法。

【請求項4】

前記第１の画像および前記第２の画像に基づいて、前記第１のカメラおよび前記第２のカメラに関する外部パラメータのセットを決定することを含む、請求項１に記載の方法。

【請求項5】

前記外部パラメータは、前記ヘッドセット上の基準位置に対する前記第１のカメラまたは前記第２のカメラの関係をともに示す平行移動および回転を含む、請求項１に記載の方法。

【請求項6】

前記ヘッドセットの移動の経路に沿った複数の異なる姿勢のそれぞれにおいて、前記第１および第２のカメラから画像を受信することと、
前記エピポーラ誤差を伴う前記最適化の結果を使用して、前記異なる姿勢のうちの少なくともいくつかに関する前記第１および第２のカメラに関する異なる外部パラメータを決定することと、
を含む、請求項１に記載の方法。

【請求項7】

前記環境の３次元モデルにおける複数のキー点を識別することであって、前記複数のキー点は、それぞれ、少なくとも部分的に、前記第１の画像および前記第２の画像内に表される、ことと、
前記複数のキー点のそれぞれを横断する誤差を共同で最適化することと、
を含む、請求項１に記載の方法。

【請求項8】

前記誤差を共同で最適化することは、前記複数のキー点のそれぞれを横断する全誤差を最小限にすることを含み、前記全誤差は、前記再投影誤差および前記エピポーラ誤差の組み合わせを備える、請求項７に記載の方法。

【請求項9】

前記ヘッドセットから、前記ヘッドセットの複数の姿勢に関する第２の画像データを受信することと、
少なくとも部分的に、前記第２の画像データ内に表される前記環境の３次元モデルにおける少なくとも１つの第２のキー点を識別することと、
（ｉ）前記第２の画像データに基づく前記少なくとも１つのキー点に関する再投影誤差と、（ｉｉ）前記第２の画像データに基づく前記少なくとも１つのキー点に関するエピポーラ誤差とを共同で最適化することによって、前記複数の姿勢毎にバンドル調節を実施することと、
前記複数の姿勢毎の前記バンドル調節の結果を使用し、（ｉ）前記３次元モデルを更新すること、（ｉｉ）前記複数の姿勢のそれぞれにおける前記ヘッドセットの別の位置を決定すること、または（ｉｉｉ）前記複数の姿勢のそれぞれにおける前記第１のカメラおよび第２のカメラの他の外部パラメータを決定することのうちの少なくとも１つを実施することと
を含む、請求項１に記載の方法。

【請求項10】

前記ヘッドセットから、前記ヘッドセットの第１の姿勢に関する第１の画像データおよび前記ヘッドセットの第２の姿勢に関する第２の画像データを受信することであって、前記ヘッドセットの変形が、前記ヘッドセットの第１の姿勢と前記ヘッドセットの第２の姿勢との間で生じる、ことと、
少なくとも部分的に、前記第１の画像データ内および前記第２の画像データ内に表される前記環境の３次元モデルにおける少なくとも１つの第２のキー点を識別することと、
（ａ）少なくとも第２の１つのキー点に関する、（ｂ）前記ヘッドセットの第１の姿勢と第２の姿勢との間に生じた前記ヘッドセットの変形を表す、少なくとも前記エピポーラ誤差を共同で最適化することによって、前記第１の画像データおよび前記第２の画像データを使用して、前記バンドル調節を実施することと、
前記バンドル調節の結果を使用し、（ｉ）前記３次元モデルを更新すること、（ｉｉ）前記第１の姿勢における前記ヘッドセットの第１の位置または前記第２の姿勢における前記ヘッドセットの第２の位置を決定すること、または（ｉｉｉ）前記第１の姿勢における前記第１のカメラおよび前記第２のカメラの第１の外部パラメータまたは前記第２の姿勢における前記第１のカメラおよび前記第２のカメラの第２の外部パラメータを決定することのうちの少なくとも１つを実施することと
を含む、請求項１に記載の方法。

【請求項11】

（ｉ）前記第１の画像および前記第２の画像に基づく前記少なくとも１つのキー点に関する前記再投影誤差と、（ｉｉ）前記第１の画像および前記第２の画像に基づく前記少なくとも１つのキー点に関する前記エピポーラ誤差と、（ｉｉｉ）前記ヘッドセットに関する工場較正データに基づく誤差とを共同で最適化することによって、前記第１の画像および前記第２の画像を使用して、バンドル調節を実施することを含む、請求項１に記載の方法。

【請求項12】

前記バンドル調節の結果を使用して、前記ヘッドセットの一連の姿勢を更新することを含む、請求項１に記載の方法。

【請求項13】

前記バンドル調節の結果を使用することは、前記３次元モデルにおける１つまたはそれを上回るキー点の位置を更新することを含む前記３次元モデルを更新することを含む、請求項１に記載の方法。

【請求項14】

前記バンドル調節の結果を使用することは、前記３次元モデルに対する前記特定の姿勢における前記ヘッドセットの位置を決定することを含む、請求項１に記載の方法。

【請求項15】

前記第１の画像および前記第２の画像は、ほぼ同時に捕捉された、請求項１に記載の方法。

【請求項16】

非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を用いてエンコードされており、前記命令は、１つまたはそれを上回るコンピュータによって実行されると、前記１つまたはそれを上回るコンピュータに、
ヘッドセットから、前記ヘッドセットの特定の姿勢に関する画像データを受信することであって、前記画像データは、（ｉ）前記ヘッドセットの第１のカメラからの第１の画像と、（ｉｉ）前記ヘッドセットの第２のカメラからの第２の画像とを備える、ことと、
少なくとも部分的に、前記第１の画像および前記第２の画像内に表される環境の３次元モデルにおける少なくとも１つのキー点を識別することと、
（ｉ）前記第１の画像および前記第２の画像に基づく前記少なくとも１つのキー点に関する再投影誤差と、（ｉｉ）前記第１の画像および前記第２の画像に基づく前記少なくとも１つのキー点に関するエピポーラ誤差とを共同で最適化することによって、前記第１の画像および第２の画像を使用して、バンドル調節を実施することと、
前記バンドル調節の結果を使用し、（ｉ）前記３次元モデルを更新すること、（ｉｉ）前記特定の姿勢における前記ヘッドセットの位置を決定すること、または（ｉｉｉ）前記第１のカメラおよび第２のカメラの外部パラメータを決定することのうちの少なくとも１つを実施することと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。

【請求項17】

前記更新された３次元モデルに基づいて、前記ヘッドセットによる表示のための出力を提供することを含む、請求項１６に記載のコンピュータ記憶媒体。

【請求項18】

前記エピポーラ誤差は、前記ヘッドセットの較正からの差異を引き起こす前記ヘッドセットの変形の結果である、請求項１６に記載のコンピュータ記憶媒体。

【請求項19】

前記第１の画像および前記第２の画像に基づいて、前記第１のカメラおよび前記第２のカメラに関する外部パラメータのセットを決定することを含む、請求項１６に記載のコンピュータ記憶媒体。

【請求項20】

システムであって、前記システムは、１つまたはそれを上回るコンピュータと、１つまたはそれを上回る記憶デバイスとを備え、前記１つまたはそれを上回る記憶デバイスは、その上に、命令が記憶されており、前記命令は、前記１つまたはそれを上回るコンピュータによって実行されると、前記１つまたはそれを上回るコンピュータに、
ヘッドセットから、前記ヘッドセットの特定の姿勢に関する画像データを受信することであって、前記画像データは、（ｉ）前記ヘッドセットの第１のカメラからの第１の画像と、（ｉｉ）前記ヘッドセットの第２のカメラからの第２の画像とを備える、ことと、
少なくとも部分的に、前記第１の画像および前記第２の画像内に表される環境の３次元モデルにおける少なくとも１つのキー点を識別することと、
（ｉ）前記第１の画像および前記第２の画像に基づく前記少なくとも１つのキー点に関する再投影誤差と、（ｉｉ）前記第１の画像および前記第２の画像に基づく前記少なくとも１つのキー点に関するエピポーラ誤差とを共同で最適化することによって、前記第１の画像および第２の画像を使用して、バンドル調節を実施することと、
前記バンドル調節の結果を使用し、（ｉ）前記３次元モデルを更新すること、（ｉｉ）前記特定の姿勢における前記ヘッドセットの位置を決定すること、または（ｉｉｉ）前記第１のカメラおよび第２のカメラの外部パラメータを決定することのうちの少なくとも１つを実施することと
を含む動作を実施させるように動作可能である、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、概して、エクステンデッドリアリティシステム、例えば、仮想、複合、または拡張現実システムにおける画像処理に関する。

【背景技術】

【0002】

拡張現実（「ＡＲ」）および複合現実（「ＭＲ」）デバイスは、複数のセンサを含むことができる。センサのいくつかの実施例は、カメラ、加速度計、ジャイロスコープ、全地球測位システム受信機、および磁気計、例えば、コンパスである。

【0003】

ＡＲデバイスは、複数のセンサからデータを受信し、データを組み合わせ、ユーザに関する出力を決定することができる。例えば、ＡＲデバイスは、個別のセンサからジャイロスコープおよびカメラデータを受信し、受信されたデータを使用して、ディスプレイ上にコンテンツを提示することができる。ＡＲデバイスは、センサデータ、例えば、カメラデータを使用して、環境マップを発生させ、環境マップを使用し、ディスプレイ上にコンテンツを提示することができる。

【発明の概要】

【課題を解決するための手段】

【0004】

コンピュータビジョンシステムは、センサデータを使用し、デバイス、例えば、コンピュータビジョンシステムが位置する環境の環境モデルを発生させる、環境内の本デバイスの位置を推定する、または両方を行うことができる。例えば、コンピュータビジョンシステムは、複数のセンサからのデータを使用し、本デバイスが位置する環境に関する環境モデルを発生させることができる。センサは、深度センサ、カメラ、慣性測定ユニット、またはこれらのうちの２つまたはそれを上回るものの組み合わせを含むことができる。

【0005】

拡張現実ヘッドセットは、環境のマップまたは３次元（「３Ｄ」）モデルを使用し、環境のビューに対応する３Ｄ情報を提供することができる。コンピュータビジョンシステムは、同時位置特定およびマッピング（「ＳＬＡＭ」）プロセスを使用し、環境モデルの更新および環境内の本デバイスの推定される場所の決定の両方を行うことができる。本デバイスの場所は、位置データ、配向データ、または両方を含むことができる。ＳＬＡＭプロセスの一部として、コンピュータビジョンシステムは、バンドル調節、セットメンバーシッププロセス、統計プロセス、または別の適切なプロセスを使用することができる。例えば、コンピュータビジョンシステムは、ＳＬＡＭプロセスの一部として、環境内の観察可能な点を表す、環境モデル内の３次元点に関する場所を決定することができる。観察可能な点は、環境内のオブジェクトの一部を表すことができる。コンピュータビジョンシステムは、次いで、バンドル調節を使用し、環境モデル内の３次元点の位置を精緻化し、例えば、付加的データ、更新されたデータ、または両方を使用して、観察可能な点の位置のより正確な予測を行うことができる。

【0006】

バンドル調節は、異なる視点からの画像のセットを使用し、環境の３Ｄモデル、画像を捕捉したカメラの姿勢位置、および／またはカメラの外部パラメータを同時に精緻化するためのプロセスである。バンドル調節では、再投影誤差等のカメラに関するデータの間の誤差は、最小限にされる。

【0007】

エピポーラ制約を使用するバンドル調節が、任意のカメラベースのＳＬＡＭシステムにおけるカメラセンサ外部特性の非常に正確なオンライン較正を実施するために使用されることができる。オンライン較正は、バンドル調節の一部として実施されるとき、外部特性の補正のために採用される加重スキームの影響を受けやすくあり得る。エピポーラ制約が、２つのカメラの間、または１つのカメラと基準点との間の回転および平行移動のクロス積として変形の確率を推定するために使用されることができる。したがって、変形誤差が、例えば、より高い更新率を伴って、より高い正確度、効率、または両方を達成するために回復されることができる。

【0008】

エピポーラ制約を使用するバンドル調節は、可撓性デバイス上の複数のカメラセンサの間の変形をより正確に推定するために使用されることができる。軽量かつウェアラブルな拡張現実デバイス、例えば、ヘッドセットは、経時的に、小さいが急速な変形を生じやすくあり得る。エピポーラ制約をバンドル調節に適用することは、幾何学的制約に基づく効率的な様式でその変形を推定する問題に対処することができる。推定された変形は、更新されたカメラパラメータ、例えば、外部特性を発生させるために使用されることができる。更新されたカメラパラメータは、マルチカメラ三角測量ベースのＳＬＡＭシステムにおいて使用されることができる。

【0009】

説明されるシステムは、拡張現実システムがユーザによって使用されている間、エピポーラ制約を使用してバンドル調節を実施することができる。例えば、バンドル調節は、システム、例えば、エクステンデッドリアリティシステムのために、システムが画像データを捕捉し、エクステンデッドリアリティ出力データを発生させ、ヘッドセットまたは他のディスプレイ上に出力データを表示すると同時に行われることができる。いくつかのエクステンデッドリアリティシステム、例えば、拡張現実システムは、カメラおよび他のセンサがその上に搭載される、ヘッドセット等のウェアラブルデバイスを含む、またはそれとして提供される。結果として、これらのシステムは、多くの場合、ユーザが歩行する、自身の頭部を回転させる、または他の移動を行う際、使用の間に移動される。これらの移動は、多くの場合、本デバイスに対する力および応力を変化させ、これは、一時的および／または恒久的変形をウェアラブルデバイスに引き起こし得る。バンドル調節は、拡張現実システムが装着され、移動している間、システムが必要であると決定する際、自動的に実施されることができる。これは、大量の屈曲、回転、および他の移動を被り得る非常に変形可能なシステムに関して改良された性能をもたらすことができる。

【0010】

エピポーラ制約を使用してバンドル調節を実施することは、拡張現実ヘッドセットのカメラ較正の正確度を改良することができる。エピポーラ制約を適用することによって、システムは、カメラが１つの姿勢から別の姿勢に移動する際、カメラの間の変形を考慮することができる。したがって、カメラの間の相対的位置または相対的回転の変化が、バンドル調節において考慮されることができる。

【0011】

１つの一般的側面では、方法は、ヘッドセットから、ヘッドセットの特定の姿勢に関する画像データを受信することであって、画像データは、（ｉ）ヘッドセットの第１のカメラからの第１の画像と、（ｉｉ）ヘッドセットの第２のカメラからの第２の画像とを含む、ことと、少なくとも部分的に、第１の画像および第２の画像内に表される環境の３次元モデルにおける少なくとも１つのキー点を識別することと、（ｉ）第１の画像および第２の画像に基づく少なくとも１つのキー点に関する再投影誤差および（ｉｉ）第１の画像および第２の画像に基づく少なくとも１つのキー点に関するエピポーラ誤差を共同で最適化することによって、第１の画像および第２の画像を使用して、バンドル調節を実施することと、バンドル調節の結果を使用し、（ｉ）３次元モデルを更新すること、（ｉｉ）特定の姿勢におけるヘッドセットの位置を決定すること、または（ｉｉｉ）第１のカメラおよび第２のカメラの外部パラメータを決定することのうちの少なくとも１つを実施することとを含む。

【0012】

いくつかの実装では、本方法は、更新された３次元モデルに基づいて、ヘッドセットによる表示のための出力を提供することを含む。

【0013】

いくつかの実装では、エピポーラ誤差は、ヘッドセットの較正からの差異を引き起こす、ヘッドセットの変形の結果である。

【0014】

いくつかの実装では、本方法は、第１の画像および第２の画像に基づいて、第１のカメラおよび第２のカメラに関する外部パラメータのセットを決定することを含む。

【0015】

いくつかの実装では、外部パラメータは、ヘッドセット上の基準位置に対する第１のカメラまたは第２のカメラの関係をともに示す、平行移動および回転を含む。

【0016】

いくつかの実装では、本方法は、ヘッドセットの移動の経路に沿った複数の異なる姿勢のそれぞれにおいて、第１および第２のカメラから画像を受信することと、エピポーラ誤差を伴う最適化の結果を使用して、異なる姿勢のうちの少なくともいくつかに関する第１および第２のカメラに関する異なる外部パラメータを決定することとを含む。

【0017】

いくつかの実装では、本方法は、それぞれ、少なくとも部分的に、第１の画像および第２の画像内に表される環境の３次元モデルにおける複数のキー点を識別することと、複数のキー点のそれぞれを横断する誤差を共同で最適化することとを含む。

【0018】

いくつかの実装では、誤差を共同で最適化することは、複数のキー点のそれぞれを横断する全誤差を最小限にすることを含み、全誤差は、再投影誤差およびエピポーラ誤差の組み合わせを含む。

【0019】

いくつかの実装では、本方法は、ヘッドセットから、ヘッドセットの複数の姿勢に関する第２の画像データを受信することと、少なくとも部分的に、第２の画像データ内に表される環境の３次元モデルにおける少なくとも１つの第２のキー点を識別することと、（ｉ）第２の画像データに基づく少なくとも１つのキー点に関する再投影誤差および（ｉｉ）第２の画像データに基づく少なくとも１つのキー点に関するエピポーラ誤差を共同で最適化することによって、複数の姿勢毎にバンドル調節を実施することと、複数の姿勢毎のバンドル調節の結果を使用し、（ｉ）３次元モデルを更新すること、（ｉｉ）複数の姿勢のそれぞれにおけるヘッドセットの別の位置を決定すること、または（ｉｉｉ）複数の姿勢のそれぞれにおける第１のカメラおよび第２のカメラの他の外部パラメータを決定することのうちの少なくとも１つを実施することとを含む。

【0020】

いくつかの実装では、本方法は、ヘッドセットから、ヘッドセットの第１の姿勢に関する第１の画像データおよびヘッドセットの第２の姿勢に関する第２の画像データを受信することであって、ヘッドセットの変形が、ヘッドセットの第１の姿勢とヘッドセットの第２の姿勢との間で生じる、ことと、少なくとも部分的に、第１の画像データ内および第２の画像データ内に表される環境の３次元モデルにおける少なくとも１つのキー点を識別することと、（ａ）少なくとも１つのキー点に関する、（ｂ）ヘッドセットの第１の姿勢と第２の姿勢との間に生じたヘッドセットの変形を表す、少なくともエピポーラ誤差を共同で最適化することによって、第１の画像データおよび第２の画像データを使用して、バンドル調節を実施することと、バンドル調節の結果を使用し、（ｉ）３次元モデルを更新すること、（ｉｉ）第１の姿勢におけるヘッドセットの第１の位置または第２の姿勢におけるヘッドセットの第２の位置を決定すること、または（ｉｉｉ）第１の姿勢における第１のカメラおよび第２のカメラの第１の外部パラメータまたは第２の姿勢における第１のカメラおよび第２のカメラの第２の外部パラメータを決定することのうちの少なくとも１つを実施することとを含む。

【0021】

いくつかの実装では、本方法は、（ｉ）第１の画像および第２の画像に基づく少なくとも１つのキー点に関する再投影誤差、（ｉｉ）第１の画像および第２の画像に基づく少なくとも１つのキー点に関するエピポーラ誤差、および（ｉｉｉ）ヘッドセットに関する工場較正データに基づく誤差を共同で最適化することによって、第１の画像および第２の画像を使用して、バンドル調節を実施することを含む。

【0022】

いくつかの実装では、本方法は、バンドル調節の結果を使用して、ヘッドセットの一連の姿勢を更新することを含む。

【0023】

いくつかの実装では、バンドル調節の結果を使用することは、３次元モデルにおける１つまたはそれを上回るキー点の位置を更新することを含む、３次元モデルを更新することを含む。

【0024】

いくつかの実装では、バンドル調節の結果を使用することは、３次元モデルに対するヘッドセットの位置を決定することを含む、特定の姿勢の位置を決定することを含む。

【0025】

いくつかの実装では、第１の画像および第２の画像は、ほぼ同時に捕捉された。

【0026】

これらの側面の他の実施形態は、本方法のアクションを実施するように構成される、対応するシステム、装置、およびコンピュータ記憶デバイス上でエンコードされるコンピュータプログラムを含む。１つまたはそれを上回るコンピュータのシステムは、動作時、本システムにアクションを実施させる、本システム上にインストールされるソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせによって、そのように構成されることができる。１つまたはそれを上回るコンピュータプログラムは、データ処理装置によって実行されると、本装置にアクションを実施させる、命令を有することによって、そのように構成されることができる。

【0027】

本明細書に説明される主題は、種々の実施形態において実装されることができ、以下の利点のうちの１つまたはそれを上回るものをもたらし得る。いくつかの実装では、本書に説明されるバンドル調節プロセスは、他のシステムと比較して、より速く、より少ないコンピュータリソース、例えば、プロセッササイクルまたはメモリまたは両方を使用する、またはこれらの組み合わせである。いくつかの実装では、本書に説明されるカメラ較正プロセスは、カメラを含むデバイスの変形を考慮するために、調節を行うことができる。これらの調節は、本デバイスに関して実施される算出の正確度を改良することができ、例えば、本デバイスが位置する環境の３次元モデル、環境内の本デバイスの予測される位置、本デバイス内に含まれるカメラに関する外部パラメータ、またはこれらの組み合わせの正確度を改良することができる。

【0028】

本明細書に説明される主題の１つまたはそれを上回る実装の詳細が、付随の図面および下記の説明に記載される。本主題の他の特徴、側面、および利点が、説明、図面、および請求項から明白となるであろう。

【図面の簡単な説明】

【0029】

【図1】図１は、デバイスが、エピポーラ制約を用いたバンドル調節を使用して環境のモデルを更新する、例示的システムを描写する。

【0030】

【図2】図２は、拡張現実デバイス上のキー点の投影の実施例を描写する。

【0031】

【図3】図３は、拡張現実デバイスの追跡される姿勢の実施例を描写する。

【0032】

【図4】図４は、エピポーラ制約を使用してバンドル調節を実施するための例示的システムを描写する。

【0033】

【図5】図５は、エピポーラ制約を用いたバンドル調節を使用して環境のモデルを更新するためのプロセスのフロー図である。

【0034】

種々の図面における同様の参照番号および指定は、同様の要素を示す。

【発明を実施するための形態】

【0035】

詳細な説明
図１は、デバイスが、エピポーラ制約を用いたバンドル調節を使用して環境のモデルを更新する、例示的システム１００を描写する。図１は、本デバイスとして拡張現実ヘッドセット１０２を参照して説明されるが、任意の他の適切なコンピュータビジョンシステムが、拡張現実ヘッドセット１０２の代わりに、またはそれに加えて、使用されることができる。例えば、拡張現実ヘッドセット１０２は、複合現実ヘッドセット等の任意の他の適切なタイプのエクステンデッドリアリティヘッドセットであり得る。

【0036】

拡張現実ヘッドセット１０２または別のデバイスは、バンドル調節を使用し、拡張現実ヘッドセット１０２が位置する物理的環境の３次元（「３Ｄ」）モデル１２２、拡張現実ヘッドセット１０２のカメラの外部パラメータ、物理的環境内の拡張現実ヘッドセット１０２の推定される位置、またはこれらの任意の組み合わせを含む、種々のデータを更新することができる。バンドル調節を実施することによって、拡張現実ヘッドセット１０２は、より正確な３Ｄモデル１２２、より正確な外部パラメータ、より正確な推定されるデバイス位置、またはこれらの任意の組み合わせを決定することができる。

【0037】

バンドル調節は、異なる視点からの画像のセットを使用し、環境の３Ｄモデル、画像を捕捉したカメラの姿勢、および／またはカメラの外部パラメータを同時に精緻化するためのプロセスである。バンドル調節では、再投影誤差等のカメラの間の誤差は、最小限にされる。

【0038】

拡張現実ヘッドセット１０２は、拡張現実ヘッドセット１０２の複数の物理的場所または姿勢に関する受信されたカメラデータに基づいて、更新された外部パラメータを発生させるプロセスを繰り返すことができる。例えば、拡張現実ヘッドセット１０２が、経路に沿って物理的環境を通して移動する際、ヘッドセット１０２は、経路に沿った複数の位置に関して、更新された外部パラメータ、３Ｄモデル１２２の更新、更新された推定されるデバイス位置、またはこれらの組み合わせを発生させることができる。

【0039】

拡張現実ヘッドセット１０２は、右カメラ１０４と、左カメラ１０６とを含む。拡張現実ヘッドセット１０２は、随意に、中心カメラ１０５、深度センサ１０８、または両方を含むことができる。拡張現実ヘッドセット１０２が、物理的環境を通して移動する際、拡張現実ヘッドセット１０２は、カメラ１０４、１０６によって捕捉された画像データ１１０を受信する。例えば、拡張現実ヘッドセット１０２が、物理的環境内の特定の物理的場所または姿勢にあるとき、カメラ１０４、１０６は、特定の物理的場所に関する特定の画像データ１１０を捕捉することができる。画像データ１１０は、カメラ１０４によって捕捉された第１の画像およびカメラ１０６によって捕捉された第２の画像、または個別のカメラによって捕捉された画像を表す他のデータ等の任意の適切な画像データであり得る。いくつかの実装では、画像データ１１０は、ビデオ画像のシーケンスにおける画像に関するものである。例えば、画像データ１１０は、ビデオシーケンスにおけるフレームに関するものであり得る。

【0040】

図１では、変形１０１が、ヘッドセット１０２において生じる。変形１０１は、例えば、ヘッドセット１０２が、第１の姿勢から第２の姿勢に移動するときに生じ得る。いくつかの実施例では、第１の姿勢から第２の姿勢へのヘッドセット１０２の運動は、変形１０１を引き起こし得る。いくつかの実施例では、例えば、丸め誤差に基づく、算出ドリフトが、経時的に生じ、変形１０１を引き起こし得る。変形は、ヘッドセットの較正からのカメラパラメータにおける差異を引き起こし得る。例えば、変形の結果は、経時的に、ヘッドセットに関する較正パラメータが、もはやヘッドセットの実際の較正を表さないことである。

【0041】

変形１０１は、カメラ１０４とヘッドセット１０２上の基準位置との間の相対的位置の変化を引き起こし得る。基準位置は、例えば、右カメラ１０４、中心カメラ１０５、左カメラ１０６、または深度センサ１０８であってもよい。第１の姿勢において、カメラ１０４は、破線円形線によって図１に表される、第１の位置１０３に位置付けられ得る。拡張現実ヘッドセット１０２が、第２の姿勢に移動すると、カメラ１０４は、実線円形線によって表される、第２の位置に移動し得る。したがって、拡張現実ヘッドセット１０２の移動は、物理的変形１０１または算出ドリフト変形にかかわらず、ヘッドセット１０２の変形１０１を引き起こす。本変形は、カメラ１０４と基準位置、例えば、カメラ１０６との間の相対的位置の変化をもたらし得る。

【0042】

拡張現実ヘッドセット１０２は、本書に説明されるシステム、コンポーネント、および技法が実装される、１つまたはそれを上回る場所における１つまたはそれを上回るコンピュータ上のコンピュータプログラムとして実装される、システムであり得る。いくつかの実装では、拡張現実ヘッドセット１０２を参照して説明されるコンポーネントのうちの１つまたはそれを上回るものは、ネットワークを使用して拡張現実ヘッドセット１０２と通信するサーバ上等、別個のシステム内に含まれることができる。ネットワーク（図示せず）は、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、インターネット、またはそれらの組み合わせであり得る。別個のシステムは、単一のサーバコンピュータ、または、例えば、クラウドコンピューティングサービスとして展開される遠隔コンピュータのセットを含む、相互と併せて動作する複数のサーバコンピュータを使用してもよい。

【0043】

拡張現実ヘッドセット１０２は、バンドル調節モジュール１１６を含む、いくつかの異なる機能的コンポーネントを含むことができる。バンドル調節モジュール１１６は、１つまたはそれを上回るデータ処理装置を含むことができる。例えば、バンドル調節モジュール１１６は、１つまたはそれを上回るデータプロセッサと、１つまたはそれを上回るデータプロセッサに本明細書に議論される動作を実施させる、命令とを含むことができる。

【0044】

拡張現実ヘッドセット１０２の種々の機能的コンポーネントは、別個の機能的コンポーネントとして、または同一の機能的コンポーネントの異なるモジュールとして、１つまたはそれを上回るコンピュータ上にインストールされてもよい。例えば、バンドル調節モジュール１１６は、ネットワークを通してともに結合される、１つまたはそれを上回る場所における１つまたはそれを上回るコンピュータ上にインストールされる、コンピュータプログラムとして実装されることができる。例えば、クラウドベースのシステムでは、これらのコンポーネントは、分散コンピューティングシステムの個々のコンピューティングノードによって実装されることができる。

【0045】

ヘッドセット１０２のカメラ１０４、１０６は、画像データ１１０を捕捉する。画像データ１１０および工場較正データ１１２、例えば、粗視化された外部パラメータは、バンドル調節モジュール１１６に入力される。バンドル調節モジュール１１６は、バンドル調節を実施し、複数のキー点を横断するヘッドセット１０２の誤差を共同で最小限にする。バンドル調節モジュール１１６は、エピポーラ制約を適用し、カメラ外部パラメータ１２０を更新する。バンドル調節モジュール１１６はまた、３Ｄモデル１２２、ヘッドセット１０２の推定される位置、または両方の更新を発生させることができる。バンドル調節モジュール１１６は、更新された３Ｄモデル１２２を出力することができる。更新された３Ｄモデルまたは更新された３Ｄモデルの一部は、ヘッドセット１０２のディスプレイ上に提示されることができる。

【0046】

バンドル調節モジュール１１６は、例えば、データの受信またはヘッドセットの変化に応答して、または、例えば、時間、物理的距離、またはフレームにおける所定の間隔において、バンドル調節を実施することができる。例えば、バンドル調節モジュール１１６は、ビデオの画像フレーム毎に、１つおきの画像フレームに、３つ毎の画像フレームに、１０個毎の画像フレームに等、バンドル調節を実施してもよい。いくつかの実施例では、バンドル調節モジュール１１６は、複数の姿勢に関する画像データ１１０を受信することに基づいて、バンドル調節を実施することができる。いくつかの実施例では、バンドル調節モジュール１１６は、閾値距離にわたるヘッドセット１０２の移動に基づいて、バンドル調節を実施することができる。いくつかの実施例では、バンドル調節モジュール１１６は、環境の１つの面積から環境の別の面積へのヘッドセットの位置の変化に基づいて、バンドル調節を実施することができる。例えば、バンドル調節モジュール１１６は、ヘッドセット１０２が、物理的場所の１つの部屋から物理的場所の別の部屋に移動するとき、バンドル調節を実施してもよい。ヘッドセット１０２は、例えば、ＳＬＡＭ技法を適用し、環境内のヘッドセット１０２の位置を決定することに基づいて、移動の量を決定することができる。

【0047】

いくつかの実施例では、バンドル調節モジュール１１６は、誤差の検出に応答して、バンドル調節を実施することができる。例えば、ヘッドセット１０２は、カメラ１０４、１０６の間の変形誤差を検出してもよい。ヘッドセット１０２が指定された閾値を上回る変形誤差を検出することに応答して、バンドル調節モジュール１１６は、バンドル調節を実施することができる。

【0048】

図２は、拡張現実ヘッドセット１０２上のキー点の投影の実施例を描写する。ヘッドセット１０２は、右カメラ１０４と、左カメラ１０６とを含む。カメラ１０４、１０６の画像平面が、図２に長方形として図示される。カメラ１０４、１０６はそれぞれ、キー点ｘ_１を描写する環境の画像を捕捉する。カメラ１０４、１０６は、同時またはほぼ同時に、環境の画像を捕捉してもよい。２つのみのカメラを有するものとして図２に図示されるが、いくつかの実装では、ヘッドセットは、付加的カメラを含むことができる。

【0049】

キー点ｘ_１ ２０６は、環境内の点を表す。例えば、キー点ｘ_１ ２０６は、家具の縁上の点または出入口の角における点を表し得る。キー点ｘ_１ ２０６は、キー点の視覚的記述子である、対応する２次元（「２Ｄ」）観察の座標または任意の幾何学的性質であり得る。

【0050】

システムは、カメラ１０４、１０６上にキー点ｘ_１ ２０６の表現、例えば、３Ｄモデルにおいて表されるようなカメラに関する画像平面を投影することができる。キー点ｘ_１ ２０６は、左カメラ１０６の点ｙ_１上および右カメラ１０４の点上ｚ_１上に投影される。点ｙ_１およびｚ_２はそれぞれ、個別のカメラのピクセルを表すことができる。

【0051】

外部パラメータθは、カメラの外部にあり、基準点、例えば、別のカメラに対して変化し得る、カメラパラメータである。外部パラメータθは、基準点に対するカメラの場所および配向を定義する。図２の外部パラメータθは、例えば、カメラ１０４、１０６のうちの１つが基準点であるとき、カメラ１０４、１０６の間の位置変換を示す。例えば、外部パラメータは、カメラ１０４とカメラ１０６との間の平行移動および回転関係を示すことができる。

【0052】

ヘッドセット１０２は、ヘッドセットの移動の経路に沿った異なる姿勢におけるカメラ１０４、１０６からの画像を捕捉することができる。いくつかの実装では、本デバイスは、ヘッドセットの第１の姿勢に関するカメラ１０４、１０６からの第１の画像データおよびヘッドセットの第２の姿勢に関する第２の画像データを受信することができる。変形が、ヘッドセットの第１の姿勢とヘッドセットの第２の姿勢との間で生じ得る。実施例が、図３を参照して説明される。

【0053】

図３は、拡張現実ヘッドセット１０２の追跡される姿勢３０２ａ－ｂの実施例を描写する。図３の実施例では、拡張現実ヘッドセット１０２は、第１の姿勢３０２ａから第２の姿勢３０２ｂに移動する。第１の姿勢３０２ａにおいて、ヘッドセット１０２は、外部パラメータθ_ａを有する。第２の姿勢３０２ｂにおいて、ヘッドセット１０２は、外部パラメータθ_ｂを有する。θ_ａとθ_ｂとの間の差異は、ヘッドセット１０２の変形を示す。変形は、第１の姿勢３０２ａから第２の姿勢３２０ｂへのヘッドセット１０２の移動、算出ドリフト、または物理的または算出的にかかわらず、他のタイプの変形によって引き起こされ得る。

【0054】

第１の姿勢３０２ａにおいて、ヘッドセット１０２は、外部パラメータθ_ａを有する。右カメラ１０４および左カメラ１０６はそれぞれ、キー点ｘ_ｉを含む環境の画像を捕捉し、ｉは、各キー点の指数を表す。キー点ｘ_ｉは、キー点ｘ_１を含む。キー点ｘ_１の表現は、第１の姿勢３０２ａにおいて、カメラ１０４、１０６上に投影される。キー点ｘ_１は、左カメラ１０６の点ｙ_１ａ上および右カメラ１０４の点ｚ_１ａ上に投影される。

【0055】

ヘッドセット１０２は、平行移動Ｔによって表される、第１の姿勢３０２ａから第２の姿勢３０２ｂに移動する。平行移動Ｔは、ヘッドセット１０２の平行移動、回転移動、または両方を含むことができる。例えば、ヘッドセットを装着するユーザは、異なる場所に移動し得、ヘッドセットを上または下に回転させ得、第１の姿勢３０２ａと第２の姿勢３０２ｂとの間でヘッドセットを傾斜または回転させ得る。ヘッドセット１０２の本移動は、平行移動Ｔによって表される。

【0056】

第２の姿勢３０２ｂにおいて、ヘッドセット１０２は、外部パラメータθ_ｂを有する。θ_ａとθ_ｂとの間の差異または変形は、平行移動Ｔによって引き起こされ得る。第２の姿勢３０２ｂにおいて、右カメラ１０４および左カメラ１０６は、キー点ｘ_１を含む、キー点ｘ_ｉのうちの少なくともいくつかを含む、環境の画像を捕捉する。キー点ｘ_１は、左カメラ１０６の点ｙ_１ｂ上および右カメラ１０４の点ｚ_１ｂ上に投影される。

【0057】

カメラ１０４およびカメラ１０６等の２つのカメラを較正する際に使用されるべき点に関して、点は、両方のカメラの視野内にあるべきである。例えば、カメラ１０４の視野内の点は、カメラ１０６の視野内の線に沿って収まり得る。線は、点のエピポーラ線と見なされることができる。カメラ１０６の視野内のエピポーラ線とカメラ１０４のその視野内のその対応する点との間の距離は、エピポーラ誤差である。

【0058】

エピポーラ誤差等のエピポーラ制約が、姿勢３０２ａおよび３０２ｂに関する画像平面点ｙ、ｚおよび外部パラメータθに基づくバンドル調節に適用されることができる。エピポーラ制約は、同一の投影点を捕捉する２つのカメラの間の変換を表すために使用されることができる。このように、共有点の観察は、カメラの外部パラメータθを補正するために使用されることができる。

【0059】

実施例として、キー点ｘ_２が、姿勢３０２ｂにおける左カメラ１０６の点ｙ_２ｂ上に投影される。キー点ｘ_２は、位置ｘ_２’から姿勢３０２ｂにおける右カメラ１０４の点ｚ_２ｂ上に投影される。カメラ１０４の視野内のキー点ｘ_２’は、点ｚ_２ｂから、例えば、キー点ｘ_２’への線３０４に沿って収まる。エピポーラ誤差は、線３０４とキー点ｘ_２’に関する実際の場所であるキー点ｘ_２との間の距離から決定されることができる。

【0060】

エピポーラ誤差ｅ_ｉが、下記の方程式１に示されるように、指数ｉを有するキー点毎に定義されることができる。

【数1】

【0061】

方程式１では、ｙ_ｉは、第１のカメラ上の指数ｉを有するキー点の投影を表し、ｚ_ｉは、第２のカメラ上の指数ｉを有するキー点の投影を表す。記号Ｅは、外部パラメータから成る基本行列を表す。基本行列Ｅは、下記の方程式２によって定義されることができる。

【数2】

【0062】

方程式２では、記号

【化1】

は、第１の姿勢と第２の姿勢との間の平行移動行列を表す。記号Ｒは、第１の姿勢と第２の姿勢との間の回転行列を表す。外部パラメータが、正確であるとき、エピポーラ誤差ｅ_ｉは、ゼロである。例えば、ヘッドセットの較正された外部パラメータが、ヘッドセットの物理的コンポーネント間の実際の関係を示すとき、外部パラメータは、正確である。エピポーラ誤差ｅ_ｉが、ゼロであるとき、下記の方程式３が、当てはまる。

【数3】

【0063】

各キー点ｘ_ｉは、姿勢３０２ａにおける点ｙ_ｉａ、ｚ_ｉａおよび姿勢３０２ｂにおける点ｙ_ｉｂ、ｚ_ｉｂに投影され得る。バンドル調節の間、キー点ｘ_ｉ毎のエピポーラ誤差は、姿勢、較正された外部パラメータ、環境の３Ｄモデル、またはこれらのうちの２つまたはそれを上回るものの組み合わせを精緻化するために、制約として使用されることができる。バンドル調節は、投影点ｘ_ｉおよび観察されるピクセルｙ_ｉ、ｚ_ｉのセットに関する全誤差を最小限にするために使用されることができる。エピポーラ制約を使用してバンドル調節を実施するための例示的プロセスが、図４を参照して説明される。

【0064】

図４は、エピポーラ制約を使用してバンドル調節を実施するための例示的システム４００を描写する。システム４００では、ヘッドセット１０２は、バンドル調節モジュール１１６を使用してバンドル調節を実施する。いくつかの実装では、別のデバイスまたはデバイスの組み合わせが、バンドル調節モジュール１１６を使用してバンドル調節を実施することができる。

【0065】

システム４００では、右カメラ１０４および左カメラ１０６は、環境の画像を捕捉する。右カメラ１０４は、画像データ１１０ａをバンドル調節モジュール１１６に出力する。左カメラ１０４は、画像データ１１０ｂをバンドル調節モジュール１１６に出力する。画像データ１１０ａおよび画像データ１１０ｂは、ほぼ同時に捕捉された環境の画像を表す画像データであり得る。バンドル調節モジュール１１６は、入力として画像データ１１０ａ、１１０ｂを受信する。バンドル調節モジュールはまた、入力として、環境の３Ｄモデル１２２を受信することができる。

【0066】

バンドル調節モジュール１１６は、画像データ１１０ａ、１１０ｂおよび３Ｄモデル１２２に基づいて、再投影誤差を決定することができる。再投影誤差ｒ_ｉは、下記の方程式４によって表されることができる。

【数4】

【0067】

方程式４では、ｒ_ｉは、３Ｄ点ｘ_ｉに関する再投影誤差を表す。項

【化2】

は、３Ｄモデル１２２に基づく、３Ｄｘ_ｉ点の予期される投影を表す。項ｚ_ｉは、３Ｄ点ｘ_ｉの実際の投影を表す。

【0068】

いくつかの実装では、システム４００は、例えば、ｘ_ｉが、右カメラによって捕捉された画像内に描写される点に関する値を表し、ｙ_ｉが、左カメラによって捕捉された画像内に描写される点に関する値を表すとき、異なるカメラからの値を伴う方程式（１）、（３）、または（４）のうちの１つまたはそれを上回るものを使用することができる。例えば、システムは、ｙ_ｉの値がｘ_ｉの値と置換された、これらの方程式のうちの１つまたはそれを上回るものを使用することができる。いくつかの実施例では、システムは、ｘ_ｉの値がｙ_ｉの値と置換された、これらの方程式のうちの１つまたはそれを上回るものを使用することができる。

【0069】

いくつかの実装では、システム４００は、異なるカメラに関する対応する値を決定するために、異なる方程式を使用することができる。例えば、本システムは、右カメラに関する再投影誤差を決定するために、再投影誤差ｒ_ｉを使用することができ、指数ｉに関する左カメラに関する再投影誤差ｒ_ｙｉを決定するために、下記の方程式５を使用することができる。

【数5】

【0070】

方程式５では、

【化3】

は、右カメラ上の指数ｉを有する３Ｄ点ｘ_ｉの投影を表す。ｙ_ｉは、投影された３ｄ点ｘ_ｉの左画像における２Ｄ観察を表す。

【0071】

いくつかの実装では、システム４００は、両方のカメラに関する再投影誤差を決定することができる。例えば、システム４００は、第１のカメラ、例えば、右カメラに関する再投影誤差ｒ_ｉおよび第２の異なるカメラ、例えば、左カメラに関する再投影誤差ｒ_ｙｉを決定することができる。

【0072】

再投影誤差は、３Ｄモデル点の推定値が、環境内の点の真の投影を厳密に再現する程度を定量化することによって、正確度の測度を提供することができる。再投影誤差は、３Ｄモデル１２２内に検出されるキー点の投影と同一の画像上に投影される実世界環境内のキー点の対応する投影との間の距離である。

【0073】

画像データ１１０ａ、１１０ｂに加えて、バンドル調節モジュール１１６は、入力として、工場較正データ１１２を受信することができる。工場較正データ１１２は、右カメラ１０４および左カメラ１０６に関する粗視化された外部パラメータを含むことができる。

【0074】

カメラに関する粗視化された外部パラメータは、特定のカメラと基準位置との間の初期平行移動および回転を示すことができる。基準位置は、例えば、ヘッドセット１０２上の基準位置であり得る。基準位置は、基準カメラまたは基準深度センサ等の基準センサ、またはヘッドセット１０２上の別の適切な基準位置であり得る。工場較正データに関するデータ項ｕは、下記の方程式６によって表されることができる。

【数6】

【0075】

方程式４では、θ_０は、カメラの工場較正外部パラメータを表す。記号θは、カメラの算出された外部パラメータを表す。

【0076】

バンドル調節モジュール１１６はまた、入力として、追跡されるヘッドセット姿勢４１２を受信することができる。追跡されるヘッドセット姿勢４１２は、例えば、環境内の第１の姿勢３０２ａおよび第２の姿勢３０２ｂの推定される位置であり得る。追跡されるヘッドセット姿勢は、ヘッドセットの移動の経路に沿ったいくつかの姿勢を含むことができる。

【0077】

バンドル調節モジュール１１６は、バンドル調節プロセスへの入力として、画像データ１１０ａ、１１０ｂ、工場較正データ１１２、および追跡されるヘッドセット姿勢４１２を使用することができる。バンドル調節プロセスでは、バンドル調節モジュール１１６は、受信された入力に基づいて、複数の潜在的な誤差の源の共同最適化４２０を実施することができる。具体的には、バンドル調節モジュールは、再投影誤差、エピポーラ制約に基づく誤差、例えば、エピポーラ誤差、および工場較正誤差の共同最適化を実施することができる。全誤差

【化4】

を決定するためのこれらの３つの誤差の源の共同最適化は、下記の方程式７によって表されることができる。

【数7】

【0078】

方程式７における各合計は、ｉ個のキー点のセットにわたって合計された誤差の源を表す。具体的には、第１の合計は、再投影誤差を表し、第２の合計は、工場較正誤差を表し、第３の合計は、エピポーラ誤差を表す。共同最適化は、複数のキー点を横断する組み合わせられた誤差ｅ（Ｔ，Ｘ，θ）を最小限にすることによって実施されることができる。

【0079】

共同最適化において１つまたはそれを上回るエピポーラ制約を含めることによって、本システムは、誤差計算の正確度を改良することができる。エピポーラ制約項は、ヘッドセット１０２の変形を補正するために、キー点からのピクセル投影の未加工観察に依拠することができる。したがって、エピポーラ制約項は、そうでなければ考慮されない、無視される、または両方であろう誤差の源を最小限にすることによって、バンドル調節モジュールを拡張することができる。

【0080】

組み合わせられた誤差ｅ（Ｔ，Ｘ，θ）は、回転Ｒおよび平行移動Ｔに関する推定値を挿入し、方程式７の出力を取得することによって、最適化される、例えば、最小限にされることができる。バンドル調節モジュール１１６は、全てのキー点に関する最適化された回転および平行移動として、最も小さい組み合わせられた誤差をもたらす回転および平行移動行列を選択することができる。言い換えると、バンドル調節の目標は、キー点のセットにおけるキー点に関する全ての平行移動行列および回転行列を横断する誤差を最小限にする、回転Ｒおよび平行移動Ｔの値を見出すことである。

【0081】

誤差を最適化することに応じて、バンドル調節モジュール１１６は、最適化された回転および平行移動行列を使用し、ヘッドセット１０２に関する値、パラメータ、または両方を更新することができる。例えば、バンドル調節モジュール１１６は、環境４１６の３Ｄモデルの更新を出力する、較正された外部パラメータ４１４を更新する、例えば、環境内のヘッドセット４１８の位置の更新を出力する、またはこれらの任意の組み合わせを行うことができる。

【0082】

例えば、バンドル調節モジュール１１６は、環境４１６の３Ｄモデルの更新を３Ｄモデル１２２に適用することができる。３Ｄモデルを更新することは、３Ｄモデル内の１つまたはそれを上回るキー点の位置を更新することを含むことができる。更新された３Ｄモデルまたは更新された３Ｄモデルの一部は、次いで、ヘッドセット１０２のディスプレイ４２２上に提示されることができる。

【0083】

バンドル調節モジュール１１６はまた、ヘッドセット１０２の特定の姿勢の位置を更新することができる。ヘッドセット１０２の位置を更新することは、３Ｄモデル１２２に対するヘッドセット１０２の位置を決定することを含むことができる。いくつかの実施例では、バンドル調節モジュール１１６は、バンドル調節に基づいて、ヘッドセット１０２の一連の姿勢または姿勢の経路を更新することができる。

【0084】

バンドル調節モジュール１１６は、右カメラ１０４、左カメラ１０６、または両方に関する外部パラメータを更新することができる。バンドル調節モジュール１１６は、カメラ毎に異なる外部パラメータを決定してもよい。バンドル調節モジュール１１６は、複数の異なる姿勢に関する外部パラメータを出力する、または別様に使用することができる。

【0085】

バンドル調節モジュール１１６によって決定された、更新されたパラメータ、例えば、更新された外部パラメータ４１４は、カメラ１０４、１０６によって捕捉された将来の画像データに適用されることができる。例えば、更新された外部パラメータは、環境内のヘッドセット１０２の位置を決定する際の将来の使用のために、ＳＬＡＭシステムに提供されることができる。いくつかの実施例では、更新された外部パラメータ４１４は、ヘッドセット１０２の現在の外部パラメータを上書きするために使用されてもよい。更新された外部パラメータ４１４は、ヘッドセット１０２の位置または姿勢毎に特有であり得る。

【0086】

更新された外部パラメータ４１４を用いて、３Ｄモデル、ヘッドセット姿勢、または両方に関する正確度が、改良されることができる。エピポーラ制約を使用するバンドル調節に起因して、更新された外部パラメータは、ヘッドセット１０２の姿勢毎の全てのキー点を横断して最適化されることができる。したがって、バンドル調節問題に沿った最適化プロセスの間にエピポーラ制約を最小限にすることは、他のシステムと比較して、ヘッドセットのより高い正確度のオンライン較正をもたらすことができる。

【0087】

図５は、エピポーラ制約を使用してバンドル調節を実施するためのプロセス５００のフロー図である。例えば、プロセス５００は、システム１００からの拡張現実ヘッドセット１０２等のデバイスによって使用されることができる。

【0088】

デバイスは、ヘッドセットから、ヘッドセットの特定の姿勢に関する画像データを受信し、画像データは、（ｉ）ヘッドセットの第１のカメラからの第１の画像と、（ｉｉ）ヘッドセットの第２のカメラからの第２の画像とを含む（５０２）。いくつかの実施例では、本デバイスは、ヘッドセットの移動の経路に沿った複数の異なる姿勢のそれぞれにおいて、第１および第２のカメラから画像を受信することができる。いくつかの実施例では、本デバイスは、ヘッドセットの第１の姿勢に関するヘッドセットからの第１の画像データおよびヘッドセットの第２の姿勢に関する第２の画像データを受信することができる。変形が、ヘッドセットの第１の姿勢とヘッドセットの第２の姿勢との間で生じ得る。

【0089】

本デバイスは、１つまたはそれを上回るカメラから画像データを受信することができる。１つまたはそれを上回るカメラは、本デバイスまたは別のデバイスに統合されることができる。いくつかの実施例では、本デバイスは、第１のカメラから画像データの第１の部分を受信し、第２の異なるカメラから画像データの第２の異なる部分を受信することができる。第１の画像および第２の画像は、同時またはほぼ同時に、それぞれ、第１のカメラおよび第２のカメラによって捕捉されることができる。これは、第１の画像および第２の画像の同期を可能にすることができる。いくつかの実装では、第２の画像は、第１の画像の捕捉から閾値期間内に捕捉されることができる。

【0090】

本デバイスは、少なくとも部分的に、第１の画像および第２の画像内に表される環境の３次元モデルにおける少なくとも１つのキー点を識別する（５０４）。いくつかの実施例では、本デバイスは、複数のキー点を識別することができる。本デバイスは、例えば、別のデバイスまたはシステムから受信された、少なくとも１つのキー点を示すデータを受信することによって、少なくとも１つのキー点を識別することができる。本デバイスは、キー点を識別するために１回またはそれを上回る算出を実施することによって、少なくとも１つのキー点を識別することができる。例えば、本デバイスは、画像または複数の画像を分析し、画像または複数の画像のそれぞれにおいて描写される点を決定することができる。画像は、第１の画像または第２の画像であり得る。複数の画像は、第１の画像と、第２の画像とを含むことができる。

【0091】

本デバイスは、（ｉ）第１の画像および第２の画像に基づく少なくとも１つのキー点に関する再投影誤差および（ｉｉ）第１の画像および第２の画像に基づく少なくとも１つのキー点に関するエピポーラ誤差を共同で最適化することによって、第１の画像および第２の画像を使用して、バンドル調節を実施する（５０６）。いくつかの実施例では、エピポーラ誤差は、ヘッドセットの較正からの差異を引き起こす、ヘッドセットの変形を表す。

【0092】

いくつかの実施例では、本デバイスは、複数のキー点を識別し、複数のキー点のそれぞれを横断する誤差を共同で最適化することができる。複数のキー点を横断する誤差を共同で最適化することは、複数のキー点のそれぞれを横断する全誤差を最小限にすることを含むことができる。全誤差は、複数のキー点のうちの２つまたはそれを上回るものに関する再投影誤差およびエピポーラ誤差の組み合わせを含むことができる。全誤差は、工場較正誤差を含むことができる。

【0093】

いくつかの実施例では、本デバイスは、（ｉ）第１の画像および第２の画像に基づく少なくとも１つのキー点に関する再投影誤差、（ｉｉ）第１の画像および第２の画像に基づく少なくとも１つのキー点に関するエピポーラ誤差、および（ｉｉｉ）ヘッドセットの工場較正に基づく誤差を共同で最適化することによって、第１の画像および第２の画像を使用して、バンドル調節を実施することができる。

【0094】

本デバイスは、バンドル調節の結果を使用し、（ｉ）３次元モデルを更新すること、（ｉｉ）特定の姿勢におけるヘッドセットの位置を決定すること、または（ｉｉｉ）第１のカメラおよび第２のカメラの外部パラメータを決定することのうちの少なくとも１つを実施する（５０８）。特定の姿勢の位置を決定することは、３次元モデルに対するヘッドセットの位置を決定することを含むことができる。

【0095】

いくつかの実施例では、本デバイスは、バンドル調節の結果を使用し、３次元モデルを更新することができ、更新された３次元モデルに基づいて、ヘッドセットによる表示のための出力を提供することができる。いくつかの実施例では、モデルを更新することは、モデル内の１つまたはそれを上回るキー点の位置を更新することを含む。

【0096】

いくつかの実施例では、本デバイスは、第１の画像および第２の画像に基づいて、特定の姿勢に関する外部パラメータのセットを決定することができる。本デバイスは、エピポーラ誤差を伴う最適化を使用して、複数の異なる姿勢のうちの少なくともいくつかに関する第１および第２のカメラに関する異なる外部パラメータを決定することができる。本デバイスは、バンドル調節に基づいて、ヘッドセットの一連の姿勢または姿勢の経路を更新することができる。

【0097】

本デバイスは、バンドル調節の結果を使用し、複数の姿勢のそれぞれにおけるヘッドセットの位置を決定する、複数の姿勢のそれぞれにおける第１のカメラおよび第２のカメラの外部パラメータを決定する、または両方を行うことができる。例えば、本デバイスは、第１の姿勢における第１のカメラおよび第２のカメラの第１の外部パラメータおよび第２の姿勢における第１のカメラおよび第２のカメラの第２の外部パラメータを決定することができる。第１の外部パラメータは、第２の外部パラメータと異なってもよい。いくつかの実施例では、第１の外部パラメータと第２の外部パラメータとの間の差異は、第１の姿勢と第２の姿勢との間で生じたヘッドセットの変形に起因し得る。

【0098】

いくつかの実施例では、外部パラメータは、ヘッドセット上の基準位置に対する第１のカメラまたは第２のカメラの関係を示す、平行移動および回転を含む。基準位置は、例えば、外部パラメータが決定されているカメラと異なる別のカメラ、深度センサ、慣性測定ユニット、またはヘッドセット上の別の適切な位置であり得る。いくつかの実装では、カメラ毎の外部パラメータは、ヘッドセット上の同一の基準位置に対するものである。いくつかの実装では、カメラのうちの少なくともいくつかに関する外部パラメータは、ヘッドセット上の異なる基準位置に対するものである。

【0099】

本デバイスは、環境に関する環境モデルの更新および環境内の本デバイスの推定される位置を決定する、同時位置特定およびマッピングプロセスへの入力としての使用のための更新されたカメラ外部パラメータを提供することができる。

【0100】

上記に説明されるプロセス５００におけるステップの順序は、例証にすぎず、バンドル調節は、異なる順序で実施されることができる。いくつかの実装では、プロセス５００は、付加的ステップ、より少ないステップを含むことができる、またはステップのうちのいくつかが、複数のステップに分割されることができる。例えば、本デバイスは、画像データを受信し、少なくとも１つのキー点を識別し、バンドル調節の結果を使用することなく、バンドル調節を実施することができる。これらの実施例では、本デバイスは、バンドル調節の結果を、別のデバイス、例えば、本デバイスがバンドル調節を実施する１つまたはそれを上回るコンピュータのシステムの一部であるとき、ヘッドセットに提供することができる。

【0101】

いくつかの実装が、説明されている。それにもかかわらず、種々の修正が、本開示の精神および範囲から逸脱することなく、行われ得ることを理解されたい。例えば、上記に示されるフローの種々の形態が、ステップが再順序付け、追加、または除去されて、使用されてもよい。

【0102】

本明細書に説明される主題の実施形態および機能的動作は、デジタル電子回路網において、有形に具現化されるコンピュータソフトウェアまたはファームウェアにおいて、本明細書に開示される構造およびそれらの構造的均等物を含む、コンピュータハードウェアにおいて、またはそれらのうちの１つまたはそれを上回るものの組み合わせにおいて実装されることができる。本明細書に説明される主題の実施形態は、１つまたはそれを上回るコンピュータプログラム、すなわち、データ処理装置による実行のための、またはその動作を制御するための有形非一過性プログラムキャリア上でエンコードされるコンピュータプログラム命令の１つまたはそれを上回るモジュールとして実装されることができる。代替として、または加えて、プログラム命令は、データ処理装置による実行のための好適な受信機装置への伝送のための情報をエンコードするために発生される、人工的に発生された伝搬信号、例えば、機械発生電気、光学、または電磁信号上でエンコードされることができる。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムまたはシリアルアクセスメモリデバイス、またはそれらのうちの１つまたはそれを上回るものの組み合わせであり得る。

【0103】

用語「データ処理装置」は、データ処理ハードウェアを指し、実施例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。本装置はまた、専用論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）である、またはそれをさらに含むことができる。本装置は、随意に、ハードウェアに加えて、コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つまたはそれを上回るものの組み合わせを成すコードを含むことができる。

【0104】

プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードとも称される、またはそれとしても説明され得る、コンピュータプログラムは、コンパイル型または解釈型言語、または宣言型または手続き型言語を含む、任意の形態のプログラミング言語で記述されることができ、これは、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、またはコンピューティング環境内での使用のために好適な他のユニットとしてを含む、任意の形態で展開されることができる。コンピュータプログラムは、必要ではないが、ファイルシステム内のファイルに対応してもよい。プログラムは、他のプログラムまたはデータを保持するファイルの一部、例えば、マークアップ言語文書内に記憶される１つまたはそれを上回るスクリプト内に、当該プログラム専用である単一のファイル内に、または複数の協調ファイル、例えば、１つまたはそれを上回るモジュール、サブプログラム、またはコードの一部を記憶するファイル内に記憶されることができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの地点に位置する、または複数の地点を横断して分散され、通信ネットワークによって相互接続される、複数のコンピュータ上で実行されるように展開されることができる。

【0105】

本明細書に説明されるプロセスおよび論理フローは、入力データに対して動作し、出力を発生させることによって機能を実施するために、１つまたはそれを上回るコンピュータプログラムを実行する、１つまたはそれを上回るプログラマブルコンピュータによって実施されることができる。プロセスおよび論理フローはまた、専用論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実施されることができ、装置はまた、それとして実装されることができる。

【0106】

コンピュータプログラムの実行のために好適なコンピュータは、実施例として、汎用または専用マイクロプロセッサまたは両方、または任意の他の種類の中央処理ユニットを含む。概して、中央処理ユニットは、読取専用メモリまたはランダムアクセスメモリまたは両方から命令およびデータを受信するであろう。コンピュータの不可欠の要素は、命令を実施または実行するための中央処理ユニットおよび命令およびデータを記憶するための１つまたはそれを上回るメモリデバイスである。概して、コンピュータはまた、データを記憶するための１つまたはそれを上回る大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光学ディスクを含む、またはそこからデータを受信する、またはそこにデータを転送するために動作的に結合される、または両方であろう。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。また、コンピュータは、別のデバイス、例えば、いくつかのみ例を挙げると、モバイル電話、スマートフォン、携帯情報端末（ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、またはポータブル記憶デバイス、例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ内に埋設されることができる。

【0107】

コンピュータプログラム命令およびデータを記憶するために好適なコンピュータ可読媒体は、実施例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路網によって補完される、またはその中に組み込まれることができる。

【0108】

ユーザとの相互作用を提供するために、本明細書に説明される主題の実施形態は、情報をユーザに表示するためのディスプレイデバイス、例えば、ＬＣＤ（液晶ディスプレイ）、ＯＬＥＤ（有機発光ダイオード）、または他のモニタと、それによってユーザが入力をコンピュータに提供し得る、キーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールとを有する、コンピュータ上で実装されることができる。他の種類のデバイスも、同様にユーザとの相互作用を提供するために使用されることができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであり得、ユーザからの入力は、音響、音声、または触覚入力を含む、任意の形態で受信されることができる。加えて、コンピュータは、ユーザによって使用されるデバイスに文書を送信し、そこから文書を受信することによって、例えば、ウェブブラウザから受信された要求に応答して、ユーザのデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと相互作用することができる。

【0109】

本明細書に説明される主題の実施形態は、例えば、データサーバとして、バックエンドコンポーネントを含む、またはミドルウェアコンポーネント、例えば、アプリケーションサーバを含む、またはフロントエンドコンポーネント、例えば、それを通してユーザが本明細書に説明される主題の実装と相互作用し得る、グラフィカルユーザインターフェースまたはウェブブラウザを有する、クライアントコンピュータを含む、または１つまたはそれを上回るそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステムにおいて実装されることができる。本システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信、例えば、通信ネットワークによって相互接続されることができる。通信ネットワークの実施例は、ローカルエリアネットワーク（ＬＡＮ）および広域ネットワーク（ＷＡＮ）、例えば、インターネットを含む。

【0110】

コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、概して、相互から遠隔であり、典型的には、通信ネットワークを通して相互作用する。クライアントおよびサーバの関係は、個別のコンピュータ上で実行され、相互に対するクライアント－サーバ関係を有する、コンピュータプログラムによって生じる。いくつかの実施形態では、サーバは、例えば、クライアントとして作用する、ユーザデバイスと相互作用するユーザにデータを表示し、ユーザからユーザ入力を受信する目的のために、データ、例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ）ページをユーザデバイスに伝送する。ユーザデバイスにおいて発生されたデータ、例えば、ユーザ相互作用の結果は、サーバにおいてユーザデバイスから受信されることができる。

【0111】

本明細書は、多くの具体的な実装詳細を含有するが、これらは、請求され得る内容の範囲に対する限定として解釈されるべきではなく、むしろ、特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態において組み合わせて実装されることができる。逆に、単一の実施形態の文脈において説明される種々の特徴はまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。また、特徴が、ある組み合わせにおいて作用するものとして上記に説明され、さらには最初にそのように請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、ある場合には、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。

【0112】

同様に、動作が、特定の順序で図面に描写されるが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または順次的順序で実施され、全ての図示される動作が実施されることを要求するものとして理解されるべきではない。ある状況では、マルチタスクおよび並列処理が、有利であり得る。また、上記に説明される実施形態における種々のシステムモジュールおよびコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムが、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。

【0113】

本発明の特定の実施形態が、説明されている。他の実施形態も、以下の請求項の範囲内である。例えば、請求項に列挙される、本明細書に説明される、または図に描写されるステップは、異なる順序で実施され、依然として、望ましい結果を達成することができる。ある場合には、マルチタスクおよび並列処理が、有利であり得る。

【0114】

特許請求の範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】