特開 2023-49039 強化されたビジュアル慣性オドメトリの方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023049039

(43)【公開日】2023-04-07

(54)【発明の名称】強化されたビジュアル慣性オドメトリの方法及び装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230331BHJP

   H04N 23/55 20230101ALI20230331BHJP

   H04N 23/54 20230101ALI20230331BHJP

   G03B 15/00 20210101ALI20230331BHJP

   G03B 17/02 20210101ALI20230331BHJP

【ＦＩ】

H04N5/232 290

H04N5/225 400

H04N5/232 300

H04N5/225 300

G03B15/00 U

G03B17/02

【審査請求】未請求

【請求項の数】32

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022153974

(22)【出願日】2022-09-27

(31)【優先権主張番号】63/249,379

(32)【優先日】2021-09-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/935,383

(32)【優先日】2022-09-26

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】518253934

【氏名又は名称】タレス ディフェンス アンド セキュリティー， インコーポレイテッド

【氏名又は名称原語表記】Ｔｈａｌｅｓ Ｄｅｆｅｎｓｅ ＆ Ｓｅｃｕｒｉｔｙ， Ｉｎｃ．

【住所又は居所原語表記】２２６０５ Ｇａｔｅｗａｙ Ｃｅｎｔｅｒ Ｄｒｉｖｅ， Ｃｌａｒｋｓｂｕｒｇ， ＭＤ ２０８７１ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】マディソン，リチャード

(72)【発明者】

【氏名】ミーズ，オレッグス

(72)【発明者】

【氏名】ヘイト，ブライアン

(72)【発明者】

【氏名】アタック，ロバート

【テーマコード（参考）】

2H100

5C122

【Ｆターム（参考）】

2H100CC01

5C122EA42

5C122EA47

5C122FB17

5C122FC01

5C122FC02

5C122FC06

5C122FD01

5C122FF15

5C122FH01

5C122FH11

5C122HA03

5C122HA35

5C122HA75

5C122HA78

5C122HB01

(57)【要約】      （修正有）

【課題】強化されたビジュアル慣性オドメトリ・アルゴリズム及びイメージングシステムを提供する。
【解決手段】ビジュアル慣性オドメトリ環境１００において、イメージング装置１０４とコンピューティング装置１０６を有するイメージングシステム１０２は、第１の画像１１０を受け取り、その光度を増幅して第２の画像１１２を生成する倍増管、第２の画像をデジタルで取り込むイメージセンサ、第１の画像の受け取り又は第２の画像の取り込みに関連する第１の時間を特定するイメージングコンポーネント、イメージングシステムの空間情報１０２を取得し、空間情報の取得に関連する第２の時間を特定するＩＭＵコンポーネント及び第１の時間が第２の時間と実質的に同時であることに基づいて第２の画像を空間情報と関連付けし、第２の画像と空間情報に基づいてイメージングシステムの位置又は向き１１６の少なくとも一方を生成するアルゴリズムコンポーネントを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

イメージングシステムによって実施される方法であって、当該方法は、
第１の画像を受け取るステップと、
該第１の画像の光度を増幅して第２の画像を生成するステップと、
該第２の画像をデジタルで取り込むステップと、
前記第１の画像の受け取り又は前記第２の画像の取得と同時に、前記イメージングシステムの空間情報を取得するステップと、
前記第２の画像を前記空間情報に関連付けるステップと、
前記第２の画像及び前記空間情報に基づいて、前記イメージングシステムの位置又は向きの少なくとも一方を生成するステップと、を含む、
方法。

【請求項2】

前記光度を増幅する前に、前記第１の画像に関連する光をコリメートするステップをさらに含む、請求項１に記載の方法。

【請求項3】

前記第２の画像をデジタルで取り込む前に、前記第２の画像の焦点を合わせるステップをさらに含む、請求項１に記載の方法。

【請求項4】

前記第１の画像の受け取り又は前記第２の画像の取り込みに関連する第１の時間を特定するステップと、
前記空間情報の取得に関連する第２の時間を特定するステップと、
前記第１の時間を示す第１のタイムスタンプを前記第１の画像又は前記第２の画像に追加するステップと、
前記第２の時間を示す第２のタイムスタンプを前記空間情報に追加するステップと、を含み、
前記第２の画像を前記空間情報に関連付けるステップは、前記第１の時間が前記第２の時間と実質的に同時であることに基づいて、前記第２の画像を前記空間情報に関連付けるステップを含む、請求項１に記載の方法。

【請求項5】

前記イメージングシステムを取り囲む環境の点の３次元位置を決定するステップをさらに含む、請求項１に記載の方法。

【請求項6】

前記イメージングシステムの前記位置又は向きの少なくとも一方を生成するステップは、同時位置特定及びマッピングアルゴリズム、ビジュアル・オドメトリ・アルゴリズム、又はビジュアル慣性オドメトリ・アルゴリズムの１つ又は複数を使用して前記生成するステップを含む、請求項１に記載の方法。

【請求項7】

前記空間情報を受け取るステップは、前記イメージングシステムの線速度、前記イメージングシステムの角速度、前記イメージングシステムの直線加速度、前記イメージングシステムの角加速度、磁場、又は磁気双極子モーメントの１つ又は複数を測定するステップを含む、請求項１に記載の方法。

【請求項8】

前記第１の画像に関連付けられた第３の画像を受け取るステップと、
該第３の画像の第２の光度を増幅して第４の画像を生成するステップと、
該第４の画像をデジタルで取り込むステップと、
前記第３の画像の受け取り又は前記第４の画像の取り込みと同時に、前記イメージングシステムの追加の空間情報を取得するステップであって、前記空間情報及び前記追加の空間情報は同一又は異なる、ステップと、
前記第４の画像を前記追加の空間情報に関連付けるステップと、を含み、
前記イメージングシステムの前記位置又は前記向きの少なくとも一方を生成するステップは、前記第２の画像、前記第４の画像、前記空間情報、及び前記追加の空間情報に基づいて前記生成するステップを含む、請求項１に記載の方法。

【請求項9】

前記第１の画像に関連付けられた第１の複数の画像を受け取るステップと、
該第１の複数の画像の複数の光度を増幅して、第２の複数の画像を生成するステップと、
該第２の複数の画像をデジタルで取り込むステップと、
前記第１の複数の画像の受け取り又は前記第２の複数の画像の取り込みと同時に、前記イメージングシステムの追加の空間情報を取得するステップであって、前記空間情報及び前記追加の空間情報は同一又は異なる、ステップと、
前記第２の複数の画像を前記追加の空間情報と関連付けるステップと、を含み、
前記イメージングシステムの前記位置又は前記向きの少なくとも一方を生成するステップは、前記第２の画像、前記第２の複数の画像、前記空間情報、及び前記追加の空間情報に基づいて前記生成するステップを含む、請求項１に記載の方法。

【請求項10】

イメージングシステムであって、当該イメージングシステムは、
増倍管であって、
第１の画像を受け取り、
該第１の画像の光度を増幅して第２の画像を生成するように構成された増倍管と、
前記第２の画像をデジタルで取り込むように構成されたイメージセンサと、
前記第１の画像の受け取り又は前記第２の画像の取得と同時に、前記イメージングシステムの空間情報を取得するように構成された慣性測定ユニットと、
命令を格納するメモリと、
プロセッサであって、前記命令を実行して、
前記第２の画像を前記空間情報に関連付け、
前記第２の画像及び前記空間情報に基づいて、前記イメージングシステムの位置又は向きの少なくとも一方を生成するように構成されたプロセッサと、を含む、
イメージングシステム。

【請求項11】

前記光度を増幅する前に、前記第１の画像に関連する光をコリメートするように構成された第１の光学フィルタをさらに含む、請求項１０に記載のイメージングシステム。

【請求項12】

前記第２の画像をデジタルで取り込む前に、前記第２の画像の焦点を合わせるように構成された第２の光学フィルタをさらに含む、請求項１１に記載のイメージングシステム。

【請求項13】

前記プロセッサは、
前記第１の画像の受け取り又は前記第２の画像の取り込みに関連する第１の時間を特定し、
前記空間情報の取得に関連する第２の時間を特定し、
前記第１の時間を示す第１のタイムスタンプを前記第１の画像又は前記第２の画像に追加し、
前記第２の時間を示す第２のタイムスタンプを前記空間情報に追加するようにさらに構成され、
前記第２の画像を前記空間情報に関連付けることは、前記第１の時間が前記第２の時間と実質的に同時であることに基づいて、前記第２の画像を前記空間情報に関連付けることを含む、請求項１０に記載のイメージングシステム。

【請求項14】

前記プロセッサは、前記イメージングシステムを取り囲む環境の点の３次元位置を決定するようにさらに構成される、請求項１０に記載のイメージングシステム。

【請求項15】

前記プロセッサは、同時位置特定及びマッピングアルゴリズム、ビジュアル・オドメトリ・アルゴリズム、又はビジュアル慣性オドメトリ・アルゴリズムの１つ又は複数を用いて、前記イメージングシステムの前記位置又は前記向きの少なくとも一方を生成するようにさらに構成される、請求項１０に記載のイメージングシステム。

【請求項16】

前記プロセッサは、前記イメージングシステムの線速度、前記イメージングシステムの角速度、前記イメージングシステムの線形加速度、前記イメージングシステムの角加速度、磁場、又は磁気双極子モーメントの１つ又は複数を測定することによって、前記空間情報を受信するようにさらに構成される、請求項１０に記載のイメージングシステム。

【請求項17】

前記プロセッサは、
前記第１の画像に関連付けられた第３の画像を受け取ること、
該第３の画像の第２の光度を増幅して第４の画像を生成すること、
該第４の画像をデジタルで取り込むこと、
前記第３の画像の受け取り又は前記第４の画像の取り込みと同時に、前記イメージングシステムの追加の空間情報を取得することであって、前記空間情報及び前記追加の空間情報は同一又は異なる、こと、及び
前記第４の画像を前記追加の空間情報と関連付けること、を行うようにさらに構成され、
前記イメージングシステムの前記位置又は前記向きの少なくとも一方を生成することは、前記第２の画像、前記第４の画像、前記空間情報、及び前記追加の空間情報に基づいて前記生成することを含む、請求項１０に記載のイメージングシステム。

【請求項18】

前記プロセッサは、
前記第１の画像に関連付けられた第１の複数の画像を受け取ること、
前記第１の複数の画像の複数の光度を増幅して第２の複数の画像を生成すること、
前記第２の複数の画像をデジタルで取り込むこと、
前記第１の複数の画像の受け取り又は前記第２の複数の画像を取り込みと同時に、前記イメージングシステムの追加の空間情報を取得することであって、前記空間情報及び前記追加の空間情報は同一又は異なる、こと、及び
前記第２の複数の画像を前記追加の空間情報と関連付けること、を行うようにさらに構成され、
前記イメージングシステムの前記位置又は前記向きの少なくとも一方を生成することは、前記第２の画像、前記第２の複数の画像、前記空間情報、及び前記追加の空間情報に基づいて前記生成することを含む、請求項１０に記載のイメージングシステム。

【請求項19】

前記慣性測定ユニットは、少なくとも１つ又は複数の加速度計、ジャイロスコープ、及び／又は磁力計を含む、請求項１０に記載のイメージングシステム。

【請求項20】

前記イメージセンサは、電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化膜半導体（ＣＭＯＳ）センサを含む、請求項１０に記載のイメージングシステム。

【請求項21】

前記増倍管（multiplier）は、増強管（intensifier tube）、光電陰極、光電子増倍管、アバランシェフォトダイオード、又は量子井戸ダイオードを含む、請求項１０に記載のイメージングシステム。

【請求項22】

暗視ヘルメットであって、
第１の増倍管であって、
第１の画像を受け取り、
該第１の画像の第１の光度を増幅して第２の画像を生成するように構成された第１の倍増管と、
前記第２の画像をデジタルで取り込むように構成された第１のイメージセンサと、
第２の増倍管であって、
前記第１の画像の受け取りと同時に第３の画像を受け取り、
該第３の画像の第２の光度を増幅して第４の画像を生成するように構成された第２の増倍管と、
前記第４の画像をデジタルで取り込むように構成された第２のイメージセンサと、
前記第１の画像の受け取り又は前記第２の画像の取得と同時に、当該暗視ヘルメットの空間情報を取得するように構成された慣性測定ユニットと、
命令を格納するメモリと、
プロセッサであって、前記命令を実行して、
前記第２の画像及び前記第４の画像を前記空間情報に関連付け、
前記第２の画像、前記第４の画像、及び前記空間情報に基づいて、前記暗視ヘルメットの位置又は向きの少なくとも一方を生成するように構成されたプロセッサと、
前記第２の画像、前記第４の画像の少なくとも一方、又は当該暗視ヘルメットの前記位置又は前記向きの少なくとも一方を表示するように構成されたディスプレイと、を含む、
暗視ヘルメット。

【請求項23】

前記第１の光度を増幅する前に、前記第１の画像に関連する光をコリメートするように構成された第１の光学フィルタと、
前記第２の光度を増幅する前に、前記第３の画像に関連する光をコリメートするように構成された第２の光学フィルタをさらに含む、請求項２２に記載の暗視ヘルメット。

【請求項24】

前記第２の画像をデジタルで取り込む前に、前記第２の画像の焦点を合わせるように構成された第３の光学フィルタと、
前記第４の画像をデジタルで取り込む前に、前記第４の画像の焦点を合わせるように構成された第４の光学フィルタと、をさらに含む、請求項２３に記載の暗視ヘルメット。

【請求項25】

前記プロセッサは、
前記第１の画像の受け取り又は前記第２の画像の取り込みに関連する第１の時間を特定し、
前記第３の画像の受け取り又は前記第４の画像の取り込みに関連する第２の時間を特定し、
前記空間情報の取得に関連する第３の時間を特定し、
前記第１の時間を示す第１のタイムスタンプを、前記第１の画像、前記第２の画像、前記第３の画像、又は前記第４の画像の少なくとも１つに追加し、
前記第３の時間を示す第２のタイムスタンプを前記空間情報に追加する、ようにさらに構成され、
前記第２の画像及び前記第４の画像を前記空間情報に関連付けることは、前記第１の時間及び前記第２の時間が前記第３の時間と実質的に同時であることに基づいて、前記第２の画像及び前記第４の画像を前記空間情報に関連付けることを含む、請求項２２に記載の暗視ヘルメット。

【請求項26】

前記プロセッサは、イメージングシステムを取り囲む環境の点の３次元位置を決定するようにさらに構成される、請求項２２に記載の暗視ヘルメット。

【請求項27】

前記プロセッサは、同時位置特定及びマッピングアルゴリズム、ビジュアル・オドメトリ・アルゴリズム、又はビジュアル慣性オドメトリ・アルゴリズムの１つ又は複数を用いて、イメージングシステムの前記位置又は前記向きの少なくとも一方を生成するようにさらに構成される、請求項２２に記載の暗視ヘルメット。

【請求項28】

前記プロセッサは、イメージングシステムの線速度、前記イメージングシステムの角速度、前記イメージングシステムの直線加速度、前記イメージングシステムの角加速度、磁場、又は磁気双極子モーメントの１つ又は複数を測定することによって、前記空間情報を受信するようにさらに構成される、請求項２２に記載の暗視ヘルメット。

【請求項29】

前記プロセッサは、
前記第１の画像に関連付けられた第１の複数の画像を受け取ること、
前記第１の複数の画像の複数の光度を増幅して第２の複数の画像を生成すること、
該第２の複数の画像をデジタルで取り込むこと、
前記第１の複数の画像の受け取り又は前記第２の複数の画像を取り込みと同時に、当該暗視ヘルメットの追加の空間情報を取得することであって、前記空間情報及び前記追加の空間情報は同一又は異なる、こと、及び
前記第２の複数の画像を前記追加の空間情報に関連付けること、を行うようにさらに構成され、
イメージングシステムの前記位置又は前記向きの少なくとも一方を生成することは、前記第２の画像、前記第２の複数の画像、前記空間情報、及び前記追加の空間情報に基づいて前記生成することを行う、請求項２２に記載の暗視ヘルメット。

【請求項30】

前記慣性測定ユニットは、少なくとも１つ又は複数の加速度計、ジャイロスコープ、及び／又は磁力計を含む、請求項２２に記載の暗視ヘルメット。

【請求項31】

前記イメージセンサは、電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化物半導体（ＣＭＯＳ）センサを含む、請求項２２に記載の暗視ヘルメット。

【請求項32】

前記増倍管は、増強管、光電陰極、光電子増倍管、アバランシェフォトダイオード、又は量子井戸ダイオードを含む、請求項２２に記載の暗視ヘルメット。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２１年９月２８日に出願した、“METHODS AND APPARATI FOR INTENSIFIED VISUAL-INERTIAL ODOMETRY”という名称の米国仮出願第６３／２４９，３７９号に対する優先権及びその利益を主張し、この文献の内容は、全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

低照度環境において、人は、従来の暗視装置を利用して周囲を見ることができる。従来の暗視装置は、暗視装置によって取り込んだ画像を増幅する光増幅機構（増強管、光電陰極、光電子増倍管等）を含み得る。さらに、暗視装置によって取り込んだ画像に基づいて、位置特定情報（例えば、位置、向き）を人に提供することが望ましい場合がある。しかしながら、従来のシステムは周囲の照明を必要とする場合があり、これは特定の用途（例えば、軍事用途）では受け入れられない。従って、改善が望まれる場合がある。

【発明の概要】

【0003】

この概要は、以下の詳細な説明でさらに説明する概念の選択を簡略化した形式で紹介するために提供する。この概要は、特許請求の範囲に記載した主題の主要な特徴を特定することを意図したものではなく、また、特許請求の範囲に記載した主題の範囲を決定する際の補助として使用することを意図したものでもない。

【0004】

本開示の態様は、第１の画像を受け取り、第１の画像の光度を増幅して第２の画像を生成し、第２の画像をデジタルで取り込み、第１の画像の受け取り又は第２の画像の取り込みと同時にイメージングシステムの空間情報を取得し、第１の時間が第２の時間と実質的に同時であることに基づいて第２の画像を空間情報と関連付けし、第２の画像及び空間情報に基づいてイメージングシステムの位置又は向きの少なくとも一方を生成する、方法及びシステムを含む。

【0005】

本開示の態様は、暗視ヘルメットを含み、暗視ヘルメットは、第１の画像を受け取り、第１の画像の第１の光度を増幅して第２の画像を生成するように構成された第１の増倍管（multiplier）と；第２の画像をデジタルで取り込むように構成された第１のイメージセンサと；第３の画像を受け取り、第３の画像の第２の光度を増幅して第４の画像を生成するように構成された第２の増倍管と；第４の画像をデジタルで取り込むように構成された第２のイメージセンサと；第１の画像の受け取り又は第２の画像の取り込みと同時に暗視ヘルメットの空間情報を取得するように構成された慣性測定ユニットと；命令を格納するメモリと；命令を実行して、第２の画像及び第４の画像を空間情報に関連付けし、第２の画像、第４の画像、及び空間情報に基づいて暗視ヘルメットの位置又は向きの少なくとも一方を生成するように構成されたプロセッサと；第２の画像、第４の画像の少なくとも一方、又は暗視ヘルメットの位置又は向きの少なくとも一方を表示するように構成されたディスプレイと；を含む。

【0006】

これらの態様の利点及び新規な特徴は、一部が以下の説明で説明され、一部は、以下の検討又は本開示の実践による学習により、当業者により明らかになろう。

【図面の簡単な説明】

【0007】

本開示の態様の特性であると考えられる特徴は、添付の特許請求の範囲に記載している。以下の説明において、同様の部分は、明細書及び図面全体を通して、それぞれ同じ数字で示される。図面は必ずしも一定の縮尺で描いているわけではなく、明確さ及び簡潔さのために誇張又は一般化された形式で特定の図を示す場合がある。しかしながら、本開示自体、並びにその好ましい使用モード、更なる目的及び利点は、添付の図面と併せて読むときに、本開示の例示的な態様の以下の詳細な説明を参照することによって最もよく理解されよう。

【図1】本開示の態様による強化されたビジュアル慣性オドメトリを実施するための環境の一例を示す図である。

【図2】本開示の態様による強化されたビジュアル慣性オドメトリを実施するための方法の一例を示す図である。

【図3】本開示の態様によるコンピュータシステムの一例を示す図である。

【図4】本開示の態様による様々な例示的なシステムコンポーネントのブロック図である。

【発明を実施するための形態】

【0008】

以下は、本明細書で使用する選択した用語の規定を含む。規定には、用語の範囲内にあり、実施態様に使用できるコンポーネントの様々な例及び／又は形式が含まれる。これらの例は、限定を意図したものではない。

【0009】

本開示のいくつかの態様では、イメージングシステムは、低照度環境（例えば夜間）で動作するように構成され得る。イメージングシステムは、低照度環境で第１の画像を受け取ることができる。イメージングシステムは、１つ又は複数の光電子増倍管（例えば、光電陰極）及び／又はフォトダイオード（例えば、アバランシェフォトダイオード）を使用して、第１の画像の光度を増幅することができる。増幅した画像は、イメージセンサ（例えば、電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化物半導体（ＣＭＯＳ）センサ）によってデジタルで取り込まれ得る。イメージングシステムは、イメージングシステムの線速度、直線加速度、角速度、角加速度、及び／又は直線加速度又は角加速度の変化、及び／又はイメージングシステムの近くの磁場を測定する慣性測定ユニット（ＩＭＵ）を含み得る。

【0010】

いくつかの態様では、イメージングシステムは、取り込んだ第１の画像及び／又は増幅した画像に関連する第１の時間を特定することができる。イメージングシステムは、ＩＭＵによって決定された空間情報に関連する第２の時間を特定することができる。イメージングシステムは、上記の情報（例えば、画像及びＩＭＵ測定値）を使用して、イメージングシステム及び／又はＩＭＵの位置、速度、方向、動き、角速度、及び／又は向きの１つ又は複数を決定することができる。

【0011】

本開示の一態様では、イメージングシステムは、ヘルメットの着用者が、ヘルメットのディスプレイを介して低照度環境で物体の光強調画像を見ることができるように、ヘルメットに結合され得る。着用者は、例えば、ヘルメットのディスプレイを介して着用者に表示される拡張現実情報を見ることもできる。拡張現実情報は、ＩＭＵ情報に基づいて決定された位置、速度、方向、動き、及び／又は向きを使用して生成され得る。例えば、軍関係者は、夜間の戦闘環境でイメージングシステムを含むヘルメットを着用し得る。イメージングシステムは、風景の輪郭等の拡張現実情報（位置、角速度、及び／又は向きの情報に基づいて生成される）を提供して、軍関係者のナビゲーションを支援することができる。

【0012】

別の態様では、イメージングシステムは、（陸上、空中、又は水上での使用のための）乗り物に配備してもよい。乗り物のオペレータは、イメージングシステムを利用して、低照度環境で物体の光強調画像を見ることができる。

【0013】

図１を参照すると、非限定的な実施態様において、ビジュアル慣性オドメトリ（odometry）の環境１００の例（例えば、夜間の屋外又は人工光のない屋内等の低照明環境）が、本開示の態様に従って示されている。環境１００は、イメージング装置１０４及び／又はコンピューティング装置１０６を有するイメージングシステム１０２を含み得る。コンピューティング装置１０６は、イメージングシステム１０２内に物理的に配置され得るか、又はイメージングシステム１０２から離れて配置され得る。イメージングシステム１０２は、低照度状況（例えば、１カンデラ／平方メートル（ｃｄ／ｍ^２）未満、０．１ｃｄ／ｍ^２、１０^－３ｃｄ／ｍ^２、１０^－５ｃｄ／ｍ^２、又は１０^－７ｃｄ／ｍ^２未満）の下で、環境１００内の物体１０８の画像を取り込むように構成され得る。

【0014】

ある態様では、イメージング装置１０４は、イメージングシステム１０２に関連する空間情報を取得するように構成された慣性測定ユニット（ＩＭＵ）１２２を含み得る。例えば、空間情報には、イメージングシステム１０２の線速度、角速度、直線加速度、角加速度、磁場、又は磁気双極子モーメントの１つ又は複数が含まれ得る。ＩＭＵ１２２は、例えば、１つ又は複数の加速度計、ジャイロスコープ、及び／又は磁力計を含み得る。

【0015】

一態様では、イメージング装置１０４は、入射光をフィルタリングするように構成されたオプションの第１の光学フィルタ１３０を含み得る。入射光は、１つ又は複数の画像を形成し得る。第１の光学フィルタ１３０の例には、コリメータ、デコリメータ、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、減光（neutral density）フィルタ、偏光子等が含まれ得る。イメージング装置１０４は、入射光の光度を受け取って及び／又は増幅するように構成された増倍管（multiplier）１３４を含み得る。いくつかの例では、増倍管１３４は、光電子増倍管、光電陰極、シンチレータ、ダイノード、アノード、真空管等の１つ又は複数であってもよく、又はそれらを含んでもよい。他の例では、増倍管１３４は、１つ又は複数のアバランシェフォトダイオード、量子井戸ダイオード、又は他の半導体ベースのデバイスを含むデジタル増倍管１３４であってもよい。いくつかの態様では、増倍管１３４は、入射光の光度を増幅光に増幅することができる。

【0016】

本開示のいくつかの態様では、イメージング装置１０４は、第２の光学フィルタ１３６を含み得る。第２の光学フィルタ１３６は、増幅した光をフィルタリングすることができる。オプションの第２の光学フィルタ１３６の例には、コリメータ、デコリメータ、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、減光フィルタ、偏光子等が含まれ得る。

【0017】

ある態様では、イメージング装置１０４は、増幅した光に基づいて形成された画像をデジタル画像にデジタル化するように構成されたイメージセンサ１３８を含み得る。例えば、イメージセンサ１３８は、電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化物半導体（ＣＭＯＳ）センサを含み得る。

【0018】

引き続き図１を参照すると、本開示の一態様では、コンピューティング装置１０６は、本明細書に記載のロック解除機能を実行するためにメモリ１２０に格納された命令を実行するプロセッサ１４０を含み得る。

【0019】

本明細書で使用する「プロセッサ」という用語は、信号を処理し、汎用計算及び算術機能を実行するデバイスを指し得る。プロセッサによって処理される信号には、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は受信、送信、及び／又は検出され得る他のコンピューティングが含まれ得る。プロセッサには、例えば、１つ又は複数のマイクロプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、状態マシン、ゲートロジック、ディスクリートハードウェア回路、及び本明細書で説明する様々な機能を実行するように構成された他の適切なハードウェアが含まれ得る。

【0020】

本明細書で使用する「メモリ」という用語には、揮発性メモリ及び／又は不揮発性メモリが含まれ得る。不揮発性メモリには、例えば、ＲＯＭ（読み取り専用メモリ）、ＰＲＯＭ（プログラム可能な読み取り専用メモリ）、ＥＰＲＯＭ（消去可能なＰＲＯＭ）、及びＥＥＰＲＯＭ（電気的に消去可能なＰＲＯＭ）が含まれ得る。揮発性メモリには、例えば、ＲＡＭ（ランダムアクセスメモリ）、シンクロナスＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、及びダイレクトＲＡＭバスＲＡＭ（ＤＲＲＡＭ）が含まれ得る。

【0021】

いくつかの態様では、コンピューティング装置１０６はメモリ１２０を含み得る。メモリ１２０は、例えば、ソフトウェア命令及び／又はハードウェア命令を含み得る。プロセッサ１４０は、命令を実行して、本開示の態様を実施することができる。

【0022】

特定の態様では、プロセッサ１４０は、１つ又は複数の有線及び／又は無線結合を介して外部装置と通信するように構成された通信コンポーネント１４２を含み得る。プロセッサ１４０は、イメージセンサ１３８を介して画像を取り込むように構成されたイメージングコンポーネント１４４を含み得る。プロセッサ１４０は、ＩＭＵ１２２によって測定された空間情報を取得するように構成されたＩＭＵコンポーネント１４６を含み得る。プロセッサ１４０は、例えば、イメージングシステム１０２及び／又はイメージング装置１０４の位置、向き、及び／又は動きを決定するように構成されたアルゴリズムコンポーネント１４８を含み得る。

【0023】

例えば、動作中に、イメージングシステム１０２及び／又はイメージング装置１０４は、低照度条件下で物体１０８の第１の画像１１０を取り込むことができる。増倍管１３４は、第１の画像１１０を増幅して、第２の画像１１２を生成することができる。第２の画像１１２は、第１の画像１１０を「明るくした」バージョンとすることができる。イメージセンサ１３８は、第２の画像１１２をデジタルで取り込むことができる。イメージングコンポーネント１４４は、第１のタイムスタンプを第２の画像１１２に追加する。第１のタイムスタンプは、イメージング装置１０４が第１の画像１１０を取り込んだ、及び／又はイメージング装置１０４が第２の画像１１２を生成した第１の時間を示し得る。

【0024】

ある実施態様では、イメージングシステム１０２及び／又はイメージング装置１０４は、アバランシェフォトダイオード、量子井戸ダイオード、又は他の半導体デバイスを有する装置を使用して、第１の画像１１０を取り込むことができる。装置は、第１の画像１１０を取り込み、第１の画像１１０を増幅し、第１の画像１１０をデジタル化するように構成され得る。こうして、増倍管１３４及びイメージセンサ１３８は、（オプションの光学フィルタ１３０、１３６を伴う又は伴わない）単一の装置であり得るか、又は単一の装置を含み得る。

【0025】

オプションの実施態様では、第１の光学フィルタ１３０（存在及び／又は利用される場合）は、増倍管１３４が第１の画像１１０を増幅する前に、第１の画像１１０の光をフィルタリングすることができる。例えば、第１の光学フィルタ１３０は、第１の画像１１０の光をコリメートすることができる。加えて又は代替として、第２の光学フィルタ１３６は（存在及び／又は利用される場合）、イメージセンサ１３８が第２の画像１１２をデジタルで取り込む前に、第２の画像１１２の光をフィルタリングすることができる。例えば、第２の光学フィルタ１３６は、第２の画像１１２の光を焦点合せすることができる。

【0026】

本開示のある態様では、ＩＭＵ１２２は、イメージング装置１０４及び／又はイメージングシステム１０２の線速度、角速度、直線加速度、角加速度、磁場の存在又は強さ、磁気双極子モーメントの存在又は強さ等の、イメージング装置１０４及び／又はイメージングシステム１０２の空間情報１１４を取得することができる。ＩＭＵ１２２は、ＩＭＵ１２２内の１つ又は複数の加速度計、ジャイロスコープ、及び／又は磁力計を利用して、空間情報１１４に関連する測定を実行することができる。ＩＭＵコンポーネント１４６は、第２のタイムスタンプを空間情報１１４に追加することができる。第２のタイムスタンプは、ＩＭＵ１２２が、イメージングシステム１０２及び／又はイメージング装置１０４の空間情報１１４を取得する第２の時間を示すことができる。

【0027】

本開示の一態様では、アルゴリズムコンポーネント１４８は、第１のタイムスタンプに基づいて第１の画像１１０又は第２の画像１１２の第１の時間を特定し、第２のタイムスタンプに基づいて空間情報１１４の第２の時間を特定することができる。アルゴリズムコンポーネント１４８は、第１の時間が第２の時間と略同一（例えば、互いに１マイクロ秒以内、１ミリ秒以内、１秒以内等）であることに基づいて、第１の画像１１０又は第２の画像１１２を空間情報１１４と一致させることができる。こうして、イメージング装置１０４は、空間情報１１４を取得すると同時に、第１の画像１１０を取り込むか、又は第２の画像１１２を生成することができる。

【0028】

本開示の一態様では、アルゴリズムコンポーネント１４８は、ビジュアル・オドメトリ、ビジュアル慣性オドメトリ、及び／又は同時位置特定及びマッピング（ＳＬＡＭ）等の１つ又は複数のアルゴリズムを実施して、イメージングシステム１０２及び／又はイメージング装置１０４の位置及び／又は向きを決定することができる。オプションの態様では、アルゴリズムコンポーネント１４８は、環境１００の視覚マップを生成することができる。例えば、アルゴリズムコンポーネント１４８は、周囲環境の風景の輪郭を示す視覚マップを生成することができる。

【0029】

ある実施態様では、イメージングシステム１０２は、オプションで、追加の増倍管、光学フィルタ、イメージセンサ、及び／又はＩＭＵ等の追加のイメージング装置を含み得る。イメージングシステム１０２は、追加のイメージング装置からのデータストリームを利用して、イメージングシステム１０２及び／又はイメージング装置１０４の位置及び／又は向き１１６の精度を高めることができる。

【0030】

オプションの実施態様では、イメージングシステム１０２は、イメージングシステム１０２の近くの環境パラメータを取り込むように構成された、音響センサ又は磁気センサ等の非イメージセンサを含み得る。イメージングシステム１０２は、非イメージセンサからのデータストリームを利用して、イメージングシステム１０２及び／又はイメージング装置１０４の位置及び／又は方向１１６の精度を高めることができる。

【0031】

場合によっては、ビジュアル・オドメトリ、ビジュアル慣性オドメトリ、及び／又はＳＬＡＭ等のアルゴリズムは、（例えば、基準マークからの）基準追跡に基づいて視覚入力を受信して、イメージングシステム１０２及び／又はイメージング装置１０４の位置及び／又は向き１１６を決定することができる。

【0032】

一例では、イメージングシステム１０２は、オペレータが着用するように構成されたヘルメットに取り付けられた２つの光学増倍光学カメラＩＭＵパイプラインを含み得る（図１には図示せず）。パイプラインは、パイプラインが突出しないように、例えばミラーを組み込んで光を曲げることができる。各パイプライン回路は、無線ネットワーク（例えば、新しい無線又は第５世代（５Ｇ））を利用して、画像及び／又はＩＭＵ空間情報を（例えば、オペレータの身体に取り付けられた）コンピュータに送信することができる。コンピュータは、画像及び／又は空間情報を使用してビジュアル・ナビゲーション・アルゴリズムを実行し、２台のカメラの位置及び向きを出力することができる。いくつかの実施態様では、パイプラインは、ヘルメットのヘッドマウントディスプレイのディスプレイに画像を提供することもでき、これにより、オペレータが暗闇で実質的に仮想的に見ることができる。コンピュータは、カメラの位置及び向きを使用して、ディスプレイの位置及び／又は方向を推測することができる。コンピュータは、拡張現実及び／又は混合現実をディスプレイにレンダリングすることができる。例えば、コンピュータは、建物、風景、及び／又は物体の輪郭を重ね合わせて、オペレータが夜間に環境を見るのを助けることができる。

【0033】

図２に移ると、強化されたビジュアル慣性オドメトリを生成するための方法２００の例は、図１のイメージングシステム１０２、イメージング装置１０４、コンピューティング装置１０６、ＩＭＵ１２２、増倍管１３４、イメージセンサ１３８、メモリ１２０、プロセッサ１４０、通信コンポーネント１４２、イメージングコンポーネント１４４、ＩＭＵコンポーネント１４６、及び／又はアルゴリズムコンポーネント１４８によって実施され得る。

【0034】

ブロック２０２において、方法２００は第１の画像を受け取ることができる。例えば、増倍管１３４は、第１の画像１１０（図１）を受け取ることができる。

【0035】

ブロック２０４において、方法２００は、第１の画像の光度を増幅して第２の画像を生成することができる。例えば、図１に示されるように、増倍管１３４は、第１の画像１１０の光度を増幅して、第２の画像１１２を生成することができる。

【0036】

ブロック２０６において、方法２００は、第２の画像をデジタルで取り込むことができる。例えば、図１に示されるように、イメージセンサ１３８は、第２の画像１１２をデジタルで取り込むことができる。

【0037】

ブロック２０８において、方法２００は、オプションとして、第１の画像の受け取り又は第２の画像の取り込みに関連する第１の時間を特定することができる。例えば、図１に示されるように、イメージングコンポーネント１４４は、第１の画像１１０の受け取り又は第２の画像１１２のデジタルでの取り込みに関連する第１の時間を特定することができる。

【0038】

ブロック２１０において、方法２００は、第１の画像の受け取り又は第２の画像の取り込みと同時に、イメージングシステムの空間情報を取得することができる。例えば、図１に示されるように、ＩＭＵ１２２は、第１の画像１１０を受け取るか、又は第２の画像１１２を取り込むことで、イメージングシステム１０２及び／又はイメージング装置１０４の空間情報１１４を同時に取得することができる。

【0039】

ブロック２１２において、方法２００は、オプションで、空間情報の取得に関連する第２の時間を特定することができる。例えば、図１に示されるように、ＩＭＵコンポーネント１４６は、空間情報１１４の取得に関連する第２の時間を特定することができる。

【0040】

ブロック２１４において、方法２００は、第２の画像を空間情報に関連付けることができる。例えば、図１に示されるように、アルゴリズムコンポーネント１４８は、第２の画像１１２を空間情報１１４と関連付けることができる。１つのオプションの実施態様では、アルゴリズムコンポーネント１４８は、第１の時間が第２の時間と実質的に同時である（例えば、第１の時間及び第２の時間は、１ミリ秒、１０ミリ秒、３０ミリ秒、５０ミリ秒、１００ミリ秒、５００ミリ秒等の範囲内である）ことに基づいて、第２の画像１１２を空間情報１１４と関連付けることができる。

【0041】

ブロック２１６において、方法２００は、第２の画像及び空間情報に基づいて、イメージングシステムの位置及び／又は向きの少なくとも一方を生成することができる。例えば、図１に示されるように、アルゴリズムコンポーネント１４８は、第２の画像１１２及び空間情報１１４に基づいて、イメージングシステム１０２の位置及び／又は向き１１６のうちの少なくとも一方を生成することができる。

【0042】

本開示の態様は、ハードウェア、ソフトウェア、又はそれらの組合せを使用して実現することができ、１つ又は複数のコンピュータシステム又は他の処理システムで実現することができる。本開示の一態様では、特徴は、本明細書に記載の機能を実行できる１つ又は複数のコンピュータシステムを対象とする。このようなコンピュータシステム２０００の一例を図３に示す。いくつかの例では、イメージングシステム１０２、イメージング装置１０４、及び／又はコンピューティング装置１０６は、図３に示されるコンピュータシステム２０００として実装され得る。イメージングシステム１０２、イメージング装置１０４、及び／又はコンピューティング装置１０６は、コンピュータシステム２０００のコンポーネントの一部又は全てを含み得る。

【0043】

コンピュータシステム２０００は、プロセッサ２００４等の１つ又は複数のプロセッサを含む。プロセッサ２００４は、通信インフラストラクチャ２００６（例えば、通信バス、クロスオーバーバー、又はネットワーク）に接続される。この例示的なコンピュータシステムに関して、様々なソフトウェアの態様を説明する。この説明を読んだ後に、当業者には、他のコンピュータシステム及び／又はアーキテクチャを使用して本開示の態様をどのように実現するかが明らかになろう。

【0044】

コンピュータシステム２０００は、ディスプレイユニット２０３０上に表示するために、通信インフラストラクチャ２００６から（又は図示していないフレームバッファから）グラフィックス、テキスト、及び他のデータを転送する表示インターフェイス２００２を含み得る。コンピュータシステム２０００は、１次メモリ２００８、好ましくはランダムアクセスメモリ（ＲＡＭ）も含み、また、２次メモリ２０１０も含む。２次メモリ２０１０は、例えば、フロッピーディスク、磁気テープドライブ、光ディスクドライブ、ユニバーサルシリアルバス（ＢＵＳ）、フラッシュドライブ等を表す、ハードディスクドライブ２０１２及び／又はリムーバブルストレージドライブ２０１４を含み得る。リムーバブルストレージドライブ２０１４は、よく知られた方法でリムーバブル記憶装置２０１８との間で読み書きする。リムーバブル記憶装置２０１８は、フロッピーディスク、磁気テープ、光ディスク、ＵＳＢフラッシュドライブ等を表し、リムーバブルストレージドライブ２０１４によって読み書きされる。理解されるように、リムーバブル記憶装置２０１８は、そこに格納されているコンピュータソフトウェア及び／又はデータを含むコンピュータ使用可能な記憶媒体を含む。いくつかの例では、１次メモリ２００８、２次メモリ２０１０、リムーバブル記憶装置２０１８、及び／又はリムーバブル記憶装置２０２２の１つ又は複数は、非一時的なメモリであり得る。

【0045】

本開示の代替の態様は、２次メモリ２０１０を含むことができ、コンピュータプログラム又は他の命令をコンピュータシステム２０００にロードできるようにするための他の同様の装置を含み得る。このような装置には、例えば、リムーバブル記憶装置２０２２及びインターフェイス２０２０が含まれ得る。このような例には、プログラムカートリッジ及びカートリッジインターフェイス（ビデオゲーム装置に見受けられるもの等）、リムーバブルメモリチップ（消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、又はプログラム可能な読み取り専用メモリ（ＰＲＯＭ）等）及び関連するソケット、及びリムーバブル記憶装置２０２２及びインターフェイス２０２０が含まれ得、ソフトウェア及びデータをリムーバブル記憶装置２０２２からコンピュータシステム２０００に転送するのを可能にする。

【0046】

コンピュータシステム２０００は、通信インターフェイス２０２４も含み得る。通信インターフェイス２０２４は、ソフトウェア及びデータをコンピュータシステム２０００と外部装置との間で転送するのを可能にし得る。通信インターフェイス２０２４の例には、モデム、ネットワークインターフェイス（イーサネットカード等）、通信ポート、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）スロット及びカード等が含まれ得る。通信インターフェイスを介して転送されるソフトウェア及びデータは、信号２０２８の形式であり得、これらの信号２０２８は、通信インターフェイス２０２４によって受信可能な電子信号、電磁気信号、光信号、又は他の信号であってよい。これらの信号２０２８は、通信経路（例えば、チャネル）２０２６を介して通信インターフェイス２０２４に提供される。この経路２０２６は、信号２０２８を搬送し、ワイヤ又はケーブル、光ファイバ、電話回線、セルラリンク、ＲＦリンク、及び／又は他の通信チャネルを使用して実装することができる。この文書では、「コンピュータプログラム媒体」及び「コンピュータで使用可能な媒体」という用語は、一般に、リムーバブル記憶装置２０１８、ハードディスクドライブ２０１２にインストールされたハードディスク、信号２０２８等の媒体を指すために使用される。これらのコンピュータプログラム製品は、ソフトウェアをコンピュータシステム２０００に提供する。本開示の態様は、そのようなコンピュータプログラム製品を対象とする。

【0047】

コンピュータプログラム（コンピュータ制御ロジックとも呼ばれる）は、１次メモリ２００８及び／又は２次メモリ２０１０に格納される。コンピュータプログラムは、通信インターフェイス２０２４を介して受信することもできる。そのようなコンピュータプログラムは、実行されると、本明細書で説明するように、コンピュータシステム２０００が本開示の態様に従って機能を実行するのを可能にする。特に、コンピュータプログラムは、実行されると、プロセッサ２００４が本開示の態様に従って特徴を実行するのを可能にする。従って、そのようなコンピュータプログラムは、コンピュータシステム２０００のコントローラを表す。

【0048】

方法がソフトウェアを使用して実施される本開示の一態様では、ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブルストレージドライブ２０１４、ハードディスクドライブ２０１２、又はインターフェイス２０２０を使用してコンピュータシステム２０００にロードされ得る。制御ロジック（ソフトウェア）は、プロセッサ２００４によって実行されると、プロセッサ２００４に本明細書に記載の機能を実行させる。本開示の別の態様では、システムは、例えば、特定用途向け集積回路（ＡＳＩＣ）等のハードウェアコンポーネントを使用して、主にハードウェアで実装される。本明細書に記載の機能を実行するためのハードウェア状態マシンの実施態様は、当業者には明らかであろう。

【0049】

図４は、本開示の一態様による、様々な例示的なシステムコンポーネントのブロック図である。図４は、本開示に従って使用可能な通信システム２１００を示す。通信システム２１００は、１つ又は複数のアクセサ（accessors）２１６０、２１６２（本明細書では、１つ又は複数の「ユーザ」とも交換可能に呼ばれる）及び１つ又は複数の端末２１４２、２１６６を含む。一態様では、本開示の態様に従って使用するためのデータは、例えば、パーソナルコンピュータ（ＰＣ）、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、電話装置、又は携帯情報端末（「ＰＤＡ」）等の無線装置等の１つ又は複数の端末２１４２、２１６６を介して、又はインターネット又はイントラネット等のネットワーク２１４４、及びカップリング２１４５、２１４６、２１６４を介して、ＰＣ、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、又はデータのためのプロセッサ及びレポジトリ及び／又はデータのためのレポジトリへの接続を有する他の装置等のサーバ２１４３に結合されたハンドヘルド無線装置介して１つ又は複数のアクセサ２１６０、２１６２によって入力及び／又はアクセスされる。カップリング２１４５、２１４６、２１６４は、例えば、有線、無線、又は光ファイバリンクを含む。別の変形例では、本開示の態様による方法及びシステムは、単一の端末等のスタンドアロン環境で動作する。

【0050】

上に開示した及び他の特徴及び機能、又はその代替物又は変形の様々な実施態様は、多くの他の異なるシステム又はアプリケーションに望ましく組み合わせることができることを理解されたい。また、現在予見されていない、又は予期されていない様々な代替、変更、変形、又は改良が、当業者によってその後になされる可能性もあり、これらもまた、以下の特許請求の範囲に含まれることが意図される。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】