特許 6722771 二重相補パターン照明を用いる３Ｄシーン再構成のシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6722771

(24)【登録日】2020年6月24日

(45)【発行日】2020年7月15日

(54)【発明の名称】二重相補パターン照明を用いる３Ｄシーン再構成のシステムおよび方法

(51)【国際特許分類】

   G06T 7/521 20170101AFI20200706BHJP

   A61B 1/00 20060101ALI20200706BHJP

   A61B 1/07 20060101ALI20200706BHJP

   A61B 1/045 20060101ALI20200706BHJP

【ＦＩ】

   G06T7/521

   A61B1/00 522

   A61B1/07 733

   A61B1/045 610

【請求項の数】15

【全頁数】21

(21)【出願番号】特願2018-560084(P2018-560084)

(86)(22)【出願日】2017年5月9日

(65)【公表番号】特表2019-519839(P2019-519839A)

(43)【公表日】2019年7月11日

(86)【国際出願番号】US2017031707

(87)【国際公開番号】WO2017209905

(87)【国際公開日】20171207

【審査請求日】2019年1月10日

(31)【優先権主張番号】62/344,789

(32)【優先日】2016年6月2日

(33)【優先権主張国】US

(31)【優先権主張番号】15/487,114

(32)【優先日】2017年4月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516035068

【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ガナパティ，ヴィドヤ

(72)【発明者】

【氏名】ラファエリ，エデン

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１４−８５２５７（ＪＰ，Ａ）

【文献】 特開２０１３−８８２６０（ＪＰ，Ａ）

【文献】 特開２０１１−７５７６（ＪＰ，Ａ）

【文献】 特開２００４−２９４３９０（ＪＰ，Ａ）

【文献】 特表２０１３−５３４８４３（ＪＰ，Ａ）

【文献】 国際公開第２０１６／０７１０２０（ＷＯ，Ａ１）

【文献】 長谷川一英, 外１名，“内視鏡型高速３次元形状計測システム”，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，２０００年 １月２５日，第Ｊ８３−Ｄ−ＩＩ巻, 第１号，p.271-279

【文献】 森田啓義, 外２名，“多値Ｍ配列パターン投影法による複数物体の計測”，情報処理学会論文誌，日本，社団法人情報処理学会，１９９０年 ５月１５日，第３１巻, 第５号，p.683-691

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／５２１

Ａ６１Ｂ １／００

Ａ６１Ｂ １／０４５

Ａ６１Ｂ １／０７

(57)【特許請求の範囲】

【請求項1】

イメージング・デバイスのプロジェクタを用いて、シーンに第１の基準画像および相補的な第２の基準画像を投影することと、
前記イメージング・デバイスのカメラを用いて、前記シーン上の前記第１の基準画像を含む第１の画像データ、および、前記シーン上の前記相補的な第２の基準画像を含む第２の画像データを取り込むことと、
前記イメージング・デバイスに結合された処理システムを用いて、前記相補的な第２の基準画像の特徴から前記第１の基準画像の特徴を識別することと、
前記第１の基準画像内の前記識別された特徴に基づいて、前記イメージング・デバイスによって取り込まれた画像データの３次元（３Ｄ）シーン再構成を実行することと、
前記画像データの前記３Ｄシーン再構成から３Ｄ画像を生成することと
を含み、
前記第１の基準画像は、ドットのグリッドであり、前記相補的な第２の基準画像は、省略されたドットのグリッドであり、ドットのセットは、前記相補的な第２の基準画像の省略されたドットの前記グリッドを形成するために、ドットの前記グリッドからランダムに省略され、前記第１の基準画像および前記相補的な第２の基準画像内のドットは、前記第１の基準画像および前記相補的な第２の基準画像の特徴に対応する、方法。

【請求項2】

前記相補的な第２の基準画像の特徴から前記第１の基準画像の特徴を識別することは、
前記第１の基準画像のドットの前記グリッド内のドットごとに、前記相補的な第２の基準画像の省略されたドットの前記グリッドからの最近傍ドットから、対応する特徴ベクトルを構成することと、
前記第１の画像データ内の前記第１の基準画像のドットの前記グリッドからのドットごとに、前記第２の画像データ内の前記相補的な第２の基準画像の省略されたドットの前記グリッドから前記対応する特徴ベクトルを生成することと、
生成された特徴ベクトルから各ドットの識別を生成することであって、各ドットの前記識別は、前記生成された特徴ベクトルと対応する構成された特徴ベクトルとの間の一致に基づく、前記各ドットの識別を生成することと
を含む、請求項１に記載の方法。

【請求項3】

イメージング・デバイスのプロジェクタを用いて、シーンに第１の基準画像および相補的な第２の基準画像を投影することと、
前記イメージング・デバイスのカメラを用いて、前記シーン上の前記第１の基準画像を含む第１の画像データ、および、前記シーン上の前記相補的な第２の基準画像を含む第２の画像データを取り込むことと、
前記イメージング・デバイスに結合された処理システムを用いて、前記相補的な第２の基準画像の特徴から前記第１の基準画像の特徴を識別することと、
前記第１の基準画像内の前記識別された特徴に基づいて、前記イメージング・デバイスによって取り込まれた画像データの３次元（３Ｄ）シーン再構成を実行することと、
前記画像データの前記３Ｄシーン再構成から３Ｄ画像を生成することと
を含み、
前記シーンの画像データの一部分の画素座標値を前記画像データの対応する一部分の実世界３Ｄ座標値に変換する奥行き辞書および座標辞書を較正することと、
前記第１の基準画像内の前記識別された特徴の実世界３Ｄ座標値を提供するために前記奥行き辞書および前記座標辞書を用いて前記３Ｄシーン再構成を実行することと
をさらに含む、方法。

【請求項4】

複数の奥行き平面について、
ある奥行き平面にある可動ステージに前記第１の基準画像および前記相補的な第２の基準画像を投影することと、
前記相補的な第２の基準画像の特徴から前記第１の基準画像内の特徴の特徴ベクトル対応を判定することと、
前記複数の奥行き平面にわたって前記第１の基準画像内の前記特徴の画像センサ・ピックアップ・データを追跡することと、
取り込まれた画像の一部分の画像センサ・ピックアップ・データを前記取り込まれた画像の前記一部分の実世界奥行き値に変換する奥行き辞書を生成するために、各奥行き平面での前記追跡された画像センサ・ピックアップ・データを使用して前記追跡された画像センサ・ピックアップ・データに対して回帰分析を実行することと
をさらに含む、請求項３に記載の方法。

【請求項5】

前記複数の奥行き平面について、ある奥行き平面で、前記可動ステージに取り付けられた印刷された画像の画像データを取り込むことであって、前記印刷された画像は、前記印刷された画像に印刷された区別可能な特徴を含み、前記印刷された画像は前記区別可能な特徴の間の既知の距離を有し、前記区別可能な特徴は、前記第１の基準画像の前記特徴に対応する、前記画像データを取り込むことと、
前記印刷された画像内の特徴ごとに、前記複数の奥行き平面にまたがる前記印刷された画像の前記区別可能な特徴の追跡された画像センサ・ピックアップ・データに対して回帰分析を実行することであって、前記回帰分析は、前記取り込まれた画像の前記一部分の画像センサ・ピックアップ・データを前記取り込まれた画像の前記一部分の実世界座標値に変換する座標辞書を生成するために、前記可動ステージの既知の奥行きおよび前記印刷された画像内の各特徴の間の前記既知の距離に基づいて実行される、前記回帰分析を実行することと
をさらに含む、請求項４に記載の方法。

【請求項6】

前記画像センサ・ピックアップ・データは、取り込まれた画像内の特徴をピック・アップする画像センサの画素の図心に対応する画像センサ画素座標を含む、請求項５に記載の方法。

【請求項7】

前記イメージング・デバイスは、内視鏡を含み、前記処理システムは、前記内視鏡に通信可能に結合された画像処理システムを含む、請求項１に記載の方法。

【請求項8】

イメージング・デバイスのプロジェクタを用いて、シーンに第１の基準画像および相補的な第２の基準画像を投影することと、
前記イメージング・デバイスのカメラを用いて、前記シーン上の前記第１の基準画像を含む第１の画像データ、および、前記シーン上の前記相補的な第２の基準画像を含む第２の画像データを取り込むことと、
前記イメージング・デバイスに結合された処理システムを用いて、前記相補的な第２の基準画像の特徴から前記第１の基準画像の特徴を識別することと、
前記第１の基準画像内の前記識別された特徴に基づいて、前記イメージング・デバイスによって取り込まれた画像データの３次元（３Ｄ）シーン再構成を実行することと、
前記画像データの前記３Ｄシーン再構成から３Ｄ画像を生成することと
を含み、
前記プロジェクタは、前記シーンにまたはこれから離れて光を向けるマイクロミラーの制御可能マトリックスを含むデジタル・マイクロミラー・デバイス（ＤＭＤ）投影デバイスであり、
前記マトリックスの前記マイクロミラーのすべてを利用して前記第１の基準画像を投影するように前記ＤＭＤ投影デバイスを制御することと、
前記マトリックスの前記マイクロミラーのランダムに選択された部分を利用して前記相補的な第２の基準画像を投影するように前記ＤＭＤ投影デバイスを制御することと
をさらに含む、方法。

【請求項9】

前記カメラは、単一のレンズおよび単一の画像センサを含む、請求項８に記載の方法。

【請求項10】

前記３Ｄ画像の生成は、患者ファイル内に前記３Ｄ画像を記憶すること、術前画像レジストリ内に前記３Ｄ画像を記憶することと、前記処理システムに通信可能に結合された表示デバイスに前記３Ｄ画像を出力すること、またはその組合せを含む、請求項１に記載の方法。

【請求項11】

処理システムによって実行される時に、前記処理システムに
イメージング・デバイスのプロジェクタを用いて、シーンに第１の基準画像および相補的な第２の基準画像を投影することと、
イメージング・デバイスのカメラを用いて、前記シーン上の前記第１の基準画像を含む第１の画像データ、および、前記シーン上の前記相補的な第２の基準画像を含む第２の画像データを取り込むことと、
前記イメージング・デバイスに結合された前記処理システムを用いて、前記相補的な第２の基準画像の特徴から前記第１の基準画像の特徴を識別することと、
前記第１の基準画像内の前記識別された特徴に基づいて、前記イメージング・デバイスによって取り込まれた画像データの３次元（３Ｄ）シーン再構成を実行することと、
前記画像データの前記３Ｄシーン再構成から３Ｄ画像を生成することと
を含む方法を実行させる命令を記憶したものであり、
前記第１の基準画像は、ドットのグリッドであり、前記相補的な第２の基準画像は、省略されたドットのグリッドであり、ドットのセットは、前記相補的な第２の基準画像の省略されたドットの前記グリッドを形成するために、ドットの前記グリッドからランダムに省略され、前記第１の基準画像および前記相補的な第２の基準画像内のドットは、前記第１の基準画像および前記相補的な第２の基準画像の特徴に対応する、非一時的機械可読記憶媒体。

【請求項12】

前記相補的な第２の基準画像の特徴から前記第１の基準画像の特徴を識別することは、
前記第１の基準画像のドットの前記グリッド内のドットごとに、前記相補的な第２の基準画像の省略されたドットの前記グリッドからの最近傍ドットから、対応する特徴ベクトルを構成することと、
前記第１の画像データ内の前記第１の基準画像のドットの前記グリッドからのドットごとに、前記第２の画像データ内の前記相補的な第２の基準画像の省略されたドットの前記グリッドから前記対応する特徴ベクトルを生成することと、
生成された特徴ベクトルから各ドットの識別を生成することであって、各ドットの前記識別は、前記生成された特徴ベクトルと対応する構成された特徴ベクトルとの間の一致に基づく、生成することと
を含む、請求項１１に記載の非一時的機械可読記憶媒体。

【請求項13】

処理システムによって実行される時に、前記処理システムに
イメージング・デバイスのプロジェクタを用いて、シーンに第１の基準画像および相補的な第２の基準画像を投影することと、
イメージング・デバイスのカメラを用いて、前記シーン上の前記第１の基準画像を含む第１の画像データ、および、前記シーン上の前記相補的な第２の基準画像を含む第２の画像データを取り込むことと、
前記イメージング・デバイスに結合された前記処理システムを用いて、前記相補的な第２の基準画像の特徴から前記第１の基準画像の特徴を識別することと、
前記第１の基準画像内の前記識別された特徴に基づいて、前記イメージング・デバイスによって取り込まれた画像データの３次元（３Ｄ）シーン再構成を実行することと、
前記画像データの前記３Ｄシーン再構成から３Ｄ画像を生成することと
を含む方法を実行させる命令を記憶したものであり、
前記シーンの画像データの部分の画素座標値を前記画像データの対応する部分の実世界３Ｄ座標値に変換する奥行き辞書および座標辞書を較正することと、
前記第１の基準画像内の前記識別された特徴の実世界３Ｄ座標値を提供するために前記奥行き辞書および前記座標辞書を用いて前記３Ｄシーン再構成を実行することと
をさらに含む、非一時的機械可読記憶媒体。

【請求項14】

前記イメージング・デバイスは、内視鏡を含み、前記処理システムは、前記内視鏡に通信可能に結合された画像処理システムを含む、請求項１１に記載の非一時的機械可読記憶媒体。

【請求項15】

シーンに第１の基準画像および相補的な第２の基準画像を投影するプロジェクタと、
前記シーン上の前記第１の基準画像を含む第１の
画像データ、および、前記シーン上の前記相補的な第２の基準画像を含む第２の画像データを取り込むカメラと
を含むイメージング・デバイスと、
前記相補的な第２の基準画像の特徴から前記第１の基準画像の特徴を識別し、
前記第１の基準画像内の前記識別された特徴に基づいて、前記イメージング・デバイスによって取り込まれた画像データの３次元（３Ｄ）シーン再構成を実行し、
前記画像データの前記３Ｄシーン再構成から３Ｄ画像を生成する
ために前記イメージング・デバイスに通信可能に結合された処理システムと
を含み、
前記プロジェクタによって投影される前記第１の基準画像は、ドットのグリッドであり、前記プロジェクタによって投影される前記相補的な第２の基準画像は、省略されたドットのグリッドであり、ドットのセットは、前記相補的な第２の基準画像の省略されたドットの前記グリッドを形成するために、ドットの前記グリッドからランダムに省略され、前記第１の基準画像および前記相補的な第２の基準画像内のドットは、前記第１の基準画像および前記相補的な第２の基準画像の特徴に対応する、システム。

【発明の詳細な説明】

【技術分野】

【0001】

優先権
［0001］ 本特許出願は、２０１６年６月２日に出願した対応する米国特許仮出願第６２／３４４７８９号、名称「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ ３Ｄ Ｓｃｅｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ Ｄｕａｌ Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｐａｔｔｅｒｎ Ｉｌｌｕｍｉｎａｔｉｏｎ」に対する優先権を主張し、参照によってこれを組み込む。

【0002】

［0002］ 本開示は、全般的にはデジタル・イメージングに関し、排他的にではなく具体的には、３次元シーン再構成に関する。

【背景技術】

【0003】

［0003］ カメラが画像を取り込む時に、カメラの視野内のシーンの２次元（２Ｄ）表現が入手される。しかし、多くの応用例に関して、シーンの３次元（３Ｄ）再構成が望まれる。３Ｄ再構成は、既知のパターンを用いてシーンを照明することと、カメラを用いて照明されたシーンの写真を撮影することとによって入手され得る。既知の照明パターンとの写真の点点対応（ｐｏｉｎｔ−ｔｏ−ｐｏｉｎｔ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）が判定され得る時には、三角測量を使用して、各点の奥行きを判定することができ、シーンを３次元で再構成することができる。しかし、対応問題は、難しい。現在の解決策を用いると、多数の画像が撮影されなければならないので画像獲得に長い待ち時間があり、複数の画像の間の対応の計算に長い待ち時間があり、かつ／または対応の判定に不確実性がある。

【0004】

［0004］ 本発明の非限定的で非網羅的な実施形態が、以下の図面を参照して説明され、同様の符号は、そうではないと指定されない限り、様々な図面全体を通じて同様の部分を参照する。図面は、必ずしも原寸通りではなく、その代わりに、説明される原理の図示が重視される。

【図面の簡単な説明】

【0005】

【図1】［0005］シーンの二重相補パターン照明に基づく３次元シーン再構成のための例示的なシステム・アーキテクチャを示すブロック図である。

【図2】［0006］内視鏡および画像処理デバイスの一実施形態を示すブロック図である。

【図3】［0007］シーンに相補パターンを投影することによって３次元シーン再構成を実行するプロセスを示す流れ図である。

【図4A】［0008］３次元シーン再構成で使用される第１の基準画像の一実施形態を示す図である。

【図4B】［0009］３次元シーン再構成で使用される第２の相補基準画像の一実施形態を示す図である。

【図5】［0010］３次元シーン再構成中にシーンに投影される相補パターンを使用するプロセスを示す流れ図である。

【図6】［0011］二重相補パターン照明を使用する特徴ベクトル生成の一実施形態を示す図である。

【図7】［0012］シーンを照明するために二重相補パターンを使用するイメージング・デバイスを較正するシステムの一実施形態を示すブロック図である。

【図8A】［0013］シーンを照明するために二重相補パターンを利用するイメージング・デバイスの奥行き較正を実行するプロセスを示す流れ図である。

【図8B】［0014］シーンを照明するために二重相補パターンを利用するイメージング・デバイスの座標較正を実行するプロセスを示す流れ図である。

【図9】［0015］本発明と共に使用され得るコンピュータ・システムの一実施形態を示す図である。

【発明を実施するための形態】

【0006】

［0016］ シーンの奥行き再構成を実行する時にシーンの二重相補パターン照明を利用する装置、システム、およびプロセスの実施形態が、本明細書で説明される。諸実施形態では、下でより詳細に説明されるように、短い待ち時間および非常に高い精度を有する構造化照明での対応が、シーンの二重相補パターン照明を使用して入手され得る。以下の説明では、多数の詳細が示される。しかし、本発明が、これらの特定の詳細なしで実践され得ることは、本開示の利益を有する当業者には明白である。いくつかの場合に、周知の構造およびデバイスは、本発明を不明瞭にすることを回避するために、詳細にではなくブロック図の形で示される。

【0007】

［0017］ 以下の詳細な説明のいくつかの部分は、コンピュータ・メモリ内のデータ・ビットに対する演算のアルゴリズムおよび記号表現に関して提示される。これらのアルゴリズム的な説明および表現は、データ処理技術の当業者によって、彼らの成果の実質を他の当業者に最も有効に伝えるのに使用される手段である。アルゴリズムは、本明細書でおよび一般に、所望の結果につながるステップの自己矛盾のないシーケンスと考えられる。ステップは、物理量の物理的操作を必要とするステップである。必ずではないが通常、これらの量は、記憶、転送、組合せ、比較、および他の形での操作が可能な電気信号または磁気信号の形をとる。時として、主に一般的な使用の理由から、これらの信号をビット、値、要素、記号、文字、項、数、または類似物と称することが便利であることがわかっている。

【0008】

［0018］ しかし、これらおよび同様の用語のすべてが、適当な物理量に関連付けられなければならず、これらの量に適用される単に便利なラベルであることに留意されたい。そうではないと特に述べられない限り、以下の議論から明白であるように、この説明全体を通じて、「投影」、「取込」、「識別」、「実行」、「生成」、「構成」、「較正」、「実行」、「追跡」、または類似物などの用語を利用する議論が、コンピュータ・システムのレジスタおよびメモリ内の物理（たとえば、電子）量として表現されたデータを操作し、コンピュータ・システム・メモリもしくはレジスタまたは他のそのような情報記憶デバイス、情報伝送デバイス、もしくは情報表示デバイス内の物理量として同様に表現された他のデータに変換する、コンピュータ・システムまたは同様の電子コンピューティング・デバイスのアクションおよびプロセスを指すことを了解されたい。

【0009】

［0019］ 本発明は、本明細書の動作を実行する装置にも関する。この装置は、要求される目的のために特に構成され得、あるいは、コンピュータ内に記憶されたコンピュータ・プログラムによって選択的にアクティブ化されまたは再構成される汎用コンピュータを含むことができる。そのようなコンピュータ・プログラムは、フロッピ・ディスク、光ディスク、ＣＤ−ＲＯＭ、および光磁気ディスクを含むすべてのタイプのディスク、読取専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カードもしくは光カード、または電子命令を記憶するのに適切なすべてのタイプの媒体などであるがこれに限定されないコンピュータ可読記憶媒体内に記憶され得る。

【0010】

［0020］ 本明細書で提示されるアルゴリズムおよびディスプレイは、特定のコンピュータまたは他の装置に本質的に関係するものではない。様々な汎用システムが、本明細書の教示に従うプログラムと共に使用され得、あるいは、要求される方法ステップを実行するためにより特殊化された装置を構成することが便利であることがわかる場合がある。様々なこれらのシステムの要求される構造は、下の説明から現れる。さらに、本発明は、特定のプログラミング言語を全く参照せずに説明される。様々なプログラミング言語が、本明細書で説明される本発明の教示を実施するのに使用され得ることを了解されたい。

【0011】

［0021］ 図１は、シーンの二重相補パターン照明に基づく３次元シーン再構成のための例示的なシステム・アーキテクチャ１００のブロック図である。一実施形態では、このシステムは、画像処理デバイス１２０に通信可能に結合された内視鏡１１０を含む。諸実施形態では、内視鏡１１０は、物理接続（たとえば、有線接続）を介して、無線接続（たとえば、無線ネットワーク、近接場通信など）を介して、または他のタイプの通信リンクを介して結合され得る。さらに、イメージング処理デバイス１２０は、本明細書で議論される通信リンクのいずれかを介して、ディスプレイ１３０およびイメージング・データ・ストア１４０に通信可能に結合され得る。

【0012】

［0022］ 内視鏡１１０は、カメラ１１４を用いてシーンの画像を取り込む責任を負う。カメラ１１４は、レンズおよび画像センサを含むことができる。一実施形態では、カメラ１１４は、単一のレンズおよび単一の画像センサを含むが、複数のレンズおよび／または画像センサのカメラが、本明細書の議論と矛盾せずに使用され得る。カメラ１１４のレンズは、光が、内視鏡１１０の外部（たとえば、シーン）からカメラ１１４の画像センサまで通過することを可能にする。相補型金属酸化物半導体（ＣＭＯＳ）画像センサ、電荷結合素子（ＣＣＤ）画像センサ、その他などの画像センサは、画素のグリッド上で光を取り込み、画像情報を画像処理デバイス１２０に伝える。

【0013】

［0023］ 画像処理デバイス１２０は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、携帯電話機、または、プロセッサ、メモリ、通信インターフェース、およびコンピュータ処理システム内で通常見出される他の構成要素を含むパーパス・ビルド・コンピューティング・デバイスなどのコンピュータ処理システムである。コンピューティング処理システムの一実施形態が、下で図１０内でより詳細に議論される。一実施形態では、画像処理デバイス１２０は、内視鏡のカメラによって取り込まれた画像データを受け取り、この画像データは、ディスプレイ１３０上で表示され、かつ／またはイメージング・データ・ストア１４０内に記憶され得る。たとえば、ディスプレイ１３０は、内視鏡１１０によって取り込まれた画像データを分析している医師、看護師、または他の診断医に、取り込まれた画像データを表示することができる。さらに、イメージング・データ・ストア１４０は、取り込まれた手術前画像データの記憶または患者の電子医療記録への画像データの記憶など、ヘルス・ケア専門家による後の分析のために、取り込まれ画像データを記憶することができる。

【0014】

［0024］ 一実施形態では、内視鏡１１０は、画像処理デバイス１２０が、イメージングされるシーンに投影された二重相補パターンを使用して、取り込まれた画像データの３Ｄシーン再構成を実行することを可能にする。内視鏡１１０は、第１の基準画像１１６−１および第２の基準画像１１６−２を投影するプロジェクタ１１２を含み、この第１の基準画像１１６−１および第２の基準画像１１６−２は、カメラ１１４によって取り込まれ、画像処理デバイス１２０に供給される。一実施形態では、プロジェクタ１１２は、投影光学系および光源（図示せず）を有するデジタル・マイクロミラー・デバイス（ＤＭＤ）である。ＤＭＤは、各マイクロミラーがシーンに向かってまたはシーンから離れてのいずれかで光を反射できるように、画像処理デバイス１２０によって制御され得るマイクロミラーのマトリックスである。光源は、ＤＭＤを照らし、ＤＭＤ上のパターンは、投影光学系を通過し、シーンに投影される。一実施形態では、光源は、その照明を周囲照明（存在する場合に）から区別するために、特定の周波数のレーザとすることができる。

【0015】

［0025］ 一実施形態では、画像処理デバイス１２０は、ＤＭＤマイクロミラーからのドットの完全なグリッドなど、第１の基準画像１１６−１を投影するようにプロジェクタ１１２およびカメラ１１４を制御し、この第１の基準画像１１６−１は、カメラ１１４によって取り込まれる。その後、ドットの同一のグリッドであるがランダムに選択されたドットが欠けている（たとえば、省略されたドット・グリッド・パターン）グリッドなど、第２の基準画像１１６−２が、プロジェクタ１１２によって投影され、別の画像がカメラ１１４によって取り込まれる。ドットの完全なグリッド基準画像の一実施形態が、図４Ａに示され、相補的な省略されたドット・グリッド・パターンが、図４Ｂに示されている。別の実施形態では、第１の基準画像は、図４Ａに示されたドットの完全なグリッドの第１の部分集合とすることができ、第２の基準画像は、ドットの完全なグリッドの第２の部分集合であり、第１の部分集合および第２の部分集合は、集合的に、ドットの完全なグリッドのそれぞれを含む。ドットのそれぞれが二重相補パターンから識別され得る限り、異なる基準画像が、本明細書の議論に矛盾せずに基準画像として使用され得る。

【0016】

［0026］ 一実施形態では、プロジェクタ１１２は、シーンに二重相補基準画像を表示するように画像処理デバイス１２０によって制御され、各基準画像は、画像処理デバイス１２０のメモリ内に記憶された基準画像である。二重相補基準画像の画像（たとえば、１１６−１および１１６−２）がカメラ１１４によって取り込まれた後に、画像処理デバイス１２０は、シーンに投影された２つの基準画像の取り込まれた画像を利用して、３Ｄシーン再構成を素早く正確に実行する。

【0017】

［0027］ 一実施形態では、３Ｄシーン再構成は、画像処理デバイス１２０が、完全ドット・グリッド・パターン、たとえば基準画像１１６−１内のすべてのドットに、第２の相補基準画像１１６−２に基づく特徴表現を割り当てることによって可能にされる。一実施形態では、この特徴表現は、所与の個数の最近傍ドットである長さを有する特徴ベクトルからなる。図６は、特徴ベクトルを生成するための近傍検出の一実施形態を示す。図６に示されているように、ランダムに省略されたドットを有する相補的な第２の投影パターンが示される６０２。第２の基準画像６０２内の所与のドット６０４に関して、１ドット離れたすべてのドット、２ドット離れたすべてのドット、３ドット離れたすべてのドット、ならびに他の事前に構成されたパターン内のドットなど、ある個数の近傍ドットが、第２の基準画像６０２に存在するかまたは存在しないかのいずれかとして判定される。一実施形態では、特徴ベクトルは、どの近傍ドットが第２の相補的な第２基準画像６０２内に存在し、どの近傍ドットが存在しないのかを表す。特徴ベクトル内で表現される近傍ドットごとに、欠けているドット・グリッド・パターン内で欠けているドット（たとえば、６１６）に関して０が記憶され、欠けているドット・グリッド・パターン内に存在するドット（たとえば、６１２）に関して１が記憶される。特徴ベクトルは、第１のドットの完全なグリッド基準画像内のドットごとに画像処理デバイス１２０によって構成される。たとえば、ドット６０４の特徴ベクトルは、１次元２進配列［０，１，１，１，１，０，０，１，０，０，０，１，１，１，１，１，１，１，０，０，１，０，０，１］として表現され得る。各ドットの２つの最近傍ドットが特徴ベクトルの生成に使用される時には、ドットの完全なグリッド基準画像内の各ドットを識別するために、２^２４個の可能な別個の特徴ベクトルがある可能性がある（たとえば、Ｎ個の最近傍ドットが使用され、ドットの５０％が第２の相補基準画像からランダムに省略される時には、第１の基準画像内のドットに関して可能な２^Ｎ個の別個の特徴ベクトルがある）。したがって、５０％など、十分な個数のドットが第２の基準画像内でランダムに省略され、十分な個数の最近傍ドットが特徴ベクトルの生成に使用される時に、誤一致の極端に低い確率が達成される。ドットごとの特徴ベクトルから、基準完全ドット・グリッド・パターン上の対応するドットが確立され得る。すなわち、特徴ベクトルは、第２の相補基準画像から取り込まれた画像データを使用する、第１の基準画像内の各ドットの一意識別子として働く。ドットの第１の完全なグリッド基準画像の取り込まれた画像データ内のドットが第２の省略されたドット基準画像内で取り込まれたドットから構成された基準ベクトルを使用して識別された後に、奥行き再構成が、取り込まれた画像データに対して実行され得る。

【0018】

［0028］ 図１に戻って、一実施形態では、画像処理デバイス１２０は、カメラ１１４の画像センサが画像センサ画素アレイ上でドットをどのようにピック・アップするのかを実世界の奥行き値および座標値に関係付ける、較正された奥行き辞書および較正された画素座標辞書を利用する。下でより詳細に説明するように、較正されたデータを使用することによって、画像センサ上の各ドットの画素座標が、実世界の３Ｄ位置に変換され得る。すなわち、カメラ１１４の画像センサが画像センサ・アレイ上でドットをどのようにピック・アップするのかは、取り込まれた画像データの実世界（ｘ，ｙ，ｚ）座標を提供するために、実世界の奥行き値および実世界の座標値に変換され得る。したがって、完全なドットのグリッド・パターン内の各ドットを実世界３Ｄ座標に変換することが、３Ｄシーン再構成をもたらす。

【0019】

［0029］ 内視鏡が図示され、議論されるが、二重相補パターン照明を使用する３Ｄシーン再構成が、内視鏡に限定される必要はない。携帯電話機、ロボット・デバイス、コンピュータ・ビジョン・システム、自律車両、自動運転車両、その他など、イメージングを実行し、３Ｄ情報から利益を得るはずの他のイメージング・デバイスが、本明細書で議論される方法およびシステムを実施することができる。これらのデバイスも、本明細書で議論される高速で正確な３Ｄシーン再構成から利益を得る

【0020】

［0030］ 図２は、内視鏡２１０および画像処理デバイス２５０の一実施形態２００のブロック図である。内視鏡２１０および画像処理デバイス２５０は、上で議論した内視鏡１１０および画像処理デバイス１２０の追加の詳細を提供する。

【0021】

［0031］ 一実施形態では、画像処理デバイス２５０は、内視鏡インターフェース２５５、プロジェクタ・コントローラ２６０、３次元画像プロセッサ２６５、対応エンジン２７５、および較正器２７０を含む。内視鏡２１０は、ＤＭＤ投影デバイスなどのプロジェクタ２１２およびカメラ２１４を含む。一実施形態では、内視鏡２１０および画像処理デバイス２５０は、上で図１にて議論したように、有線または無線の通信リンクを介してお互いと通信する。

【0022】

［0032］ 画像処理デバイス２５０は、諸実施形態で、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、コンピューティング・アプライアンス、ビデオ・ゲーム機、携帯電話機、ならびに他のコンピューティング・デバイスなどのコンピューティング・デバイス内で実施され得る。内視鏡インターフェース２５５は、内視鏡２１０のプロジェクタ２１２を制御する能力を画像処理デバイス２５０に与えるため、ならびに内視鏡２１０のカメラ２１４によって取り込まれた画像データを受け取るために、画像処理デバイス２５０を内視鏡２１０に通信可能に結合する責任を負う。

【0023】

［0033］ 一実施形態では、プロジェクタ・コントローラ２６０は、内視鏡のプロジェクタ２１２を制御する責任を負う。一実施形態では、プロジェクタ２１２は、光源をシーンに反射することのできる個別に制御可能なマイクロミラーを有するＤＭＤデバイスである。一実施形態では、プロジェクタ・コントローラ２６０は、二重相補基準画像２１６−１および２１６−２を表示するようにプロジェクタ２１２を構成する。一実施形態では、第１の基準画像２１６−１は、ドットの完全なグリッド（たとえば、ＤＭＤ投影デバイスのミラーに対応するドットのそれぞれ）を投影する。３次元画像プロセッサ２６５は、第１の基準画像２１６−１をその上に投影されたシーンの画像を取り込むようにカメラ２１４を制御する。その後、プロジェクタ・コントローラ２６０は、シーンに第２の基準画像２１６−２を投影するようにプロジェクタ２１２を構成し、第２の基準画像は、第１の基準画像に対して相補的であるが、欠けているドットを有する。一実施形態では、第１の基準画像２１６−１内の各ドットが正確に識別され得ることを保証するために、十分な個数のドットが基準画像２１６−１内で表示のためにランダムに選択される。一実施形態では、ドットの５０％が、第２の基準画像２１６−２内で表示のためにランダムに選択され、第２の基準画像２１６−２は、３Ｄシーン再構成のための追加の二重相補基準画像投影中のその後の再利用のために画像処理デバイス２５０のメモリ内に記憶される。

【0024】

［0034］ 第１および第２の基準画像が投影されたシーンの画像が取り込まれた後に、対応エンジン２７５は、第２の基準画像２１６−２の相補的な性質に基づいて第１の基準画像２１６−１内のドットを識別する責任を負う。本明細書で議論するように、一実施形態では、対応エンジン２７５は、第２の基準画像２１６−２の最近傍から生成された第１の基準画像２１６−１の各ドットの特徴ベクトルを利用する。各ドットの特徴ベクトルは、シーンに投影された個々のドットの正しい識別を保証するのに十分な精度で第１の基準画像２１６−１のドットの完全なグリッド内の各ドットの識別子を定義する。一実施形態では、特徴ベクトルは、シーンへの投影の前の第２の基準画像２１６−２および内視鏡２１０によって取り込まれた画像から、対応エンジン２７５によって生成され得る。一実施形態では、対応エンジン２７５は、その上に第１の基準画像２１６−１を投影されたシーンの取り込まれた画像と、その上に第２の基準画像２１６−２を投影されたシーンの取り込まれた画像とを分析する。シーンに投影された第２の基準画像２１６−２から、対応エンジン２７５は、第１の基準画像内の、シーンに投影されたドットごとに特徴ベクトルを生成する。すなわち、第１の取り込まれた画像からのドットの第１の完全なグリッドからのドットは、取り込まれた画像データ内に対応する位置を有する第２の取り込まれた画像データ内のドット（またはドットの欠如）に関連付けられる。その後、取り込まれた画像データ内の第２の基準画像２１６−２から生成された特徴ベクトルと画像取込の前に生成された特徴ベクトルとの比較は、対応エンジン２７５が、シーンに投影された第１の基準画像２１６−１の画像データ内の各ドットを直接に効率的に識別することを可能にする。

【0025】

［0035］ 一実施形態では、各ドットが、取り込まれた画像内で識別された後に、画素座標が、ドットの完全なグリッド内のドットごとに３次元画像プロセッサ２６５によって判定される。画素座標は、本明細書で議論する時に、カメラ２１４の画像センサ上のどの画素（１つまたは複数）がそのドットを取り込んだのかを指す。一実施形態では、複数の画素が、シーンに投影された１つのドットをピック・アップする場合があり、したがって、３次元画像プロセッサ２６５は、各投影されたドットの図心を判定する。その後、各ドットの判定された画素座標は、画素座標を実世界の奥行き値およびｘ−ｙ値に関係付ける較正された奥行き辞書および座標辞書を使用して変換され得る。一実施形態では、奥行き辞書および座標辞書は、下で図７、図８Ａ、および図８Ｂでより詳細に議論するように、較正器２７０によって生成される。一実施形態では、判定された画素座標を与えられて、３次元画像プロセッサ２６５は、画素座標の関数として、画素が投影された点でのシーンの奥行き値（ｚ）を判定する。さらに、奥行き値がわかった後に、３次元画像プロセッサ２６５は、画素が投影された点でのシーンの実世界座標値（ｘ，ｙ）をさらに判定することができる。この２つの計算から、実世界座標は、取り込まれた画像データ内の点について判定され、これによって、実世界（ｘ，ｙ，ｚ）値をその点に関連付ける。実世界座標が、第１の基準画像から投影された点ごとに判定される時に、実世界座標値および奥行き値の集合が、取り込まれた画像に対して３Ｄシーン再構成を実行するのに使用される。

【0026】

［0036］ 諸実施形態では、二重相補パターンの投影、画像データの取込、および対応判定は、画像処理デバイス２５０によって素早く正確に実行され得る。同様に、画素座標の判定およびこれらの画素座標の実世界（ｘ，ｙ，ｚ）値への変換も、素早く正確に実行され得る。その結果、取り込まれた画像の３Ｄデータは、１つまたは複数の画像が取り込まれる時に、リアルタイムでまたは近リアルタイムで生成され得る。さらに、素早く正確な３Ｄシーン再構成プロセスは、生ビデオ・データの３Ｄシーン再構成ならびに取り込まれた静止画の３Ｄシーン再構成を可能にする。

【0027】

［0037］ 取り込まれた画像データの３Ｄシーン再構成が３次元画像プロセッサ２６５によって実行された後に、３次元画像プロセッサ２６５は、３Ｄ画像データをストレージおよび／または表示ユニット（図示せず）に送ることができる。たとえば、３Ｄ再構成されたシーンの画像は、術前画像レジストリ内に記憶され、タグを付けられ得る。別の例として、リアルタイム３Ｄ再構成された画像データは、医療専門家が３Ｄ画像データを見ることを可能にするために、表示デバイスに出力され得る。

【0028】

［0038］ 図３は、シーンに相補パターンを投影することによって３次元シーン再構成を実行するプロセス３００を示す流れ図である。このプロセスは、ハードウェア（回路網、専用論理など）、ソフトウェア（汎用コンピュータ・システムまたは専用機械上で走行されるなど）、ファームウェア、または組合せを含むことができる処理論理によって実行される。一実施形態では、このプロセスは、内視鏡および画像処理デバイス（たとえば、内視鏡１１０または２１０および画像処理デバイス１２０または２５０）によって実行される。

【0029】

［0039］ 図３を参照すると、処理論理は、内視鏡のプロジェクタを用いてシーンに第１の基準画像を投影する（処理ブロック３０２）ことによって開始する。一実施形態では、第１の基準画像は、図４Ａに示されたドットの完全なグリッドなど、第１のパターンのドットのグリッドである。投影されるパターンは、異なるパターンを投影することのできる、赤外線発光デバイスまたは他の発光デバイスを用いて投影され得る。本明細書で議論される１つのそのようなデバイスが、ＤＭＤ投影デバイスである。次に、処理論理は、内視鏡のカメラを用いてシーン上の基準画像を含む第１の画像データを取り込む（処理ブロック３０４）。

【0030】

［0040］ 処理論理は、内視鏡のプロジェクタを用いてシーンに相補的な第２の基準画像を投影する（処理ブロック３０６）。一実施形態では、第２の基準画像は、完全なグリッド・パターンからランダムに省略されたドットの部分を有するドットのグリッドである。省略されたドット・パターンの一例が、図４Ｂに示されている。一実施形態では、４０％、５０％、６０％、その他などの十分な個数のドットが、本明細書で議論するように各ドットが特徴ベクトルを使用して一意に識別され得ることを保証するためにランダムに省略される。その後、処理論理は、内視鏡のカメラを用いてシーン上の相補的な第２の基準画像を含む第２の画像データを取り込む（処理ブロック３０８）。

【0031】

［0041］ 諸実施形態では、第１および第２の基準画像の投影および取込の順序は、変更され得、その結果、相補パターンが、ドットの完全なグリッド・パターンの前に投影されるようになる。どの実施形態でも、プロセスは、シーンに投影された追加の二重相補基準画像を取り込むために処理ブロック３０２に戻ることができる。

【0032】

［0042］ 処理論理は、相補的な第２の基準画像から第１の基準画像の特徴を識別する（処理ブロック３１０）。一実施形態では、ドットのグリッド内のドットなど、第１の基準画像の特徴が、相補的な第２の基準画像の特徴を使用して識別される。図５で詳細に議論する一実施形態では、特徴ベクトルが、第１の基準画像の各特徴の識別子として第２の基準画像から構成される。その後、処理ブロック３０４および３０８の取り込まれた画像を使用して、シーンに投影された基準画像の特徴ベクトルが、処理ブロック３０８で取り込まれた画像から生成され得、対応するドットが、構成された特徴ベクトルおよび生成された特徴ベクトルを照合することによって識別され得る。

【0033】

［0043］ 第１の基準画像内の特徴を識別した後に、処理論理は、第１の基準画像内で識別された特徴に基づいて、内視鏡によって取り込まれた画像データの３次元シーン再構成を実行する（処理ブロック３１２）。処理論理は、画像データのうちでドットが投影された部分に対応する部分の奥行き値および実世界座標値（たとえば、実世界のｘ、ｙ、およびｚのデータ）を生成する。実世界座標値の集合を使用して、処理論理は、内視鏡によって取り込まれた画像データから３次元画像データを生成することができる（処理ブロック３１４）。諸実施形態では、生成された３次元画像データは、処理論理によって、ディスプレイ（たとえば、処理論理に通信可能に結合されたディスプレイ）、データ・ストア（たとえば、術前画像データ・ストア、患者レコードなど）、または他の出力に出力され得る。

【0034】

［0044］ 図５は、３次元シーン再構成中にシーンに投影される相補パターンを使用するプロセス５００を示す流れ図である。このプロセスは、ハードウェア（回路網、専用論理など）、ソフトウェア（汎用コンピュータ・システムまたは専用機械上で走行されるなど）、ファームウェア、または組合せを含むことができる処理論理によって実行される。一実施形態では、このプロセスは、内視鏡および画像処理デバイス（たとえば、内視鏡１１０または２１０および画像処理デバイス１２０または２５０）によって実行される。

【0035】

［0045］ 図５を参照すると、処理論理は、ドットの第１のパターン（たとえば、第１の基準画像）内のドットごとに、ドットの相補的な第２のパターン（たとえば、相補的な第２の基準画像）からの最近傍ドットから対応する特徴ベクトルを構成する（処理ブロック５０２）ことによって開始する。図６は、ドットの相補的な第２のパターン６０２内のドット６０４を示す。最近傍に対応する特徴ベクトルは、どの近傍ドットが投影され、どの近傍ドットが投影されない（たとえば、ドットの欠如６１６）のかを示すことができる。近傍ドットのグリッド６１０は、関心を持たれているドットから２ドット以内のどのドットが投影され（たとえば、ドット６１２）、どのドットが投影されない（たとえば、ドットの欠如６１６）のかを示す。したがって、２進配列［０，１，１，１，１，０，０，１，０，０，０，１，１，１，１，１，１，１，０，０，１，０，０，１］などの特徴ベクトルは、ドット６０４の最近傍を記述し、１はドットが存在することを示し、０はドットが存在しないことを示す。ドットの５０％が相補的な第２の基準画像内でランダムに省略される実施形態では、２^２４個の別個の可能な特徴ベクトルがあり、これが、誤一致の極端に低い確率を保証する。ドットの第１のパターン内のドットごとに構成される特徴ベクトルは、その後、基準画像の特徴を識別する際の後の使用のために記憶され得る。

【0036】

［0046］ 一実施形態では、特徴ベクトルは、３Ｄシーン再構成の前に構成される。その後、シーン再構成中に、シーンに投影された取り込まれた第１の基準画像からのドットごとに、処理論理は、シーンに投影された相補的な第２の画像のドットから各ドットの特徴ベクトルを生成する（処理ブロック５０４）。すなわち、３Ｄシーン再構成中に、第１および第２の基準画像が、シーンに投影され、基準画像の画像が取り込まれ、処理ブロック５０２の処理に従って特徴ベクトルが生成される。処理論理は、特徴ベクトルを使用して、取り込まれた第１の基準画像からの各ドットの識別を生成する（処理ブロック５０６）。

【0037】

［0047］ 本明細書で議論するように、各ドットが第１の基準画像内で識別された後に、実世界の奥行き値および座標値が、較正された奥行き辞書および較正された座標辞書を使用して、ドットごとに判定され得る。これらの辞書は、取り込まれた画像データ内のドットの画素座標から実世界の３Ｄ座標への変換を可能にする。画素ごとの奥行き辞書および座標辞書内の変換は、内視鏡１１０または２１０などのイメージング・デバイスの較正中に生成される。

【0038】

［0048］ 図７は、シーンを照明するために二重相補パターンを使用するイメージング・デバイスを較正するシステム７００の一実施形態のブロック図である。このシステムは、図１および図２で議論したものなどのプロジェクタ７０２およびカメラ７１０を含む。さらに、可動ステージ７３０も、投影および画像取込の平面に垂直な平面上に設けられる。一実施形態では、可動ステージ７３０は、支持具７４０（たとえば、ブレッドボード）に結合され、カメラ７１０の画像センサの平面７１２およびカメラ７１０のレンズの平面７１４に向かっておよびこれらから離れて既知の距離だけ調整され得る。

【0039】

［0049］ 一実施形態では、可動ステージ７３０は、可動ステージ７３０の投影面（その上にプロジェクタ７０２が基準画像を投影する）とカメラ７１０との間に既知の距離を確立するために、カメラ７１０およびプロジェクタ７０２に垂直に移動され得る。その後、プロジェクタ７０２は、本明細書で議論する二重相補基準画像を投影することができ、その画像がカメラ７１０によって取り込まれる。下で議論する図８Ａおよび図８Ｂのプロセスを使用して、画像処理デバイスは、取り込まれた基準画像の画素座標（たとえば、センサ画素座標データ）を実世界の座標値に変換するための辞書を較正する。較正のプロセスは、イメージング・デバイスの使用の所期の範囲の１ｍｍごとなど、複数の奥行き値（ｚ_ｉ）で実行される。その後、線形回帰分析が、取り込まれた画素座標を実世界の奥行き値および画素値にモデル化するために実行される。これらのモデルは、ドットの完全なグリッド基準画像内のドットごとに、下でより詳細に議論する奥行き辞書および座標辞書内に記憶される。

【0040】

［0050］ 図８Ａは、シーンを照明するために二重相補パターンを利用するイメージング・デバイスの奥行き較正を実行するプロセス８００を示す流れ図である。このプロセスは、ハードウェア（回路網、専用論理など）、ソフトウェア（汎用コンピュータ・システムまたは専用機上で実行されるなど）、ファームウェア、または組合せを含むことができる処理論理によって実行される。一実施形態では、このプロセスは、較正システム（たとえば、システム７００）に関連する画像処理デバイスの較正器（たとえば、較正器２７０）によって実行される。

【0041】

［0051］ 図８Ａを参照すると、処理論理は、ある奥行き平面にある可動ステージに第１の基準画像を投影する（処理ブロック８０２）ことによって開始する。一実施形態では、奥行き平面は、カメラの画像センサと可動ステージの表面との間の既知の距離である。本明細書で議論するように、第１の基準画像は、ＤＭＤ投影デバイスによって投影されたドットのグリッドとすることができる。さらに、ドットのグリッドは、図４Ａに示されたものなどのドットの完全なグリッドとすることができる。

【0042】

［0052］ 処理論理は、奥行き平面にある可動ステージに相補的な第２の基準画像を投影する（処理ブロック８０４）。一実施形態では、相補的な第２の基準画像は、図４Ｂに示されたものなどの、ランダムに省略されたドットを有する、ドットの第２のグリッドである。

【0043】

［0053］ 処理論理は、第２の基準画像から第１の基準画像内の特徴の特徴ベクトル対応を判定する（処理ブロック８０６）。一実施形態では、第１の基準画像内および第２の基準画像内の特徴の間の対応は、上で議論した図５のプロセスに従って判定される。

【0044】

［0054］ 処理論理は、奥行き平面での画像センサ上の特徴の位置など、画像センサ・ピックアップ・データを追跡する（処理ブロック８０８）。一実施形態では、処理論理による追跡は、処理論理が第１の基準画像の特徴（たとえば、ドット）ごとに画像センサ画素座標を取り込むことを含む。一実施形態では、画像センサの複数の画素が１つの特徴をピックアップする場合に、その特徴を取り込む画素の図心が、奥行き平面での画素座標として使用される。

【0045】

［0055］ 較正に関する追加の奥行き平面がある時に（処理ブロック８１０）、処理論理は、可動ステージを異なる奥行き平面に移動する（処理ブロック８１２）。基準画像の投影および取込と、画像センサ・ピックアップ・データの追跡とが、複数の奥行き平面について繰り返される。一実施形態では、複数の奥行き平面は、較正されているイメージング・デバイスの所期の使用範囲に対応する奥行き平面の範囲を含む。たとえば、奥行き平面は、奥行きにおいて．０．２５ｍｍから２０ｍｍまでの範囲にわたることができ、可動ステージは、この範囲内で．０．２５ｍｍ増分で移動され得る。使用分野の他の範囲ならびに奥行き平面の増分移動距離が、本明細書の議論に従って使用され得る。

【0046】

［0056］ 較正に関する追加の奥行き平面がない時に（処理ブロック８１０）、処理論理は、第１の基準画像内の対応する特徴の実世界奥行きを用いて画像センサ・ピックアップ・データをモデル化する奥行き辞書を生成するために、各奥行き平面で特徴ベクトルごとに追跡された画像センサ・ピックアップ・データに対して回帰分析を実行する（処理ブロック８１４）。一実施形態では、奥行き辞書は、第１の基準画像の特徴（たとえば、ドット）ごとに、その特徴について取り込まれた画素座標を特徴が投影されるシーン内の特徴の実世界奥行き（ｚ）に変換する機能を提供する。

【0047】

［0057］ 図８Ｂは、シーンを照明するために二重相補パターンを利用するイメージング・デバイスの座標較正を実行するプロセス８５０を示す流れ図である。このプロセスは、ハードウェア（回路網、専用論理など）、ソフトウェア（汎用コンピュータ・システムまたは専用機上で実行されるなど）、ファームウェア、または組合せを含むことができる処理論理によって実行される。一実施形態では、このプロセスは、較正システム（たとえば、システム７００）に関連する画像処理デバイスの較正器（たとえば、較正器２７０）によって実行される。

【0048】

［0058］ 図８Ｂを参照すると、処理論理は、印刷された画像内の各特徴の間の既知の距離を有する、第１の基準画像の特徴に対応する区別可能な特徴の完全なグリッドを有する印刷された画像の、ある奥行き平面での画像データを取り込む（処理ブロック８５２）ことによって開始する。一実施形態では、印刷された画像は、各ドットの間の既知の距離を有する、第１の基準画像内のドットの完全なグリッド・パターンに対応するドットを有する。さらに、印刷された画像内の特徴は、色、強度、形状などによって区別可能であるなど、取り込まれた画像データ内で区別可能である。

【0049】

［0059］ 較正のために印刷された画像を取り込むことに関する追加の奥行き平面がある時（処理ブロック８５４）には、処理論理は、可動ステージを異なる奥行き平面に移動する（処理ブロック８５６）。一実施形態では、奥行き平面は、図８Ａで議論した較正で使用されるものと同一である。しかし、諸実施形態では、イメージング・デバイスの所期の使用範囲にわたる異なる奥行き平面が使用され得る。

【0050】

［0060］ 較正のために印刷された画像を取り込むことに関する追加の奥行き平面がない時（処理ブロック８５４）には、処理論理は、画素座標を実世界座標値に変換する座標辞書を生成するために、印刷された画像内の特徴ごとに、既知の奥行きおよび各特徴の間の既知の距離に基づいて、奥行き平面にまたがる印刷された画像の特徴の追跡された画像センサ・ピックアップ・データに対して回帰分析を実行する（処理ブロック８５８）。一実施形態では、座標辞書は、基準画像の特徴（たとえば、ドット）ごとの、画素座標値および既知の奥行き（図８Ａのプロセスに従って入手される）をイメージング・デバイスによってシーンに投影された特徴の実世界座標値（たとえば、実世界のｘ値、ｙ値）に変換するモデルである。画像センサ画素座標データは、既知の奥行きデータと一緒に、処理論理が画像平面内の印刷された画像内の特徴の間の変位計算を実行することを可能にする。

【0051】

［0061］ 諸実施形態では、図８Ａおよび図８Ｂのプロセスは、デバイスの間の製造差を考慮に入れる較正プロセスを提供するために個々のイメージング・デバイスについて実行され得る。すなわち、異なるデバイスが、厳密な公差で作られる場合であっても、レンズ、センサ、プロジェクタ、その間の距離などのわずかな欠陥が、奥行き再構成の最終結果を変更する可能性がある。したがって、図８Ａおよび図８Ｂの較正は、本明細書で議論される二重相補基準画像と共に使用される時に、較正された奥行き辞書および較正された座標辞書を使用する画像データの高速で正確な奥行き再構成を保証するために、各デバイスが正しく較正されることを保証する。

【0052】

［0062］ 図９は、本発明と共に使用され得るコンピュータ・システムの一実施形態である。このコンピュータ・システムは、上で議論した画像処理システムの機能性を提供することができる。しかし、さらに、様々なシステム・アーキテクチャの他の代替システムも使用され得ることが、当業者には明白である。

【0053】

［0063］ 図９に示されたコンピュータ・システムは、情報を通信するバスまたは他の内部通信手段９１５と、情報を処理するためにバス９１５に結合されたプロセッサ９１０とを含む。このシステムは、情報およびプロセッサ９１０によって実行される命令を記憶する、バス９１５に結合されたランダム・アクセス・メモリ（ＲＡＭ）または他の揮発性ストレージ・デバイス９５０（メモリと呼ばれる）をさらに含む。メモリ９５０は、プロセッサ９１０による命令の実行中に一時変数または他の中間情報を記憶するのにも使用され得る。このシステムは、プロセッサ９１０の静的情報および命令を記憶する、バス９１５に結合された読取専用メモリ（ＲＯＭ）および／または静的ストレージ・デバイス９２０と、磁気ディスクまたは光ディスクおよびそれに対応するディスク・ドライブなどのデータ記憶デバイス９２５とをも含む。データ記憶デバイス９２５は、情報および命令を記憶するためにバス９１５に結合される。

【0054】

［0064］ このシステムは、コンピュータ・ユーザに情報を表示するためにバス９６５を介してバス９１５に結合された、発光ダイオード（ＬＥＤ）ディスプレイまたは液晶ディスプレイ（ＬＣＤ）などの表示デバイス９７０にさらに結合される。英数字キーおよび他のキーを含む英数字入力デバイス９７５も、情報およびコマンド選択をプロセッサ９１０に通信するためにバス９６５を介してバス９１５に結合され得る。追加のユーザ入力デバイスは、指示情報およびコマンド選択をプロセッサ９１０に通信し、表示デバイス９７０上でのカーソル移動を制御する、バス９６５を介してバス９１５に結合された、マウス、トラックボール、スタイラス、またはカーソル方向キーなどのカーソル制御デバイス９８０である。

【0055】

［0065］ オプションでコンピュータ・システム９００に結合され得る別のデバイスが、ネットワークを介して分散システムの他のノードにアクセスする通信デバイス９９０である。通信デバイス９９０は、イーサネット、トークン・リング、インターネット、または高域ネットワークへの結合に使用されるものなど、複数の市販のネットワーキング周辺デバイスのいずれをも含むことができる。通信デバイス９９０は、さらに、コンピュータ・システム９００と外部世界との間の接続性を提供する、ヌルモデム接続または任意の他の機構とすることができる。図９に示されたこのシステムの構成要素および関連するハードウェアのいずれかまたはすべてが、本発明の様々間実施形態で使用され得ることに留意されたい。

【0056】

［0066］ このシステムの任意の構成が、特定の実施態様に従って様々な目的に使用され得ることが、当業者によって了解される。本発明を実施する制御論理またはソフトウェアは、メモリ９５０、データ記憶デバイス９２５、またはプロセッサ９１０からローカルにもしくはリモートにアクセス可能な他の記憶媒体に記憶され得る。

【0057】

［0067］ 本明細書で説明されるシステム、方法、およびプロセスが、メモリ９５０または読取専用メモリ９２０内に記憶され、プロセッサ９１０によって実行されるソフトウェアとして実施され得ることは、当業者には明白である。この制御論理またはソフトウェアは、コンピュータ可読プログラム・コードがその中に組み込まれ、データ記憶デバイス９２５によって可読であり、本明細書の方法および教示に従ってプロセッサ９１０に動作させる、コンピュータ可読媒体を含む製造品に常駐することもできる。

【0058】

［0068］ 本発明は、上で説明したコンピュータ・ハードウェア構成要素の部分集合を含むハンドヘルド・デバイスまたはポータブル・デバイス内でも実施され得る。たとえば、ハンドヘルド・デバイスは、バス９１５、プロセッサ９１０、ならびにメモリ９５０および／または９２５だけを含むように構成され得る。ハンドヘルド・デバイスは、ユーザがそれを用いて使用可能なオプションのセットから選択できるボタンまたは入力シグナリング構成要素のセットを含むようにも構成され得る。ハンドヘルド・デバイスは、ハンドヘルド・デバイスのユーザに情報を表示する、液晶ディスプレイ（ＬＣＤ）または表示要素マトリックスなどの出力装置を含むようにも構成され得る。従来の方法が、そのようなハンドヘルド・デバイスを実施するのに使用され得る。そのようなデバイスのための本発明の実施態様は、本明細書で提供される本発明の開示を与えられた当業者には明白である。

【0059】

［0069］ 本発明は、上で説明したコンピュータ・ハードウェア構成要素の部分集合を含む特殊目的器具内でも実施され得る。たとえば、器具は、プロセッサ９１０、データ記憶デバイス９２５、バス９１５、およびメモリ９５０と、ユーザが基本的な形でデバイスと通信することを可能にする小型タッチスクリーンなどのごく基本的な通信機構とを含むことができる。一般に、デバイスが特殊目的であればあるほど、デバイスが機能するために存在する必要がある要素は、より少なくなる。

【0060】

［0070］ 上で説明したプロセスは、コンピュータ・ソフトウェアおよびコンピュータ・ハードウェアに関して説明される。説明した技法は、機械によって実行される時に、その機械に説明した動作を実行させる、有形のまたは非一時的な機械（たとえば、コンピュータ）可読記憶媒体内で実施される機械実行可能命令を構成することができる。さらに、このプロセスは、特定用途向け集積回路（「ＡＳＩＣ」）または他などのハードウェア内で実施され得る。

【0061】

［0071］ 有形の機械可読記憶媒体は、機械（たとえば、コンピュータ、ネットワーク・デバイス、携帯情報端末、１つまたは複数のプロセッサのセットを有する任意のデバイスなど）によってアクセス可能な非一時的な形で情報を提供する（すなわち、記憶する）任意の機構を含む。たとえば、機械可読記憶媒体は、記録可能／記録不能媒体（たとえば、読取専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュ・メモリ・デバイスなど）を含む。

【0062】

［0072］ 要約書で説明されるものを含む、本発明の図示された実施形態の上の説明は、網羅的であることまたは本発明を開示された正確な形態に限定することを意図されたものではない。本発明の特定の実施形態および本発明の例が、本明細書で例示のために説明されるが、当業者が認めるように、本発明の範囲内で様々な変更が可能である。

【0063】

［0073］ 上の詳細な説明に鑑みて、本発明に対してこれらの変更を行うことができる。以下の特許請求の範囲で使用される用語が、本発明を本明細書で開示される特定の実施形態に限定すると解釈してはならない。そうではなく、本発明の範囲は、専ら以下の特許請求の範囲によって決定されなければならず、以下の特許請求の範囲は、請求項解釈の確立された原則に従って解釈されなければならない。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】