特許 6899894 パターン検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6899894

(24)【登録日】2021年6月17日

(45)【発行日】2021年7月7日

(54)【発明の名称】パターン検出

(51)【国際特許分類】

   G06T 7/80 20170101AFI20210628BHJP

【ＦＩ】

   G06T7/80

【請求項の数】24

【全頁数】30

(21)【出願番号】特願2019-514275(P2019-514275)

(86)(22)【出願日】2016年9月14日

(65)【公表番号】特表2019-533232(P2019-533232A)

(43)【公表日】2019年11月14日

(86)【国際出願番号】EP2016071724

(87)【国際公開番号】WO2018050223

(87)【国際公開日】20180322

【審査請求日】2019年5月14日

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(74)【代理人】

【識別番号】100167966

【弁理士】

【氏名又は名称】扇谷 一

(72)【発明者】

【氏名】エルンスト アンドレアス

(72)【発明者】

【氏名】ホフマン マティス

(72)【発明者】

【氏名】ガルバス イェンス−ウーヴェ

(72)【発明者】

【氏名】ベルゲン トビアス

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１４−００２７１８（ＪＰ，Ａ）

【文献】 Andreas Geiger et al.，Automatic Camera and Range Sensor Calibration using a single Shot，2012 IEEE International Conference on Robotics and Automation，IEEE，２０１２年，pp. 3936-3943，ＵＲＬ，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6224570

【文献】 M. Alexa, J. Marks，Garment Motion Capture Using Color-Coded Patterns，EUROGRAPHICS 2005，２００５年，Volume 24, Number 3，pp. 1-9，ＵＲＬ，https://pdfs.semanticscholar.org/84f7/4453c65446ec03504ebf1493ddf6a68dc1d6.pdf?_ga=2.256575426.856530303.1585536492-1431136262.1582591544

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

均質な領域（１０ａ，１０ｂ）を有する既知のパターンを検出するための、コンピュータに実装された方法（１００，２００）であって、前記方法（１００，２００）は、
前記既知のパターン（１０）の少なくとも一部のイメージを取得するステップ（１１０）と、
少なくとも２つの均質な領域（１０ａ，１０ｂ）を含む、前記イメージの第１の領域（１２）を最初に検出して、前記第１の領域（１２）のための少なくとも１つの領域パラメータを評価するステップ（１２０）と、
少なくとも２つの均質な領域（１０ａ，１０ｂ）を含み前記第１の領域（１２）に隣接する、前記イメージの第２の領域（１４）内で前記既知のパターン（１０）の特徴を検出して、前記第２の領域（１４）内の前記特徴の少なくとも１つの領域パラメータを取得するステップ（１３０）と、を含み、
前記特徴を検出するステップ（１３０）は、少なくとも２つの均質な領域（１０ａ，１０ｂ）を含み前記第１の領域および／または前記第２の領域（１４）に隣接する、前記イメージの第３の領域（１６）について繰返されて、前記第３の領域（１６）内の前記特徴について少なくとも１つの領域パラメータを取得し、
前記既知のパターン（１０）の特徴を検出するステップ（１３０）は、別の領域について、前記第１の領域（１２）から延びて前記第２の領域（１４）および／または前記第３の領域（１６）を通過する方向に、この方向に追加の特徴が見つからなくなるまで、適応射影モデルを考慮に入れて繰返される、方法。

【請求項2】

均質な領域（１０ａ，１０ｂ）を有する既知のパターンを検出するための、コンピュータに実装された方法（１００，２００）であって、前記方法（１００，２００）は、
前記既知のパターン（１０）の少なくとも一部のイメージを取得するステップ（１１０）と、
少なくとも２つの均質な領域（１０ａ，１０ｂ）を含む、前記イメージの第１の領域（１２）を最初に検出して、前記第１の領域（１２）のための少なくとも１つの領域パラメータを評価するステップ（１２０）と、
少なくとも２つの均質な領域（１０ａ，１０ｂ）を含み前記第１の領域（１２）に隣接する、前記イメージの第２の領域（１４）内で前記既知のパターン（１０）の特徴を検出して、前記第２の領域（１４）内の前記特徴の少なくとも１つの領域パラメータを取得するステップ（１３０）と、を含み、
前記第１、第２、第３または別の領域内での前記特徴を検出するステップはコーナー検出を含み、
前記コーナー検出は、モーフィングパラメータに従ってテンプレートをモーフィングして、前記第１、第２、第３または別の領域のためのモーフィングモデルを得るサブステップを含み、かつ、前記方法（１００、２００）は、１つ以上の決定された領域パラメータ、および、前記第１、第２、第３または別の領域のそれぞれのモーフ可能なモデルの各頂点がイメージに射影されるおよび／または歪であるという仮定に基づいて、射影モデルを決定するステップ
をさらに含む、方法。

【請求項3】

前記第１，第２，第３または別の領域内で特徴を検出するステップの後に、カメラの挙動（ｂｅｈａｖｉｏｒ）を記述するカメラ較正（ｃａｒｉｂｒａｔｉｏｎ）パラメータが更新される、請求項１または２に記載の方法。

【請求項4】

前記更新は、前記第１，第２，第３または別の領域内の特徴についてシミュレートされた領域パラメータに基づいて、および、前記それぞれの特徴の検出された領域パラメータに基づいて実行され、
前記シミュレートされた領域パラメータは、前記既知のパターン（１０）および、前のまたは推定されたカメラ較正パラメータに基づいてシミュレートされ、
前記更新は、前記更新されたカメラ較正パラメータを前記既知のパターン（１０）と組合せると、前記検出された領域パラメータと実質的に適合するシミュレートされた領域パラメータがもたらされるように実行される、請求項３に記載の方法。

【請求項5】

前記方法（１００，２００）は、前記イメージ内の前記第２，第３または別の領域を選択するステップを含み、
前記選択は、前記更新されたカメラ較正パラメータに基づいてなされる、請求項３または４に記載の方法。

【請求項6】

前記少なくとも１つの領域パラメータは、検出されるべき前記特徴の位置、前記第１，第２，第３または別の領域の位置、前記既知のパターン（１０）の変形および／または前記既知のパターン（１０）の向きを含む、請求項１ないし５のいずれか１項に記載の方法（１００，２００）。

【請求項7】

前記既知のパターン（１０）は、平面の既知のパターンである、および／または２つの均質強度を有する、および／または、前記既知のパターン（１０）はチェスボードである、請求項１ないし６のいずれか１項に記載の方法（１００，２００）。

【請求項8】

前記第１，第２，第３または別の領域内で前記特徴を検出する前記ステップは、コーナー検出を含む、請求項１ないし７のいずれか１項に記載の方法（１００，２００）。

【請求項9】

前記コーナー検出は、各々が２×２の均質な領域（１０ａ，１０ｂ）を有する２×２フォーマットのチェッカーボードモデルであるモーフされたテンプレートを使用して実行され、前記テンプレートをモーフィングして前記少なくとも１つの領域パラメータを決定または検証する間に、モーフィングされた１つのテンプレートと前記第１，第２，第３または別の領域との比較が実行される、請求項８に記載の方法（１００，２００）。

【請求項10】

前記比較は、前記イメージの前記第１，第２，第３または別の領域内の部分と、前記１つ以上のテンプレートとの間の対応を決定することにより実行される、請求項９に記載の方法（１００，２００）。

【請求項11】

前記対応は、前記チェッカーボードモデルの２つのフィールドの平均ピクセル値（μ_ra，μ_rb）の間の強度差が最大であるとき、および／または前記チェッカーボードモデルの２つのフィールドの標準偏差（σ_ra，σ_rb）が最小であるときに検出される、請求項１０に記載の方法（１００，２００）。

【請求項12】

【請求項13】

【請求項14】

前記コーナー検出は、モーフィングパラメータに応じてテンプレートをモーフィングして、前記第１，第２，第３または別の領域のためのモーフィングモデルを取得するサブステップを含む、請求項８ないし１３のいずれか１項に記載の方法（１００，２００）。

【請求項15】

前記モーフテンプレートは次式により定義され、

【請求項16】

【請求項17】

前記方法（１００，２００）は前記１つ以上の決定された領域パラメータおよび前記第１，第２，第３または別の領域のそれぞれのモーフ可能なモデルの各頂点が前記イメージに射影されているおよび／または歪であるという仮定に基づいて、射影モデルを決定するこのステップをさらに含む、請求項１４ないし１６のいずれか１項に記載の方法（１００，２００）。

【請求項18】

【請求項19】

前記第１の領域（１２）は、３×３パターン（１０）の均質な領域（１０ａ，１０ｂ）を含む、請求項１ないし１８のいずれか１項に記載の方法（１００，２００）。

【請求項20】

前記最初に検出するステップは、領域あたりの限られた個数のピクセルについて判別基準を計算するサブステップを含み、前記ピクセルの個数は前記領域の全ピクセルより少なく、
前記判別基準の前記計算は、異なる領域および／または前記ピクセルの異なる分布について実行され、前記判定基準が満たされるか最大値を有するときに、前記第１の領域（１２）が最初に検出される、請求項１ないし１９のいずれか１項に記載の方法（１００，２００）。

【請求項21】

【請求項22】

カメラを較正するための方法（１００，２００）であって、前記方法（１００，２００）は、請求項１ないし２１のいずれか１項に記載の、均質な領域を有する既知のパターン（１０）を検出するための前記方法（１００，２００）と、前記第１の領域（１２）のための前記少なくとも１つの領域パラメータ、および／または前記第２の領域（１４）内の前記特徴の前記少なくとも１つの領域パラメータに基づいて、カメラの挙動を記述するカメラ較正パラメータを計算するステップを含む、方法（１００，２００）。

【請求項23】

コンピュータ上で動作するときに、請求項１ないし２２のいずれか１項に記載の方法（１００，２００）を実行するためのプログラムコードを有するコンピュータプログラムが格納された、コンピュータ可読デジタル記憶媒体。

【請求項24】

均質な領域（１０ａ，１０ｂ）を有する既知のパターン（１０）を検出するための装置であって、前記装置は、
前記既知のパターン（１０）のイメージを受信するための入力インターフェースと、
少なくとも２つの均質な領域（１０ａ，１０ｂ）を含む前記イメージの第１の領域（１２）を最初に検出して、前記第１の領域（１２）のための少なくとも１つの領域パラメータを推定する計算ユニットと、を含み、
前記イメージの第２の領域（１４）内の前記既知のパターン（１０）の特徴を検出するために、前記第２の領域（１４）は少なくとも２つの均質な領域（１０ａ，１０ｂ）を含んで前記第１の領域（１２）に隣接して前記第２の領域（１４）内の前記特徴の少なくとも１つの領域パラメータを取得し、
前記特徴を検出する（１３０）前記ステップは、少なくとも２つの均質な領域（１０ａ，１０ｂ）を含み前記第１の領域（１２）および／または前記第２の領域（１４）に隣接する第３の領域（１６）について繰返されて、前記第３の領域（１６）内の前記特徴のための少なくとも１つの領域パラメータを取得し、前記既知のパターン（１０）の特徴を検出する前記ステップは、別の領域について、前記第１の領域（１２）から延びて前記第２の領域（１４）および／または第３の領域（１６）を通過する方向に、この方向に追加の特徴が見つからなくなるまで、適応された射影モデルを考慮に入れて繰返される、あるいは
前記第１，第２，第３または別の領域内で前記特徴を決定するステップはコーナー検出を含み、前記コーナー検出は、モーフィングパラメータに応じて前記テンプレートをモーフィングして前記第１，第２，第３または別の領域のためのモーフィングモデルを取得するサブステップを含み、かつ、前記方法（１００，２００）は、前記１つ以上の決定された領域パラメータ、および前記第１，第２，第３または別の領域の前記それぞれのモーフ可能なモデルの各頂点が前記イメージに射影されるおよび／または歪であるという仮定に基づいて、射影モデルを決定するこのステップをさらに含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明の実施例は、一様な領域を有する既知のパターンを検出するための方法および装置を示す。好ましい実施例は、幾何学的なカメラ較正のためのロバスト（robust）なチェスボード検出を示す。

【背景技術】

【0002】

ほぼすべてのカメラ、特に広い視野角を持つカメラは、これを較正する必要がある。このような広視野角のカメラは、内視鏡によく使用される。

【0003】

内視鏡手術は、さまざまな疾患に対する一般的な臨床診療である。とりわけ、内視鏡器具を用いた低侵襲手術は、腹部臓器（腹腔鏡検査）、関節（関節鏡検査）、または脳（脳神経外科）に対して実施される。内視鏡検査では、優れた方向性、調整、および外科医の優れた運動技能が要求される。従って、外科医にナビゲーション支援を提供するコンピュータシステムはますます重要になっている。内視鏡を通した視界と手術部位の幾何学的配置とを関連付けるナビゲーションシステムは、較正されたカメラを必要とする。これに関連して、較正は、固有のカメラパラメータを推定するプロセスを示す。歪んだピンホールカメラモデルの固有のパラメータは、焦点距離、主点、そして半径方向と接線方向の歪みパラメータで構成されている。

【0004】

通常、カメラの較正は、２段階のプロセスからなる。第１に、既知の較正パターンが画像内で検出される。第２に、較正パラメータは、パターン上の点と画像内のそれらの射影との間の対応関係に基づいて推定される。

【0005】

内視鏡用途のためのカメラ較正はいくつかの課題をもたらす。内視鏡は、通常９０°ないし１２０°の間の典型的な視野角を持つ広角レンズを持っている。従って、歪効果は非常に強い。内視鏡の光学的設定により、光源は光学中心の近くにある。これはしばしば、強い不均質性、まぶしさ、ケラレ効果、および照度の低い領域での高い画像ノイズを引き起こす。臨床環境内では、非技術系スタッフが迅速に較正プロセスを実行できなければならない。その結果、較正方法は、被写体ブレ、フォーカス外れ、および部分的にキャプチャされたパターンの記録を確実に処理しなければならない。

【0006】

さまざまなパターンが開発されている。それでも、平面チェスボードパターンが最も確立されている。マロンら（Mallon ea al.）（非特許文献８）は、強い遠近法や放射状の歪がある場合、チェスボードパターンが円パターンよりも優れていることを示した。（ARTags （非特許文献６）のような）自己識別ターゲットは、より複雑で、高解像度で低ノイズの画像を必要とする。

【0007】

以下では、最先端技術によるアプローチについて説明する。エルンストら（Ernst et al.）は、領域ベースのアプローチを用いたロバストカラーチャート検出のための方法を紹介した（特許文献１）（非特許文献５）。バレットら（Baretto et al.）は、内視鏡カメラ較正の要件（非特許文献１）（特許文献２および特許文献３）に準拠するように特に設計され、その後改良された較正方法（非特許文献９、非特許文献１０）を紹介した。フュサテルら（Fuersattel et al.）は、照明条件が悪く、低解像度の画像でチェッカーボードパターンを（部分的に隠れている）検出する別のアプローチを提案している（非特許文献７）。

【0008】

しかしながら、上記の概念のいずれも、強い歪、画像のブレ、ノイズ、および部分的に見えるターゲットを扱うのに十分ロバストではない。したがって、改善されたアプローチに対する必要性がある。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本願発明の目的は、例えばカメラの較正を可能にするために、困難な条件下で平面較正ターゲット、すなわちチェスボードのようなものをロバストに検出するための概念を提供することである。

【0010】

主題は、独立請求項の主題によって解決される。

【課題を解決するための手段】

【0011】

本願発明の実施形態は、チェスボードなどの均質な領域を有する既知のパターンを検出するための方法に関する。この方法は、既知のパターンの画像、または既知のパターンの少なくとも一部の画像を撮影するステップ、および検出を実行するステップを含む。検出は少なくとも２つのステップを含む。すなわち、画像の第１の領域の初期検出と画像の第２の領域内の既知のパターンの特徴の検出である。第１の領域（例えばチェスボードの３×３部分）は少なくとも２つの均質な領域を含む。第２の領域（例えば、２×２チェッカーボードモデル）は、第１の領域に隣接して配置されており、これもまた少なくとも２つの均質な領域を含む。初期検出は、パターンの領域の位置、および／または領域の向き、またはその歪など、少なくとも１つの領域パラメータを推定する目的を有する。これから出発して、チェッカーボードのコーナーのような特徴が検出可能である第２の領域が選択され得る。この第２の検出ステップは、第２の領域内の特徴的な機能の位置などの少なくとも１つの領域パラメータを取得する目的を有し、ここで特徴とは、（例えば）特徴が既知のパターンへのマッピングを可能にすることを意味する。

【0012】

本願発明の実施形態は、較正ターゲット、ここでは均質な領域を有する既知のパターン、を検出するためのプロセスがロバストかつ正確な方法で実行され得るとき、較正プロセスが改善され得るという知識に基づく。本明細書に開示された教示によれば、パターン／チェスボードの検出は二段階戦略に従って行われる。最初の段階では、較正ターゲットの一部の生の推定値、例えばチェスボードの３×３部分がこの部分を検出し、空間内のパターンの生の向きなどの第１のモデルパラメータを取得するために実行される。この第１の推測から始めて、隣接領域内の特徴を検出するために、既に検出された第１の領域に隣接する領域が調査される。最初の部分の最初の推測から始めて、パターンの生の位置がわかるはずであるが、空間内の既知のパターンの正確な（またはより正確な）位置は、特徴の決定によって改良することができる。特徴は、決定が、例えばコーナーの決定であり得るようなコーナーであり得る。このアプローチは信頼性があり、強い歪、画像のブレ、ノイズ、そして部分的に見えるターゲットを処理する。それはロバストであり、カメラ較正、例えば内視鏡カメラのための較正ターゲットの正確な決定を提供する。

【0013】

更なる実施形態によれば、更なる改良を達成できるように、特徴決定は更なる領域、例えば第１の領域から第２の領域を通る方向に延びる方向の複数の領域、について繰返されてもよい。別の実施形態によれば、追加のモデルパラメータ（第３の領域に対するモデルパラメータ、例えば第３の領域内のコーナーの位置）を得るために、特徴検出を第１または第２の領域に隣接する第３の領域に対して繰返すことができる。追加の特徴が見つからなくなるまで、さらなる領域に対してさらなる反復が実行されてもよい。反復は、第１の領域から第２の領域を通って延びる第１の方向内で、または第１の方向から延びていない第１の領域から延びる別の方向内で実行されてもよい。実施形態によれば、次の特徴決定が行われる領域は、適応カメラモデル（例えば、カメラの歪を記述する）および較正ターゲットのシミュレートモデルに基づいて選択される（ここで、シミュレーションは、以前に決定された特徴および／または較正ターゲットの特徴部分の初期検出に基づいて行われる。）。これは、換言すれば、実施形態によれば、第１、第２、第３のまたは他の領域内の特徴の検出後に、カメラの挙動を記述するカメラ較正パラメータが更新され、第２、第３のまたは他の領域を選択する連続する（任意の）ステップは、更新されたカメラパラメータに基づいて実行される。

【0014】

実施形態によれば、特徴検出はコーナー検出である。例えば、チェスボードを較正ターゲットとして考えるとき、コーナー検出は、それぞれが２×２フォーマットのチェッカーボードモデルであるテンプレートを使用することによって実現され得る。検出は、テンプレートと、画像の第１、第２、第３のまたは他の領域の画像との間の比較によって行われる。一般的にコーナーは長方形ではないので、テンプレートをコーナーに合わせるために比較中に変形することができる。実施形態によれば、テンプレートと撮影された画像との間の比較は、画像の第１、第２、第３のまたは他の領域内の部分と１つ以上のテンプレートとの間の対応を決定することによって行われる。ここで、チェッカーボードモデルの２つのフィールドの平均ピクセル値の間の強度差を決定されることができ、ここで強度差の最大値は一致を示す。あるいは、チェッカーボードモデルの２つのフィールドの標準偏差を決定することができ、ここで最小値はマッチングを示す。このアプローチは以下の数式で表すことができる。

【0015】

【0016】

【0017】

【0018】

さらなる実施形態によれば、射影モデルの決定を実行することができる。この射影モデルは、それぞれのモーフ可能モデル、およびそれぞれのモーフ可能モデルの各頂点（第１、第２、第３のまたは他の領域に属する）が画像内に線形に射影されるという仮定に基づいている。

【0019】

【0020】

実施形態によれば、最初の検出は、第１の領域の異なる部分／位置／サブ領域に対して計算されなければならない、いわゆる判別基準を使用して実行される。ここで、この計算は、第１の領域を発見するために、画像全体内の異なる（サブ）領域および／または異なるピクセルの分布に対して実行される。第１の領域は、判別基準が最大限満たされたときに発見される。ここで、計算が迅速に行われることができるように、計算がいくつかのピクセル、例えば、領域当たり５ピクセル、または一般に、その領域のすべてのピクセルより少ない限られた数のピクセルについてのみ行われることは有益である。なお、ピクセル数が多いほど、より正確に判定できるため、ピクセル数は、演算性能と演算精度とのトレードオフに基づくことに留意されたい。

【0021】

【0022】

別の実施形態は、カメラの較正方法を提供し、ランダム法は、上述のようなパターン検出と、少なくともカメラ較正パラメータ、例えば、レンズ歪の計算とを使用する。内視鏡カメラはしばしば強いレンズ歪を有するので、この較正方法は内視鏡カメラに有利に使用され得る。

【0023】

別の実施形態は、コンピュータ上で実行しているときに上記の方法ステップのうちの１つを実行することを可能にするコンピュータプログラムを提供する。さらなる実施形態によれば、上記方法の実行を可能にする装置が提供される。

【0024】

次に、添付の図面を参照しながら本願発明の実施形態を説明する。

【図面の簡単な説明】

【0025】

【図1a】図１ａは、基本的な実施形態によるカメラを較正するための方法を示す概略フローチャートを示す図である。

【図1b】図１ｂは、改善された実施形態によるカメラを較正するための方法の改善されたバージョンを示す別の概略フローチャートを示す図である。

【図2a】図２ａは、実施形態による、カメラを較正し、カメラ較正パラメータを調整するための方法の６つの異なるステップ中の較正ターゲットの７つの画像を示す図である。

【図2b】図２ｂは、実施形態による、カメラを較正し、カメラ較正パラメータを調整するための方法の６つの異なるステップ中の較正ターゲットの７つの画像を示す図である。

【図2c】図２ｃは、実施形態による、カメラを較正し、カメラ較正パラメータを調整するための方法の６つの異なるステップ中の較正ターゲットの７つの画像を示す図である。

【図2d】図２ｄは、実施形態による、カメラを較正し、カメラ較正パラメータを調整するための方法の６つの異なるステップ中の較正ターゲットの７つの画像を示す図である。

【図2e】図２ｅは、実施形態による、カメラを較正し、カメラ較正パラメータを調整するための方法の６つの異なるステップ中の較正ターゲットの７つの画像を示す図である。

【図2f】図２ｆは、実施形態による、カメラを較正し、カメラ較正パラメータを調整するための方法の６つの異なるステップ中の較正ターゲットの７つの画像を示す図である。

【図2g】図２ｇは、実施形態による、カメラを較正し、カメラ較正パラメータを調整するための方法の６つの異なるステップ中の較正ターゲットの７つの画像を示す図である。

【図3】図３は、実施形態による初期推定を実行するために使用されるサンプリング点と共にチェッカーボードモデルを示す図である。

【図4】図４は、実施形態による特徴検出／コーナー検出に使用される７つの異なる形態のテンプレートのドラマティックな表現を示す図である。

【図5a】図５ａは、実施形態によるモーフテンプレートの最適化前後の２×２チェッカーボードモデルを使用したサブピクセルの正確なコーナ検出の原理を説明するための２つの異なる概略図である。

【図5b】図５ｂは、実施形態によるモーフテンプレートの最適化前後の２×２チェッカーボードモデルを使用したサブピクセルの正確なコーナ検出の原理を説明するための２つの異なる概略図である。

【図6a】図６ａは、候補の例を示す２つの異なる図を示す図である。

【図6b】図６ｂは、候補の例を示す２つの異なる図を示す図である。

【図7】図７は、パターン検出を実行するためのアルゴリズムを示す図である。

【発明を実施するための形態】

【0026】

以下、本願発明の実施の形態について図面を参照しながら説明する。ここで、同一または類似の機能を有する要素またはステップには、同一の参照番号が付されている。したがって、その説明は入替可能であり相互に適用可能である。

【0027】

図１ａは、均質な領域１０ａおよび１０ｂを有する既知のパターン１０を検出するための基本方法１００を示す。既知のパターン１０は、例えば、チェスボードまたは例えば、円周で構成されているか、ＱＲコード（登録商標）の配置を持っている他の規則的または不規則的なパターンであってもよい。通常、しかし不必要に、領域１０ａおよび１０ｂは白黒であり、それによって同じものが高いコントラストを提供する。しかしながら、さらなる実施形態によれば、均質な領域は異なる色を有してもよい。方法１００は、３つの基本ステップ１１０、１２０、および１３０を含む。

【0028】

第１のステップ１１０において、パターン１０全体またはパターン１０の一部の写真が撮影される。この写真から始めて、ステップ１２０および１３０を使用してパターン検出が行われる。

【0029】

ステップ１２０内で、第１の領域１２の初期検出が行われる。この初期検出は、例えば試行錯誤の手順を用いて、すなわちパターン１０の画像内の異なる領域についていわゆる判別基準を計算すること（パッチサイクル１２’参照）によって実行されてもよい。ここで、判別基準を最大限に満たすために、画像内の異なる位置および／または領域１２の異なる向きを計算することができる。検出のこの第２のステップ１２０は、領域の位置など、第１の領域についての少なくとも１つの領域パラメータの生の推定値を得るという目的を有する。

【0030】

このステップ１２０に関して、このステップは任意選択であり、初期推定を迅速に実行するために限られた数のピクセルに対する判別基準の計算に基づいて実行されることに留意されたい。この第１の領域パラメータに基づいて、理論的には、この知識をカメラの較正に使用できるように、空間内のパターンの向きを計算することが可能である。しかしながら、実際には、領域パラメータの最初の推測は、一般にカメラ較正パラメータを推定するために、特に既知のパターン、例えばチェスボードのコーナー、の特徴を検出する次のステップ１３０への入力として、２つの問題に使用される。

【0031】

第１の領域パラメータ（ステップ１２０参照）は既知であるので、ステップ１３０内で決定されるべき特徴の概略位置は既知であるように、既知のパターン１０は、事実上空間内に配置することができる。この知識から、特徴が検索される（選択される）第２の領域１４が始まる。ここで、第２の領域１４は、第１の領域１２と隣接している。「ここで」とは、例えば、第２の領域１４が第１の領域１２に隣接すること、またはそれが近くにあることを意味し、その間に別の領域が配置されてもよい。この選択された第２の領域１４に基づいて、既知のパターンの特徴を検出するステップ１３０が、その特徴の少なくとも１つの領域パラメータ、例えばチェスボードのコーナーの正確な位置、を取得するために実行される。なお、第２の領域１４は、第１の領域１２と重っていてもよいし、第１の領域１２の一部であってもよいことに留意されたい。従って、ステップ１３０は、（以下に説明するように）領域１２内の特徴／コーナーを決定するために実行される。

【0032】

今、領域に対する少なくとも１つの領域パラメータが分かっているので、パターンを決定することができる。しかしながら、これをより正確に決定するために、さらなる実施形態によれば、第３の領域またはさらなる領域（破線を有する矢印）についてステップ１３０を繰返すことが可能である。ここで、第３の領域（符号１６参照）は、第１の領域１２から第２の領域１４を通って画像１０の縁に至る方向に並んでいてもよい。あるいは、第３の領域は別の領域（例えば、第３の領域１６’）に配置されてもよい。通常、ステップ１３０は、実施形態によれば、追加の特徴が発見できなくなるまで繰返される。各反復について、カメラ較正パラメータは、図１ｂに関して論じられるように更新され得る。

【0033】

図１ｂは、３つのフェーズ、すなわち初期推定フェーズ２２０、パターン成長フェーズ２３０、およびオプションのパラメータ最適化フェーズ２４０からなる方法２００を示す。

【0034】

初期段階２２０では、いわゆる予備サンプリング戦略２２１を使用して、チェッカーボードの位置およびサイズに対する初期推定値を発見する。これに関連して、この予備サンプリング戦略を示す図２ａおよび図２ｃが参照される。この予備サンプリング戦略は、第１の領域１２を発見するという上記のアプローチに実質的に準拠する（ステップ１２０参照）。

【0035】

ステップ２２２内で最良の一致が選択され、そこからパターン成長段階２３０が開始される。このパターン成長段階２３０内で、推測はサブピクセル精度のコーナー位置にリファインされる。このステップは、コーナー２３１のリファインと呼ばれる。ここで、実施形態によれば、異なる形態のテンプレートを使用する手法が使用される。テンプレートはまた、変形可能なコーナーモデルとも呼ばれる。ここで、テンプレートと第２の領域１４内の画像との間の比較は、第２の領域１４内の異なる位置で行われ、検出すべきコーナーに同じように適応（歪、シフト）するようにテンプレートを変形するために変形パラメータが変化させられる。比較の結果、１つの変形されたテンプレートが１つの位置で最良の一致を達成する。この位置は、領域パラメータとして選択される。ステップ２３２を参照されたい。

【0036】

決定された領域パラメータは、パラメータ最適化のために使用される（２４０参照）。ここで、ステップ２４１に示すように、カメラ較正（モデル）パラメータが再推定される。

【0037】

再推定されたカメラ較正（モデル）パラメータから始めて、パターン成長段階２３０が継続する。ここで、新しい候補を作成するステップ２３３、すなわち新しい領域、例えば第３の領域１６、を検索するステップ２３３が実行される。この候補が発見されると、新しい特徴（コーナー）が発見できなくなくなるまで、ステップ２３１および２３２が繰返される。この決定は、位相パラメータ最適化２４０内で、すなわち決定ステップ２４２を使用して行われる。これは、換言すれば、拡張フェーズが、検出されたコーナーの近くにある新しいチェッカーボードのコーナー／特徴を繰返し検索し、カメラパラメータを更新することを意味する（ステップ２４１参照）。これは、図２を見ると、図２ｅおよび２ｆによって示されている。

【0038】

新たな特徴／コーナーが発見できなくなった後、方法２００は終了する（２４３参照）。ここでは、図２ｇに示すように、全ての特徴／コーナー（参照番号Ｘ）が検出される。

【0039】

この方法２００および特に段階２２０、２３０、および２４０について、さらに詳細に説明する。

【0040】

初期推定フェーズ２２０
方法２００は、チェッカーボードのサイズ、姿勢および位置の初期推定値を有する。ここでは、３×３チェッカーボードモデルの画像（図３参照）を定期的にスキャンして、チェッカーボードモデルと画像との高い対応位置を見つける（図２ａ、２ｂ参照）。その位置で、９つのチェッカーボードのパッチのそれぞれの中の５つの点Ｐの強度がサンプリングされる。

【0041】

図３は、領域１２を発見するために使用されるランダムサンプリングモデルを示す。参照番号Ｐでマークされた点はサンプルを示す。モデルは２つのグループ（黒と白）の均質な領域で構成されている点に留意されたい。

【0042】

【0043】

【0044】

位相パターン成長２３０
最初の推測に基づいて、拡張フェーズでは、新しいチェッカーボードのコーナーを繰返し検出する。検出されたチェッカーボードのコーナーごとに、４つの直接隣接コーナーをコーナー候補と見なし、コーナー検出を実行する。それから、それに応じて初期の推測をリファインする。パターン成長フェーズは主に領域ベースのコーナー検出で構成されているため、この方法はブレやノイズに対して非常にロバストとなる。このプロセスを詳細に説明するために、非常に柔軟なパラメータ化およびその画像空間への射影を可能にするモーフ可能モデルが導入される。

【0045】

【0046】

【0047】

このモーフ可能モデルは、クーツおよびテイラー（Cootes and Taylor）による点分布モデル（pdm）の影響を受ける（非特許文献３）。デフォルトのテンプレートからの各変形テンプレートの偏差は、pdmの変動モードに類似している。しかしながら、モーフ可能モデルは、より単純な誤差曲面を生み出すために人為的により多くの自由度を導入する。また、モデル座標系でのスケーリングと平行移動も考慮されている。

【0048】

【0049】

図５に関して、２×２チェッカーボードを使用したサブピクセル精密コーナ検出が示されている。ここで、図５ａは最適化前のコーナーモデルを示し、図５ｂは最適化処理後のコーナーモデルを示す。

【0050】

【0051】

【0052】

【0053】

歪モデリングに使用される係数の数は、モデルの精度に影響を与える。ツァイ（Tsai）は、産業用マシンビジョンのアプリケーションでは、１つの係数で半径方向歪のみをモデル化するのが適切であると指摘する（非特許文献１１）。バレット（Barreto）らは、内視鏡検査用途には、１つより多くの半径方向係数を使用することが有利であり得ることを示している（非特許文献１）。好ましい用途は、強い歪効果を示す内視鏡画像を扱う。従って、他のものと同様に、２つの半径方向係数と２つの接線方向係数が使用される（非特許文献１３、非特許文献１４）。

【0054】

【0055】

【0056】

【0057】

図６は、縮退の結果（図６ａ参照）または高い残差（図６ｂ参照）のために外された候補の２つの例を示す。

【0058】

【0059】

【0060】

【0061】

【0062】

このようにして、μ_rとσ_rを効率的に近似することができ、高速でロバストなローカルコーナー検出器を実装することができる。サブピクセル精度を達成するためにバイリニアサンプリングが適用される。このステップは推定２４０を可能にする。

【0063】

【0064】

【0065】

【0066】

上記の実施形態は、古典的なチェスボードパターンに焦点を当てて論じられてきたが、提案された方法が他の較正ターゲットにも同様に適応され得ることは明らかである。たとえば、コーナーモデルを適切なモデルに置換え、パターン成長のために近傍定義を置換えるだけでよい。

【0067】

疎領域サンプリングの場合、現在のアプローチでは、領域／面積あたり５つのサンプリング点が、サンプルあたり４５のサンプリング点まで使用されることに留意されたい。

【0068】

その数は確実に減らすことができる。おそらく２つか１つのサンプリングポイントで十分であり、それは手順をスピードアップするであろう。さらに、十字（５パッチ）またはＸ（５パッチ）などの他のテンプレート形式も有用であり得る。もちろん、結果はより弱くなるかも知れない。これは、候補が見つかるとすぐに近くで検索されることで補われる可能性がある。

【0069】

実施形態によれば、変形テンプレートは、コーナー検出に使用されるだけでなく、上述の円を検出するためにも使用され得る（パターンが円によって形成される場合）。ここで、テンプレートは、（楕円を形成するように）異なってモーフされた円を含む。そのような円テンプレートは、位置、例えば円の中心を検出することを可能にする。

【0070】

【0071】

上記の実施形態では、コーナー検出は、モーフテンプレートを使用する手法に基づいて説明された。しかしながら、アフィン変換に基づくアプローチのような他のコーナー検出技術も可能である。

【0072】

カメラモデルに関しては、焦点が合っていないカメラモデルがあることに注意すべきである。好ましくは、標準的なブラウン−コンラディモデルが使用される。

【0073】

もちろん、異なるカメラモデルを接続するのは簡単である。そのためには、上述のようにモデルから画像座標へのマッピングを置き換えることで十分である。

【0074】

更なる実施形態は、例えば内視鏡用カメラについての較正プロセスを参照する。この手法は、さらなる実施形態によれば、自動マルチカメラ較正に適合させることができる。

【0075】

マルチカメラ設定の較正では、座標原点が較正画像のシーケンス全体で一定である必要がある。このために、通常、座標原点を定義するためにチェッカーボードフィールドの少なくとも１つにある種のマーカーを配置する。マーカーは、領域ベースのアプローチによって容易にモデル化および検出を行うことができる。代わりに、チェッカーボードフィールドのいくつかは特定の色を持つことができる。特定の／異なる色を有するフィールドは、同様に座標系の原点を局所化することを可能にする。さらに、特定の色を有するマーカーおよび視野は、たとえパターンの一部しか画像によって示されていなくても、検出されたとき、空間内のパターンの近似配向を可能にする。さらに、色付きのフィールドまたはマーカーは、外部較正やマルチカメラ構成の較正に役立つ（これらの較正では通常複数のフレームが使用されるため）。

【0076】

勾配降下最適化に関して、コーナー検出器残差を最小にするために、レーベンバーグ−マーカート法を使用する代わりに、勾配ベースの手法を適用することもできることに留意されたい。それは、特に数値微分を自動識別によって置換えることによって、より効率的な実装を可能にし得る。

【0077】

色収差の推定に関しては、適切なモデルと組合せて、色収差を検出するためにアプローチを容易に拡張することができることに留意されたい。このため、チェッカーボード検出を各カラーチャンネルに別々に適用することができる。

【0078】

いくつかの態様が装置の文脈で説明されてきたが、これらの態様が対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様はまた、対応する装置の対応するブロックまたは項目または特徴の説明を表す。方法ステップのいくつかまたはすべては、例えばマイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちのいくつかの１つ以上がそのような装置によって実行され得る。

【0079】

特定の実施要件に応じて、本願発明の実施形態はハードウェアまたはソフトウェアで実施することができる。電子的に読み取り可能な制御信号が記憶されているデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを使用して実施することができ、それらは、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）。従って、デジタル記憶媒体はコンピュータ可読であり得る。

【0080】

本願発明によるいくつかの実施形態は、本明細書に記載の方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読取可能な制御信号を有するデータキャリアを含む。

【0081】

一般に、本願発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するときに方法のうちの１つを実行するように動作可能である。プログラムコードは、例えば機械可読キャリアに格納することができる。

【0082】

他の実施形態は、機械可読キャリアに格納された、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含む。

【0083】

換言すれば、本願発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0084】

従って、本願発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを記録したデータ記憶媒体（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データ記憶媒体、デジタル記憶媒体、または記録された媒体は通常、有形および／または非一時的である。

【0085】

従って、本願発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えばインターネットなどのデータ通信接続を介して転送されるように構成されてもよい。

【0086】

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。

【0087】

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。

【0088】

本願発明によるさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを（例えば、電子的または光学的に）受信機に転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、メモリ機器などであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含み得る。

【0089】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、任意のハードウェア装置によって実行されることが好ましい。

【0090】

上述の実施形態は、本願発明の原理を説明するための例示にすぎない。本明細書に記載された構成および詳細の修正および変形は、他の当業者にとって明らかであろうことが理解される。従って、差し迫った特許請求の範囲によってのみ限定され、本明細書の実施形態の説明および説明のために提示された具体的な詳細によっては限定されないことが意図されている。

【先行技術文献】

【非特許文献】

【0091】

【非特許文献1】[1] J. Barreto, J. Roquette, P. Sturm, and F. Fonseca. Automatic camera c alibration applied to medical endoscopy. In BMVC 2009-20th British Machine V ision Conference, pages 1-10, London, United Kingdom, 2009. The British Ma chine Vision Association (BMVA).

【非特許文献2】[2] D. C. Brown. Close-range camera calibration. Photogrammetric Engineering, 37:855-866, 1971.

【非特許文献3】3] T. F. Cootes and C. J. Taylor. Active shape models - 'smart snakes'. In P roceedings of the British Machine Vision Conference, pages 28.1-28.10. BMV A Press, 1992. doi:10.5244/C.6.28.

【非特許文献4】[4] R. O. Duda, D. G. Stork, and P. E. Hart. Pattern classification and scene analysis. Wiley, New York, USA, 2nd edition, 2001.

【非特許文献5】[5] A. Ernst, A. Papst, T. Ruf, and J.-U. Garbas. Check My Chart: A Robust Co lor Chart Tracker for Colorimetric Camera Calibration. In Proceedings of the 6th International Conference on Computer Vision / Computer Graphics Collabo ration 8 Techniques and Applications, MIRAGE '13, pages 5:1-5:8, New York, NY, USA, 2013. ACM.

【非特許文献6】[6] M. Fiala and C. Shu. Fully automatic camera calibration using self-identi fying calibration targets. 2005.

【非特許文献7】[7] P. Fuersattel, S. Dotenco, S. Placht, M. Balda, A. Maier, and C. Riess. O cpad - occluded checkerboard pattern detector. In Applications of Computer Vision (WACV), 2016 IEEE Winter Conference on, March 2016.

【非特許文献8】[8] J. Mallon and P. F. Whelan. Which pattern? biasing aspects of planar cali bration patterns and detection methods. Pattern recognition letters, 28(8):9 21-930, 2007.

【非特許文献9】[9] A. Malti and J. P. Barreto. Hand-eye and radial distortion calibration for rigid endoscopes. The International Journal of Medical Robotics and Comp uter Assisted Surgery, 9(4):441-454, 2013.

【非特許文献10】[10] R. Melo, J. Barreto, and G. Falcao. A New Solution for Camera Calibration and Real-Time Image Distortion Correction in Medical Endoscopy - Initial Te chnical Evaluation. IEEE Transactions on Biomedical Engineering, 59(3):634- 644, Mar. 2012.

【非特許文献11】[11] R. Tsai. A Versatile Camera Calibration Technique for High-accuracy 3D Ma chine Vision Metrology Using Off-the-shelf TV Cameras and Lenses. In L. Wolf f, S. Shafer, and G. Healey, editors, IEEE Journal of Robotics and Automatio n, pages 221-224. USA, 1987.

【非特許文献12】[12] P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In Proceedings of the IEEE Computer Society Conference on C omputer Vision and Pattern Recognition, volume 1, pages 511-518. IEEE, 200 1.

【非特許文献13】[13] G.-Q. Wei and S. D. Ma. Implicit and explicit camera calibration: theory and experiments. IEEE Transactions on Pattern Analysis and Machine Intellige nce, 16(5):469-480, 1994.

【非特許文献14】[14] Z. Zhang. A flexible new technique for camera calibration. In IEEE Transa ctions on Pattern Analysis and Machine Intelligence, page 22, 2000.

【特許文献】

【0092】

【特許文献1】国際公開第2012113732号

【特許文献2】国際公開第2013015699号

【特許文献3】国際公開第2014054958号

【図1a】

【図1b】

【図2a】

【図2b】

【図2c】

【図2d】

【図2e】

【図2f】

【図2g】

【図3】

【図4】

【図5a】

【図5b】

【図6a】

【図6b】

【図7】