特許 7100199 カメラを較正するための構成及び該構成の計測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-04

(45)【発行日】2022-07-12

(54)【発明の名称】カメラを較正するための構成及び該構成の計測

(51)【国際特許分類】

   H04N 17/00 20060101AFI20220705BHJP

   H04N 5/232 20060101ALI20220705BHJP

【ＦＩ】

H04N17/00 200

H04N5/232

【請求項の数】 11

(21)【出願番号】P 2021518460

(86)(22)【出願日】2019-12-16

(65)【公表番号】

(43)【公表日】2022-01-06

(86)【国際出願番号】 DE2019200147

(87)【国際公開番号】W WO2020125876

(87)【国際公開日】2020-06-25

【審査請求日】2021-04-02

(31)【優先権主張番号】102018222796.9

(32)【優先日】2018-12-21

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】503355292

【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ

【住所又は居所原語表記】Ｓｉｅｂｏｌｄｓｔｒａｓｓｅ １９， Ｄ－９０４１１ Ｎｕｅｒｎｂｅｒｇ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】アレクソフスキー・マルコ

(72)【発明者】

【氏名】フランツ・イヴァン

(72)【発明者】

【氏名】ラサルク・アレス

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２００４－０９３２１６（ＪＰ，Ａ）

【文献】特開２００３－１９４５２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １７／００

Ｈ０４Ｎ ５／２２２

(57)【特許請求の範囲】

【請求項1】

以下の：
基準カメラアダプタ（４０）を取付けるための、或いは、較正されるカメラ（３１）用のアダプタ（３４）を取付けるための第一ポジショニング台（４３）と、
補助ターゲット（２１）と、
基準カメラハウジング（１１）或いは補助ターゲット（２１）を取付けるための基準カメラアダプタ（４０）と、
較正されるカメラ（３１）を取付けるためのアダプタ（３４）と、
基準カメラハウジング（１１）を取付けるための第二ポジショニング台（４１）と、
第一ポジショニング台（４３）に取り付けられている基準カメラ（１１）乃至較正されるカメラ（３１）から捕捉できるように配置されている少なくとも一つの較正用ターゲット（５１，５２，５３）と、
基準カメラ（１２，１３）を取り付けるための基準カメラハウジング（１１）と、を包含する較正されるカメラ（３１）を較正するための構成であって、
第一ポジショニング台（４３）は、第一ポジショニング台（４３）に取り付けられている基準カメラ（１２，１３）によって捕捉された第一画像が、少なくとも一つの較正用ターゲット（５１，５２，５３）を含む様に配置されており（Ｐｏｓ．５４）、
第二ポジショニング台（４１）は、第二ポジショニング台（４１）に取り付けられている基準カメラ（１２，１３）によって捕捉された第二画像が、少なくとも一つの較正用ターゲット（５１，５２，５３）と第一ポジショニング台（４３）に取り付けられている補助ターゲット（２１）を含む様に配置されている（Ｐｏｓ．５５乃至Ｐｏｓ．５６）当該構成。

【請求項2】

第三ポジショニング台（４１）に取り付けられている基準カメラ（１２，１３）によって捕捉された第三画像が、少なくとも一つの較正用ターゲット（５１，５２，５３）と第一ポジショニング台（４３）に取り付けられている補助ターゲット（２１）を含む様に配置されている（Ｐｏｓ．５５乃至Ｐｏｓ．５６）基準カメラ（１１）が取り付けられている第三ポジショニング台（４１）を更に有している請求項１に記載の構成。

【請求項3】

該構成が、互いに同一平面上に配置されていない三つの平坦な較正用ターゲット（５１，５２，５３）を有している請求項１或いは２に記載の構成。

【請求項4】

第一ポジショニング台（４３）への基準カメラ（１１）の取付において、第二ポジショニング台（４１）への取付と比較して、基準カメラ（１１）のポーズの各々六つの空間的自由度全てが、差異を有する様に第一および第二ポジショニング台（４３，４１）が、配置され、コンフィグレーションされる請求項１～３のいずれか一項に記載の構成。

【請求項5】

第一ポジショニング台（４３）が、基準カメラアダプタ（４０）を取付けるための、或いは、較正されるカメラ（３１）用のアダプタ（３４）を取付けるための第一メカニカルインターフェースタイプ（４４）を有し、
基準カメラアダプタが、基準カメラ（１０，１１）乃至補助ターゲット（２１）を取付けるための第二メカニカルインターフェースタイプ（１５；２４）と第一インターフェースカウンターピース（３３）を有し、
較正されるカメラ（３１）を取付けるためのアダプタ（３４）が、第一インターフェースカウンターピース（３３）を有し、
第二ポジショニング台（４１）が、基準カメラ（１０，１１）を取付けるための第二メカニカルインターフェースタイプ（４２）を有し、
基準カメラハウジング（１１）が、第二インターフェースカウンターピース（１５）を有する請求項１～４のいずれか一項に記載の構成。

【請求項6】

基準カメラ（１１，１２，１３）の外在的及び／或いは内在的パラメータを、少なくとも一枚の第一及び第二画像を評価することによって割出すことができるように整備されている評価ユニットをさらに有する請求項１～５のいずれか一項に記載の構成。

【請求項7】

以下の：
第一ポジショニング台（４３，Ｐｏｓ．５５）上において基準カメラ（１０，１１）をポジショニングするステップ（９０１）と、
少なくとも一つの較正用ターゲット（５１，５２，５３）の第一画像を基準カメラ（１０，１１）によって捕捉するステップ（９０２）と、
第一ポジショニング台上において補助ターゲット（２１）をポジショニングするステップ（９０３）と、
第二ポジショニング台（４１，Ｐｏｓ．５５）上において基準カメラ（１０，１１）をポジショニングするステップ（９０４）と、
少なくとも一つの較正用ターゲット（５１，５２，５３）と補助ターゲット（２１）の第二画像を基準カメラ（１０，１１）によって捕捉するステップ（９０５）と、
少なくとも一つの較正用ターゲット（５１，５２，５３）に対する補助ターゲット（２１）の向きとポジションを、第二画像を評価することによって割出すステップと、
全ての較正用ターゲット相互間の向きを割出すステップと、
基準カメラの未知のパラメータを捕捉された第一及び第二画像を評価することによって割出すステップ（９０８）と、を有する較正されるカメラ（３１）を較正するための構成を計測するための方法であって、
外在的パラメータは、第一画像から、第一較正用ターゲットに対する補助ターゲット（２１）の相対的向きとポジションは、第二画像において割出される当該方法。

【請求項8】

第一ポジショニング台（４３）、インターフェース（４４，１５，２４）、基準カメラアダプタ（４０）、補助ターゲット（２１）及び基準カメラ（１０，１１）からなる構成の実際の寸法は、基準カメラ（１０，１１）によって画像を捕捉する前に計測される請求項７に記載の方法。

【請求項9】

以下の：
第三ポジショニング台（４１，Ｐｏｓ．５６）上において基準カメラ（１０，１１）をポジショニングするステップ（９０６）と、
少なくとも一つの較正用ターゲット（５１，５２，５３）と補助ターゲット（２１）の第三画像を基準カメラ（１０，１１）によって捕捉するステップ（９０７）と、
基準カメラの未知のパラメータを捕捉された全ての画像を評価することによって割出すステップと、
内在的パラメータのクオリティ値を割出すステップ（９０９）と、
クオリティ値が、規定通りであった時に、内在的パラメータを保存するステップ（９１０）と、を有する請求項７或いは８に記載の方法。

【請求項10】

コンピュータの制御ユニット上で実行されると、画像の評価と、捕捉された画像の評価によって第二較正用ターゲットに対する相対的な第一ポジションの割出しが、請求項７から９のうち何れか一項に記載の方法に従って実施されるプログラム・エレメント。

【請求項11】

請求項１０に記載のプログラム・エレメントが保存されているコンピュータによって読み取り可能な媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラを較正するための構成の計測システム、カメラ較正システムを計測点検するための方法、コンピュータプログラム、並びに、コンピュータによって読み取り自在な媒体に関する。

【背景技術】

【0002】

計測するためのシステムとしてのカメラを使用するために必要なカメラのパラメータは、本質的に、画像内への三次元の点の投影描写を記述している。該パラメータは、カメラ製造時に、三次元の較正用構成、例えば、パターンが印刷されているプレート、所謂、ターゲットによって割出される。評価は、該構成と較正されるカメラによって検出されたパターンの点の画像内の既知のジオメトリ的比に基づいて実施される。割出されたパラメータは、光学系内における光の拡散（内在的パラメータ）、並びに、空間内の選択された座標系における該光学系のポーズ（位置と向き）（外在的パラメータ）を包含している。

【0003】

較正されるカメラの内在的パラメータは、以降の使用のために保存される。これら外在的及び内在的パラメータは、保存され、且つ引き続き、製造終了時のカメラの光学系や組み立てに対する要求を調べるためにも用いられる。

【0004】

上記のカメラ較正システムに対する一つの要求は、ターゲットが正確に調整されていることのみならず、カメラ取付部の姿勢が、時間の経過とともにずれたり、不安定であったりしてはならないことである。カメラ較正用のこの様なシステムは、非常に高価であり、且つ、徹底したメンテナンスを必要とする。

【発明の概要】

【発明が解決しようとする課題】

【0005】

よって、本発明の課題は、単純且つ略メンテナンスフリーの構成を可能にする、カメラ較正用の構成及び該構成を計測点検するための方法を提供することにある。

【課題を解決するための手段】

【0006】

本発明によれば、上記目的は、独立特許請求項に記載されている対象によって達成される。尚、有利な実施形態は、従属請求項、以下の明細書、並びに、図の対象である。

【0007】

本件明細書［の原文］では、「Ａｕｆｎａｈｍｅ（支持、取付、開始、評価、反応、受容、吸収、撮影、録画、録音、借り入れなど様々な意味を有する単語）」や「ａｕｆｎｅｈｍｅｎ（Ａｕｆｎａｈｍｅの動詞形）」と言う用語は、あるオブジェクトをホルダーなどに取付ける、例えば、カメラ乃至カメラハウジングをアダプタ、或いは、メカニカルインターフェースや機械的接続部に取付けると言う意味でのみ使用する。また、「Ｄａｓ ｆｏｔｏｇｒａｆｉｓｃｈｅ Ａｕｆｎｅｈｍｅｎ ｅｉｎｅｓ Ｂｉｌｄｅｓ（画像を写真撮影すること）」と言う意味では、即ち、画像やオブジェクト、例えば、較正用ターゲットを撮影することは、一貫して「ｅｒｆａｓｓｅｎ（捕捉する）」と表現する。

【0008】

ある実施形態によれば、カメラを較正するための構成が、提供される。該構成は、以下のエレメントを有している：補助ターゲット、基準カメラハウジング内の基準カメラ、基準カメラハウジングを取付けるための基準カメラアダプタ、較正されるカメラ（較正カメラ）を取付けるための較正カメラアダプタ、基準カメラの第一画像を捕捉するための基準カメラアダプタを取付ける乃至較正カメラアダプタを取付けるための第一ポジショニング台、第二画像を捕捉するための基準カメラを取付けるための第二ポジショニング台、並びに、少なくとも一つの較正用ターゲット。少なくとも一つの較正用ターゲットは、第一ポジショニング台に取付けられた基準カメラ乃至較正カメラによって捕捉される様に配置されている。第一ポジショニング台は、第一画像が、少なくとも一つの較正用ターゲットを包含しているように配置されている。第二ポジショニング台は、そこに取付けられている基準カメラの第二画像が、少なくとも一つの較正用ターゲットと第一ポジショニング台に取付けられた補助ターゲットを包含しているように配置されている。

【0009】

この様に、提案されている構成は、少なくとも二つのターゲットを包含しているが、該ターゲットは、例えば、チェス盤や円のパターンなどの特徴が印刷された、例えば、プレートであると解釈することができる。ターゲットは、較正カメラの画像領域をカバーできる様に適切な間隔と適切な方向に向けて較正ルーム内に設置されることが好ましい。基準カメラは、ターゲットのパターンが、できる限りその画像全体をカバーする様に取付けられることが好ましい。

【0010】

ある有利な実施形態によれば、第一ポジショニング台は、較正カメラアダプタ或いは基準カメラアダプタを取付けるための一つの第一メカニカルインターフェースタイプを有している。基準カメラアダプタは、基準カメラハウジング乃至補助ターゲットを取付けるための一つの第二メカニカルインターフェースタイプと一つの第一インターフェースカウンターピースを有している。更に、較正カメラを取付けるための較正カメラアダプタは、第一インターフェースカウンターピースを、第二ポジショニング台は、基準カメラハウジングを取付けるための第二メカニカルインターフェースタイプを有している。
使用される場合は、第三ポジショニング台は、第二メカニカルインターフェースタイプを有している。

【0011】

よって、補助ターゲットと基準カメラハウジングは、同じアダプタ、即ち、基準カメラアダプタに取付けられることができる。更なるアダプタ、即ち、較正カメラアダプタには、較正カメラが取付けられる。双方のアダプタは、インターフェースタイプが同じ、即ち、第一インターフェースタイプであるため、第一ポジショニング台に取り付けることができる。その取り付け部に、他のポジショニング台のインターフェースタイプと同じである第二インターフェースタイプを有している基準カメラ用の特別なアダプタによって、基準カメラは、全ての使用可能なポジショニング台に取り付けることができる。

【0012】

個々のコンポーネントは、即ち、基準カメラハウジング、アダプタとポジショニング台のインターフェース、及び、較正カメラを取り付けるためのアダプタは、ここではそれぞれ互いに対して、例えば、システムを構築する際に行われる計測によって割出すことができる定まった相対的姿勢乃至向きを有している。基準座標系は、ここでは、例えば、基準カメラハウジングの角とそれにつながる辺に対して展開することができる。構成の全ての位置と向きは、この基準座標系を用いて示すことができる。基準カメラのハウジングと理想的な較正カメラのハウジングと光学系は、互いに幾何学的関係に置かれることが特に好ましい。

【0013】

補助較正ターゲットは、好ましくは、第一ポジショニング台、即ち、後に較正される製品カメラが挿入されるポジショニング台上の基準カメラアダプタに固定されている立方体であることができる。

【0014】

この構成では、様々なコンポーネント間に幾何学的関係が存在している。好ましくは、基準カメラのハウジングは、第一ポジショニング台に対して、アダプタ乃至インターフェースの影響により、あるポーズを有している。このポーズは、経時的に変化せず、且つ、例えば、触覚的計測によって、予め計測されることができ、既知であると考えることができる。同様に、理想的な較正カメラのハウジング乃至光学系と第一ポジショニング台との間のポーズも割出し、且つ、既知であると考えることができる。前提とされ変更されない取付部構成要素の姿勢では、基準カメラと理想的な較正カメラとの間の定まった変更できない既知の幾何学的関係は、基準カメラ、第一ポジショニング台及び較正カメラからなるサブシステム内に存在している。

【0015】

ある好ましい実施形態によれば、該構成は、互い対して同一平面上には配置されていない、二つ乃至複数の較正用ターゲット（例えば、平らなチェス盤パターン）を有している。これにより、多義的（デジェネレイト）な空間的シーンを回避することができる（他の本実施形態を参照）。これら較正用ターゲットは、例えば、対応するコーディングによって、それぞれ一義的に識別できることが好ましい。ターゲットのほとんどは、即ち、それぞれの較正用ターゲットは、それを識別するための識別パターンを有している。

【0016】

第一および第二ポジショニング台は、（基準カメラアダプタを介した）第一ポジショニング台との基準カメラの取付においては、第二ポジショニング台への取付と比較して、基準カメラのポーズの各々六つの空間的自由度全てが、（十分な）差異を有する様に配置され、コンフィグレーションされていることが好ましい。このオプションも、多義性を回避することに役立っているが、一方ここでは、双方の異なるポジションにおける基準カメラの姿勢と向きに関するものである。カメラの姿勢は、所謂「クリティカルな動き」に準ずるものではないことが好ましい。

【0017】

較正されるカメラを較正するための構成を計測するための第一方法は、以下のステップを有している：
第一ポジショニング台上において基準カメラをポジショニングするステップ；
少なくとも一つの較正用ターゲットの第一画像を基準カメラによって捕捉するステップ；
第一ポジショニング台上において補助ターゲットをポジショニングするステップ；
第二ポジショニング台上において基準カメラをポジショニングするステップ；
少なくとも一つの較正用ターゲットと補助ターゲットの第二画像を基準カメラによって捕捉するステップ；
少なくとも一つの較正用ターゲットに対する補助ターゲットのポーズを、第二画像を評価することによって割出すステップ；
（全ての）較正用ターゲット相互の姿勢を割出すステップ；並びに
基準カメラの未知のパラメータを捕捉された第一及び第二画像を評価することによって割出すステップ、但し、外在的パラメータは、第一画像から、第一較正用ターゲットに対する補助ターゲットの相対的ポーズは、第二画像において割出される。

【0018】

第二画像内の補助ターゲットのポーズは、第一画像捕捉時の基準カメラのポーズに関する情報を与える。基準カメラの更なる未知のパラメータは、この情報を考慮した上で、捕捉された第一画像を評価することによって割出すことができる。

【0019】

本方法の更なる有利な形態によれば、第一ポジショニング台、インターフェース、基準カメラアダプタ、補助ターゲット及び基準カメラからなる構成の実際の寸法は、基準カメラによって画像を捕捉する前に計測される。この様にすることで、現在知られている限りの実際の寸法と基準カメラの画像を評価することによって割出された寸法の比較によって、基準カメラのパラメータを最適化することができる。

【0020】

ここからは先ず、基準カメラハウジングに対する基準カメラの内在的及び外在的パラメータが既知の場合における上記の方法の実施形態に関して説明する。第二画像の捕捉は、ここで説明されている実施形態では、有利であるが、必要ではない。パターンの有利な獲得及び空間内におけるパターンの有利な配置においては、基準カメラの第一画像内のターゲットの捕捉されたパターンから既に、互いに対するパターン（点）のポーズの推定が、以下に記述されている方法によって可能である。ある更なる実施形態では、これを、例えば、測定された大きさ及び／或いはパターンの平面度などの構成に関する予備知識も用いることにより実施できる。この際、好ましくは非常に正確に作られている補助ターゲットの寸法に関する予備知識を考慮することは、特に好ましい。更に、第一ターゲットに対する基準カメラのポーズと、基準カメラハウジングに対する基準カメラの既知のポーズ（外在的較正）から、第一ターゲットに対する第一台の、要するに、理想的な較正カメラの光学系のポーズは、推定することができる。複数のターゲットパターンがあり、第一画像に捕捉されている場合、これらのパターンの互いの関係、即ち、構成の計測も可能である。これら得られた情報から、該構成内における較正されるカメラの内在的なもののみならず、外在的パラメータも、割り出されることができる。

【0021】

最後のケースでは、較正用構成を計測するための光学システムの一般的な乃至当然と思われる実施形態を記述している。基準カメラの既知なパラメータによって仮定を減らしている本発明の実施形態を紹介する。

【0022】

続いて、基準カメラの内在的パラメータのみが既知な本発明の実施形態を説明する。

【0023】

先述のように、パターンの有利な獲得及び空間内におけるパターンの有利な配置においては、基準カメラによって捕捉されたターゲットのパターンの画像からターゲットの互いに対する姿勢の推定は、以下に記述されている方法によって可能である。

【0024】

上記によれば、本実施形態では、基準カメラの第二画像は、第二ポジショニング台から捕捉される。その際、第一ポジショニング台上の補助ターゲットは、基準カメラアダプタによって取り付けられる。これにより、基準カメラは、第二画像内において、第一較正用ターゲットのみならず、補助ターゲットも捕捉し、これにより、これらターゲット間の互いに対する相対的ポーズの推定が可能である。この様にすることで、基準カメラハウジングと補助ターゲット間の既知なポーズから、第一較正用ターゲットに対する基準カメラハウジングのポーズを得ることができる。第一較正ターゲットに対する基準カメラのポーズも考慮することにより、第一画像からは、基準カメラハウジングに対する基準カメラに対するポーズ、即ち、基準カメラの外在的パラメータを得ることができる。複数のアングルから捕捉すること並びに巧みな方法を用いることによって、ここで説明している実施形態も、基準カメラの全ての既知のパラメータの上記の第一のケースに帰着させることができる。即ち、計測システムは、自ら外在的に較正する。この方法では、構成（全てのターゲット）に対する第二の台にある基準カメラのポーズが割出されるため、第二の台は、好ましいことに、高い再現精度で設計する必要はない。

【0025】

ジオメトリが得られた後は、第一画像から較正カメラの全てのパラメータを、例えば、以下の説明に従って推定できる。

【0026】

ここからは、基準カメラの内在的なパラメータのみならず外在的なパラメータも未知である本発明の更なる実施形態を紹介する。

【0027】

ある実施形態によれば、以下に記載されている方法に従って、前述の方法における二回の捕捉から、既知のジオメトリ（例えば、パターンの既知な値及び／或いはターゲットの平面度）を前提として、基準カメラの未知な内在的パラメータを推定できる。しかしながら、堅牢なシステムを得るには、以下に記載されている実施形態を用いるべきである。

【0028】

ある実施形態によれば、計測システムは、第三ポジショニング台に取付けられている基準カメラが、第一ポジショニング台に取付けられている補助ターゲットと少なくとも一つの較正用ターゲットを第三画像に捕捉する様に配置されている第三ポジショニング台を有している。基準カメラが、第三ポジショニング台に取付けられると、較正用ターゲットと補助ターゲットは、他のポジションから捕捉することができるため、システムの較正精度を高めることができる。精度の向上に加え、三枚の画像（補助ターゲット、第一台上の基準カメラが写っていない第一画像；補助ターゲット、第二乃至第三台上の基準カメラが写っている第二及び第三画像）内において可視なパターンから、以下の説明する方法によって、基準カメラの内在的及び外在的較正を割り出すことができる。これは、これまでに記述したパターンの姿勢と基準カメラポジションに関する条件下において、数少ない構成の寸法に関する仮定を用いて、実施可能である。ここでは、リアルに物理的な構成の距離（例えば、第一較正用ターゲット上の較正パターンの姿勢）が既知であることのみが必須である。紹介しているケースは、システム自体を内在的及び外在的に較正することにより第一のケースに帰着させることができる。これにより、基準カメラの光学的パラメータ内の大きな変異（例えば、光学系の交換）も、基準カメラを更にメンテナンスすることなく、許容できる。

【0029】

この様に、該システムは、捕捉された画像の評価によって、カメラを較正するために、構成を計測することを可能にする配置を提供している。説明されているその他の実施形態では、自己較正するシステムが提供される。但し、これは、構成の計測に関することであり、後に較正される製品カメラは、この方法に含まれないことは、特記しておく。構成の計測により、どちらかと言えば、後に行われるカメラ較正を可能にする定義された環境を得ることを可能にする該構成の検定が、実施される。この様な計測により、該構成の望まれない微細な変化、例えば、環境からの影響や通常の物質の経時的な変化は、再調整やターゲットを交換すること無く、補整することが可能になる。

【0030】

更なる実施形態によれば、カメラ較正計測システムの較正用ターゲットは、その識別のために、識別パターンを有している。これにより、ターゲットは、識別パターン以外は同じパターン、例えば、チェス盤パターンや円パターンを有していることができ、且つ、捕捉された画像内の異なるターゲットは、やはり異なっており識別できるため、パターンの各々のエレメントを全てのターゲット上において正確に識別することができる。この識別パターンは、例えば、正方形など予め定められているパターンエレメント内において、例えば、点やその他の幾何学的形状であることができる。更なる方法としては、色、グレースケール、ＱＲコードなどによるコーディングを挙げることができる。

【0031】

紹介されている構成によれば、コンポーネントの計測によって、構成やカメラの様々な不具合を見つけることができる。

【0032】

第一ポジショニング台と較正用ターゲットは、システム内において経時的に最も変化しやすいコンポーネントである。較正用ターゲットでは、例えば、湿度や温度など環境影響によって、例えば、物理的な変形として現れ得る老朽化が起こり得る。第一ポジショニング台は、頻繁に行われる較正カメラの交換によってずれることがある。一方、基準カメラは、大きな時間間隔においてのみ、第二ポジショニング台から取り外されるため、第二ポジショニング台のポーズは、比較的長時間、安定的に保たれる。

【0033】

割出されたパラメータ乃至品質対策の変更により、構成に変更が施された場合は、該構成を改めて調整し、較正用ターゲットを第一ポジショニング台の基準カメラによって再度捕捉することができる。

【0034】

ある実施形態によれば、計測システムは、少なくとも第一及び第二画像を評価することによって較正用ターゲットと補助ターゲットのオリエンテーションを割出すため、且つ、基準カメラの未知のパラメータを割出すための評価ユニットを有している。基準カメラ乃至較正されるカメラへの有線乃至無線コミュニケーション・インターフェースを有していることができる該評価ユニットは、典型的には、較正用の画像ポイントを有する空間ポイントをセットし、較正を、例えば、以下に説明するような計算ルールに従って、実施する一台のコンピュータ乃至一つのプロセッサを有する計算ユニットである。

【0035】

次に、計測済みの構成ないにおいてカメラが較正されるケースに関して説明する。これは、構成が、ここで紹介されたシステムによる計測が終了した後のケースである。この様にすることで、例えば、製品カメラを較正する。

【0036】

カメラの投影モデルが、パラメータ化できる写像ｋによって与えられている場合、空間点ｓのピクセルｐは、
等式ｐ＝ｋ（ｓ，ｑ），
を満たしているが、式中、ｑは、各々の物理的カメラがモデリングされているパラメータのベクトルである。較正パターン相互の姿勢、要するに、空間内のパターン上のマークの姿勢と第一ポジショニング台の第一較正パターンに対する姿勢が既知であるため、較正パラメータは、

【0037】

【数1】

を最低値とすることにより算出されるが、式中、ｓｉは、特徴（例えば、正方形の角）の各々の点ｉの空間ポジション、ｐｉは、それに帰属するピクセルを表している。

【0038】

ここでは、時折、構成の基準座標系、例えば、第一ターゲットの中心やその上の点に対する光学系の（バーチャル）ポーズも結果の一つである。基準座標系に対する第一ポジショニング台のポーズは、既知であるため、第一ポジショニング台に対する光学系のポーズも既知であり、その結果、較正されるカメラのカメラアダプタも既知である。

【0039】

見つけられた較正パラメータのクオリティは、カメラが、例えば、顧客に納品され得るものか否か、或いは、カメラ乃至構成が不具合を有しているか否かの判断において、重要である。ポジティブなケースでは、パラメータは、カメラ用の較正パラメータを包含するデータベースに記録され、カメラは出荷される。後者の場合、例えば、構成は、改めて調整されなければならない。パラメータの予め定められた閾値に対する検査に加え、クオリティ値ｌ（ｔｈｅｔａ）に関しても検査することが好ましい。

【0040】

本発明のある実施形態では、第一基準シグナル内の内在的及び外在的に較正された基準カメラは、第一画像から、較正された構成を仮定して、評価される。クオリティパラメータの値が、期待値から大きく逸脱している場合、以下に説明するような完全な構成計測を実施しなければならない。

【0041】

ある実施形態によれば、カメラ較正構成を計測するための以下のステップを有する方法を提供する：
－第一ポジショニング台上において基準カメラをポジショニングするステップ、
－少なくとも一つの較正用ターゲットの第一画像を捕捉するステップ、
－第一ポジショニング台上において補助ターゲットをポジショニングするステップ、
－第二ポジショニング台上において基準カメラをポジショニングするステップ、
－少なくとも一つの較正用ターゲットと補助ターゲットの第二画像を捕捉するステップ、
－第三ポジショニング台上において基準カメラをポジショニングするステップ、
－少なくとも一つの較正用ターゲットと補助校正ターゲットの第二画像を捕捉するステップ、
－全ての基準カメラの未知のパラメータ、構成の基準座標系内における構成の全てのターゲットのポーズ、並びに、基準座標系内における第一台のポーズを割出すステップ、
－並びに、構成の割出されたパラメータのクオリティ値を割出すステップ、及び、
－クオリティ値が、規定通りであった時に、パラメータを保存するステップ。

【0042】

本方法によれば、先ず、基準カメラによって第一画像を捕捉することにより、較正用ターゲットの基準画像が作成される。次のステップでは、基準カメラの代わりに、これにより、補助ターゲットと較正用ターゲットの第二画像を捕捉するために、補助ターゲットが、第一ポジショニング台上に、基準カメラが、第二ポジショニング台にセットされる。例えば、先行して行われた触覚的計測により、インターフェース、アダプタ、基準カメラ、較正カメラアダプタ並びに第一ポジショニング台乃至補助ターゲットからなるサブシステムのポーズは、既知である。よって、第二画像により、引き続き、較正用ターゲットの補助ターゲットに対するポーズ、乃至、これに基づいてポジショニング台に対するポーズも割出すことができる。双方の画像のこれらの情報から基準カメラの外在的パラメータも算出することができる。

【0043】

即ち、この実施形態の方法では、少なくとも二つのポジショニング台のポジション乃至カメラポジションからそれぞれの方向に捕捉できる少なくとも二つの較正用ターゲット、並びに、構成の計測及び外在的パラメータの割出しに用い、且つ、第三画像の第三ポジショニング台からの捕捉を、基準カメラの未知のパラメータを割出すために用いることができる。ここでは、該構成に、精度を改善する役割を担う更なるターゲット乃至ポジショニング台ポジションを加えることもできる。

【0044】

構成計測のための方法は、（例えば、週に一度）繰り返し使用されるため、内在的パラメータの算出は、回帰的に実施でき、内在的パラメータは、それぞれ、新規の計測毎に補正されることができる。

【0045】

構成の割出されたパラメータが、間違っているか否か、或いは、エラーを内包している否かを割出すためには、クオリティクライテリアを用いることができる。算出されたクオリティ値は、例えば、閾値と比較されることができる。クオリティクライテリアが、満たされている場合、構成のパラメータの値は、保存され、製品カメラの較正用に用いられることができる。満たされていなかった場合、基準カメラに不具合がある或いは構成が有意にずれているか否かが割出される。

【0046】

ジオメトリが、例えば経時的に、変化した、乃至、較正用ターゲットが変形した場合、それを構成の計測によって認識し、ある程度であれば、数学的に補正することができる。第二画像は、例えば、毎カメラ較正プロセス前に、或いは、少なくとも定期的に捕捉されることができる。

【0047】

ある実施形態によれば、コンピュータの制御ユニット上で実行されると、画像の評価と、捕捉された画像の評価によって第二較正用ターゲットに対する相対的な第一ポジションの割出しが、上述の方法に従って実施されるプログラム・エレメントが、提供される。

【0048】

ある実施形態によれば、該プログラム・エレメントは、コンピュータによって読み込み自在な媒体に保存される。

【0049】

以下本発明を、実施例と図面を用いて詳細に説明する。

【図面の簡単な説明】

【0050】

【図1】本発明のある一つの実施例に係る基準カメラの側面図と正面図を示している。

【図2】本発明のある一つの実施例に係る較正用ターゲットを示している。

【図3】本発明のある一つの実施例に係るカメラアダプタを示している。

【図4】本発明のある一つの実施例に係るアダプタとポジショニング台の配置を示している。

【図5】本発明のある一つの実施例に係るポジショニング台とターゲットの配置を示している。

【図6】本発明のある一つの実施例に係る第一ポジショニング台から見た較正用ターゲットを示している。

【図7】本発明のある一つの実施例に係るポジショニング台の配置を示している。

【図8】本発明のある一つの実施例に係る第二ポジショニング台から見た較正用ターゲットを示している。

【図9】本発明のある一つの実施例に係るカメラ較正計測方法のフローチャートを示している。

【図10】本発明のある一つの実施例に係る画像ピクセルと空間点の関係を示している。

【発明を実施するための形態】

【0051】

先ず、図１は、基準カメラ１０の側面図と正面図を示している。これは、ある実施例では、正方形のハウジング１１に填め込まれている。基準カメラハウジング内の基準カメラ１０は、光学系１２、電子系を有するイメージャ１３、接続部１４から構成され、第二インターフェースタイプのメカニカルインターフェース１５を、基準カメラ１０を構成内において固定するために、有している。このため、インターフェース１５は、ポジショニング台による取付に合うように設計されている。この種の（第二）ポジショニング台は、図５に示されているポジション５５と５６に使用される。代案的に、インターフェース１５は、基準カメラアダプタ４０に取付けられることもできる該ハウジングは、非常に精密に触覚的に計測され、インターフェース１５に対する角のポーズが割出される。

【0052】

図２は、ある実施例に係る立方体の形状を有する補助ターゲット２１の較正パターンを示している。該立方体は、その幾つかの面に、チェス盤パターン２２及び、立方体の面を一義的に識別できる一義的なコーディング２３を有している。この様なコーディングの例としては、スケッチされているごとくＱＲコードやそれに類似するものを挙げることができる。更に、該立方体は、基準カメラ１０のインターフェース１５と同型のメカニカルインターフェースタイプ２４を有している（正方形として示されている第二インターフェースタイプ）。該較正パターンは、立方体の基準エッジに対して非常に精密に光学的に計測され、インターフェース２４に対する基準エッジのポーズ、即ち、位置と向きは、触覚的に割出される。補助ターゲット２１は、図４に示す基準カメラアダプタ４０の様なメカニカルアダプタによって第一ポジショニング台４３に取付けられることができる。

【0053】

図３は、ある実施例に係る、その中に較正されるカメラ３１、即ち、製品カメラが取付けられるハウジング３２を有する（カメラ）アダプタ３４を模式的に示している。該カメラアダプタ３４は、図４に示されている第一ポジショニング台４３のインターフェース４４に取付けることができる第一インターフェースタイプのメカニカルインターフェース（カウンターピース）３３を有している。第一インターフェースタイプは、図３と４にシンボル的に三角形で示されている。

【0054】

図４は、ポジション５５と５６において、インターフェース１５のカウンターパートを形成するインターフェース４２（第二タイプ）を有する第二ポジショニング台４１を模式的に示している。よって、基準カメラハウジング１１は、第二ポジション５５乃至第三ポジション５６において第二ポジショニング台４１に取付けることができる。基準カメラハウジング１１乃至そのモジュール１０は、第二タイプのインターフェース１５を介して、基準カメラアダプタ４０に取付けることができる。基準カメラハウジング１１と基準カメラアダプタ４０は、ポジション５４において第一ポジショニング台４３に取付けることができる（第一タイプのインターフェース４４）。第一ポジション５４において、基準カメラ１０によって、第一画像が捕捉される。第二（必要に応じて第三）画像には、補助ターゲット２１が、（第一ポジション５４にある）基準カメラアダプタ４０上に取付けられ、基準カメラ１０は、第二ポジション５５（必要に応じて第三ポジション５６）にある（第二）ポジショニング台４１に取付けられる。

【0055】

第一ポジショニング台４３は、ポジショニング台の特別な形状であり、（ポジショニング台を三つ使用する場合）図５に示されている中央ポジション５４において用いられる。これには、ハウジング３２内の製品カメラ３１のみならず、アダプタ４０を介して基準カメラ１１と補助ターゲットを有する立方体２１も取付けることができる。

【0056】

図５は、ある実施例に係る較正パターン５１，５２，５３と、基準カメラ１０乃至その他のエレメントを固定できるように構成されている三つのポジショニング台５４，５５，５６からなる配置を上から示している。図５の破線５７によって、基準カメラ１０がポジション５４，５５，５６にあるポジショニング台４３，４１に取付けられた場合の視野を示している。第二及び第三ポジション５５，５６にあるポジショニング台４１は、平均的姿勢５４と互いに対して、間隔、高さ、並びに、座標軸において、有意にずれている。

【0057】

図６は、ある実施例に係る三つの較正用ターゲット５１，５２及び５３の配置を、較正されるカメラ乃至中央ポジション５４に固定されている場合の基準カメラ１０の視点から示している。注意すべきは、これらのターゲットに、各々のターゲットとターゲットパターンの姿勢を一義的に識別できるマーク６３が設けられていることである。較正されるカメラと基準カメラ１０の画像は、全体が、図６の較正パターンに覆われている。更には、基準カメラ１０の画像において、ターゲットの各々の（テストされるカメラの較正に関連する）升目６５は、少なくとも二つのビューにおいて見えなければならない。

【0058】

明瞭性を重視し一つのターゲット５３のみを示した配置は、図７では、二つの異なるビューでスケッチされている。図７の左側は、右側から構成を見た図を示しており、図７の右側は、構成を前面から見た図を示している。図からは、ポジション５５と５６は、較正パターン５１，５２，５３からより遠くに、そして、ポジショニング台５４よりも高くに配置されており、全ての座標軸から僅かにずらされている。

【0059】

図８は、ある実施例に係る較正用ターゲット５１，５２，５３上のポジション５５における第二ポジショニング台４１からの基準カメラ１０のビューを示している。そのビューからは、較正用ターゲット５１，５２及び５３、パターン２２を有している補助ターゲット乃至立方体２１が見える。ポジショニング台５５は、空間の座標系に対して三つ全ての軸において直角に回転されているため、図８に示す傾いた視点が得られる。

【0060】

上記の構成は、課題に応じて、パターンの数とオリエンテーションに関して変更される。

【0061】

ある実施例に係る構成計測の工程は、図９のフローチャートに示されている。基準カメラ１０は、ポジショニング台５４，５５及びオプションとして５６に順々に取付けられる。基準カメラ１０が、ポジション５５乃至５６上にある場合、立方体は、ポジショニング台５４上で位置決めされる。図９に示されているフローチャートによれば、以下のステップが実施される：
－第一ポジショニング台上において基準カメラをポジショニングするステップ９０１、
－少なくとも一つの較正用ターゲットの第一画像を捕捉するステップ９０２、
－第一ポジショニング台上において補助ターゲットをポジショニングするステップ９０３、
－第二ポジショニング台上において基準カメラをポジショニングするステップ９０４、
－少なくとも一つの較正用ターゲットと補助ターゲットの第二画像を捕捉するステップ９０５、
－第三ポジショニング台上において基準カメラ（１０）をポジショニングするステップ９０６、
－少なくとも一つの較正用ターゲットと補助校正ターゲットの第二画像を捕捉するステップ９０７、
第一ポジショニング台に対する少なくとも一つの較正用ターゲットの相対的な向きとポジションを、第一画像を評価することによって割出し、基準カメラの外在的パラメータを、第一画像から割出し、第一ポジショニング台の相対的な向きとポジションを捕捉された第一及び第二画像の評価によって割出すステップ９０８、
－内在的パラメータのクオリティ値を割出すステップ９０９、
－クオリティ値が、規定通りであった時に、内在的パラメータを保存するステップ９１０。

【0062】

ステップ９０９のクオリティ・テストの結果がネガティブである場合、ステップ９０１から９０８が、例えば、再調整後に、再度実施される。

【0063】

以下、割出されたパラメータｑによる較正クオリティの推定を、図１０を用いて説明する。特徴６５の全てのあり得る未知の空間的ポジションを、ｓ_ｉと表す。点ｓ_ｉには、三つのターゲット５１，５２，５３の点、及び、立方体２１の点が含まれる。ピクセルｐ_ｉｊは、それが画像内に見られ、いずれか別の点である場合、画像ｊ＝１，…３内の特徴ｓ_ｉの（ピクセルノイズを原因とする）写像である。また、加重ｗ_ｉｊは、以下の様に定義されている：
画像ｊ内の特徴ｓ_ｉが見える場合に限り、ｗ_ｉｊ＝１であり、それ以外は、ｗ_ｉｊ＝０である。

【0064】

各々のビューｊ＝１，．．３には、基準カメラ１０の内在的及び外在的パラメータを含む未知のベクトルｑ_ｊも帰属している。この際、三つ全てのビューの内在的パラメータは、同じであると仮定される。ポジショニング台５４に関するビューは、原点として扱い、以下では、パラメータとしては見ない。

【0065】

点ｐ_ｉｊとｓ_ｉは、上記の如く、式

【0066】

【数2】

は、前回の乃至最初の較正からの意味のある初期値によって、最低値となるようにされる。

【0067】

写真測量乃至マルチビュージオメトリの理論より、ここで与えられている前提では、Ｌ（ｑ＊）において独立した最低値を有するｑ＊が存在する。その際、Ｌ（ｑ＊）は、特徴抽出のノイズの領域内にある。値Ｌ（ｑ＊）は、本方法の一つのクオリティ特徴である。更に、最低値は、スタートソリューションから程遠くない許容される領域内にある。上記が該当しない場合、構成のずれや基準カメラ１０の故障が疑われ、構成は、メンテナンスされなければならない。ポジティブの（即ち、上記の条件が満たされている）ケースでは、それに含まれているパラメータ値には、以下の図１０に示されているような解釈が当てはまる。

【0068】

内在的パラメータは、基準カメラ１０の検定乃至カメラ較正を記述している。よって、これは、構成に対して一度だけ基準較正されなければならない。各々の測定は、最新の状況（ずれや環境など）に応じた、パラメータの修正を提供する。パラメータが、基準カメラ１０の初期パラメータと有意に一致していない場合、基準カメラ１０や構成の機械的な不具合が疑われる。後者の場合、構成は、メンテナンスされなければならない。

【0069】

点ｓ_ｉは、ポジショニング台５４内の基準カメラ１０（ｉ）の光学系の座標系内にターゲット上の較正のために探された３Ｄ点を包含している。これに基づき、ターゲット印刷のクオリティや平面度、及び、ターゲット間の互いに対する姿勢を割出すことができる。点が、先に割出された乃至設定された値と有意に一致していない場合、構成乃至基準カメラ１０の機械的な不具合が疑われる。後者の場合、構成は、メンテナンスされなければならない。

【0070】

しかしながら、点ｓ_ｉは、ポジション５５と５６からも見える（ｉｉｉ）ため、立方体の３Ｄ点も包含している。しかしながら立方体は、非常に精密に計測され、基準カメラ１０との関係も既知であるため（ｉｉ）、計測された点から、基準カメラ１０の光学系のポジショニング台５４に対する姿勢も既知となる。これにより、ターゲット上の点ｓ_ｉに対するポジショニング台の姿勢も既知となる。言い換えれば、点ｓ_ｉは、上記の較正方法が必要とするように、ポジショニング台５４の基準座標系内へ転換される。割出されたポジショニング台のターゲットに対する関係が、以前のものと一致しない場合、アダプタのずれが疑われる。後者の場合、構成は、メンテナンスされることができる。

【0071】

基準カメラ１０の較正のクオリティクライテリアが満たされている場合、割出されたパラメータは、データメモリに保存され、後に実施される較正されるカメラの較正に用いられることができる。異なる場合、構成はメンテナンス及び／或いは再計測されることができる。

【0072】

上記の方法を実施するにあたっては、シーンが、デジェネレイトしておらず、カメラの姿勢が、クリティカルな動きではないことが必要である。

【0073】

デジェネレイトしたシーンに対しては、互いに対して同一平面上にはない三つの平坦なターゲットを用いることで対応できる。シーンのデジェネレイトしたコンフィグレーションを略無くすことができる。

【0074】

デジェネレイトした動きは、カメラが異なるポジションを有し、全てが互いに全ての軸に対して回転されていることにより対応できる。

【0075】

各々の測定が、較正システム（基準カメラ１０）の検定、且つ、構成のベリフィケーションでもあるため、該構成は、容易にメンテナンスできる。検定により、大きな逸脱が判明した場合、システムは、メンテナンス乃至調整されなければならない。更には、誤操作は回避され、エラーの原因は、削減される。緻密に作成された平坦な、非常に正確に印刷されたターゲットは、この構成には、必要ない。該構成は、ターゲットの印刷や平面度の小さな変化に好ましく対応できる。特に、ターゲットの定期的な再計測は、必要ない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】