(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-18
(54)【発明の名称】2つのカメラを有するステレオカメラの援助により3次元画像を取得する方法、及び測定対象物の冗長画像を製造する方法、及び本方法を実行する装置
(51)【国際特許分類】
G06T 7/593 20170101AFI20231011BHJP
G01B 11/245 20060101ALI20231011BHJP
【FI】
G06T7/593
G01B11/245 H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023543269
(86)(22)【出願日】2021-09-28
(85)【翻訳文提出日】2023-04-24
(86)【国際出願番号】 EP2021076559
(87)【国際公開番号】W WO2022069424
(87)【国際公開日】2022-04-07
(31)【優先権主張番号】102020212285.7
(32)【優先日】2020-09-29
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】523115690
【氏名又は名称】トリプルアイ ゲーエムベーハー
(74)【代理人】
【識別番号】100154612
【氏名又は名称】今井 秀樹
(72)【発明者】
【氏名】シック イェンス
(72)【発明者】
【氏名】シャラー ミヒャエル
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA04
2F065AA53
2F065BB05
2F065CC11
2F065DD03
2F065FF01
2F065FF04
2F065FF05
2F065FF09
2F065JJ03
2F065JJ05
2F065JJ26
2F065MM01
2F065MM06
2F065QQ28
2F065QQ33
2F065QQ38
2F065QQ41
5L096AA09
5L096CA05
5L096FA52
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096GA55
(57)【要約】
2つのカメラ(54,55)を有するステレオカメラ(55a)の援助による3次元画像取得のために、まず、3次元情景の画像が2つのカメラ(54,55)により同時に取得される(64)。各々の取得画像内の情景対象物の特徴的なシグネチャーが決定され(65)、ペアで互いに割り当てられる(66)。互いに割り当てられたシグネチャーペアの特徴的な位置ずれが決定される(67)。割り当てられたシグネチャーペアを選択するために位置ずれはフィルタリングされる。選択されたシグネチャーペアに基づいて、それぞれの情景対象物のための深さデータを決定するために三角測量計算が行われる(69)。次いで、3次元情景の取得画像内の取得された情景対象物の3Dデータマップが創出される(70)。これは、実用的用途のために、特に自動運転を保護するために画像を得るために上手く適合する、3次元画像を取得するための方法をもたらす。
【特許請求の範囲】
【請求項1】
2つのカメラ(54,55)を有するステレオカメラ(55a)の援助により3次元画像を取得する方法であって、
-前記ステレオカメラ(55a)の前記2つのカメラ(54,55)により同時に3次元情景の画像(62,63)を取得し(64)、
-各々の取得画像(62,63)内の情景対象物(59~61)の特徴的なシグネチャーを決定し(65)、
-前記取得画像(62,63)のシグネチャーをペアで互いに割り当て(66)、
-割り当てられたシグネチャーペアの特徴的な位置ずれHD,VDを互いに決定し(67)、
-割り当てられたシグネチャーペアを選択するために前記位置ずれをフィルタリングし(68)、
-選択された前記シグネチャーペアに基づいてそれぞれの前記情景対象物(59~61)のための深さデータを決定するために三角測量計算を行い(69)、
-前記3次元情景の取得画像内の取得された前記情景対象物(59~61)の3Dデータマップを創出する(70)、
ステップを有する方法。
【請求項2】
フィルタリングアルゴリズムを用いて、前記3次元情景の同じ情景対象物に属する割り当てられたシグネチャーペアを選択するために前記位置ずれをフィルタリングする(68)、ことを特徴とする請求項1に記載の方法。
【請求項3】
選択されるシグネチャーペアの数が所定の限界値より小さいとすぐに、前記三角測量計算(69)が実行される、ことを特徴とする請求項1又は2に記載の方法。
【請求項4】
選択されるシグネチャーペアの数が所定の限界値より大きい限り、
-異なった選択され割り当てられたシグネチャーペアに属する撮影された生の対象物(59~61)が前記3次元情景内で正しく位置決めされ得るかどうかをチェックするために、異なった選択され割り当てられたシグネチャーペアの間の角度補正値を決定し(71)、
-前記シグネチャーペアのために決定された前記角度補正値の各々を所定の補正値と比較し(72)、
-前記3次元情景の取得画像内の取得された前記情景対象物(59~61)の3Dデータマップを創出する(70)、
ステップを実行する、ことを特徴とする請求項1~3のいずれか一項に記載の方法。
【請求項5】
選択されるシグネチャーペアの数が所定の限界値より大きい限り、
-前記シグネチャーペアの前記角度補正値が前記所定の補正値より多く互いにずれる限りにおいて、
--前記フィルタリングアルゴリズムを調節し(73)、それにより当該調節したフィルタリングアルゴリズムを用いたフィルタリング(68)後に、前のフィルタリングステップで得られた数より小さい選択されるシグネチャーペアの数が得られ、前記比較(72)を繰り返し、
-前記シグネチャーペアの前記角度補正値が多くても前記所定の補正値だけ互いにずれる限りにおいて、
--それぞれの前記情景対象物(59~61)のための深さデータを決定するために三角測量計算を行い(69)、
-前記3次元情景の取得画像内の取得された前記情景対象物(59~61)の3Dデータマップを創出する(70)、
ステップを実行する、ことを特徴とする請求項4に記載の方法。
【請求項6】
前記三角測量計算(69)に、選択されるシグネチャーペアの前記角度補正値が含まれる、ことを特徴とする請求項4又は5に記載の方法。
【請求項7】
前記画像(62,63)の取得(64)の間、データが、前記カメラ(54,55)が固定的に接続した慣性測定装置(56,57)から同時に獲得される、ことを特徴とする請求項1~6のいずれか一項に記載の方法。
【請求項8】
測定対象物の冗長画像を生成する方法であって、
-入射瞳の中心がカメラ配置平面を定める少なくとも3つのカメラ(74~76;77~79)を結合し、
-前記測定対象物を前記カメラの視野に配置し、
-前記カメラ(74~79)の少なくとも3つの異なるカメラペア(74,75;74,76;75,76;77,78;77,79;78,79)を用いて前記測定対象物の少なくとも1つの選択される測定点の三角測量測定を実行し、
-前記三角測量測定の結果を比較する、
ステップを含む方法。
【請求項9】
請求項1~8のいずれか一項に記載の方法を実行する装置。
【請求項10】
前記カメラ配置平面に3つのカメラ(74~76;77~79)を有する、ことを特徴とする請求項9に記載の装置。
【請求項11】
6つのカメラ(74~79)を有する、ことを特徴とする請求項9又は10に記載の装置。
【請求項12】
少なくとも3つの隣接配置されたカメラ(74~76)と、これら隣接配置されたカメラ(74~76)に比べて少なくとも2倍離れて配置されたカメラ(77)を有する、ことを特徴とする請求項9~11のいずれか一項に記載の装置。
【請求項13】
前記離れて配置されたカメラ(77)は、前記3つの隣接したカメラ(74~76)の前記カメラ配置平面(83)内に位置している、ことを特徴とする請求項8に記載の装置。
【請求項14】
前記カメラ(54,55;74~76;77~79)の少なくとも1つが慣性測定装置(56,57)に固定的に接続している、ことを特徴とする請求項9~13のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本特許出願は、独国特許出願DE102020212285.7の優先権を主張し、その内容は参照によりここに組み込まれる。
【0002】
本発明は、2つのカメラを有するステレオカメラの援助により3次元画像を取得する方法に関する。さらに、本発明は、測定対象物の冗長画像を製造する方法及びこれらの方法を実行する装置に関する。
【背景技術】
【0003】
対象物検知装置が特許文献1及びそこに与えられた参考文献から知られている。
【先行技術文献】
【特許文献】
【0004】
【非特許文献】
【0005】
【非特許文献1】Karl Kraus, Photogrammetrie (= Photogrammetry), Volumes 1 and 2, Duemmler, Bonn, 1996/1997
【非特許文献2】Thomas Luhmann, Nahbereichsphotogrammetrie Grundlagen, Methoden und Anwendungen (= Basics, methods and applications of close-range photogrammetry), 3rd edition, Berlin/Offenbach 2010
【非特許文献3】Daniel Scharstein, Richard Szeliski: A taxonomy and evaluation of dense two-frame stereo correspondence algorithms, in International journal of computer vision, 47th ed, no. 1-3, 2002, pp. 7-42
【非特許文献4】Alex Kendall 等: End-to-end learning of geometry and context for deep stereo regression. CoRR, vol. abs/1703.04309, 2017
【非特許文献5】“James Stein estimator” (cf. the paper “Stein’s estimation rule and its competitors - an empirical bayes approach” by B. Efron and C. Morris, Journal of the American Statistical Association 68 (341, pages 117 to 130, 1973)
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、実用的用途のために、特に自動運転(自律駆動)を保護するために画像を得るために上手く適合する、3次元画像を取得するための方法を提供することである。
【課題を解決するための手段】
【0007】
この目的は、本発明によれば、請求項1に記載の特徴を有する方法によって達成される。
【0008】
カメラの位置ずれ(位置偏差)から互いに生じる、情景対象物のシグネチャー(サイン)の間の位置ずれが、この方法によって正確に検知でき、補償され得る。
【0009】
情景対象物は、その画像が例えばそれぞれのカメラのサイズにおいて単一ピクセル又は10ピクセルより少ない比較的少量の対象物であり得る。それに代えて、情景対象物は、大きめの量を有してもよく、画像領域全体を包含し得る。このような大きめの情景対象物の例は、車両画像取得の例では、個々の車両構成部品又は車両セクション又は車両全体でもある。
【0010】
画像取得方法において決定される特徴的な位置ずれの例は、それぞれのカメラのエピポーラ線からの、情景対象物の画像の画像位置のずれ又は位置である。エピポーラ線に沿う情景対象物のそれぞれの画像位置の位置ずれがさらに決定方法で考慮され得る。これらの位置ずれはまた、以下では垂直不一致(vertical disparity)及び水平不一致(horizontal disparity)と称する。
【0011】
位置ずれをフィルタリングする際、位置ずれが規定の位置ずれ公差値より小さいかどうか簡単にチェックされ得る。位置ずれ公差値の記述は流動的であり、選択されるシグネチャーペアの数が規定の限界値より小さくなるまで行われ得る。
【0012】
1つのステレオカメラに代えて、2以上のカメラが画像取得方法において一緒に動作し得る。
【0013】
各々のカメラは、互いに割り当てられた幾つかのカメラの装置として構成され得る。これらの相互に割り当てられたカメラの1つは魚眼カメラであって良い。このような魚眼カメラの焦点距離は20mm未満であり得る。これらの割り当てられたカメラの他方は、少なくとも80mmの焦点距離を有する望遠レンズを含む望遠カメラであってよい。
【0014】
割り当てられたシグネチャーペアの互いの特徴的な位置ずれを決定するため及び位置ずれをフィルターするために、例えば、垂直不一致の各々は全てのシグネチャーペアのために二乗に合計でき、ステレオカメラの状態変数はこの二乗和が最小になるまで変わり得る。
【0015】
垂直不一致の初期設定二乗和の形態の位置ずれ許容差値が又は垂直不一致の標準偏差も、選択されたシグネチャーペアの数を既定の限界値未満に下げるための終端基準として使用できる。
【0016】
特に、カメラの間の相対運動が画像取得方法において考慮され得る。カメラの互いに対する相対位置の推定が、割り当てられたシグネチャーペアの特徴的な位置ずれを決定することで三角測量計算に非同期的に実行され得る。
【0017】
特に相対位置推定に基づく、カメラの互いの相対位置の位置補正もまた、各々の三角測量計算の直前に実行され得る。そのとき、カメラ位置較正が各々の測定プロセスのために利用できる。このような迅速な較正によって、確実なステレオ測定が、カメラの互いに対する相対位置が絶え間なく変化する画像取得装置を使用するときでも実行され得る。特にカメラ相対位置推定に基づくこのような位置補正が、カメラが永続的に接続された慣性測定装置からのデータを使用して実行され得る。特に、カメラ(長基線立体映像)の間の非常に大きい距離を有するカメラ測定装置の使用が可能である。
【0018】
公知の訂正方法が三角測量計算のために使用され得る。これに関連して、非特許文献1及び非特許文献2による専門家の刊行物を参照されたい。
【0019】
三角測量計算では、光学式距離測定が、本方法の範囲内で定義される三角形内の角度を測定することで実行される。これらは、2つのカメラのうちの1つ及び2つの像点によって、又は2つのカメラ及び1つの像点によって形成され得る。
【0020】
割り当てられるシグネチャーペアを選択するために距離ずれをフィルタリングする際、3次元情景の同じ情景対象物に属する可能性のより高いそれらシグネチャーペアが選択され得る。
【0021】
割り当てられるシグネチャーペアを選択するための位置ずれのフィルタリングは、請求項2に従いフィルタリングアルゴリズムを用いて実施され得る。フィルタリングのために使用できるそれぞれの位置不一致の量は、例えば水平不一致及び/又は垂直不一致である。
【0022】
請求項4又は5に従う画像取得方法では、捉えることが難しい3次元情景さえ情景対象物に関して確実に割り当てられ得、対応する3Dデータマップがエラーなしに創出され得る。互いに対するステレオカメラのカメラの相対的な配向のずれが正確に考慮され得る。算出ステップにおいて識別される角度補正値は、例えば垂直不一致の二乗和最小化のために、上で説明した変化のための状態変数として使用され得る。
【0023】
角度補正値は、カメラの互いに対する相対位置関係、例えば、基線平面、基線傾斜、カメラ画像取得方向の相対的傾斜又はカメラ座標軸の互いに対する傾斜のための特徴的な角度である。
【0024】
請求項6に従う決定法は特に正確な3Dデータ値をもたらす。
【0025】
請求項7に従う方法は、例えば振動に起因する、カメラの互いに対する位置の瞬間的変化の包含を可能にする。よって、このデータ取得はリアルタイムで行われる。このデータ取得の時間定数が500ms未満であって良く、特に100ms未満であり得る。慣性測定装置によって取得されるデータは、カメラの互いに対する相対位置の必要な補正に関する生の情報を提供し、よってそれは画像取得によって最適化される。対応する位置ずれ検知が、やはりカメラの互いに対する相対位置較正のために使用できる。これは、特に画像取得方法の間にそれぞれの三角測量ステップを実行する前に行われ得る。
【0026】
本発明の別な目的は、測定対象物を撮影する際のデータ取得信頼性を改善することである。
【0027】
この目的は、本発明によれば、請求項8に記載の特徴を有する方法によって達成される。
【0028】
本発明によれば、例えば自動方法を可能にするカメラ装置に提供される様々なカメラが測定対象物の冗長な撮影のために互いに協働し得る。その際、カメラぺアの取得結果が第3のカメラを使用して比較され、チェックされ得るように、カメラは対応的に結合される。結局、取得エラーが検知でき、3つの独立した取得結果を比較することで真の冗長性が生成され得、3つの取得結果の少なくとも2つが互いに合えば取得データは正しいと判定される。測定対象物がテクスチャー又は構造を有し、それらについての深さ情報を含んでいる限り、測定対象物は任意であり得る。
【0029】
請求項9及び10に従う装置の利点は、方法に関連して上で既に説明した利点に一致する。本装置は慣性測定装置に固定して接続した少なくとも1つのカメラを含み得る。
【0030】
3つのカメラは三角形の形状、特に二等辺三角形の形状に配置され得る。
【0031】
6つのカメラを含む請求項11に従う装置は、さらなる改善された撮影冗長性をもたらす。6つのカメラは、六角形の形状、特に正六角形の形状に配置され得る。カメラは、カメラ配置平面に配置され得る。
【0032】
請求項12に従うさらなる遠隔カメラの使用は、3つの隣接して配置されたカメラによる画像取得の結果の信頼性適合を可能にする。互いに隣接して配置された3つのカメラはカメラ配置平面に位置し得る。隣接配置されたカメラの距離に比べて遠隔配置されたカメラの距離を特徴付ける距離係数は2より大きくてよく、3より大きくてよく、4より大きくてよく、5より大きくてよく、例えば10より大きくてよい。近距離限界までの近距離が隣接配置されたカメラによりカバーされ、カメラの視野の遠距離(遠範囲)がこの近距離限界から出発する遠距離配置されたカメラを加えることでカバーされるように、この距離係数は選択され得る。
【0033】
請求項13に従う装置は、三角測量測定のアライメントを簡単にする。
【0034】
少なくとも1つのカメラを慣性測定装置に接続することで、それぞれのカメラの加速度測定と取得される加速度値の対応する評価が可能になる。
【0035】
本発明の実施形態例を図面に関連して以下により詳細に説明する。
【図面の簡単な説明】
【0036】
【
図1】カメラの入射瞳の中心の3次元位置を較正する装置の平面図であり、付加的な較正表面が、カメラ視野の外側のニュートラル位置とカメラ視野内の動作位置の両方において示されている。
【
図2】ニュートラル位置において付加的な較正表面を有する
図1の方向IIからの眺めを示す図である。
【
図3】較正装置の構成部品間の位置関係を説明するために図式的描写を示す図である。
【
図4】複数の並進/回転自由度で可動基準カメラを移動させるカメラ移動ドライブを含む較正装置の可動基準カメラのさらなる詳細図を示す図である。
【
図5】可動基準カメラの様々な配向、すなわち8つの配向バリエーションを図式的に示す図である。
【
図6】較正構造を含む較正表面を有する較正パネルを示す図である。それは、較正装置において主較正表面として及び/又は付加的な較正表面として使用できる。
【
図7】上からの眺めにおいて、共通の支持フレームに設置された少なくとも2つのカメラの入射瞳の中心の相対位置を決定する装置の配置を示す図である。
【
図8】3次元画像を取得するステレオカメラの2つのカメラを図式的に示す図であり、カメラの互いに対する角度補正値を決定する座標及び位置パラメータが例示されている。
【
図9】3次元情景の情景対象物を捉える
図8に従うステレオカメラの2つのカメラを再び図式的に示す図である。カメラにより捉えられる画像の特徴的なシグネチャーの位置ずれパラメータが強調されている。
【
図10】
図8及び9に従うステレオカメラの援助により3次元画像を取得する方法を説明するためのブロック図である。
【
図11】例えば共通の信号処理を割り当てられる3つのカメラ毎の2つのグループを使用して測定対象物の冗長画像を生成する方法を実行するための装置を示す図である。
【
図12】
図8と似た描写において、3次元画像を得るステレオカメラの2つのカメラを再び示す。補正値、特にカメラの互いに対する角度補正値を決定する座標及び位置パラメータが例示されている。
【発明を実施するための形態】
【0037】
較正装置1が、較正すべきカメラ2の入射瞳の中心の3次元位置を較正する機能を有する。較正すべきカメラ2は、
図1及び2において破線で強調されている立方形の設置ボリューム3内に配置されている。較正方法が実行されるとき、較正すべきカメラ2は設置ボリューム3内にしっかり設置される。
図1で単に暗示されているマウント(ホルダー)4がこの目的のために機能する。カメラ2が所定の較正視野5に及ぶように、較正すべきカメラ2はマウント4によって保持されており、その境界は
図1に従う装置1の側面図において破線で示されている。
【0038】
較正すべきカメラ2は例えば、「自動運転」機能を提供するために使用される車両のためのカメラであり得る。
【0039】
特に装置1のカメラの互いに対する及び視野5に対する位置関係の記載を容易化するために、xyz座標系が別な示唆が無ければ
図1~3の各々に描かれている。
図1では、x軸が図平面に垂直にその中に延びる。y軸は
図1において上方に延びる。z軸は
図1において右に延びる。
図2では、x軸は右に延び、y軸は上方に延び、z軸は図平面と垂直に図平面の外に延びる。
【0040】
較正視野5の眺望範囲全体が例えばxz平面において100°の検知角度をカバーする。例えば10°~180°の他の検知角度も可能である。原則として、180°より大きい検知角度を用いてカメラを較正することも可能である。
【0041】
マウント4は較正装置1の支持フレーム6に固定されている。
【0042】
較正装置1は少なくとも2つの、図示のバージョンでは全部で4つの固定基準カメラ7,8,9及び10(
図3参照)を有し、そのうち2つの固定基準カメラだけ、すなわち基準カメラ7及び8が
図1では見える。固定基準カメラ7~10は、様々な方向から較正視野5を記録する機能を有する。
【0043】
図3は、較正装置1において役割を果たす例示の次元パラメータを示す。
【0044】
固定基準カメラ7~10の主視線11,12,13,14が
図3において一点鎖線で示されている。
【0045】
これら主視線11~14は点Cで交わる(
図1及び3参照)。この交差点Cの座標は
図1及び3でx
c、y
c及びz
cと示されている。
【0046】
一方で基準カメラ7と10の間のx距離、及び他方で基準カメラ8と9の間のx距離が、
図3でdx
hによって示されている。一方で固定基準カメラ7と8のx座標、及び他方で固定基準カメラ9と10のx座標はそれぞれ同じである。
【0047】
一方で固定基準カメラ7と8のy距離、及び他方で固定基準カメラ9と10のy距離が、
図3でdy
hによって示されている。一方で固定基準カメラ7と10のy座標、及び他方で固定基準カメラ8と9のy座標はそれぞれ同じである。
【0048】
較正装置1はさらに、少なくとも1つの固定主較正表面、図示の実施形態例では3つの主較正表面15,16及び17を有し、これらは対応する較正パネルによって特定されている。主較正表面15は
図1及び2に従う装置では、xy平面と平行に且つz
cより大きいz座標で延びる。2つの更なる横の主較正表面16,17は
図1及び2に従う装置では、4つの固定基準カメラ7~10の装置の両側でyz平面と平行に延びる。主較正表面15~17はさらに、支持フレーム6に固定的に設置されている。
【0049】
主較正表面は固定主較正構造を有し、その例が
図6に示されている。これら較正構造の少なくとも幾つかは較正視野5内に配置されている。主較正構造は、例えば格子の形状に配置された、規則的パターンを有し得る。較正構造の一部である対応する格子点が
図6において18で示されている。
図6において19で示されているように、較正構造はカラフルなパターン要素を有してもよい。さらに、較正構造は様々なサイズを有してもよい。格子点18と比べて拡大されたパターン要素が、主較正構造として
図6において20で強調されている。さらに、主較正構造は、暗号化されたパターン要素、例えばQRコード21を含んでもよい(
図6参照)。
【0050】
図1及び2に従うxyz座標系に整列された主較正表面15~17は必須ではない。
図3は、例えばzy平面に対して傾斜した主較正表面15’の例示の傾斜した装置を示す。
【0051】
図3はさらに、例えば製造ホールの、XYZ外部座標系を示し、そこに較正装置1が収容されている。一方で較正装置1の座標系のxyz座標系と、他方で製造ホールのXYZ座標系は、
図3に示されるように傾斜角度rot
Zだけ互いに傾斜してもよい。
【0052】
主較正構造15~17,15’は、従って、主較正構造主平面(
図1及び2に従う装置のxy平面)及びさらには主較正構造角度平面(
図1及び2に従う装置のyz平面)に存在する。主較正構造主平面xyは、主較正構造角度平面yzに対して5°より大きい角度で、すなわち90°の角度で配置されている。主較正構造角度平面yzに対するこの角度は、実施形態に応じて、10°より大きくてもよく、20°より大きくてもよく、30°より大きくてもよく、45°より大きくてもよく、また60°より大きくてもよい。例えば1°~10°の範囲の小さい角度が、主較正構造によって湾曲した較正構造表面を近似するために使用され得る。
図1及び2に従う装置では、及びさらに
図3に従う主較正表面15’の装置では、2より多い主較正構造表面15~17,15’が異なる主較正構造平面に配置され得る。
【0053】
xyz座標系と比較したそれぞれの主較正表面、例えば主較正表面15’の位置が、主較正表面の中心の位置及びxyz座標に対する主較正表面15’の2つの傾斜角度を介して定義され得る。主較正表面15~17又は15’の各々を特徴付けるさらなるパラメータが、較正構造の格子点18の格子間隔グリッドである。当該格子間隔グリッドは
図6に示されている。
図6において主較正表面15’のために水平に及び垂直に与えられる2つのグリッド値は、必ずしも互いに等しい必要はないが、それらは固定的に予め設定され、既知でなければならない。
【0054】
また、格子点18の格子内のカラーのパターン要素19、拡大されたパターン要素20及び/又は暗号化されたパターン要素21の位置がそれぞれ主較正表面15~17,15’のために固定されている。様々なパターン要素18~21の互いに対するこれら位置関係は、それぞれの主較正表面を識別し、空間内のそれぞれの主較正表面の絶対位置を決定する機能を有する。拡大されたパターン要素20はそれぞれの位置決定を支援するために使用され得る。パターン要素18~20の及び暗号化されたパターン要素21の異なるサイズが、近距離及び遠距離における較正測定と、主較正表面15~17,15’が場合によってはxy平面に関して大きく傾斜している測定をも可能にする。
【0055】
さらに較正装置1は、付加的な較正構造25を含む、少なくとも1つの、図示の実施形態では3つの付加的な較正表面22,23及び24を有する。付加的な較正表面22~24はカップ形状の較正パネルによって実施されている。付加的な較正構造25はそれぞれ、3×3格子の形状で付加的な較正表面22~24に配置されている。付加的な較正構造25はそれぞれ、主較正表面に関連して上で説明したパターン要素18~21のタイプのパターン要素を有し得る。
【0056】
付加的な較正表面22~24は可動な保持アーム26に一緒に設置されている。それは、歯車付き電動機27、すなわち較正表面移動ドライブを介してx方向と平行に延びる回転軸28の周りに回転可能である。歯車付き電動機27を介して、付加的な較正構造22~24はニュートラル位置と動作位置で移動できる。付加的な較正構造が較正視野5の外側に配置される付加的な較正構造22~24のニュートラル位置は、
図1及び2にそれぞれ示されている。
図1で破線で示されているのは、保持アーム26の及び付加的な較正表面22~24の動作位置であり、動作位置はニュートラル位置に比べて上方に回転している。動作位置では、付加的な較正表面22~24は較正視野5に配置されている。
【0057】
例えば
図1及び2に示されるように、動作位置では、中央の付加的な較正構造25z(
図3も参照)が、xy平面と平行に位置している。よって、付加的な較正構造25の3×3格子の装置は、x方向に沿って延びる3つの行25
1,25
2及び25
3で及びy方向と平行に延びる3つの列で動作位置に位置している。付加的な較正構造25のそれぞれ隣接する行及びそれぞれ隣接する列が、傾斜角度αだけ互いに対して傾斜している。それは5°~45°の範囲、例えば30°の範囲に入る。それぞれ3×3格子の角に配置される4つの格子エリアに対して、傾斜角度αのこの傾斜は互いに垂直である2つの軸周りに存在する。これは、それぞれの付加的な較正表面22~24のカップ形状の基本構造をもたらす。付加的な較正構造25は平坦表面から逸れる3D配置に存在する。
【0058】
較正装置1はさらに、構成すべきカメラ2の及び固定基準カメラ7~10の記録されたカメラデータを及び装置の状態パラメータを、すなわち特に付加的な較正表面22~24の及び主較正表面15~17の位置を及び基準カメラ7~10の位置及び視線を処理する評価ユニット29を含む。評価ユニット29は画像データ用のメモリーを有し得る。
【0059】
較正装置1はさらに可動基準カメラ30を含み、それも較正視野5を記録するよう機能する。
【0060】
図3は、可動基準カメラ30の運動の自由度、すなわち2つの傾斜自由度と1つの並進自由度を示す。
【0061】
図4は、可動基準カメラ30の詳細を示す。それは、カメラ移動ドライブ31によって第1視野記録位置と画像取得方向が第1視野記録位置と異なる少なくとも1つの別な視野記録位置の間で移動可能である(
図1の記録方向32を参照)。
【0062】
カメラ移動ドライブ31は、第1回転モータ33、第2回転モータ34及び直線移動モータ35を含む。可動基準カメラ30のカメラヘッド36が、保持板37を介して第1回転モータ33の回転部品に設置されている。カメラヘッド36は、第1回転モータ33を介してx軸と平行な軸の周りに回転できる。第1回転モータ33は、別な支持板38を介して第2回転モータ34の回転部品に設置されている。第2回転モータ34を介して、カメラヘッド36をy軸と平行な回転軸の周りに回転させることが可能である。
【0063】
第2回転モータ34は、保持ブラケット39を介して直線移動モータ35の直線移動ユニット40に設置されている。直線移動モータ35を介して、x軸と平行なカメラヘッド36の直線移動が可能である。
【0064】
カメラ移動ドライブ31及び基準カメラ30のカメラヘッド36は、評価ユニット29に信号接続している。カメラヘッド36の位置は、モータ33~35の位置に依存して及び第1回転モータ33に関するカメラヘッド36の設置状況に依存して評価ユニット29に正確に伝達される。
【0065】
第1回転モータ33を介して予め設定され得るカメラヘッド36の角度位置はまた、ピッチ角とも呼ばれる。第1回転モータ33の代わりに、ピッチ角の変化が、カメラヘッド36に接続している直線ドライブであって、2つの異なるピッチ角を予め設定する2つのストッパによってy方向に移動可能な直線ドライブとx軸と平行な連結軸を介してカメラヘッド36の関節接続により実施され得る。第2回転モータ34を介して予め設定できるカメラヘッド36の角度位置はまた、ヨー角と呼ばれる。
【0066】
図5は、
図3に例示した3つの運動自由度を用いて可動基準カメラ30のカメラヘッド36を位置決めする8つのバリエーションの例を示す。
【0067】
画像取得方向32はそれぞれ、それぞれに設定されるピッチ角ax及びヨー角ayに応じて、一点鎖線で示されている。
図5の上の列では、カメラヘッドは小さいx座標x
minに設けられている。それに比べて、
図5の下の列では、カメラヘッド36は大きめのx座標x
maxに設けられている。
図5に従う8の画像取得方向は、これら3つのパラメータの各々に対する2つの離散値を有する異なるパラメータの3個の組(位置x;ax;ay)を表す。
【0068】
較正装置の1つのバリエーションでは、可動基準カメラ30はまた省略され得る。
【0069】
較正すべきカメラ2の入射瞳の中心の3次元位置を較正するために、較正装置1は以下のようにして使用される:
【0070】
まず、較正すべきカメラ2はマウント4に保持される。
【0071】
次いで、固定主較正表面15~17又は15’が較正すべきカメラ2及び基準カメラ7~10及び30で取得される(記録される)。付加的な較正表面22~24はニュートラル位置にある。
【0072】
付加的な較正表面22~24は次に、較正表面移動ドライブ27によりニュートラル位置と動作位置の間で移動される。付加的な較正表面22~24は次に、較正すべきカメラ2によって及び基準カメラ7~10及び30によって取得され、付加的な較正構造25は動作位置にある。較正すべきカメラ2の及び基準カメラ7~10及び30の記録画像データは次に、評価ユニット29によって評価される。この評価は、記録された較正構造18~21及び25の位置を考慮して、記録画像データのベクトル解析により実行される。
【0073】
主較正表面15~17及び付加的な較正表面22~24が取得されると、一方で主較正表面15~17,15’の及び他方で付加的な較正表面22~24の最初の取得(記録)が、可動カメラ30によって第1視野記録位置で実行され得、カメラ移動ドライブ31を有する可動基準カメラ30の移動後に、少なくとも1つの別な視野記録位置で実行され得る。記録画像データを評価するときに少なくとも2つの視野記録位置における可動基準カメラ30の画像データも考慮される。
【0074】
較正表面15~17及び22~24の取得シーケンスは以下のようである。まず、主較正表面15~17が可動カメラ30によって第1視野記録位置で取得される(記録される)。次に、付加的な較正表面22~24が動作位置に移動され、再び可動カメラ30によって第1視野記録位置で取得される。可動基準カメラ30は次に、別な視野記録位置に移動し、付加的な較正表面22~24は動作位置に留まる。続いて、付加的な較正表面22~24は別な視野記録位置における可動基準カメラ30によって取得される。付加的な較正表面22~24は次に、ニュートラル位置に移動され、主較正表面15~17のさらなる取得(記録)が別な視野記録位置における可動基準カメラによって行われる。このシーケンスの間、主較正表面15~17はまた、付加的な較正表面22~24がニュートラル位置にある期間中、固定基準カメラ7~10によっても取得され得、また付加的な較正表面22~24が動作位置にある場合、これら付加的な較正表面22~24はまた固定基準カメラ7~10によっても取得され得る。
【0075】
図7に関連して、共通の支持フレーム45に設置された少なくとも2つのカメラ42,43,44の入射瞳の中心の互いの相対位置を決定する装置41を以下に記載する。
【0076】
カメラ42~44は、較正装置1の援助によりそれらのそれぞれの入射瞳中心の位置に関して前もって較正されてもよい。
【0077】
この相対位置決定が装置41により実行されると、支持フレーム45に対するカメラ42~44の名目上位置、すなわちターゲット設置位置が分かる。
【0078】
カメラ42~44は例えば「自動運転」機能を提供するために使用される車両のカメラであってよい。
【0079】
装置41は、複数の較正構造担持部品46,47,48及び49を有する。較正構造担持部品46は、マスター座標系xyzを特定するためのマスター部品(主部品)である。
図7では、このマスター座標系のx軸が右に延びており、y軸が上方に延びており、z軸が図平面と垂直に図平面の外側に延びている。
【0080】
較正構造担持部品46~49に適用される較正構造に対して、特に
図6に関連して較正構造18~21のために上で説明したことが当てはまる。
【0081】
較正構造担持部品46~49は、装置41の動作位置において支持フレーム45の周りに配置されており、それによりカメラ42~44の各々が較正構造担持部品46~49の少なくとも2つの較正構造を捉える。このような装置は必須ではなく、よってカメラ42~44の少なくとも幾つかが較正構造担持部品46~49の正に1つのみから較正構造を取得することが可能である。さらに、較正構造担持部品46~49の装置は、較正構造担持部品46の正に1つの較正構造の少なくとも1つがカメラ42~44の2つによって取得されるようになっている。これらの条件を保証するために、場合によっては、支持フレーム45が、それぞれそれらの位置を変えない較正構造担持部品46~49に対して移動され得る。
【0082】
図7は、再び図示しない支持フレームにカメラ42,43,44の実際の位置を有する支持フレーム45の位置の例を示し、カメラ42の視野50が較正構造担持部品46及び47の較正構造を捉える一方、その視野51を有するカメラ43が較正構造担持部品47及び48の較正構造を捉える一方、視野52を有するさらなるカメラ44が較正構造担持部品48及び49の較正構造を捉える。
【0083】
較正構造担持部品46~49の互いに対する相対位置は、前もって厳密に定義される必要は無いが、装置41による位置決定方法の間に変化してはならない。
【0084】
装置41はカメラ42~44からの記録されたカメラデータ及び場合によっては位置決定中の状況パラメータ、すなわち特にそれぞれの支持フレーム45の識別を処理する評価ユニット53を有する。
【0085】
カメラ42~44の入射瞳の中心の相対位置を決定するために、装置41は以下のように使用される。
【0086】
最初の予備ステップでは、カメラ42~44が共通の支持フレーム45に設置される。さらなる予備ステップにおいて、較正構造担持部品46~49が、支持フレーム45の周りに較正構造担持部品のグループとして配置される。これは、較正構造担持部品46~49のグループを予備ステップにおいて配列し、次にこのグループに対して支持フレームを位置決めすることで行うこともできる。加えて、xyz座標系はマスター部品46の整列により定義される。他の較正構造担持部品47~49は、このxyz座標系に整列される必要はない。
【0087】
さて、カメラ42~44の視野に位置する較正構造担持部品46~49が、例えば
図7に従うカメラ42~44の実際の位置で、較正構造担持部品46~49のグループに対する支持フレーム45の所定の相対位置で記録される。カメラ42~44の記録画像データが次に、評価ユニット53により評価され、それで入射瞳の中心の正確な位置及びカメラ42~44の画像取得方向がマスター部品46の座標系で決定される。これらの実際の位置は次に、支持フレーム45の座標に変換され、名目上のターゲット位置と一致される。これは最良のフィット方法という観点から行われ得る。
【0088】
決定方法において、支持フレームはまた異なるカメラ取得位置の間で移動でき、それによりその相対位置が決定されるべきカメラの少なくとも1つが、そのカメラで前に検知されなかった較正構造担持部品を記録する。支持フレームを記録し移動させるこのステップは、互いの相対位置を決定すべき全てのカメラに対して、カメラの各々が2つの較正構造担持部品の少なくとも較正構造を記録するという条件が満たされるまで繰り返され得、較正構造の少なくとも1つは2つのカメラによって記録される。
【0089】
図8~10に関して、2つのカメラ54,55を有するステレオカメラ55aの援助により3次元画像を取得する方法を以下に記載する。これらカメラ54,55は予備ステップにおいて較正装置1の援助により較正されてもいてよく、さらに装置41の援助によりそれらの相対位置に関して測定されていてもよい。カメラ54,55は再び支持フレームに設置されている。
【0090】
図8で左に示されるカメラ54は、マスター座標系xm、ym及びzmを定義するためにマスターカメラ(親カメラ)として使用される。zmはマスターカメラ54の画像取得方向である。したがって、
図8で右に示される第2のカメラ55はスレーブカメラ(子カメラ)である。
【0091】
マスターカメラ54は、特に微小電子機械システム(MEMS)の形態の、回転率センサとして指定され得る慣性マスター測定装置56(IMU)に永続的に接続している。マスター測定装置56は、マスターカメラ54のピッチ角daxm、ヨー角daym及びロール角dazmの角度変化を測定し、従ってリアルタイムでマスター座標系の位置ずれを監視することを可能とする。このリアルタイムの位置ずれ検知の時定数は、500msより大きくてもよく、200msより大きくてもよく、さらに100msより大きくてもよい。
【0092】
スレーブカメラ55も、関連する慣性スレーブ測定装置57にしっかり接続しており、それによりスレーブカメラ55のピッチ角daxs、ヨー角days及びロール角dazsの角度変化がリアルタイムで検知され得、よってマスター座標系xm、ym、zmに関するスレーブ座標系xs、ys、zsの相対変化が再びリアルタイムでそれぞれ検知され得る。ステレオカメラ55aのカメラ54,55の互いに対する相対運動が測定装置56,57によりリアルタイムで検知され得、3次元画像を取得する方法に含まれ得る。測定装置56,57は、カメラ54,55の互いに対する相対位置の変化を予測するために使用できる。その際、3次元画像取得の一部として実施される画像処理が相対位置に関するこの予測をさらに改善し得る。例えば、ステレオカメラ54aが設置された支持フレームが凸凹な表面上を移動し、カメラ54,55が互いに対して連続的に移動する場合でも、3次元画像取得の結果は依然として安定している。
【0093】
カメラ54,55の入射瞳の中心を接続する線が、
図8では58で示されており、ステレオカメラ55aの基線を表す。
【0094】
3次元画像を取得する方法では、スレーブカメラ55のマスターカメラ54に対する位置関係に関連する以下の角度が捉えられる。
【0095】
-角度bys、すなわち基線58が通過する、平面xmzmと垂直な平面の、平面xmymに対する傾斜軸ym周りの傾斜;
-bzs:基線58の平面xmzmに対するスレーブ座標軸zsと平行な傾斜軸周りの、傾斜bysに対応する傾斜;
-axs:スレーブ座標軸zsの、すなわちスレーブカメラ55の画像取得方向の、平面xmzmに対するスレーブ座標軸xs周りの傾斜;
-ays:スレーブ座標軸xsのマスター平面xmymに対するスレーブ座標軸ys周りの、傾斜axsに対応する傾斜;及び
-azs:スレーブ座標軸ysのマスター平面座標ymzmに対するスレーブ座標軸zs周りの、傾斜axs,aysに対応する傾斜。
【0096】
以下の方法が、一方で測定装置56,57により検知される角度変化daxm,daym,dazm,daxs,days,dazsを含めてこれらの角度bys,bzs,axs,ays,azsを考慮しつつ、2つのカメラ54,55の援助により3次元画像を取得するために使用される:
【0097】
まず、情景対象物59,60,61(
図9参照)を有する3次元情景の画像がステレオカメラの2つのカメラ54,55によって同時に取得される。この画像62,63の画像取得は取得ステップ64(
図10参照)において両方のカメラ54,55に対して同時に行われる。
【0098】
画像取得は、慣性測定装置56,57の獲得の複数の周期を通して、特にリアルタイムの位置ずれ測定検知の複数の時定数に一致する期間を通して統合され得る。
【0099】
図9は、カメラ54及び55のそれぞれの画像62,63を図式的に示す。
【0100】
情景対象物59の画像はマスターカメラ54の画像62において59Mで示され、情景対象物60の画像は60Mで示されている。
【0101】
情景対象物59の画像はスレーブカメラ55の画像63に59Sで示されている。情景対象物61の画像はスレーブカメラ55の画像63に61Sで示されている。さらに、マスターカメラ54の画像59M,60Mは、スレーブカメラ55の画像63において画像フレームの対応するx,y座標に見出せる。
【0102】
画像位置59M,59Sのyずれを、それぞれのカメラのエピポーラ線と垂直な不一致又は垂直不一致VDと呼ぶ。対応的に、画像位置59M,59Sのxずれを、エピポーラ線に沿う不一致又は水平不一致HDと呼ぶ。これに関連して、エピポーラ幾何学についての公知の専門用語を参照されたい。パラメータ「カメラ入射瞳の中心」はこの専門用語では「突出中心」と呼ばれる。
2つの画像60M,61Sは、画像62,63において同じシグネチャーを示し、したがって画像62,63において同じ画像パターンによって表されるが、実際には3次元情景内の異なる2つの情景対象物60及び61から生じる。
【0103】
画像内の情景対象物59~61の特徴的なシグネチャーが今、決定ステップ65において2つのカメラ54,55の各々のために別個に決定される(
図10参照)。
【0104】
ステップ65で決定されたシグネチャーはそれぞれシグネチャーリストに要約され、割り当てステップ66で、ステップ65で決定された取得画像62,63のシグネチャーがペア(二つ一組)で割り当てられる。同一のシグネチャーはしたがって、取得される情景対象物に関して互いに割り当てられる。
【0105】
取得される3次元情景に応じて、割り当てステップ66の結果は、非常に多数の割り当てシグネチャー、例えば数万の割り当てシグネチャー及び対応的に数万の決定される特徴的な位置ずれとなり得る。
【0106】
さらなる決定ステップ67では、互いの割り当てられたシグネチャーペアの特徴的な位置ずれ、例えば垂直不一致VD及び水平不一致HDが今決定される。
【0107】
例えば、それぞれ決定される垂直不一致VDは全ての割り当てられたシグネチャーペアのために二乗して合計される。
図8に関連して上述した角度パラメータby
s,bz
s,ax
s,ay
s,az
sを変更することで、この二乗和は最小化され得る。この二乗和は
図8に関連して上で説明したこれらの角度に依存する。
【0108】
次のフィルタリングステップ68では、決定された位置ずれが次にフィルターアルゴリズムを用いてフィルタリングされて、同じ情景対象物59~61により属しそうな割り当てられたシグネチャーペアが選択される。このようなフィルターアルゴリズムの最も簡単なバリエーションは、所定の許容値(tolerance value)との比較による選択であり、二乗和が所定の許容値より小さいそれらのシグネチャーペアのみがフィルターを通過する。このデフォルト許容値は例えば、選択されるシグネチャーペアの数がフィルタリングの結果として所定の限界値より小さくなるまで増加され得る。
【0109】
1つの画像アルゴリズムバリエーションでは、それぞれの位置ずれVD,HD自体は割り当てられたシグネチャーペアを選択するために使用され得る。次に、それぞれの位置ずれが所定の閾値より小さいかどうかチェックされる。
【0110】
特に、複数の閾値が試験され得る。例えば、どれだけのシグネチャーペアに対して垂直不一致が閾値S1,S2,S3及びS4より小さいかチェックされ得る、ここでS1≦S2≦S3≦S4である。これは次に、それぞれ受け入れられるシグネチャーペア割り当て(受け入れられる対応(accepted correspondences))及び拒絶されるシグネチャーペア割り当て(拒絶される対応(rejected correspondences))の4つのリストを生じる。次に、どのようにしてそれぞれ結合された受け入れられる対応の数が閾値に依存するかが調べられる。対応数値がほぼ同じままである最も低い閾値が使用される。これは、同じ対象物に属さない「誤った」シグネチャーペアが高い可能性で拒絶されるようにシグネチャーペアをフィルタリングする発見的方法になる。
【0111】
フィルタリングの結果、多数の選択されるシグネチャーペアが所定の限界値より小さい、例えばもともとペアで割り当てられるシグネチャーの十分の一より小さい又は例えば500のシグネチャーペアより絶対的に小さいとすぐに、それぞれの情景対象物59~61のための深さデータを決定する三角測量計算がステップ69で行われる。選択されるシグネチャーペアの数に加えて、割り当てられるシグネチャーペアの特徴的な位置ずれの、例えば垂直不一致VDの二乗和のためのデフォルト許容値が、上で説明してきたことに従い終端基準(termination criterion)として機能し得る。特徴的な位置ずれの、例えば垂直不一致VDの標準偏差も、終端基準として使用できる。
【0112】
三角測量が、それぞれ受け入れられるシグネチャーペア、すなわち受け入れられる対応によって実施され得る。
【0113】
この三角測量計算の結果、3次元情景の取得画像内の取得された情景対象物59~61の3Dデータマップが、創出及び出力ステップ70の結果、創出され、出力され得る。このような3Dデータマップの例は、それぞれの情景対象物の全ての点の、デカルト座標においてこのそれぞれの情景点の位置を表すそれぞれの値トリプルxi,yi,ziへの割り当てである。それぞれの情景対象物の3次元再現がこの3Dデータマップへの対応するアクセスにより可能である。
【0114】
フィルタリングステップ68が、選択されるシグネチャーペアの数がまだ特定される限界値より大きいことを示す場合、決定ステップ71がまず、様々な選択される割り当てられるシグネチャーペアの間の角度補正値を決定し、様々な選択される割り当てられるシグネチャーペアに属する撮影された生の対象物が3次元情景内で互いに対して正しい位置に配置され得るかどうかチェックされる。この目的のために、
図8に関連して上で記載した角度が使用され、ここでこれらの角度は測定装置56,57を用いた測定監視のためにリアルタイムで補正される。
【0115】
決定ステップ71で実行される補償計算に基づき、情景対象物60,61が例えば、それらの同一のシグネチャー60M,61Sにもかかわらず、画像62,63において互いに識別され得、それにより対応的に割り当てられるシグネチャーペアが誤った割り当てとして廃棄され得、それで選択されるシグネチャーペアの数が対応的に減少する。
【0116】
角度補正が実施された後、比較ステップ72が実行され、シグネチャーペアのために決定された角度補正値を所定の補正値と比較する。比較ステップ72の結果としてシグネチャーペアの角度値が所定の補正値より互いにずれている場合、フィルタリングステップ68で使用されるフィルターアルゴリズムは適合ステップ73に適合され、よって適合されるフィルターアルゴリズムでのフィルタリング後に、前のフィルタリングステップ68で生じた数より小さい多数の選択されるシグネチャーペアが生じる。この調節は、それらの不一致において所定の限界値より大きく異なるシグネチャーペアを削除することで行われ得る。同様に、比較基準(潜在的なシグネチャーペアのシグネチャーが等しく、よって割り当て可能であると評価されるときから)が調節73においてより批判的に設定され得る。
【0117】
ゆえに、ステップ73,68,71及び72のこのシーケンスは、残りの割り当てられるシグネチャーペアの角度補正値が互いに規定の補正値未満だけずれていると分かるまで実行される。次に、三角測量計算がステップ69で再び実行され、選択されるシグネチャーペアの角度補正値が含有され得、得られた結果が、特に3Dデータマップの形式で生成され、出力される。
【0118】
図11は、測定対象物の冗長画像を生成する方法を示す。この目的のために、複数のカメラが一緒に結合され、それらの入射瞳の中心がカメラ配置平面を定める。
図11は、2つのグループ、一方でそれぞれ3つのカメラ74~76(グループ74a)と、他方でカメラ77,78,79(グループ77a)を示す。一方でグループ74aと他方でグループ77aはそれぞれ、関連するカメラによって得られる画像データを処理及び評価する関連するデータ処理装置80,81を有する。2つのデータ処理装置80,81は、信号線82を介して互いに信号接続している。
【0119】
3次元情景を捉えるために、例えばグループ74aのカメラ74~76が相互接続され得、それにより例えばこの3次元情景の3Dキャプチャが
図8~10に関連して上で説明した画像取得方法によって可能になる。この3次元画像取得の付加的な冗長性を創出するために、例えばさらなるグループ77aのカメラ77の画像取得結果が使用でき、それはグループ77aのデータ処理装置81及び信号線82を介してグループ74aのデータ処理装置80に供給される。カメラ77からグループ74aのカメラ74~76までの空間距離のために、3次元情景を撮影するときに顕著に異なる視野角があり、それが3次元画像取得の冗長性を改善する。
【0120】
グループ74aのカメラ74~76又はグループ77aのカメラ77~79によって定義されるカメラ配置平面83が、
図11において図式的に示されており、
図11の図平面に対して傾いて位置している。
【0121】
正に1つのグループ74a,77aのカメラを用いた3次元画像取得はまた、イントラ画像取得(intra-image capture)と呼ばれる。少なくとも2つのグループのカメラを伴う3次元画像取得はまた、インター画像取得(inter-image capture)と呼ばれる。
【0122】
三角測量は、例えばカメラ78,79、カメラ79,77及びカメラ77,78のステレオ装置を用いてそれぞれ独立して実施され得る。これら3つの装置の三角測量位置はそれぞれ一致しなければならない。
【0123】
グループ74a,77aのようなカメラグループが、三角形の形状で、特に二等辺三角形の形状で配置され得る。六角形の形状の6つのカメラの装置も可能である。
【0124】
1つのグループ74a,77aのカメラの間の距離と比べて、他のグループのカメラは少なくとも2倍さらに遠い。カメラ76と77の間の距離はゆえに、カメラ75と76又はカメラ74と76の間の距離の少なくとも2倍である。この距離係数はより大きくてもよく、例えば3より多くてもよく、4より多くてもよく、5より多くてもよく、さらに10より多くてもよい。それぞれのグループ74a,77aによってカバーされるカメラ近範囲は例えば、80cm~2.5mの範囲であり得る。それぞれの他のグループの少なくとも1つのカメラを追加することで、遠範囲(広範囲)もまた近範囲限界を超えて画像取得装置によって撮影可能である。
【0125】
以下では、上述の記載の補足と理解されるべき3次元画像を取得する方法を記載する。
【0126】
3次元画像取得のために、方程式系(連立方程式)が、既知の焦点距離fを有する例えばカメラ54,55の(u,v)右との既知の像点(u,v)左の像点対応のために解かれる。この方程式系は以下の通りである。
【0127】
【0128】
この方程式1を
図12に関連して以下により詳細に説明する。
【0129】
方程式1において:
ul,vl:左の画像における情景対象物59,59l(=59M)の例を用いた、考慮中の情景特徴の画像座標を意味する;
ur,vr:右の画像における情景対象物59,59r(=59S)の例を用いた、特徴の画像座標を意味する;
【0130】
fl,fl:左の及び右のカメラ54,55の焦点距離を意味する;
λl,λr:左の又は右のカメラの像点を通る左の又は右のカメラ54,55の中心から光線に沿う制御変数を意味する。
λ=0では、それぞれ左の及び右のカメラ54,55の中心、λ=1では、情景対象物59の位置59l,59rがそれぞれのカメラ54,55のそれぞれの画像62,63上にある。λ>1では、点は、情景対象物59の交差点まで及びそれを越えてそれぞれの画像平面62,63に対して左の又は右のカメラ54,55の前でさらなる光線上にある。
【0131】
t
x,t
y,t
z:左のカメラ54の座標系における右のカメラ55の中心の位置の座標を意味する。このベクトルtの長さは基線長(blen)であるか、基線58(
図8参照)である。ベクトルtのこの長さは2つのカメラ54,55の設置状況から分かる。tの長さが分かった後、3つの座標t
x,t
y及びt
zを有する2つの自由度が残る。
【0132】
RXX,...,RZZ:左のカメラ54の座標系における右のカメラ55の回転位置を記述するための回転行列のパラメータを意味する。この回転は3つの回転自由度を有する。
【0133】
2つのカメラ54,55の光軸が、
図12に一点鎖線で示されており、再び
図9と比較可能である。
【0134】
上の方程式1は、値トリプルul(方程式1.1)、vl(方程式1.2)及びfl(方程式1.3)のための3つの方程式1,1,1.2及び1.3として記述できる。ゆえに、それは3つの方程式(方程式1.1~1.3)及び2つの未知数(λ1,λ2)を有する連立方程式である。これらの方程式は、未知数(λ1,λ2)を削除しつつ1つの方程式に変換することができる。
【0135】
対応は、同じ情景対象物が画像取得装置の異なるカメラ54,55(左l、右r)によって取得されるときの特徴点(feature points)の一致である。情景対象物の特徴点が画像座標ui,viでカメラ54により捉えられ、同じ特徴点が画像座標uj,vjでカメラ55により捉えられた場合、これは(肯定的な)対応である。各々の対応が垂直不一致VDに割り当てられ得る。ゆえに、カメラペア毎に少なくとも5つの対応が必要であり、その数は幾らかより高くてもよいが、高めの統計的安定性のために有利には顕著により高い。
【0136】
像点対応はステレオ対応であってよい。ステレオ対応のために、技術的記事である非特許文献3及び4を参照されたい。
【0137】
方程式1において、u,vはそれぞれの像点のデカルト座標、例えばそれぞれのデカルト座標x,y又はそれぞれの水平及び垂直不一致HD,VDの方向の座標である。
【0138】
ベクトル(u,v,f)は制御パラメータλを有するカメラ54,55の原点から光線の位置を記述する。
【0139】
方程式1は、並進ベクトルtを介する3つの位置パラメータと回転行列Rによって、すなわち6つの自由度によって右のカメラ(例えばカメラ55)から左のカメラ(例えばカメラ54)までの位置変化を記述する。
【0140】
変位ベクトルtの長さ(基線長=
図8の基線58=blen)は3次元情景におけるスカラー情報なしに見積もる(推定する)ことはできないが、前もって測定され又はさもなければ分かるので、5つの自由度、すなわち、blenと垂直にblenによって正規化された2つの変位(blenの回転としても解釈できる)と、右のカメラの左への3つの回転(すなわち5つの回転)がある。
【0141】
5の自由度の例が、スレーブカメラ55のマスターカメラ54に対する位置関係のための前述した角度bys,bzs,axs,ays,azsである。
【0142】
方程式系GL1は、2つの未知数、すなわち2つの制御パラメータλl,λrと変換行列T及び回転行列Rの5の自由度を有する3つの方程式から成る。
【0143】
これらの3つの方程式から、もはや未知の変数がない方程式が形成され得る。よって、適切な変換が、λパラメータなしに、すなわち5の自由度にのみ依存して正に1つの方程式を創出する。
【0144】
少なくとも5つの方程式によって、自由度は例えば推定器(estimator)によって計算され得る。このような推定器は、残差を最小化することで通常は過剰決定される方程式系を解く。このような推定器は、非特許文献5としての文献で知られている。
【0145】
対応、すなわち上の方程式1に従う像点対応は、互いに独立して線形でなければならない。
【0146】
多数の対応によって、誤検出(false positive)が、それぞれのカメラ54,55のそれぞれのエピポーラ線までの距離のサイズに関する特徴の重み付けに基づくアルゴリズムによって除去され得る。
【0147】
誤検出対応は通常、第1近似に分配される。真正対応は特徴的な蓄積を有し、すなわちそれらは通常分配されない。誤検出対応におけるフィルタリング結果は除去され、それで正対応が収束アルゴリズムの枠組み内に残る。正(ポジティブ)によって、推定器は実際値に収束することができる。この推定器はまた、スキントカメラ(squint camera)のために機能し(zmとzsの間の方向ずれ、特に
図8のための上の記載と比較)、魚眼レンズのためにより早く収束する。
【0148】
画像取得装置が2つのカメラ54,55を含む場合、5の自由度が決定されなければならない。2つのカメラペアに構成され得る3つのカメラがある場合、決定すべき10の自由度がある。
【0149】
一般に、nのカメラが画像取得装置に設けられる。1つのカメラペアでは、5の自由度が見積もられ得る。5の自由度を有する第1のカメラペアを超える各々のカメラが、6の付加的な自由度に寄与する。nのカメラによって、これは6n-1の評価できる自由度を生じる。
【0150】
IMU(回転率のための慣性センサ)が、画像取得装置の両方のカメラ54,55に組み込まれる。1周期における回転率から(モノピリオドフレーム)、回転位置ずれが見積もられ、従ってカメラの互いに対する5の回転位置ずれが見積もられる。残差は本方法の適用によって補償される。IMUを使用するとき、IMU並進もまた使用できる。IMUを使用する際、加速度値が取得され得、それが予測精度を改善するのを手助けする。
【0151】
IMUデータによる予測は安定化のために複数のサイクルにわたり統合されてもよい。この目的のために、本方法はまたこれらの周期にわたって計算される。
【0152】
カメラの数はまた一緒の計算のために2に代えて3以上のカメラに増加され得る。カメラが1列に並んでいるときでさえ、様々な視点が見積もり結果を改善する。
【0153】
カメラがエリアに広がると、見積もりは再び改良される。
【0154】
カメラがより斜視であり、従って全体で大きめの視野に開いている場合、見積もりは再び改良される。この意味では、魚眼が標準レンズよりもより良いカメラ54,55になり得る。
【0155】
情景対象物の各々が大きめの対応する画像領域(blob)、例えば自動車の部品であって良い。大きめのblobの対応は、小さめの特徴の対応より、より正確に決定され得る。
【0156】
3つのカメラによって、同じ3次元特徴が3つの画像に見出され得る。それが3回発見されると、それはもっともらしく思われる。対応するもっともらしさチェックが画像取得方法の位置ずれフィルタリングに含まれてもよい。特定の特徴が2つのカメラによって取得される場合、第3のカメラにより取得されるとその位置が予測され得る。それが第3のカメラによる撮影の際実際に撮影される場合、問題になっている3次元特徴はもっともらしく思われる。さもなければ、誤った割り当てが仮定される。
【0157】
増大する数のカメラにより、もっともらしさが増大し、従って上述した誤検出対応の拒絶が増大する。
【0158】
各々の見積もりは、それぞれのカメラ54,55のエピポーラ線への距離の重みを介して対応を重み付けする。各々の見積もりステップの前に、それぞれのエピポーラ線が計算される。複数の見積もりの場合、エピポーラ線は変化し、重みも変わる。閾値まで、例えば、重み「1」が仮定され得る。二倍の閾値まで、重みは直線的に0まで減少し得る。
【0159】
複数の見積もりの途中での重みの変化は、新たな重み付けをもたらす誤検出の可能性に関する情報を与える。それぞれの重みの大きさ・値は、4つの異なる大きさの閾値S1~S4を使用するときに対応数を比較することで誘導される。
【0160】
重み付けは、例えば閾値の量に依存する費用関数を介して記述される。
【0161】
対応は、画像においてできるだけ均等に分布されるべきである。この目的のために、画像は複数の領域に分割される(例えば、9の均等に分割された領域)。その領域内の特徴の数は理想的には一定である。ZDF(領域分配関数)が画像内の特徴の分布を記述する。分布が好ましくない場合、見積もりは拒絶される。
【0162】
それぞれの画像にわたり均等に分布される対応がある限り、推定器が得られる結果に関してより堅固である。領域をさらに分割するとき、最小数の対応が全ての領域に存在することが保証され得る。少なくとも最後の実施される見積もりの際、この最小数の対応が領域に存在しなければならない。例えばさらに分割された領域での対応の平均値と比べて多数の対応が存在する領域からの対応はそれから、小さめの重み係数によってより少なく重み付けされ得る。
【0163】
不規則に分布した対応は、上で記載した再重み付けの代替として過密領域においてそれらを削除することにより均等に分布され得る。
【0164】
不規則に分布した対応は、過密領域における重み付けによって識別され得る。
【0165】
ZDF分布はまた、重みを介してエピポーラ線の近傍から調節され得る。これに、一方でそれぞれのエピポーラ線の近傍に依存する重みの積及び他方でそれぞれの領域に依存する重みの積が続く。
【0166】
対応は、現在のエピポーラ線までのそれらの距離により重み付けされる。原則として、多数の対応、すなわちやはりそれぞれのエピポーラ線までの大きめの距離が考慮され得る。しかしながら、それぞれのエピポーラ線までの小さい距離を有する対応の数は比較的大きい方が良い。この目的のために、対応の数の曲線が最大のエピポーラ距離により考慮される。エピポーラ距離の関数として対応の数を示す、この一般的にs形状の曲線(まず僅かに増大し、次いで大きく減少し、次いで再び弱く増大する)が解析され、最大勾配の位置が求められる(変曲点)。小さい距離の小さい変化のために、拒絶された対応が統計的にほとんど直線的に増加する。実誤差を越えて、この増加は名目上一定のままである。
【0167】
この位置は、なるべく多くの対応と、大きい距離を有する多すぎない対応の間の妥協である。
【0168】
実際値の近くに、対応が蓄積する、すなわち有意性が増加する。実際値から離れて、対応は通常、統計的に分布される(背景雑音)。
【0169】
見積もりの結果は時間周期にわたり平均化され得る。したがって、幾つかの画像が順次記録され、対応する見積もりを受け得る。これは時間フィルタリングを生じる。
【0170】
平均される見積もり値は最大の過去まで平均化されるだけである。よって、移動平均がリアルタイムで算出される。過去に対応的に長い擾乱は再び忘れられ、もはや最新の見積もりを邪魔しない。
【0171】
画像取得装置で使用されるカメラの相対位置は、画像取得方法を用いて見積もられ得る。異なる画像取得シナリオの見積もり結果が比較され得る。それらが互いにあまりにも相違する場合、それらは拒絶され、不活性化されるか(フェイルセーフ)、2つの結果の一方が第3の結果により確認され、ミッションが継続される(フェイルオペレーショナル)。これら再調整カメラによる測定はまた、この場合3つの測定内の2つの合致により確認される。
【0172】
画像取得方法を用いた外部較正が、それぞれのカメラの固有較正(歪み、焦点距離など)に基づく。
【0173】
固有較正のモデル誤差は、エピポーラ線までの距離の重みに統合され得る。エピポーラ線距離、すなわちエピポーラ曲線に依存して、第2のカメラ55の画像における情景対象物59~61の座標の予測が、歪み記述を考慮して直接なされ得る。このような記述の重みは歪み補正の予想される残差に応じて増加され得る。
【0174】
なるべく少ないカメラを用いて広範囲の視界を捉えるために、カメラは、20mmより小さい、特に10mmより小さい焦点距離を有する魚眼レンズを装備し得る。大きめの距離を隔てると、標準レンズ又は望遠レンズを使用するときより小さい焦点距離のために、距離分解能は低くなる。標準レンズ又は望遠レンズを用いた見積もりは、魚眼レンズを用いた見積もりより安定している。少なくとも80mm(特に少なくとも150mm又は少なくとも200mmであってよい)の焦点距離を有する望遠カメラが、前述したカメラ54,55,74~76,77~79を最適化するために形状安定的に魚眼カメラに搭載又は割り当てられる場合、魚眼カメラの見積もりは望遠カメラに転換され得る。2つの魚眼カメラが見積もられる場合、新たな見積もりが自動的にそれらに関連する望遠カメラのためにもたらされる。しかしながら、望遠カメラの高めの分解能は、少なくとも2つの魚眼カメラと関連する望遠カメラの装置の見積もりに寄与する。よって、画像取得装置はもはや魚眼カメラだけでなく、付加的な関連する望遠カメラも有する。例えば、2つの魚眼カメラはステレオペア(カメラ54,55の上述の例参照)を形成してもよい。各魚眼カメラは、それに永続的に又は固定的に割り当てられた望遠カメラを有し得る。一方で魚眼カメラの対応から、他方で望遠カメラの対応から、上述の方程式1に対応して拡大された方程式系が構成され得、次いで解かれる。
【0175】
見積もり値は複数のフレームを介して平均化され得る。平均化はIMU-値-正規化された見積もり値により行われ得る。大きめの移動はより阻害しない。
【0176】
IMU-値-正規化された見積もりの平均化は、IMU-検知される急激な運動(jerk movement)により滑らかにされ、従って安定化され得る。
【0177】
動作モデルが見積もりを支持し得る。それらの確率での角度の予測が現在の測定と測定誤差により釣り合わされ、動的測定が支持され得る。どうさモデルは、カメラの支持構造又は支持フレームの剛性想定に基づく。移動は露光時間より遅くなければならないが、サイクル時間、すなわち画像リフレッシュ時間より早くてもよい。
【0178】
上部構造の一般的な移動は記録でき、AI(人工知能)モデルがこのトレーニングセットから導出され得、それはより良好な予測を可能にする。例えば、カメラの支持構造に導入されるモータ振動が補償され得る。
【0179】
AIモデルは(グイと引くような)急激な運動を検知でき、見積もりを拒絶するのを手助けする。
【0180】
カメラの相対位置の見積もりは、三角測量を用いる測定と非同期であってもよい。測定は、訂正画像の古典的なステレオアルゴリズムに基づく。
【0181】
画像取得方法は、対応を形成するために特有の特徴(native features)を使用する。
【0182】
古典的なステレオマッチング方法は、濃淡値差(gray value differences)を比較し、最小の濃淡値差を有するエピポーラ曲線、一般的に水平線に沿う箇所を探す。濃淡値が等しい場合にシグネチャーが存在する。「特有の」特徴は特徴環境の濃淡値の変化からシグネチャーに変換される。したがって、特徴環境内の濃淡値の比較がカメラ画像において生じる。そのシグネチャーが画像において比較的まれに、例えば10より少なく、8より少なく又は7倍より少なく生じる特徴だけが、使用される。
【0183】
対応は、三角測量を用いた距離測定のためにも使用できる。特徴が抽出され、三角測量(特有ステレオ)のために使用される。同じ特徴が画像取得方法に関連して見積もりのために使用される。一旦見積もりが行われると、新たな結果が測定に非同期的に加えられ得る。測定は数回行われる一方、見積もりはたった一度行われる。これは、カメラのゆっくり変化する相対位置により行われる。
【0184】
画像取得方法は、粗めの(ビンされた)画像、すなわち多数のピクセルが互いに一緒にグループ化された画像において強いずれを迅速に検知し得る。これらが検知される場合、正確な変化がより微細な画像で決定され、測定に利用可能となる。小さめのずれを有する見積もりは提供されない、というのも訂正画像のための歪みパラメータのコンピュータによる集中的計算が回避されるべきだからである。歪みパラメータは、ひずみ記述に基づく、すなわちカメラ54,55の画像誤差記述に基づく所望の訂正を記述するためのパラメータである。
【0185】
拒絶されるずれは、もちろん、DenseStereoにより、すなわち上述した古典的なステレオマッチング方法により許容され得るずれより小さくなければならない。1ピクセルの線誤差は通常許容され得る。これは、比較される環境のサイズに依存する。しかしながら、このような線誤差は、それらが小さい場合でも距離測定の誤差をもたらす。
【0186】
考慮中のそれぞれのカメラ、例えばカメラ54,55の間の非常に変形可能な(柔らかい)機械的構造の場合、見積もりはそれぞれの測定の前に行われなければならない。歪みパラメータは見積もりデータから計算され、次に訂正画像が線忠実性のために計算され、距離がDenseStereo対応から、すなわち、最小距離の位置から三角測量により決定される。
【0187】
DenseStereoのための歪みパラメータの計算は、コンピュータ集中的である。特有ステレオ、すなわちシグネチャーの比較だけが行われる、線忠実性の無い及び濃淡値の比較の無い特有の特徴の割り当てが、画像取得方法の対応から直接三角測量を計算し得る。
【0188】
画像取得方法はまた、エピポーラ線までの距離の重み付けを介する対応のための信頼量を提供する。信頼量は、一方で2より多いカメラを介する対応の確率であり、他方で予期されるノイズの大きさ、究極的には信号対ノイズ比(SN比)の評価である。
【0189】
したがって、特有の特徴を用いた三角測量及び見積もりの同期シーケンスは効率的であり、測定点の信頼性のための量を与える。
【0190】
特有の三角測量は、対応からの距離を測定し得る。ここで、2つのステレオカメラ54,55の2つの対応する像点から生成される傾斜した光線の距離の中心が考慮される。この距離は所定の閾値を下回らなければならない。
【0191】
しかしながら、3以上のカメラが使用される場合、1つの特徴につき3以上の対応があり得る。距離測定はより正確になり、より信頼できる。しかしながら、測定点の数は通常減少する。カメラペア1/2とカメラペア2/3の間の成功した三角測量の交わりは、2つの成功した三角測量の和集合より小さい。
【0192】
複数の対応シグネチャーがカメラペアにおいて発見された場合、複数の対応が創出される。同一のシグネチャーのこれら対応から、エピポーラ線に対して最も低い費用関数を有するものが選択される。したがって、エピポーラ曲線に最も近いシグネチャーが選択され、必ずしも空間内で最も近いシグネチャーではない。
【0193】
多数が選択されてもよいが、各々の選択されるシグネチャーが一度だけ使用されてもよい。一旦、対応が選択されると、両方の画像における2つの位置は、さらなる対応のために使用されるべきでない。
【符号の説明】
【0194】
54,55 カメラ
55a ステレオカメラ
59~61 情景対象物
62,63 画像
【国際調査報告】