特許 7332475 車両のカメラシステムを較正するための装置と方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-15

(45)【発行日】2023-08-23

(54)【発明の名称】車両のカメラシステムを較正するための装置と方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230816BHJP

   G01B 11/00 20060101ALI20230816BHJP

   G01B 11/26 20060101ALI20230816BHJP

   G01C 3/00 20060101ALI20230816BHJP

   G01C 21/30 20060101ALI20230816BHJP

   G08G 1/00 20060101ALI20230816BHJP

【ＦＩ】

G06T7/70 Z

G01B11/00 H

G01B11/26 H

G01C3/00 120

G01C21/30

G08G1/00 X

【請求項の数】 11

(21)【出願番号】P 2019548293

(86)(22)【出願日】2018-04-27

(65)【公表番号】

(43)【公表日】2020-07-02

(86)【国際出願番号】 DE2018200040

(87)【国際公開番号】W WO2018202258

(87)【国際公開日】2018-11-08

【審査請求日】2020-12-15

【審判番号】

【審判請求日】2022-08-18

(31)【優先権主張番号】102017207614.3

(32)【優先日】2017-05-05

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】503355292

【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ

【住所又は居所原語表記】Ｒｉｎｇｌｅｒｓｔｒａｓｓｅ １７， ８５０５７ Ｉｎｇｏｌｓｔａｄｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】ラサルク・アレス

(72)【発明者】

【氏名】ルーラント・トーマス

【合議体】

【審判長】千葉 輝久

【審判官】樫本 剛

【審判官】木方 庸輔

(56)【参考文献】

【文献】特開２００８－１１１７４（ＪＰ，Ａ）

【文献】国際公開第２０１０／０１６３７９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/00 - 7/90

G01B 11/00 - 11/26

G01C 3/00

G01C 21/30

(57)【特許請求の範囲】

【請求項1】

車両のカメラシステムを較正するための装置であって、
第一画像データを受信するための第一受信ユニットと、但し、該第一画像データは、工場構内の複数の画像を包含し、但し、第一画像データの画像は、複数の第一撮影位置、乃至、複数の第一撮影方向に対応し、更に但し、第一画像データは、較正されるカメラシステムによって撮影されたものである、
第一画像データから特徴を抽出するための第一抽出ユニットと、
第一画像データから抽出された特徴とデータベースの工場構内の特徴とを関連付けるための第一連想ユニットと、但し、該データベースは、工場構内の特徴とそれに帰属する位置データを包含している、
を包含しており、
該第一連想ユニットが、工場構内の可動オブジェクトを検出し、
該第一連想ユニットが、工場構内の可動オブジェクトの特徴を、データベースから取り除き、破棄する様に構成されていることを特徴とする装置。

【請求項2】

更に、
工場構内の特徴とそれに帰属する位置情報とを有するデータベースを更に包含していることを特徴とする請求項１に記載の装置。

【請求項3】

更に、
該第一連想ユニットが、第一画像データの複数の画像から抽出された特徴を関連付けし、且つ、
該第一連想ユニットが、第一画像データの複数の画像から抽出され関連付けられた特徴をデータベースに加える
ことを特徴とする請求項１乃至２に記載の装置。

【請求項4】

請求項１から３のうち何れか一項に記載の装置を備えた車両用のドライバー・アシスタント・システム用のカメラシステムを較正するためのシステムであって、
更に、
データベースを確定乃至更新するための測定手段を備えている
但し、該測定手段が、
較正された基準カメラシステムと、
工場構内の第二画像データを受信するための第二受信ユニットと、
但し、第二画像データが、工場構内の複数の画像を包含しており、但し、該第二画像データの画像は、複数の第二撮影位置乃至複数の第二撮影方向に対応しており、且つ但し、該第二画像データは、較正された基準カメラシステムによって撮影された、
第二画像データから特徴を抽出するための第二抽出ユニットと、
第二画像データの複数の画像から抽出された特徴を関連付けるための第二連想ユニットと、
第二連想ユニットによって関連付けられた特徴の位置情報を確認するための再構成ユニットと、
第二連想ユニットによって関連付けられた特徴と再構成ユニットによって割り出された位置情報をデータベースに保存するための入力／出力ユニットとを
包含している
ことを特徴とするシステム。

【請求項5】

更に、
該測定手段の第二連想ユニットが、工場構内の可動オブジェクトを検出し、工場構内の可動オブジェクトの特徴は、破棄する様に構成されている
ことを特徴とする請求項４に記載のシステム。

【請求項6】

更に、
測定手段の該再構成ユニットが、第二撮影位置と第二撮影方向に関する情報、乃至、予め既知な工場構内の特徴の位置情報を、第二連想ユニットによって関連付けられた特徴の位置情報を割り出す際の多義性を解決するために用いる様に実施されている
ことを特徴とする請求項４乃至５に記載のシステム。

【請求項7】

車両のカメラシステムを較正するための方法であって、
第一画像データを受信するステップと、
但し、該第一画像データが、工場構内の複数の画像を包含し、但し、該第一画像データの画像は、複数の撮影位置、乃至、複数の第一撮影手段に対応し、更に但し、該第一画像データが、較正されるカメラシステムによって撮影されたものである、
第一画像データから特徴を抽出するステップと、
第一画像データから抽出された特徴が、データベースの特徴と関連付けられるステップと、
但し、該データベースは、工場構内の特徴とそれに帰属する位置データを含んでいる
を有しており、
更に、
第一画像データから工場構内の可動オブジェクトを検出するステップと、
工場構内の可動オブジェクトの特徴をデータベースから取り除くステップと、
工場構内の可動オブジェクトの特徴を破棄するステップも
有していることを特徴とする方法。

【請求項8】

該方法が更に、
第一画像データの複数の画像から抽出された特徴を関連付けするステップと
第一画像データの複数の画像から抽出され、関連付けられた特徴をデータベースに追加するステップも
有している
ことを特徴とする請求項７に記載の方法。

【請求項9】

該方法が更に、
データベースの特徴と位置データを更新するステップも
有している
ことを特徴とする請求項７又は８に記載の方法。

【請求項10】

該方法が、更に、
第一撮影位置乃至第一撮影方向に関する情報を受信するステップと、
該第一撮影位置乃至第一撮影方向に関する情報、或いは、データベースの特徴の位置情報を、カメラシステムの較正の際の多義性を解決するために使用するステップも
有している
ことを特徴とする請求項７から９のうち何れか一項に記載の方法。

【請求項11】

該方法が、更に、
データベースの確認乃至更新を実施するための方法を包含している、
但し、該データベースの確認乃至更新を実施するための方法が、
工場構内の第二画像データを受信するステップと、
但し、該第二画像データは、工場構内の複数の画像を包含している、但し、該第二画像データの画像は、複数の第二撮影位置乃至複数の第二撮影方向に対応している、更に但し、 該第二画像データは、較正された基準カメラシステムによって撮影されたものである、第二画像データから特徴を抽出するステップと、
第二画像データの複数の画像から抽出された特徴を関連付けるステップと、
第二画像データの複数の画像から抽出され、関連付けられた特徴の位置情報を計算するステップと、
関連付けられた特徴と該特徴の算出された位置情報をデータベースに保存するステップを有している
ことを特徴とする請求項７から１０のうち何れか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のカメラシステムの較正に関する。本発明は、特に、車両用のドライバー・アシスタント・システムのカメラシステムを較正するための装置、カメラシステムの較正するためのシステム、カメラシステムの較正するための方法に関する。

【背景技術】

【0002】

近年のドライバー・アシスタント・システムは、車両の周辺部を捕捉するために、通常、様々なセンサ技術を採用している。その際、カメラシステムは、際立った役割を果たしている。カメラシステムを用いて車両の周辺部においてオブジェクトの位置を推定するには、該カメラシステムが、較正されていなければならない。較正においては、空間内の位置とカメラシステムによって撮影された画像内の対応する点との間の形式的な関係が割り出され、パラメーターセットとして保存される。その際、該較正は、カメラシステムの内在的パラメータと外在的パラメータの双方の推定を包含していてもよい。カメラの内在的パラメータは、光学的システムにおける光のパスを記述するものであり、焦点距離、画像センサのジオメトリ及び焦点を包含していることもできる。一方、カメラの外在的パラメータは、車両を基準とし固定された座標系におけるカメラの位置と向きを記述するものである。

【0003】

従来のドライバー・アシスタント・システムのカメラシステム用の較正は、複数の高コストのステップを包含している。一般的には、順番に行われるプロセスステップとして実施され得る光学系基準の較正、カメラ基準の較正、及び、車両基準の較正である。

【0004】

光学系基準の較正では－一部内蔵されていても良い－光学系において、内在的パラメータが、割り出され、チェックされる。このステップは、通常、カメラメーカの光学系モジュールラインの最終工程において実施される。これには、コリメーション基準、並びに、ターゲット基準の方法が使用されます。

【0005】

一方、カメラ基準の較正には、車両への取付以外の更なる機械的プロセスは施されない、完全に組み上げられたカメラが必要である。カメラ基準の較正では、典型的には、光学系のカメラ内への取付品質が割り出され、チェックされる。その際、ターゲット基準の方法が、従来の技術である。正確に言うと、正確に作られたジオメトリが描かれている碁盤の目など、再認識可能な模様が、用いられる。その際、労力とコストの理由から、通常は、実際のカメラ前方の視野円錐の一部のみが、較正ターゲットによってカバーされている。

【0006】

車両基準の較正では、車両に搭載されたカメラが、測定される。このプロセスステップの目的は、車内におけるカメラの取付位置の検査である。これには、コストの高いターゲット基準の方法が、従来の技術である。車両は、特別にターゲットに対して正確に位置決めされなければならない。この場合、通常、シャーシ・ダイナモが使用される。

【0007】

本発明は、較正のモジュール基準のステップ、カメラ基準のステップ並びに車両基準のステップを可能な限り控える、或いは、簡単なテストに省略することを目標にしている。これは、ドライバー・アシスタント・システムのカメラシステムを、車両メーカの工場内において、特殊なターゲットを必要とせず、該車両が、工場ホール内を動かされている間に、ダイナミックに較正することにより達成される。主要な発明アスペクトは、較正のために、高度に正確に作成された、及び／或いは、測定されたターゲットが必要とされないことである。後者は、工場構内の不動な部分が、測量され、較正ターゲットとして用いられることによって実現できる。

【発明の概要】

【発明が解決しようとする課題】

【0008】

よって、本発明の課題は、ドライバー・アシスタント・システム用のカメラシステムの低コスト且つ正確な較正を提供することにある。上記課題は、独立特許請求項に記載されている対象によって達成される。本発明の発展形態は、従属請求項ならびに以下の説明によって示される。

【課題を解決するための手段】

【0009】

本発明の第一アスペクトは、車両用のカメラシステムを較正するための装置に関する。該装置は、第一画像データを受信するための第一受信ユニットを有しているが、ここでは、該第一画像データは、工場構内の複数の画像を包含し、該第一画像データの画像は、複数の撮影位置、乃至、複数の第一撮影手段に対応し、更に、該第一画像データは、較正されるカメラシステムによって撮影されたものである。更に、該装置は、第一画像データから特徴を抽出する第一抽出ユニット、並びに、第一画像データから抽出された特徴を、データベースにある工場の様子の特徴と関連付ける第一連想ユニットを有している。その際、データベースは、工場の様子の特徴とそれに帰属する位置情報を包含している。更に、該装置は、第一画像データと関連付けされた特徴の位置情報を用いて、カメラシステムのパラメータを推定するための較正ユニットも有している。

【0010】

その際、本発明に係る装置は、モノカメラシステムとマルチカメラシステムの双方の較正に用いられることができる。以下においては、該カメラシステムが、車両に固定的に搭載されているものとする。較正されるカメラシステムが出力した第一画像データは、様々な撮影位置からの、乃至、複数の第一撮影方向からの工場の様子を示す複数の画像を包含している。その際、第一撮影位置と第一撮影方向は、不明である。特に、該複数の第一撮影位置の間の間隔や該複数の第一撮影方向の間の角度は、不明である。該カメラシステムを較正するために必要となる、異なる第一撮影位置、及び／或いは、異なる第一撮影方向の数は、特に、それによって推定されるカメラモデルの複雑さの程度に依存している。マルチカメラシステムでは、各々のカメラが、同期して画像を撮影することが好ましい。本発明に係るカメラシステムを較正するための装置は、同期されていない画像をサポートする様にも実施されていることができる。

【0011】

該カメラシステムを較正するための装置は、第一画像データから特徴を抽出するための第一抽出ユニットを有している。その際、第一画像データの画像内において特徴が探される。特に、第一画像データの画像内において点状の特徴が探される。

【0012】

そのため、該カメラシステムを較正するための装置の第一連想ユニットは、第一画像データから抽出された特徴を、データベースの工場構内の特徴と関連付けする様に較正されている。該データベースは、本発明に係るカメラシステムを較正するための装置の一部であることができる。しかしながら、該データベースは、例えば、該カメラシステムを較正するための装置が、コミュニケーションできるサーバ上に保存されていることも可能である。該データベースは、工場構内の特徴毎の位置情報を包含している。尚、該位置情報は、予め固定的に定められた座標系に対する該特徴の位置であることが好ましい。しかしながら、特定のケースでは、特徴の位置が、相似関係においてのみ既知であれば十分である。特に、カメラシステムの内在的パラメータは、特徴の位置が、相似関係においてのみ既知であれば、推定されることが、可能である。

【0013】

第一連想ユニットは、第一画像データの画像から抽出された特徴の位置情報を割り出すために、該第一画像データの画像から抽出された特徴が、データベースに保存されているか否かを調べる。該第一連想ユニットは、第一画像データの画像から抽出された特徴とデータベースの特徴の類似性を調べることができる様に実施されている。第一画像データから抽出された特徴が、データベースに保存されている特徴と十分に似通っている場合、該連想ユニットは、抽出された特徴にデータベースに保存されている位置情報を割り当てる。

【0014】

該較正ユニットは、第一画像データ並びに第一連想ユニットによって関連付けられた工場構内の特徴の位置情報を、カメラシステムを較正するために用いることができる様に実施されている。その際、較正ユニットは、該カメラシステムの外在的パラメータと内在的パラメータの双方を推定する様に実施されていても良い。代案的には、該較正ユニットは、パラメータの一部のみを推定する様に構成されていることもできる。

【0015】

本発明に係るカメラシステムを較正するための装置は、車両内において、独立したコンポーネントとして実施されていても良い。代案的には、該カメラシステムを較正するための装置は、車両の他のコンポーネント内に、特に、ドライバー・アシスタント・システムに組み込まれていることも可能である。更に、該受信ユニット、抽出ユニット、第一連想ユニット、並びに、較正ユニットは、各々個別のコンポーネントとして実施されていることができる。しかしながら、受信ユニットの、抽出ユニットの、第一連想ユニットの、並びに、較正ユニットの機能が、全体として、或いは、部分的に、一つの計算ユニットによって実現されていることも可能であり、これは、多くのケースにおいて有利である。

【0016】

更に、本発明に係るカメラシステムを較正するための装置は、カメラシステムの較正を検査する検査ユニットも包含していることができる。成功しなかった較正では、該検査ユニットは、較正の再実施を要求する。

【0017】

更なる実施形態によれば、該カメラシステムを較正するための装置は、工場構内の特徴と帰属する位置情報を有するデータベースも包含している。

【0018】

更なる実施形態によれば、第一連想ユニットは、第一画像データの複数の画像から抽出された特徴を関連付けし、第一画像データの複数の画像から抽出され、関連付けられた特徴をデータベースに加えることもできる様に実施されている。

【0019】

その際、第一画像データの複数の異なる画像から抽出された特徴の類似性が、該一つの特徴が、第一画像データの複数の画像から抽出されたのか否かを割り出すために、比較される。該第一連想ユニットは、時間的に順番に撮影されたカメラ画像間において、該特徴の動きを追跡するトラッキング・アルゴリズムを包含していることもできる。更に、第一連想ユニットは、第一画像データの複数の画像から抽出した特徴がデータベースにまだない場合には、該特徴をデータベースに追加できる様に行使江されていることも可能である。その際、第一連想ユニットは、その特徴の位置情報は、データベースに保存することなく、新しい特徴を、データベースに保存する。

【0020】

第一連想ユニットによってデータベースに加えられた特徴の位置情報は、較正ユニットによって割り出すことができる。そのため、該較正ユニットは、カメラシステムの外在的パラメータと内在的パラメータの他に、工場構内の特徴の位置情報も推定できる様に構成されていることができる。

【0021】

更なる実施形態によれば、第一連想ユニットは、工場構内の可動オブジェクトを検出し、工場構内の可動オブジェクトの特徴は、データベースから取り除き、破棄することができる様に構成されている。

【0022】

可動オブジェクトの特徴は、通常、カメラシステムの較正には、適していない。よって、第一連想ユニットは、工場構内の可動オブジェクトを検出し、工場構内の可動オブジェクトの特徴は、データベースから取り除くことができる様に構成されていることも可能である。その際、工場構内の可動オブジェクトの特徴の位置情報も、データベースから除去される。更に、工場構内の可動オブジェクトの特徴は、破棄される、即ち、以降、カメラシステムの較正には、使用されない。

【0023】

更なる実施形態によれば、較正ユニットは、データベースの特徴と位置情報を更新することができる様に実施されている。

【0024】

該較正ユニットは、パラメータの他に、工場構内の特徴の位置情報も推定できる様に構成されていることができる。その際、カメラシステムのパラメータと工場構内の位置情報と特徴は、一緒に推定される。代案的には、該カメラシステムのパラメータと工場構内の位置情報と特徴は、シーケンシャルに推定されることもできる。

【0025】

又、該較正ユニットは、該較正ユニットによって推定されたある特徴の位置情報が、データベースに保存されている特徴の位置情報から予め定められている閾値を超えてずれている場合、工場構内の特徴とそれに帰属する位置情報を、データベースから取り除くことができる様に構成されていることも可能である。

【0026】

更には、該較正ユニットは、データベースに保存されている特徴の位置情報を更新する様に、構成されていることも可能である。これは、例えば、該較正ユニットによって推定された特徴の位置情報が、データベースに保存されている特徴の位置情報から、予め定められている閾値よりも小さい値ずれている場合に、実施されることができる。

【0027】

データベースが、工場構内の特徴に対して、それに帰属する位置情報を有していないと言う様なシチュエーションも、起こり得る。この様なシチュエーションは、ある特徴が、第一連想ユニットによってデータベースに加えられた場合に起こりうる。よって、該較正ユニットは、未だ位置決めが終わっていない工場構内の特徴の位置情報も、カメラシステムのパラメータに加えて推定し、推定された位置情報をデータベースに保存することもできる様に、構成されていることができる。

【0028】

要約すると、較正ユニットは、工場構内の特徴の保存されている位置情報の精度を高めるために、データベースを更新する様に構成されていることもできる。更には、該カメラシステムを較正するための装置は、データベースを送受信するための送受信ユニットを包含していることも可能である。該送受信ユニットは、較正ユニットによって更新されたデータベースを、他の本発明に係るカメラシステムを較正するための装置に、これもが、該更新されたデータベースを使用できる様に、送信することを可能にする。この送受信ユニットにより、較正に使用されるデータベースの逐次的な改善が、可能になる。

【0029】

更なる実施形態によれば、該較正ユニットは、第一撮影位置、第一撮影方向に関する情報、乃至、データベースの位置情報を、カメラシステムのパラメータを推定する際に、多義性を解決するために使用する様に実施されている。

【0030】

特に、該較正ユニットは、第一撮影位置、第一撮影方向に関する情報、乃至、データベースの位置情報を、車両の座標系に対するカメラシステムの相対的な向き、或いは、車両内におけるカメラの取付高さを推定するために、使用する様に実施されていることも可能である。

【0031】

該較正ユニットは、データベースが、少なくとも三つの共線的には並んでいない、グランド・レベルに対して平行なレベル上に分散する特徴を有し、且つ、該少なくとも三つの共線的には並んでいない特徴が、第一連想ユニットによって、第一画像データの複数の画像内に、関連付けられた場合には、車両の座標系に対するカメラシステムの相対的な向きを、加速されない直線的走行から割り出すことができる様にも構成されていることができる。これは、データベースに保存されている工場構内の特徴の位置情報が、相似関係においてのみ一義的であったとしても、可能である。好ましくは、該データベースは、グランド・レベルの特徴の位置情報も包含している。該較正ユニットは、Ｈａｒｔｌｅｙ ａｎｄ Ｚｉｓｓｅｒｍａｎのストラクチャ・フロム・モーション法（ＳＦＭ＝Ｓｔｒｕｃｔｕｒｅ－Ｆｒｏｍ－Ｍｏｔｉｏｎ）を用いて、該第一連想ユニットによって関連付けられた、第一画像データの一連の画像からの特徴によって、カメラシステムの移動ベクトルを、長さ以外は多義的に割り出す様に構成されていることができる。更には、該較正ユニットは、カメラシステムの規準化された光軸を最短ルートで車両の動きの規準化された並進ベクトルに写像する回転写像を基に車両の座標系に対するカメラシステムのピッチ角とヨーイング角を割り出す様に構成されていることもできるが、これに関しては、文献「Ｈ． Ｈ． Ｃｈｅｎ， “Ａ ｓｃｒｅｗ ｍｏｔｉｏｎ ａｐｐｒｏａｃｈ ｔｏ ｕｎｉｑｕｅｎｅｓｓ ａｎａｌｙｓｉｓ ｏｆ ｈｅａｄ－ｅｙｅ ｇｅｏｍｅｔｒｙ，” Ｐｒｏｃｅｅｄｉｎｇｓ ＣＶＰＲ １９９１， Ｍａｕｉ， ＨＩ， ＵＳＡ， Ｊｕｎｅ １９９１」も参照されたい。第一連想ユニットによって、少なくとも三つの工場構内のグランド・レベルと平行なレベル上に分散する共線的には並んでいない特徴が、関連付けられた場合は、該較正ユニットも、車両の座標系に対するカメラシステムのロール角を、グランド・レベルと、カメラの光軸とカメラの座標系の水平軸の間に広がるレベルとの間の角度として算出する様に構成されていることも可能である。

【0032】

更には、較正ユニットは、間隔が絶対的（即ち、一義的）に既知であり、且つ、第一連想ユニットによって工場構内の少なくとも三つの共線的には並んでいないグランド・レベルに対して平行なレベル上に分散する特徴が関連付けられた場合、車両内においてカメラを取り付けた高さを割り出すことができる様に構成されていることもできる、但し、双方の平行なレベルの間の最少の間隔は、既知である。その際、該距離は、例えば、データベース内の工場構内二つの特徴の間隔であることができる。この様なケースでは、データベースの位置情報のスケーリング多義性を解決することができる。しかしながら、該距離は、走行距離計によって割り出される第一撮影位置のうちの二か所間の距離であることも可能である。第一画像データの二枚の乃至複数の画像から抽出され、第一連想ユニットによって関連付けられた工場構内のグランド・レベルに対して平行なレベルに分散する特徴からは、レベル上の動きの同形異義性が、Ｈａｒｔｌｅｙ ａｎｄ Ｚｉｓｓｅｒｍａｎに基づいて、カメラシステムの座標系内において推定されることができる。Ｒ． Ｈａｒｔｌｅｙ ａｎｄ Ａ． Ｚｉｓｓｅｒｍａｎの「Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ” ２ｎｄ Ｅｄ．， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ． Ｐｒｅｓｓ， ２００４」によれば、同形異義性Ｈは、
Ｈ＝Ｋ［Ｒ－ｔｎ^Ｔｄ／ｈ］Ｋ^－１，
より、算出できるが、式中、Ｋは、割りだされた内在的較正マトリクス、Ｒは、割り出された回転マトリクス、ｔは、規準化された並進・列ベクトル、ｎは、既知とされる車両の座標系に対するグランド・レベルの法線ベクトル、ｄは、車両が走行した距離、並びに、ｈは、カメラシステムが、取り付けられている高さを示している。データベース内の二つの特徴の間の距離が、既知である場合、該距離ｄは、バンドル調整（Ｂｕｎｄｌｅ ａｄｊｕｓｔｍｅｎｔ）によって、推定されることができる。代案的には、走行距離ｄは、走行距離計から提供されることも可能である。

【0033】

本発明の第二アスペクトは、車両用のドライバー・アシスタント・システム用のカメラシステムを較正するためのシステムに関する。その際、該システムは、本発明に係るカメラシステムを較正するための装置とデータベースを確定乃至更新するための測定手段を備えている。該測定手段は、較正された基準カメラシステムと、工場構内の第二画像データを受信するための第二受信ユニットを包含している、但し、該第二画像データは、工場構内の複数の画像を包含しており、また、該第二画像データの画像は、複数の第二撮影位置乃至複数の第二撮影方向に対応しており、且つ、該第二画像データは、校正された基準カメラシステムによって撮影されたものである。又、該測定手段は、第二画像データから特徴を抽出するための第二抽出ユニット、第二画像データの複数の画像から抽出された特徴を関連付けするための第二連想ユニット、第二連想ユニットに関連付けられた特徴の位置情報を割り出すための再構成ユニット、並びに、第二連想ユニットによって関連付けられた特徴と再構成ユニットによって割り出された位置情報をデータベースに保存するための入力／出力ユニットを包含している。

【0034】

該測定手段は、工場構内を測量する、即ち、工場構内の特徴とそれに帰属する位置情報を含む初期データベースを定めることができる様に構成されている。該測定手段は、それに加えて、データベースを更新する様に構成されていることもできる。これは、工場構内の特徴の実際の位置とデータベースに保存されている位置に差異が生じた際に必要となるものである。

【0035】

該測定手段は、較正された基準カメラシステムと工場構内の第二画像データを受信するための第二受信ユニットを包含している、但し、該第二画像データは、較正された基準カメラシステムによって、複数の第二撮影位置及び複数の第二撮影方向において、撮影された複数の工場構内の画像を包含している。第二撮影位置乃至第二撮影方向が既知であることは、該測定手段にとって必須ではない。

【0036】

該測定手段の第二抽出ユニットは、カメラシステムを較正するための装置の第一抽出ユニットに対して、本質的には、第二画像データを用いると言うことにより異なっている。即ち、第二抽出ユニットは、第二画像データ内において、較正に適した特徴を探し、抽出する。

【0037】

該測定手段の第二連想ユニットは、第二画像データの複数の画像から抽出された工場構内の特徴を探すことができる様に構成されている。その際、第二連想ユニットは、一台のカメラの時間的に順番に撮影された画像間における特徴のずれを追跡するトラッキング・アルゴリズムを用いることができる。

【0038】

又、該測定手段は、第二連想ユニットによって関連付けられた特徴の位置情報確認するための再構成ユニットを包含している。該再構成ユニットは、従来の技術において既知な、Ｈａｒｔｌｅｙ ａｎｄ Ｚｉｓｓｅｒｍａｎのバンドル調整法を用いることが特に好ましい。該測定手段の再構築ユニットは、第二画像データから抽出された特徴の位置情報を割り出す際の多義性を回避するために工場構内の特徴の予め定められている位置情報、乃至、特徴間の間隔を用いることができる様に構成されていることも可能である。

【0039】

第二連想ユニットによって関連付けられた特徴と再構成ユニットによって割り出された位置情報をデータベースに保存するための入力／出力ユニットは、好ましくは、該データベースを、本発明に係るカメラシステムを較正するための装置へ送ることができる様にも構成されている。更に、測定手段の該入力／出力ユニットは、カメラシステムを較正するためのデータベースの適正を確認する様に構成されていることもできる。

【0040】

第二受信ユニット、第二抽出ユニット、第二連想ユニット、再構成ユニット、並びに、入力／出力ユニットは、独立したコンポーネントとして実施されていることができる。代案的には、測定手段のユニット、乃至、該ユニットの一部を、一つの計算ユニットに実装することも可能である。

【0041】

更なる実施形態によれば、測定手段の該第二連想ユニットは、工場構内の可動オブジェクトを検出し、工場構内の可動オブジェクトの特徴は、破棄することができる様に構成されている。

【0042】

カメラシステムを較正するための装置の第一連想ユニットと同様に、測定手段の該第二連想ユニットも、工場構内の可動オブジェクトを検出し、工場構内の可動オブジェクトの特徴は、破棄する様に構成されていることができる。可動オブジェクトの特徴を、位置情報の割り出しの際に考慮することは精度の低下につながるため、第二連想ユニットは、可動オブジェクトの特徴は、測定手段の再構成ユニットへは、伝達しないことが特に好ましい。更には、カメラシステムを較正するための装置の第一連想ユニットが、可動オブジェクトの特徴を関連付けない様に、可動オブジェクトの特徴は、確実に、データベースに記録されない様にされている。

【0043】

更なる実施形態によれば、測定手段の該再構成ユニットは、第二撮影位置と第二撮影方向に関する情報、乃至、予め既知な工場構内の特徴の位置情報を、第二連想ユニットによって関連付けられた特徴の位置情報を割り出す際の多義性を解決するために用いる様に実施されている。

【0044】

特に好ましくは、工場構内の特徴は、測定される、及び／或いは、特別なターゲットが、工場構内に取り付けられることができる。測定手段の該入力／出力ユニットは、第二連想ユニットによって関連付けられた特徴の位置情報を割り出す際の多義性を解決するために、再構築ユニットが、これら予め割り出されている位置情報を使用できる様に、特徴の予め割り出されている位置情報を入力できる様に構成されていることも可能である。

【0045】

本発明の第三アスペクトは、車両のカメラシステムを較正するための方法に関する。該方法は、該第一画像データを受信するステップを包含しているが、ここでは、該第一画像データは、工場構内の複数の画像を包含し、該第一画像データの画像は、複数の撮影位置、乃至、複数の第一撮影手段に対応し、更に、該第一画像データは、較正されるカメラシステムによって撮影されたものである。更に、第一画像データから特徴が抽出され、抽出された特徴が、データベースの特徴と関連付けられるが、該データベースは、工場構内の特徴とそれに帰属する位置データを含んでいる。第一画像データと関連付けられ位置情報を使用し、カメラシステムが較正される。

【0046】

その際、本発明に係る方法は、モノカメラシステムの較正のみならず、マルチカメラシステムの較正のためにも実施することが可能である。尚、該第一撮影位置と第一撮影方向は、不明であっても良い。該カメラシステムを較正するために必要となる、異なる第一撮影位置、及び／或いは、異なる第一撮影方向の数は、特に、それによって推定されるカメラモデルの複雑さの程度に依存している。マルチカメラシステムでは、各々のカメラが、画像を同時に撮影することが好ましい。本発明に係るカメラシステムを較正するための方法は、同期されていない画像をサポートする様にも実施されていることができる。第一画像データの画像から特徴を抽出する際は、点状の特徴を探すことが特に好ましい。

【0047】

本発明に係る方法は、工場構内の特徴とそれに帰属する位置情報を用いる。尚、該位置情報は固定的な座標系に対する該特徴の一義的な位置であることが好ましい。しかしながら、特定のケースでは、特徴の位置が、相似関係においてのみ既知であれば十分な場合もあり得る。これは特に、カメラシステムの内在的パラメータのみを推定する様な場合である。

【0048】

第一画像データから抽出された特徴は、データベース内に保存されている工場構内の特徴と、該第一画像データから抽出された特徴の位置情報を割り出すために、関連付けられる。その際、第一画像データの画像から抽出された特徴と、データベースの特徴の類似性が割り出される。第一画像データから抽出された特徴が、データベースに保存されている特徴と十分に似通っている場合、抽出された特徴にデータベースには、保存されている位置情報を割り当てることができる。

【0049】

第一画像データ並びに第一連想ユニットによって関連付けられた工場構内の特徴の位置情報は、カメラシステムを較正するために用いられる。その際、カメラシステムの外在的パラメータと内在的パラメータの双方を推定することができる。代案的には、このパラメータの部分集合のみを推定することも可能である。

【0050】

又、本発明に係るカメラシステムを較正するための方法は、推定されたカメラシステムのパラメータを確認するステップも包含していることができる。較正が成功しなかった場合、例えば、較正の再実施を、要求することも可能である。

【0051】

更なる実施形態によれば、該カメラシステムを較正するための方法は、第一画像データの複数の画像から抽出された特徴の関連付けするステップ、並びに、第一画像データの複数の画像から抽出され、関連付けられた特徴をデータベースに追加するステップも包含している。

【0052】

その際、第一画像データの複数の異なる画像から抽出された特徴の類似性が、該一つの特徴が、第一画像データの複数の画像から抽出されたのか否かを割り出すために、比較される。第一画像データの複数の画像から一つの特徴が、抽出された場合、これをデータベースに追加することができるが、これに帰属する位置情報は、その時点では既知ではないため、保存されない。カメラシステムの較正の際には、カメラシステムの外在的パラメータと内在的パラメータの他に、工場構内の特徴の位置情報も推定することができる。即ち、先ず既知ではない新しく加えられた特徴の位置情報を較正ステップにおいて推定し、データベース内に保存することが可能である。

【0053】

更なる実施形態によれば、該カメラシステムを較正するための方法は、第一画像データから工場構内の可動オブジェクトを検出するステップ、工場構内の可動オブジェクトの特徴をデータベースから取り除くステップ、並びに、工場構内の可動オブジェクトの特徴を破棄するステップも包含している。

【0054】

可動オブジェクトの特徴は、通常、カメラシステムの較正には、適していない。よって、本発明に係るカメラシステムを較正するための方法は、工場構内の可動オブジェクトを検出し、工場構内の可動オブジェクトの特徴を、それに帰属する位置情報も含めてデータベースから除去する様に実施されることもできる。

【0055】

更なる実施形態によれば、該カメラシステムを較正するための方法は、データベースの特徴と位置データを更新するステップも包含している。

【0056】

本発明に係るカメラシステムを較正するための方法は、カメラシステムのパラメータの他に、工場構内の特徴の位置情報も推定できる様に実施されることもできる。その際推定された工場構内の特徴の位置情報は、データベースの更新に用いられることができる。例えば、推定されたある特徴の位置情報が、データベースに保存されている特徴の位置情報から予め定められている閾値を超えてずれている場合、工場構内の特徴とそれに帰属する位置情報は、データベースから削除されることができる。更には、データベースに保存されている特徴の位置情報は、該特徴の最後に推定された位置情報が、該特徴のデータベースに保存されている位置情報から、予め定められている閾値よりは少なくずれている場合、更新されることができる。

【0057】

データベースの更新は、位置情報の精度を、逐次的に改善し続けるために実施されることが好ましい。本発明に係るカメラシステムを較正するための方法は、データベースを送信するステップと受信するステップも包含していることができる。更新されたデータベースを転送することにより、後に較正されるカメラシステムにおいてこれを用いることが可能になる。

【0058】

更なる実施形態によれば、カメラシステムを較正するための方法は、第一撮影位置乃至第一撮影方向に関する情報を受信するステップ、並びに、該第一撮影位置乃至第一撮影方向に関する情報、或いは、データベースの特徴の位置情報を、カメラシステムの較正の際の多義性を解決するために使用するステップを包含している。

【0059】

該第一撮影位置乃至第一撮影方向に関する情報は、例えば、オドメトリセンサ乃至加速度センサを用いて得ることができる。第一撮影位置、第一撮影方向に関する情報、乃至、特徴のデータベースの位置情報は、車両の座標系に対するカメラシステムの向き、並びに、車両内における該カメラシステム取付高さを推定するために用いられることが特に好ましい。

【0060】

更なる実施形態によれば、該カメラシステムを較正するための方法は、データベースの確認乃至更新を実施するための方法を包含しているが、該データベースの確認乃至更新を実施するための方法は、以下のステップを有している：工場構内の第二画像データを受信するステップ、但し、該第二画像データは、工場構内の複数の画像を包含している、但し、該第二画像データの画像は、複数の第二撮影位置乃至複数の第二撮影方向に対応している、更に但し、
該第二画像データは、較正された基準カメラシステムによって撮影されたものである、
第二画像データから特徴を抽出するステップ、
第二画像データの複数の画像から抽出された特徴を関連付けるステップ、
第二画像データの複数の画像から抽出され、関連付けられた特徴の位置情報を計算するステップ、
関連付けられた特徴と該特徴の算出された位置情報をデータベースに保存するステップ。

【0061】

データベースを確認乃至更新するためには、較正された基準カメラシステムが使用される。該基準カメラシステムによって、複数の第二撮影位置、及び／或いは、複数の第二撮影方向から画像が撮影されるが、第二撮影位置並びに第二撮影方向が既知であることは、本発明に係るデータベースを確認乃至更新するため方法には、必ずしも必要ない。第二画像データの画像からは、点状の特徴が、抽出されることが好ましい。以下のステップでは、抽出された特徴を関連付けることができる。抽出された特徴の類似性が、第二画像データの複数の画像から抽出された工場構内の特徴を割り出すために、調べられる。そのために、一台のカメラの時間的に順番に撮影された画像間における特徴のずれを追跡するトラッキング・アルゴリズムを用いることができる。関連付けられた特徴の位置情報の計算は、例えば、Ｈａｒｔｌｅｙ ａｎｄ Ｚｉｓｓｅｒｍａｎのバンドル調整法によって実施できる。その際、第二撮影位置と第二撮影方向に関する情報、工場構内の特徴の予め定められている位置情報、乃至、特徴間の間隔を、第二画像データから抽出された特徴の位置情報を割り出す際の多義性を回避するために用いることができる。これらの関連付けられた特徴は、データベース内の位置情報と共に保存される。

【0062】

更なる実施形態によれば、データベースを確認乃至更新するため方法は、更に、
工場構内の可動オブジェクトを検出するステップ、
並びに、
検出された工場構内の可動オブジェクトの特徴を破棄するステップも包含している。

【0063】

これにより、可動オブジェクトの特徴が、工場構内の関連付けられた特徴の位置情報の推定精度に悪影響を与えることが回避される。

【0064】

以下、本発明の実施例を、図を用いながら説明する。

【図面の簡単な説明】

【0065】

【図1】図１は、工場構内におけるドライバー・アシスタント・システム用のダイナミックなカメラシステムの較正を示している。

【図2】図２は、較正された基準カメラシステムを用いた工場構内の測量を示している。

【図3】図３は、ドライバー・アシスタント・システム用のカメラシステムを較正するための方法を図解したものである。

【図4】図４は、工場構内の測量を実施するための方法を図解したものである。

【発明を実施するための形態】

【0066】

図内における類似する乃至同一のエレメントには、類似する乃至同一の符号が付けられている。尚、各々の図は、概略的な描写である。

【0067】

図１は、車両１のドライバー・アシスタント・システム用のダイナミックなカメラシステム２の較正を図解している。その際、該カメラシステム２は、車両１内に固定されている。該カメラシステムは、モノカメラシステム乃至マルチカメラシステムであることができる。図１では、簡略化するために、モノカメラシステム２が示されている。車両１は、軌道８に沿って、工場構内９を移動する。該軌道８は、カメラシステム２の較正のためには、既知である必要はない。車両１が、工場構内を移動している間、カメラシステムは、工場構内の画像を撮影している。即ち、複数の位置と方向から工場構内の画像が、撮影される。

【0068】

撮影された画像からは、較正するために適した特徴が抽出される。尚、撮影された画像からは、点状の特徴が抽出されることが好ましい。図１に例示的に示されているシナリオでは、カメラシステム２の視野円錐６は、特徴３－１、３－２と３－３を包含しており、これらの特徴は、撮影された画像から抽出されることができる。尚、該工場構内は、車両の校正用に、特別に取り付けられたターゲットを有している必要はない。該工場構内９には、不動のオブジェクト５だけでなく、可能なオブジェクト４－１や４－２も、存在していることができる。

【0069】

カメラシステムの較正には、工場構内の特徴とそれに帰属する位置情報が保存されているデータベースが用いられる。較正の際には、該カメラシステム２の内在的パラメータだけでなく、外在的パラメータも推定されることができる。しかしながら、これらのパラメータの一部のみを推定することも可能である。カメラシステム２のカメラの内在的パラメータとは、特に、焦点距離、画像センサのジオメトリ、並びに、焦点の向きなどのことである。一方、カメラシステム２のカメラの外在的パラメータとは、車両１の座標系７に対するカメラの位置と向きのことである。

【0070】

本発明に係るカメラシステムを較正するための装置は、カメラシステムのターゲットを必要としないダイナミックな較正を可能にする。特に、本発明に係る装置は、車両が、ターゲットに対して予め定められている位置や方向に置かれなくとも、車両のカメラシステムの較正の実施を可能にする。

【0071】

図２は、基準カメラシステム１１を用いた工場構内９の測量を模式的に示している。図２では、基準カメラシステム１１は、三脚１０上に取り付けられている。代案的には、該基準カメラシステム１１は、手持ちであってもかまわない。基準カメラシステム１１を用いて、工場構内の画像が、複数の撮影位置と複数の撮影方向から撮影される。ここでも、該工場構内９には、不動のオブジェクト５だけでなく、可能なオブジェクト４－１や４－２も、存在している。工場構内の測量の際には、較正された基準カメラシステム１１によって撮影された画像から、工場構内の特徴の位置情報が、算出される。算出された位置情報は、データベースに、それに帰属する特徴と共に保存される。該データベースは、本発明に係るカメラシステムを較正するための装置によって使用されることができる。即ち、この工場構内の測量が、本発明に係るカメラシステムを較正するための装置に必要なデータベースのイニシャル割り出しの役割を果たしている。

【0072】

図３は、ドライバー・アシスタント・システム用のカメラシステムを較正するための本発明に係る方法を模式的に図解したものである。ステップＳ１では、較正されるカメラシステムによって、工場構内の複数の画像が、様々な撮影位置と撮影方向から撮影される。

【0073】

ステップＳ２では、較正されるカメラシステムによって撮影された画像の特徴が、抽出される。

【0074】

該工場構内は、不動なオブジェクトのみならず可動なオブジェクトも包含している可能性があるため、可動なオブジェクトと不動なオブジェクトの特徴が、撮影された画像から抽出される。

【0075】

ステップＳ３では、抽出された特徴が、データベースに保存されている工場構内の特徴と関連付けられる。言い換えれば、抽出された特徴のデータベースに保存されている特徴との類似性が、確認される。該データベースは、工場構内の特徴の他、該特徴の位置情報も包含している。特に好ましくは、該データベースは、工場構内の特徴の固定的な座標系に対する位置として包含している。尚、該データベースは、相似関係においてのみ割り出されている工場構内の特徴の位置情報のみを包含していることも可能である。特に、カメラシステムの内在的パラメータは、データベースに保存されている特徴の位置が、相似関係においてのみ既知であれば、較正されることも、可能である。工場構内の抽出された特徴のデータベースに保存されている特徴との関連付けは、抽出された特徴の位置情報を割り出す目的で実施される。尚、データベースは、通常、カメラシステムの較正には適していないため、可動なオブジェクトの特徴は、包含していないことが好ましい。

【0076】

抽出され、関連付けによってその位置情報を割り出すことができた特徴は、以下、較正ステップＳ４において、用いることができる。更には、較正されるカメラシステムによって撮影された画像データも、較正に用いられる。較正の際には、該カメラシステム２の内在的パラメータだけでなく、外在的パラメータも推定されることができる。

【0077】

ステップＳ５では、推定されたカメラシステムのパラメータが、確認される。較正が成功しなかった場合、該較正方法を再実施しなければならない場合もある。

【0078】

図４は、本発明に係るカメラシステムを較正するための方法において用いられるデータベースを確認乃至更新するための本発明に係る方法を図解している。その際、ステップＳ１０では、基準カメラシステムによって、工場構内の画像か、複数の撮影位置及び／或いは複数の撮影方向から撮影される。撮影位置と撮影方向は、必ずしも既知である必要はない。

【0079】

ステップＳ１１では、工場構内の特徴が、撮影された画像から抽出される。

【0080】

ステップＳ１２では、様々な画像から抽出された複数の特徴が、それぞれどの特徴が複数の画像から抽出されたかを確認するために、互いに比較される。即ち、ステップＳ１２では、異なる画像から抽出された特徴の関連付けが実施される。ステップＳ１２では、どの特徴が、可動なオブジェクトに帰属しているかを検出することも可能である。可動オブジェクトの特徴は、これらの特徴が、工場構内の特徴の位置の割り出しの精度を低める恐れを有しているため、データベースを確認乃至更新する以下のステップにおいて、破棄されることも可能である。

【0081】

ステップＳ１３では、較正された基準カメラシステムによって測定された画像とステップＳ１２において作成された画像から抽出された特徴との関連付けから、該特徴の位置情報が算出される。

【0082】

ステップＳ１４では、割り出された位置情報と、それに帰属する工場構内の特徴が、データベースに保存される。更には、データベースが、カメラシステムの較正に適しているか否か、特に、データベースが、十分な量と工場構内の十分に広い領域に分散された特徴を有しているか否かが確認される。

【0083】

尚、ここで使われている用語「包含する（原文＝“ｕｍｆａｓｓｅｎｄ”）」と「有する（原文＝“ａｕｆｗｅｉｓｅｎｄ”）」は、他のエレメントや他のステップが含まれないと言う意味で使われているのではなく、また、原文における不定冠詞“ｅｉｎｅ”や“ｅｉｎ”（対訳＝「ひとつの」）によって、「複数」が排除されるものではないことを、捕捉として指摘しておく。更に、ひとつの、或いは、上述の実施例への参照と共に記述されている特徴やステップは、他の上述の実施例の他の特徴やステップとの組み合わせで使用されてもよいことも指摘しておく。請求項内の符号は、制限をかけるものではない。
なお、本発明は、以下の態様も包含し得る：
１．車両のカメラシステムを較正するための装置であって、
第一画像データを受信するための第一受信ユニットと、但し、該第一画像データは、工場構内の複数の画像を包含し、但し、第一画像データの画像は、複数の第一撮影位置、乃至、複数の第一撮影方向に対応し、更に但し、第一画像データは、較正されるカメラシステムによって撮影されたものである、
第一画像データから特徴を抽出するための第一抽出ユニットと、
第一画像データから抽出された特徴とデータベースの工場構内の特徴とを関連付けるための第一連想ユニットと、但し、該データベースは、工場構内の特徴とそれに帰属する位置データを包含している、
カメラシステムの外在的パラメータと内在的パラメータを、第一画像データと関連付けられた特徴の位置情報から推定する較正ユニットとを
包含していることを特徴とする装置。
２．更に、
工場構内の特徴とそれに帰属する位置情報とを有するデータベースを更に包含していることを特徴とする上記１．に記載の装置。
３．更に、
該第一連想ユニットが、第一画像データの複数の画像から抽出された特徴を関連付けし、且つ、
該第一連想ユニットが、第一画像データの複数の画像から抽出され関連付けられた特徴をデータベースに加える
ことを特徴とする上記１．又は２．に記載の装置。
４．更に、
該第一連想ユニットが、工場構内の可動オブジェクトを検出し、
該第一連想ユニットが、工場構内の可動オブジェクトの特徴を、データベースから取り除き、破棄する様に構成されている
ことを特徴とする上記１．～３．のいずれか１つに記載の装置。
５．更に、
該較正ユニットが、データベースの特徴と位置情報を更新することができる様に実施されている
ことを特徴とする上記１．～４．のいずれか１つに記載の装置。
６．更に、
該較正ユニットが、第一撮影位置、第一撮影方向に関する情報、乃至、データベースの位置情報を、カメラシステムのパラメータを推定する際に、多義性を解決するために使用する様に実施されている
ことを特徴とする上記１．～５．のいずれか１つに記載の装置。
７．上記１．～６．のいずれか１つに記載の装置を備えた車両用のドライバー・アシスタント・システム用のカメラシステムを較正するためのシステムであって、
更に、
データベースを確定乃至更新するための測定手段を備えている
但し、該測定手段が、
較正された基準カメラシステムと、
工場構内の第二画像データを受信するための第二受信ユニットと、
但し、第二画像データが、工場構内の複数の画像を包含しており、但し、該第二画像データの画像は、複数の第二撮影位置乃至複数の第二撮影方向に対応しており、且つ但し、該第二画像データは、校正された基準カメラシステムによって撮影された、
第二画像データから特徴を抽出するための第二抽出ユニットと、
第二画像データの複数の画像から抽出された特徴を関連付けるための第二連想ユニットと、
第二連想ユニットによって関連付けられた特徴の位置情報確認するための再構成ユニットと、
第二連想ユニットによって関連付けられた特徴と再構成ユニットによって割り出された位置情報をデータベースに保存するための入力／出力ユニットとを
包含している
ことを特徴とするシステム。
８．更に、
該測定手段の第二連想ユニットが、工場構内の可動オブジェクトを検出し、工場構内の可動オブジェクトの特徴は、破棄する様に構成されている
ことを特徴とする上記７．に記載のシステム。
９．更に、
測定手段の該再構成ユニットが、第二撮影位置と第二撮影方向に関する情報、乃至、予め既知な工場構内の特徴の位置情報を、第二連想ユニットによって関連付けられた特徴の位置情報を割り出す際の多義性を解決するために用いる様に実施されている
ことを特徴とする上記７．又は８．に記載のシステム。
１０．車両のカメラシステムを較正するための方法であって、
第一画像データを受信するステップと、
但し、該第一画像データが、工場構内の複数の画像を包含し、但し、該第一画像データの画像は、複数の撮影位置、乃至、複数の第一撮影手段に対応し、更に但し、該第一画像データが、較正されるカメラシステムによって撮影されたものである、
第一画像データから特徴を抽出するステップと、
第一画像データから抽出された特徴が、データベースの特徴と関連付けられるステップと、
但し、該データベースは、工場構内の特徴とそれに帰属する位置データを含んでいる
カメラシステムの外在的パラメータと内在的パラメータを推定し、第一画像データと関連付けられた特徴の位置情報を用いてカメラシステムを較正するステップとを
有していることを特徴とする方法。
１１．該方法が更に、
第一画像データの複数の画像から抽出された特徴を関連付けするステップと
第一画像データの複数の画像から抽出され、関連付けられた特徴をデータベースに追加するステップも
有している
ことを特徴とする上記１０．に記載の方法。
１２．該方法が更に、
第一画像データから工場構内の可動オブジェクトを検出するステップと、
工場構内の可動オブジェクトの特徴をデータベースから取り除くステップと、
工場構内の可動オブジェクトの特徴を破棄するステップも
有している
ことを特徴とする上記１０．又は１１．に記載の方法。
１３．該方法が更に、
データベースの特徴と位置データを更新するステップも
有している
ことを特徴とする上記１０．～１２．のいずれか１つに記載の方法。
１４．該方法が、更に、
第一撮影位置乃至第一撮影方向に関する情報を受信するステップと、
該第一撮影位置乃至第一撮影方向に関する情報、或いは、データベースの特徴の位置情報を、カメラシステムの較正の際の多義性を解決するために使用するステップも
有している
ことを特徴とする上記１０．～１３．のいずれか１つに記載の方法。
１５．該方法が、更に、
データベースの確認乃至更新を実施するための方法を包含している、
但し、該データベースの確認乃至更新を実施するための方法が、
工場構内の第二画像データを受信するステップと、
但し、該第二画像データは、工場構内の複数の画像を包含している、但し、該第二画像データの画像は、複数の第二撮影位置乃至複数の第二撮影方向に対応している、更に但し、 該第二画像データは、較正された基準カメラシステムによって撮影されたものである、第二画像データから特徴を抽出するステップと、
第二画像データの複数の画像から抽出された特徴を関連付けるステップと、
第二画像データの複数の画像から抽出され、関連付けられた特徴の位置情報を計算するステップと、
関連付けられた特徴と該特徴の算出された位置情報をデータベースに保存するステップを有している
ことを特徴とする上記１０．～１４．のいずれか１つに記載の方法。

【図1】

【図2】

【図3】

【図4】