特表2022-514429画像収集機器のキャリブレーション方法、装置、システム、機器及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-10
(54)【発明の名称】画像収集機器のキャリブレーション方法、装置、システム、機器及び記憶媒体
(51)【国際特許分類】
G06T 7/70 20170101AFI20220203BHJP
H04N 5/232 20060101ALI20220203BHJP
H04N 17/00 20060101ALI20220203BHJP
【ＦＩ】
G06T7/70 Z
H04N5/232
H04N17/00 200
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021535995
(86)(22)【出願日】2020-11-04
(85)【翻訳文提出日】2021-06-18
(86)【国際出願番号】 CN2020126573
(87)【国際公開番号】W WO2021098517
(87)【国際公開日】2021-05-27
(31)【優先権主張番号】201911135686.4
(32)【優先日】2019-11-19
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】519454800
【氏名又は名称】浙江商▲湯▼科技▲開▼▲発▼有限公司
【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２８８－８， Ｎｏ． ８５７， Ｓｈｉｘｉｎｂｅｉ Ｒｏａｄ， Ｎｉｎｇｗｅｉ Ｓｔｒｅｅｔ， Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｈａｎｇｚｈｏｕ， Ｚｈｅｊｉａｎｇ ３１１２１５ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110000729
【氏名又は名称】特許業務法人 ユニアス国際特許事務所
(72)【発明者】
【氏名】▲鮑▼ 虎▲軍▼
(72)【発明者】
【氏名】章 国▲鋒▼
(72)【発明者】
【氏名】王 宇▲偉▼
(72)【発明者】
【氏名】▲劉▼ 余▲錢▼
【テーマコード（参考）】
5C061
5C122
5L096
【Ｆターム（参考）】
5C061BB11
5C061CC01
5C122DA14
5C122EA55
5C122FA18
5C122FH11
5C122GE24
5C122GE27
5C122HB01
5C122HB06
5L096BA04
5L096CA04
5L096CA05
5L096DA02
5L096FA09
5L096FA66
5L096FA67
5L096FA69
5L096MA07
(57)【要約】
本発明の実施例は、画像収集機器のキャリブレーション方法、装置、システム、機器及び記憶媒体を提供する。このキャリブレーション方法は、前記画像収集機器によって収集された、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートを含む画像を取得するステップと、前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するステップと、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップと、を含む。本発明の実施例の方法では、キャリブレーションにおいて、大量の画像を収集、処理することにかかる人力と物質を節約することができる。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
画像収集機器のキャリブレーション方法であって、前記画像収集機器によって収集された、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートを含む画像を取得するステップと、
前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するステップと、
検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップと、を含む
ことを特徴とする画像収集機器のキャリブレーション方法。
【請求項2】
前記画像収集機器は、単眼カメラであり、前記画像は、前記単眼カメラによって収集された画像を少なくとも１枚含み、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップは、
前記検出されたコーナー点に基づいて、前記単眼カメラの内部パラメータ及び／又は外部パラメータを決定することを含む
ことを特徴とする請求項１に記載の画像収集機器のキャリブレーション方法。
【請求項3】
前記画像収集機器は、双眼カメラであり、前記画像は、前記双眼カメラの第１カメラヘッドによって収集された第１画像と、前記双眼カメラの第２カメラヘッドによって収集された第２画像とを含み、
検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップは、
前記第１画像で検出された第１コーナー点と前記第２画像で検出された第２コーナー点とをマッチングし、マッチングに成功した前記第１コーナー点と前記第２コーナー点とに基づいて、前記双眼カメラの内部パラメータ及び／又は外部パラメータを決定することを含む
ことを特徴とする請求項１に記載の画像収集機器のキャリブレーション方法。
【請求項4】
前記第１画像で検出された第１コーナー点と前記第２画像で検出された第２コーナー点とをマッチングすることは、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることと、
前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応する前記第１コーナー点と前記第２コーナー点とをマッチングすることと、を含む
ことを特徴とする請求項３に記載の画像収集機器のキャリブレーション方法。
【請求項5】
前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するステップは、前記画像における候補コーナー点を決定することと、
前記画像における候補コーナー点をクラスタリングして、前記画像における前記複数のキャリブレーションプレートに対応するコーナー点を取得することと、を含む
ことを特徴とする請求項１～４の何れか一項に記載の画像収集機器のキャリブレーション方法。
【請求項6】
前記画像における候補コーナー点をクラスタリングして、前記画像における前記複数のキャリブレーションプレートに対応するコーナー点を取得した後、前記画像収集機器のキャリブレーション方法は、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、クラスタリングされた、前記３つ以上の格子点に対応するコーナー点の位置を校正するステップを更に含む
ことを特徴とする請求項５に記載の画像収集機器のキャリブレーション方法。
【請求項7】
前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることは、前記第１画像と前記第２画像との間の視差を決定することと、
前記視差に基づいて、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることと、を含む
ことを特徴とする請求項４に記載の画像収集機器のキャリブレーション方法。
【請求項8】
前記第１画像と前記第２画像との間の視差を決定することは、前記複数のキャリブレーションプレートの前記第１画像における映像に対する、当該複数のキャリブレーションプレートの前記第２画像における映像の全体的シフトを決定することと、
前記全体的シフトを前記視差として決定することと、を含む
ことを特徴とする請求項７に記載の画像収集機器のキャリブレーション方法。
【請求項9】
前記第１画像と前記第２画像との間の視差を決定することは、前記双眼カメラの両眼視差を取得することと、
前記双眼カメラの両眼視差を前記第１画像と前記第２画像との間の視差として決定することと、を含む
ことを特徴とする請求項７に記載の画像収集機器のキャリブレーション方法。
【請求項10】
前記視差に基づいて、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることは、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、
前記第１画像において前記キャリブレーションプレートのプリセット位置に対応する第１位置座標を決定することと、
前記第１位置座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第２画像において前記プリセット位置に対応する第２位置座標を決定することと、
前記第２画像における前記第２位置座標で示されたキャリブレーションプレートと前記第１画像における前記第１位置座標で示されたキャリブレーションプレートとがマッチングしていることを決定することと、を含む
ことを特徴とする請求項７～９の何れか一項に記載の画像収集機器のキャリブレーション方法。
【請求項11】
前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応する前記第１コーナー点と前記第２コーナー点とをマッチングすることは、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートにおける格子点について、
前記第１画像における、前記格子点に対応する第１コーナー点の座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第１画像における前記第１コーナー点に対応する前記第２画像における第２コーナー点を決定することを含む
ことを特徴とする請求項４、７～１０の何れか一項に記載の画像収集機器のキャリブレーション方法。
【請求項12】
前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応する前記第１コーナー点と前記第２コーナー点とをマッチングすることは、前記第１画像における前記第１コーナー点に対応する前記第２画像における第２コーナー点を決定できなかった場合に、対応する第２コーナー点がマッチングされ得るまで、前記第２画像におけるコーナー点行列に対して少なくとも１回の転置及び／又は回転を行うことを更に含む
ことを特徴とする請求項１１に記載の画像収集機器のキャリブレーション方法。
【請求項13】
前記画像収集機器は、車両に配備されていることを特徴とする、請求項１～１２の何れか一項に記載の画像収集機器のキャリブレーション方法。
【請求項14】
前記画像収集機器によって収集された画像は、前記複数のキャリブレーションプレート全体を含むことを特徴とする、請求項１～１３の何れか一項に記載の画像収集機器のキャリブレーション方法。
【請求項15】
画像収集機器のキャリブレーション装置であって、前記画像収集機器によって収集された、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートを含む画像を取得するための取得モジュールと、
前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するための検出モジュールと、
検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするためのキャリブレーションモジュールと、を備える
ことを特徴とするキャリブレーション装置。
【請求項16】
前記画像収集機器は、単眼カメラであり、前記画像は、前記単眼カメラによって収集された画像を少なくとも１枚含み、前記キャリブレーションモジュールは、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするときに、
前記検出されたコーナー点に基づいて、前記単眼カメラの内部パラメータ及び／又は外部パラメータを決定する
ことを特徴とする請求項１５に記載のキャリブレーション装置。
【請求項17】
前記画像収集機器は、双眼カメラであり、前記画像は、前記双眼カメラの第１カメラヘッドによって収集された第１画像と、前記双眼カメラの第２カメラヘッドによって収集された第２画像とを含み、
前記キャリブレーションモジュールは、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするときに、
前記第１画像で検出された第１コーナー点と前記第２画像で検出された第２コーナー点とをマッチングし、マッチングに成功した前記第１コーナー点と前記第２コーナー点とに基づいて、前記双眼カメラの内部パラメータ及び／又は外部パラメータを決定する
ことを特徴とする請求項１５に記載のキャリブレーション装置。
【請求項18】
前記キャリブレーションモジュールは、前記第１画像で検出された第１コーナー点と前記第２画像で検出された第２コーナー点とをマッチングするときに、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングし、
前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応する前記第１コーナー点と前記第２コーナー点とをマッチングする
ことを特徴とする請求項１７に記載のキャリブレーション装置。
【請求項19】
前記検出モジュールは、更に、前記画像における候補コーナー点を決定し、
前記画像における候補コーナー点をクラスタリングして、前記画像における前記複数のキャリブレーションプレートに対応するコーナー点を取得する
ことを特徴とする請求項１５～１８の何れか一項に記載のキャリブレーション装置。
【請求項20】
前記キャリブレーション装置は、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、クラスタリングされた、前記３つ以上の格子点に対応するコーナー点の位置を校正するための校正モジュールを更に備える
ことを特徴とする請求項１９に記載のキャリブレーション装置。
【請求項21】
前記キャリブレーションモジュールは、更に、前記第１画像と前記第２画像との間の視差を決定し、
前記視差に基づいて、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングする
ことを特徴とする請求項１８に記載のキャリブレーション装置。
【請求項22】
前記キャリブレーションモジュールは、更に、前記複数のキャリブレーションプレートの前記第１画像における映像に対する、当該複数のキャリブレーションプレートの前記第２画像における映像の全体的シフトを決定し、前記全体的シフトを前記視差として決定する
ことを特徴とする請求項２１に記載のキャリブレーション装置。
【請求項23】
前記キャリブレーションモジュールは、更に、前記双眼カメラの両眼視差を取得し、前記双眼カメラの両眼視差を前記第１画像と前記第２画像との間の視差として決定する
ことを特徴とする請求項２１に記載のキャリブレーション装置。
【請求項24】
前記キャリブレーションモジュールは、更に、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、
前記第１画像において前記キャリブレーションプレートのプリセット位置に対応する第１位置座標を決定し、
前記第１位置座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第２画像において前記プリセット位置に対応する第２位置座標を決定し、
前記第２画像における前記第２位置座標で示されたキャリブレーションプレートと前記第１画像における前記第１位置座標で示されたキャリブレーションプレートとがマッチングしていることを決定する
ことを特徴とする請求項２１～２３の何れか一項に記載のキャリブレーション装置。
【請求項25】
前記キャリブレーションモジュールは、更に、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートにおける格子点について、
前記第１画像における、前記格子点に対応する第１コーナー点の座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第１画像における前記第１コーナー点に対応する前記第２画像における第２コーナー点を決定する
ことを特徴とする請求項１８、２１～２４の何れか一項に記載のキャリブレーション装置。
【請求項26】
前記キャリブレーションモジュールは、更に、前記第１画像における前記第１コーナー点に対応する前記第２画像における第２コーナー点を決定できなかった場合に、対応する第２コーナー点がマッチングされ得るまで、前記第２画像におけるコーナー点行列に対して少なくとも１回の転置及び／又は回転を行うことを特徴とする請求項２５に記載のキャリブレーション装置。
【請求項27】
前記画像収集機器は、車両に配備されていることを特徴とする請求項１５～２６の何れか一項に記載のキャリブレーション装置。
【請求項28】
前記画像収集機器によって収集された画像は、前記複数のキャリブレーションプレート全体を含むことを特徴とする請求項１５～２７の何れか一項に記載のキャリブレーション装置。
【請求項29】
画像収集機器のキャリブレーションシステムであって、画像収集機器と、複数のキャリブレーションプレートと、を備え、
前記複数のキャリブレーションプレートは、前記画像収集機器の視野範囲内に位置し、前記複数のキャリブレーションプレート同士は、互いに遮らず、且つポーズ情報が異なることを特徴とする画像収集機器のキャリブレーションシステム。
【請求項30】
キャリアであって、請求項１５～２８の何れか一項に記載のキャリブレーション装置と、
キャリア本体と、を備え、
前記キャリブレーション装置は、前記キャリア本体に設けられていることを特徴とするキャリア。
【請求項31】
キャリブレーション機器であって、メモリと、
プロセッサと、
コンピュータプログラムと、を含み、
前記コンピュータプログラムは、前記メモリに記憶され、前記プロセッサによって実行されることにより、請求項１～１４の何れか一項に記載の画像収集機器のキャリブレーション方法を実施させるように構成されることを特徴とするキャリブレーション機器。
【請求項32】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されたときに、請求項１～１４の何れか一項に記載の画像収集機器のキャリブレーション方法は実施されることを特徴とするコンピュータ可読記憶媒体。
【請求項33】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが機器で運転されたときに、前記機器におけるプロセッサに請求項１～１４の何れか一項に記載の画像収集機器のキャリブレーション方法を実施させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施例は、画像収集機器のキャリブレーション方法、装置、システム、機器及び記憶媒体に関する。
【0002】
＜関連出願の相互引用＞
本発明は、２０１９年１１月１９日に提出された、出願番号が２０１９１１１３５６８６．４である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本発明に組み入れられる。
本発明は、２０１９年１１月１９日に提出された、出願番号が２０１９１１１３５６８６．４である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本発明に組み入れられる。
【背景技術】
【0003】
コンピュータビジョン技術の発展につれて、より正確な処理結果を得るために、データ処理に必要な画像の精度に対する要求は、高くなる。即ち、カメラなどの画像収集機器によって収集された画像の精度に対する要求は、ますます高くなっている。カメラを例とすると、画像の精度は、カメラのパラメータからの影響を受けている。カメラのパラメータの精度が高いほど、画像の再現度が良くなり、これは、収集された画像の精度が高くなることも意味している。カメラのパラメータは、カメラのキャリブレーションによって決められる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の実施例は、キャリブレーションにおいて、大量の画像を収集、処理するために過大な人力、物資を占用する必要がある技術的課題を解決するために、画像収集機器のキャリブレーション方法、装置、システム、機器及び記憶媒体を提供する。
【課題を解決するための手段】
【0005】
第１態様において、本発明の実施例は、画像収集機器のキャリブレーション方法を提供する。前記画像収集機器のキャリブレーション方法は、前記画像収集機器によって収集された、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートを含む画像を取得するステップと、前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するステップと、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップと、を含む。
【0006】
好ましくは、前記画像収集機器は、単眼カメラであり、前記画像は、前記単眼カメラによって収集された画像を少なくとも１枚含み、前記検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップは、前記検出されたコーナー点に基づいて、前記単眼カメラの内部パラメータ及び／又は外部パラメータを決定することを含む。
【0007】
好ましくは、前記画像収集機器は、双眼カメラであり、前記画像は、前記双眼カメラの第１カメラヘッドによって収集された第１画像と、前記双眼カメラの第２カメラヘッドによって収集された第２画像とを含み、前記検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップは、前記第１画像で検出された第１コーナー点と前記第２画像で検出された第２コーナー点とをマッチングし、マッチングに成功した前記第１コーナー点と前記第２コーナー点とに基づいて、前記双眼カメラの内部パラメータ及び／又は外部パラメータを決定することを含む。
【0008】
好ましくは、前記第１画像で検出された第１コーナー点と前記第２画像で検出された第２コーナー点とをマッチングすることは、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることと、前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応する前記第１コーナー点と前記第２コーナー点とをマッチングすることと、を含む。
【0009】
好ましくは、前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するステップは、前記画像における候補コーナー点を決定することと、前記画像における候補コーナー点をクラスタリングして、前記画像における前記複数のキャリブレーションプレートに対応するコーナー点を取得することと、を含む。
【0010】
好ましくは、前記画像における候補コーナー点をクラスタリングして、前記画像における前記複数のキャリブレーションプレートに対応するコーナー点を取得した後、前記画像収集機器のキャリブレーション方法は、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、クラスタリングされた、前記３つ以上の格子点に対応するコーナー点の位置を校正するステップを更に含む。
【0011】
好ましくは、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることは、前記第１画像と前記第２画像との間の視差を決定することと、前記視差に基づいて、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることと、を含む。
【0012】
好ましくは、前記第１画像と前記第２画像との間の視差を決定することは、前記複数のキャリブレーションプレートの前記第１画像における映像に対する、当該複数のキャリブレーションプレートの前記第２画像における映像の全体的シフトを決定することと、前記全体的シフトを前記視差として決定することと、を含む。
【0013】
好ましくは、前記第１画像と前記第２画像との間の視差を決定することは、前記双眼カメラの両眼視差を取得することと、前記双眼カメラの両眼視差を前記第１画像と前記第２画像との間の視差として決定することと、を含む。
【0014】
好ましくは、前記視差に基づいて、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることは、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記第１画像において前記キャリブレーションプレートのプリセット位置に対応する第１位置座標を決定することと、前記第１位置座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第２画像において前記プリセット位置に対応する第２位置座標を決定することと、前記第２画像における前記第２位置座標で示されたキャリブレーションプレートと前記第１画像における前記第１位置座標で示されたキャリブレーションプレートとがマッチングしていることを決定することと、を含む。
【0015】
好ましくは、前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応する前記第１コーナー点と前記第２コーナー点とをマッチングすることは、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートにおける格子点について、前記第１画像における、前記格子点に対応する第１コーナー点の座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第１画像における前記第１コーナー点に対応する前記第２画像における第２コーナー点を決定することを含む。
【0016】
好ましくは、前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応する前記第１コーナー点と前記第２コーナー点とをマッチングすることは、前記第１画像における前記第１コーナー点に対応する前記第２画像における第２コーナー点を決定できなかった場合に、対応する第２コーナー点がマッチングされ得るまで、前記第２画像におけるコーナー点行列に対して少なくとも１回の転置及び／又は回転を行うことを更に含む。
【0017】
好ましくは、前記画像収集機器は、車両に配備されている。
【0018】
好ましくは、前記画像収集機器によって収集された画像は、前記複数のキャリブレーションプレート全体を含む。
【0019】
第２態様において、本発明の実施例は、キャリブレーション装置を提供する。前記キャリブレーション装置は、前記画像収集機器によって収集された、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートを含む画像を取得するための取得モジュールと、前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するための検出モジュールと、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするためのキャリブレーションモジュールと、を備える。
【0020】
好ましくは、前記画像収集機器は、単眼カメラであり、前記画像は、前記単眼カメラによって収集された画像を少なくとも１枚含み、前記キャリブレーションモジュールは、前記検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするときに、検出されたコーナー点に基づいて、前記単眼カメラの内部パラメータ及び／又は外部パラメータを決定する。
【0021】
好ましくは、前記画像収集機器は、双眼カメラであり、前記画像は、前記双眼カメラの第１カメラヘッドによって収集された第１画像と、前記双眼カメラの第２カメラヘッドによって収集された第２画像とを含み、前記キャリブレーションモジュールは、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするときに、前記第１画像で検出された第１コーナー点と前記第２画像で検出された第２コーナー点とをマッチングし、マッチングに成功した前記第１コーナー点と前記第２コーナー点とに基づいて、前記双眼カメラの内部パラメータ及び／又は外部パラメータを決定する。
【0022】
好ましくは、前記キャリブレーションモジュールは、前記第１画像で検出された第１コーナー点と前記第２画像で検出された第２コーナー点とをマッチングするときに、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングし、前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応する前記第１コーナー点と前記第２コーナー点とをマッチングする。
【0023】
好ましくは、前記検出モジュールは、更に、前記画像における候補コーナー点を決定し、前記画像における候補コーナー点をクラスタリングして、前記画像における前記複数のキャリブレーションプレートに対応するコーナー点を取得する。
【0024】
好ましくは、前記キャリブレーション装置は、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、クラスタリングされた、前記３つ以上の格子点に対応するコーナー点の位置を校正するための校正モジュールを更に備える。
【0025】
好ましくは、前記キャリブレーションモジュールは、更に、前記第１画像と前記第２画像との間の視差を決定し、前記視差に基づいて、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングする。
【0026】
好ましくは、前記キャリブレーションモジュールは、更に、前記複数のキャリブレーションプレートの前記第１画像における映像に対する、当該複数のキャリブレーションプレートの前記第２画像における映像の全体的シフトを決定し、前記全体的シフトを前記視差として決定する。
【0027】
好ましくは、前記キャリブレーションモジュールは、更に、前記双眼カメラの両眼視差を取得し、前記双眼カメラの両眼視差を前記第１画像と前記第２画像との間の視差として決定する。
【0028】
好ましくは、前記キャリブレーションモジュールは、更に、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記第１画像において前記キャリブレーションプレートのプリセット位置に対応する第１位置座標を決定し、前記第１位置座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第２画像において前記プリセット位置に対応する第２位置座標を決定し、前記第２画像における前記第２位置座標で示されたキャリブレーションプレートと前記第１画像における前記第１位置座標で示されたキャリブレーションプレートとがマッチングしていることを決定する。
【0029】
好ましくは、前記キャリブレーションモジュールは、更に、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートにおける格子点について、前記第１画像における、前記格子点に対応する第１コーナー点の座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第１画像における前記第１コーナー点に対応する前記第２画像における第２コーナー点を決定する。
【0030】
好ましくは、前記キャリブレーションモジュールは、更に、前記第１画像における前記第１コーナー点に対応する前記第２画像における第２コーナー点を決定できなかった場合に、対応する第２コーナー点がマッチングされ得るまで、前記第２画像におけるコーナー点行列に対して少なくとも１回の転置及び／又は回転を行う。
【0031】
好ましくは、前記画像収集機器は、車両に配備されている。
【0032】
好ましくは、前記画像収集機器によって収集された画像は、前記複数のキャリブレーションプレート全体を含む。
【0033】
第３態様において、本発明の実施例は、画像収集機器のキャリブレーションシステムを提供する。前記画像収集機器のキャリブレーションシステムは、画像収集機器と、複数のキャリブレーションプレートと、を備え、前記複数のキャリブレーションプレートは、前記画像収集機器の視野範囲内に位置し、前記複数のキャリブレーションプレート同士は、互いに遮らず、且つポーズ情報が異なる。
【0034】
第４態様において、本発明の実施例は、キャリアを提供する。前記キャリアは、第２態様に記載のキャリブレーション装置と、キャリア本体と、を備え、前記キャリブレーション装置は、前記キャリア本体に設けられている。
【0035】
第５態様において、本発明の実施例は、キャリブレーション機器を提供する。前記キャリブレーション機器は、メモリと、プロセッサと、コンピュータプログラムと、を含み、前記コンピュータプログラムは、前記メモリに記憶され、前記プロセッサによって実行されることにより、第１態様に記載の画像収集機器のキャリブレーション方法を実施させるように構成される。
【0036】
第６態様において、本発明の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、第１態様に記載の方法は実施される。
【0037】
第７態様において、本発明の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器で運転されたときに、前記機器におけるプロセッサに第１態様に記載の方法を実施させる。
【0038】
本発明の実施例に画像収集機器のキャリブレーション方法、装置、システム、機器及び記憶媒体が提供され、当該方法は、画像収集機器によって収集された画像に基づいて、コーナー点の検出を行うことにより、画像に含まれる複数のキャリブレーションプレートのコーナー点を決定し、その後、検出されたコーナー点に基づいて画像収集機器に対してキャリブレーションを行う。ただし、１枚の画像は、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートを含む。
【発明の効果】
【0039】
画像収集機器は、複数のキャリブレーションプレートを備えた状況で、キャリブレーションのための画像を収集し、且つ複数のキャリブレーションプレートが、ポーズ情報が異なるだけではなく、互いに遮ることもないので、画像収集において、キャリブレーションプレートを手動で移動及び／又は回転したり、又は画像収集機器を手動で移動するのにかかる人力を省くことができる。また、１枚の画像に複数のキャリブレーションプレートが含まれ、且つキャリブレーションプレートはいずれも画像収集機器のキャリブレーションに用いることができるので、処理される画像の数が大幅に低減され、画像処理にかかる資源が節約される。
【0040】
また、１枚の画像に含まれる情報量は、関連技術における複数の画像に含まれる情報量に相当するため、画像の収集にかかる時間が節約され、また、関連技術において複数の画像からキャリブレーションの要求を満たす画像を選別することも省くことができる。つまり、画像収集機器によって収集された画像は、一般的に、収集された画像に対する手動での別途的な選別を必要とせず、いずれも画像収集機器のキャリブレーションに用いることができる。
【0041】
更に、実際のキャリブレーションにおいて、収集において、キャリブレーションプレートを手動で調整することが省かれるので、画像収集において、キャリブレーションプレートが全プロセスにおいて静止状態にあり、複数のカメラヘッドを備えた画像収集機器では、複数のカメラヘッドの同期性の要求が効果的に低減され、キャリブレーション精度が向上することができる。
【図面の簡単な説明】
【0042】
【図1】関連技術においてカメラをキャリブレーションする応用場面図である。
【図2A】本発明の実施例の、単眼カメラを含む画像収集機器のキャリブレーションシステムの模式図である。
【図2B】本発明の実施例の、双眼カメラを含む画像収集機器のキャリブレーションシステムの模式図である。
【図3】本発明の実施例に係る画像収集機器のキャリブレーション方法のフローチャートである。
【図5】本発明の別の実施例に係る画像収集機器のキャリブレーション方法のフローチャートである。
【図6】本発明の実施例に係るコーナー点がマッチングされる前の第１画像と第２画像の模式図である。
【図7】本発明の実施例に係るコーナー点がマッチングされた後の第１画像と第２画像の模式図である。
【図8】本発明の実施例に係る、キャリブレーションされたカメラによって収集されたキャリブレーションプレートの空間位置図である。
【図9】本発明の実施例に係るキャリブレーション装置の構造模式図である。
【図10】本発明の実施例に係るキャリブレーション機器の構造模式図である。
【0043】
上記図面により、本発明の明確な実施例を示し、後文により詳細な記述がある。これらの図面及び文字記述は、如何なる方式で本発明の思想の範囲を制限するためのものではなく、特定の実施例を参照して当業者へ本発明の概念を説明するためのものである。
【発明を実施するための形態】
【0044】
ここで、例示的な実施例を詳細に説明する。その例示は、図面に示される。以下の記述は、図面に係る際、別途示さない限り、異なる図面における同じ符号が同じ又は類似する要素を示す。以下の例示的な実施例に記述される実施形態が本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは、単に添付する特許請求の範囲に詳細に記述されるような、本発明の幾つかの態様に一致する装置及び方法の例である。
【0045】
関連技術では、主に、同一のキャリブレーションプレートの異なる角度、異なる距離における複数の画像を収集してから、収集された複数の画像に基づいてキャリブレーションを行う。実際の作業において、キャリブレーションの作業員が、キャリブレーションプレートを複数回移動したり、又はカメラを移動することにより、複数の画像を収集することができる。良好なキャリブレーション効果を得るために、カメラのキャリブレーションのための大量の画像を収集する必要があり、大量の画像の収集では、キャリブレーションの要求を満たす大量の画像を収集するために、必然的にキャリブレーションの作業人によりキャリブレーションプレーの配置位置、カメラに対する角度などを複数回調整したり、又はキャリブレーションの作業員により、カメラを頻繁に移動する必要があり、また、その後の処理では、大量の処理資源を占用して、収集された大量の画像を処理する必要があり、人力、物質を費やす。
【0046】
図１は、関連技術においてカメラをキャリブレーションする応用場面である。キャリブレーションされるカメラ１１は、単眼カメラであっても、双眼カメラであってもよい。ここで、双眼カメラを例として説明する。関連技術では、カメラをキャリブレーションする場合に、キャリブレーションプレート１２を移動及び／又は回転したり又はカメラを手動で移動したりして、双眼カメラの２つのカメラヘッド（図１において２つの円で双眼カメラ１１に示す）によって、それぞれ複数の画像を撮影する。各カメラヘッドによって撮影された画像それぞれに、１つのキャリブレーションプレート１２が含まれる。各カメラヘッドによって撮影された複数の画像それぞれに係るキャリブレーションプレート１２の位置及び姿勢がそれぞれ異なり、双眼カメラの２つのカメラヘッドによって同一の位置及び姿勢でのキャリブレーションプレート１２を撮影した画像を１セットの画像とする。複数回撮影することにより、複数セット、例えば、１０ー２０セットの画像を取得する。その後、キャリブレーションアルゴリズムの要求を満たす画像を手動で選択する。このため、関連技術には次の欠点がある。１）キャリブレーションプレート又は画像収集機器を手動で移動する必要がある。２）キャリブレーションアルゴリズムの要求を満たす画像を手動で選択する必要がある。３）双眼カメラの２つのカメラヘッドの同期性が悪いと、キャリブレーションプレートの移動中、２つのカメラヘッドによって撮影された画像データの間に空間位置での誤差が生じ、更にキャリブレーション精度が低下してしまう。
【0047】
本発明の実施例は、上記技術的課題の少なくとも１つを解決するために、画像収集機器のキャリブレーション方法を提供する。本発明の実施例では、画像収集機器は、例えば、カメラ、カメラヘッド又は画像収集機能を備えた携帯電話、コンピュータなどの端末であってよい。以下、カメラである画像収集機器を例として、本発明の実施例に係る発明を更に説明する。
【0048】
本発明の実施例に係る画像収集機器のキャリブレーション方法は、図２Ａ又は図２Ｂに示す画像収集機器のキャリブレーションシステムに適用することができる。図２Ａに示すように、この画像収集機器のキャリブレーションシステムは、単眼カメラ２１Ａと、複数のキャリブレーションプレート２２とを含む。図２Ｂに示すように、この画像収集機器のキャリブレーションシステムは、双眼カメラ２１Ｂと、複数のキャリブレーションプレート２２とを含む。ただし、図２Ａ及び図２Ｂにおける複数のキャリブレーションプレート２２が、際立った特徴を有する碁盤目、特徴点セット、特徴エッジなどを選んでもよく、且つキャリブレーションプレート２２の形状は、矩形、円形、不規則なパターンなどであってもよい。なお、本発明の実施例の画像収集機器のキャリブレーションシステムにおいて、複数のキャリブレーションプレート２２は、互いに遮らず、且つ複数のキャリブレーションプレート２２のポーズ情報が異なる必要がある。
【0049】
キャリブレーションを開始する前に、予め単眼カメラ２１Ａによって全てのキャリブレーションプレート２２を観察して、キャリブレーションプレート２２が全て同時に単眼カメラ２１Ａのカメラヘッドの視野範囲内にあり、完全に見えるとともに、できるだけ単眼カメラ２１Ａの視野範囲、特にカメラヘッドによって撮影される画像の端部をカバーするように、キャリブレーションプレート２２の位置又は姿勢を調整することができる。あるいは、双眼カメラ２１Ｂによって全てのキャリブレーションプレート２２を予め観察して、キャリブレーションプレート２２が全て同時に双眼カメラ２１Ｂの２つのカメラヘッドの視野範囲内にあり、完全に見えるとともに、できるだけ双眼カメラ２１Ｂの視野範囲、特にカメラヘッドによって撮影される画像の端部をカバーするように、キャリブレーションプレート２２の位置又は姿勢を調整することができる。
【0050】
なお、カメラの視野とは、カメラを介して見える領域を意味している。カメラの視野範囲とは、カメラによって収集できる画像の領域に対応する範囲を意味している。本発明の実施例において、カメラの視野範囲は、レンズから物体までの距離、カメラのモデルサイズ、及びレンズの焦点距離などのパラメータの中の１つ又は複数に基づいて決定することができる。例えば、レンズから物体までの距離が１５００ｍｍ、カメラのモデルサイズが４．８ｍｍ、レンズの焦点距離が５０ｍｍであれば、カメラの視野＝（１５００＊４．８）／５０＝１４４ｍｍである。カメラの視野範囲は、カメラの画角、即ち、カメラレンズの中心点とイメージング平面の対角線の両端とが成す角度として理解され得る。イメージング面積が同じである場合、レンズの焦点距離が短いほど、その画角が大きくなる。
【0051】
また、本実施例において、全てのキャリブレーションプレート２２が互いに遮られない又は別の物体に遮られない必要もある。複数のキャリブレーションプレート２２が互いに遮られないことは、カメラによって観察された視野範囲内における複数のキャリブレーションプレート２２が互いに重なり合うことなく、且つ、複数のキャリブレーションプレート２２はそれぞれ完全であると理解され得る。つまり、撮影された画像に含まれる複数のキャリブレーションプレートの映像が互いに重なり合うことなく、画像に含まれるのは、複数のキャリブレーションプレート全体の映像である。このため、複数のキャリブレーションプレート２２を配置する時に、任意の２つのキャリブレーションプレート２２が一定の距離を隔てて、互いに隣り合わないようにする。複数のキャリブレーションプレート２２を配置する時に、複数のキャリブレーションプレート２２のうち少なくとも２つがカメラとの間の水平距離が異なってもよく、これにより、カメラによって収集された画像に係るキャリブレーションプレートの位置情報がより多様になる。つまり、収集された１枚の画像には、カメラから様々な距離の範囲内にあるキャリブレーションプレート２２が含まれる。例えば、カメラの視野範囲を、カメラからの距離が短距離、中距離、長距離の３種類の距離に分ける。これにより、収集された１枚の画像には、少なくとも上記３種類の距離におけるキャリブレーションプレート２２が含まれ、収集された画像に係るキャリブレーションプレートの位置情報が多様になる。
【0052】
また、キャリブレーションプレート２２の平坦性を確保することで、収集された画像におけるキャリブレーションプレートの映像をより鮮明にすることができる。例えば、アルミニウム合金フレームなどのような位置制限装置によって、キャリブレーションプレート２２の周りを固定することで、キャリブレーションプレートに表示されたパターン、点セットなどの特徴的データがより鮮明になる。
【0053】
なお、図２Ａ及び図２Ｂにおけるキャリブレーションプレート２２の数は例示的に説明するためのものであり、キャリブレーションプレート２２の数に対する制限として理解されるべきではない。当業者であれば、実際の状況に応じた数のキャリブレーションプレート２２を配置することができる。
【0054】
本発明の実施例図２Ａ及び図２Ｂに示すシステムは、自動運転の実現の基礎を与えるために、車載カメラのキャリブレーションに用いてもよく、ビジョンシステムに基づくロボットの各動作の精度を向上させるために、ビジョンシステムが搭載されているロボットのキャリブレーションに用いてもよい。自動運転のための車載カメラを例に取ると、図２Ａの画像収集機器のキャリブレーションシステムでは、車載単眼カメラをキャリブレーションすることができ、図２Ｂの画像収集機器のキャリブレーションシステムでは、車載双眼カメラをキャリブレーションすることができる。
【0055】
以下では、具体的な実施例を用いて、本発明の発明、及び本発明の発明がどのようにして上記技術課題を解決するかについて詳細に説明する。以下のこれら具体的な実施例は互いに組み合わせることができ、同一又は類似の概念又は過程は、幾つかの実施例において説明を省略することがある。以下では、図面を参照しながら、本発明の実施例について説明する。
【0056】
図３は、本発明の実施例に係る画像収集機器のキャリブレーション方法のフローチャートである。本発明の実施例は、関連技術の上記技術的課題に対して、画像収集機器のキャリブレーション方法を提供する。この方法は、具体的に、以下のステップを有する。
【0057】
ステップ３０１では、画像収集機器によって撮影された画像を取得する。
【0058】
この画像は、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートを含む。
【0059】
本実施例において、画像収集機器が車両に配備される場合、画像収集機器は、車載単眼カメラであっても、又は車載双眼カメラであってもよい。
【0060】
上記ポーズ情報とは、キャリブレーションプレートの空間における位置状態を指し、具体的に、位置情報及び姿勢情報を含んでもよい。位置情報とは、キャリブレーションプレートのカメラに対する相対的位置関係を指し、姿勢情報とは、キャリブレーションプレートが位置情報で示された位置における回転、下向き／上向きなどの姿勢を指す。本発明の実施例において、ポーズ情報とは、キャリブレーションプレートの空間における６次元の中の少なくとも１つに対応する情報を指してもよい。ポーズ情報が異なるとは、空間における少なくとも１次元の情報が異なることを意味してもよい。６次元とは、キャリブレーションプレートの３次元座標系においてＸ軸、Ｙ軸、Ｚ軸における平行移動情報及び回転情報をそれぞれ指す。
【0061】
好ましくは、画像収集機器が単眼カメラである場合、例えば、図２Ａに示すキャリブレーションシステムによって撮影する場合、画像が、単眼カメラのカメラヘッドによって収集された１枚の画像、又は複数回の収集で取得された少なくとも２枚の画像を含む。収集された複数の画像に、単眼カメラの状態が変わらない場合に連続して又は一定の時間間隔で撮影した複数の画像、あるいは、単眼カメラが状態の変化とともに撮影した複数の画像が含まれてもよい。つまり、複数の画像のうち少なくとも２枚の画像は、単眼カメラが異なる状態で撮影したものである。単眼カメラの状態とは、単眼カメラの空間における位置、及び／又は単眼カメラの仰俯角などを指す。
【0062】
好ましくは、画像収集機器が双眼カメラである場合、例えば、図２Ｂに示すシステムによって撮影する場合、画像が、双眼カメラの第１カメラヘッドによって収集された第１画像、及び双眼カメラの第２カメラヘッドによって収集された第２画像を含む。第１画像と第２画像は、それぞれ複数のキャリブレーションプレートを含む。複数の第１画像及び複数の第２画像は、上記単眼カメラと同じように取得されるので、ここで重複する説明を省略する。実際の撮影において、第１カメラヘッドと第２カメラヘッドが、一定の時間範囲内で撮影を１回行うことが多いが、この一定の時間範囲内で撮影された第１画像と第２画像は、１セットの画像として、その後の双眼カメラのキャリブレーションに用いられる。
【0063】
一実施例において、画像収集機器によって撮影された画像は、複数のキャリブレーションプレート全体を含む。
【0064】
本実施例において、画像収集機器によって収集された複数の画像は、画像収集機器が録画などによって収集された、ビデオシーケンス内の時系列で隣接しているか又は隣接していない複数フレームの画像である。
【0065】
ステップ３０２では、画像における複数のキャリブレーションプレートのコーナー点をそれぞれ検出する。
【0066】
好ましくは、画像収集機器が単眼カメラである場合、このステップでは、単眼カメラのカメラヘッドによって収集された少なくとも１枚の画像に対してコーナー点検出を行う。
【0067】
好ましくは、画像収集機器が双眼カメラである場合、このステップでは、双眼カメラの第１カメラヘッドによって収集された第１画像、及び双眼カメラの第２カメラヘッドによって収集された第２画像のそれぞれに対してコーナー点検出を行う。
【0068】
本実施例において、コーナー点とは、キャリブレーションプレートの格子点から画像へマッピングされたピクセル点であり、一般的には、画像における局所的な最大値をコーナー点とすることができる。例えば、ピクセル点が周囲のピクセルよりも明るい又は暗い場合、このピクセル点をコーナー点として見なすことができる。例えば、図４の第１画像Ａ１及び第２画像Ａ２において、キャリブレーションプレートの碁盤目で、２本の線の交点ごとに対応するピクセル点はコーナー点として検出することができる。キャリブレーションプレートの格子点とは、キャリブレーションプレートのパターンが碁盤目である場合、黒い格子と白い格子とを区分する２本の線の交点、即ち、キャリブレーションプレートにおける黒い格子又は白い格子を表す矩形の頂点である。例えば、図２Ｂに示す格子点Ｏ’（図２Ｂの右側の矢印で示されている）である。
【0069】
例示的には、画像における複数のキャリブレーションプレートのコーナー点をそれぞれ検出する。複数のキャリブレーションプレートのうち少なくとも２つのキャリブレーションプレートの画像におけるコーナー点を検出してもよい。例えば、キャリブレーションシステムに２０個のキャリブレーションプレートが含まれる場合、画像収集機器によって一部又は全てのキャリブレーションプレート、例えば１８個のキャリブレーションプレートを含む画像を収集して取得してもよい。これにより、この１８個のキャリブレーションプレートの画像におけるコーナー点を検出することができる。もちろん、１８個未満のキャリブレーションプレート、例えば、１８個のキャリブレーションプレートを含む画像において、その中の１５個のキャリブレーションプレートの画像におけるコーナー点を検出してもよい。
【0070】
ステップ３０３では、検出されたコーナー点に基づいて、画像収集機器をキャリブレーションする。
【0071】
本発明の実施例において、画像収集機器をキャリブレーションするとは、画像収集機器の内部パラメータ、外部パラメータなどの少なくとも１種類のパラメータをキャリブレーションすることである。
【0072】
カメラである画像収集機器を例に取ると、カメラの内部パラメータとは、カメラ自体の特性を反映するためパラメータを意味し、カメラの焦点距離、画像の解像度などのパラメータの何れか１つであっても複数の組み合わせであってもよいが、これらに限定されるものではない。カメラの外部パラメータとは、物体がワールド座標系においてカメラに対する位置関係のパラメータを意味し、カメラによって収集された画像の歪みパラメータ、空間におけるある１点からカメラ座標系への変換関係などのパラメータの何れか１つであっても複数の組み合わせであってもよいが、これらに限定されるものではない。
【0073】
上記内部パラメータ、外部パラメータの例は単なる例示であり、カメラの内部パラメータ、外部パラメータを制限するものではない。
【0074】
本発明の実施例において、画像収集機器の内部パラメータ及び／又は外部パラメータのキャリブレーションを例として説明する。
【0075】
好ましくは、画像に対してコーナー点検出を行った後、キャリブレーションアルゴリズムによって、検出されたコーナー点を用いて、カメラのパラメータをキャリブレーションすることができる。なお、キャリブレーションアルゴリズムとして、既存のキャリブレーションアルゴリズム、例えば張正友キャリブレーション法が用いられる。
【0076】
単眼カメラである場合、検出されたコーナー点に基づいて、画像収集機器をキャリブレーションすることは、検出されたコーナー点に基づいて、単眼カメラの内部パラメータを決定することである。例えば、検出されたコーナー点を大域的最適化して、単眼カメラの内部パラメータを取得することができる。例えば、張正友キャリブレーション法によって、検出されたコーナー点をキャリブレーションして、単眼カメラの第１内部パラメータを取得し、第１内部パラメータを最適化して、カメラの最終的な内部パラメータを取得することができる。第１内部パラメータの最適化は、検出されたコーナー点、及びキャリブレーションプレート内の格子点から画像への投影点に基づいて、目的関数を確立することと、この目的関数の最適解を求め、単眼カメラの最終的な内部パラメータである単眼カメラの第２内部パラメータを取得することと、を含むことができる。なお、第１内部パラメータ、カメラ座標系におけるコーナー点座標、及びキャリブレーションプレート座標系とカメラ座標系との間の変換関係に基づいて、キャリブレーションプレート内の格子点を投影関数の関係に従って、画像に投影することで、キャリブレーションプレート内の格子点から画像への投影点を取得することができる。これにより、各キャリブレーションプレートに対応するコーナー点の誤差を最小化し、検出されたコーナー点の位置を最適化し、カメラの検出精度を向上させることができる。
【0077】
双眼カメラである場合、検出されたコーナー点に基づいて、画像収集機器をキャリブレーションすることは、第１画像で検出されたコーナー点と第２画像で検出されたコーナー点をマッチングし、マッチングされた（マッチングに成功した）コーナー点に基づいて、双眼カメラの内部パラメータと外部パラメータとを決定することである。例えば、マッチングされたコーナー点を大域的最適化して、双眼カメラの最終的な内部パラメータと外部パラメータとを取得することができる。例えば、張正友キャリブレーション法によって、検出されたコーナー点をキャリブレーションして、双眼カメラの第１内部パラメータを取得し、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）アルゴリズムによって、検出されたコーナー点をキャリブレーションして、双眼カメラの第１外部パラメータを取得し、第１内部パラメータ及び第１外部パラメータを最適化して、カメラの最終的な内部パラメータ及び最終的な外部パラメータを取得することができる。ここで、第１内部パラメータ及び第１外部パラメータの最適化は、検出されたコーナー点、及びキャリブレーションプレート内の格子点から画像への投影点に基づいて、目的関数を確立することと、この目的関数の最適解を求め、双眼カメラの最終的な内部パラメータ及び外部パラメータである双眼カメラの第２内部パラメータ及び第２外部パラメータを取得することとを含むことができる。なお、第１内部パラメータ、第１外部パラメータ、カメラ座標系におけるコーナー点座標、及びキャリブレーションプレート座標系とカメラ座標系との間の変換関係に基づいて、キャリブレーションプレート内の格子点を投影関数の関係に従って画像に投影することで、キャリブレーションプレート内の格子点から画像への投影点を取得することができる。これにより、各キャリブレーションプレートに対応するコーナー点の誤差を最小化し、検出されたコーナー点の位置を最適化することができる。
【0078】
本発明の実施例では、画像収集機器によって収集された画像に対してコーナー点検出を行うことで、画像に含まれる複数のキャリブレーションプレートに対応するコーナー点を決定し、その後、検出されたコーナー点に基づいて、画像収集機器をキャリブレーションする。１枚の画像には、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートが含まれる。
【0079】
画像収集機器は、複数のキャリブレーションプレートを備えた状況で、キャリブレーションのための画像を収集し、且つ複数のキャリブレーションプレートが、ポーズ情報が異なるだけではなく、互いに遮られることもないので、画像収集において、キャリブレーションプレートを手動で移動及び／又は回転したり、画像収集機器を手動で移動するのにかかる人力を省くことができる。また、１枚の画像に複数のキャリブレーションプレートが含まれ、且つキャリブレーションプレートはいずれも画像収集機器のキャリブレーションに用いることができるので、処理される画像の数が大幅に低減され、画像処理にかかる資源が節約される。
【0080】
なお、１枚の画像に含まれる情報量は、関連技術における複数枚の画像に含まれる情報量に相当するため、画像の収集にかかる時間も省かれ、一般的に、収集された画像に対する手動での別途的な選別を必要としない。
【0081】
更に、画像収集において、キャリブレーションプレートが全プロセスにおいて静止状態にあるので、複数のカメラヘッドを備えた画像収集機器では、複数のカメラヘッドの同期性の要求が効果的に低減され、キャリブレーション精度が向上することができる。
【0082】
好ましくは、画像における複数のキャリブレーションプレートのコーナー点をそれぞれ検出するステップは、画像における候補コーナー点を決定することと、画像における候補コーナー点をクラスタリングして、画像における複数のキャリブレーションプレートに対応するコーナー点を取得することと、を含む。候補コーナー点とは、キャリブレーションプレートの格子点に対応するコーナー点を意味する。本実施例において、候補コーナー点をクラスタリングすることで、画像における、キャリブレーションプレートに属するピクセル点を取得することができる。クラスタリングすることで、候補コーナー点のうちキャリブレーションプレートに属さない点を除外し、画像のノイズ除去を実施することができる。具体的には、画像におけるあるピクセル点を参照として、画像において近傍を１つ決定し、近傍におけるピクセル点と現在のピクセル点との類似度を計算して、類似度がプリセット閾値未満の場合、この近傍におけるピクセル点を現在のピクセル点の類似点とする。好ましくは、類似度は、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＳＤ）を用いて計測することができる。本発明の実施例において、別の類似度の計算方法で計測することもできる。プリセット閾値は予め設定されてもよく、具体的には、キャリブレーションプレートにおけるパターンに応じて調整してもよく、ここで、プリセット閾値の値は限定されない。
【0083】
単眼カメラである場合、１枚の画像又は複数の画像のそれぞれの候補コーナー点を決定し、画像ごとに、候補コーナー点のクラスタリングを行い、各画像における複数のキャリブレーションプレートに対応するコーナー点を取得することができる。
【0084】
双眼カメラである場合、第１画像と第２画像における候補コーナー点をそれぞれ決定し、そして、第１画像と第２画像における候補コーナー点をそれぞれクラスタリングして、第１画像と第２画像における複数のキャリブレーションプレートに対応するコーナー点を取得することができる。なお、第１画像が１枚で、対応する第２画像も１枚であってもよい。もちろん、第１画像が複数である場合、対応する第２画像も複数であってもよく、第１画像と第２画像の数が同じで、１対１で対応することができる。
【0085】
好ましくは、画像における候補コーナー点を決定することは、画像におけるコーナー点を検出することと、検出されたコーナー点から、キャリブレーションプレートの格子点から画像へマッピングされたコーナー点以外の点を初歩的に除外して、候補コーナー点を取得することとを含むことができる。ここで、検出されたコーナー点には、キャリブレーションプレートの格子点から画像へマッピングされたコーナー点が含まれるが、他の誤検出された点も含まれ得るので、誤検出された点を除外することで、候補コーナー点を取得することができる。好ましくは、非極大値抑制の方法によってキャリブレーションプレートの格子点から画像へマッピングされたコーナー点以外の点、例えば、誤検出された点を初歩的に除外することができる。本実施例では、画像におけるキャリブレーションプレートの格子点に属さないコーナー点を除外して、初歩的なノイズ除去を実施することができる。
【0086】
好ましくは、検出されたコーナー点から、キャリブレーションプレートの格子点から画像へマッピングされたコーナー点以外の点、例えば、誤検出された点を初歩的に除外して、候補コーナー点を取得した後、前記方法は、画像における候補コーナー点をクラスタリングして、候補コーナー点における離散的なピクセル点を除外することを更に含む。本実施例では、前のステップでノイズ除去された上、キャリブレーションプレートの格子点の数から、画像におけるコーナー点の数を決定することができる。そして、キャリブレーションプレートにおいて格子点が規則的に分布する特徴から、キャリブレーションプレート内の格子点に対応するコーナー点に属さないピクセル点を除外することができる。例えば、６＊１０のキャリブレーションプレートの場合、５＊９＝４５個の格子点を有し、画像に対応すると、４５個のコーナー点を有することになる。上記ステップでは、この４５個のコーナー点に属さない他のピクセル点を除外する。本実施例では、画像におけるキャリブレーションプレートの格子点に属さないコーナー点を更に除外して、ノイズを更に除去することができる。
【0087】
好ましくは、画像における候補コーナー点をクラスタリングして、画像における複数のキャリブレーションプレートに対応するコーナー点を取得した後、前記方法は、キャリブレーションプレートの格子点についての線形拘束関係に基づいて、クラスタリングされたコーナー点の位置を校正することを更に含む。本実施例では、候補コーナー点をクラスタリングした後、各キャリブレーションプレート内の格子点に対応するコーナー点を取得することができるが、これらコーナー点の位置は正確ではない可能性がある。例えば、キャリブレーションプレートにおける同じ直線上にある３つの格子点は、画像において対応する３つのコーナー点、例えば、Ａ（１，１）、Ｂ（２，２）及びＣ（３，３）が、画像における同じ直線にあるはずであるが、クラスタリングした後、例えば、コーナー点の座標がそれぞれＡ（１，１）、Ｂ（２，２）及びＣ（３．１，３．３）であり、コーナー点のうちの１つが直線上にない場合、コーナー点Ｃを（３，３）に校正して、コーナー点Ｃと他の２つコーナー点Ａ、コーナー点Ｂとを同一の直線にあるようにする必要がある。本ステップにおける校正によって、検出されたコーナー点の位置が更に正確になり、その後のキャリブレーションにおいて、キャリブレーション精度が向上することができる。
【0088】
以下では、１つ完全な例を用いて、上記過程を詳細に説明する。この例において、双眼カメラを例として説明するが、単眼カメラも類似した方式で実施できるので、ここで重複する説明を省略する。
【0089】
図５は、本発明の別の実施例に係る画像収集機器のキャリブレーション方法のフローチャートである。この画像収集機器のキャリブレーション方法は、具体的に、下記のステップを含む。
【0090】
ステップ５０１では、画像におけるコーナー点を検出する。
【0091】
具体的に、既存のコーナー点検出アルゴリズムによってコーナー点を検出する。双眼カメラを例に取ると、本ステップでは、第１画像と第２画像におけるコーナー点をそれぞれ検出する。好ましくは、このステップは、既存のコーナー点検出アルゴリズムによって、画像における全ての可能なピクセルレベルのコーナー点を見つけ出し、画像の勾配情報に従ってコーナー点を更にサブピクセルレベルに精細化することを含むことができる。
【0092】
ステップ５０２では、検出されたコーナー点から、キャリブレーションプレートの格子点から画像へマッピングされたコーナー点以外の点、例えば、誤検出された点を初歩的に除外して、候補コーナー点を取得する。
【0093】
好ましくは、このステップでは、非極大値抑制の方法によってキャリブレーションプレートの格子点から画像へマッピングされたコーナー点以外の点を初歩的に除外することができる。例えば、非極大値抑制の方法によって、誤検出された点を初歩的に除外する。
【0094】
ステップ５０３では、候補コーナー点における離散的なピクセル点を除去する。
【0095】
具体的に、キャリブレーションプレート内の格子点が規則的に分布するので、このステップ５０３では、候補コーナー点をクラスタリングすることで、これら離散的なピクセル点を除去して、ノイズであるピクセル点を更に除外することができる。
【0096】
本実施例の画像には、複数のキャリブレーションプレートが含まれ、且つ各キャリブレーションプレートに対応するピクセル点が連続且つ密集しているはずなので、クラスタリングの方法で、各キャリブレーションプレートに対応する位置におおよそ区分し、キャリブレーションプレートの格子点に対応するコーナー点以外の点を除外することができる。
【0097】
キャリブレーションプレート内の格子点の数は既知であるので、画像に対応すれば、通常、各キャリブレーションプレートの映像におけるコーナー点の数も一定である。したがって、キャリブレーションプレートの格子点と画像におけるコーナー点が同じ数であるという関係に基づいて、ノイズ除去を行うことができる。
【0098】
ステップ５０４では、キャリブレーションプレートの格子点についての線形拘束に基づいて、各キャリブレーションプレートの格子点の、画像における対応する位置を、検出されたコーナー点として取得する。
【0099】
好ましくは、ステップ５０３で各キャリブレーションプレートの格子点の、画像における対応する位置に区分された後、キャリブレーションプレートの格子点についての線形拘束に従って、各キャリブレーションプレート内の格子点に対応する画像におけるピクセル点を処理して、各キャリブレーションプレートの格子点に対応するコーナー点の位置を取得することができる。キャリブレーションプレートの格子点についての線形拘束とは、キャリブレーションプレート内の格子点に対応するピクセル点が同一の直線に分布している関係を意味する。
【0100】
具体的に、キャリブレーションプレートごとに、検出されたコーナー点の位置は行列として記憶され、キャリブレーションプレートの数をＮとすると、本実施例のコーナー点検出方法によってＮ個の行列が得られる。例えば、図２Ａ及び図２Ｂに示す画像収集機器のキャリブレーションシステムには、６つのキャリブレーションプレートがあり、本実施例のコーナー点検出方法によって、画像ごとに、検出されたコーナー点の位置を表す６つの行列が得られる。
【0101】
好ましくは、画像収集機器に単眼カメラが含まれる場合、コーナー点検出を行った後、直接大域的最適化によってカメラのパラメータを取得することができる。
【0102】
好ましくは、画像収集機器に双眼カメラが含まれる場合、空間中の同一の３次元点の、双眼カメラにおける位置を見つけ出す。しかしながら、上述した実施例の方法・ステップでコーナー点検出を行った後、第１画像と第２画像において、キャリブレーションプレートの順序とコーナー点の順序が異なる可能性があるので、まず第１画像と第２画像に係るキャリブレーションプレートをマッチングして、そして、マッチングされたキャリブレーションプレート内の格子点に対応するコーナー点をマッチングすることで、その後のカメラのキャリブレーションを容易にする。第１画像と第２画像をそれぞれＡ１、Ａ２とすると、第１画像と第２画像に係るキャリブレーションプレートをマッチングすることは、第１画像Ａ１及び第２画像Ａ２に、同一のキャリブレーションプレートの映像を見つけ出し、両者を対応付ける。例えば、図２Ｂに示すシステムにおける同一のキャリブレーションプレートの、第１画像と第２画像における位置を対応付けることができる。例えば、図２Ｂにおける６枚のキャリブレーションプレート２２の番号をそれぞれ１、２、３、４、５、６とすると、番号が１、２、３、４、５、６であるキャリブレーションプレート２２の第１画像と第２画像にマッピングされた位置を見つけ出し、見つけ出された２つの位置におけるキャリブレーションプレートをマッチングすることができる。
【0103】
好ましくは、第１画像と第２画像に係る複数のキャリブレーションプレートをマッチングすることは、第１画像と第２画像との間の視差を決定することと、視差に基づいて、第１画像と第２画像に係る複数のキャリブレーションプレートをマッチングすることとを含む。
【0104】
選択可能な一実施形態において、第１画像と第２画像との間の視差を決定することは、複数のキャリブレーションプレートの第１画像における映像に対する、第２画像における映像の全体的シフトを決定して、全体的シフトを視差として決定することを含む。具体的に、複数のキャリブレーションプレートの第１画像における映像に対する、第２画像における映像の全体的シフトを計算したり、又は、複数のキャリブレーションプレートの第２画像における映像に対する、第１画像における映像の全体的シフトを計算したりして、全体的シフトを第１画像と第２画像との間の視差とすることができる。本実施例において、両眼視差とは、双眼カメラの２つのカメラヘッドが図２Ｂに示すようなキャリブレーションシステムで取得した第１画像と第２画像との間の差である。図４における第１画像Ａ１（以下では左図という）と第２画像Ａ２（以下では右図という）を見ると、双眼カメラの右図Ａ２におけるキャリブレーションプレートの映像が、左図Ａ１におけるキャリブレーションプレートの映像に対して、全体的に右へ数ピクセル平行移動したことが分かった。このため、第１画像と第２画像との間の視差を決定することで、視差に基づいて、第１画像と第２画像に係る複数のキャリブレーションプレートをマッチングすることができる。この方法は簡単で、計算しやすく、第１画像と第２画像との間の視差を迅速に決定することができる。
【0105】
引き続き図４を見て、第２画像Ａ２における全てのキャリブレーションプレートの映像の中心点と第２画像の左端との間の距離が、第１画像Ａ１における全てのキャリブレーションプレートの映像の中心点と第１画像の左端との間の距離よりも大きいことが分かった。この距離の差は、第１画像Ａ１が第２画像Ａ２に対して左へ平行移動したピクセルの距離である。このため、第１画像と第２画像との間の視差として、第１画像と第２画像との間の平行移動したピクセルの距離を計算してもよい。また、図４から更に分かるように、第１画像Ａ１における全てのキャリブレーションプレートの映像の中心点と第１画像の右端との間の距離が、第２画像Ａ２における全てのキャリブレーションプレートの映像の中心点と第２画像の右端との間の距離よりも大きい。このため、第１画像と第２画像との間の視差として、第２画像Ａ２が第１画像Ａ１に対して右へ平行移動したピクセルの距離を計算してもよい。
【0106】
選択可能な別の実施形態において、第１画像と第２画像との間の視差を決定することは、双眼カメラの両眼視差を取得して、双眼カメラの両眼視差を第１画像と第２画像との間の視差として決定することを含む。本実施例において、両眼視差とは、双眼カメラの２つのカメラヘッドによって図２Ｂに示す複数のキャリブレーションプレートを観察する時に、第１カメラヘッドと第１カメラヘッドによって観察された結果の間の差である。本実施例において、第１画像と第２画像との間の視差が、実質上双眼カメラの両眼視差によるものなので、双眼カメラの両眼視差を第１画像と第２画像との間の視差として決定することができる。
【0107】
好ましくは、双眼カメラの両眼視差は、下記の方法・ステップによって計算して得られる。双眼カメラの焦点距離と双眼カメラのベースライン長の積を計算して、その積をキャリブレーションプレートの奥行で割り、全体的シフトとする。双眼カメラのベースライン長とは、双眼カメラの２つのカメラヘッドの間の距離であり、例えば、２つのカメラヘッドの中心点の間の距離であってよい。両眼視差の計算方法は、次の式として簡素化することができる。
式において、Ｄは両眼視差であり、ｆは双眼カメラの焦点距離であり、ｂａｓｅｌｉｎｅは双眼カメラのベースライン長であり、ｄｅｐｔｈはキャリブレーションプレートに対応する奥行、即ちキャリブレーションプレートから双眼カメラのベースラインまでの垂直距離であり、キャリブレーションプレートに対応する奥行は、例えば、ダブルＥ１視差奥行推定方法で決定できる。
【0108】
好ましくは、視差に基づいて、第１画像と第２画像に係る複数のキャリブレーションプレートをマッチングすることは、下記の２種類の選択可能な実施形態を含む。
【0109】
１つ目の選択可能な実施形態において、視差に基づいて、第１画像と第２画像に係る複数のキャリブレーションプレートをマッチングすることは、第１画像において、複数のキャリブレーションプレートのうちのキャリブレーションプレートごとのプリセット位置に対応する第１位置座標を決定することと、第１位置座標、及び第１画像と第２画像との間の視差に基づいて、第２画像において、プリセット位置に対応する第２位置座標を決定することと、第２画像における第２位置座標で示されたキャリブレーションプレートと前記第１画像における前記第１位置座標で示されたキャリブレーションプレートがマッチングされたことを決定することで、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートのそれぞれの、前記第１画像と前記第２画像との間のマッチング関係を決定することとを含む。好ましくは、キャリブレーションプレートの中心に近い位置であるほど、キャリブレーションプレートをより一意的に決定できる。したがって、プリセット位置は通常、キャリブレーションプレートの中心に近い位置を選択し、キャリブレーションプレートの端に近い位置をできるだけ選択しないようにする。キャリブレーションプレートの中心に近い位置に対応するピクセル点に基づいて、このキャリブレーションプレートを一意的に決定する正確度がより高くなり、これに基づいて決定された、同一のキャリブレーションプレートの、第１画像と第２画像におけるマッチング関係がより正確になる。
【0110】
２つ目の選択可能な実施形態において、視差に基づいて、第１画像と第２画像に係る複数のキャリブレーションプレートをマッチングすることは、第２画像において複数のキャリブレーションプレートのうちのキャリブレーションプレートごとのプリセット位置に対応する第２位置座標を決定することと、第２位置座標、及び第１画像と第２画像との間の視差に基づいて、第１画像において、プリセット位置に対応する第１位置座標を決定することと、第１画像における第１位置座標で示されたキャリブレーションプレートと第２画像における第２位置座標で示されたキャリブレーションプレートがマッチングされたことを決定することで、複数のキャリブレーションプレートのうちのキャリブレーションプレートのそれぞれの、第１画像と第２画像との間のマッチング関係を決定することとを含む。
【0111】
１つ目の実施形態を例に取ると、図４に示すように、例えば、第１画像Ａ１に係る、番号が１のキャリブレーションプレートの中心点位置座標と両眼視差とを加算して、１つの位置座標を取得し、この計算された位置座標は即ち、第２画像Ａ２に係る、番号が１のキャリブレーションプレートの中心点位置の座標であり、この計算された位置座標に基づいて、第２画像Ａ２において、対応するコーナー点を決定することで、第１画像Ａ１に係る、番号が１のキャリブレーションプレートに対応するキャリブレーションプレート映像を取得し、番号が１のキャリブレーションプレートを第１画像Ａ１と第２画像Ａ２において対応付けることができる。このようにして、６枚のキャリブレーションプレートのそれぞれの、第１画像と第２画像とにおけるマッチング関係を取得することができる。２つ目の選択可能な実施形態について、本段落において、１つ目の実施形態を例として行うことを参照でき、具体的な過程の説明を省略する。
【0112】
好ましくは、キャリブレーションプレートがマッチングされた後、マッチングされた２つのキャリブレーションプレート内の格子点に対応するコーナー点をプリセット順序に従って、例えば行又は列に並べて、そして、行又は列で本実施例の方法・ステップを実行することができる。一般的には、上述実施例で複数の画像に係るキャリブレーションプレートをマッチングすることは、異なる画像に係る同一のキャリブレーションプレートをマッチングすることであるが、キャリブレーションプレートの方位が異なる場合がある。このため、そのうちの１枚の画像に係るキャリブレーションプレートの方位を調整して、第１画像と第２画像に係る同一のキャリブレーションプレートの方位も同じにする。キャリブレーションプレートの方位情報とは、画像収集中のキャリブレーションプレートの方向情報及び／又は位置情報である。方向情報を例に取ると、キャリブレーションプレートが第１画像収集時、横方向配置の状態にあり、第２画像収集時、縦方向配置の状態にあり、ただし、横方向と縦方向は、キャリブレーションプレートの方位情報であってよい。
【0113】
好ましくは、前記視差に基づいて、第１画像と第２画像に係る複数のキャリブレーションプレートをマッチングした後、本実施例の方法は、第１画像で検出されたコーナー点座標と視差に基づいて、第１画像におけるコーナー点に対応する第２画像におけるコーナー点を決定することで、第１画像と第２画像に係るマッチングされたキャリブレーションプレートの方位をマッチングすることを更に含む。
【0114】
具体的に、視差に基づいて、第１画像と第２画像に係る複数のキャリブレーションプレートをマッチングした後、本実施例の方法は、第１画像で検出されたコーナー点座標と視差に基づいて、第１画像で検出されたコーナー点に対応する第２画像におけるコーナー点を決定できなかった場合、マッチングされた対応のコーナー点を決定するまで、第２画像におけるコーナー点行列を少なくとも１回転置及び／又は回転することで、第１画像と第２画像に係るマッチングされたキャリブレーションプレートの方位をマッチングすることを更に含む。
【0115】
図６に示すように、第１画像と第２画像に係るキャリブレーションプレートがマッチングされたことを想定する。第１画像Ｂ１と第２画像Ｂ２に係るキャリブレーションプレートの配列方式が異なり、第２画像Ｂ２が第１画像Ｂ１に対して全体的に１８０°回転したことが分かり、これにより、マッチングされた２つのキャリブレーションプレートに対応するコーナー点の間のマッチング失敗を引き起こす。第２画像Ｂ２における各キャリブレーションプレートに対応するコーナー点の行列をそれぞれ転置及び／又は回転することで、図７に示すコーナー点のマッチング結果図が得られる。図７から分かるように、コーナー点をマッチングした後、第１画像Ｂ１と第２画像Ｂ２に係る６枚のキャリブレーションプレートの配列方式が同じである。
【0116】
本実施例において、第１画像で検出されたコーナー点の座標と視差に基づいて、第２画像において対応するコーナー点がマッチングされなかった場合、又は、第２画像で検出されたコーナー点の座標と視差に基づいて、第１画像において対応するコーナー点がマッチングされなかった場合、第２画像と第１画像におけるコーナー点の行列が対応していないことが考えられる。この場合、キャリブレーションプレートの方位の違いにより、コーナー点の順序の違いを引き起こすことが考えられる。このため、対応するコーナー点がマッチングされるまで、コーナー点行列を複数回転置及び／又は回転して複数回マッチングすることで、第１画像と第２画像に係る、マッチングされたキャリブレーションプレートの方位をマッチングすることができる。
【0117】
好ましくは、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションする前記方法は、複数画像において少なくとも２つのキャリブレーションプレート内の格子点に対応するコーナー点の間のマッチング関係に対して大域的最適化を行い、最終的なカメラの外部パラメータを取得することを更に含む。カメラの外部パラメータは、双眼カメラの２つのカメラヘッドの座標系の間の平行移動関係及び回転関係であってよい。本実施例において、大域的最適化は、各キャリブレーションプレート内の格子点に対応するコーナー点の誤差を最小化するために、非線形最適化の方法が用いられる。
【0118】
図８に示すように、上記実施例で画像収集機器をキャリブレーションした後、キャリブレーションされたカメラによってキャリブレーションプレートの画像を収集することで、図８に示すような認識結果図が得られる。本実施例の方法では、キャリブレーションプレートを手動で移動及び／又は回転したり、又は画像収集機器を手動で移動することなく、画像に係る複数のキャリブレーションプレートを相対的正確に認識することができることが分かった。１枚の画像に複数のキャリブレーションプレートが含まれ、且つキャリブレーションプレートはいずれも画像収集機器のキャリブレーションに用いることができるので、処理される画像の数が大幅に低減され、画像処理に係る資源が節約される。本実施例では、１枚の画像だけで複数のキャリブレーションプレートの画像データを取得することができ、画像収集にかかる時間が省かれ、一般的に、収集された画像に対する手動での別途的な選別を必要としない。したがって、画像収集機器のキャリブレーションのために必要な画像収集総時間が短縮され、また、１つのキャリブレーションプレートを含む複数セットの画像データからキャリブレーションの要求を満たす画像データを選択する人力を費やす必要がなく、画像データのサンプリング時間が短縮される。更に、画像収集において、キャリブレーションプレートが全プロセスにおいて静止状態にあるので、複数のカメラヘッドを備えた画像収集機器では、複数のカメラヘッドの同期性の要求が効果的に低減され、キャリブレーション精度が向上できる。
【0119】
車両に配備されているカメラのキャリブレーションでは、フロントガラスによるカメラのキャリブレーションへの影響を避けるために、車両内に配備されているカメラをキャリブレーションすることができる。即ち、複数のキャリブレーションプレートを車両内におけるカメラの視野範囲内に配置し、これら複数のキャリブレーションプレートがイメージング中遮られないようにする。遮るとは、複数のキャリブレーションプレートが互いに遮られること、及び／又は、例えば車両内に吊り下げられているアクセサリーや、車両のフロントガラスに貼り付けられているマークなどの外部物質により、イメージング時キャリブレーションプレートを遮ることなどを指す。車両は、静止時又は走行中画像の収集を行い、車両内のカメラのキャリブレーションを実施することができる。同様に、本発明の実施例に係る発明は、車両と類似している他の乗り物やカメラを備えた他の物体におけるカメラのキャリブレーションにも適用する。
【0120】
本発明によって提供される実施例は、車載カメラ及び他の画像収集機器を備えたキャリア、例えば、画像収集機器が搭載されたインテリジェントロボット又はドローンなどに適用する。特に、画像収集機器がキャリアに固定されており、移動され難く、キャリブレーションプレートだけが移動可能な場合に適用し、画像収集機器を移動することなく、画像収集機器のキャリブレーションを実施することができる。
【0121】
また、車載カメラ又はカメラが搭載されたドローンの場合、周囲の環境情報の収集は、車両の自動運転やドローンの飛行にとってとても重要であり、自動運転や飛行の安全性に影響することが多い。本実施例のキャリブレーション方法によって、車載カメラ又はドローンをキャリブレーションすることで、キャリブレーション精度が向上し、収集された周囲の環境情報の正確度も高くなる。それに応じて、車両又はドローンの位置決定、距離測定などの機能は、正確度も高くなり、更に、無人運転や飛行の安全性が向上する。ロボットは、キャリブレーション精度が向上することで、ビジョンシステムに基づくロボットの各動作の精度が向上できる。
【0122】
なお、キャリブレーションの過程を簡素化するために、道路標識や交通標識など規則的なパターン又は容易に識別される情報を備えた対象を用いて、車両に配備されたカメラのキャリブレーションを実施することができる。本発明の実施例において、通常のキャリブレーションプレートを用いてカメラのキャリブレーションの過程を説明したが、通常のキャリブレーションプレートによってキャリブレーションを実施することに限らず、具体的には、カメラが配備されたキャリアの特性又は制限に応じて、対応するカメラのキャリブレーションを実施することができる。
【0123】
上記実施例のキャリブレーション方法によって画像収集機器をキャリブレーションした後、キャリブレーションされた画像収集機器によって収集されたデータを用いて、距離測定、位置決定又は自動運転の制御などを行うことができる。例えば、キャリブレーションされた画像収集機器によって収集されたデータを用いて自動運転の制御を行う時に、具体的に、キャリブレーションされた車載カメラによって車両の周囲の環境情報を収集することと、収集された環境情報に基づいて、車両の現在位置を決定することと、車両の現在位置に基づいて、車両の制御、例えば、車両の減速、制動又は転向などの制御を行うことと、を含む。車載カメラのキャリブレーション精度が向上したので、収集された車両の周囲の環境情報もより正確になり、車両の位置特定の正確度が高くなり、更に、車両の減速、制動又は転向の制御を行う時、制御の精度も向上し、無人運転の安全性が向上することができる。
【0124】
図９は、本発明の実施例に係るキャリブレーション装置の構造模式図である。本発明の実施例に係るキャリブレーション装置は、画像収集機器のキャリブレーション方法実施例に供される処理フローを実行可能である。図９に示すように、キャリブレーション装置９０は、取得モジュール９１、検出モジュール９２及びキャリブレーションモジュール９３を備える。ただし、取得モジュール９１は、画像収集機器によって収集された画像を取得し、前記画像は、複数のキャリブレーションプレートを含み、前記複数のキャリブレーションプレート同士は、互いに遮られない且つポーズ情報が異なる。検出モジュール９２は、前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出し、キャリブレーションモジュール９３は、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションする。
【0125】
好ましくは、前記画像収集機器は、単眼カメラであり、前記画像は、前記単眼カメラによって収集された画像を少なくとも１枚含み、前記キャリブレーションモジュール９３は、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするときに、具体的に、前記検出されたコーナー点に基づいて、前記単眼カメラの内部パラメータ及び／又は外部パラメータを決定する。
【0126】
好ましくは、前記画像収集機器は、双眼カメラであり、前記画像は、前記双眼カメラの第１カメラヘッドによって収集された第１画像と、前記双眼カメラの第２カメラヘッドによって収集された第２画像とを含み、前記キャリブレーションモジュール９３は、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするときに、具体的に、前記第１画像で検出されたコーナー点と前記第２画像で検出されたコーナー点とをマッチングし、マッチングに成功したコーナー点に基づいて前記双眼カメラの内部パラメータ及び／又は外部パラメータを決定する。
【0127】
好ましくは、前記キャリブレーションモジュール９３は、前記第１画像で検出されたコーナー点と前記第２画像で検出されたコーナー点とをマッチングするときに、具体的に、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングし、前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応するコーナー点をマッチングする。
【0128】
好ましくは、前記検出モジュール９２は、更に、前記画像における候補コーナー点を決定し、前記画像における候補コーナー点をクラスタリングして、前記画像における前記複数のキャリブレーションプレートに対応するコーナー点を取得する。
【0129】
好ましくは、前記装置９０は、キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、クラスタリングされた、前記３つ以上の格子点に対応するコーナー点の位置を校正するための校正モジュール９４を更に備える。
【0130】
好ましくは、前記キャリブレーションモジュール９３は、更に、前記第１画像と前記第２画像との間の視差を決定し、前記視差に基づいて、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングする。
【0131】
好ましくは、前記キャリブレーションモジュール９３は、更に、前記複数のキャリブレーションプレートの前記第１画像における映像に対する、当該複数のキャリブレーションプレートの前記第２画像における映像の全体的シフトを決定し、前記全体的シフトを前記視差として決定する。
【0132】
好ましくは、キャリブレーションモジュール９３は、更に、前記双眼カメラの両眼視差を取得し、前記双眼カメラの両眼視差を前記第１画像と前記第２画像との間の視差として決定する。
【0133】
好ましくは、前記キャリブレーションモジュール９３は、更に、前記第１画像において前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートのプリセット位置に対応する第１位置座標を決定し、前記第１位置座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第２画像において前記プリセット位置に対応する第２位置座標を決定し、前記第２画像における前記第２位置座標で示されたキャリブレーションプレートと前記第１画像における前記第１位置座標で示されたキャリブレーションプレートとがマッチングしていることを決定することにより、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートの、前記第１画像と前記第２画像との間のマッピング関係を決定する。
【0134】
好ましくは、前記キャリブレーションモジュール９３は、更に、前記第１画像における前記検出されたコーナー点の座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第１画像におけるコーナー点に対応する前記第２画像におけるコーナー点を決定することにより、前記第１画像と前記第２画像とに係るマッピングされたキャリブレーションプレートの方位をマッピングする。
【0135】
好ましくは、前記キャリブレーションモジュール９３は、更に、前記第１画像における前記コーナー点に対応する前記第２画像におけるコーナー点を決定できなかった場合に、対応するコーナー点がマッチングされ得るまで、前記第２画像におけるコーナー点行列に対して少なくとも１回の転置及び／又は回転を行うことにより、前記第１画像と前記第２画像とに係るマッピングされたキャリブレーションプレートの方位をマッピングする。
【0136】
好ましくは、前記画像収集機器は、車両に配備されている。
【0137】
好ましくは、前記画像収集機器によって収集された画像は、前記複数のキャリブレーションプレート全体を含む。
【0138】
図９に示す実施例のキャリブレーション装置は、上記方法実施例の技術案を実行可能であり、その実施原理及び技術効果が類似するため、ここで繰り返して説明しない。
【0139】
図１０は、本発明の実施例に係るキャリブレーション機器の構造模式図である。本発明の実施例に係るキャリブレーション機器は、画像収集機器のキャリブレーション方法実施例に供される処理フローを実行可能である。図１０に示すように、電子機器１００は、メモリ１０１、プロセッサ１０２、コンピュータプログラム及び通信インターフェース１０３を含む。ただし、コンピュータプログラムは、メモリ１０１に記憶され、且つ、前記画像収集機器によって収集された、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートを含む画像を取得するステップと、前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するステップと、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップとを実行するように構成される。
【0140】
好ましくは、前記画像収集機器は、単眼カメラであり、前記画像は、前記単眼カメラによって収集された画像を少なくとも１枚含み、前記プロセッサ１０２は、前記検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするときに、具体的に、検出されたコーナー点に基づいて、前記単眼カメラの内部パラメータ及び／又は外部パラメータを決定する。
【0141】
好ましくは、前記画像収集機器は、双眼カメラであり、前記画像は、前記双眼カメラの第１カメラヘッドによって収集された第１画像と、前記双眼カメラの第２カメラヘッドによって収集された第２画像とを含み、前記プロセッサ１０２は、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするときに、具体的に、前記第１画像で検出されたコーナー点と前記第２画像で検出されたコーナー点とをマッチングし、マッチングに成功したコーナー点に基づいて前記双眼カメラの内部パラメータ及び／又は外部パラメータを決定する。
【0142】
好ましくは、前記プロセッサ１０２は、前記第１画像で検出されたコーナー点と前記第２画像で検出されたコーナー点とをマッチングするときに、具体的に、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングし、前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応するコーナー点をマッチングする。
【0143】
好ましくは、前記プロセッサ１０２は、更に、前記画像における候補コーナー点を決定し、前記画像における候補コーナー点をクラスタリングして、前記画像における前記複数のキャリブレーションプレートに対応するコーナー点を取得する。
【0144】
好ましくは、前記プロセッサ１０２は、更に、キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、クラスタリングされた、前記３つ以上の格子点に対応するコーナー点の位置を校正する。
【0145】
好ましくは、前記プロセッサ１０２は、更に、前記第１画像と前記第２画像との間の視差を決定し、前記視差に基づいて、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングする。
【0146】
好ましくは、前記プロセッサ１０２は、更に、前記複数のキャリブレーションプレートの前記第１画像における映像に対する、当該複数のキャリブレーションプレートの前記第２画像における映像の全体的シフトを決定し、前記全体的シフトを前記視差として決定する。
【0147】
好ましくは、前記プロセッサ１０２は、更に、前記双眼カメラの両眼視差を取得し、前記双眼カメラの両眼視差を前記第１画像と前記第２画像との間の視差として決定する。
【0148】
好ましくは、前記プロセッサ１０２は、更に、前記第１画像において前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートのプリセット位置に対応する第１位置座標を決定し、前記第１位置座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第２画像において前記プリセット位置に対応する第２位置座標を決定し、前記第２画像における前記第２位置座標で示されたキャリブレーションプレートと前記第１画像における前記第１位置座標で示されたキャリブレーションプレートとがマッチングしていることを決定することにより、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートの、前記第１画像と前記第２画像との間のマッピング関係を決定する。
【0149】
好ましくは、前記プロセッサ１０２は、更に、前記第１画像における前記検出されたコーナー点の座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第１画像におけるコーナー点に対応する前記第２画像におけるコーナー点を決定することにより、前記第１画像と前記第２画像とに係るマッピングされたキャリブレーションプレートの方位をマッピングする。
【0150】
好ましくは、前記プロセッサ１０２は、更に、前記第１画像における前記コーナー点に対応する前記第２画像におけるコーナー点を決定できなかった場合に、対応するコーナー点がマッチングされ得るまで、前記第２画像におけるコーナー点行列に対して少なくとも１回の転置及び／又は回転を行うことにより、前記第１画像と前記第２画像とに係るマッピングされたキャリブレーションプレートの方位をマッピングする。
【0151】
好ましくは、前記画像収集機器は、車両に配備されている。
【0152】
好ましくは、前記画像収集機器によって収集された画像は、前記複数のキャリブレーションプレート全体を含む。
【0153】
図１０に示す実施例のキャリブレーション機器は、上記方法実施例の技術案を実行可能であり、その実施原理及び技術効果が類似するため、ここで繰り返して説明しない。
【0154】
また、本発明の実施例は、コンピュータ可読記憶媒体を更に提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行されることにより、上記実施例の画像収集機器のキャリブレーション方法は実施される。
【0155】
また、本発明の実施例は、コンピュータプログラムを更に提供する。当該コンピュータプログラムは、コンピュータ可読コードを含む。前記コンピュータ可読コードが機器で運転されたときに、前記機器におけるプロセッサは、前記コンピュータ可読コードを実行して上記実施例に記載の方法を実施させる。
【0156】
本発明に係る幾つかの実施例において、開示された装置及び方法が他の方式にて実現され得ることは、理解されるべきである。上述した装置実施例が単に模式的なものであり、例えば、手段の区分が、単に１種の論理機能区分であり、実際に実施するときに別の区分方式もあり得る。例えば、複数の手段或いはユニットは、組み合わせられてもよく、又は、別のシステムに統合されてもよく、又は、幾つかの特徴が略され、若しくは実行しないようにしてもよい。また、示され或いは議論された各構成部分同士間は、結合が直接結合であってもよく、通信接続が幾つかのインターフェース、装置或いは手段を介する間接結合若しくは通信接続であってもよく、電気的なもの、機械的なもの或いは他の形態であってもよい。
【0157】
上記分離部品として説明された手段が物理的に分離されるものであってもよくでなくてもよい。また、手段として表示された部品は、物理手段であってもでなくてもよい。更に、それらの手段は、１箇所に位置してもよく、複数のネットワークセルに分散してもよい。実際の需要に応じてその中の一部又は全部のモジュールを選択して本実施例の目的を果たすことが可能である。
【0158】
また、本発明の各実施例における各機能手段は、全部で１つの処理手段に集積されてもよく、各手段がそれぞれ単独で１つの手段とされてもよく、２つ或いは２つ以上の手段が１つの手段に集積されてもよい。上記集積手段は、ハードウェアの形態にて実現されてよく、ハードウェアプラスソフトウェア機能手段の形態にて実現されてもよい。
【0159】
上記ソフトウェア機能手段の形態で実現される集積の手段は、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。上記ソフトウェア機能手段は、１つの記憶媒体に記憶され、コンピュータ機器（パソコン、サーバ又はネットワーク機器等であってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施例に記載の方法の一部のステップを実行させるための幾つかの指令を含む。上述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等の、プログラムコードを格納可能な各種の媒体を含む。
【0160】
当業者であれば明白で理解できるように、記述の利便性及び簡潔性のために、単に上記各機能モジュールの区分を例として説明したが、実際の応用に、必要に応じて上記機能割当を異なる機能モジュールで完成させ、即ち、装置の内部構造を異なる機能モジュールに分割して上述した全部又は一部の機能を完成させてもよい。上述した装置の具体的な稼働手順は、上記方法実施例における対応する手順を参照すればよいため、ここで繰り返し説明しない。
【0161】
最後に説明すべきことは、上記各実施例が単に本発明の技術案を説明するためのものであり、それに対する制限とはならない。上記各実施例を参照して本発明を詳細に説明したが、当業者であれば理解できるように、依然として上記各実施例に記載の技術案に対して補正可能であり、又は、そのうちの一部若しくは全部の技術特徴に対して均等物による置換も可能であり、更に、これらの補正若しくは置換によって対応する技術案の要旨が本発明の各実施例の技術案の範囲から逸脱することはない。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2021-06-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像収集機器のキャリブレーション方法であって、前記画像収集機器によって収集された、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートを含む画像を取得するステップと、
前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するステップと、
検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップと、を含む
ことを特徴とする画像収集機器のキャリブレーション方法。
【請求項2】
前記画像収集機器は、単眼カメラであり、前記画像は、前記単眼カメラによって収集された画像を少なくとも１枚含み、検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップは、
前記検出されたコーナー点に基づいて、前記単眼カメラの内部パラメータ及び／又は外部パラメータを決定することを含む
ことを特徴とする請求項１に記載の画像収集機器のキャリブレーション方法。
【請求項3】
前記画像収集機器は、双眼カメラであり、前記画像は、前記双眼カメラの第１カメラヘッドによって収集された第１画像と、前記双眼カメラの第２カメラヘッドによって収集された第２画像とを含み、
検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするステップは、
前記第１画像で検出された第１コーナー点と前記第２画像で検出された第２コーナー点とをマッチングし、マッチングに成功した前記第１コーナー点と前記第２コーナー点とに基づいて、前記双眼カメラの内部パラメータ及び／又は外部パラメータを決定することを含む
ことを特徴とする請求項１に記載の画像収集機器のキャリブレーション方法。
【請求項4】
前記第１画像で検出された第１コーナー点と前記第２画像で検出された第２コーナー点とをマッチングすることは、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることと、
前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応する前記第１コーナー点と前記第２コーナー点とをマッチングすることと、を含む
ことを特徴とする請求項３に記載の画像収集機器のキャリブレーション方法。
【請求項5】
前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するステップは、前記画像における候補コーナー点を決定することと、
前記画像における候補コーナー点をクラスタリングして、前記画像における前記複数のキャリブレーションプレートに対応するコーナー点を取得することと、を含む
ことを特徴とする請求項１～４の何れか一項に記載の画像収集機器のキャリブレーション方法。
【請求項6】
前記画像における候補コーナー点をクラスタリングして、前記画像における前記複数のキャリブレーションプレートに対応するコーナー点を取得した後、前記画像収集機器のキャリブレーション方法は、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、クラスタリングされた、前記３つ以上の格子点に対応するコーナー点の位置を校正するステップを更に含む
ことを特徴とする請求項５に記載の画像収集機器のキャリブレーション方法。
【請求項7】
前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることは、前記第１画像と前記第２画像との間の視差を決定することと、
前記視差に基づいて、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることと、を含む
ことを特徴とする請求項４に記載の画像収集機器のキャリブレーション方法。
【請求項8】
前記第１画像と前記第２画像との間の視差を決定することは、前記複数のキャリブレーションプレートの前記第１画像における映像に対する、当該複数のキャリブレーションプレートの前記第２画像における映像の全体的シフトを決定することと、
前記全体的シフトを前記視差として決定することと、を含み、
及び／又は、
前記双眼カメラの両眼視差を取得することと、
前記双眼カメラの両眼視差を前記第１画像と前記第２画像との間の視差として決定することと、を含む
ことを特徴とする請求項７に記載の画像収集機器のキャリブレーション方法。
【請求項9】
前記視差に基づいて、前記第１画像と前記第２画像とに係る前記複数のキャリブレーションプレートをマッチングすることは、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、
前記第１画像において前記キャリブレーションプレートのプリセット位置に対応する第１位置座標を決定することと、
前記第１位置座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第２画像において前記プリセット位置に対応する第２位置座標を決定することと、
前記第２画像における前記第２位置座標で示されたキャリブレーションプレートと前記第１画像における前記第１位置座標で示されたキャリブレーションプレートとがマッチングしていることを決定することと、を含む
ことを特徴とする請求項７または８に記載の画像収集機器のキャリブレーション方法。
【請求項10】
前記第１画像と前記第２画像とにおける、前記複数のキャリブレーションプレート内の格子点に対応する前記第１コーナー点と前記第２コーナー点とをマッチングすることは、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートにおける格子点について、
前記第１画像における、前記格子点に対応する第１コーナー点の座標、及び前記第１画像と前記第２画像との間の視差に基づいて、前記第１画像における前記第１コーナー点に対応する前記第２画像における第２コーナー点を決定することと、
前記第１画像における前記第１コーナー点に対応する前記第２画像における第２コーナー点を決定できなかった場合に、対応する第２コーナー点がマッチングされ得るまで、前記第２画像におけるコーナー点行列に対して少なくとも１回の転置及び／又は回転を行うことと、を含む
ことを特徴とする請求項４、７～９の何れか一項に記載の画像収集機器のキャリブレーション方法。
【請求項11】
前記画像収集機器は、車両に配備されていること、
及び／又は、
前記画像収集機器によって収集された画像は、前記複数のキャリブレーションプレート全体を含むことを特徴とする、請求項１～１０の何れか一項に記載の画像収集機器のキャリブレーション方法。
【請求項12】
画像収集機器のキャリブレーション装置であって、前記画像収集機器によって収集された、互いに遮られない且つポーズ情報が異なる複数のキャリブレーションプレートを含む画像を取得するための取得モジュールと、
前記画像における前記複数のキャリブレーションプレートのコーナー点をそれぞれ検出するための検出モジュールと、
検出されたコーナー点に基づいて、前記画像収集機器をキャリブレーションするためのキャリブレーションモジュールと、を備える
ことを特徴とするキャリブレーション装置。
【請求項13】
キャリアであって、請求項１２に記載のキャリブレーション装置と、
キャリア本体と、を備え、
前記キャリブレーション装置は、前記キャリア本体に設けられていることを特徴とするキャリア。
【請求項14】
キャリブレーション機器であって、メモリと、
プロセッサと、
コンピュータプログラムと、を含み、
前記コンピュータプログラムは、前記メモリに記憶され、前記プロセッサによって実行されることにより、請求項１～１１の何れか一項に記載の画像収集機器のキャリブレーション方法を実施させるように構成されることを特徴とするキャリブレーション機器。
【請求項15】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されたときに、請求項１～１１の何れか一項に記載の画像収集機器のキャリブレーション方法は実施されることを特徴とするコンピュータ可読記憶媒体。
【国際調査報告】