特表2022-514912センサのキャリブレーション方法、装置、システム、車両、機器及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-16
(54)【発明の名称】センサのキャリブレーション方法、装置、システム、車両、機器及び記憶媒体
(51)【国際特許分類】
G06T 7/80 20170101AFI20220208BHJP
【ＦＩ】
G06T7/80
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021536014
(86)(22)【出願日】2020-11-13
(85)【翻訳文提出日】2021-06-21
(86)【国際出願番号】 CN2020128773
(87)【国際公開番号】W WO2021098608
(87)【国際公開日】2021-05-27
(31)【優先権主張番号】201911135984.3
(32)【優先日】2019-11-19
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】519454800
【氏名又は名称】浙江商▲湯▼科技▲開▼▲発▼有限公司
【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２８８－８， Ｎｏ． ８５７， Ｓｈｉｘｉｎｂｅｉ Ｒｏａｄ， Ｎｉｎｇｗｅｉ Ｓｔｒｅｅｔ， Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｈａｎｇｚｈｏｕ， Ｚｈｅｊｉａｎｇ ３１１２１５ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110000729
【氏名又は名称】特許業務法人 ユニアス国際特許事務所
(72)【発明者】
【氏名】▲鮑▼ 虎▲軍▼
(72)【発明者】
【氏名】章 国▲鋒▼
(72)【発明者】
【氏名】王 宇▲偉▼
(72)【発明者】
【氏名】▲劉▼ 余▲錢▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA04
5L096FA06
5L096FA12
5L096FA26
5L096FA66
5L096FA67
5L096FA69
5L096MA07
(57)【要約】
本発明の実施例は、センサのキャリブレーション方法、装置、システム、車両、機器及び記憶媒体を提供する。センサは、カメラとレーダを含み、複数のキャリブレーションプレートは、カメラとレーダとの共通視野範囲内に位置し、複数のキャリブレーションプレートのポーズ情報は、異なり、当該キャリブレーション方法は、複数のキャリブレーションプレートについて、カメラによって画像を収集し、レーダによってレーダポイントクラウドデータを収集するステップと、複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、当該キャリブレーションプレートの、画像における第１座標点とレーダポイントクラウドデータにおける第２座標点とを検出するステップと、複数のキャリブレーションプレートのそれぞれの第１座標点及び第２座標点に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションするステップと、を含む。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
センサのキャリブレーション方法であって、前記センサは、カメラとレーダとを含み、複数のキャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記複数のキャリブレーションプレートのポーズ情報は異なり、
前記複数のキャリブレーションプレートについて、前記カメラによって画像を収集し、前記レーダによってレーダポイントクラウドデータを収集するステップと、
前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレートの前記画像における第１座標点と当該キャリブレーションプレートの前記レーダポイントクラウドデータにおける第２座標点とを検出するステップと、
前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするステップと、を含む
ことを特徴とするセンサのキャリブレーション方法。
【請求項2】
前記キャリブレーションプレートの前記画像における第１座標点を検出することは、前記画像における、前記キャリブレーションプレートに対応する候補コーナー点を決定することと、
前記候補コーナー点をクラスタリングし、前記画像における、前記キャリブレーションプレートに対応するコーナー点を取得することと、
取得された前記コーナー点を前記キャリブレーションプレートの前記画像における前記第１座標点として決定することと、を含む
ことを特徴とする請求項１に記載のセンサのキャリブレーション方法。
【請求項3】
前記画像における、前記キャリブレーションプレートに対応するコーナー点を取得した後、前記センサのキャリブレーション方法は、前記キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、前記画像におけるクラスタリングされたコーナー点の位置を校正することと、
校正された前記コーナー点を前記キャリブレーションプレートの前記画像における前記第１座標点として決定することと、を更に含む
ことを特徴とする請求項２に記載のセンサのキャリブレーション方法。
【請求項4】
前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするステップは、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、
前記キャリブレーションプレートの前記第１座標点と前記カメラの内部パラメータとに基づいて、前記キャリブレーションプレートのカメラ座標系における第１ポーズ情報を決定することと、
前記キャリブレーションプレートの前記第２座標点に基づいて、前記キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定することと、
前記キャリブレーションプレートの前記第１ポーズ情報及び前記第２ポーズ情報に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションすることと、を含む
ことを特徴とする請求項１から３の何れか一項に記載のセンサのキャリブレーション方法。
【請求項5】
前記キャリブレーションプレートの前記第２座標点に基づいて、前記キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定することは、前記レーダポイントクラウドデータにおいて前記キャリブレーションプレートの所在する平面領域を決定することと、
前記平面領域に対応するポーズ情報を前記キャリブレーションプレートの前記レーダ座標系における前記第２ポーズ情報として決定することと、を含む
ことを特徴とする請求項４に記載のセンサのキャリブレーション方法。
【請求項6】
前記カメラと前記レーダとの間の外部パラメータは、前記カメラ座標系と前記レーダ座標系との間の変換関係を含み、前記キャリブレーションプレートの前記第１ポーズ情報及び前記第２ポーズ情報に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションすることは、
前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点ごとに、
前記コーナー点の前記レーダ座標系における対応点を決定し、
前記コーナー点と前記対応点とを１セットの点ペアとして決定することと、
複数セットの前記点ペアに基づいて、確定すべき変換関係を決定することと、
前記第２座標点を前記確定すべき変換関係にしたがって変換し、前記画像における第３座標点を取得することと、
前記画像における前記第３座標点と対応の前記第１座標点との間の距離が閾値未満である場合に、前記確定すべき変換関係を前記変換関係として決定することと、を含む
ことを特徴とする請求項４又は５に記載のセンサのキャリブレーション方法。
【請求項7】
前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点ごとに、前記コーナー点の前記レーダ座標系における対応点を決定することは、前記キャリブレーションプレートの中心位置を決定し、前記中心位置の前記カメラ座標系における第４座標点と、当該中心位置の前記レーダ座標系における第５座標点とを決定することと、
前記カメラ座標系における前記第４座標点と前記レーダ座標系における前記第５座標点との間の対応関係について、前記キャリブレーションプレートの前記カメラ座標系と前記レーダ座標系とにおけるマッチング関係を決定することと、
前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点位置について、前記レーダ座標系における、前記各キャリブレーションプレートとは前記マッチング関係を有する領域において、前記位置の対応点を決定することと、を含む
ことを特徴とする請求項６に記載のセンサのキャリブレーション方法。
【請求項8】
前記キャリブレーションプレートのパターンは、特徴点セットと特徴エッジとのうちの少なくとも一項を含むことを特徴とする請求項１から７の何れか一項に記載のセンサのキャリブレーション方法。
【請求項9】
前記レーダ及び前記カメラは、車両に配備されていることを特徴とする請求項１から８の何れか一項に記載のセンサのキャリブレーション方法。
【請求項10】
前記画像は、前記複数のキャリブレーションプレート全体の映像を含み、前記レーダポイントクラウドデータは、前記複数のキャリブレーションプレート全体に対応するポイントクラウドデータを含むことを特徴とする請求項１から９の何れか一項に記載のセンサのキャリブレーション方法。
【請求項11】
前記レーダは、レーザレーダを含み、前記レーザレーダから放射されたレーザ光線は、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートの所在する平面に交わることを特徴とする請求項１から１０の何れか一項に記載のセンサのキャリブレーション方法。
【請求項12】
前記複数のキャリブレーションプレートは、カメラ視野若しくはレーダ視野に重複領域が存在しないことと、
少なくとも１つのキャリブレーションプレートがカメラ視野若しくはレーダ視野のエッジ位置に存在することと、
前記カメラ若しくは前記レーダとの間の水平距離が異なるキャリブレーションプレートが少なくとも２つ存在することと、のうちの少なくとも一項に合致することを特徴とする請求項１から１１の何れか一項に記載のセンサのキャリブレーション方法。
【請求項13】
センサのキャリブレーション装置であって、前記センサは、カメラとレーダとを含み、複数のキャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記複数のキャリブレーションプレートのポーズ情報は、異なり、
前記複数のキャリブレーションプレートについて、前記カメラによって画像を収集し、前記レーダによってレーダポイントクラウドデータを収集するための収集モジュールと、
前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレートの前記画像における第１座標点と当該キャリブレーションプレートの前記レーダポイントクラウドデータにおける第２座標点とを検出するための検出モジュールと、
前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするためのキャリブレーションモジュールと、を備える
ことを特徴とするセンサのキャリブレーション装置。
【請求項14】
前記検出モジュールは、前記キャリブレーションプレートの前記画像における第１座標点を検出するときに、前記画像における、前記キャリブレーションプレートに対応する候補コーナー点を決定し、
前記候補コーナー点をクラスタリングし、前記画像における、前記キャリブレーションプレートに対応するコーナー点を取得し、
取得された前記コーナー点を前記キャリブレーションプレートの前記画像における前記第１座標点として決定する
ことを特徴とする請求項１３に記載のセンサのキャリブレーション装置。
【請求項15】
前記検出モジュールは、前記画像における、前記キャリブレーションプレートに対応するコーナー点を取得した後、更に、前記キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、前記画像におけるクラスタリングされたコーナー点の位置を校正し、
校正された前記コーナー点を前記キャリブレーションプレートの前記画像における前記第１座標点として決定する
ことを特徴とする請求項１４に記載のセンサのキャリブレーション装置。
【請求項16】
前記キャリブレーションモジュールは、前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするときに、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、
前記キャリブレーションプレートの前記第１座標点と前記カメラの内部パラメータとに基づいて、前記キャリブレーションプレートのカメラ座標系における第１ポーズ情報を決定し、
前記キャリブレーションプレートの前記第２座標点に基づいて、前記キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定し、
前記キャリブレーションプレートの前記第１ポーズ情報及び前記第２ポーズ情報に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションする
ことを特徴とする請求項１３から１５の何れか一項に記載のセンサのキャリブレーション装置。
【請求項17】
前記キャリブレーションモジュールは、前記キャリブレーションプレートの前記第２座標点に基づいて、前記キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定するときに、前記レーダポイントクラウドデータにおいて前記キャリブレーションプレートの所在する平面領域を決定し、
前記平面領域に対応するポーズ情報を前記キャリブレーションプレートの前記レーダ座標系における前記第２ポーズ情報として決定する
ことを特徴とする請求項１６に記載のセンサのキャリブレーション装置。
【請求項18】
前記カメラと前記レーダとの間の外部パラメータは、前記カメラ座標系と前記レーダ座標系との間の変換関係を含み、前記キャリブレーションモジュールは、前記キャリブレーションプレートの前記第１ポーズ情報及び前記第２ポーズ情報に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするときに、
前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点ごとに、
前記コーナー点の前記レーダ座標系における対応点を決定し、
前記コーナー点と前記対応点とを１セットの点ペアとして決定し、
複数セットの前記点ペアに基づいて、確定すべき変換関係を決定し、
前記第２座標点を前記確定すべき変換関係にしたがって変換し、前記画像における第３座標点を取得し、
前記画像における前記第３座標点と対応の前記第１座標点との間の距離が閾値未満である場合に、前記確定すべき変換関係を前記変換関係として決定する
ことを特徴とする請求項１６又は１７に記載のセンサのキャリブレーション装置。
【請求項19】
前記キャリブレーションモジュールは、前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点ごとに、前記コーナー点の前記レーダ座標系における対応点を決定するときに、前記キャリブレーションプレートの中心位置を決定し、前記中心位置の前記カメラ座標系における第４座標点と、当該中心位置の前記レーダ座標系における第５座標点とを決定し、
前記カメラ座標系における前記第４座標点と前記レーダ座標系における前記第５座標点との間の対応関係について、前記キャリブレーションプレートの前記カメラ座標系と前記レーダ座標系とにおけるマッチング関係を決定し、
前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点位置について、前記レーダ座標系における、前記各キャリブレーションプレートとは前記マッチング関係を有する領域において、前記位置の対応点を決定する
ことを特徴とする請求項１８に記載のセンサのキャリブレーション装置。
【請求項20】
前記キャリブレーションプレートのパターンは、特徴点セットと特徴エッジとのうちの少なくとも一項を含むことを特徴とする請求項１３から１９の何れか一項に記載のセンサのキャリブレーション装置。
【請求項21】
前記レーダ及び前記カメラは、車両に配備されていることを特徴とする請求項１３から２０の何れか一項に記載のセンサのキャリブレーション装置。
【請求項22】
前記画像は、前記複数のキャリブレーションプレート全体の映像を含み、前記レーダポイントクラウドデータは、前記複数のキャリブレーションプレート全体に対応するポイントクラウドデータを含むことを特徴とする請求項１３から２１の何れか一項に記載のセンサのキャリブレーション装置。
【請求項23】
前記レーダは、レーザレーダを含み、前記レーザレーダから放射されたレーザ光線は、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートの所在する平面に交わることを特徴とする請求項１３から２２の何れか一項に記載のセンサのキャリブレーション装置。
【請求項24】
前記複数のキャリブレーションプレートは、カメラ視野若しくはレーダ視野に重複領域が存在しないことと、
少なくとも１つのキャリブレーションプレートがカメラ視野若しくはレーダ視野のエッジ位置に存在することと、
前記カメラ若しくは前記レーダとの間の水平距離が異なるキャリブレーションプレートが少なくとも２つ存在することと、のうちの少なくとも一項に合致することを特徴とする請求項１３から２３の何れか一項に記載のセンサのキャリブレーション装置。
【請求項25】
キャリブレーションシステムであって、カメラと、レーダと、複数のキャリブレーションプレートとを備え、
前記複数のキャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記複数のキャリブレーションプレート同士は、互いに遮られず、且つポーズ情報が異なることを特徴とするキャリブレーションシステム。
【請求項26】
車両であって、車両本体と、請求項１３から２４の何れか一項に記載のキャリブレーション装置とを備え、
前記カメラは、車載カメラであり、前記レーダは、レーザレーダであり、前記車載カメラ、前記レーザレーダ及び前記キャリブレーション装置は、何れも前記車両本体に設けられていることを特徴とする車両。
【請求項27】
キャリブレーション機器であって、メモリと、プロセッサと、コンピュータプログラムとを含み、
前記コンピュータプログラムは、前記メモリに記憶され、前記プロセッサによって実行されることにより、請求項１から１２の何れか一項に記載のセンサのキャリブレーション方法を実施させるように構成されることを特徴とするキャリブレーション機器。
【請求項28】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されたときに、請求項１から１２の何れか一項に記載のセンサのキャリブレーション方法は実施されることを特徴とするコンピュータ可読記憶媒体。
【請求項29】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが機器で運転されたときに、前記機器におけるプロセッサに請求項１から１２の何れか一項に記載のセンサのキャリブレーション方法を実施させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施例は、センサのキャリブレーション方法、装置、システム、車両、機器及び記憶媒体に関する。
【0002】
＜関連出願の相互引用＞
本発明は、２０１９年１１月１９日に中国専利局へ提出された、出願番号が２０１９１１１３５９８４．３である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本発明に組み入れられる。
本発明は、２０１９年１１月１９日に中国専利局へ提出された、出願番号が２０１９１１１３５９８４．３である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本発明に組み入れられる。
【背景技術】
【0003】
コンピュータビジョンの継続的な発展につれて、機器が周囲の環境をより良好に学習して感知することができるように、複数センサフュージョンの方式、例えば、レーダとカメラとをフュージョンする方式を採用することは、一般的である。レーダとカメラとがフュージョンする過程に、レーダとカメラの間の外部パラメータの精度は、環境感知の精度を決める。
【0004】
現在、キャリブレーションにおいて時間及び手間がかかるという技術問題を解決するために、レーダとカメラの間の外部パラメータキャリブレーション方法を求めることは、急務となった。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の実施例は、センサのキャリブレーション方法、装置、システム、車両、機器及び記憶媒体を提供する。
【課題を解決するための手段】
【0006】
第１態様において、本発明の実施例は、センサのキャリブレーション方法を提供する。前記センサは、カメラとレーダとを含み、複数のキャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記複数のキャリブレーションプレートのポーズ情報は、異なり、前記センサのキャリブレーション方法は、前記複数のキャリブレーションプレートについて、前記カメラによって画像を収集し、前記レーダによってレーダポイントクラウドデータを収集するステップと、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレートの前記画像における第１座標点と当該キャリブレーションプレートの前記レーダポイントクラウドデータにおける第２座標点とを検出するステップと、前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするステップと、を含む。
【0007】
前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするステップは、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレートの第１座標点と前記カメラの内部パラメータとに基づいて、前記複数のキャリブレーションプレートのカメラ座標系における第１ポーズ情報を決定することと、前記キャリブレーションプレートの前記第２座標点に基づいて、前記キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定することと、前記キャリブレーションプレートの前記第１ポーズ情報及び前記第２ポーズ情報に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションすることと、を含む。
【0008】
好ましくは、前記キャリブレーションプレートの前記画像における第１座標点を検出することは、前記画像における、前記キャリブレーションプレートに対応する候補コーナー点を決定することと、前記候補コーナー点をクラスタリングし、前記画像における、前記キャリブレーションプレートに対応するコーナー点を取得することと、取得された前記コーナー点を前記キャリブレーションプレートの前記画像における前記第１座標点として決定することと、を含む。
【0009】
好ましくは、前記画像における、前記キャリブレーションプレートに対応するコーナー点を取得した後、前記センサのキャリブレーション方法は、前記キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、前記画像におけるクラスタリングされたコーナー点の位置を校正することと、校正された前記コーナー点を前記キャリブレーションプレートの前記画像における前記第１座標点として決定することと、を更に含む。
【0010】
好ましくは、前記キャリブレーションプレートの前記第２座標点に基づいて、前記キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定することは、前記レーダポイントクラウドデータにおいて前記キャリブレーションプレートの所在する平面領域を決定することと、前記平面領域に対応するポーズ情報を前記キャリブレーションプレートの前記レーダ座標系における前記第２ポーズ情報として決定することと、を含む。
【0011】
好ましくは、前記カメラと前記レーダとの間の外部パラメータは、前記カメラ座標系と前記レーダ座標系との間の変換関係を含み、前記キャリブレーションプレートの前記第１ポーズ情報及び前記第２ポーズ情報に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションすることは、前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点ごとに、前記コーナー点の前記レーダ座標系における対応点を決定し、前記コーナー点と前記対応点とを１セットの点ペアとして決定することと、複数セットの前記点ペアに基づいて、確定すべき変換関係を決定することと、前記第２座標点を前記確定すべき変換関係にしたがって変換し、前記画像における第３座標点を取得することと、前記画像における前記第３座標点と対応の前記第１座標点との間の距離が閾値未満である場合に、前記確定すべき変換関係を前記変換関係として決定することと、を含む。
【0012】
好ましくは、前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点ごとに、前記コーナー点の前記レーダ座標系における対応点を決定することは、前記キャリブレーションプレートの中心位置を決定し、前記中心位置の前記カメラ座標系における第４座標点と、当該中心位置の前記レーダ座標系における第５座標点とを決定することと、前記カメラ座標系における前記第４座標点と前記レーダ座標系における前記第５座標点との間の対応関係について、前記キャリブレーションプレートの前記カメラ座標系と前記レーダ座標系とにおけるマッチング関係を決定することと、前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点位置について、前記レーダ座標系における、前記各キャリブレーションプレートとは前記マッチング関係を有する領域において、前記位置の対応点を決定することと、を含む。
【0013】
好ましくは、前記キャリブレーションプレートのパターンは、特徴点セットと特徴エッジとのうちの少なくとも一項を含む。
【0014】
好ましくは、前記レーダ及び前記カメラは、車両に配備されている。
【0015】
好ましくは、前記画像は、前記複数のキャリブレーションプレート全体の映像を含み、前記レーダポイントクラウドデータは、前記複数のキャリブレーションプレート全体に対応するポイントクラウドデータを含む。
【0016】
好ましくは、前記レーダは、レーザレーダを含み、前記レーザレーダから放射されたレーザ光線は、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートの所在する平面に交わる。
【0017】
好ましくは、前記複数のキャリブレーションプレートは、カメラ視野若しくはレーダ視野に重複領域が存在しないことと、少なくとも１つのキャリブレーションプレートがカメラ視野若しくはレーダ視野のエッジ位置に存在することと、前記カメラ若しくは前記レーダとの間の水平距離が異なるキャリブレーションプレートが少なくとも２つ存在することと、のうちの少なくとも一項に合致する。
【0018】
第２態様において、本発明の実施例は、センサのキャリブレーション装置を提供する。前記センサは、カメラとレーダとを含み、複数のキャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記複数のキャリブレーションプレートのポーズ情報は、異なり、前記センサのキャリブレーション装置は、前記複数のキャリブレーションプレートについて、前記カメラによって画像を収集し、前記レーダによってレーダポイントクラウドデータを収集するための収集モジュールと、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレートの前記画像における第１座標点と当該キャリブレーションプレートの前記レーダポイントクラウドデータにおける第２座標点とを検出するための検出モジュールと、前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするためのキャリブレーションモジュールと、を備える。
【0019】
好ましくは、前記キャリブレーションモジュールは、前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするときに、具体的に、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレートの前記第１座標点と前記カメラの内部パラメータとに基づいて、前記キャリブレーションプレートのカメラ座標系における第１ポーズ情報を決定し、前記キャリブレーションプレートの前記第２座標点に基づいて、前記キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定し、前記キャリブレーションプレートの前記第１ポーズ情報及び前記第２ポーズ情報に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションする。
【0020】
好ましくは、前記検出モジュールは、前記キャリブレーションプレートの前記画像における第１座標点を検出するときに、具体的に、前記画像における、前記キャリブレーションプレートに対応する候補コーナー点を決定し、前記候補コーナー点をクラスタリングし、前記画像における、前記キャリブレーションプレートに対応するコーナー点を取得し、取得された前記コーナー点を前記キャリブレーションプレートの前記画像における前記第１座標点として決定する。
【0021】
好ましくは、前記検出モジュールは、前記画像における、前記キャリブレーションプレートに対応するコーナー点を取得した後、更に、前記キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、前記画像におけるクラスタリングされたコーナー点の位置を校正し、校正された前記コーナー点を前記キャリブレーションプレートの前記画像における前記第１座標点として決定する。
【0022】
好ましくは、前記キャリブレーションモジュールは、前記キャリブレーションプレートの前記第２座標点に基づいて、前記キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定するときに、具体的に、前記レーダポイントクラウドデータにおいて前記キャリブレーションプレートの所在する平面領域を決定し、前記平面領域に対応するポーズ情報を前記キャリブレーションプレートの前記レーダ座標系における前記第２ポーズ情報として決定する。
【0023】
好ましくは、前記カメラと前記レーダとの間の外部パラメータは、前記カメラ座標系と前記レーダ座標系との間の変換関係を含み、前記キャリブレーションモジュールは、前記キャリブレーションプレートの前記第１ポーズ情報及び前記第２ポーズ情報に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするときに、具体的に、前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点ごとに、前記コーナー点の前記レーダ座標系における対応点を決定し、前記コーナー点と前記対応点とを１セットの点ペアとして決定し、複数セットの前記点ペアに基づいて、確定すべき変換関係を決定し、前記第２座標点を前記確定すべき変換関係にしたがって変換し、前記画像における第３座標点を取得し、前記画像における前記第３座標点と対応の前記第１座標点との間の距離が閾値未満である場合に、前記確定すべき変換関係を前記変換関係として決定する。
【0024】
好ましくは、前記キャリブレーションモジュールは、前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点ごとに、前記コーナー点の前記レーダ座標系における対応点を決定するときに、具体的に、前記キャリブレーションプレートの中心位置を決定し、前記中心位置の前記カメラ座標系における第４座標点と、当該中心位置の前記レーダ座標系における第５座標点とを決定し、前記カメラ座標系における前記第４座標点と前記レーダ座標系における前記第５座標点との間の対応関係について、前記キャリブレーションプレートの前記カメラ座標系と前記レーダ座標系とにおけるマッチング関係を決定し、前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点位置について、前記レーダ座標系における、前記キャリブレーションプレートとは前記マッチング関係を有する領域において、前記位置の対応点を決定する。
【0025】
好ましくは、前記キャリブレーションプレートのパターンは、特徴点セットと特徴エッジとのうちの少なくとも一項を含む。
【0026】
好ましくは、前記レーダ及び前記カメラは、車両に配備されている。
【0027】
好ましくは、前記画像は、前記複数のキャリブレーションプレート全体の映像を含み、前記レーダポイントクラウドデータは、前記複数のキャリブレーションプレート全体に対応するポイントクラウドデータを含む。
【0028】
好ましくは、前記レーダは、レーザレーダを含み、前記レーザレーダから放射されたレーザ光線は、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートの所在する平面に交わる。
【0029】
好ましくは、前記複数のキャリブレーションプレートは、カメラ視野若しくはレーダ視野に重複領域が存在しないことと、少なくとも１つのキャリブレーションプレートがカメラ視野若しくはレーダ視野のエッジ位置に存在することと、前記カメラ若しくは前記レーダとの間の水平距離が異なるキャリブレーションプレートが少なくとも２つ存在することと、のうちの少なくとも一項に合致する。
【0030】
第３態様において、本発明の実施例は、キャリブレーションシステムを提供する。前記キャリブレーションシステムは、カメラと、レーダと、複数のキャリブレーションプレートとを備え、前記複数のキャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記複数のキャリブレーションプレート同士は、互いに遮らず、且つポーズ情報が異なる。
【0031】
第４態様において、本発明の実施例は、車両を提供する。前記車両は、車両本体と、第２態様に記載のキャリブレーション装置とを備え、前記カメラは、車載カメラであり、前記レーダは、レーザレーダであり、前記車載カメラ、前記レーザレーダ及び前記キャリブレーション装置は、何れも前記車両本体に設けられている。
【0032】
第５態様において、本発明の実施例は、車両センサパラメータのキャリブレーション機器を提供する。前記キャリブレーション機器は、メモリと、プロセッサと、コンピュータプログラムとを含み、前記コンピュータプログラムは、前記メモリに記憶され、前記プロセッサによって実行されることにより、第１態様に記載のセンサのキャリブレーション方法を実施させるように構成される。
【0033】
第６態様において、本発明の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、第１態様に記載のセンサのキャリブレーション方法は実施される。
【0034】
第７態様において、本発明の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器で運転されたときに、前記機器におけるプロセッサに第１態様に記載のセンサのキャリブレーション方法を実施させる。
【発明の効果】
【0035】
本発明の実施例は、センサのキャリブレーション方法、装置、システム、車両、機器及び記憶媒体に係る。センサは、カメラ及びレーダを含む。当該方法では、カメラによって収集された画像とレーダによって収集されたレーダポイントクラウドデータとに基づいて、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの、画像における第１座標点とレーダポイントクラウドデータにおける第２座標点とを検出し、その後、複数のキャリブレーションプレートのそれぞれの第１座標点及び第２座標点に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションする。複数のキャリブレーションプレートは、カメラとレーダとの共通視野範囲内に位置し、且つ複数のキャリブレーションプレートのポーズ情報は、異なる。
【0036】
カメラ及びレーダが、複数のキャリブレーションプレートを含む場面においてキャリブレーション用の画像及びレーダポイントクラウドデータをそれぞれ収集し、且つ複数のキャリブレーションプレートポーズ情報が異なるため、１枚の画像は、複数のキャリブレーションプレートの映像を含み、１セットのレーダポイントクラウドデータは、複数のキャリブレーションプレートに対応するポイントクラウドデータを含む。したがって、１枚の画像及び対応する１セットのレーダポイントクラウドデータを収集すれば、カメラとレーダとの間の外部パラメータをキャリブレーションすることができる。こうして、キャリブレーション正確度を保証した前提で、処理すべき画像の数及びレーダポイントクラウドデータの数を効果的に減少可能であり、データ処理手順で占用されるリソースを省くことができる。
【0037】
更に、実際のキャリブレーション手順の画像収集過程において、キャリブレーションプレートがずっと静止状態にあるため、カメラ及びレーダにとって、カメラ及びレーダに対する同期性の要求が効果的に低減可能であり、キャリブレーション精度が効果的に向上する。
【図面の簡単な説明】
【0038】
【図1】本発明の実施例に係るキャリブレーションシステムの模式図である。
【図2】本発明の実施例に係るセンサのキャリブレーション方法のフローチャートである。
【図3】本発明の実施例に係る複数のキャリブレーションプレートのカメラ座標系におけるポーズの模式図である。
【図4】本発明の別の実施例に係るキャリブレーションシステムの模式図である。
【図5】本発明の実施例に係るコーナー点検出のフローチャートである。
【図6】本発明の実施例に係る、外部パラメータを最適化する前に各キャリブレーションプレートに対応するコーナー点及び投影点の空間位置の模式図である。
【図7】本発明の実施例に係る、外部パラメータを最適化した後で各キャリブレーションプレートに対応するコーナー点及び投影点の空間位置の模式図である。
【図8】本発明の実施例に係るキャリブレーション装置の構造模式図である。
【図9】本発明の実施例に係るキャリブレーション機器の構造模式図である。
【0039】
上記図面により、本発明の明確な実施例を示し、後文により詳細な記述がある。これらの図面及び文字記述は、如何なる方式で本発明の思想の範囲を制限するためのものではなく、特定の実施例を参照して当業者へ本発明の概念を説明するためのものである。
【発明を実施するための形態】
【0040】
ここで、例示的な実施例を詳細に説明する。その例示は、図面に示される。以下の記述は、図面に係る際、別途示さない限り、異なる図面における同じ符号が同じ又は類似する要素を示す。以下の例示的な実施例に記述される実施形態が本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは、単に添付する特許請求の範囲に詳細に記述されるような、本発明の幾つかの態様に一致する装置及び方法の例である。
【0041】
本発明の実施例に係るセンサのキャリブレーション方法は、図１に示すキャリブレーションシステムに適用可能である。図１に示すように、当該キャリブレーションシステムは、カメラ１１、レーダ１２及び複数のキャリブレーションプレート１３を備える。カメラ１１は、単眼カメラ、両眼カメラ、又はより多くのカメラヘッドを具備するカメラを採用してもよい。レーダ１２は、レーザレーダ、ミリ波レーダ等の、自動車でよく用いられるレーダであってもよい。複数のキャリブレーションプレート１３のパターンは、通常、際立った特徴、例えば、碁盤目、特徴点セット、特徴エッジ等を含み、且つキャリブレーションプレート１３の形態は、矩形、円形等の規則な図形又は不規則な図形であってもよい。
【0042】
また、カメラ１１による本撮影又はレーダ１２による本走査の前に、全てのキャリブレーションプレート１３をカメラ１１によって予め観察するか、それともレーダ１２によって予め走査し、一部或いは全部のキャリブレーションプレート１３の位置或いは姿勢を調整し、又はセンサの位置或いは姿勢を調整することにより、全てのキャリブレーションプレート１３を同時にカメラ１１とレーダ１２との共通視野範囲内にさせながら、完全に見られさせ、カメラ１１とレーダ１２の視野範囲、特にカメラヘッドで撮影された画像のエッジ部分或いはレーダで走査された領域のエッジ部分をできるだけ覆う。
【0043】
カメラの視野とは、カメラを介して見える領域を意味している。カメラの視野範囲とは、カメラによって収集できる画像の領域に対応する範囲を意味している。本発明の実施例において、カメラの視野範囲は、カメラレンズから被撮影物体までの距離、カメラのサイズ、及びカメラレンズの焦点距離などのパラメータのうちの１つ又は複数に基づいて決定されてもよい。例えば、カメラレンズから物体までの距離が１５００ｍｍ、カメラのサイズが４．８ｍｍ、カメラレンズの焦点距離が５０ｍｍであれば、カメラの視野＝（１５００＊４．８）／５０＝１４４ｍｍとなる。一実施形態において、カメラの視野範囲は、カメラの画角（ｆｉｅｌｄ ｏｆ ｖｉｅｗ、ＦＯＶ）、即ち、カメラレンズの中心点からイメージング平面の対角線の両端へなす角度として理解され得る。イメージング面積が同じである場合、カメラレンズの焦点距離が短いほど、カメラの画角が大きくなる。
【0044】
レーダの視野とは、レーダを介して走査され得る領域を指す。レーダの視野範囲とは、レーダを介して走査され得るレーダポイントクラウドデータの領域に対応する範囲を指し、垂直視野範囲及び水平視野範囲を含む。垂直視野範囲とは、レーダが垂直方向において走査できるレーダポイントクラウドデータの領域に対応する範囲を指し、水平視野範囲とは、レーダが水平方向において走査できるレーダポイントクラウドデータの領域に対応する範囲を指す。回転式レーザレーダを例とすると、その水平視野が３６０度であり、垂直視野が４０度であることは、当該回転式レーザレーダが水平方向における３６０度範囲内の領域を走査可能であり、且つ垂直方向における４０度範囲内の領域を走査可能であることを意味する。説明すべきことは、上記回転式レーザレーダの水平視野及び垂直視野に対応する角度の値は、単に例示的な記述の１種であり、本発明の実施例に対する限定とはならない。
【0045】
また、本実施例において、全てのキャリブレーションプレート１３が互いに遮らない又は別の物体に遮られない必要もある。複数のキャリブレーションプレート１３が互いに遮らないことは、カメラ１１とレーダ１２との共通視野範囲内において、複数のキャリブレーションプレート１３が互いに重なり合うことなく、且つ、複数のキャリブレーションプレート１３がそれぞれ完全であると理解され得る。つまり、撮影された画像及び走査されたレーダポイントクラウドデータで示される複数のキャリブレーションプレート１３が互いに重なり合うことなく、且つ何れも完全なものである。このため、複数のキャリブレーションプレート１３を配置する過程に、任意の２つのキャリブレーションプレート１３が互いに隣接しておらず、一定の距離だけ離れているようにする。複数のキャリブレーションプレート１３を配置する過程に、複数のキャリブレーションプレート１３のうち少なくとも２つがカメラ１１とレーダ１２との水平距離が異なってもよく、これにより、カメラ１１によって収集された画像とレーダ１２によって走査されたレーダポイントクラウドデータとで示される複数のキャリブレーションプレート１３の位置情報がより多様になる。カメラ１１を例とすると、つまり、収集された１枚の画像には、カメラ１１から様々な距離の範囲内にあるキャリブレーションプレート１３の映像が含まれる。例えば、カメラ１１の視野範囲を、カメラからの距離が短距離、中距離、長距離の３種類の距離に分ける。これにより、収集された１枚の画像には、少なくとも上記３種類の距離におけるキャリブレーションプレート１３の映像が含まれるため、収集された画像に係るキャリブレーションプレート１３の位置情報が多様になる。複数のキャリブレーションプレート１３を配置する過程に、複数のキャリブレーションプレート１３のうち、少なくとも２つのキャリブレーションプレート１３とレーダ１２との間の水平距離が異なるようにすることは、カメラ１１に類似するため、詳細はカメラ部分の紹介を参照すればよく、ここで繰り返し説明しない。
【0046】
また、キャリブレーションプレート１３の平坦性を確保することで、収集された画像又はレーダポイントクラウドデータで示されるキャリブレーションプレート１３をより鮮明にすることができる。例えば、アルミニウム合金フレームなどのような位置制限装置によって、キャリブレーションプレート１３の周りを固定することで、キャリブレーションプレート１３に表示されたパターン、点セットなどの特徴的データがより鮮明になる。
【0047】
説明すべきことは、図１におけるキャリブレーションプレート１３の数は例示的に説明するためのものであり、キャリブレーションプレート１３の数に対する制限として理解されるべきではない。当業者であれば、実際の状況に応じた数のキャリブレーションプレート１３を配置することができる。
【0048】
本発明の実施例の図１に示すキャリブレーションシステムは、複数のセンサ、例えば、カメラとレーダの間の外部パラメータに対するキャリブレーションに適用可能である。説明すべきことは、図１に示すキャリブレーションシステムは、自動運転場面における車載カメラと車載レーダのキャリブレーション、ビジョンシステムが搭載されたロボットのキャリブレーション、又は複数のセンサが実装されたドローンのキャリブレーション等に適用可能である。本発明の実施例において、カメラとレーダとの間の外部パラメータをキャリブレーションすることを例とし、本発明に係る技術案を説明する。
【0049】
説明すべきことは、複数のセンサに対してキャリブレーションを行う過程において、センサの内部パラメータ、外部パラメータ等のうちの１項又は複数項をキャリブレーションしてもよい。センサがカメラ及びレーダを含む場合に、センサに対するキャリブレーションは、カメラの内部パラメータ、カメラの外部パラメータ、レーダの内部パラメータ、レーダの外部パラメータ、カメラとレーダとの間の外部パラメータ等のうちの一項又は複数項に対するキャリブレーションであってもよい。
【0050】
内部パラメータとは、センサ自身の特性を反映するための関連パラメータを指し、センサの出荷パラメータ、例えば、センサの性能パラメータ、技術パラメータ等を含んでもよい。外部パラメータとは、ワールド座標系における物体のセンサに対する位置関係のパラメータを指し、空間におけるある点からセンサ座標系への変換関係を示すためのパラメータ等を含んでもよい。
【0051】
カメラの内部パラメータとは、カメラ自身の特性を反映するための関連パラメータを指し、カメラの焦点距離、画像の解像度等のパラメータのうちの一項又は複数項の組み合わせを含んでもよいが、それらに限定されない。
【0052】
カメラの外部パラメータとは、ワールド座標系における物体のカメラに対する位置関係のパラメータを指し、カメラによって収集された画像の歪みパラメータ、空間におけるある点からカメラ座標系への変換関係を示すためのパラメータ等のうちの一項又は複数項の組み合わせを含んでもよいが、それらに限定されない。
【0053】
レーダの内部パラメータとは、レーダ自身の特性を反映するための関連パラメータを指す。レーザレーダを例とすると、波長、検知距離、画角、距離測定精度のパラメータのうちの一項又は複数項の組み合わせを含んでもよいが、それらに限定されない。光学機器において、光学機器のレンズを頂点とし、被測定目標の物体像がレンズを通過可能な最大範囲の２本のエッジで構成された夾角は、画角と呼称される。画角の大きさは、光学機器の視野範囲を決める。画角が大きいほど、視野は、大きくなり、光学倍率は、小さくなる。
【0054】
レーダの外部パラメータとは、ワールド座標系における、物体のレーダに対する位置関係のパラメータを指し、空間におけるある点からレーダ座標系への変換関係を示すためのパラメータ等のうちの一項又は複数項の組み合わせを含んでもよいが、それらに限定されない。
【0055】
カメラとレーダとの間の外部パラメータとは、カメラ座標系における、物理世界の物体のレーダ座標系に対する位置関係のパラメータを指す。
【0056】
説明すべきことは、内部パラメータ、外部パラメータに対する上記説明が単に１種の例示であり、カメラの内部パラメータ、カメラの外部パラメータ、レーダの内部パラメータ、レーダの外部パラメータ、カメラとレーダとの間の外部パラメータに対する限定とはならない。
【0057】
本発明の実施例に係るセンサのキャリブレーション方法は、関連技術の技術問題を解決することを目的とする。
【0058】
以下では、レーザレーダを例とし、具体的な実施例を用いて、本発明の技術案、及び本発明の技術案がどのようにして技術課題を解決するかについて詳細に説明する。以下の複数の具体的な実施例は互いに組み合わせることができ、同一又は類似の概念又は過程は、幾つかの実施例において説明を省略することがある。以下では、図面を参照しながら、本発明の実施例について説明する。
【0059】
図２は、本発明の実施例に係るセンサのキャリブレーション方法のフローチャートである。本発明の実施例は、関連技術の技術問題に対してセンサのキャリブレーション方法を提供する。センサは、カメラとレーダとを含み、当該方法の具体的なステップは、下記のようになる。
【0060】
ステップ２０１では、ポーズ情報が異なる複数のキャリブレーションプレートについて、カメラによって画像を収集し、レーダによってレーダポイントクラウドデータを収集する。
【0061】
複数のキャリブレーションプレートは、カメラとレーダとの共通視野範囲内に位置する。カメラで収集された画像と、レーダで収集されたレーダポイントクラウドデータは、それぞれ複数のキャリブレーションプレートの映像を含み、複数のキャリブレーションプレート同士は、互いに遮らず、且つ複数のキャリブレーションプレートのポーズ情報は、異なる。
【0062】
上記ポーズ情報とは、キャリブレーションプレートの空間における位置状態を指し、具体的に、位置情報及び姿勢情報を含んでもよい。位置情報とは、キャリブレーションプレートのカメラ及びレーダに対する相対的位置関係を指し、姿勢情報とは、キャリブレーションプレートが位置情報で示された位置における回転、下向き／上向きなどの姿勢を指す。本発明の実施例において、ポーズ情報とは、キャリブレーションプレートの空間における６次元の中の少なくとも１つに対応する情報を指してもよい。ポーズ情報が異なるとは、空間における少なくとも１次元の情報が異なることを意味してもよい。６次元とは、キャリブレーションプレートの３次元座標系においてＸ軸、Ｙ軸、Ｚ軸における平行移動情報及び回転情報をそれぞれ指す。
【0063】
具体的に、図１に示すように、カメラ１１によって、複数のキャリブレーションプレート１３を含む場面を撮影し、カメラ座標系における異なるポーズの複数のキャリブレーションプレート１３を取得する。複数のキャリブレーションプレート１３のカメラ座標系におけるポーズは、図３に示されてもよい。図３から分かるように、複数のキャリブレーションプレート１３のカメラ座標系におけるポーズ情報は、何れも異なる。
【0064】
具体的に、図１に示すように、レーダ１２によって、複数のキャリブレーションプレート１３を含む場面を走査し、１セットのレーダポイントクラウドデータを取得する。好ましくは、レーダは、レーザレーダを含み、レーザレーダから放射されたレーザ光線が複数のキャリブレーションプレート１３のうちの各キャリブレーションプレート１３の所在する平面に交わることにより、レーザ光ポイントクラウドデータは、取得される。レーダがレーザレーダであることを例とすると、例えば、レーザレーダから放射された１ビームのレーザ光がキャリブレーションプレート１３の表面に照射した場合に、キャリブレーションプレート１３の表面は、レーザ光を反射する。レーザレーダから放射されたレーザ光が一定の軌跡で走査し、例えば３６０度回転走査すると、大量のレーザ光ポイントが得られるため、キャリブレーションプレート１３に対応するレーダポイントクラウドデータは、形成可能である。
【0065】
カメラ撮影の画像は、複数のキャリブレーションプレート全体の映像を含む。本実施例における画像が複数枚の画像である場合に、複数枚の画像は、カメラを介して収集された複数枚の画像であってもよく、カメラの録画等の方式によって収集されたビデオシーケンス内の複数フレームが時系列において隣接する或いは隣接しない画像であってもよい。本実施例におけるレーダポイントクラウドデータが複数セットのレーダポイントクラウドデータである場合に、複数セットのレーダポイントクラウドデータは、レーダが複数回の収集によって取得したレーダポイントクラウドシーケンスであってもよく、レーダポイントクラウドシーケンスは、時系列において隣接する或いは隣接しない複数セットのレーダポイントクラウドデータを含む。
【0066】
ここで注意すべきことは、カメラとレーダとの時間同期性が保証されるように、カメラとレーダとが同時に稼働する必要はある。こうして、カメラとレーダとがデータを収集する時間誤差がキャリブレーションへ影響をもたらすことをできるだけ低減することは、保証される。
【0067】
ステップ２０２では、複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、当該キャリブレーションプレートの画像における第１座標点と、当該キャリブレーションプレートのレーダポイントクラウドデータにおける第２座標点とを検出する。
【0068】
第１座標点は、複数のキャリブレーションプレートの画像における座標点を含み、第２座標点は、複数のキャリブレーションプレートのレーダポイントクラウドデータにおける座標点を含む。
【0069】
複数のキャリブレーションプレートのうちの１つのキャリブレーションプレートにとって、第１座標点は、当該キャリブレーションプレートの格子点から画像へマッピングされたコーナー点を含み、第２座標点が当該キャリブレーションプレートの格子点からレーダポイントクラウドデータへマッピングされた点を含む。
【0070】
本実施例において、コーナー点とは、キャリブレーションプレートの格子点から画像へマッピングされたピクセル点であり、一般的には、画像における局所的な最大値をコーナー点とすることができる。例えば、ピクセル点が周囲のピクセルよりも明るい又は暗い場合、このピクセル点をコーナー点として見なすことができる。例えば、図１に、キャリブレーションプレートの碁盤目で、２本ずつの線の交点から画像にマッピングされた対応するピクセル点はコーナー点として検出することができる。キャリブレーションプレートの格子点とは、キャリブレーションプレートのパターンが碁盤目である場合、黒い格子と白い格子とを区分する２本の線の交点、即ち、キャリブレーションプレートにおける黒い格子又は白い格子を表す矩形の頂点である。例えば、図１に示す格子点Ｏ’（図１の左側の矢印で示されている）である。
【0071】
例示的には、画像における複数のキャリブレーションプレートのコーナー点をそれぞれ検出する。複数のキャリブレーションプレートのうち少なくとも２つのキャリブレーションプレートの画像におけるコーナー点を検出してもよい。例えば、キャリブレーションシステムに２０個のキャリブレーションプレートが含まれる場合、カメラによって一部又は全てのキャリブレーションプレートの映像、例えば１８個のキャリブレーションプレートの映像を含む画像を収集して取得してもよい。これにより、この１８個のキャリブレーションプレートの画像におけるコーナー点を検出することができる。もちろん、１８個未満のキャリブレーションプレートの画像におけるコーナー点を検出してもよい。例えば、１８個のキャリブレーションプレートの映像を含む画像において、その中の１５個のキャリブレーションプレートの画像におけるコーナー点を検出してもよい。
【0072】
本実施例において、レーダで収集されたレーダポイントクラウドデータに密度不規則が存在し、外れ点、ノイズ等の要素が存在する可能性があるため、ポイントクラウドデータに大量のノイズポイントが存在する可能性もある。よって、収集されたレーダポイントクラウドデータに対して、前処理、例えばフィルタリングすることでレーダポイントクラウドデータにおけるノイズポイントを除去する必要がある。ノイズポイントが除去された後の残りのレーダポイントクラウドデータそのものは、検出で取得された、複数のキャリブレーションプレートのレーダポイントクラウドデータにおける座標点、即ち第２座標点となる。
【0073】
ステップ２０３では、複数のキャリブレーションプレートのそれぞれの第１座標点及び第２座標点に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションする。
【0074】
好ましくは、複数のキャリブレーションプレートのそれぞれの第１座標点及び第２座標点に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションすることは、第１座標点とカメラの内部パラメータとに基づいて、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの、カメラ座標系における第１ポーズ情報を決定することと、第２座標点に基づいて、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの、レーダ座標系における第２ポーズ情報を決定することと、各キャリブレーションプレートの第１ポーズ情報及び第２ポーズ情報に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションすることと、を含む。
【0075】
本実施例において、カメラの内部パラメータは、既存のキャリブレーションアルゴリズムに基づいて予めキャリブレーションされて得られてもよい。詳細は、従来のカメラ内部パラメータに対するキャリブレーションアルゴリズムを参照すればよく、本実施例においてここで繰り返し説明しない。
【0076】
各キャリブレーションプレートのカメラ座標系における第１ポーズ情報とは、各キャリブレーションプレートのカメラ座標系における位置状態情報を指し、具体的に三次元位置座標情報及び姿勢情報を含む。一例示において、各キャリブレーションプレートのカメラ座標系における三次元位置座標情報は、そのカメラ座標系のＸ、Ｙ、Ｚ軸における座標値であってもよく、各キャリブレーションプレートのカメラ座標系における姿勢情報は、各キャリブレーションプレートのカメラ座標系におけるロールｒｏｌｌ角、ピッチｐｉｔｃｈ角、ヨーｙａｗ角であってもよい。ロールｒｏｌｌ角、ピッチｐｉｔｃｈ角、ヨーｙａｗ角に対する具体的な定義は、関連技術の紹介を参照すればよく、本実施例においてここで詳細に説明しない。
【0077】
本ステップで検出された第１座標点は、各キャリブレーションプレートの画像における位置を示すために用いられ、当該キャリブレーションプレートの二次元情報を表現する。当該キャリブレーションプレートのカメラ座標系における三次元ポーズ情報が得られるように、キャリブレーションされたカメラの内部パラメータと二次元画像におけるコーナー点とに基づいて決定してもよい。例えば、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）アルゴリズムを採用して各キャリブレーションプレートのカメラ座標における三次元ポーズ情報を決定することにより、１枚の二次元画像をキャリブレーションプレート座標系からカメラ座標系へ変換してもよい。それは、具体的に、キャリブレーションされたカメラの内部パラメータと、確定すべきカメラ外部パラメータとに基づいて、ワールド座標系における複数のキャリブレーションプレート上のＮ個の点を画像に投影してＮ個の投影点を取得することと、Ｎ個の点、Ｎ個の投影点、キャリブレーションされたカメラの内部パラメータ、及び確定すべきカメラ外部パラメータに基づいて、目的関数を確立することと、目的関数について最適解を求めてカメラの最終的な外部パラメータ、即ち、キャリブレーションプレート座標系からカメラ座標系への変換関係を示すためのパラメータを取得することと、を含む。
【0078】
具体的に、各キャリブレーションプレートのレーダ座標系における第２ポーズ情報とは、各キャリブレーションプレートのレーダ座標系における位置状態情報を指し、具体的に三次元位置座標情報及び姿勢情報を含む。各キャリブレーションプレートのレーダ座標系における三次元位置座標情報とは、レーダ座標系のＸ、Ｙ、Ｚ軸における座標値を指し、各キャリブレーションプレートのレーダ座標系における姿勢情報とは、各キャリブレーションプレートのレーダ座標系におけるロールｒｏｌｌ角、ピッチｐｉｔｃｈ角、ヨーｙａｗ角を指す。ロールｒｏｌｌ角、ピッチｐｉｔｃｈ角、ヨーｙａｗ角に対する具体的な定義は、関連技術の紹介を参照すればよく、本実施例においてここで繰り返し説明しない。
【0079】
本ステップで検出された第２座標点が各キャリブレーションプレートのレーダポイントクラウドデータにおける位置、即ち、各キャリブレーションプレートのレーダ座標系における位置を示すため、第２座標点に基づいて、各キャリブレーションプレートのレーダ座標系における第２ポーズ情報を取得してもよい。上記実現方式を採用することにより、キャリブレーションプレート座標系とレーダ座標系との間の変換を取得可能である。即ち、レーダポイントクラウドデータにおける平面情報により、レーダポイントクラウドデータにおける各キャリブレーションプレート平面を選定し、これによって各キャリブレーションプレートのレーダ座標系におけるポーズ情報、即ち、第２ポーズ情報を取得する。
【0080】
その後、各キャリブレーションプレートのカメラ座標系における第１ポーズ情報と、各キャリブレーションプレートのレーダ座標系における第２ポーズ情報とに基づいて、カメラ座標系とレーダ座標系との間の外部パラメータを決定する。カメラ座標系とレーダ座標系との間の外部パラメータとは、カメラのレーダに対する位置、回転方向等のパラメータを指し、カメラ座標系とレーダ座標系との間の変換関係を示すためのパラメータと理解され得る。当該変換関係のパラメータにより、カメラとレーダとが同一時間帯内に収集したデータが空間上の同期を取ることができるため、カメラとレーダとは、より良好なフュージョンを実現する。
【0081】
好ましくは、本発明の実施例では、単一のキャリブレーションプレートによってカメラとレーダとの間の外部パラメータをキャリブレーションしてもよい。例示的に、図４に示すキャリブレーションシステムによってカメラとレーダとの間の外部パラメータをキャリブレーションしてもよい。当該キャリブレーションシステムは、カメラ４１、レーダ４２及び１つのキャリブレーションプレート４３を備える。カメラとレーダとをキャリブレーションする過程に、キャリブレーションプレート４３を移動及び／又は回転し、又は、カメラ４１及びレーダ４２を移動する（移動中にカメラ４１とレーダ４２との相対位置関係が変化しないことを保証する必要はある）。更に、カメラ４１によって１つのキャリブレーションプレート４３を含む画像を複数枚撮影し（キャリブレーションプレート４３の各画像における位置及び姿勢は、何れも異なる）、且つ、レーダ４２の走査によって、１つのキャリブレーションプレート４３を含むレーダポイントクラウドデータを複数セット取得する。カメラ４１及びレーダ４２が同一位置における同じ姿勢のキャリブレーションプレート４３に対して撮影した画像と走査したレーダポイントクラウドデータとは、１セットのデータと呼称される。撮影及び走査を複数回行うことにより、複数セットのデータ、例えば１０～２０セットを取得する。それから、複数セットのデータから、キャリブレーションアルゴリズム要求に合致するデータを、選択される画像及びレーダポイントクラウドデータを選定し、その後、選択された画像及びレーダポイントクラウドデータに基づいて、カメラ４１とレーダ４２との間の外部パラメータをキャリブレーションする。
【0082】
マルチキャリブレーションプレートのキャリブレーション場面において、カメラによって収集された画像とレーダによって収集されたレーダポイントクラウドデータとに基づいて、その中の各キャリブレーションプレートの、画像における第１座標点とレーダポイントクラウドデータにおける第２座標点とを検出する。その後、複数のキャリブレーションプレートのそれぞれの第１座標点及び第２座標点に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションする。複数のキャリブレーションプレートは、カメラとレーダとの共通視野範囲内に位置し、且つ複数のキャリブレーションプレートのポーズ情報は、異なる。
【0083】
カメラ及びレーダが、複数のキャリブレーションプレートを含む場面においてキャリブレーション用の画像及びレーダポイントクラウドデータをそれぞれ収集し、且つ複数のキャリブレーションプレートポーズ情報が異なるため、１枚の画像は、複数のキャリブレーションプレートの映像を含み、１セットのレーダポイントクラウドデータは、複数のキャリブレーションプレートのポイントクラウドデータを含む。したがって、１枚の画像及び対応する１セットのレーダポイントクラウドデータを収集すれば、カメラとレーダとの間の外部パラメータをキャリブレーションすることができる。こうして、キャリブレーション正確度を保証した前提で、処理すべき画像の数及びレーダポイントクラウドデータの数を効果的に減少可能であり、データ処理手順で占用されるリソースを省くことができる。
【0084】
また、更に、実際のキャリブレーション手順の画像収集過程において、キャリブレーションプレートがずっと静止状態にあるため、カメラ及びレーダにとって、カメラ及びレーダに対する同期性の要求が効果的に低減可能であり、キャリブレーション精度が効果的に向上する。
【0085】
好ましくは、複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、その画像における第１座標点を検出することは、画像における、当該キャリブレーションプレートに対応する候補コーナー点を決定することと、候補コーナー点をクラスタリングし、画像における、当該キャリブレーションプレートに対応するコーナー点を取得し、取得されたコーナー点を当該キャリブレーションプレートの画像における第１座標点として決定することと、を含む。候補コーナー点とは、キャリブレーションプレートの格子点に対応するコーナー点を意味する。本実施例において、候補コーナー点をクラスタリングすることで、画像における、キャリブレーションプレートに属するピクセル点を取得することができる。クラスタリングすることで、候補コーナー点のうちキャリブレーションプレートに属さない点を除外し、画像のノイズ除去を実施することができる。具体的には、画像におけるあるピクセル点を参照として、画像において近傍を１つ決定し、近傍におけるピクセル点と現在のピクセル点の類似度を計算して、類似度がプリセット閾値未満の場合、この近傍におけるピクセル点を現在のピクセル点の類似点とする。好ましくは、類似度は、二乗差の合計（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、ＳＳＤ）として計測することができる。本発明の実施例において、別の類似度の計算方法で計測することもできる。プリセット閾値は予め設定されてもよく、具体的には、キャリブレーションプレートにおけるパターンに応じて調整してもよく、ここで、プリセット閾値の値は限定されない。
【0086】
好ましくは、画像における、複数のキャリブレーションプレートに対応する候補コーナー点を決定することは、画像におけるコーナー点を検出することと、検出されたコーナー点から、キャリブレーションプレートの格子点から画像へマッピングされたコーナー点以外の点を初歩的に除外して、候補コーナー点を取得することとを含むことができる。検出されたコーナー点には、キャリブレーションプレートの格子点から画像へマッピングされたコーナー点が含まれるが、他の誤検出された点も含まれ得るので、誤検出された点を除外することで、候補コーナー点を取得することができる。好ましくは、非極大値抑制の方法によってキャリブレーションプレートの格子点から画像へマッピングされたコーナー点以外の点、例えば、誤検出された点を初歩的に除外することができる。本実施例では、画像における他の誤検出された点を除外して、初歩的なノイズ除去を実施することができる。
【0087】
好ましくは、検出されたコーナー点から、キャリブレーションプレートの格子点から画像へマッピングされたコーナー点以外の点、例えば、誤検出された点を初歩的に除外して、候補コーナー点を取得した後、前記方法は、画像における候補コーナー点をクラスタリングして、候補コーナー点における離散的なピクセル点を除外することを更に含む。本実施例では、前のステップでノイズ除去された上、キャリブレーションプレートの格子点の数から、画像におけるコーナー点の数を決定することができる。そして、キャリブレーションプレートにおいて格子点が規則的に分布する特徴から、キャリブレーションプレート内の格子点に対応するコーナー点に属さないピクセル点を除外することができる。例えば、６＊１０のキャリブレーションプレートの場合、５＊９＝４５個の格子点を有し、画像に対応すると、４５個のコーナー点を有することになる。上記ステップでは、この４５個のコーナー点に属さない他のピクセル点を除外する。本実施例では、画像におけるキャリブレーションプレートの格子点に属さないコーナー点を更に除外して、ノイズを更に除去することができる。
【0088】
好ましくは、画像における、複数のキャリブレーションプレートに対応するコーナー点を取得した後、本実施例の方法は、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの格子点に対する線形拘束関係に基づいて、画像におけるクラスタリングされたコーナー点の位置を校正し、校正されたコーナー点を第１座標点として決定することを更に含む。本実施例では、候補コーナー点をクラスタリングした後、各キャリブレーションプレート内の格子点に対応するコーナー点を取得することができるが、これらコーナー点の位置は正確ではない可能性がある。例えば、キャリブレーションプレートにおける同じ直線上にある３つの格子点は、画像において対応する３つのコーナー点、例えば、Ａ（１，１）、Ｂ（２，２）及びＣ（３，３）が、画像における同じ直線にあるはずであるが、クラスタリングした後、例えば、コーナー点の座標がそれぞれＡ（１，１）、Ｂ（２，２）及びＣ（３．１，３．３）であり、コーナー点のうちの１つが直線上にない場合、コーナー点Ｃを（３，３）に校正して、コーナー点Ｃと他の２つコーナー点Ａ、コーナー点Ｂとを同一の直線にあるようにする必要がある。本ステップにおける校正によって、検出されたコーナー点の位置が更に正確になり、その後のキャリブレーションにおいて、キャリブレーション精度が向上することができる。
【0089】
以下では、１つの完全な例示を用いて、上記過程を詳細に説明する。
【0090】
図５は、本発明の別の実施例に係るセンサのキャリブレーション方法のフローチャートである。当該センサのキャリブレーション方法は、具体的に以下のステップを含む。
【0091】
ステップ５０１では、画像におけるコーナー点を検出する。
【0092】
従来のコーナー点検出アルゴリズムによってコーナー点を検出してもよい。好ましくは、このステップは、既存のコーナー点検出アルゴリズムによって、画像における全ての可能なピクセルレベルのコーナー点を見つけ出し、画像の勾配情報に従ってコーナー点を更にサブピクセルレベルに精細化することを含むことができる。
【0093】
ステップ５０２では、検出されたコーナー点から、キャリブレーションプレートの格子点から画像へマッピングされた潜在コーナー点以外の点、例えば、誤検出された点を初歩的に除外して、候補コーナー点を取得する。
【0094】
非極大値抑制の方法によってキャリブレーションプレートの格子点から画像へマッピングされた潜在コーナー点以外の点を除外してもよい。例えば、非極大値抑制の方法によって、誤検出された点を初歩的に除外してもよい。
【0095】
ステップ５０３では、候補コーナー点における離散的なピクセル点を除去する。
【0096】
具体的に、キャリブレーションプレート内の格子点が規則的に分布するので、このステップ５０３では、候補コーナー点をクラスタリングすることで、これら離散的なピクセル点を除去して、ノイズであるピクセル点を更に除外することができる。
【0097】
本実施例の画像に複数のキャリブレーションプレートが含まれ、各キャリブレーションプレートに対応するピクセル点が一般的に密集しており、且つ２つずつのキャリブレーションプレートの間に一定の距離があるため、２つずつのキャリブレーションプレートに対応する密集しているピクセル点群の間には、一定の間隔が存在する。したがって、クラスタリングの方法で、各キャリブレーションプレートに対応する位置におおよそ区分し、キャリブレーションプレートの格子点に対応するコーナー点以外の離散点を除外することができる。
【0098】
キャリブレーションプレート内の格子点の数が既知であるため、画像における対応するコーナー点の数も通常、決まったものである。したがって、キャリブレーションプレートの格子点の数と画像におけるコーナー点の数とが同じであるという関係に基づいて、ノイズ除去を行ってもよい。
【0099】
ステップ５０４では、キャリブレーションプレートの格子点に対する線形拘束に基づいて、各キャリブレーションプレートの格子点の、画像における対応する位置を、第１座標点として取得する。
【0100】
好ましくは、ステップ５０３で各キャリブレーションプレートの格子点の、画像における対応する位置に区分された後、キャリブレーションプレートの格子点に対する線形拘束に従って、各キャリブレーションプレート内の格子点に対応する画像におけるピクセル点を処理して、各キャリブレーションプレートの格子点、の画像における対応するコーナー点の位置を取得することができる。キャリブレーションプレートの格子点に対する線形拘束とは、キャリブレーションプレート内の格子点に対応するピクセル点が一直線に分布している関係を意味する。
【0101】
本発明の実施例の１種の実現形態において、キャリブレーションプレートごとに、検出されたコーナー点の位置は行列として記憶され、キャリブレーションプレートの数をＮとすると、本実施例のコーナー点検出方法によってＮ個の行列が得られる。例えば、図２に示すキャリブレーションシステムには、９個のキャリブレーションプレートがあり、本実施例のコーナー点検出方法によって、画像ごとに、検出されたコーナー点の位置を表す９個の行列が得られる。
【0102】
好ましくは、第２座標点に基づいて、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの、レーダ座標系における第２ポーズ情報を決定することは、レーダポイントクラウドデータにおいて各キャリブレーションプレートの所在する平面領域を決定することと、平面領域に対応するポーズ情報を各キャリブレーションプレートのレーダ座標系における第２ポーズ情報として決定することと、を含む。各キャリブレーションプレートのレーダポイントクラウドデータにおける三次元点が密集しており、且つレーダポイントクラウドデータにおける他の領域との相違が明らかであるため、レーダポイントクラウドデータにおいて、キャリブレーションプレート形状にマッチングする平面を決定可能である。例えば、キャリブレーションプレートが矩形形状である場合に、レーダポイントクラウドデータにおける座標点で構成された矩形形状の平面を決定することにより、平面領域を決定してもよい。平面領域が決定された後、当該平面領域に対応するポーズ情報をキャリブレーションプレートのレーダ座標系における第２ポーズ情報としてもよい。
【0103】
好ましくは、カメラとレーダとの間の外部パラメータがカメラ座標系とレーダ座標系との間の変換関係を含む場合に、各キャリブレーションプレートの第１ポーズ情報及び第２ポーズ情報に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションすることは、各キャリブレーションプレートのカメラ座標系におけるコーナー点について、レーダ座標系における対応点を決定し、各キャリブレーションプレートのカメラ座標系におけるコーナー点と、当該キャリブレーションプレートのレーダ座標系における対応点とを１セットの点ペアとして決定することと、複数セットの点ペアに基づいて、確定すべき変換関係を決定することと、第２座標点を確定すべき変換関係に従って変換し、画像における第３座標点を取得することと、画像における第３座標点と対応する第１座標点との間の距離が閾値未満の場合に、確定すべき変換関係を変換関係として決定することと、を含む。
【0104】
好ましくは、各キャリブレーションプレートのカメラ座標系におけるコーナー点について、レーダ座標系における対応点を決定することは、各キャリブレーションプレートの中心位置を決定し、当該中心位置のカメラ座標系における第４座標点と、当該中心位置のレーダ座標系における第５座標点とを決定することと、カメラ座標系における第４座標点とレーダ座標系における第５座標点との間の対応関係について、各キャリブレーションプレートの前記カメラ座標系と前記レーダ座標系とにおけるマッチング関係を決定することと、前記各キャリブレーションプレートのカメラ座標系におけるコーナー点位置について、レーダ座標系における、各キャリブレーションプレートとはマッチング関係を有する領域において、位置の対応点を決定することと、を含む。
【0105】
無論、本実施例では、キャリブレーションプレートの他の位置を選択してそのカメラ座標系における第４座標点及びレーダ座標系における第５座標点を決定してもよい。本実施例では、これについて具体的に限定しない。他の位置は、例えば、キャリブレーションプレートの中心点に近接する位置、又はキャリブレーションプレートのエッジから遠く離れる位置点である。
【0106】
一実施例では、カメラ座標系において検出されたコーナー点集合がＰ（Ｘ１，Ｘ２，・・・Ｘｎ）であり、レーダ座標系において検出された座標点集合がＧ（Ｙ１，Ｙ２，・・・Ｙｎ）であり、画像におけるコーナー点がＰｉと記されてもよく、Ｐｉ＝Ｘｉとなる。まず、１つのプリセットの拘束条件、例えば四元行列（４＊４の回転・平行移動行列）を定義し、そして、コーナー点集合Ｐと当該四元行列とのクロス積を行い、レーダ座標系における対応する座標点集合Ｐ’（Ｘ’１，Ｘ’２，・・・Ｘ’ｎ）を取得する。こうして、画像におけるコーナー点Ｐｉの、レーダポイントクラウドデータにおける対応する座標点Ｐｉ’を取得可能であり、Ｐｉ及びＰｉ’を基に１つの目的関数を確立し、最小二乗法を採用して当該目的関数について最小二乗誤差を求め、当該誤差が所定の誤差範囲内にあるか否かを決定してもよい。当該誤差が所定の誤差範囲内にある場合に、反復を終了する。当該誤差が所定の誤差範囲内にない場合に、誤差が所定の誤差範囲内に収まるまで、当該誤差に応じて四元行列の回転情報及び平行移動情報を調整し、引き続き調整後の四元行列に基づいて上記手順を実行し、且つ、最終的な四元行列を最終の変換関係とする。ＰｉとＰｉ’との間のユークリッド距離に基づいて目的関数を確立してもよい。上記誤差範囲は、予め設定されてもよい。本発明の実施例では、誤差範囲の値について限定しない。
【0107】
具体的に、各キャリブレーションプレートのカメラ座標系とレーダ座標系とにおけるマッチング関係を決定することは、カメラ座標系におけるキャリブレーションプレートとレーダ座標系におけるキャリブレーションプレートとを関連付けさせると理解され得る。即ち、カメラ座標系とレーダ座標系とに、図１に示す応用場面における同一キャリブレーションプレートをそれぞれ見つけ出し、当該キャリブレーションプレートの、カメラ座標系における位置座標とレーダ座標系における位置座標との間の対応関係を確立する。例えば、複数のキャリブレーションプレートのそれぞれは、アラビア数字で区分される番号を有する。図６に示すように、複数のキャリブレーションプレートのカメラ座標系における番号がそれぞれ１から９であると仮定すれば、レーダ座標系における番号は、それぞれ１’から９’となる。カメラ座標系における番号１から９のキャリブレーションプレートは、レーダ座標系における番号１’から９’のキャリブレーションプレートに順次対応する。例えば、カメラ座標系における番号１のキャリブレーションプレートとレーダ座標系における番号１’のキャリブレーションプレートとは、キャリブレーションシステムにおける同一キャリブレーションプレートに対応する。そうすると、キャリブレーションプレートのカメラ座標系とレーダ座標系とにおけるマッチング関係とは、カメラ座標系における番号が１のキャリブレーションプレートとレーダ座標系における番号が１’のキャリブレーションプレートとをそれぞれ見つけ出し、カメラ座標系における番号が１のキャリブレーションプレートとレーダ座標系における番号が１’のキャリブレーションプレートとの位置座標の対応関係を確立することを指す。
【0108】
好ましくは、カメラ座標系におけるキャリブレーションプレートとレーダ座標系におけるキャリブレーションプレートとを関連付けさせた後、キャリブレーションシステムにおける対応するキャリブレーションプレートを決定してもよい。更に、当該キャリブレーションプレート格子点に対応するカメラ座標系におけるコーナー点とレーダ座標系における対応点とを所定順に従って並べてもよい。例えば行又は列に並べて、そして、行又は列で本実施例の方法・ステップを実行することができる。しかし、通常の場合に、上述実施例で画像及びレーダポイントクラウドデータに係るキャリブレーションプレート表し形態をマッチングすることは、同一キャリブレーションプレートの、画像とレーダポイントクラウドデータとにおける表し形態をマッチングすることであるが、キャリブレーションプレートで表される方位が異なる場合がある。このため、キャリブレーションプレートの画像とレーダポイントクラウドデータとにおける方位を調整することで同一キャリブレーションプレートの画像とレーダポイントクラウドデータとにおける方位も同じにする必要がある。キャリブレーションプレートで表される方位情報とは、キャリブレーションプレートの画像とレーダポイントクラウドデータとにおける方向情報及び／又は位置情報である。方向情報を例とすると、キャリブレーションプレートは、画像を収集するときに横方向配置の状態にあり、レーダポイントクラウドデータを収集するときに縦方向配置の状態にあってもよい。横方向と縦方向は、キャリブレーションプレートで表される方位情報である。
【0109】
取得されたカメラとレーダとの間の外部パラメータ、即ち、カメラとレーダ座標系との間の変換行列Ｔが大まかなものであるため、非線形最適化の方式によって変換行列Ｔを更に最適化することで外部パラメータをより正確にさせる必要がある。カメラとレーダとの間の外部パラメータを最適化することは、検出されたコーナー点と、レーダ座標系におけるキャリブレーションプレート上の格子点から画像に投影された投影点とに基づいて、目的関数を確立することと、当該目的関数について最適解を求め、カメラとレーダとの間の最終的な外部パラメータを取得することと、を含む。検出されたコーナー点と、レーダ座標系におけるキャリブレーションプレート上の格子点から画像に投影された投影点とに基づいて、目的関数を確立することは、カメラとレーダとの間の外部パラメータ、キャリブレーションされた内部パラメータ、カメラ座標系におけるコーナー点座標、及び、レーダ座標系とカメラ座標系との間の変換関係に基づいて、レーダ座標系におけるキャリブレーションプレート上の格子点を投影関数関係にしたがって画像に投影して、投影点を取得することと、検出されたコーナー点及び投影点を基に、目的関数を確立することと、を含む。これにより、各キャリブレーションプレートのカメラ座標系とレーダ座標系における誤差を最小化し、検出された点の位置を最適化し、カメラとレーダとの間の外部パラメータのキャリブレーション精度を向上させることができる。
【0110】
図６は、外部パラメータを最適化する前に各キャリブレーションプレートに対応するコーナー点及び投影点の空間位置の模式図である。
【0111】
図７は、外部パラメータを最適化した後で各キャリブレーションプレートに対応するコーナー点及び投影点の空間位置の模式図である。
【0112】
レーダがレーザレーダであることを例とすると、図６、図７に示すように、図における点セットは、レーザレーダ座標系におけるキャリブレーションプレートが変換されて取得されたカメラ座標系における投影であり、レーザレーダ座標系におけるキャリブレーションプレートが変換された後の、カメラ座標系における位置を示すために用いられる。図における実線枠は、キャリブレーションプレートの格子点のカメラ座標系におけるコーナー点であり、カメラ座標系におけるキャリブレーションプレートを示すために用いられる。
【0113】
図６から分かるように、キャリブレーションプレートのカメラ座標系におけるオリジナル位置と、当該キャリブレーションプレートがレーダ座標系において変換を経て取得されたカメラ座標系における位置との間には、一定の距離が存在する。例えば、キャリブレーションプレートのカメラ座標系における番号が１であり、当該キャリブレーションプレートがレーダ座標系において変換を経て取得されたカメラ座標系における番号が１’である場合に、カメラ座標系におけるキャリブレーションプレート１とキャリブレーションプレート１’との間には、一定の距離が存在する。同様な理由により、カメラ座標系におけるキャリブレーションプレート２から９と、変換を経て取得されたカメラ座標系におけるキャリブレーションプレート２’から９’との間には、それぞれ一定の距離が存在する。
【0114】
図７から分かるように、最適化された後、同一キャリブレーションプレートの、カメラ座標系におけるオリジナル位置と、レーダ座標系において変換を経て取得されたカメラ座標系における位置との間の距離が小さくなり、且つ同一キャリブレーションプレートの２種の場合に取得されたカメラ座標系における位置は、ほぼ重なり合う。
【0115】
上記実施例のキャリブレーション方法を用いてカメラとレーダとの間の外部パラメータをキャリブレーションした後、キャリブレーション済のカメラとレーダとで収集されたデータを利用して距離測定、測位又は自動運転の制御等を行ってもよい。例えば、キャリブレーション済のカメラとレーダとの間の外部パラメータを利用して収集されたデータで自動運転の制御を行う場合に、具体的に、キャリブレーション済の車載カメラを利用して車両周囲環境を含む画像を収集することと、キャリブレーション済の車載レーダを利用して車両周囲環境を含むレーダポイントクラウドデータを収集することと、環境情報に基づいて、画像とレーダポイントクラウドデータとをフュージョンすることと、フュージョン後のデータに基づいて車両現在位置を決定することと、車両現在位置に応じて車両を制御することとを含む。例えば、車両の減速、ブレーキ又は操舵等を制御する。距離測定過程に、レーザレーダから放射されたレーザ光が物体表面に照射され、当該物体表面が当該レーザ光を反射し、当該レーザレーダが、当該物体表面で反射されたレーザ光に基づいて、当該物体の当該レーザレーダに対する方位、距離等の情報を決定可能である。したがって、距離測定は、実現可能である。
【0116】
車載カメラ、レーダ、及びカメラとレーダとが実装された他の幾つかのキャリアにとって、カメラ及びレーダが一般的にキャリアに固定されるため、移動が不便である。本発明の実施例に係る技術案を採用する場合に、カメラ及びレーダを移動せずに、複数のセンサに対するキャリブレーションを完成することができる。
【0117】
また、車載カメラ、車載レーダ、又は、カメラ及びレーダなどの複数のセンサが搭載されたドローンやロボットの場合、周囲環境情報の収集は、車両の自動運転やドローンの飛行、ロボットのルート計画にとって非常に重要であり、自動運転や飛行、ロボット走行の安全性に影響することが多い。本実施例のキャリブレーション方法によってキャリブレーションすることで、キャリブレーション精度が向上可能であり、データ処理用の周囲環境情報の正確度も高くなる。それに応じて、車両又はドローンの位置決定、距離測定などの機能は、正確度も高くなり、更に、無人運転や飛行の安全性が向上する。ロボットは、キャリブレーション精度が向上することで、ビジョンシステムに基づくロボットの各動作の精度が向上することができる。
【0118】
なお、キャリブレーションの過程を簡素化するために、道路標識や交通標識など規則的なパターン又は容易に識別される情報を備えた対象を用いて、車両に配備されたカメラ及び／又はレーダのキャリブレーションを実施することができる。本発明の実施例において、通常のキャリブレーションプレートを用いてカメラとレーダとの間のパラメータのキャリブレーションの過程を説明したが、通常のキャリブレーションプレートによってキャリブレーションを実施することに限らない。具体的に、センサ配備に関する物体の特性又は制限に応じて、対応するセンサのキャリブレーションを実施することができる。
【0119】
図８は、本発明の実施例に係るセンサのキャリブレーション装置の構造模式図である。本発明の実施例に係るキャリブレーション装置は、センサのキャリブレーション方法実施例に供される処理フローを実行可能である。センサは、カメラとレーダとを含み、複数のキャリブレーションプレートは、カメラとレーダとの共通視野範囲内に位置し、複数のキャリブレーションプレートのポーズ情報は、異なる。図８に示すように、キャリブレーション装置８０は、収集モジュール８１、検出モジュール８２及びキャリブレーションモジュール８３を備える。収集モジュール８１は、ポーズ情報が異なる複数のキャリブレーションプレートについて、カメラによって画像を収集し、レーダによってレーダポイントクラウドデータを収集する。検出モジュール８２は、複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、当該キャリブレーションプレートの画像における第１座標点と当該キャリブレーションプレートのレーダポイントクラウドデータにおける第２座標点とを検出する。キャリブレーションモジュール８３は、複数のキャリブレーションプレートのそれぞれの第１座標点及び第２座標点に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションする。
【0120】
好ましくは、キャリブレーションモジュール８３は、複数のキャリブレーションプレートのそれぞれの第１座標点及び第２座標点に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションするときに、具体的に、第１座標点とカメラの内部パラメータとに基づいて、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの、カメラ座標系における第１ポーズ情報を決定し、第２座標点に基づいて、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの、レーダ座標系における第２ポーズ情報を決定し、各キャリブレーションプレートの第１ポーズ情報及び第２ポーズ情報に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションする。
【0121】
好ましくは、検出モジュール８２は、各キャリブレーションプレートの画像における第１座標点を検出するときに、具体的に、画像における、各キャリブレーションプレートに対応する候補コーナー点を決定し、候補コーナー点をクラスタリングし、画像における、当該キャリブレーションプレートに対応するコーナー点を取得し、取得されたコーナー点を当該キャリブレーションプレートの画像における第１座標点として決定する。
【0122】
好ましくは、検出モジュール８２は、画像における、各キャリブレーションプレートに対応するコーナー点を取得した後、更に、各キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、画像におけるクラスタリングされたコーナー点位置を校正し、且つ、校正されたコーナー点を当該キャリブレーションプレートの画像における第１座標点として決定する。
【0123】
好ましくは、キャリブレーションモジュール８３は、第２座標点に基づいて、各キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定するときに、具体的に、レーダポイントクラウドデータにおいて各キャリブレーションプレートの所在する平面領域を決定し、平面領域に対応するポーズ情報を当該キャリブレーションプレートのレーダ座標系における第２ポーズ情報として決定する。
【0124】
好ましくは、カメラとレーダとの間の外部パラメータは、カメラ座標系とレーダ座標系との間の変換関係を含み、キャリブレーションモジュール８３は、各キャリブレーションプレートの第１ポーズ情報及び第２ポーズ情報に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションするときに、具体的に、各キャリブレーションプレートのカメラ座標系におけるコーナー点について、レーダ座標系における対応点を決定し、当該キャリブレーションプレートのカメラ座標系におけるコーナー点と、当該キャリブレーションプレートのレーダ座標系における対応点とを１セットの点ペアとして決定し、複数セットの点ペアに基づいて、確定すべき変換関係を決定し、第２座標点を確定すべき変換関係に従って変換し、画像における第３座標点を取得し、画像における第３座標点と対応する第１座標点との間の距離が閾値未満の場合に、確定すべき変換関係を変換関係として決定する。
【0125】
好ましくは、キャリブレーションモジュール８３は、各キャリブレーションプレートのカメラ座標系におけるコーナー点について、レーダ座標系における対応点を決定しときに、具体的に、各キャリブレーションプレートの中心位置を決定し、当該中心位置のカメラ座標系における第４座標点と、当該中心位置のレーダ座標系における第５座標点とを決定し、カメラ座標系における第４座標点とレーダ座標系における第５座標点との間の対応関係について、当該キャリブレーションプレートのカメラ座標系とレーダ座標系とにおけるマッチング関係を決定し、当該キャリブレーションプレートのカメラ座標系におけるコーナー点位置について、レーダ座標系における、当該キャリブレーションプレートとはマッチング関係を有する領域において、位置の対応点を決定する。
【0126】
好ましくは、キャリブレーションプレートのパターンは、特徴点セットと特徴エッジとのうちの少なくとも一項を含む。
【0127】
好ましくは、レーダ及びカメラは、車両に配備されている。
【0128】
好ましくは、画像は、複数のキャリブレーションプレート全体の映像を含み、レーダポイントクラウドデータは、複数のキャリブレーションプレート全体に対応するレーダポイントクラウドデータを含む。
【0129】
好ましくは、複数のキャリブレーションプレートのうち、少なくとも１つのキャリブレーションプレートは、カメラ視野のエッジ位置に存在する。
【0130】
好ましくは、レーダは、レーザレーダを含み、レーザレーダから放射されたレーザ光線は、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの所在する平面に交わる。
【0131】
好ましくは、複数のキャリブレーションプレートは、カメラ視野若しくはレーダ視野に重複領域が存在しない．
【0132】
好ましくは、複数のキャリブレーションプレートのうち、カメラ若しくはレーダとの間の水平距離が異なるキャリブレーションプレートは、少なくとも２つ存在する。
【0133】
図８に示す実施例のキャリブレーション装置は、上記方法実施例の技術案を実行可能であり、その実施原理及び技術効果が類似するため、ここで繰り返し説明しない。
【0134】
図９は、本発明の実施例に係るキャリブレーション機器の構造模式図である。本発明の実施例に係るキャリブレーション機器は、センサのキャリブレーション方法実施例に供される処理フローを実行可能である。センサは、カメラとレーダとを含み、複数のキャリブレーションプレートは、カメラとレーダとの共通視野範囲内に位置し、複数のキャリブレーションプレートのポーズ情報は、異なり、図９に示すように、キャリブレーション機器９０は、メモリ９１、プロセッサ９２、コンピュータプログラム及び通信インターフェース９３を含む。コンピュータプログラムは、メモリ９１に記憶され、プロセッサ９２が、ポーズ情報が異なる複数のキャリブレーションプレートについて、カメラによって画像を収集し、レーダによってレーダポイントクラウドデータを収集するステップと、複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、当該キャリブレーションプレートの、画像における第１座標点とレーダポイントクラウドデータにおける第２座標点とを検出するステップと、複数のキャリブレーションプレートのそれぞれの第１座標点及び第２座標点に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションするステップとを実行するように構成される。
【0135】
好ましくは、プロセッサ９２は、複数のキャリブレーションプレートのそれぞれの第１座標点及び第２座標点に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションするときに、具体的に、第１座標点とカメラの内部パラメータとに基づいて、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの、カメラ座標系における第１ポーズ情報を決定し、第２座標点に基づいて、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの、レーダ座標系における第２ポーズ情報を決定し、各キャリブレーションプレートの第１ポーズ情報及び第２ポーズ情報に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションする。
【0136】
好ましくは、プロセッサ９２は、各キャリブレーションプレートの画像における第１座標点を検出するときに、具体的に、画像における、各キャリブレーションプレートに対応する候補コーナー点を決定し、候補コーナー点をクラスタリングし、画像における、当該キャリブレーションプレートに対応するコーナー点を取得し、取得されたコーナー点を当該キャリブレーションプレートの画像における第１座標点として決定する。
【0137】
好ましくは、プロセッサ９２は、更に、各キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、画像におけるクラスタリングされたコーナー点位置を校正し、且つ校正されたコーナー点を第１座標点として決定する。
【0138】
好ましくは、プロセッサ９２は、第２座標点に基づいて、各キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定するときに、具体的に、レーダポイントクラウドデータにおいて各キャリブレーションプレートの所在する平面領域を決定し、平面領域に対応するポーズ情報を当該キャリブレーションプレートのレーダ座標系における第２ポーズ情報として決定する。
【0139】
好ましくは、カメラとレーダとの間の外部パラメータは、カメラ座標系とレーダ座標系との間の変換関係を含み、プロセッサ９２は、各キャリブレーションプレートの第１ポーズ情報及び第２ポーズ情報に基づいて、カメラとレーダとの間の外部パラメータをキャリブレーションするときに、具体的に、各キャリブレーションプレートのカメラ座標系におけるコーナー点について、レーダ座標系における対応点を決定し、当該キャリブレーションプレートのカメラ座標系におけるコーナー点と、当該キャリブレーションプレートのレーダ座標系における対応点とを１セットの点ペアとして決定し、複数セットの点ペアに基づいて、確定すべき変換関係を決定し、第２座標点を確定すべき変換関係に従って変換し、画像における第３座標点を取得し、画像における第３座標点と対応する第１座標点との間の距離が閾値未満の場合に、確定すべき変換関係を変換関係として決定する。
【0140】
好ましくは、プロセッサ９２は、各キャリブレーションプレートのカメラ座標系におけるコーナー点について、レーダ座標系における対応点を決定しときに、具体的に、各キャリブレーションプレートの中心位置を決定し、当該中心位置のカメラ座標系における第４座標点と、当該中心位置のレーダ座標系における第５座標点とを決定し、カメラ座標系における第４座標点とレーダ座標系における第５座標点との間の対応関係について、当該キャリブレーションプレートのカメラ座標系とレーダ座標系とにおけるマッチング関係を決定し、当該キャリブレーションプレートのカメラ座標系におけるコーナー点位置について、レーダ座標系における、当該キャリブレーションプレートとはマッチング関係を有する領域において、位置の対応点を決定する。
【0141】
好ましくは、キャリブレーションプレートのパターンは、特徴点セットと特徴エッジとのうちの少なくとも一項を含む。
【0142】
好ましくは、レーダ及びカメラは、車両に配備されている。
【0143】
好ましくは、画像は、複数のキャリブレーションプレート全体の映像を含み、レーダポイントクラウドデータは、複数のキャリブレーションプレート全体に対応するレーダポイントクラウドデータを含む。
【0144】
好ましくは、レーダは、レーザレーダを含み、レーザレーダから放射されたレーザ光線は、複数のキャリブレーションプレートのうちの各キャリブレーションプレートの所在する平面に交わる。
【0145】
好ましくは、複数のキャリブレーションプレートは、カメラ視野若しくはレーダ視野に重複領域が存在しない。
【0146】
好ましくは、複数のキャリブレーションプレートのうち、少なくとも１つのキャリブレーションプレートは、カメラ視野若しくはレーダ視野のエッジ位置に存在する。
【0147】
好ましくは、複数のキャリブレーションプレートのうち、カメラ若しくはレーダとの間の水平距離が異なるキャリブレーションプレートは、少なくとも２つ存在する。
【0148】
図９に示す実施例のキャリブレーション機器は、上記方法実施例の技術案を実行可能であり、その実施原理及び技術効果が類似するため、ここで繰り返して説明しない。
【0149】
また、本発明の実施例は、コンピュータ可読記憶媒体を更に提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行されることにより、上記実施例のセンサのキャリブレーション方法は実施される。
【0150】
本発明に係る幾つかの実施例において、開示された装置及び方法が他の方式にて実現され得ることは、理解されるべきである。上述した装置実施例が単に模式的なものであり、例えば、手段の区分が、単に１種の論理機能区分であり、実際に実施するときに別の区分方式もあり得る。例えば、複数の手段或いはユニットは、組み合わせられてもよく、又は、別のシステムに統合されてもよく、又は、幾つかの特徴が略され、若しくは実行しないようにしてもよい。また、示され或いは議論された各構成部分同士間は、結合が直接結合であってもよく、通信接続が幾つかのインターフェース、装置或いは手段を介する間接結合若しくは通信接続であってもよく、電気的なもの、機械的なもの或いは他の形態であってもよい。
【0151】
上記分離部品として説明された手段が物理的に分離されるものであってもよくでなくてもよい。また、手段として表示された部品は、物理手段であってもでなくてもよい。更に、それらの手段は、１箇所に位置してもよく、複数のネットワークセルに分散してもよい。実際の需要に応じてその中の一部又は全部のモジュールを選択して本実施例の目的を果たすことが可能である。
【0152】
また、本発明の各実施例における各機能手段は、全部で１つの処理手段に集積されてもよく、各手段がそれぞれ単独で１つの手段とされてもよく、２つ或いは２つ以上の手段が１つの手段に集積されてもよい。上記集積手段は、ハードウェアの形態にて実現されてよく、ハードウェアプラスソフトウェア機能手段の形態にて実現されてもよい。
【0153】
上記ソフトウェア機能手段の形態で実現される集積の手段は、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。上記ソフトウェア機能手段は、１つの記憶媒体に記憶され、コンピュータ機器（パソコン、サーバ又はネットワーク機器等であってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施例に記載の方法の一部のステップを実行させるための幾つかの指令を含む。上述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等の、プログラムコードを格納可能な各種の媒体を含む。
【0154】
当業者であれば明白で理解できるように、記述の利便性及び簡潔性のために、単に上記各機能モジュールの区分を例として説明したが、実際の応用に、必要に応じて上記機能割当を異なる機能モジュールで完成させ、即ち、装置の内部構造を異なる機能モジュールに分割して上述した全部又は一部の機能を完成させてもよい。上述した装置の具体的な稼働手順は、上記方法実施例における対応する手順を参照すればよいため、ここで繰り返し説明しない。
【0155】
最後に説明すべきことは、上記各実施例が単に本発明の技術案を説明するためのものであり、それに対する制限とはならない。上記各実施例を参照して本発明を詳細に説明したが、当業者であれば理解できるように、依然として上記各実施例に記載の技術案に対して補正可能であり、又は、そのうちの一部若しくは全部の技術特徴に対して均等物による置換も可能であり、更に、これらの補正若しくは置換によって対応する技術案の要旨が本発明の各実施例の技術案の範囲から逸脱することはない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2021-06-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
センサのキャリブレーション方法であって、前記センサは、カメラとレーダとを含み、複数のキャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記複数のキャリブレーションプレートのポーズ情報は異なり、
前記複数のキャリブレーションプレートについて、前記カメラによって画像を収集し、前記レーダによってレーダポイントクラウドデータを収集するステップと、
前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレートの前記画像における第１座標点と当該キャリブレーションプレートの前記レーダポイントクラウドデータにおける第２座標点とを検出するステップと、
前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするステップと、を含む
ことを特徴とするセンサのキャリブレーション方法。
【請求項2】
前記キャリブレーションプレートの前記画像における第１座標点を検出することは、前記画像における、前記キャリブレーションプレートに対応する候補コーナー点を決定することと、
前記候補コーナー点をクラスタリングし、前記画像における、前記キャリブレーションプレートに対応するコーナー点を取得することと、
取得された前記コーナー点を前記キャリブレーションプレートの前記画像における前記第１座標点として決定することと、を含む
ことを特徴とする請求項１に記載のセンサのキャリブレーション方法。
【請求項3】
前記画像における、前記キャリブレーションプレートに対応するコーナー点を取得した後、前記センサのキャリブレーション方法は、前記キャリブレーションプレート上の３つ以上の格子点についての線形拘束関係に基づいて、前記画像におけるクラスタリングされたコーナー点の位置を校正することと、
校正された前記コーナー点を前記キャリブレーションプレートの前記画像における前記第１座標点として決定することと、を更に含む
ことを特徴とする請求項２に記載のセンサのキャリブレーション方法。
【請求項4】
前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするステップは、前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、
前記キャリブレーションプレートの前記第１座標点と前記カメラの内部パラメータとに基づいて、前記キャリブレーションプレートのカメラ座標系における第１ポーズ情報を決定することと、
前記キャリブレーションプレートの前記第２座標点に基づいて、前記キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定することと、
前記キャリブレーションプレートの前記第１ポーズ情報及び前記第２ポーズ情報に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションすることと、を含む
ことを特徴とする請求項１から３の何れか一項に記載のセンサのキャリブレーション方法。
【請求項5】
前記キャリブレーションプレートの前記第２座標点に基づいて、前記キャリブレーションプレートのレーダ座標系における第２ポーズ情報を決定することは、前記レーダポイントクラウドデータにおいて前記キャリブレーションプレートの所在する平面領域を決定することと、
前記平面領域に対応するポーズ情報を前記キャリブレーションプレートの前記レーダ座標系における前記第２ポーズ情報として決定することと、を含む
ことを特徴とする請求項４に記載のセンサのキャリブレーション方法。
【請求項6】
前記カメラと前記レーダとの間の外部パラメータは、前記カメラ座標系と前記レーダ座標系との間の変換関係を含み、前記キャリブレーションプレートの前記第１ポーズ情報及び前記第２ポーズ情報に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションすることは、
前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点ごとに、
前記コーナー点の前記レーダ座標系における対応点を決定し、
前記コーナー点と前記対応点とを１セットの点ペアとして決定することと、
複数セットの前記点ペアに基づいて、確定すべき変換関係を決定することと、
前記第２座標点を前記確定すべき変換関係にしたがって変換し、前記画像における第３座標点を取得することと、
前記画像における前記第３座標点と対応の前記第１座標点との間の距離が閾値未満である場合に、前記確定すべき変換関係を前記変換関係として決定することと、を含む
ことを特徴とする請求項４又は５に記載のセンサのキャリブレーション方法。
【請求項7】
前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点ごとに、前記コーナー点の前記レーダ座標系における対応点を決定することは、前記キャリブレーションプレートの中心位置を決定し、前記中心位置の前記カメラ座標系における第４座標点と、当該中心位置の前記レーダ座標系における第５座標点とを決定することと、
前記カメラ座標系における前記第４座標点と前記レーダ座標系における前記第５座標点との間の対応関係について、前記キャリブレーションプレートの前記カメラ座標系と前記レーダ座標系とにおけるマッチング関係を決定することと、
前記キャリブレーションプレートの前記カメラ座標系におけるコーナー点位置について、前記レーダ座標系における、前記各キャリブレーションプレートとは前記マッチング関係を有する領域において、前記位置の対応点を決定することと、を含む
ことを特徴とする請求項６に記載のセンサのキャリブレーション方法。
【請求項8】
前記キャリブレーションプレートのパターンは、特徴点セットと特徴エッジとのうちの少なくとも一項を含むこと、
及び／又は、
前記レーダ及び前記カメラは、車両に配備されていること、
及び／又は、
前記画像は、前記複数のキャリブレーションプレート全体の映像を含み、前記レーダポイントクラウドデータは、前記複数のキャリブレーションプレート全体に対応するポイントクラウドデータを含むこと、
及び／又は、
前記レーダは、レーザレーダを含み、前記レーザレーダから放射されたレーザ光線は、前記複数のキャリブレーションプレートのうちの各キャリブレーションプレートの所在する平面に交わること、
及び／又は、
前記複数のキャリブレーションプレートは、
カメラ視野若しくはレーダ視野に重複領域が存在しないことと、
少なくとも１つのキャリブレーションプレートがカメラ視野若しくはレーダ視野のエッジ位置に存在することと、
前記カメラ若しくは前記レーダとの間の水平距離が異なるキャリブレーションプレートが少なくとも２つ存在することと、のうちの少なくとも一項に合致すること
を特徴とする請求項１から７の何れか一項に記載のセンサのキャリブレーション方法。
【請求項9】
センサのキャリブレーション装置であって、前記センサは、カメラとレーダとを含み、複数のキャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記複数のキャリブレーションプレートのポーズ情報は、異なり、
前記複数のキャリブレーションプレートについて、前記カメラによって画像を収集し、前記レーダによってレーダポイントクラウドデータを収集するための収集モジュールと、
前記複数のキャリブレーションプレートのうちのキャリブレーションプレートごとに、前記キャリブレーションプレートの前記画像における第１座標点と当該キャリブレーションプレートの前記レーダポイントクラウドデータにおける第２座標点とを検出するための検出モジュールと、
前記複数のキャリブレーションプレートのそれぞれの前記第１座標点及び前記第２座標点に基づいて、前記カメラと前記レーダとの間の外部パラメータをキャリブレーションするためのキャリブレーションモジュールと、を備える
ことを特徴とするセンサのキャリブレーション装置。
【請求項10】
車両であって、車両本体と、請求項９に記載のキャリブレーション装置とを備え、
前記カメラは、車載カメラであり、前記レーダは、レーザレーダであり、前記車載カメラ、前記レーザレーダ及び前記キャリブレーション装置は、何れも前記車両本体に設けられていることを特徴とする車両。
【請求項11】
キャリブレーション機器であって、メモリと、プロセッサと、コンピュータプログラムとを含み、
前記コンピュータプログラムは、前記メモリに記憶され、前記プロセッサによって実行されることにより、請求項１から８の何れか一項に記載のセンサのキャリブレーション方法を実施させるように構成されることを特徴とするキャリブレーション機器。
【請求項12】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されたときに、請求項１から８の何れか一項に記載のセンサのキャリブレーション方法は実施されることを特徴とするコンピュータ可読記憶媒体。
【請求項13】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが機器で運転されたときに、前記機器におけるプロセッサに請求項１から８の何れか一項に記載のセンサのキャリブレーション方法を実施させることを特徴とするコンピュータプログラム。
【国際調査報告】