特表2022-515225センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-17
(54)【発明の名称】センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品
(51)【国際特許分類】
G01B 11/00 20060101AFI20220209BHJP
G01S 7/497 20060101ALI20220209BHJP
G01S 17/86 20200101ALI20220209BHJP
【ＦＩ】
G01B11/00 H
G01B11/00 B
G01S7/497
G01S17/86
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021536261
(86)(22)【出願日】2020-10-26
(85)【翻訳文提出日】2021-06-21
(86)【国際出願番号】 CN2020123636
(87)【国際公開番号】W WO2021098448
(87)【国際公開日】2021-05-27
(31)【優先権主張番号】201911129776.2
(32)【優先日】2019-11-18
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＭＡＴＬＡＢ
(71)【出願人】
【識別番号】521228835
【氏名又は名称】商▲湯▼集▲團▼有限公司
【氏名又は名称原語表記】ＳＥＮＳＥＴＩＭＥ ＧＲＯＵＰ ＬＩＭＩＴＥＤ
(74)【代理人】
【識別番号】110000729
【氏名又は名称】特許業務法人 ユニアス国際特許事務所
(72)【発明者】
【氏名】▲馬▼ 政
(72)【発明者】
【氏名】▲イェン▼ 国行
(72)【発明者】
【氏名】▲劉▼ 春▲曉▼
(72)【発明者】
【氏名】石 建萍
【テーマコード（参考）】
2F065
5J084
【Ｆターム（参考）】
2F065AA04
2F065AA17
2F065AA31
2F065BB02
2F065BB28
2F065FF04
2F065FF11
2F065FF61
2F065GG04
2F065JJ19
2F065JJ26
2F065MM16
2F065QQ08
2F065QQ24
2F065QQ25
2F065QQ31
5J084AA04
5J084AA05
5J084AA10
5J084AB20
5J084AC02
5J084AD01
5J084AD05
5J084BA03
5J084BA11
5J084BA34
5J084BA50
5J084BA55
5J084CA31
5J084CA65
5J084CA80
5J084EA08
(57)【要約】
本発明はセンサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品を提供する。センサはカメラとレーダとを含み、キャリブレーションプレートは前記レーダと前記カメラとの共通視野範囲内に位置し、前記方法は、カメラによって、前記キャリブレーションプレートの各ポーズでの複数の画像を収集するステップと、レーダによって、キャリブレーションプレートの各ポーズでの複数セットのレーダポイントクラウドデータを収集するステップと、キャリブレーションプレートの各ポーズに基づいて、画像とレーダポイントクラウドデータとの間の対応関係を確立するステップと、複数セットのレーダポイントクラウドデータのうち、各ポーズでのキャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定するステップと、複数セットの目標レーダポイントクラウドデータ、及び複数セットの対応関係に基づいて、レーダとカメラとの間の目標外部パラメータを決定するステップと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
センサキャリブレーション方法であって、センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、
前記カメラによって、前記キャリブレーションプレートの各ポーズでの複数の画像を収集するステップと、
前記レーダによって、前記キャリブレーションプレートの前記各ポーズでの複数セットのレーダポイントクラウドデータを収集するステップと、
前記キャリブレーションプレートの各ポーズに基づいて、前記画像と前記レーダポイントクラウドデータとの間の対応関係を確立するステップであって、前記キャリブレーションプレートの同一のポーズで収集された前記画像と前記レーダポイントクラウドデータとの間に対応関係が存在するステップと、
前記複数セットのレーダポイントクラウドデータのうち、前記各ポーズでの前記キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定するステップと、
前記複数セットの目標レーダポイントクラウドデータ、及び複数セットの前記対応関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップと、を含むことを特徴とするセンサキャリブレーション方法。
【請求項2】
前記複数セットのレーダポイントクラウドデータのうち、前記各ポーズでの前記キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定するステップは、予めキャリブレーションされた前記カメラの内部パラメータを取得することと、
前記カメラの前記内部パラメータ及び前記複数の画像に基づいて、前記各ポーズにおいて、前記各ポーズでの前記キャリブレーションプレートの、前記カメラに対する外部パラメータを決定することと、
各ポーズでのキャリブレーションプレートごとに、当該キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおけるレーダポイントクラウドデータのうち、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することと、を含むことを特徴とする請求項１に記載のセンサキャリブレーション方法。
【請求項3】
当該キャリブレーションプレートの前記カメラに対する前記外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおけるレーダポイントクラウドデータのうち、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することは、当該キャリブレーションプレートの前記カメラに対する前記外部パラメータ、及び前記レーダと前記カメラとの間の前記外部パラメータの参照値に基づいて、当該キャリブレーションプレートの、当該ポーズにおける前記レーダポイントクラウドデータにおける候補位置を決定することと、
前記候補位置に基づいて、当該ポーズにおける前記レーダポイントクラウドデータにおいて、当該キャリブレーションプレートの所在する目標平面を決定することと、
当該ポーズにおける前記レーダポイントクラウドデータに対応する前記目標平面において、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することと、を含むことを特徴する請求項２に記載のセンサキャリブレーション方法。
【請求項4】
前記候補位置に基づいて、当該ポーズにおける前記レーダポイントクラウドデータにおいて、当該キャリブレーションプレートの所在する目標平面を決定することは、当該ポーズにおける前記レーダポイントクラウドデータから、複数の第１レーダグループを決定し、前記第１レーダグループのそれぞれは、ランダムに選択された、前記候補位置に対応する領域内に位置する複数の第１レーダポイントを含み、異なる第１レーダグループに含まれる複数の第１レーダポイントは、一部同じであり、又は異なることと、
前記第１レーダグループごとに、対応する第１平面を決定し、前記第１レーダグループごとに対応する第１平面は、当該第１レーダグループの複数の第１レーダポイントを含む、ことと、
前記第１平面ごとに、当該ポーズにおける前記レーダポイントクラウドデータにおける前記複数の第１レーダポイント以外の他のレーダポイントから前記第１平面までの距離を決定することと、
前記第１平面ごとに、前記他のレーダポイントのうち前記距離が閾値よりも小さいレーダポイントを第２レーダポイントとすることと、
前記第１平面ごとに、前記第２レーダポイントを前記第１平面に含まれるレーダポイントとして決定することと、
複数の前記第１平面のうち、含まれるレーダポイントの数が最も多い１つの第１平面を前記目標平面とすることと、を含み、
ことを特徴とする請求項３に記載のセンサキャリブレーション方法。
【請求項5】
当該ポーズにおける前記レーダポイントクラウドデータに対応する前記目標平面において、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することは、前記目標平面において、当該キャリブレーションプレートの寸法に基づいて、初期の第１円形領域を決定することと、
前記レーダポイントクラウドデータにおいて、前記初期の第１円形領域内に位置するいずれか１つのレーダポイントを第１円形領域の第１円心として選択することにより、前記レーダポイントクラウドデータにおける前記第１円形領域の位置を決定することと、
前記第１円心を始点とし、前記レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイントを終点として、複数の第１ベクトルをそれぞれ取得することと、
前記複数の第１ベクトルを加算して第２ベクトルを取得することと、
前記第２ベクトルに基づいて、当該キャリブレーションプレートの目標中心位置を決定することと、
当該キャリブレーションプレートの前記目標中心位置、及び当該キャリブレーションプレートの寸法に基づいて、前記レーダポイントクラウドデータのうち、当該キャリブレーションプレートにマッチングする１セットの前記目標レーダポイントクラウドデータを決定することと、を含むことを特徴とする請求項３又は４に記載のセンサキャリブレーション方法。
【請求項6】
前記第２ベクトルに基づいて、当該キャリブレーションプレートの目標中心位置を決定することは、前記第２ベクトルの終点を第２円心として、前記第２円心、及び当該キャリブレーションプレートの寸法に基づいて、第２円形領域を決定することと、
前記第２円心を始点とし、前記レーダポイントクラウドデータにおいて前記第２円形領域内に位置する複数の第４レーダポイントを終点として、複数の第３ベクトルをそれぞれ決定することと、
前記複数の第３ベクトルを加算して第４ベクトルを取得することと、
前記第４ベクトルのベクトル値がプリセット値に収束したか否かを判定することと、
前記第４ベクトルのベクトル値が前記プリセット値に収束していないことに応じて、収束していない前記第４ベクトルの終点を前記第２円心として、前記複数の第３ベクトルを再決定し、前記第４ベクトルを再決定することと、
前記第４ベクトルのベクトル値が前記プリセット値に収束したことに応じて、収束した前記第４ベクトルに対応する前記第２円心を当該キャリブレーションプレートの候補中心位置とすることと、
前記候補中心位置と当該キャリブレーションプレートの中心位置とが重なり合うことに応じて、前記候補中心位置を前記目標中心位置とすることと、を含むことを特徴とする請求項５に記載のセンサキャリブレーション方法。
【請求項7】
前記候補中心位置と当該キャリブレーションプレートの前記中心位置とが重なり合っていないことに応じて、前記候補中心位置を再決定することを更に含むことを特徴とする請求項６に記載のセンサキャリブレーション方法。
【請求項8】
各セットの対応関係には、複数の対応関係が含まれ、異なるセットの対応関係に含まれる複数の対応関係は、一部同じであり、又は異なり、前記複数セットの目標レーダポイントクラウドデータ、及び複数セットの前記対応関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップは、
前記複数セットの目標レーダポイントクラウドデータ、及び前記複数セットの対応関係に基づいて、前記レーダと前記カメラとの間の複数の候補外部パラメータをそれぞれ決定することと、
前記複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の前記目標外部パラメータを決定することと、を含むことを特徴とする請求項１～７の何れか一項に記載のセンサキャリブレーション方法。
【請求項9】
前記複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の前記目標外部パラメータを決定することは、前記レーダによって、候補外部パラメータのそれぞれに基づいて、前記キャリブレーションプレートに対して投影を行い、前記画像のいずれか１つに投影して１セットの投影データを生成することと、
前記複数セットの投影データにおいて、投影と当該画像とのマッチング度が最も高い１セットの投影データを目標投影データとして決定することと、
前記目標投影データに対応する候補外部パラメータを前記レーダと前記カメラとの間の目標外部パラメータとして決定することと、を含むことを特徴とする請求項８に記載のセンサキャリブレーション方法。
【請求項10】
前記レーダと前記カメラとは、車両に配備されていることを特徴とする請求項１～９の何れか一項に記載のセンサキャリブレーション方法。
【請求項11】
前記画像は、前記キャリブレーションプレート全体を含み、前記レーダポイントクラウドデータは、前記キャリブレーションプレート全体に基づいて取得されたポイントクラウドデータを含むことを特徴とする請求項１～１０の何れか一項に記載のセンサキャリブレーション方法。
【請求項12】
前記レーダは、レーザーレーダを含み、前記レーザーレーダから放射されたレーザービームと前記キャリブレーションプレートの所在する平面とが交差することを特徴とする請求項１～１１の何れか一項に記載のセンサキャリブレーション方法。
【請求項13】
前記各ポーズでのキャリブレーションプレートには、前記カメラ及び前記レーダとの間の水平方向における距離が異なるキャリブレーションプレート、及び／又は、姿勢が異なるキャリブレーションプレートが含まれることを特徴とする請求項１～１２の何れか一項に記載のセンサキャリブレーション方法。
【請求項14】
センサキャリブレーション装置であって、前記センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、
前記カメラによって、前記キャリブレーションプレートの各ポーズでの複数の画像を収集し、且つ、前記レーダによって、前記キャリブレーションプレートの前記各ポーズでの複数セットのレーダポイントクラウドデータを収集するための収集モジュールと、
前記キャリブレーションプレートの各ポーズに基づいて、前記画像と前記レーダポイントクラウドデータとの間の対応関係を確立するための第１決定モジュールであって、前記キャリブレーションプレートの同一のポーズで収集された前記画像と前記レーダポイントクラウドデータとの間に対応関係が存在する第１決定モジュールと、
前記複数セットのレーダポイントクラウドデータのうち、前記各ポーズでの前記キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定するための第２決定モジュールと、
前記複数セットの目標レーダポイントクラウドデータ、及び複数セットの前記対応関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するための第３決定モジュールと、を備えることを特徴とするセンサキャリブレーション装置。
【請求項15】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに請求項１から１３の何れか一項に記載のセンサキャリブレーション方法を実施させることを特徴とするコンピュータ可読記憶媒体。
【請求項16】
センサキャリブレーション装置であって、センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、
前記センサキャリブレーション装置は、
プロセッサと、
前記プロセッサの実行可能指令を記憶するためのメモリと、を備え、
前記プロセッサは、前記実行可能指令を呼び出すことにより、請求項１から１３の何れか一項に記載のセンサキャリブレーション方法を実施するように構成されることを特徴とするセンサキャリブレーション装置。
【請求項17】
キャリブレーションシステムであって、前記キャリブレーションシステムは、カメラ、レーダ及びキャリブレーションプレートを備え、前記キャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記キャリブレーションプレートの異なる収集時点におけるポーズ情報は、異なることを特徴とするキャリブレーションシステム。
【請求項18】
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器で運転されたときに、前記機器に請求項１から１３の何れか一項に記載のセンサキャリブレーション方法を実施させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータビジョン分野に関し、具体的に、センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品に関する。
【0002】
＜関連出願の相互引用＞
本発明は、２０１９年１１月１８日に提出された、発明の名称が「センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム」であり、出願番号が２０１９１１１２９７７６２である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本願に組み入れられる。
本発明は、２０１９年１１月１８日に提出された、発明の名称が「センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム」であり、出願番号が２０１９１１１２９７７６２である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本願に組み入れられる。
【背景技術】
【0003】
コンピュータビジョンの発展につれて、機器・設備には、ますます多くのセンサが配備されてきている。異なるセンサは、異なるタイプのデータを提供できる。例えば、機器・設備には、レーダとカメラとの組み合わせが含まれる。レーダとカメラから提供されたデータに基づいて、周囲の環境への感知を機器・設備に学習させることができる。
【0004】
しかしながら、レーダとカメラを同時に使用する過程に、環境感知の精度は、レーダとカメラとの間の外部パラメータ（Ｅｘｔｒｉｎｓｉｃ Ｐａｒａｍｅｔｅｒ）の精度に依存している。レーダとカメラとの間の外部パラメータをキャリブレーションする過程に、キャリブレーションの精度は、主に、カメラの内部パラメータ、キャリブレーションプレートのカメラに対する外部パラメータ、及びレーダポイントクラウドデータのマッチング精度に依存している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、ポイントクラウドデータを手動的にマッチングすることによる誤差がキャリブレーションの過程において積み重ねられることにより、キャリブレーションの結果が十分に正確ではない技術的課題を解決できるセンサキャリブレーション方法及び装置、記憶媒体並びにキャリブレーションシステムを提供する。
【課題を解決するための手段】
【0006】
本発明の実施例の第１態様は、センサキャリブレーション方法を提供する。センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、前記センサキャリブレーション方法は、前記カメラによって、前記キャリブレーションプレートの各ポーズでの複数の画像を収集するステップと、前記レーダによって、前記キャリブレーションプレートの前記各ポーズでの複数セットのレーダポイントクラウドデータを収集するステップと、前記キャリブレーションプレートの各ポーズに基づいて、前記画像と前記レーダポイントクラウドデータとの間の対応関係を確立するステップであって、前記キャリブレーションプレートの同一のポーズで収集された前記画像と前記レーダポイントクラウドデータとの間に対応関係が存在するステップと、前記複数セットのレーダポイントクラウドデータのうち、前記各ポーズでの前記キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定するステップと、前記複数セットの目標レーダポイントクラウドデータ、及び複数セットの前記対応関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップと、を含む。
【0007】
本発明の実施例の第２態様は、センサキャリブレーション装置を提供する。センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、前記センサキャリブレーション装置は、前記カメラによって、前記キャリブレーションプレートの各ポーズでの複数の画像を収集し、且つ、前記レーダによって、前記キャリブレーションプレートの前記各ポーズでの複数セットのレーダポイントクラウドデータを収集するための収集モジュールと、前記キャリブレーションプレートの各ポーズに基づいて、前記画像と前記レーダポイントクラウドデータとの間の対応関係を確立するための第１決定モジュールであって、前記キャリブレーションプレートの同一のポーズで収集された前記画像と前記レーダポイントクラウドデータとの間に対応関係が存在する第１決定モジュールと、前記複数セットのレーダポイントクラウドデータのうち、前記各ポーズでの前記キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定するための第２決定モジュールと、前記複数セットの目標レーダポイントクラウドデータ、及び複数セットの前記対応関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するための第３決定モジュールと、を備える。
【0008】
本発明の実施例の第３態様は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに上記第１態様の何れか一項に記載のセンサキャリブレーション方法を実施させる。
【0009】
本発明の実施例の第４態様は、センサキャリブレーション装置を提供する。センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、前記センサキャリブレーション装置は、プロセッサと、前記プロセッサの実行可能指令を記憶するためのメモリと、を備え、前記プロセッサは、前記実行可能指令を呼び出すことにより、上記第１態様の何れか一項に記載のセンサキャリブレーション方法を実施するように構成される。
【0010】
本発明の実施例の第５態様は、キャリブレーションシステムを提供する。前記キャリブレーションシステムは、カメラ、レーダ及びキャリブレーションプレートを備え、前記キャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記キャリブレーションプレートの異なる収集時点におけるポーズ情報は、異なる。
【0011】
本発明の実施例の第６態様は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器で運転されたときに、前記機器に第１態様の何れか一項に記載のセンサキャリブレーション方法を実施させる。
【発明の効果】
【0012】
本発明の実施例に供される技術案は、以下の有利な作用効果を含み得る。
【0013】
本実施例において、カメラによって、キャリブレーションプレートの各ポーズでの複数の画像を収集し、レーダによって、キャリブレーションプレートの各ポーズでの複数セットのレーダポイントクラウドデータを収集することができる。キャリブレーションプレートの各ポーズに基づいて、画像とレーダポイントクラウドデータとの間の対応関係を確立し、複数セットのレーダポイントクラウドデータのうち、各ポーズでのキャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定した後、複数セットの目標レーダポイントクラウドデータ及び前に決定した複数セットの対応関係に基づいて、レーダと前記カメラとの間の目標外部パラメータを決定することができる。レーダポイントクラウドデータのうち、キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータを自動的に決定する目的を達成し、ポイントクラウドデータを手動的にマッチングすることによる誤差がキャリブレーションの過程において積み重ねられることにより、キャリブレーションの結果が十分に正確ではないという技術的課題を解決した。つまり、本願の実施例では、マッチングの誤差を低減することで、センサのキャリブレーションの精度、即ち、レーダとカメラとの間の目標外部パラメータの精度が向上する。
【0014】
上記の一般的な説明および以下の詳細な説明が例示的かつ解釈的なものに過ぎず、本発明を限定することができないことは、理解されるべきである。
【図面の簡単な説明】
【0015】
ここでの図面は、明細書に組み込まれて明細書の一部を構成し、本発明に合致する実施例を示しつつ、明細書の記載とともに本発明の原理を解釈するために用いられる。
【図1】本発明の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図2】本発明の１つの例示的な実施例に係る共通視野の模式図である。
【図3】本発明の１つの例示的な実施例に係る異なる姿勢でのキャリブレーションプレートの模式図である。
【図4】本発明の１つの例示的な実施例に係るレーダにより放射されたレーザービームとキャリブレーションプレートとの間の対応の場面の模式図である。
【図5】本発明の別の例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図6】本発明の１つの例示的な実施例に係る別のキャリブレーションプレートを含む第１画像の模式図である。
【図7A】本発明の１つの例示的な実施例に係るプリセット点を投影する場面の模式図である。
【図7B】本発明の１つの例示的な実施例に係る対応関係を有する座標対を決定する場面の模式図である。
【図8】本発明のまた別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図9】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図10】本発明の１つの例示的な実施例に係る目標平面を決定する場面の模式図である。
【図11】本発明の１つの例示的な実施例に係る別のセンサキャリブレーション方法のフローチャートである。
【図12】本発明の１つの例示的な実施例に係る複数の第１ベクトルを決定する模式図である。
【図13】本発明の１つの例示的な実施例に係る目標レーダポイントクラウドデータを決定する場面の模式図である。
【図14】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図15】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図16】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図17A】本発明の１つの例示的な実施例に係るレーダによってキャリブレーションプレートを投影する場面の模式図である。
【図17B】本発明の別の１つの例示的な実施例に係るレーダによってキャリブレーションプレートを投影する場面の模式図である。
【図18】本発明の１つの例示的な実施例に係る車両にレーダとカメラとが配備されている模式図である。
【図19】本発明の１つの例示的な実施例に係る車両に配備されているレーダとカメラに対応するキャリブレーションプレートと別のキャリブレーションプレートの位置の模式図である。
【図20】本発明の１つの例示的な実施例に係る別のキャリブレーションプレートがカメラの視野のエッジに位置している場面の模式図である。
【図21】本発明の１つの例示的な実施例に係るレーダとカメラの間の外部パラメータキャリブレーション装置のブロック図である。
【図22】本発明の別の１つの例示的な実施例に係るレーダとカメラの間の外部パラメータキャリブレーション装置のブロック図である。
【発明を実施するための形態】
【0016】
ここで、例示的な実施例を詳細に説明する。その例示は、図面に示される。以下の記述は、図面に係る際、別途示さない限り、異なる図面における同じ符号が同じ又は類似する要素を示す。以下の例示的な実施例に記述される実施形態が本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは、単に添付する特許請求の範囲に詳細に記述されるような、本発明の幾つかの態様に一致する装置及び方法の例である。
【0017】
本発明で使用される用語は、単に決定の実施例を記述する目的であり、本発明を制限するためのものではない。本発明及び添付する特許請求の範囲で使用される単数形式の「一種」、「前記」及び「当該」も、文脈から他の意味を明瞭で分かる場合でなければ、複数の形式を含むことを意図する。理解すべきことは、本文で使用される用語「及び／又は」が、１つ又は複数の関連する列挙項目を含む如何なる或いは全ての可能な組み合わせを指す。
【0018】
理解すべきことは、本発明において第１、第２、第３等という用語を用いて各種の情報を記述するが、これらの情報は、これらの用語に限定されるものではない。これらの用語は、単に同一のタイプの情報同士を区分するために用いられる。例えば、本発明の範囲を逸脱しない限り、第１情報が第２情報と呼称されてもよく、類似的に、第２情報が第１情報と呼称されてもよい。これは、コンテキストに依存する。例えば、ここで使用される言葉「場合」は、「…とき」や「…ときに」あるいは「決定の状況に応じて」として解釈されてもよい。
【0019】
本発明は、センサキャリブレーション方法を提供する。センサのキャリブレーションとは、センサの内部パラメータ（Ｉｎｔｒｉｎｓｉｃ Ｐａｒａｍｅｔｅｒ）及び／又は外部パラメータをキャリブレーションすることである。
【0020】
センサの内部パラメータとは、センサ自体の特性を反映するためのパラメータを意味している。センサが出荷後、内部パラメータは理論的に変わらないが、実際の使用において、内部パラメータが変わることがある。カメラを含むセンサを例に取ると、使用中、カメラの各部品の位置関係の変化により、内部パラメータの変化を引き起こすことがある。キャリブレーションされた内部パラメータは通常、真の内部パラメータに近似するものであるに過ぎず、内部パラメータの真値ではない。
【0021】
カメラとレーダとを含むセンサを例に取ると、センサの内部パラメータは、カメラの内部パラメータ及びレーダの内部パラメータを含み得る。
【0022】
カメラの内部パラメータとは、カメラ自体の特性を反映するためのパラメータを意味し、ｕ０、ｖ０、Ｓｘ、Ｓｙ、ｆ、及びｒの中の１つであっても複数であってもよいが、これらに限定されない。なお、ｕ０とｖ０はそれぞれ、ピクセル座標系の原点から、カメラが位置しているカメラ座標系の原点までの横方向及び縦方向のピクセル数を表すものであり、単位がピクセルである。ＳｘとＳｙはそれぞれ、横方向及び縦方向の単位長さあたりのピクセル数であり、単位長さがミリメートルであってよい。ｆはカメラの焦点距離である。ｒは、画像の歪みによるピクセルからイメージャの中心までの距離の値であり、本発明の実施例において、イメージャの中心は、カメラの焦点中心である。本発明に記載のカメラは、カメラであっても、ビデオカメラであっても、写真撮影機能を備えた他の機器であってもよく、制限されるものではない。
【0023】
レーダの内部パラメータとは、レーダ自体の特性を反映するためのパラメータを意味し、送信機の電力と型式、受信機の感度と型式、アンテナのパラメータと型式、ディスプレイの数と型式などの少なくとも１つであっても、複数であってもよいが、これらに限定されない。本発明に記載のレーダは、レーザー検出・測距（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、ＬｉＤＡＲ）システムであっても、無線レーダであってもよく、制限されるものではない。
【0024】
センサが１つ含まれる場合、センサの外部パラメータとは、物体がワールド座標系における位置と、この物体がセンサ座標系における位置との間の変換関係を表すパラメータを意味している。なお、複数のセンサが含まれる場合、センサの外部パラメータには、更に、複数のセンサ座標系の間の変換関係を反映するパラメータが含まれる。以下も同様に、カメラとレーダとを含むセンサを例に取ると、センサの外部パラメータには、カメラの外部パラメータ、レーダの外部パラメータ、カメラとレーダとの間の目標外部パラメータなどの１つ又は複数の組み合わせが含まれ得る。
【0025】
カメラの外部パラメータとは、点をワールド座標系からカメラ座標系に変換するためのパラメータを意味している。本発明の実施例において、キャリブレーションプレートのカメラに対する外部パラメータは、ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換するのに必要とされる位置及び／又は姿勢の変化パラメータなどを反映するために使用することができる。
【0026】
カメラの外部パラメータには、ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換するのに必要とされる位置及び／又は姿勢の変化パラメータなどの１つ又は複数の組み合わせが含まれ得るが、これらに制限されるものではない。
【0027】
また、カメラについて、歪みパラメータを考慮する必要もあり、歪みパラメータには、径方向（ｒａｄｉａｌ）の歪みパラメータ及び接線方向（ｔａｎｇｅｎｔｉａｌ）の歪み係数が含まれる。径方向の歪み及び接線方向の歪みはそれぞれ、画像のピクセル点が、歪み中心を中心点として、長さ方向又は接線方向に沿って生じる位置ずれであり、これにより画像が変形する。
【0028】
ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換するのに必要とされる位置及び／又は姿勢の変化パラメータには、回転行列Ｒ及び平行移動行列Ｔが含まれ得る。なお、回転行列Ｒは、ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換する場合、ｘ、ｙ、ｚの３つの座標軸のそれぞれに対する回転角度パラメータであり、平行移動行列Ｔは、ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換する場合、原点の平行移動パラメータである。
【0029】
レーダの外部パラメータとは、点をワールド座標系からレーダ座標系に変換するためのパラメータを意味している。本発明の実施例において、キャリブレーションプレートのレーダに対する外部パラメータは、ワールド座標系におけるキャリブレーションプレートをレーダ座標系に変換するのに必要とされる位置及び／又は姿勢の変化パラメータなどを反映するために使用することができる。
【0030】
カメラとレーダとの間の目標外部パラメータとは、レーダ座標系とカメラ座標系との間の変換関係を反映するためのパラメータを意味しており、カメラとレーダとの間の外部パラメータは、カメラ座標系に対するレーダ座標系の位置及び姿勢の変化などを反映することができる。
【0031】
例えば、センサがカメラとレーダとを含む場合、センサをキャリブレーションすることは、カメラの内部パラメータ、レーダの内部パラメータ、カメラとレーダとの間の目標外部パラメータのいずれか１種又は複数種の組み合わせに対してキャリブレーションを行うことを意味している。また、キャリブレーションプレートによって上記内部パラメータ及び／又は外部パラメータを決定することができ、例えば、キャリブレーションプレートのカメラに対する外部パラメータ、及びキャリブレーションプレートのレーダに対する外部パラメータによって、カメラとレーダとの間の目標外部パラメータを決定することができる。なお、実際にキャリブレーションされるパラメータは、上記で挙げられたものを含むことができるが、これらに制限されるものではない。
【0032】
例えば、センサがカメラとレーダとを含む場合、センサキャリブレーション方法は、図１に示すように、下記のステップを含むことができる。
【0033】
ステップ１０１において、前記カメラによって、キャリブレーションプレートの各ポーズでの複数の画像を収集し、前記レーダによって、前記キャリブレーションプレートの前記各ポーズでの複数セットのレーダポイントクラウドデータを収集する。
【0034】
本発明の実施例において、視野とは、センサの位置を変えることなく、放射される光、電磁波などでカバーできる範囲である。本発明の実施例において、レーダを含むセンサを例に取ると、視野とは、レーダから放射されるレーザービーム又は電磁波などでカバーできる範囲であり、カメラを含むセンサを例に取ると、視野とは、カメラのレンズにより撮影できる範囲である。本発明の実施例において、キャリブレーションプレート２３０は、例えば、図２に示すように、レーダ２１０とカメラ２２０との共通視野２３１の範囲内に位置する。なお、共通視野２３１の範囲とは、センサに含まれるセンシング素子のそれぞれがカバーする範囲が重なり合っている部分、即ちレーダ２１０でカバーする範囲（例えば、図におけるレーダ視野２１１）とカメラ２２０が撮影する範囲（例えば、図におけるカメラ視野２２１）が重なり合っている部分（例えば、図における点線で示す部分）である。
【0035】
本発明の実施例において、キャリブレーションプレートは、円形、長方形又は正方形である固定間隔パターンを有するアレイプレートを用いることができる。例えば、図３のいずれか１つの画像に示すように、長方形である白黒格子の交互のアレイプレートを用いることができる。もちろん、キャリブレーションプレートのパターンには、他の規則的なパターン、又は不規則であるが特徴点セット、特徴エッジなどの特徴パラメータを備えたパターンが含まれ得るが、ここで、キャリブレーションプレートの形状、パターンなどに制限がない。
【0036】
このステップにおいて、レーダとカメラとの間の目標外部パラメータの精度を上げるために、カメラによって収集された画像の数は複数、例えば２０枚を超えてもよい。本発明の実施例において、収集された複数の画像において、キャリブレーションプレートのポーズ情報が異なってもよく、つまり、複数の画像のうち少なくとも一部の画像がそれぞれ、キャリブレーションプレートの異なるポーズを表してもよい。ただし、ポーズ情報は、キャリブレーションプレートの３次元空間における姿勢を反映するための情報を含む。例えば、図３に示す複数の画像において、キャリブレーションプレートには、ピッチ（ｐｉｔｃｈ）角、ロール（ｒｏｌｌ）角、ヨー（ｙａｗ）角の３次元の中の少なくとも１つでの姿勢の変化が存在している。これは、複数の画像が、キャリブレーションプレートが異なる位置及び／又は姿勢において収集されたものであることを意味し、つまり、異なる画像に含まれるキャリブレーションプレートのポーズ情報が同じであって異なってもよいが、キャリブレーションプレートの異なるポーズ情報を含む画像が少なくとも２枚存在している。なお、画像それぞれに、キャリブレーションプレート全体が含まれる必要がある。
【0037】
前記異なるポーズでのキャリブレーションプレートには、水平方向において、前記カメラ及び／又は前記レーダとの間の距離が異なるキャリブレーションプレート、及び／又は、姿勢情報が異なるキャリブレーションプレートが含まれる。なお、カメラによって画像を収集する時、キャリブレーションプレートを静止状態にしてもよい。例えば、ブラケットでキャリブレーションプレートを固定してもよい。一形態において、収集された複数の画像には、複数種の距離（つまり、短い距離、中程度の距離、長い距離など）でのキャリブレーションプレートの異なるポーズでの画像が含まれ得る。レーダによって生成されたレーザーがキャリブレーションプレート全体をカバーできるようにするためには、通常はキャリブレーションプレートを配置するときに、キャリブレーションプレートをレーダから遠く離れて配置する。異なる距離で配置されたキャリブレーションプレートの画像を収集するときに、キャリブレーションプレートからカメラまでの距離ｄ１が小さい場合、例えば、距離ｄ１が距離閾値Ｄ１よりも小さい場合に応じて、異なる姿勢でのキャリブレーションプレートを含む複数の画像を収集する。ｄ１が大きい場合、例えば、ｄ１が距離閾値Ｄ２よりも大きい場合に応じて、異なる姿勢でのキャリブレーションプレートを含む複数の画像を更に収集してもよい。距離ｄ１が中程度である場合、例えば、距離ｄ１が上記２つの距離閾値の間、即ちＤ１＜ｄ１＜Ｄ２である場合に応じて、異なる姿勢でのキャリブレーションプレートを含む複数の画像を更に収集してもよい。これにより、キャリブレーションプレートとカメラとの間の複数の距離で撮影された画像が得られる。
【0038】
本発明の実施例において、その後より精度よくキャリブレーションプレートのカメラに対する外部パラメータを決定するために、複数の画像には、キャリブレーションプレート全体が含まれ得る。例えば、図３に示す複数の画像において、画像に占めるキャリブレーションプレートの面積の割合が異なる。例えば、距離ｄ１の値が大きいと、画像に占めるキャリブレーションプレートの面積の割合が小さく、距離ｄ１の値が小さいと、画像に占めるキャリブレーションプレートの面積の割合が大きい。
【0039】
レーダがレーザーレーダである場合を例に取ると、レーダポイントクラウドデータは、レーダから放射されたレーザーが、異なるポーズ情報を有するキャリブレーションプレートを透過して生じた、複数のレーダポイントを含むデータである。例えば、図４に示すように、キャリブレーションプレート４２０の全てのエッジに、レーダ４１０から放射されたレーザー又は電磁波が透過されるために、キャリブレーションプレート４２０のエッジとレーダ４１０から放射されたレーザー又は電磁波とは平行ではなく、一定の角度を有してもよく、これにより、その後レーダポイントクラウドデータのうち、キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータをより好適に決定することができる。
【0040】
ステップ１０２において、前記キャリブレーションプレートの各ポーズに基づいて、前記画像と前記レーダポイントクラウドデータとの間の対応関係を確立する。
【0041】
キャリブレーションプレートの同一のポーズに対応して、カメラによって当該ポーズにおいて収集された画像とレーダによって当該ポーズにおいて生成されたレーダポイントクラウドデータとの間の対応関係を確立することができる。
【0042】
ステップ１０３において、前記複数セットのレーダポイントクラウドデータのうち、各ポーズでの前記キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定する。
【0043】
本発明の実施例において、いずれかのポーズについて、当該ポーズにおいて収集された１セットのレーダポイントクラウドデータのうち、キャリブレーションプレートに対応するポイントクラウドデータは、キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータである。
【0044】
ステップ１０４において、前記複数セットの目標レーダポイントクラウドデータ、及び複数セットの前記対応関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定する。なお、前記レーダと前記カメラとの間の目標外部パラメータは、本願の実施例でキャリブレーションされるカメラとレーダとの間の外部パラメータである。
【0045】
上記実施例において、レーダポイントクラウドデータのうち、キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータを自動的に決定する目的を達成し、ポイントクラウドデータを手動的にマッチングすることによる誤差がキャリブレーションの過程において積み重ねられることにより、キャリブレーションの結果が十分に正確ではないという技術的課題を解決した。つまり、本願の実施例では、マッチングの誤差を低減することで、センサのキャリブレーションの精度、即ち、レーダとカメラとの間の目標外部パラメータの精度が向上する。
【0046】
幾つかの選択可能な実施例において、例えば、図５に示すように、ステップ１０３は、下記のステップを含むことができる。
【0047】
ステップ１０３－１において、予めキャリブレーションされた前記カメラの内部パラメータを取得し、前記内部パラメータ及び前記複数の画像に基づいて、前記異なるポーズでの前記キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定する。
【0048】
本発明の実施例において、センサをキャリブレーションする（即ち、カメラとレーダとの間の目標外部パラメータをキャリブレーションする）場合、直接その前にキャリブレーションされたカメラの内部パラメータを取得することができる。つまり、センサがすでにキャリブレーションされた場合、その後カメラとレーダとの間の相対的位置関係の変化により、改めてセンサをキャリブレーションしたい場合、予めキャリブレーションされたカメラの内部パラメータを用いてセンサのキャリブレーションを行うことができる。つまり、その後センサをキャリブレーションする時、カメラの内部パラメータに対するキャリブレーションにかかる手間を省略できる。
【0049】
本発明の実施例において、カメラの内部パラメータをキャリブレーションする場合、別のキャリブレーションプレートをカメラ視野に位置させて、カメラによって別のキャリブレーションプレートを含む複数の第１画像を収集してもよい。前記複数の第１画像における別のキャリブレーションプレートのポーズ情報がそれぞれ異なる。本発明の実施例において、第１画像とは、カメラの内部パラメータをキャリブレーションするために用いられる画像を指している。
【0050】
本発明の実施例において、別のキャリブレーションプレートは、レーダとカメラの共通視野範囲内に位置するキャリブレーションプレートと同一であっても異なってもよい。つまり、本発明の実施例において、カメラの内部パラメータをキャリブレーションするための別のキャリブレーションプレートは、カメラとレーダとの間の目標外部パラメータをキャリブレーションするためのキャリブレーションプレートと同一であっても異なってもよい。キャリブレーションプレートが同一であるとは、同様なキャリブレーションプレートで２つのキャリブレーションの過程、即ちカメラの内部パラメータのキャリブレーション、及びカメラとレーダとの間の目標外部パラメータのキャリブレーションを実現することである。上記の２つのキャリブレーションの過程において、同一のキャリブレーションプレートのポーズ情報は同じであっても異なってもよいが、ここで、限定されない。もちろん、異なるキャリブレーションプレートで、上記の２つのキャリブレーションの過程のキャリブレーションを実現してもよい。２つのキャリブレーションの過程で用いられるキャリブレーションプレートが異なるとは、完全に又は部分的に異なるキャリブレーションプレートで２つのキャリブレーションプレートの機能をそれぞれ実現することを意味している。
【0051】
カメラによって第１画像を収集するときに、別のキャリブレーションプレートを静止状態にしてもよい。例えば、ブラケットで別のキャリブレーションプレートを固定してもよい。
【0052】
カメラによって第１画像を収集するときに、カメラの内部パラメータをキャリブレーションする精度を上げるために、キャリブレーションプレート（即ち、カメラの内部パラメータをキャリブレーションするための別のキャリブレーションプレート）をできるだけカメラの視野のエッジに近づけることによって、カメラによって収集された複数の第１画像において、前記第１画像に占めるキャリブレーションプレートの割合はプリセット値より大きくなる。一形態において、前記プリセット値は、具体的な数値であっても、範囲値であってもよい。なお、プリセット値の決定は、カメラの内部パラメータのキャリブレーションの精度に影響することが多いが、プリセット値が具体的な数値である場合、プリセット値の設定値が大きいほど、カメラの内部パラメータをキャリブレーションするための第１画像に占めるキャリブレーションプレートの割合が高くなり、キャリブレーションプレートが画像において示されている状態が画像の歪みから大きく影響を受けることになり、これにより、カメラの内部パラメータのキャリブレーションにおいて、歪みパラメータによる影響を十分に考慮される。プリセット値が範囲値である場合を例に取ると、プリセット値の範囲値は、第１画像のそれぞれに基づいて決定されたカメラの各々の内部パラメータの精度に影響するが、最終的に得られたカメラの内部パラメータは、上記のカメラの各々の内部パラメータに基づいて決定されるので、その後決定されたカメラの内部パラメータの精度を上げるために、プリセット値を［０．８，１］の間の数値にしてもよい。例えば、図６に示すように、この図において、画像全体に占めるキャリブレーションプレートの割合は、プリセット値の範囲にあるので、この図を第１画像とすることができる。
【0053】
決定されたカメラの内部パラメータの精度を上げるために、カメラによって収集された第１画像の数は複数、例えば２０枚を超えてもよい。本発明の実施例において、収集された複数の第１画像におけるキャリブレーションプレートのポーズ情報が異なってもよく、つまり、複数の第１画像のうち少なくとも一部の画像がそれぞれキャリブレーションプレートの異なるポーズを表してもよく、例えば、ピッチ角、ロール角、ヨー角の３次元のうち少なくとも１つでの姿勢の変化が存在している。これは、複数の第１画像が、別のキャリブレーションプレートが異なる位置及び／又はポーズにおいて収集されたものであることを意味し、つまり、異なる第１画像に含まれるキャリブレーションプレートのポーズ情報が同じであっても異なってもよいが、キャリブレーションプレートの異なるポーズ情報を含む第１画像が少なくとも２枚存在している。なお、第１画像それぞれに、キャリブレーションプレート全体が含まれる必要がある。
【0054】
なお、カメラによって第１画像を収集する時、キャリブレーションプレートを静止状態にしてもよい。例えば、ブラケットで別のキャリブレーションプレートを固定してもよい。
【0055】
カメラの内部パラメータの精度を上げるために、カメラによって収集された複数の第１画像にぼやけのある画像が含まれない。なお、ぼやけは、センサの移動、即ち、カメラの移動によるカメラとキャリブレーションプレートとの間の相対的移動によって生じる可能性がある。一形態において、プリセットスクリプトによって、ぼやけのある画像を除外してもよい。
【0056】
本発明の実施例において、プリセットされたｍａｔｌａｂツールボックスで、複数の第１画像に基づいて、カメラの複数の候補内部パラメータをそれぞれキャリブレーションすることができる。一般的に、１つの第１画像によって、カメラの１つの候補内部パラメータをキャリブレーションすることができる。複数の候補内部パラメータの中の候補内部パラメータごとに、前記カメラによって、カメラ座標系におけるプリセット点をピクセル座標系に再投影し、対応する投影点を得て、そして、投影点と観察されたプリセット点とのピクセル座標系における両方の間の誤差を比較して、プリセット点の誤差値を得ることができる。各候補内部パラメータのそれぞれによる誤差値を比較して、誤差値が最も小さい１つの候補内部パラメータをカメラの内部パラメータとする。本発明の実施例において、一般的に、誤差とは、投影点とプリセット点とのピクセル座標系における距離であり、誤差値とは、距離の値である。
【0057】
例えば、図７Ａに示すように、３Ｄ空間における１つのプリセット点Ｐを２Ｄ空間に投影して、対応する第１座標値Ｐ１を取得する。また、収集された画像に基づいて、プリセット点の実際にピクセル座標系における第２座標値を決定することができ、例えば、図７Ｂに示す第２座標値がＰ２である。候補内部パラメータごとに、第２座標値Ｐ２に対応する第１座標値Ｐ１を決定し、対応関係を有する複数の座標対が得られる。例えば、Ｐ２がＰ１に対応しており、Ｐ１とＰ２が１つの座標対をなす。また、例えば、Ｐ２’がＰ１’に対応しており、Ｐ１’とＰ２’がもう１つの座標対をなす。
【0058】
本発明の実施例において、座標対ごとに第１座標値と第２座標値との間の距離を計算してもよい。最小距離に対応する１つの候補内部パラメータをカメラの内部パラメータとすることができる。
【0059】
本発明の実施例において、上述のようにカメラの内部パラメータをキャリブレーションした後、センサをキャリブレーションする場合、予めキャリブレーションされたカメラの内部パラメータを直接取得し、カメラの内部パラメータを用いて、カメラによって収集されたキャリブレーションプレートの異なるポーズでの複数の画像に対し歪み除去を行う。ここで、複数の画像は、上記のステップ１０１において、カメラによって収集された画像（即ち、レーダポイントクラウドデータとともにカメラとレーダとの間の目標外部パラメータのキャリブレーションを実現するための画像）である。複数の画像に対し歪み除去を行った後、複数の第２画像を取得する。複数の第２画像に基づいて、カメラの理想的内部パラメータ、即ち歪みのない状況でのカメラの内部パラメータを取得する。そして、カメラの理想的内部パラメータに基づいて、キャリブレーションプレートのカメラに対する外部パラメータを決定する。このように、カメラとレーダとの間の目標外部パラメータのキャリブレーションの過程において、予め決定されたカメラの内部パラメータによって、目標外部パラメータのキャリブレーションを実現するために必要な画像に対し歪み除去処理を行い、歪み除去して得られた複数の第２画像に基づいて、キャリブレーションプレートのカメラに対する外部パラメータを取得する。
【0060】
なお、カメラの内部パラメータは、数１：
に示すように、内部パラメータ行列Ａ’で表すことができる。ただし、各パラメータの意味は、カメラのパラメータに対する前述した説明を参照されたい。
【数1】
【0061】
複数の画像に対し歪み除去処理を行う過程は、上記内部パラメータ行列Ａ’において、歪みによるピクセルのイメージャ中心からの距離値ｒの影響をなくし、ｒをできるだけ０にすることである。歪みによる影響をなくした内部パラメータ行列Ａは、数２：
で表すことができる。
【数2】
【0062】
このようにして、複数の画像に対し歪み除去を行って得られた複数の第２画像に基づいて、カメラの理想的内部パラメータを決定することができる。プリセットされたｍａｔｌａｂツールボックスによって、歪み除去処理した複数の第２画像に基づいて、カメラの複数の候補理想的内部パラメータをそれぞれ決定し（通常は、１つの第２画像に基づいて、カメラの１つの候補理想的内部パラメータを決定することができる）、カメラによって、異なる候補理想的内部パラメータを用いて、カメラ座標系におけるプリセット点をピクセル座標系に投影し、複数の第３座標値を取得する。各プリセット点それぞれのピクセル座標系における実際の位置、即ち第４座標値を決定し、その後第４座標値と、対応する第３座標値とを、対応関係を有する１つの座標対として、複数の座標対のうち最小距離に対応する１つの候補理想的内部パラメータをカメラの理想的内部パラメータとする。
【0063】
そして、各第２画像のそれぞれに対応するホモグラフィ行列Ｈを計算して、複数のホモグラフィ行列Ｈを得て、更に、理想的内部パラメータ及び複数のホモグラフィ行列に基づいて、異なるポーズ情報を有するキャリブレーションプレートのそれぞれの、カメラに対する外部パラメータを計算する。なお、ホモグラフィ行列は、ワールド座標系とピクセル座標系との間の位置のマッピング関係を表す行列である。
【0064】
本発明の実施例において、第２画像のそれぞれに対応するホモグラフィ行列Ｈは、以下のように計算することができる。
ｒ１、ｒ２、ｒ３は、回転行列Ｒを構成する回転列ベクトルであり、範囲は１×３であり、ｔは、平行移動行列Ｔのベクトル形式である。
【数3】
【数4】
【0065】
数３及び数４から、数５：
が得られる。
（ｕ，ｖ）はピクセル座標であり、（Ｘ，Ｙ）は、キャリブレーションプレートの座標に対応し、ｓはスケールファクタである。
【数5】
（ｕ，ｖ）はピクセル座標であり、（Ｘ，Ｙ）は、キャリブレーションプレートの座標に対応し、ｓはスケールファクタである。
【0066】
本発明の実施例において、数５によって、複数の第２画像のそれぞれに対応するホモグラフィ行列Ｈを計算することができる。
【0067】
計算して複数のホモグラフィ行列Ｈを得た後、異なるポーズ情報を有する前記キャリブレーションプレートの前記カメラに対する外部パラメータＲとＴを決定する場合、数（４）によって計算することができる。ホモグラフィ行列Ｈは３×３の行列であり、数４は、更に、
として表すことができる。
ただし、λは、スケールファクタを表す。
【数6】
ただし、λは、スケールファクタを表す。
【0068】
計算した結果、ｒ１＝λＡ－１ｈ１、ｒ２＝λＡ－１ｈ２、ｒ３＝ｒ１×ｒ２である。
である。ｒ１、ｒ２、及びｒ３は、３×３の回転行列Ｒを構成している。
【0069】
数６から計算した結果、ｔ＝λＡ－１ｈ３であり、ｔは、３×１の平行移動行列Ｔを構成している。
【0070】
本発明の実施例において、カメラの候補内部パラメータは、カメラによって収集された異なるポーズ情報を含むキャリブレーションプレートの複数の第１画像に基づいて決定された、カメラの複数の候補内部パラメータである。候補内部パラメータは、上記のように、即ち、投影点とプリセット点のピクセル座標系における対応する点との間の誤差値が最も小さい１つの候補内部パラメータを、センサをキャリブレーションして得られたカメラの内部パラメータとして決定する。カメラの内部パラメータをキャリブレーションした後、センサを再度キャリブレーションする場合、予めキャリブレーションされたカメラの内部パラメータを直接取得することができる。その後のカメラの理想的内部パラメータは、カメラによって収集された異なるポーズ情報を含むキャリブレーションプレートの複数の画像に対し歪み除去した複数の第２画像に基づいて決定された、歪みのない理想状況下でのカメラの内部パラメータである。
【0071】
なお、本発明の実施例において、上記のカメラの内部パラメータに加えて、キャリブレーションプレートのカメラに対する外部パラメータも言及したが、これは、上記のカメラの理想的内部パラメータ及び複数の第２画像、即ち、カメラの歪み除去した理想的内部パラメータ及び歪み除去した複数の第２画像に基づいて決定された、ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換するために必要とされる位置及び／又は姿勢の変化パラメータなどである。目標外部パラメータ、即ちレーダとカメラとの間の外部パラメータは、キャリブレーションプレートのカメラに対する外部パラメータ、及び複数セットの目標レーダポイントクラウドデータに基づいて決定された、レーダ座標系のカメラ座標系に対する位置及び姿勢での変化などを反映するためのパラメータである。
【0072】
ステップ１０３－２において、各ポーズでのキャリブレーションプレートごとに、当該キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズに対応する１セットのレーダポイントクラウドデータのうち、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定する。
【0073】
なお、外部パラメータの参照値は、レーダとカメラとの大体の位置及び向きに基づいて得られた概算したレーダとカメラとの間の外部パラメータ値であってよい。外部パラメータの参照値に基づいて、レーダ座標系を水平移動、回転などして、レーダ座標系とカメラ座標系とを重ね合わせることができる。
【0074】
本発明の実施例において、各ポーズ情報を有する前記キャリブレーションプレートごとに、前記キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、ＭＳＡＣ（Ｍ－ｅｓｔｉｍａｔｏｒ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムによって、キャリブレーションプレートの所在する目標平面を決定することができる。更に、ミーンシフト（ＭｅａｎＳｈｉｆｔ）クラスターアルゴリズムによって、前記目標平面で、対応するレーダポイントクラウドデータのうち、キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータを決定する。
【0075】
上記実施例において、予めキャリブレーションされたカメラの内部パラメータを取得し、内部パラメータ及び前にカメラによって収集された複数の画像に基づいて、異なるポーズでキャリブレーションプレートのそれぞれの、カメラに対する外部パラメータを決定することができる。各ポーズでのキャリブレーションプレートごとに、当該キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、前記当該ポーズに対応するレーダポイントクラウドデータのうち、当該ポーズでのキャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することができる。レーダポイントクラウドデータのうち、キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータを自動的に決定する目的を達成した。
【0076】
幾つかの選択可能な実施例において、例えば、図８に示すように、いずれかのポーズについて、ステップ１０３－２は、下記のステップを含むことができる。
【0077】
ステップ１０３－２１において、当該ポーズでのキャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該キャリブレーションプレートの、当該ポーズにおける前記レーダポイントクラウドデータにおける候補位置を決定する。
【0078】
本発明の実施例において、まず、キャリブレーションプレートの前記カメラに対する外部パラメータ、及び推測した前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、１セットのレーダポイントクラウドデータにおいて、キャリブレーションプレートの所在する位置を推測して、当該キャリブレーションプレートの所在する大体の位置と向きを取得することができる。キャリブレーションプレートの所在する大体の位置と向きを、推測の候補位置とする。当該候補位置は、レーダポイントクラウドデータで構成された図において、当該キャリブレーションプレートの大体の位置を表す。
【0079】
ステップ１０３－２２において、前記候補位置に基づいて、当該ポーズにおけるレーダポイントクラウドデータにおいて、当該キャリブレーションプレートの所在する目標平面を決定する。
【0080】
本発明の実施例において、当該ポーズで収集された１セットのレーダポイントクラウドデータにおいて、前記候補位置に対応する領域内に位置する複数の第１レーダポイントを選択して、複数の第１レーダポイントで構成された第１平面を取得することができる。複数の第１レーダポイントの選択は、ランダムに、又は事前設定された所定規則に従って実行され得るが、本願の実施例において、ランダムな選択により、前記候補位置に対応する領域内に位置する複数の第１レーダポイントを決定することができる。このような選択を複数回繰り返して、複数の第１平面が得られる。
【0081】
そして、第１平面ごとに、各セットのレーダポイントクラウドデータにおいて複数の第１レーダポイント以外の他のレーダポイントから第１平面までの距離をそれぞれ計算する。他のレーダポイントのうち前記距離がプリセット閾値よりも小さいレーダポイントを第２レーダポイントとし、第２レーダポイントを第１平面におけるレーダポイントとして決定する。レーダポイントの数が最も多い１つの第１平面をキャリブレーションプレートの所在する目標平面とする。プリセット閾値の値は予め設定してもよいが、本願の実施例において、プリセット閾値の値は限定されない。当該目標平面は、レーダポイントクラウドデータで構成された図において、当該キャリブレーションプレートの所在する平面を表す。
【0082】
ステップ１０３－２３において、前記目標平面において、当該ポーズでのキャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定する。
【0083】
各目標平面において、前記キャリブレーションプレートの寸法に基づいて、第１円形領域をランダムに決定する。初期の第１円形領域は、キャリブレーションプレートの外接円に対応する領域であってもよい。各セットの前記レーダポイントクラウドデータにおいて、初期の第１円形領域内に位置する１つのレーダポイントを第１円形領域の第１円心として選択することにより、前記レーダポイントクラウドデータにおける前記第１円形領域の位置を調整する。なお、前記第１円形領域に位置する１つのレーダポイントの選択は、ランダムに、又は事前設定された所定規則に従って実行され得るが、本願の実施例において、ランダムな選択により、前記第１円形領域に位置する１つのレーダポイントを選択することができる。キャリブレーションプレートの寸法は、レーダポイントクラウドデータで構成された図におけるキャリブレーションプレートの大きさである。
【0084】
前記第１円心を始点とし、前記レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイントを終点として、複数の第１ベクトルをそれぞれ取得する。前記複数の第１ベクトルを加算して第２ベクトルを取得する。そして、第２ベクトルに基づいて、キャリブレーションプレートの目標中心位置を決定する。なお、キャリブレーションプレートの目標中心位置は、レーダポイントクラウドデータで構成された図において決定されたキャリブレーションプレートの中心位置である。
【0085】
更に、前記キャリブレーションプレートの前記目標中心位置、及び前記キャリブレーションプレートの寸法に基づいて、前記レーダポイントクラウドデータのうち、前記キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定する。
【0086】
幾つかの選択可能な実施例において、例えば、図９に示すように、ステップ１０３－２２は、下記のステップを含むことができる。
【0087】
ステップ１０３－２２１において、前記レーダポイントクラウドデータから、複数の第１レーダグループを決定し、第１レーダグループごとに、対応する第１平面を決定する。前記第１レーダグループのそれぞれは、ランダムに選択された、前記候補位置に対応する領域内に位置する複数の第１レーダポイントを含み、第１レーダグループごとに対応する第１平面は、当該第１レーダグループの複数の第１レーダポイントを含む。
【0088】
本発明の実施例において、いずれかのポーズに対応する前記レーダポイントクラウドデータから、前記候補位置に対応する領域内に位置する複数の第１レーダポイントを毎回ランダムに選択し、１つの第１レーダグループを取得することができ、毎回当該第１レーダグループの複数の第１レーダポイントで構成された第１平面を取得することができる。複数回で複数の第１レーダポイントをランダムに選択すれば、複数の第１平面が得られる。
【0089】
第１レーダグループ１つあたり複数の第１レーダポイントが含まれ、異なる第１レーダグループに含まれる複数の第１レーダポイントは、一部同じであっても、異なってもよい。
【0090】
例えば、レーダポイントが１、２、３、４、５、６、７、及び８を含む場合、１回目では、第１レーダポイント１、２、３、及び４をランダムに選択して、第１平面１を構成し、２回目では、第１レーダポイント１、２、４、及び６をランダムに選択して、第１平面２を構成し、３回目では、第１レーダポイント２、６、７、及び８をランダムに選択して、第１平面３を構成した。
【0091】
ステップ１０３－２２２において、前記第１平面ごとに、当該ポーズにおける前記レーダポイントクラウドデータにおける前記複数の第１レーダポイント以外の他のレーダポイントから前記第１平面までの距離を決定する。
【0092】
例えば、第１平面１について、他のレーダポイント５、６、７、８のそれぞれから第１平面１までの距離値、第１平面２について、他のレーダポイント３、５、７、８のそれぞれから第１平面２までの距離値、同様に、第１平面３について、他のレーダポイント１、３、４、５のそれぞれから第１平面３までの距離値を計算することができる。
【0093】
ステップ１０３－２２３において、前記第１平面ごとに、前記他のレーダポイントのうち前記距離が閾値よりも小さいレーダポイントを第２レーダポイントとし、前記第２レーダポイントを前記第１平面に含まれるレーダポイントとして決定する。
【0094】
例えば、第１平面１について、他のレーダポイント５から第１平面１までの距離値がプリセット閾値よりも小さい場合、レーダポイント５を第２レーダポイントとして、最終的に、第１平面１は、レーダポイント１、２、３、４、及び５を含み、同様に、第１平面２がレーダポイント１、２、４、６、７を含み、第１平面３がレーダポイント１、３、４、５、６、８を含むと仮定してもよい。
【0095】
ステップ１０３－２２４において、複数の前記第１平面のうち、含まれるレーダポイントの数が最も多い１つの第１平面を前記目標平面とする。
【0096】
レーダポイントの数が最も多い１つの第１平面、例えば、第１平面３をキャリブレーションプレートの所在する目標平面とする。図１０は、レーダポイントクラウドデータで構成された画像において目標平面１０００の模式図である。ここで、ｘｙｚ座標軸の単位は全てメートルであり、当該図の座標軸は例示的なものに過ぎず、実際の適用において、ｘｙｚ座標軸が向いている方向が異なってもよい。
【0097】
上記の方法では、各セットのレーダポイントクラウドデータごとに、レーダポイントクラウドデータで構成された図におけるキャリブレーションプレートの１つの目標平面を決定することができる。
【0098】
上記実施例において、上記の過程におけるＭＳＡＣアルゴリズムによって、フィッティングされた目標平面がより正確になり、有用性が高い。
【0099】
幾つかの選択可能な実施例において、例えば、図１１に示すように、ステップ１０３－２３は、下記のステップを含むことができる。
【0100】
ステップ１０３－２３１において、前記目標平面において、前記キャリブレーションプレートの寸法に基づいて、初期の第１円形領域を決定する。
【0101】
本発明の実施例において、キャリブレーションプレートの所在する目標平面が決定された後、目標平面において、キャリブレーションプレートの寸法に基づいて、初期の第１円形領域を決定することができ、当該初期の第１円形領域の大きさは、当該キャリブレーションプレートの外接円の大きさにすることができる。なお、キャリブレーションプレートの寸法は、レーダポイントクラウドデータで構成された図におけるキャリブレーションプレートの大きさである。
【0102】
ステップ１０３－２３２において、前記レーダポイントクラウドデータにおいて、前記初期の第１円形領域内に位置する１つのレーダポイントを第１円形領域の第１円心として選択することにより、前記レーダポイントクラウドデータにおける前記第１円形領域の位置を決定する。
【0103】
本発明の実施例において、初期の第１円形領域が決定された後、前記初期の第１円形領域内におけるレーダポイントクラウドデータにおいて、１つのレーダポイントを当該第１円形領域の第１円心としてランダムに選択する。その後、第１円心によって、レーダポイントクラウドデータにおける第１円形領域の位置を調整する。第１円形領域の半径と初期の第１円形領域の半径とが同じである。
【0104】
ステップ１０３－２３３において、前記第１円心を始点とし、前記レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイントを終点として、複数の第１ベクトルをそれぞれ取得する。
【0105】
本発明の実施例において、例えば、図１２に示すように、第１円心１２０を始点とし、レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイント１２１を終点として、複数の第１ベクトル１２２を取得することができる。
【0106】
幾つかの例において、図１２に示すように、第３レーダポイント１２１は、円形領域を効果的にカバーできる。
【0107】
ステップ１０３－２３４において、前記複数の第１ベクトルを加算して第２ベクトルを取得する。
【0108】
本発明の実施例において、全ての第１ベクトルを加算して、ミーンシフト（Ｍｅａｎｓｈｉｆｔ）ベクトル、即ち第２ベクトルが得られる。
【0109】
ステップ１０３－２３５において、前記第２ベクトルに基づいて、前記キャリブレーションプレートの目標中心位置を決定する。
【0110】
本発明の実施例において、第２ベクトルの終点を第２円心として、キャリブレーションプレートの寸法に応じて、第２円形領域を取得する。第２円形領域内における複数の第４レーダポイントを終点とし、第２円心を始点として、複数の第３ベクトルをそれぞれ取得する。複数の第３ベクトルを加算して第４ベクトルを取得し、そして、第４ベクトルの終点を新たな第２円心として、新たな第２円形領域を得て、第４ベクトルがプリセット値に収束するまで、上述した第４ベクトルを決定するステップを繰り返し、その時対応する第２円心をキャリブレーションプレートの候補中心位置とする。当該候補中心位置は、レーダポイントクラウドデータで構成された図におけるキャリブレーションプレートの候補中心位置である。
【0111】
当該候補中心位置とキャリブレーションプレートの中心位置とが重なり合っているか否かを確認してもよく、重なり合っている場合、候補中心位置を直接目標中心位置とすることができ、そうでなければ、最終的な目標中心位置を決定するまで、改めて新たな前記候補中心位置を決定することができる。
【0112】
ステップ１０３－２３６において、前記キャリブレーションプレートの前記目標中心位置、及び前記キャリブレーションプレートの寸法に基づいて、前記レーダポイントクラウドデータのうち、当該キャリブレーションプレートにマッチングする１セットの前記目標レーダポイントクラウドデータを決定する。
【0113】
本発明の実施例において、キャリブレーションプレートの前記目標中心位置が決定された後、キャリブレーションプレートの目標中心位置及び寸法に基づいて、キャリブレーションプレートに対応する位置を決定することができ、レーダポイントクラウドデータのうちキャリブレーションプレートの位置にマッチングするレーダポイントクラウドデータを目標レーダポイントクラウドデータとする。図１３における各点は、目標レーダポイントクラウドデータの例示である。ｘｙｚ座標軸の単位は全てメートルであり、当該図の座標軸は例示的なものに過ぎず、実際の適用において、ｘｙｚ座標軸が向いている方向が異なってもよい。
【0114】
幾つかの選択可能な実施例において、例えば、図１４に示すように、ステップ１０３－２３５は、下記のステップを含むことができる。
【0115】
ステップ１０３－２３５１において、前記第２ベクトルの終点を第２円心として、前記第２円心、及び前記キャリブレーションプレートの寸法に基づいて、第２円形領域を決定する。
【0116】
本発明の実施例において、第２ベクトルの終点を第２円心として、再び第２円心を新たな円心として、半径をキャリブレーションプレートの外接円の半径として、第２円形領域を得ることができる。
【0117】
ステップ１０３－２３５２において、前記第２円心を始点とし、前記レーダポイントクラウドデータにおいて前記第２円形領域内に位置する複数の第４レーダポイントを終点として、複数の第３ベクトルをそれぞれ決定する。
【0118】
本発明の実施例において、再び第２円心を始点とし、レーダポイントクラウドデータにおいて第２円心領域に位置する複数の第４レーダポイントを終点として、複数の第３ベクトルをそれぞれ取得する。
【0119】
ステップ１０３－２３５３において、前記複数の第３ベクトルを加算して第４ベクトルを取得する。
【0120】
ステップ１０３－２３５４において、第４ベクトルのベクトル値がプリセット値に収束したか否かを判定する。
【0121】
第４ベクトルのベクトル値がプリセット値に収束すれば、ステップ１０３－２３５６に遷移する。第４ベクトルのベクトル値がプリセット値に収束していなければ、ステップ１０３－２３５５に遷移する。任意的に、プリセット値をゼロに近づけてもよい。
【0122】
ステップ１０３－２３５５において、前記第４ベクトルの終点を前記第２円心として、前記第２円心及び前記キャリブレーションプレートの寸法に基づいて、前記第２円形領域を決定して、ステップ１０３－２３５２に遷移する。
【0123】
本発明の実施例において、第４ベクトルの終点を再び新たな第２円心として、上記ステップ１０３－２３５２から１０３－２３５４のように、もう一度計算して新たな第４ベクトルを得て、第４ベクトルのベクトル値が収束したか否かを判定する。最終的に得られた第４ベクトルのベクトル値がプリセット値に収束するまで、上述した過程を繰り返す。
【0124】
ステップ１０３－２３５６において、収束した前記第４ベクトルに対応する前記第２円心を前記キャリブレーションプレートの候補中心位置とする。
【0125】
本発明の実施例において、第４ベクトルのベクトル値が前記プリセット値に収束した場合、第４ベクトルに対応する第２円心をキャリブレーションプレートの候補中心位置とすることができる。
【0126】
ステップ１０３－２３５７において、前記候補中心位置と前記キャリブレーションプレートの中心位置とが重なり合うことに応じて、前記候補中心位置を前記目標中心位置とする。
【0127】
本発明の実施例において、レーダポイントクラウドデータで構成された図において、候補中心位置とキャリブレーションプレートの中心位置とが重なり合っているか否かを判定し、両方の位置が重なり合っていれば、当該候補中心位置を最終的なキャリブレーションプレートの目標中心位置とすることができる。
【0128】
幾つかの選択可能な実施例において、例えば、図１５に示すように、ステップ１０３－２３５は、更に下記のステップを含むことができる。
【0129】
ステップ１０３－２３５８において、前記候補中心位置と前記キャリブレーションプレートの前記中心位置とが重なり合っていないことに応じて、前記候補中心位置を再決定する。
【0130】
候補中心位置と前記キャリブレーションプレートの前記実際の中心位置とが重なり合っていない場合、当該第２円形領域内における全てのレーダポイントを削除し、新たな第２円形領域を再決定することができる。あるいは、この１セットのレーダポイントクラウドデータを直接削除し、キャリブレーションプレートの他の姿勢に対応する、別の１セットのレーダポイントクラウドデータに基づいて、決定された候補中心位置と前記キャリブレーションプレートの前記中心位置とが重なり合うまで、改めてキャリブレーションプレートの候補中心位置を決定する。
【0131】
その際、ステップ１０３－２３５７を実行し、当該候補中心位置をキャリブレーションプレートの現在の目標姿勢に対応する目標中心位置とする。
【0132】
上記実施例において、ミーンシフトアルゴリズムによって、目標平面で、キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータを決定することで、レーダポイントクラウドデータのうち、キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータを決定するという目的を達成した。
【0133】
幾つかの選択可能な実施例において、決定された各セットの対応関係には、複数の対応関係が含まれ、異なるセットの対応関係に含まれる複数の対応関係は一部同じであり、又は異なる。
【0134】
例えば、第１セットの対応関係には、画像１とレーダポイントクラウドデータ１、画像２とレーダポイントクラウドデータ２、画像３とレーダポイントクラウドデータ３の３つの対応関係、第２セットの対応関係には、画像１とレーダポイントクラウドデータ１、画像２とレーダポイントクラウドデータ２、画像５とレーダポイントクラウドデータ５、画像６とレーダポイントクラウドデータ６の４つの対応関係がそれぞれ含まれる。
【0135】
それに応じて、ステップ１０４は、複数セットの前記目標レーダポイントクラウドデータ、及び前記複数セットの対応関係に基づいて、前記レーダと前記カメラとの間の複数の候補外部パラメータをそれぞれ決定し、前記複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定することを含むことができる。
【0136】
本発明の実施例において、複数セットの対応関係における各セットの対応関係ごとに、当該セットの対応関係に関連付けられた幾つかのセットの目標レーダポイントクラウドデータに基づいて、最小二乗法によって、レーダと前記カメラとの間の外部パラメータの誤差の二乗和を最小化することで、１つの候補外部パラメータを決定することができる。
【0137】
例えば、複数の対応関係には、画像１とレーダポイントクラウドデータ１、画像２とレーダポイントクラウドデータ２、…、画像ｎとレーダポイントクラウドデータｎが含まれ得る。ただし、ｎは２以上の整数である。レーダポイントクラウドデータ１のうち、キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータが目標レーダポイントクラウドデータ１であり、同様に、レーダポイントクラウドデータｎのうち、キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータが目標レーダポイントクラウドデータｎである。複数セットの目標レーダポイントクラウドデータ、例えば、最初の３つの対応関係を有する１セットの対応関係の場合、目標レーダポイントクラウドデータ１、２及び３、並びにこれらの３つの対応関係に基づいて、最小二乗法によって、レーダとカメラとの間の候補外部パラメータを１つ決定することができる。また、例えば、最初の４つの対応関係を有する別のセットの対応関係の場合、目標レーダポイントクラウドデータ１、２、３及び４、並びにこれらの４つの対応関係に基づいて、更にレーダとカメラとの間の候補外部パラメータを１つ決定することができる。このようにして、異なる組み合わせの複数セットの目標レーダポイントクラウドデータ、及びその対応関係に基づいて、レーダとカメラとの間の複数の候補外部パラメータを決定することができる。
【0138】
幾つかの例において、候補外部パラメータをより好適に得るために、１セットの対応関係において、関連する画像のポーズ情報はそれぞれ異なる。例えば、ある１セットの対応関係は、最初の３つの対応関係を含む場合、画像１、画像２及び画像３のポーズ情報はそれぞれ異なる。
【0139】
なお、上記のレーダポイントクラウドデータの符号は複数セットのレーダポイントクラウドデータを区別するためのものに過ぎず、同様に、上記の画像の符号は、複数の画像を区別するためのものに過ぎず、本願の実施例において、収集された画像及び生成されたレーダポイントクラウドデータの順番に応じて、候補外部パラメータを決定するための複数のデータセットを取得しても、収集された複数セットの対応関係から、候補外部パラメータを決定するためのデータセットをランダムに選択してもよい。上記で提供されたレーダとカメラとの間の複数の候補外部パラメータを決定するための形態は一例に過ぎず、本願の実施例を限定するものではない。
【0140】
上記決定された複数の候補外部パラメータのうち投影効果が最も良い１つの候補外部パラメータを前記レーダと前記カメラとの間の目標外部パラメータとして決定する。
【0141】
上記実施例において、複数セットの目標レーダポイントクラウドデータ、及び複数セットの対応関係に基づいて、レーダとカメラとの間の複数の候補外部パラメータをそれぞれ決定し、複数の候補外部パラメータから、１つの目標外部パラメータを決定することができる。上記の過程により、レーダとカメラとの間の目標外部パラメータの精度が上げられる。
【0142】
幾つかの選択可能な実施例において、例えば、図１６に示すように、ステップ１０４は、更に下記のステップを含むことができる。
【0143】
ステップ１０４－１において、前記レーダによって、候補外部パラメータのそれぞれに基づいて、前記キャリブレーションプレートに対して投影を行い、画像のいずれか１つに投影して１セットの投影データを生成する。
【0144】
例えば、図１７Ａに示すように、カメラ座標系において、レーダとカメラとの間の各候補外部パラメータ、カメラの内部パラメータの行列、及びレーダポイントクラウドデータを乗算することで、レーダポイントクラウドデータを画像のいずれか１つに投影し、１セットの投影データを取得することができる。当該レーダポイントクラウドデータは、前に収集された複数セットのレーダポイントクラウドデータの中の１セットであっても、新たに収集されたレーダポイントクラウドデータであってもよい。引き続きより好適に比較するために、収集された目標には、キャリブレーションプレートが含まれる必要がある。
【0145】
ステップ１０４－２において、前記複数セットの投影データにおいて、投影と前記画像とのマッチング度が最も高い１セットの投影データを目標投影データとして決定する。
【0146】
複数セットの投影データにおいて、投影と画像とのマッチング度が最も高い１セットの投影データを目標投影データとして決定する。例えば、それぞれ対応する画像に投影して得られた２セットの投影データのうち、例えば、図１７Ａ及び図１７Ｂに示すように、図１７Ａの投影効果が図１７Ｂの投影効果よりも良いので、図１７Ａに対応する投影データは目標投影データである。
【0147】
ステップ１０４－３において、前記目標投影データに対応する候補外部パラメータを前記レーダと前記カメラとの間の目標外部パラメータとして決定する。
【0148】
目標投影データに対応する候補外部パラメータは、レーダとカメラとの間の目標外部パラメータである。
【0149】
上記実施例において、レーダによって、各候補外部パラメータのそれぞれに基づいてキャリブレーションプレートを投影し、投影効果が最も良い１セットの投影データに対応する候補外部パラメータをレーダとカメラとの間の目標外部パラメータとすることができ、レーダとカメラとの間の目標外部パラメータの精度が向上する。
【0150】
幾つかの選択可能な実施例において、上記レーダとカメラとが車両に配備することができ、レーダには、レーザーレーダが用いられ、任意的に、車両の異なる位置にレーダとカメラとを同時に配備することができ、例えば、図１８に示すように、車両の前方、後方、フロントガラスなどの位置のいずれにもレーダ１８２０とカメラ１８１０とを配備することができる。
【0151】
車両の移動により、レーダとカメラの少なく一方の姿勢が変化することになると、カメラによって共通視野の範囲内に位置するキャリブレーションプレートの異なるポーズでの複数の画像を自動的に収集することができ、かつ、レーダによってキャリブレーションプレートに対応するポーズでの複数セットのレーダポイントクラウドデータを生成することができる。複数セットのレーダポイントクラウドデータのうち、キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータを自動的に決定する。画像と前記レーダポイントクラウドデータとの間の複数セットの対応関係、及び複数セットの目標レーダポイントクラウドデータに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定する。
【0152】
このようにして得られた目標外部パラメータが、より正確になり、更に、車両の位置決定、他の車両又は通行人との距離の計測などをより好適に行うことができ、運転の安全性が向上し、有用性がより高くなる。
【0153】
幾つかの選択可能な実施例において、前記画像は、前記キャリブレーションプレート全体を含み、前記レーダポイントクラウドデータは、前記キャリブレーションプレート全体に基づいて取得されたポイントクラウドデータを含む。
【0154】
上記実施例では、最終的に得られたレーダとカメラとの間の目標外部パラメータの精度を保証することができる。
【0155】
本発明の実施例に係る上記方法は、手動運転又は自動運転乗り物、例えば、飛行機、車両、ドローン、無人自動車、ロボットなどの機器・設備に用いることができる。例えば、図１９所に示すように、車両を例に取ると、レーダがフロントバンパーに、カメラがバックミラーに配備することができる。キャリブレーションプレート１９３１は、レーダ１９２０とカメラ１９１０との共通視野範囲内に位置し、キャリブレーションプレート１９３１は、地面に固定しても、又は作業員の手で持つなどしてもよい。
【0156】
カメラ１９１０とレーダ１９２０が車両に配備される場合を例に取ると、一般的に、カメラ１９１０と地面との間の垂直距離は、レーダ１９２０と地面との間の垂直距離と異なり、車両の真正面に配備されたキャリブレーションプレート１９３１に対して、カメラ１９１０とキャリブレーションプレート１９３１との間の水平距離は、レーダ１９２０とキャリブレーションプレート１９３１との間の水平距離よりも大きい。このことから、レーダ１９２０により目標レーダポイントクラウドデータを含むレーダポイントクラウドデータを生成できるようにするために、キャリブレーションプレート１９３１をレーダ１９２０の正面から相対的遠い位置に配備する必要があることが分かった。
【0157】
カメラ２０１０のエッジに歪みが大きくなるため、カメラ２０１０の内部パラメータにおける歪みパラメータをより好適に決定するために、例えば、図２０に示すように、別のキャリブレーションプレート２０２０をカメラ視野２０１１のエッジの位置に近づけることができ、これにより、キャリブレーションされたカメラの内部パラメータの精度が向上し、更に、最終的に得られたレーダとカメラとの間の目標外部パラメータの精度が向上する。したがって、カメラの内部パラメータのキャリブレーションの精度を上げるために、別のキャリブレーションプレートとカメラとの距離を近づける必要がある。
【0158】
本願の実施例に係る実施形態によれば、カメラの内部パラメータのキャリブレーションと、カメラとレーダとの間の目標外部パラメータのキャリブレーションとを効果的に区別する、即ち、２つのキャリブレーションの過程において異なる画像を用いることで、カメラの内部パラメータのキャリブレーションの精度を確保しながら、カメラとレーダとの間の目標外部パラメータの精度を可能な限り向上させることができる。また、その後カメラとレーダとの間の目標外部パラメータの２回目又は複数回目のキャリブレーションの過程において、再びカメラの内部パラメータをキャリブレーションする必要がない。
【0159】
従来技術における手動的なマッチングによってレーダポイントクラウドデータにおいて目標レーダポイントクラウドデータを決定すれば、誤差が大きいだけではなく、毎回マッチングによる誤差は最終的に重ね合わせられ、最終的に得られたレーダとカメラとの間の目標外部パラメータの精度を低下させる。本発明の実施例において、自動的に目標レーダポイントクラウドデータを決定し、更にレーダとカメラとの間の目標外部パラメータを決定することができ、レーダとカメラとの間の目標外部パラメータの精度が向上する。
【0160】
上記方法実施例に対応し、本発明は、装置の実施例を更に提供する。
【0161】
図２１に示すように、図２１は、本発明の１つの例示的な実施例に係るセンサキャリブレーション装置のブロック図である。前記センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、前記装置は、前記カメラによって、前記キャリブレーションプレートの各ポーズでの複数の画像を収集し、且つ、前記レーダによって、前記キャリブレーションプレートの前記各ポーズでの複数セットのレーダポイントクラウドデータを収集するための収集モジュール２１０と、前記キャリブレーションプレートの各ポーズに基づいて、前記画像と前記レーダポイントクラウドデータとの間の対応関係を確立するための第１決定モジュール２２０であって、前記キャリブレーションプレートの同一のポーズで収集された前記画像と前記レーダポイントクラウドデータとの間に対応関係が存在する）第１決定モジュール２２０と、前記複数セットのレーダポイントクラウドデータのうち、前記各ポーズでの前記キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定するための第２決定モジュール２３０と、前記複数セットの目標レーダポイントクラウドデータ、及び複数セットの前記対応関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するための第３決定モジュール２４０と、を備える。
【0162】
幾つかの選択可能な実施例において、前記第２決定モジュールは、予めキャリブレーションされた前記カメラの内部パラメータを取得し、前記カメラの前記内部パラメータ及び前記複数の画像に基づいて、前記各ポーズにおいて、前記各ポーズでの前記キャリブレーションプレート、前記カメラに対する外部パラメータを決定するための第１決定サブモジュールと、各ポーズでのキャリブレーションプレートごとに、当該キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおけるレーダポイントクラウドデータのうち、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定するための第２決定サブモジュールと、を備える。
【0163】
幾つかの選択可能な実施例において、前記第２決定サブモジュールは、当該キャリブレーションプレートの前記カメラに対する前記外部パラメータ、及び前記レーダと前記カメラとの間の前記外部パラメータの参照値に基づいて、当該キャリブレーションプレートの、当該ポーズにおける前記レーダポイントクラウドデータにおける候補位置を決定するための第１決定手段と、前記候補位置に基づいて、当該ポーズにおける前記レーダポイントクラウドデータにおいて、当該キャリブレーションプレートの所在する目標平面を決定するための第２決定手段と、当該ポーズにおける前記レーダポイントクラウドデータに対応する前記目標平面において、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定するための第３決定手段と、を備える。
【0164】
幾つかの選択可能な実施例において、前記第２決定手段は、当該ポーズにおける前記レーダポイントクラウドデータから、複数の第１レーダグループを決定し、前記第１レーダグループごとに、対応する第１平面を決定するための第１決定サブ手段であって、前記第１レーダグループのそれぞれは、ランダムに選択された、前記候補位置に対応する領域内に位置する複数の第１レーダポイントを含み、異なる第１レーダグループに含まれる複数の第１レーダポイントは、一部同じであり、又は異なり、前記第１レーダグループごとに対応する第１平面は、当該第１レーダグループの複数の第１レーダポイントを含む第１決定サブ手段と、前記第１平面ごとに、当該ポーズにおける前記レーダポイントクラウドデータにおける前記複数の第１レーダポイント以外の他のレーダポイントから前記第１平面までの距離を決定するための第２決定サブ手段と、前記第１平面ごとに、前記他のレーダポイントのうち前記距離が閾値よりも小さいレーダポイントを第２レーダポイントとし、前記第２レーダポイントを前記第１平面に含まれるレーダポイントとして決定するための第３決定サブ手段と、複数の前記第１平面のうち、含まれるレーダポイントの数が最も多い１つの第１平面を前記目標平面とするための第４決定サブ手段と、を備える。
【0165】
幾つかの選択可能な実施例において、前記第３決定手段は、前記目標平面において、当該キャリブレーションプレートの寸法に基づいて、初期の第１円形領域を決定するための第５決定サブ手段と、前記レーダポイントクラウドデータにおいて、前記初期の第１円形領域内に位置するいずれか１つのレーダポイントを第１円形領域の第１円心として選択することにより、前記レーダポイントクラウドデータにおける前記第１円形領域の位置を決定するための第６決定サブ手段と、前記第１円心を始点とし、前記レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイントを終点として、複数の第１ベクトルをそれぞれ取得するための第７決定サブ手段と、前記複数の第１ベクトルを加算して第２ベクトルを取得するための第８決定サブ手段と、前記第２ベクトルに基づいて、当該キャリブレーションプレートの目標中心位置を決定するための第９決定サブ手段と、当該キャリブレーションプレートの前記目標中心位置、及び当該キャリブレーションプレートの寸法に基づいて、前記レーダポイントクラウドデータのうち、当該キャリブレーションプレートにマッチングする１セットの前記目標レーダポイントクラウドデータを決定するための第１０決定サブ手段と、を備える。
【0166】
幾つかの選択可能な実施例において、前記第９決定サブ手段は、前記第２ベクトルの終点を第２円心として、前記第２円心、及び当該キャリブレーションプレートの寸法に基づいて、第２円形領域を決定し、前記第２円心を始点とし、前記レーダポイントクラウドデータにおいて前記第２円形領域内に位置する複数の第４レーダポイントを終点として、複数の第３ベクトルをそれぞれ決定し、前記複数の第３ベクトルを加算して第４ベクトルを取得し、前記第４ベクトルのベクトル値がプリセット値に収束したか否かを判定し、前記第４ベクトルのベクトル値が前記プリセット値に収束していないことに応じて、収束していない前記第４ベクトルの終点を前記第２円心として、前記複数の第３ベクトルを再決定し、前記第４ベクトルを再決定し、前記第４ベクトルのベクトル値が前記プリセット値に収束したことに応じて、収束した前記第４ベクトルに対応する前記第２円心を当該キャリブレーションプレートの候補中心位置とし、前記候補中心位置と当該キャリブレーションプレートの中心位置とが重なり合うことに応じて、前記候補中心位置を前記目標中心位置とする。
【0167】
幾つかの選択可能な実施例において、前記第９決定サブ手段は、更に、前記候補中心位置と当該キャリブレーションプレートの前記中心位置とが重なり合っていないことに応じて、前記候補中心位置を再決定する。
【0168】
幾つかの選択可能な実施例において、各セットの対応関係には、複数の対応関係が含まれ、異なるセットの対応関係に含まれる複数の対応関係は、一部同じであり、又は異なり、前記第３決定モジュールは、前記複数セットの目標レーダポイントクラウドデータ、及び前記複数セットの対応関係に基づいて、前記レーダと前記カメラとの間の複数の候補外部パラメータをそれぞれ決定し、前記複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の前記目標外部パラメータを決定するための第３決定サブモジュールを備える。
【0169】
幾つかの選択可能な実施例において、前記第３決定サブモジュールは、前記レーダによって、候補外部パラメータのそれぞれに基づいて、前記キャリブレーションプレートに対して投影を行い、前記画像のいずれか１つに投影して１セットの投影データを生成するための生成手段と、前記複数セットの投影データにおいて、投影と当該画像とのマッチング度が最も高い１セットの投影データを目標投影データとして決定するための第４決定手段と、前記目標投影データに対応する候補外部パラメータを前記レーダと前記カメラとの間の目標外部パラメータとして決定するための第５決定手段と、を備える。
【0170】
幾つかの選択可能な実施例において、前記レーダと前記カメラとは、車両に配備されている。
【0171】
幾つかの選択可能な実施例において、前記画像は、前記キャリブレーションプレート全体を含み、前記レーダポイントクラウドデータは、前記キャリブレーションプレート全体に基づいて取得されたポイントクラウドデータを含む。
【0172】
幾つかの選択可能な実施例において、前記レーダは、レーザーレーダを含み、前記レーザーレーダから放射されたレーザービームと前記キャリブレーションプレートの所在する平面とが交差する。
【0173】
幾つかの選択可能な実施例において、前記各ポーズでのキャリブレーションプレートには、前記カメラ及び前記レーダとの間の水平方向における距離が異なるキャリブレーションプレート、及び／又は、姿勢が異なるキャリブレーションプレートが含まれる。
【0174】
装置実施例は、方法実施例に基本的に対応するため、その関連箇所が方法実施例部分の説明を参照すればよい。上述した装置実施例は、単に例示であり、その中、分離部品として説明される手段が物理的に分離されるものであってもよくでなくてもよい。また、手段として表示される部品は、物理手段であってもでなくてもよい。更に、それらの手段は、１箇所に位置してもよく、複数のネットワークセルに分散してもよい。実際の需要に応じてその中の一部又は全部のモジュールを選択して本発明の技術案の目的を果たすことが可能である。当業者は、進歩性に値する労働をせずに、理解して実施可能である。
【0175】
本発明の実施例は、コンピュータ可読記憶媒体を更に提供する。記憶媒体には、コンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに上記何れか１つのセンサキャリブレーション方法を実施させる。ただし、前記コンピュータ可読記憶媒体は、不揮発性記憶媒体であってもよい。
【0176】
幾つかの選択可能な実施例において、本発明の実施例は、コンピュータプログラム製品を提供する。当該コンピュータプログラム製品は、コンピュータ可読コードを含み、コンピュータ可読コードが機器で運転されたときに、前記機器に上記何れか１つの実施例に供されるセンサキャリブレーション方法を実施するための指令を実行させる。
【0177】
幾つかの選択可能な実施例において、本発明の実施例は、別の種類のコンピュータプログラム製品を提供する。当該コンピュータプログラム製品は、コンピュータ可読指令を記憶し、指令が実行されたときに、コンピュータに上記何れか１つの実施例に供されるセンサキャリブレーション方法の操作を実施させる。
【0178】
当該コンピュータプログラム製品は、具体的にハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。ある好適な実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化されてもよく、別の好適な実施例において、コンピュータプログラム製品は、ソフトウェア製品、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）等として具現化される。
【0179】
本発明の実施例は、センサキャリブレーション装置を更に提供する。前記センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置する。当該センサキャリブレーション装置は、プロセッサと、プロセッサの実行可能指令を記憶するためのメモリとを備え、プロセッサは、前記実行可能指令を呼び出すことにより、上記何れか一項に記載のセンサキャリブレーション方法を実施するように構成される。
【0180】
図２２は、本発明の実施例に係るセンサキャリブレーション装置のハードウェア構造模式図である。前記センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置する。当該センサキャリブレーション装置３１０は、プロセッサ３１１を備え、入力装置３１２、出力装置３１３、メモリ３１４及びバス３１５も備えてもよい。当該入力装置３１２、出力装置３１３、メモリ３１４及びプロセッサ３１１は、バス３１５を介して互いに接続されている。
【0181】
メモリは、ランダムメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＥＰＲＯＭ）、又は携帯型読み出し専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）を含むが、それらに限定されない。当該メモリは、関連する指令及びデータを記憶する。
【0182】
入力装置は、データ及び／又は信号を入力し、出力装置は、データ及び／又は信号を出力する。出力装置と入力装置は、それぞれ独立するデバイスであってもよく、１つのデバイス全体であってもよい。
【0183】
プロセッサは、１つ又は複数のプロセッサを含んでもよく、例えば、１つ又は複数の中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）を含む。プロセッサが１つのＣＰＵである場合に、当該ＣＰＵは、シングルコアＣＰＵであってもよく、マルチコアＣＰＵであってもよい。
【0184】
プロセッサは、当該メモリにおけるプログラムコード及びデータを呼び出して上記方法実施例におけるステップを実行する。詳細は、方法実施例における記述を参照すればよいため、ここで繰り返して説明しない。
【0185】
理解できるように、図２２は、単に１種のセンサキャリブレーション装置の簡素化設計を示す。実際の応用において、センサキャリブレーション装置は、必要な他の素子をそれぞれ含んでもよく、任意数の入力／出力装置、プロセッサ、コントローラ、メモリ等を含むが、それらに限定されない。本発明の実施例を実現可能な如何なるセンサキャリブレーション装置も本発明の保護範囲内に含まれる。
【0186】
幾つかの実施例において、本発明の実施例に係る装置が有する機能や備えるモジュールは、上記方法実施例に記述された方法を実行してもよい。その具体的な実施は、上記方法実施例の記述を参照すればよい。簡素化のために、ここで繰り返して説明しない。
【0187】
本発明の実施例は、キャリブレーションシステムを更に提供する。前記キャリブレーションシステムは、カメラ、レーダ及びキャリブレーションプレートを備える。前記キャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記キャリブレーションプレートの異なる収集時点におけるポーズ情報は、異なる。
【0188】
当業者は、明細書を考慮してここで開示された本発明を実践した後、本発明の他の実施案を容易に想到し得る。本発明は、本発明の如何なる変形、用途又は適応的変化もカバーすることを意図する。これらの変形、用途又は適応的変化は、本発明の一般的な原理に従い、本発明に開示されていない当分野における公知常識或いは慣用技術手段を含む。明細書及び実施例は、単に例示と見なされ、本発明の真の範囲及び要旨は、請求項から与えられる。
【0189】
上述したのは、本発明の好適な実施例に過ぎず、本発明を制限するためのものではない。本発明の精神及び原則内でなされた如何なる変更、均等物による置換、改良等も、本発明の保護範囲内に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【図21】
【図22】
【手続補正書】
【提出日】2021-06-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
センサキャリブレーション方法であって、センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、
前記カメラによって、前記キャリブレーションプレートの各ポーズでの複数の画像を収集するステップと、
前記レーダによって、前記キャリブレーションプレートの前記各ポーズでの複数セットのレーダポイントクラウドデータを収集するステップと、
前記キャリブレーションプレートの各ポーズに基づいて、前記画像と前記レーダポイントクラウドデータとの間の対応関係を確立するステップであって、前記キャリブレーションプレートの同一のポーズで収集された前記画像と前記レーダポイントクラウドデータとの間に対応関係が存在するステップと、
前記複数セットのレーダポイントクラウドデータのうち、前記各ポーズでの前記キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定するステップと、
前記複数セットの目標レーダポイントクラウドデータ、及び複数セットの前記対応関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップと、を含むことを特徴とするセンサキャリブレーション方法。
【請求項2】
前記複数セットのレーダポイントクラウドデータのうち、前記各ポーズでの前記キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定するステップは、予めキャリブレーションされた前記カメラの内部パラメータを取得することと、
前記カメラの前記内部パラメータ及び前記複数の画像に基づいて、前記各ポーズにおいて、前記各ポーズでの前記キャリブレーションプレートの、前記カメラに対する外部パラメータを決定することと、
各ポーズでのキャリブレーションプレートごとに、当該キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおけるレーダポイントクラウドデータのうち、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することと、を含むことを特徴とする請求項１に記載のセンサキャリブレーション方法。
【請求項3】
当該キャリブレーションプレートの前記カメラに対する前記外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおけるレーダポイントクラウドデータのうち、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することは、当該キャリブレーションプレートの前記カメラに対する前記外部パラメータ、及び前記レーダと前記カメラとの間の前記外部パラメータの参照値に基づいて、当該キャリブレーションプレートの、当該ポーズにおける前記レーダポイントクラウドデータにおける候補位置を決定することと、
前記候補位置に基づいて、当該ポーズにおける前記レーダポイントクラウドデータにおいて、当該キャリブレーションプレートの所在する目標平面を決定することと、
当該ポーズにおける前記レーダポイントクラウドデータに対応する前記目標平面において、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することと、を含むことを特徴する請求項２に記載のセンサキャリブレーション方法。
【請求項4】
前記候補位置に基づいて、当該ポーズにおける前記レーダポイントクラウドデータにおいて、当該キャリブレーションプレートの所在する目標平面を決定することは、当該ポーズにおける前記レーダポイントクラウドデータから、複数の第１レーダグループを決定し、前記第１レーダグループのそれぞれは、ランダムに選択された、前記候補位置に対応する領域内に位置する複数の第１レーダポイントを含み、異なる第１レーダグループに含まれる複数の第１レーダポイントは、一部同じであり、又は異なることと、
前記第１レーダグループごとに、対応する第１平面を決定し、前記第１レーダグループごとに対応する第１平面は、当該第１レーダグループの複数の第１レーダポイントを含む、ことと、
前記第１平面ごとに、当該ポーズにおける前記レーダポイントクラウドデータにおける前記複数の第１レーダポイント以外の他のレーダポイントから前記第１平面までの距離を決定することと、
前記第１平面ごとに、前記他のレーダポイントのうち前記距離が閾値よりも小さいレーダポイントを第２レーダポイントとすることと、
前記第１平面ごとに、前記第２レーダポイントを前記第１平面に含まれるレーダポイントとして決定することと、
複数の前記第１平面のうち、含まれるレーダポイントの数が最も多い１つの第１平面を前記目標平面とすることと、を含み、
ことを特徴とする請求項３に記載のセンサキャリブレーション方法。
【請求項5】
当該ポーズにおける前記レーダポイントクラウドデータに対応する前記目標平面において、当該キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することは、前記目標平面において、当該キャリブレーションプレートの寸法に基づいて、初期の第１円形領域を決定することと、
前記レーダポイントクラウドデータにおいて、前記初期の第１円形領域内に位置するいずれか１つのレーダポイントを第１円形領域の第１円心として選択することにより、前記レーダポイントクラウドデータにおける前記第１円形領域の位置を決定することと、
前記第１円心を始点とし、前記レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイントを終点として、複数の第１ベクトルをそれぞれ取得することと、
前記複数の第１ベクトルを加算して第２ベクトルを取得することと、
前記第２ベクトルに基づいて、当該キャリブレーションプレートの目標中心位置を決定することと、
当該キャリブレーションプレートの前記目標中心位置、及び当該キャリブレーションプレートの寸法に基づいて、前記レーダポイントクラウドデータのうち、当該キャリブレーションプレートにマッチングする１セットの前記目標レーダポイントクラウドデータを決定することと、を含むことを特徴とする請求項３又は４に記載のセンサキャリブレーション方法。
【請求項6】
前記第２ベクトルに基づいて、当該キャリブレーションプレートの目標中心位置を決定することは、前記第２ベクトルの終点を第２円心として、前記第２円心、及び当該キャリブレーションプレートの寸法に基づいて、第２円形領域を決定することと、
前記第２円心を始点とし、前記レーダポイントクラウドデータにおいて前記第２円形領域内に位置する複数の第４レーダポイントを終点として、複数の第３ベクトルをそれぞれ決定することと、
前記複数の第３ベクトルを加算して第４ベクトルを取得することと、
前記第４ベクトルのベクトル値がプリセット値に収束したか否かを判定することと、
前記第４ベクトルのベクトル値が前記プリセット値に収束していないことに応じて、収束していない前記第４ベクトルの終点を前記第２円心として、前記複数の第３ベクトルを再決定し、前記第４ベクトルを再決定することと、
前記第４ベクトルのベクトル値が前記プリセット値に収束したことに応じて、収束した前記第４ベクトルに対応する前記第２円心を当該キャリブレーションプレートの候補中心位置とすることと、
前記候補中心位置と当該キャリブレーションプレートの中心位置とが重なり合うことに応じて、前記候補中心位置を前記目標中心位置とすることと、
前記候補中心位置と当該キャリブレーションプレートの前記中心位置とが重なり合っていないことに応じて、前記候補中心位置を再決定することと、を含むことを特徴とする請求項５に記載のセンサキャリブレーション方法。
【請求項7】
各セットの対応関係には、複数の対応関係が含まれ、異なるセットの対応関係に含まれる複数の対応関係は、一部同じであり、又は異なり、前記複数セットの目標レーダポイントクラウドデータ、及び複数セットの前記対応関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップは、
前記複数セットの目標レーダポイントクラウドデータ、及び前記複数セットの対応関係に基づいて、前記レーダと前記カメラとの間の複数の候補外部パラメータをそれぞれ決定することと、
前記複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の前記目標外部パラメータを決定することと、を含むことを特徴とする請求項１～６の何れか一項に記載のセンサキャリブレーション方法。
【請求項8】
前記複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の前記目標外部パラメータを決定することは、前記レーダによって、候補外部パラメータのそれぞれに基づいて、前記キャリブレーションプレートに対して投影を行い、前記画像のいずれか１つに投影して１セットの投影データを生成することと、
前記複数セットの投影データにおいて、投影と当該画像とのマッチング度が最も高い１セットの投影データを目標投影データとして決定することと、
前記目標投影データに対応する候補外部パラメータを前記レーダと前記カメラとの間の目標外部パラメータとして決定することと、を含むことを特徴とする請求項７に記載のセンサキャリブレーション方法。
【請求項9】
前記レーダと前記カメラとは、車両に配備されていること、
及び／又は、
前記レーダは、レーザーレーダを含み、前記レーザーレーダから放射されたレーザービームと前記キャリブレーションプレートの所在する平面とが交差すること、を特徴とする請求項１～８の何れか一項に記載のセンサキャリブレーション方法。
【請求項10】
前記画像は、前記キャリブレーションプレート全体を含み、前記レーダポイントクラウドデータは、前記キャリブレーションプレート全体に基づいて取得されたポイントクラウドデータを含むこと、及び／又は、
前記各ポーズでのキャリブレーションプレートには、前記カメラ及び前記レーダとの間の水平方向における距離が異なるキャリブレーションプレート、及び／又は、姿勢が異なるキャリブレーションプレートが含まれること、を特徴とする請求項１～９の何れか一項に記載のセンサキャリブレーション方法。
【請求項11】
センサキャリブレーション装置であって、前記センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、
前記カメラによって、前記キャリブレーションプレートの各ポーズでの複数の画像を収集し、且つ、前記レーダによって、前記キャリブレーションプレートの前記各ポーズでの複数セットのレーダポイントクラウドデータを収集するための収集モジュールと、
前記キャリブレーションプレートの各ポーズに基づいて、前記画像と前記レーダポイントクラウドデータとの間の対応関係を確立するための第１決定モジュールであって、前記キャリブレーションプレートの同一のポーズで収集された前記画像と前記レーダポイントクラウドデータとの間に対応関係が存在する第１決定モジュールと、
前記複数セットのレーダポイントクラウドデータのうち、前記各ポーズでの前記キャリブレーションプレートにマッチングする複数セットの目標レーダポイントクラウドデータをそれぞれ決定するための第２決定モジュールと、
前記複数セットの目標レーダポイントクラウドデータ、及び複数セットの前記対応関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するための第３決定モジュールと、を備えることを特徴とするセンサキャリブレーション装置。
【請求項12】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに請求項１から１０の何れか一項に記載のセンサキャリブレーション方法を実施させることを特徴とするコンピュータ可読記憶媒体。
【請求項13】
センサキャリブレーション装置であって、センサは、カメラとレーダとを含み、キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、
前記センサキャリブレーション装置は、
プロセッサと、
前記プロセッサの実行可能指令を記憶するためのメモリと、を備え、
前記プロセッサは、前記実行可能指令を呼び出すことにより、請求項１から１０の何れか一項に記載のセンサキャリブレーション方法を実施するように構成されることを特徴とするセンサキャリブレーション装置。
【国際調査報告】