特表2022-510924センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-28
(54)【発明の名称】センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品
(51)【国際特許分類】
G01B 11/00 20060101AFI20220121BHJP
【ＦＩ】
G01B11/00 H
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021530296
(86)(22)【出願日】2020-10-21
(85)【翻訳文提出日】2021-05-26
(86)【国際出願番号】 CN2020122559
(87)【国際公開番号】W WO2021098439
(87)【国際公開日】2021-05-27
(31)【優先権主張番号】201911126534.8
(32)【優先日】2019-11-18
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＭＡＴＬＡＢ
(71)【出願人】
【識別番号】521228835
【氏名又は名称】商▲湯▼集▲團▼有限公司
【氏名又は名称原語表記】ＳＥＮＳＥＴＩＭＥ ＧＲＯＵＰ ＬＩＭＩＴＥＤ
(74)【代理人】
【識別番号】110000729
【氏名又は名称】特許業務法人 ユニアス国際特許事務所
(72)【発明者】
【氏名】▲馬▼ 政
(72)【発明者】
【氏名】▲イェン▼ 国行
(72)【発明者】
【氏名】▲劉▼ 春▲曉▼
(72)【発明者】
【氏名】石 建萍
【テーマコード（参考）】
2F065
【Ｆターム（参考）】
2F065AA04
2F065BB27
2F065CC11
2F065DD03
2F065FF01
2F065FF04
2F065FF11
2F065GG04
2F065JJ03
2F065JJ26
2F065QQ38
(57)【要約】
本発明はセンサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品を提供する。センサはレーダとカメラとを含み、第１キャリブレーションプレートは前記レーダと前記カメラとの共通視野範囲内に位置し、前記方法は、前記カメラによって、前記第１キャリブレーションプレートのポーズ情報が異なる複数の第１画像を収集するステップと、予めキャリブレーションされた前記カメラの第１内部パラメータを取得し、前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するステップと、前記各ポーズでの前記第１キャリブレーションプレートの複数セットのレーダポイントクラウドデータを取得し、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
センサキャリブレーション方法であって、センサは、レーダとカメラとを含み、第１キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、
前記カメラによって、前記第１キャリブレーションプレートのポーズ情報が異なる複数の第１画像を収集するステップと、
予めキャリブレーションされた前記カメラの第１内部パラメータを取得するステップと、
前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するステップと、
前記各ポーズでの前記第１キャリブレーションプレートの複数セットのレーダポイントクラウドデータを取得するステップと、
前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップと、を含むことを特徴とするセンサキャリブレーション方法。
【請求項2】
前記予めキャリブレーションされた前記カメラの第１内部パラメータを取得する前に、前記センサキャリブレーション方法は、前記センサの初回キャリブレーションに応じて、前記カメラをキャリブレーションして前記カメラの前記第１内部パラメータを取得するステップを更に含み、前記予めキャリブレーションされた前記カメラの第１内部パラメータを取得するステップは、
前記センサの再度キャリブレーションに応じて、前記センサの初回キャリブレーションで取得された前記カメラの前記第１内部パラメータを取得することを含むことを特徴とする請求項１に記載のセンサキャリブレーション方法。
【請求項3】
第２キャリブレーションプレートは、前記カメラの視野範囲内に位置し、前記カメラをキャリブレーションして前記カメラの前記第１内部パラメータを取得するステップは、
前記カメラによって、前記第２キャリブレーションプレートのポーズ情報が異なる複数の第２画像を収集することと、
前記複数の第２画像に基づいて、前記カメラの複数の第１候補内部パラメータをそれぞれ決定し、前記第２画像のそれぞれは、1つの第１候補内部パラメータに対応することと、
前記複数の第１候補内部パラメータのうちの１つの第１候補内部パラメータを前記第１内部パラメータとして決定することと、を含むことを特徴とする請求項２に記載のセンサキャリブレーション方法。
【請求項4】
前記複数の第１候補内部パラメータのうちの１つの第１候補内部パラメータを前記第１内部パラメータとして決定することは、前記カメラによって、前記複数の第１候補内部パラメータのそれぞれに従い、カメラ座標系におけるプリセット点をピクセル座標系に投影し、前記ピクセル座標系における前記プリセット点の複数の第１座標値を取得することと、
第１候補内部パラメータごとに、検証画像における前記プリセット点の第２座標値を取得し、第２座標値に対応する第１座標値を決定して、対応関係を有する座標対を取得し、前記検証画像は、前記複数の第２画像のうちの１つ又は複数の第２画像であることと、
第１候補内部パラメータごとに、当該第１候補内部パラメータに含まれる座標対における第１座標値と第２座標値との間の距離を決定することと、
前記複数の第１候補内部パラメータのうち、距離が最も小さい第１候補内部パラメータを前記カメラの第１内部パラメータとして決定することと、を含むことを特徴とする、請求項３に記載のセンサキャリブレーション方法。
【請求項5】
前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するステップは、前記複数の第１画像のうちの第１画像ごとに、前記第１内部パラメータに基づいて、当該第１画像に対し歪み除去処理を行い、当該第１画像に対応する第３画像を取得することと、
複数の前記第３画像に基づいて、前記カメラの第２内部パラメータを決定することと、
複数の前記第３画像及び前記カメラの第２内部パラメータに基づいて、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定することと、を含むことを特徴とする請求項１～４の何れか一項に記載のセンサキャリブレーション方法。
【請求項6】
前記複数の前記第３画像及び前記カメラの第２内部パラメータに基づいて、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定することは、前記第３画像のそれぞれに対応するホモグラフィ行列をそれぞれ決定することと、
前記カメラの第２内部パラメータ及び複数のホモグラフィ行列に基づいて、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定することと、を含むことを特徴とする請求項５に記載のセンサキャリブレーション方法。
【請求項7】
前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップは、各ポーズでの第１キャリブレーションプレートごとに、当該第１キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおける前記レーダポイントクラウドデータのうち、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することと、
複数セットの前記目標レーダポイントクラウドデータのそれぞれと前記各ポーズでの前記第１キャリブレーションプレートとの間のマッチング関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定することと、を含むことを特徴とする請求項６に記載のセンサキャリブレーション方法。
【請求項8】
当該第１キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおける前記レーダポイントクラウドデータのうち、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することは、当該第１キャリブレーションプレートの前記カメラに対する前記外部パラメータ、及び前記レーダと前記カメラとの間の前記外部パラメータの参照値に基づいて、前記第１キャリブレーションプレートの所在する候補位置を決定することと、
前記候補位置に基づいて、当該ポーズにおける前記レーダポイントクラウドデータにおいて前記第１キャリブレーションプレートの所在する目標平面を決定することと、
当該ポーズにおける前記レーダポイントクラウドデータに対応する前記目標平面において、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することと、を含むことを特徴とする請求項７に記載のセンサキャリブレーション方法。
【請求項9】
前記候補位置に基づいて、当該ポーズにおける前記レーダポイントクラウドデータにおいて、前記第１キャリブレーションプレートの所在する目標平面を決定することは、当該ポーズにおける前記レーダポイントクラウドデータにおいて、２つ以上の第１レーダグループを決定し、前記第１レーダグループのそれぞれは、ランダムに選択された、前記候補位置に対応する領域内に位置する複数の第１レーダポイントを含むことと、
第１レーダグループごとに、対応する第１平面を決定し、前記第１レーダグループごとに対応する第１平面は、当該第１レーダグループの複数の第１レーダポイントを含むことと、
前記第１平面ごとに、当該ポーズにおける前記レーダポイントクラウドデータにおける前記複数の第１レーダポイント以外の別のレーダポイントから前記第１平面までの距離を決定することと、
前記第１平面ごとに、前記別のレーダポイントのうち前記距離が閾値よりも小さいレーダポイントを第２レーダポイントとすることと、
前記第１平面ごとに、前記第２レーダポイントを前記第１平面に含まれるレーダポイントとして決定することと、
前記２つ以上の前記第１平面のうち、含まれるレーダポイントの数が最も多い１つの第１平面を前記目標平面とすることと、を含むことを特徴とする請求項８に記載のセンサキャリブレーション方法。
【請求項10】
当該ポーズにおける前記レーダポイントクラウドデータに対応する前記目標平面において、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することは、前記目標平面において、当該第１キャリブレーションプレートの寸法に基づいて、初期の第１円形領域を決定することと、
前記レーダポイントクラウドデータにおいて、前記初期の第１円形領域内に位置するいずれか１つのレーダポイントを第１円形領域の第１円心としてランダムに選択することにより、前記レーダポイントクラウドデータにおける前記第１円形領域の位置を決定することと、
前記第１円心を始点とし、前記レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイントを終点として、複数の第１ベクトルをそれぞれ取得することと、
前記複数の第１ベクトルを加算して第２ベクトルを取得することと、
前記第２ベクトルに基づいて、当該第１キャリブレーションプレートの目標中心位置を決定することと、
当該第１キャリブレーションプレートの前記目標中心位置、及び前記第１キャリブレーションプレートの寸法に基づいて、前記レーダポイントクラウドデータのうち、当該第１キャリブレーションプレートにマッチングする１セットの前記目標レーダポイントクラウドデータを決定することと、を含むことを特徴とする請求項８又は９に記載のセンサキャリブレーション方法。
【請求項11】
前記第２ベクトルに基づいて、当該第１キャリブレーションプレートの目標中心位置を決定することは、前記第２ベクトルの終点を第２円心として、前記第２円心、及び当該第１キャリブレーションプレートの寸法に基づいて、第２円形領域を決定することと、
前記第２円心を始点とし、前記レーダポイントクラウドデータにおいて前記第２円形領域内に位置する複数の第４レーダポイントを終点として、複数の第３ベクトルをそれぞれ決定することと、
前記複数の第３ベクトルを加算して第４ベクトルを取得することと、
前記第４ベクトルのベクトル値がプリセット値に収束したか否かを判定することと、
前記第４ベクトルのベクトル値が前記プリセット値に収束したことに応じて、収束した前記第４ベクトルに対応する第２円心を当該第１キャリブレーションプレートの候補中心位置とすることと、
前記候補中心位置と当該第１キャリブレーションプレートの中心位置とが重なり合うことに応じて、前記候補中心位置を前記目標中心位置とすることと、を含むことを特徴とする請求項１０に記載のセンサキャリブレーション方法。
【請求項12】
前記第４ベクトルのベクトル値が前記プリセット値に収束していないことに応じて、収束していない前記第４ベクトルの終点を前記第２円心として、前記複数の第３ベクトルを再決定し、前記第４ベクトルを再決定することを更に含むことを特徴とする請求項１１に記載のセンサキャリブレーション方法。
【請求項13】
前記候補中心位置と当該第１キャリブレーションプレートの前記中心位置とが重なり合っていないことに応じて、前記候補中心位置を再決定することを更に含むことを特徴とする請求項１１に記載のセンサキャリブレーション方法。
【請求項14】
前記複数セットの前記目標レーダポイントクラウドデータのそれぞれと、前記各ポーズでの前記第１キャリブレーションプレートとの間のマッチング関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定することは、３以上の整数であるｇ個のマッチング関係に基づいて、前記レーダと前記カメラとの間の１つの候補外部パラメータを決定することと、
前記レーダと前記カメラとの間の複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の前記目標外部パラメータを決定することと、を含むことを特徴とする請求項７～１３の何れか一項に記載のセンサキャリブレーション方法。
【請求項15】
前記レーダと前記カメラとの間の複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の前記目標外部パラメータを決定することは、前記レーダによって、候補外部パラメータのそれぞれに基づいて、前記第１キャリブレーションプレートに対して投影を行い、前記第１画像のいずれか１つに投影して１セットの投影データを生成することと、
複数セットの投影データにおいて、投影が当該第１画像とのマッチング度が最も高い１セットの投影データを目標投影データとして決定することと、
前記目標投影データに対応する候補外部パラメータを前記レーダと前記カメラとの間の目標外部パラメータとして決定することと、を含むことを特徴とする請求項１４に記載のセンサキャリブレーション方法。
【請求項16】
前記レーダと前記カメラとは、車両に配備され、前記レーダは、レーザーレーダであることを特徴とする、請求項１～１５の何れか一項に記載のセンサキャリブレーション方法。
【請求項17】
前記カメラの前記第１内部パラメータをキャリブレーションするための第２キャリブレーションプレートは、前記カメラの視野範囲内に位置し、前記カメラの地面に対する距離は、前記レーダの地面に対する距離よりも大きく、
前記第２キャリブレーションプレートと前記カメラとの間の水平距離は、前記第１キャリブレーションプレートと前記カメラとの間の水平距離よりも小さく、
前記複数の第２画像は、前記第２キャリブレーションプレート全体を含むことを特徴とする請求項１６に記載のセンサキャリブレーション方法。
【請求項18】
前記第１画像は、前記第１キャリブレーションプレート全体を含み、前記レーダポイントクラウドデータは、前記第１キャリブレーションプレート全体に基づいて取得されたポイントクラウドデータを含むことを特徴とする請求項１～１７の何れか一項に記載のセンサキャリブレーション方法。
【請求項19】
センサキャリブレーション装置であって、センサは、レーダとカメラとを含み、第１キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、
前記カメラによって、前記第１キャリブレーションプレートのポーズ情報が異なる複数の第１画像を収集するための第１収集モジュールと、
予めキャリブレーションされた前記カメラの第１内部パラメータを取得し、前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するための第１決定モジュールと、
前記各ポーズでの前記第１キャリブレーションプレートの複数セットのレーダポイントクラウドデータを取得し、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するための第２決定モジュールと、を備えることを特徴とするセンサキャリブレーション装置。
【請求項20】
コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに請求項１から１８の何れか一項に記載のセンサキャリブレーション方法を実施させることを特徴とするコンピュータ可読記憶媒体。
【請求項21】
センサキャリブレーション装置であって、プロセッサと、
前記プロセッサの実行可能指令を記憶するためのメモリと、を備え、
前記プロセッサは、前記実行可能指令を呼び出すことにより、請求項１から１８の何れか一項に記載のセンサキャリブレーション方法を実施するように構成されることを特徴とするセンサキャリブレーション装置。
【請求項22】
キャリブレーションシステムであって、カメラ、レーダ及び第１キャリブレーションプレートを備え、
前記第１キャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記第１キャリブレーションプレートの異なる収集時点におけるポーズ情報は、異なることを特徴とするキャリブレーションシステム。
【請求項23】
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器で運転されたときに、前記機器に請求項１から１８の何れか一項に記載のセンサキャリブレーション方法を実施させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータビジョン分野に関し、具体的に、センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム並びにプログラム製品に関する。
【0002】
＜［関連出願の相互引用］＞
本発明は、２０１９年１１月１８日に提出された、発明の名称が「センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム」であり、出願番号が２０１９１１１２６５３４．８である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本願に組み入れられる。
本発明は、２０１９年１１月１８日に提出された、発明の名称が「センサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステム」であり、出願番号が２０１９１１１２６５３４．８である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本願に組み入れられる。
【背景技術】
【0003】
コンピュータビジョンの発展につれて、機器・設備には、ますます多くのセンサが配備されてきている。異なるセンサは、異なるタイプのデータを提供できる。例えば、機器・設備には、レーダとカメラとの組み合わせが含まれる。レーダとカメラから提供されたデータに基づいて、周囲の環境への感知を機器・設備に学習させることができる。
【0004】
レーダとカメラを同時に使用する場合に、環境感知の精度は、レーダとカメラとの間の外部パラメータ（Ｅｘｔｒｉｎｓｉｃ Ｐａｒａｍｅｔｅｒ）の精度に依存している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、レーダとカメラの共同キャリブレーションを実現するためのセンサキャリブレーション方法及び装置、記憶媒体、キャリブレーションシステムを提供する。
【課題を解決するための手段】
【0006】
本発明の実施例の第１態様は、センサキャリブレーション方法を提供する。センサは、レーダとカメラとを含み、第１キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、前記センサキャリブレーション方法は、前記カメラによって、前記第１キャリブレーションプレートのポーズ情報が異なる複数の第１画像を収集するステップと、予めキャリブレーションされた前記カメラの第１内部パラメータを取得するステップと、前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するステップと、前記各ポーズでの前記第１キャリブレーションプレートの複数セットのレーダポイントクラウドデータを取得するステップと、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップと、を含む。
【0007】
本発明の実施例の第２態様は、センサキャリブレーション装置を提供する。センサは、レーダとカメラとを含み、第１キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、前記センサキャリブレーション装置は、前記カメラによって、前記第１キャリブレーションプレートのポーズ情報が異なる複数の第１画像を収集するための第１収集モジュールと、予めキャリブレーションされた前記カメラの第１内部パラメータを取得し、前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するための第１決定モジュールと、前記各ポーズでの前記第１キャリブレーションプレートの複数セットのレーダポイントクラウドデータを取得し、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するための第２決定モジュールと、を備える。
【0008】
本発明の実施例の第３態様は、コンピュータ可読記憶媒体を提供する。前記記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに上記第１態様の何れか一項に記載のセンサキャリブレーション方法を実施させる。
【0009】
本発明の実施例の第４態様は、センサキャリブレーション装置を提供する。前記センサキャリブレーション装置は、プロセッサと、前記プロセッサの実行可能指令を記憶するためのメモリと、を備え、前記プロセッサは、前記実行可能指令を呼び出すことにより、第１態様の何れか一項に記載のセンサキャリブレーション方法を実施するように構成される。
【0010】
本発明の実施例の第５態様は、キャリブレーションシステムを提供する。前記キャリブレーションシステムは、カメラ、レーダ及び第１キャリブレーションプレートを備え、前記第１キャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記第１キャリブレーションプレートの異なる収集時点におけるポーズ情報は、異なる。
【0011】
本発明の実施例の第６態様は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータ可読コードを含み、前記コンピュータ可読コードが機器で運転されたときに、前記機器に第１態様の何れか一項に記載のセンサキャリブレーション方法を実施させる。
【発明の効果】
【0012】
本実施例において、センサをキャリブレーションする、例えば、レーダとカメラとの間の目標外部パラメータをキャリブレーションする場合に、予めキャリブレーションされたカメラの第１内部パラメータを取得し、予めキャリブレーションされたカメラの第１内部パラメータに基づいて、各ポーズでの第１キャリブレーションプレートのそれぞれの、カメラに対する外部パラメータを決定することで、各ポーズでの前記第１キャリブレーションプレートのそれぞれの、カメラに対する外部パラメータと、複数セットのレーダポイントクラウドデータとに基づいて、レーダとカメラとの間の目標外部パラメータを決定することができる。キャリブレーション中に、予めキャリブレーションされたカメラの第１内部パラメータ、及び複数の第１画像に基づいて、第１キャリブレーションプレートのカメラに対する外部パラメータを取得する。つまり、カメラとレーダとの間の相対的位置関係又は仰俯角が変わった場合、予めキャリブレーションされたカメラの第１内部パラメータに基づいて、センサのキャリブレーションを行うことができる。
【図面の簡単な説明】
【0013】
ここでの図面は、明細書に組み込まれて明細書の一部を構成し、本発明に合致する実施例を示しつつ、明細書の記載とともに本発明の原理を解釈するために用いられる。
【図1】本発明の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図2】本発明の１つの例示的な実施例に係る共通の視野の模式図である。
【図3】本発明の１つの例示的な実施例に係る異なる姿勢でのキャリブレーションプレートの模式図である。
【図4】本発明の１つの例示的な実施例に係るレーダ送信の模式図である。
【図5】本発明の別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図6】本発明の１つの例示的な実施例に係るカメラの視野の模式図である。
【図7】本発明のまた別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図8】本発明の１つの例示的な実施例示により示されている、第２キャリブレーションプレートを含む第２画像の模式図である。
【図9】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図10A】本発明の１つの例示的な実施例に係るプリセット点を投影する場面の模式図である。
【図10B】本発明の１つの例示的な実施例に係る対応関係を有する座標対を決定する場面の模式図である。
【図11】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図12】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図13】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図14】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図15】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図16】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図17】本発明の１つの例示的な実施例に係る複数の第１ベクトルを決定する模式図である。
【図18】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図19】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図20】本発明の更に別の１つの例示的な実施例に係るセンサキャリブレーション方法のフローチャートである。
【図21A】本発明の１つの例示的な実施例に係るレーダによって第１キャリブレーションプレートを投影する模式図である。
【図21B】本発明の１つの例示的な実施例に係るレーダによって第１キャリブレーションプレートを投影する別の模式図である。
【図22】本発明の１つの例示的な実施例に係る車両にレーダとカメラとが配備されている模式図である。
【図23】本発明の一例示的な実施例に係る車両に配備されているレーダとカメラに対応する第１キャリブレーションプレートと第２キャリブレーションプレートの位置の模式図である。
【図24】本発明の一例示的な実施例に係るセンサキャリブレーション装置のブロック図である。
【図25】本発明の別の１つの例示的な実施例に係るセンサキャリブレーション装置ブロック図である。
【発明を実施するための形態】
【0014】
ここで、例示的な実施例を詳細に説明する。その例示は、図面に示される。以下の記述は、図面に係る際、別途示さない限り、異なる図面における同じ符号が同じ又は類似する要素を示す。以下の例示的な実施例に記述される実施形態が本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは、単に添付する特許請求の範囲に詳細に記述されるような、本発明の幾つかの態様に一致する装置及び方法の例である。
【0015】
本発明で使用される用語は、単に特定の実施例を記述する目的であり、本発明を制限するためのものではない。本発明及び添付する特許請求の範囲で使用される単数形式の「一種」、「前記」及び「当該」も、文脈から他の意味を明瞭で分かる場合でなければ、複数の形式を含むことを意図する。理解すべきことは、本文で使用される用語「及び／又は」が、１つ又は複数の関連する列挙項目を含む如何なる或いは全ての可能な組み合わせを指す。
【0016】
理解すべきことは、本発明において第１、第２、第３等という用語を用いて各種の情報を記述するが、これらの情報は、これらの用語に限定されるものではない。これらの用語は、単に同一のタイプの情報同士を区分するために用いられる。例えば、本発明の範囲を逸脱しない限り、第１情報が第２情報と呼称されてもよく、類似的に、第２情報が第１情報と呼称されてもよい。これは、コンテキストに依存する。例えば、ここで使用される言葉「場合」は、「…とき」や「…ときに」あるいは「特定の状況に応じて」として解釈されてもよい。
【0017】
本発明は、センサキャリブレーション方法を提供する。センサのキャリブレーションとは、センサの内部パラメータ（Ｉｎｔｒｉｎｓｉｃ Ｐａｒａｍｅｔｅｒ）及び外部パラメータをキャリブレーションすることである。
【0018】
センサの内部パラメータとは、センサ自体の特性を反映するためのパラメータを意味している。センサが出荷後、内部パラメータは理論的に変わらないが、実際の使用において、内部パラメータが変わることがある。カメラを例に取ると、使用中、カメラの各部品の位置関係の変化により、内部パラメータの変化を引き起こすことがある。キャリブレーションされた内部パラメータは通常、真の内部パラメータに近似するものであるに過ぎず、内部パラメータの真値ではない。
【0019】
以下では、カメラとレーダとを含むセンサを例として、センサの内部パラメータを説明する。カメラの内部パラメータとは、カメラ自体の特性を反映するためのパラメータを意味し、ｕ０、ｖ０、Ｓｘ、ｆ、及びｒの中の一つであっても複数であってもよいが、これらに限定されない。なお、ｕ０とｖ０はそれぞれ、ピクセル座標系の原点から、カメラが位置しているカメラ座標系の原点までの横方向及び縦方向のピクセル数を表すものであり、単位がピクセルである。ＳｘとＳｙはそれぞれ、横方向及び縦方向の単位長さあたりのピクセル数であり、単位長さがミリメートルであってよい。ｆはカメラの焦点距離である。ｒは、画像の歪みによるピクセルからイメージャの中心までの距離の値であり、本発明の実施例において、イメージャの中心は、カメラの焦点中心である。本発明に記載のカメラは、カメラであっても、ビデオカメラであっても、写真撮影機能を備えた他の機器であってもよく、制限されるものではない。
【0020】
レーダの内部パラメータとは、レーダ自体の特性を反映するためのパラメータを意味し、送信機の電力と型式、受信機の感度と型式、アンテナのパラメータと型式、ディスプレイの数と型式などの少なくとも１つであっても、複数であってもよいが、これらに限定されない。本発明に記載のレーダは、レーザー検出・測距（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、ＬｉＤＡＲ)システムであっても、無線レーダであってもよく、制限されるものではない。
【0021】
センサの外部パラメータとは、物体がワールド座標系における位置と、この物体がセンサ座標系における位置との間の変換関係のパラメータを意味している。なお、複数のセンサが含まれる場合、センサの外部パラメータには、更に、複数のセンサの座標系の間の変換関係を反映するためのパラメータが含まれる。以下も同様に、カメラとレーダとを含むセンサを例として、センサの外部パラメータを説明する。
【0022】
カメラの外部パラメータとは、点をワールド座標系からカメラ座標系に変換するためのパラメータを意味している。本発明の実施例において、キャリブレーションプレートのカメラに対する外部パラメータは、ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換するのに必要とされる位置及び／又は姿勢の変化パラメータなどを反映するために使用することができる。
【0023】
カメラの外部パラメータには、ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換するのに必要とされる位置及び／又は姿勢の変化パラメータなどの１つ又は複数の組み合わせが含まれ得るが、これらに制限されるものではない。
【0024】
また、カメラについて、歪みパラメータを考慮する必要もあり、歪みパラメータには、径方向（ｒａｄｉａｌ）の歪みパラメータ及び接線方向（ｔａｎｇｅｎｔｉａｌ）の歪み係数が含まれる。径方向の歪み及び接線方向の歪みはそれぞれ、画像のピクセル点が、歪み中心を中心点として、長さ方向又は接線方向に沿って生じる位置ずれであり、これにより画像が変形する。
【0025】
ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換するのに必要とされる位置及び／又は姿勢の変化パラメータには、回転行列Ｒ及び平行移動行列Ｔが含まれ得る。なお、回転行列Ｒは、ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換する場合、ｘ、ｙ、ｚの３つの座標軸のそれぞれに対する回転角度パラメータであり、平行移動行列Ｔは、ワールド座標系におけるキャリブレーションプレートをカメラ座標系に変換する場合、原点の平行移動パラメータである。
【0026】
レーダの外部パラメータとは、点をワールド座標系からレーダ座標系に変換するためのパラメータを意味している。本発明の実施例において、キャリブレーションプレートのレーダ対する外部パラメータは、ワールド座標系におけるキャリブレーションプレートをレーダ座標系に変換するのに必要とされる位置及び／又は姿勢の変化パラメータなどを反映するために使用することができる。
【0027】
カメラとレーダとの間の目標外部パラメータとは、レーダ座標系とカメラ座標系との間の変換関係を反映するためのパラメータを意味しており、カメラとレーダとの間の外部パラメータは、カメラ座標系に対するレーダ座標系の位置及び姿勢の変化などを反映することができる。
【0028】
例えば、センサがカメラとレーダとを含む場合、センサをキャリブレーションすることは、カメラの内部パラメータ、レーダの内部パラメータ、カメラとレーダとの間の目標外部パラメータのいずれか１種又は複数種の組み合わせに対してキャリブレーションを行うことを意味している。また、キャリブレーションプレートによって上記内部パラメータ及び／又は外部パラメータを決定することができ、例えば、キャリブレーションプレートのカメラに対する外部パラメータ、及びキャリブレーションプレートのレーダに対する外部パラメータによって、カメラとレーダとの間の目標外部パラメータを決定することができる。なお、実際にキャリブレーションされるパラメータは、上記で挙げられたものを含むことができるが、これらに制限されるものではない。
【0029】
例えば、センサがカメラとレーダとを含む場合、センサキャリブレーション方法は、図１に示すように、以下のステップを含むことができる。
【0030】
ステップ１０１において、前記カメラによって、第１キャリブレーションプレートのポーズ情報が異なる複数の第１画像を収集する。
【0031】
本発明の実施例において、レーダは、レーザービームを放射することでターゲットの位置、速度などの特徴量を検出するレーザーレーダ、又はミリ波帯域で動作するミリ波レーダなどであってよい。
【0032】
視野とは、センサの位置を変えることなく、放射される光、電磁波などでカバーできる範囲である。本発明の実施例において、レーダを含むセンサを例に取ると、視野とは、レーダから放射されるレーザービーム又は電磁波などでカバーできる範囲であり、カメラを含むセンサを例に取ると、視野とは、カメラのレンズにより撮影できる範囲である。
【0033】
本発明の実施例において、第１キャリブレーションプレート２３０は、例えば、図２に示すように、レーダ２１０とカメラ２２０との共通の視野２３１の範囲内に位置する。なお、共通の視野２３１の範囲とは、センサに含まれるセンシング素子のそれぞれがカバーする範囲が重なり合っている部分、即ちレーダ２１０でカバーする範囲（例えば、図におけるレーダ視野２１１）とカメラ２２０が撮影する範囲（例えば、図におけるカメラ視野２２１）が重なり合っている部分（例えば、図における点線で示す部分）である。
【0034】
本発明の実施例において、第１キャリブレーションプレートは、円形、長方形又は正方形である固定間隔パターンを有するアレイプレートを用いることができる。例えば、図３のいずれか１つの第１画像に示すように、長方形である白黒格子の交互のアレイプレートを用いることができる。もちろん、キャリブレーションプレートのパターンには、他の規則的なパターン、又は不規則であるが特徴点セット、特徴エッジなどの特徴パラメータを備えたパターンが含まれ得るが、ここで、キャリブレーションプレートの形状、パターンなどに制限がない。
【0035】
このステップにおいて、レーダとカメラとの間の目標外部パラメータの精度を上げるために、カメラによって収集された第１画像の数は複数、例えば２０枚を超えてもよい。本発明の実施例において、収集された複数の第１画像において、第１キャリブレーションプレートのポーズが異なってもよく、つまり、複数の第１画像のうち少なくとも一部の画像がそれぞれ、第１キャリブレーションプレートの異なるポーズ、例えば異なる位置及び／又は姿勢を表してもよい。例えば、図３に示す複数の第１画像において、第１キャリブレーションプレートには、ピッチ（ｐｉｔｃｈ）角、ロール（ｒｏｌｌ）角、ヨー（ｙａｗ）角の３次元での姿勢の変化が存在している。これは、複数の第１画像が、第１キャリブレーションプレートが異なる位置及び／又は姿勢において収集されたものであることを意味し、つまり、異なる第１画像に含まれる第１キャリブレーションプレートのポーズ情報が同じであって異なってもよいが、第１キャリブレーションプレートの異なるポーズ情報を含む第１画像が少なくとも２枚存在している。なお、第１画像それぞれに、第１キャリブレーションプレート全体が含まれる必要がある。
【0036】
また、第１画像の数がｍ枚で、第１キャリブレーションプレートのポーズの数がｎ個であってもよい。ｍ、ｎは、何れも２以上の整数である。
【0037】
また、ポーズ情報には、３次元空間における第１キャリブレーションプレートの姿勢を反映するための情報が含まれる。例えば、図３に示す第１キャリブレーションプレートのポーズ情報は、第１キャリブレーションプレートのピッチ角、ロール角、ヨー角の３次元のうち少なくとも１つでの姿勢の変化であってもよい。なお、カメラにより第１画像を収集する時、第１キャリブレーションプレートを静止状態にしてもよい。例えば、ブラケットで第１キャリブレーションプレートを固定してもよい。
【0038】
一形態において、ポーズ情報には更に位置情報が含まれる。収集された複数の第１画像には、複数種の距離（つまり、短い距離、中程度の距離、長い距離など）での第１キャリブレーションプレートが異なるポーズでの画像が含まれ得る。レーダによって生成されたレーザーが第１キャリブレーションプレート全体をカバーできるようにするためには、通常は第１キャリブレーションプレートを配置するときに、第１キャリブレーションプレートをレーダから離れて配置する。異なる距離で配置された第１キャリブレーションプレートの画像を収集するときに、第１キャリブレーションプレートからカメラまでの距離ｄ１が小さい場合、例えば、距離ｄ１が距離閾値Ｄ１よりも小さい場合に、異なる姿勢での第１キャリブレーションプレートを含む複数の第１画像を収集する。ｄ１が大きい場合に応じて、例えば、ｄ１が距離閾値Ｄ２よりも大きい場合に、異なる姿勢での第１キャリブレーションプレートを含む複数の第１画像を更に収集してもよい。距離ｄ１が中程度である場合に、例えば、距離ｄ１が上記２つの距離閾値の間、即ちＤ１＜ｄ１＜Ｄ２である場合に応じて、異なる姿勢での第１キャリブレーションプレートを含む複数の第１画像を更に収集してもよい。これにより、第１キャリブレーションプレートとカメラとの間の複数種の距離で撮影された第１画像が得られる。異なる距離での第１画像は、これらのポーズ情報が異なる。
【0039】
本発明の実施例において、その後より精度よく第１キャリブレーションプレートのカメラに対する外部パラメータを決定するために、複数の第１画像には、第１キャリブレーションプレート全体が含まれ得る。例えば、図３に示す複数の第１画像において、第１画像に占める第１キャリブレーションプレートの面積の割合が異なる。例えば、距離ｄ１が長いと、第１画像に占める第１キャリブレーションプレートの面積の割合が小さく、距離ｄ１が短いと、第１画像に占める第１キャリブレーションプレートの面積の割合が大きい。
【0040】
ステップ１０２において、予めキャリブレーションされた前記カメラの第１内部パラメータを取得し、前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定する。
【0041】
カメラの視野のエッジに歪みが大きくなるため、歪みパラメータをより正確に決定する必要がある。また、歪みパラメータがカメラの内部パラメータに大きな影響を与えるため、複数の第１画像に基づいて、カメラの内部パラメータを直接キャリブレーションすれば、キャリブレーションの結果が十分に正確ではない可能性がある。本発明の実施例において、予めキャリブレーションされたカメラの第１内部パラメータを直接取得することができ、カメラの第１内部パラメータ、及びカメラによって収集されたその前の複数の第１画像に基づいて、異なるポーズでの第１キャリブレーションプレートの前記カメラに対する外部パラメータを決定することができる。
【0042】
本発明の実施例において、カメラの第１内部パラメータは、センサを初回キャリブレーションするとき、カメラをキャリブレーションして取得したカメラの内部パラメータである。カメラの内部パラメータを初回キャリブレーションするとき、カメラによって第２キャリブレーションプレート全体を含む複数の第２画像を収集し、複数の第２画像に基づいて、カメラの第１内部パラメータをキャリブレーションする。なお、複数の第２画像において、前記第２キャリブレーションプレートのポーズ情報は異なる。第２キャリブレーションプレートはカメラに近づき、かつカメラの視野のエッジに近づいてもよく、これにより、決定されたカメラの第１内部パラメータは、複数の第１画像によってキャリブレーションされたカメラの内部パラメータよりも正確になる。本発明の実施例において、カメラの第１内部パラメータを初回キャリブレーションした後、センサを再度キャリブレーションするとき、予めキャリブレーションされたカメラの第１内部パラメータを直接取得することができる。更に、張正友キャリブレーション法等の方法によってカメラの第１内部パラメータをキャリブレーションしてもよい。第１内部パラメータ及び複数の第１画像に基づいて、第１キャリブレーションプレートのカメラに対する、回転行列Ｒ及び平行移動行列Ｔを含む外部パラメータを決定する。
【0043】
ステップ１０３において、前記各ポーズでの前記第１キャリブレーションプレートの複数セットのレーダポイントクラウドデータを取得し、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定する。
【0044】
本発明の実施例において、カメラによって異なるポーズでの第１キャリブレーションプレートの複数の第１画像が収集されたが、各ポーズでの第１キャリブレーションプレートごとに、対応するレーダポイントクラウドデータを同時に収集することができる。なお、レーダポイントクラウドデータは、当該レーダから放射されたレーザー又は電磁波が、異なるポーズでの第１キャリブレーションプレートを透過して生じた、複数のレーダポイントを含むデータである。また、最終的に決定されたレーダとカメラとの間の目標外部パラメータの精度を上げるために、当該レーダポイントクラウドデータは、第１キャリブレーションプレート全体に基づいて取得されたポイントクラウドデータを含む。
【0045】
例えば、図４に示すように、第１キャリブレーションプレート４２０の全てのエッジに、レーダ４１０から放射されたレーザー又は電磁波が透過されるために、第１キャリブレーションプレート４２０のエッジとレーダ４１０から放射されたレーザー又は電磁波とは平行ではなく、一定の角度を有してもよく、これにより、その後レーダポイントクラウドデータのうち、第１キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータをより好適に決定することができる。
【0046】
前記レーダと前記カメラとの間の目標外部パラメータは、カメラとレーダとの間の外部パラメータである。
【0047】
上記実施例において、キャリブレーションするときに、予めキャリブレーションされたカメラの第１内部パラメータ、及び複数の第１画像に基づいて、第１キャリブレーションプレートのカメラに対する外部パラメータを取得する。つまり、カメラとレーダとの間の相対的位置関係又は仰俯角が変わった場合、予めキャリブレーションされたカメラの第１内部パラメータに基づいて、センサのキャリブレーションを行うことができる。
【0048】
幾つかの選択可能な実施例において、例えば、図５に示すように、上記ステップ１０２を実行して予めキャリブレーションされた前記カメラの第１内部パラメータを取得する前に、この方法は、更にステップ１００を含む。
【0049】
ステップ１００において、前記センサの初回キャリブレーションに応じて、前記カメラをキャリブレーションして前記カメラの前記第１内部パラメータを取得する。
【0050】
本発明の実施例において、センサが初めてキャリブレーションされる場合、カメラをキャリブレーションして、カメラの第１内部パラメータを取得することができる。
【0051】
ステップ１０２において、予めキャリブレーションされたカメラの第１内部パラメータを取得することは、前記センサの再度キャリブレーションに応じて、前記センサを初回キャリブレーションして取得された前記カメラの前記第１内部パラメータを取得することを含むことができる。
【0052】
センサを再度キャリブレーションする場合、例えば、センサにおけるレーダとカメラとの間の目標外部パラメータを再度キャリブレーションしたい場合、センサを初回キャリブレーションして取得されたカメラの第１内部パラメータを直接取得することができる。
【0053】
上記実施例において、センサの初回キャリブレーションに応じて、カメラをキャリブレーションして、カメラの第１内部パラメータを取得し、センサの再度キャリブレーションに応じて、センサを初回キャリブレーションして取得されたカメラの第１内部パラメータを直接取得することができる。これにより、カメラの内部パラメータのキャリブレーション過程と、レーダとカメラとの間の目標外部パラメータのキャリブレーション過程が別々に行われ、センサの再度キャリブレーション過程では、直接センサを初回キャリブレーションして取得されたカメラの第１内部パラメータに基づいて、センサのキャリブレーションを行うことができ、カメラの内部パラメータを繰り返しキャリブレーションする必要がなく、目標外部パラメータを決定する速度が効果的に向上する。
【0054】
幾つかの選択可能な実施例において、センサを初回キャリブレーションする場合、第２キャリブレーションプレートがカメラの視野範囲内に位置すべきであり、第２画像には、例えば、図６に示すように、第２キャリブレーションプレート全体が含まれ得る。初回キャリブレーションされたカメラの第１内部パラメータの精度を上げるために、第２キャリブレーションプレート６２０をカメラ６１０のカメラ視野６１１のエッジに位置させてもよい。
【0055】
上記ステップ１００は、例えば、図７に示すように、下記のステップを含むことができる。
【0056】
ステップ１００－１において、前記カメラによって、複数の第２画像を収集する。
【0057】
なお、前記複数の第２画像において、前記第２キャリブレーションプレートのポーズ情報が異なる。
【0058】
第２キャリブレーションプレートは、第１キャリブレーションプレートと同じであっても異なってもよい。本発明の実施例において、第１キャリブレーションプレートが第２キャリブレーションプレートと同じであるとは、同様なキャリブレーションプレートで第１キャリブレーションプレート及び第２キャリブレーションプレートの機能を実現することを意味する。ただし、同一のキャリブレーションプレートを第２キャリブレーションプレートとして使用する場合、当該同一のキャリブレーションプレートの第１キャリブレーションプレートとしてのポーズを用いてもよいが、もちろん、当該同一のキャリブレーションプレートの第１キャリブレーションプレートとしてのポーズに相違しているポーズを用いてもよい。第１キャリブレーションプレートが第２キャリブレーションプレートと異なるとは、完全に又は部分的に異なるキャリブレーションプレートで第１キャリブレーションプレート及び第２キャリブレーションプレートの機能をそれぞれ実現することを意味している。なお、ポーズ情報には、第２キャリブレーションプレートの、３次元空間における姿勢、例えば、ピッチ角、ロール角、ヨー角の３次元での姿勢の変化が含まれ得る。
【0059】
カメラによって第２画像を収集するときに、第２キャリブレーションプレートを静止状態にすべきである。ブラケットで第２キャリブレーションプレートを固定してもよい。
【0060】
カメラによって第２画像を収集するときに、第１内部パラメータの精度を上げるために、第２キャリブレーションプレートをできるだけカメラの視野のエッジに近づけることによって、カメラによって収集された複数の第２画像において、前記第２画像に占める第２キャリブレーションプレートの割合はプリセット値より大きくなる。任意的に、前記プリセット値は具体的な数値であっても、範囲値であってもよい。プリセット値が範囲値である場合を例に取ると、プリセット値の範囲値は、カメラの全ての第１内部パラメータの精度に影響するので、その後決定されたカメラの第１内部パラメータの精度を上げるために、プリセット値を[０．８，１]の間の数値にしてもよい。例えば、図８に示すように、この図において、画像全体に占める第２キャリブレーションプレートの割合は、プリセット値の範囲にあるので、この図を第２画像とすることができる。
【0061】
決定されたカメラの第１内部パラメータの精度を上げるために、カメラによって収集された第２画像の数は複数、例えば２０枚を超えてもよい。本発明の実施例において、収集された複数の第２画像における第２キャリブレーションプレートのポーズ情報が異なってもよく、つまり、複数の第２画像のうち少なくとも一部の画像がそれぞれ第２キャリブレーションプレートの異なるポーズを表してもよく、例えば、ピッチ角、ロール角、ヨー角の３次元での姿勢の変化がある。これは、複数の第２画像が、第２キャリブレーションプレートが異なる位置及び／又は姿勢において収集されたものであることを意味し、つまり、異なる第２画像に含まれる第２キャリブレーションプレートのポーズ情報が同じであって異なってもよいが、第２キャリブレーションプレートの異なるポーズ情報を含む第２画像が少なくとも２枚存在している。なお、第２画像それぞれに、第２キャリブレーションプレート全体が含まれる必要がある。
【0062】
なお、第２画像の数がｃ枚で、第２キャリブレーションプレートのポーズの数がｄ個であってもよい。ｃ、ｄはともに２以上の整数である。ｃは上述した第１画像の数であるｍに等しくても、等しくなくてもよく、同様に、ｄは上述した第２キャリブレーションプレートのポーズの数であるｎに等しくても、等しくなくてもよい。
【0063】
カメラの第１内部パラメータの精度を上げるために、カメラによって収集された複数の第２画像にぼやけが生じてはならない。なお、ぼやけは、センサの移動、即ち、カメラの移動によるカメラと第２キャリブレーションプレートとの間の相対的移動によって生じる可能性がある。任意的に、カメラによって収集された複数の第２画像には、移動によるぼやけのある画像があるかいなかを確認して、移動によるぼやけのある画像を除外する。あるいは、プリセットスクリプトによって移動によるぼやけのある画像を除外してもよい。
【0064】
ステップ１００－２において、前記複数の第２画像に基づいて、前記カメラの複数の第１候補内部パラメータをそれぞれ決定し、前記複数の第１候補内部パラメータのうちの１つの第１候補内部パラメータを前記第１内部パラメータとして決定する。
【0065】
本発明の実施例において、プリセットされたｍａｔｌａｂツールボックスで、複数の第２画像に基づいて、カメラの複数の第１候補内部パラメータをそれぞれキャリブレーションすることができる。
【0066】
複数の第１候補内部パラメータの中の第１候補内部パラメータごとに、前記カメラによって、カメラ座標系におけるプリセット点をピクセル座標系に再投影し、対応する投影点を得て、そして、投影点と、対応するプリセット点とのピクセル座標系における誤差を比較して、プリセット点の誤差値を得ることができる。各第１候補内部パラメータのそれぞれによる誤差値を比較して、誤差値が最も小さい１つの第１候補内部パラメータをカメラの第１内部パラメータとする。
【0067】
上記ステップ１００－１、１００－２は、センサを初回キャリブレーションするときに、カメラの第１内部パラメータをキャリブレーションするための過程であり、ステップ１０１との実行の順序に制限がない。センサを再度キャリブレーションするとき、予めキャリブレーションされたカメラの第１内部パラメータを直接取得することができる。
【0068】
本発明の実施例において、カメラの第１候補内部パラメータは、カメラによって収集された異なるポーズ情報を含む第２キャリブレーションプレートの複数の第２画像のそれぞれに基づいて決定された、カメラの複数の第１候補内部パラメータである。第１候補内部パラメータのうち、上述したように決定された、投影点と、対応するプリセット点とのピクセル座標系における誤差値が最も小さい１つの第１候補内部パラメータは、カメラの第１内部パラメータとして選ばれる。
【0069】
上記実施例において、カメラの複数の第１候補内部パラメータを決定して、複数の第１候補内部パラメータのうち１つを第１内部パラメータとして決定することができ、カメラの内部パラメータを決定する精度及び正確度が向上し、有用性が高い。
【0070】
幾つかの選択可能な実施例において、例えば、図９に示すように、ステップ１００－２は、下記のステップを含むことができる。
【0071】
ステップ１００－２１において、前記カメラによって、前記複数の第１候補内部パラメータのそれぞれに従い、カメラ座標系におけるプリセット点をピクセル座標系に投影し、前記ピクセル座標系における前記プリセット点の複数の第１座標値を取得する。
【0072】
プリセット点の数は１つでも複数でもよく、カメラは、プリセット点のそれぞれについて、異なる第１候補内部パラメータを用いて、カメラ座標系におけるプリセット点をピクセル座標系に投影し、ピクセル座標系における各プリセット点それぞれの複数の第１座標値を取得することができる。
【0073】
例えば、図１０Ａに示すように、３Ｄ空間における１つのプリセット点Ｐを２Ｄ空間に投影して、対応する第１座標値Ｐ１を取得する。
【0074】
ステップ１００－２２において、候補内部パラメータのそれぞれについて、前記複数の第２画像のうちの１つ又は複数の第２画像である検証画像における、前記プリセット点の第２座標値を取得し、第２座標値に対応する第１座標値を決定して、対応関係を有する座標対を取得する。
【0075】
候補内部パラメータのそれぞれについて、ピクセル座標系におけるプリセット点の第２座標値を決定することができる。例えば、図１０Ｂに示す第２座標値がＰ２であり、第２座標値Ｐ２に対応する第１座標値Ｐ１を決定する。候補内部パラメータのそれぞれについて、対応関係を有する複数の座標対が得られる。例えば、第１候補内部パラメータについて、Ｐ２がＰ１に対応しており、Ｐ１とＰ２が１つの座標対をなす。また、例えば、第２候補内部パラメータについて、Ｐ２’がＰ１’に対応しており、Ｐ１’とＰ２’がもう１つの座標対をなす。
【0076】
前記検証画像が複数の第２画像である場合、候補内部パラメータｉについて、検証画像ｊにおけるプリセット点の第２座標値、及び当該第２座標値に対応する第１座標値を取得して、１つの座標対Ｐi
jを構成し、そして、複数の検証画像における当該プリセット点の複数の座標対Ｐｉ
１、Ｐｉ
２、Ｐｉ
３、・・・を得て、Ｐｉと表記することができる。
【0077】
ステップ１００－２３において、第１候補内部パラメータごとに、当該第１候補内部パラメータに含まれる座標対における第１座標値と第２座標値との間の距離を決定し、複数の第１候補内部パラメータのうち、距離が最も小さい第１候補内部パラメータを前記カメラの第１内部パラメータとして決定する。
【0078】
本発明の実施例において、各座標対における第１座標値と第２座標値との間の距離を計算してもよい。最小距離に対応する１つの第１候補内部パラメータをカメラの第１内部パラメータとすることができる。
【0079】
第１座標値と第２座標値との間の距離をそれぞれｄ１、ｄ２、及びｄ３とし、ｄ２が最も小さく、ｄ２に対応するのは第１候補内部パラメータ２であれば、第１候補内部パラメータ２をカメラの第１内部パラメータとすることができる。
【0080】
第１候補内部パラメータｉに複数の座標対が含まれると、Ｐｉにおける座標対ごとに距離を計算して、複数の座標対の総距離を得ることができ、例えば、座標対それぞれの距離を加算して、当該総距離を得ることができる。第１候補パラメータそれぞれの総距離を比較して、複数の第１候補内部パラメータのうち総距離が最も小さい第１候補内部パラメータを前記カメラの第１内部パラメータとして決定することができる。
【0081】
以上、便宜上、プリセット点が１つである場合に対して説明した。当業者であれば、プリセット点が複数であってもよいことが分かる。複数のプリセット点の場合に、第１内部パラメータを取得する方法は、１つのプリセット点の場合と類似している。例えば、第１候補内部パラメータごとに、プリセット点ごとに座標対の距離を計算し、そして、複数のプリセット点の距離の平均値を計算して、複数の第１候補内部パラメータのうち距離の平均値が最も小さい１つの第１候補内部パラメータを前記カメラの第１内部パラメータとして決定することができる。
【0082】
上記実施例において、再投影誤差が最も小さい１つの第１候補内部パラメータをカメラの目標内部パラメータとすることで、カメラの第１内部パラメータがより正確になる。
【0083】
幾つかの選択可能な実施例において、例えば、図１１に示すように、ステップ１０２は、下記のステップを含むことができる。
【0084】
ステップ１０２－１において、前記複数の第１画像のうちの第１画像ごとに、前記第１内部パラメータに従い、当該第１画像に対し歪み除去処理を行い、当該第１画像に対応する第３画像を取得する。
【0085】
例えば、レーダとカメラとがともに設けられている機器・設備、例えば、レーダとカメラとがともに設けられている車両に配備されている、画像処理機能を備えた設備（当該設備は、レーダ、カメラ又は他の設備であってもよい）は、複数の第１画像に対し歪み除去処理を行うことができる。
【0086】
本発明の実施例において、その後第１キャリブレーションプレートのカメラに対する外部パラメータを相対的正確に得るために、予めキャリブレーションされたカメラの第１内部パラメータに基づいて、複数の第１画像に対し歪み除去を行い、複数の第３画像を得て、複数の第３画像に基づいて、カメラの第２内部パラメータ、即ち歪みのない理想的な状況でのカメラの内部パラメータを決定し、そして、カメラの第２内部パラメータに基づいて、第１キャリブレーションプレートのカメラに対する外部パラメータを決定することができる。
【0087】
なお、カメラの内部パラメータは、式１に示すように、内部パラメータ行列Ａ’で表すことができる。各パラメータの意味は、カメラのパラメータに対する前述した説明を参照されたい。
【数1】
【0088】
複数の第１画像に対し歪み除去処理を行う過程は、上記内部パラメータ行列Ａ’において、歪みによるピクセルのイメージャ中心からの距離値ｒの影響をなくし、ｒをできるだけ０にすることである。歪みによる影響をなくした内部パラメータ行列Ａは、式２に表すことができる。
【数2】
【0089】
このようにして、それぞれ第１画像に対応する複数の第３画像が取得される。
【0090】
ステップ１０２－２において、複数の第３画像に基づいて、前記カメラの第２内部パラメータを決定する。
【0091】
プリセットされたｍａｔｌａｂツールボックスによって、歪み除去処理した複数の第３画像に基づいて、カメラの複数の第２候補内部パラメータをそれぞれ決定して、カメラによって、異なる第２候補内部パラメータのそれぞれを用いて、カメラ座標系におけるプリセット点をピクセル座標系に投影して、複数の第３座標値を取得することができる。観測されたプリセット点のそれぞれの、ピクセル座標系における第４座標値と、対応する第３座標値とを、対応関係を有する１つの座標対として、複数の座標対のうち最小距離に対応する１つの第２候補内部パラメータをカメラの第２内部パラメータとする。
【0092】
本発明の実施例において、第２内部パラメータは、歪み除去した複数の第３画像に基づいて決定されたカメラの内部パラメータである。
【0093】
カメラの複数の第２候補内部パラメータは、カメラによって収集された異なるポーズ情報を含む第１キャリブレーションプレートの複数の第１画像に基づいて歪み除去して得られた複数の第３画像に基づいて決定された、カメラの理想状態下での複数の内部パラメータである。第２内部パラメータは、複数の第２候補内部パラメータにおいて決定された、投影点と、対応するリセット点とのピクセル座標系における誤差値が最も小さい１つの第２候補内部パラメータであり、第２内部パラメータは、歪みのない理想状態下でのカメラの内部パラメータである。
【0094】
ステップ１０２－３において、複数の第３画像及び前記カメラの第２内部パラメータに基づいて、各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定する。
【0095】
まず、第３画像のそれぞれに対応するホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）行列Ｈを計算して、複数のホモグラフィ行列Ｈを得て、そして、第２内部パラメータ及び複数のホモグラフィ行列に基づいて、異なるポーズでの第１キャリブレーションプレートのカメラに対する外部パラメータを計算することができ、外部パラメータは、回転行列Ｒ及び平行移動行列Ｔを含んでもよい。
【0096】
なお、ホモグラフィ行列は、ワールド座標系とピクセル座標系との間の位置のマッピング関係を表す行列である。
【0097】
上記実施例において、カメラの第１内部パラメータに基づいて、カメラによって撮影された複数の第１画像に対し歪み除去を行い、複数の第３画像を取得し、複数の第３画像に基づいて、カメラの第２内部パラメータを決定することができ、第２内部パラメータは、理想状況での歪みのないカメラの内部パラメータに相当する。そして、複数の第３画像及び第２内部パラメータに基づいて、第１キャリブレーションプレートのカメラに対する外部パラメータを決定する。このようにして得られた第１キャリブレーションプレートの前記カメラに対する外部パラメータの精度がより高くなる。
【0098】
幾つかの選択可能な実施例において、例えば、図１２に示すように、上記ステップ１０２－３は、下記のステップを含むことができる。
【0099】
ステップ１０２－３１において、前記第３画像それぞれに対応するホモグラフィ行列を決定する。
【0100】
本発明の実施例において、第３画像のそれぞれに対応するホモグラフィ行列Ｈは、以下のように計算することができる。
ｒ１、ｒ２、ｒ３は、回転行列Ｒを構成する回転列ベクトルであり、範囲は１×３であり、ｔは、平行移動行列Ｔのベクトル形式である。
【数3】
【数4】
【0101】
式３及び式４から、式５が得られる。
（ｕ，ｖ）はピクセル座標であり、（Ｘ，Ｙ）は、キャリブレーションプレートの座標に対応し、ｓはスケールファクタである。
【数5】
【0102】
本発明の実施例において、式５によって、複数の第３画像のそれぞれに対応するホモグラフィ行列Ｈを計算することができる。
【0103】
ステップ１０２－３２において、前記カメラの第２内部パラメータ及び複数の前記ホモグラフィ行列に基づいて、各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定する。
【0104】
計算して複数のホモグラフィ行列Ｈを得た後、異なるポーズでの前記第１キャリブレーションプレートの前記カメラに対する外部パラメータＲとＴを決定する場合、上記式４によって計算することができる。ホモグラフィ行列Ｈは３×３の行列であり、式４は、更にとして表すことができる。λは、スケールファクタを表す。
【数6】
【0105】
計算した結果は、ｒ１＝λＡ－１ｈ１、ｒ２＝λＡ－１ｈ２、ｒ３＝ｒ１×ｒ２
である。ここで、
である。ｒ１、ｒ２、及びｒ３は、３×３の回転行列Ｒを構成している。
である。ここで、
【数7】
【0106】
式６から計算した結果は、ｔ＝λＡ－１ｈ３であり、ｔは、３×１の平行移動行列Ｔを構成している。
【0107】
上記実施例において、第３画像のそれぞれに対応するホモグラフィ行列を決定し、得られた複数のホモグラフィ行列及びカメラの第２内部パラメータに基づいて、各ポーズでの第１キャリブレーションプレートのそれぞれの、カメラに対する外部パラメータを決定することができ、第１キャリブレーションプレートのカメラに対する外部パラメータがより正確になる。
【0108】
幾つかの選択可能な実施例において、例えば、図１３に示すように、上記ステップ１０３は、下記のステップを含むことができる。
【0109】
ステップ１０３－１において、各ポーズでの第１キャリブレーションプレートごとに、当該第１キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおける前記レーダポイントクラウドデータのうち、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定する。
【0110】
なお、外部パラメータの参照値は、レーダとカメラとの大体の位置及び向きに基づいて得られた概算したレーダとカメラとの間の外部パラメータ値である。外部パラメータの参照値に基づいて、レーダが位置している座標系とカメラ座標系とを重ね合わせて、カメラ座標系に統合することができる。
【0111】
本発明の実施例において、各ポーズでの前記第１キャリブレーションプレートのそれぞれについて、前記第１キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、ＭＳＡＣ（Ｍ-ｅｓｔｉｍａｔｏｒ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムによって、第１キャリブレーションプレートの所在する目標平面を決定することができる。更に、ミーンシフト（ＭｅａｎＳｈｉｆｔ）クラスターアルゴリズムによって、前記目標平面で、対応するレーダポイントクラウドデータのうち、第１キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータを決定する。
【0112】
ステップ１０３－２において、複数セットの前記目標レーダポイントクラウドデータのそれぞれと、各ポーズでの第１キャリブレーションプレートとの間のマッチング関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定する。
【0113】
本発明の実施例において、レーダからカメラへのポーズは１つのみである。しかしながら、レーダとカメラとの間の目標外部パラメータを決定するとき、使用される第１キャリブレーションプレートのポーズは複数、例えばｎ個があり、したがって、ステップ１０３－１において、ｎセットの目標レーダポイントクラウドデータが得られ、これらｎセットの目標レーダポイントクラウドデータはそれぞれ、ｎ個のポーズでの第１キャリブレーションプレートのそれぞれにマッチングして、ｎ個のマッチング関係を得ることができる。そして、これらｎ個のマッチング関係に基づいて、レーダとカメラとの間の外部パラメータを計算することができる。
【0114】
本発明の実施例において、複数セットの目標レーダポイントクラウドデータと前記第１キャリブレーションプレートとの間のマッチング関係に基づいて、最小二乗法によって前記レーダと前記カメラとの間の目標外部パラメータを決定することができる。
【0115】
上記実施例において、各ポーズでの第１キャリブレーションプレートごとに、当該第１キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、ＭＳＡＣアルゴリズムによって、第１キャリブレーションプレートの所在する目標平面を決定することができる。更に、ミーンシフトクラスターアルゴリズムによって、前記目標平面で、対応するレーダポイントクラウドデータのうち、第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定する。レーダポイントクラウドデータから第１キャリブレーションプレートにマッチングする目標レーダポイントクラウドデータが自動的に決定され、マッチングの誤差が低減され、ポイントクラウドのマッチングの精度が向上する。複数セットの前記目標レーダポイントクラウドデータと前記第１キャリブレーションプレートとの間のマッチング関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定することで、レーダとカメラとの間の目標外部パラメータを迅速に決定することができ、目標外部パラメータの精度が向上する。
【0116】
幾つかの選択可能な実施例において、例えば図１４に示すように、いずれか１つのポーズでの第１キャリブレーションプレートについて、上記ステップ１０３－１は、下記のステップを含むことができる。
【0117】
ステップ１０３－１１において、当該第１キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該第１キャリブレーションプレートの所在する候補位置を決定する。
【0118】
本発明の実施例において、まず、当該ポーズでの第１キャリブレーションプレートの前記カメラに対する外部パラメータ、及び推測した前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該第１キャリブレーションプレートについて収集されたレーダポイントクラウドデータにおいて、第１キャリブレーションプレートの所在する位置を推測して、当該第１キャリブレーションプレートが位置している大体の位置と向きを取得する。第１キャリブレーションプレートが位置している大体の位置と向きを推測した候補位置とする。当該候補位置は、レーダポイントクラウドデータで構成された図において、当該第１キャリブレーションプレートの大体の位置を表す。
【0119】
ステップ１０３－１２において、前記候補位置に基づいて、当該ポーズにおけるレーダポイントクラウドデータにおいて当該第１キャリブレーションプレートの所在する目標平面を決定する。
【0120】
本発明の実施例において、当該ポーズで収集された１セットのレーダポイントクラウドデータにおいて、前記候補位置に対応する領域内に位置する複数の第１レーダポイントをランダムに選択して、複数の第１レーダポイントで構成された第１平面を取得することができる。このような選択を複数回繰り返して、複数の第１平面が得られる。
【0121】
そして、第１平面ごとに、当該レーダポイントクラウドデータにおいて複数の第１レーダポイント以外の別のレーダポイントから第１平面までの距離を計算する。別のレーダポイントにおける前記距離値がプリセット閾値よりも小さいレーダポイントを第２レーダポイントとし、第２レーダポイントを第１平面におけるレーダポイントとして決定する。レーダポイントの数が最も多い１つの第１平面を第１キャリブレーションプレートの所在する目標平面とする。当該目標平面は、レーダポイントクラウドデータで構成された図において、当該第１キャリブレーションプレートが位置している平面を表す。
【0122】
ステップ１０３－１３において、前記目標平面において、当該ポーズでの第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定する。
【0123】
各目標平面において、第１キャリブレーションプレートの寸法に応じて、第１円形領域をランダムに決定する。初期の第１円形領域は、第１キャリブレーションプレートの外接円に対応する領域であってもよい。各セットの前記レーダポイントクラウドデータにおいて、初期の第１円形領域内におけるいずれか１つのレーダポイントを第１円形領域の第１円心としてランダムに選択して、前記レーダポイントクラウドデータにおける前記第１円形領域の位置を調整する。なお、第１キャリブレーションプレートの寸法は、レーダポイントクラウドデータで構成された図における第１キャリブレーションプレートの大きさである。
【0124】
前記第１円心を始点とし、前記レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイントを終点として、複数の第１ベクトルをそれぞれ取得する。前記複数の第１ベクトルを加算して第２ベクトルを取得する。そして、第２ベクトルに基づいて、第１キャリブレーションプレートの目標中心位置を決定する。なお、第１キャリブレーションプレートの目標中心位置は、レーダポイントクラウドデータで構成された図において決定された第１キャリブレーションプレートの中心位置である。
【0125】
更に、前記第１キャリブレーションプレートの前記目標中心位置及び前記第１キャリブレーションプレートの寸法に基づいて、前記レーダポイントクラウドデータのうち、前記第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定する。
【0126】
幾つかの選択可能な実施例において、例えば、図１５に示すように、ステップ１０３－１２は、下記のステップを含むことができる。
【0127】
ステップ１０３－１２１において、当該ポーズにおける前記レーダポイントクラウドデータにおいて、２つ以上の第１レーダグループを決定し、第１レーダグループごとに、対応する第１平面を決定する。第１レーダグループのそれぞれは、ダムに選択された、候補位置に対応する領域内に位置する複数の第１レーダポイントを含み、第１レーダグループごとに対応する第１平面は、当該第１レーダグループの複数の第１レーダポイントを含む。
【0128】
本発明の実施例において、いずれか１つのポーズに対応する前記レーダポイントクラウドデータにおいて、前記候補位置に対応する領域における複数の第１レーダポイントを毎回ランダムに選択し、１つの第１レーダグループを取得することができ、毎回、当該第１レーダグループの複数の第１レーダポイントで構成された第１平面を取得することができる。複数回で複数の第１レーダポイントをランダムに選択すれば、複数の第１平面を取得できる。
【0129】
例えば、レーダポイントが１、２、３、４、５、６、７、８を含む場合、１回目では、第１レーダポイント１、２、３、４をランダムに選択して、第１平面１を構成し、２回目では、第１レーダポイント１、２、４、及び６をランダムに選択して、第１平面２を構成し、３回目では、第１レーダポイント２、６、７、及び８をランダムに選択して、第１平面３を構成した。
【0130】
ステップ１０３－１２２において、前記第１平面ごとに、当該ポーズにおける前記レーダポイントクラウドデータにおける前記複数の第１レーダポイント以外の別のレーダポイントから前記第１平面までの距離を決定する。
【0131】
例えば、第１平面１について、別のレーダポイント５、６、７、８のそれぞれから第１平面１までの距離値、第１平面２について、別のレーダポイント３、５、７、８のそれぞれから第１平面２までの距離値、同様に、第１平面３について、別のレーダポイント１、３、４、５のそれぞれから第１平面３までの距離値を計算することができる。
【0132】
ステップ１０３－１２３において、前記第１平面ごとに、前記別のレーダポイントのうち前記距離が閾値よりも小さいレーダポイントを第２レーダポイントとし、前記第２レーダポイントを前記第１平面に含まれるレーダポイントとして決定する。
【0133】
例えば、第１平面１について、別のレーダポイント５から第１平面１までの距離値がプリセット閾値よりも小さい場合、レーダポイント５を第２レーダポイントとして、最終的に、第１平面１は、レーダポイント１、２、３、４、及び５を含み、同様に、第１平面２がレーダポイント１、２、４、６、７を含むものとしても、第１平面３がレーダポイント１、３、４、５、６、８を含むものとしてもよい。
【0134】
ステップ１０３－１２４において、２つ以上の前記第１平面のうち、含まれるレーダポイントの数が最も多い１つの第１平面を前記目標平面とする。
【0135】
レーダポイントの数が最も多い１つの第１平面、例えば、第１平面３を第１キャリブレーションプレートの所在する目標平面とする。
【0136】
上記方法では、各セットのレーダポイントクラウドデータのそれぞれについて、いずれかのポーズでの第１キャリブレーションプレートが位置している１つの目標平面を決定することができる。フィッティングされた目標平面はより正確になり、有用性が高い。
【0137】
幾つかの選択可能な実施例において、例えば、図１６に示すように、ステップ１０３－１３は、下記のステップを含むことができる。
【0138】
ステップ１０３－１３１において、前記目標平面において、前記第１キャリブレーションプレートの寸法に基づいて、初期の第１円形領域を決定する。
【0139】
本発明の実施例において、第１キャリブレーションプレートの所在する目標平面が決定された後、目標平面において第１キャリブレーションプレートの寸法に応じて初期の第１円形領域を決定することができ、当該初期の第１円形領域の大きさは、当該第１キャリブレーションプレートの外接円の大きさにすることができる。なお、第１キャリブレーションプレートの寸法は、レーダポイントクラウドデータで構成された図における第１キャリブレーションプレートの大きさである。
【0140】
ステップ１０３－１３２において、前記レーダポイントクラウドデータにおいて、前記初期の第１円形領域内に位置するいずれか１つのレーダポイントを第１円形領域の第１円心としてランダムに選択して、前記レーダポイントクラウドデータにおける前記第１円形領域の位置を決定する。
【0141】
本発明の実施例において、初期の第１円形領域が決定された後、前記初期の第１円形領域内におけるレーダポイントクラウドデータにおいて、１つのレーダポイントを当該第１円形領域の第１円心としてランダムに選択する。その後、第１円心によって、レーダポイントクラウドデータにおける第１円形領域の位置を調整する。第１円形領域の半径と初期の第１円形領域の半径とが同じである。
【0142】
ステップ１０３－１３３において、前記第１円心を始点とし、前記レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイントを終点として、複数の第１ベクトルをそれぞれ取得する。
【0143】
本発明の実施例において、例えば、図１７に示すように、第１円心１７０を始点とし、レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイント１７１を終点として、複数の第１ベクトル１７２を取得することができる。
【0144】
幾つかの例において、図１７に示すように、第３レーダポイント１７１は、円形領域を効果的にカバーできる。
【0145】
ステップ１０３－１３４において、前記複数の第１ベクトルを加算して第２ベクトルを取得する。
【0146】
本発明の実施例において、全ての第１ベクトルを加算して、ミーンシフトベクトル、即ち第２ベクトルが得られる。
【0147】
ステップ１０３－１３５において、前記第２ベクトルに基づいて、前記第１キャリブレーションプレートの目標中心位置を決定する。
【0148】
本発明の実施例において、第２ベクトルの終点を第２円心として、第１キャリブレーションプレートの寸法に基づいて、第２円形領域を得る。第２円形領域内における複数の第４レーダポイントを終点として、第２円心を始点とし、複数の第３ベクトルをそれぞれ取得する。複数の第３ベクトルを加算して第４ベクトルを取得し、そして、第４ベクトルの終点を新たな第２円心として、新たな第２円形領域を得て、第４ベクトルがプリセット値に収束するまで、上述した第４ベクトルを決定するステップを繰り返し、その時対応する第２円心を第１キャリブレーションプレートの候補中心位置とする。当該候補中心位置は、レーダポイントクラウドデータで構成された図における第１キャリブレーションプレートの候補中心位置である。
【0149】
当該候補中心位置と第１キャリブレーションプレートの中心位置とが重なり合っているか否かを確認してもよく、重なり合っている場合、候補中心位置を直接目標中心位置とすることができ、そうでなければ、最終的な目標中心位置を決定するまで、改めて新たな前記候補中心位置を決定することができる。
【0150】
ステップ１０３－１３６において、前記第１キャリブレーションプレートの前記目標中心位置、及び前記第１キャリブレーションプレートの寸法に基づいて、前記レーダポイントクラウドデータのうち、当該第１キャリブレーションプレートにマッチングする１セットの前記目標レーダポイントクラウドデータを決定する。
【0151】
本発明の実施例において、第１キャリブレーションプレートの前記目標中心位置が決定された後、第１キャリブレーションプレートの目標中心位置及び寸法に基づいて、第１キャリブレーションプレートに対応する位置を決定することができ、第１キャリブレーションプレートと実際の当該ポーズでの第１キャリブレーションプレートとがマッチングすることで、レーダポイントクラウドデータにおいて当該ポーズでの第１キャリブレーションプレートの位置にマッチングするレーダポイントクラウドデータを目標レーダポイントクラウドデータとすることができる。
【0152】
幾つかの選択可能な実施例において、例えば、図１８に示すように、ステップ１０３－１３５は、下記のステップを含むことができる。
【0153】
ステップ１０３－１３５１において、前記第２ベクトルの終点を第２円心として、前記第２円心、及び前記第１キャリブレーションプレートの寸法に基づいて、第２円形領域を決定する。
【0154】
本発明の実施例において、第２ベクトルの終点を第２円心として、再び第２円心を新たな円心として、半径を第１キャリブレーションプレートの外接円の半径として、第２円形領域を得る。
【0155】
ステップ１０３－１３５２において、前記第２円心を始点とし、前記レーダポイントクラウドデータにおいて前記第２円形領域内に位置する複数の第４レーダポイントを終点として、複数の第３ベクトルをそれぞれ決定する。
【0156】
本発明の実施例において、再び第２円心を始点とし、レーダポイントクラウドデータにおいて第２円心領域内に位置する複数の第４レーダポイントを終点として、複数の第３ベクトルをそれぞれ取得する。
【0157】
ステップ１０３－１３５３において、前記複数の第３ベクトルを加算して第４ベクトルを取得する。
【0158】
ステップ１０３－１３５４において、第４ベクトルのベクトル値がプリセット値に収束したか否かを判定する。
【0159】
第４ベクトルのベクトル値がプリセット値に収束すれば、ステップ１０３－１３５６に遷移する。第４ベクトルのベクトル値がプリセット値に収束していなければ、ステップ１０３－１３５５に遷移する。任意的に、プリセット値をゼロに近づけてもよい。
【0160】
ステップ１０３－１３５５において、前記第４ベクトルの終点を前記第２円心として、前記第２円心及び前記第１キャリブレーションプレートの寸法に基づいて、前記第２円形領域を決定して、ステップ１０３－１３５２に遷移する。
【0161】
本発明の実施例において、第４ベクトルの終点を再び新たな第２円心として、上記ステップ１０３－１３５２から１０３－１３５４のように、もう一度計算して新たな第４ベクトルを得て、第４ベクトルのベクトル値が収束したかいなかを判定する。最終的に得られた第４ベクトルのベクトル値がプリセット値に収束するまで、上述した過程を繰り返す。
【0162】
ステップ１０３－１３５６において、収束した前記第４ベクトルに対応する前記第２円心を前記第１キャリブレーションプレートの候補中心位置とする。
【0163】
本発明の実施例において、第４ベクトルのベクトル値が前記プリセット値に収束した場合、第４ベクトルに対応する第２円心を第１キャリブレーションプレートの候補中心位置とすることができる。
【0164】
ステップ１０３－１３５７において、前記候補中心位置と前記第１キャリブレーションプレートの中心位置とが重なり合うことに応じて、前記候補中心位置を前記目標中心位置とする。
【0165】
本発明の実施例において、レーダポイントクラウドデータで構成された図において、候補中心位置と第１キャリブレーションプレートの中心位置とが重なり合っているか否かを判定し、重なり合っていれば、直接当該候補中心位置作を最終的な第１キャリブレーションプレートの目標中心位置とすることができる。幾つかの選択可能な実施例において、例えば、図１９に示すように、ステップ１０３－１３５は、更に下記のステップを含むことができる。
【0166】
ステップ１０３－１３５８において、前記候補中心位置と前記第１キャリブレーションプレートの前記中心位置とが重なり合っていないことに応じて、前記候補中心位置を再決定する。
【0167】
候補中心位置と前記第１キャリブレーションプレートの前記中心位置とが重なり合っていない場合、当該第２円形領域内における全てのレーダポイントを削除し、新たな第２円形領域を再決定することができる。あるいは、この１セットのレーダポイントクラウドデータを直接削除し、第１キャリブレーションプレートの他の姿勢に対応する別の１セットのレーダポイントクラウドデータに基づいて、決定された候補中心位置と前記第１キャリブレーションプレートの前記中心位置とが重なり合うまで、改めて第１キャリブレーションプレートの候補中心位置を決定する。
【0168】
その際、再びステップ１０３－１３５７を実行し、当該候補中心位置を第１キャリブレーションプレートの現在の目標姿勢に対応する目標中心位置とする。
【0169】
幾つかの選択可能な実施例において、ステップ１０３－２は、ｇ個のマッチング関係に基づいて、前記レーダと前記カメラとの間の１つの候補外部パラメータを決定し、前記レーダと前記カメラとの間の複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定することを含むことができる。
【0170】
本発明の実施例において、ｇ個のマッチング関係に基づいて、最小二乗法によって、レーダと前記カメラとの間の外部パラメータの誤差の二乗和を最小化することで、１つの候補外部パラメータを決定することができる。ｇは３以上の整数である。
【0171】
例えば、ポーズ情報１を有する第１キャリブレーションプレートは、目標レーダポイントクラウドデータ１に対応し、ポーズ情報２を有する第１キャリブレーションプレートは、目標レーダポイントクラウドデータ２に対応し、以下同様に、ｎ個のマッチング関係を有している。最初の３つのマッチング関係に基づいて、候補外部パラメータ１を決定し、最初の４つのマッチング関係に基づいて、候補外部パラメータ２を決定し、最初の２つのマッチング関係、及び４つ目のマッチング関係に基づいて、候補外部パラメータ３を決定することなどして、複数の候補外部パラメータを決定することができる。
【0172】
上記決定された複数の候補外部パラメータのうち投影効果が最も好ましい１つの候補外部パラメータを前記レーダと前記カメラとの間の目標外部パラメータとして決定する。
【0173】
上記実施例において、複数のマッチング関係のそれぞれに基づいて、レーダとカメラとの間の候補外部パラメータを決定し、複数の候補外部パラメータから、投影効果が最も好ましい１つの候補外部パラメータをレーダとカメラとの間の目標外部パラメータとして選択することで、レーダとカメラとの間の目標外部パラメータの精度が向上する。
【0174】
幾つかの選択可能な実施例において、例えば、図２０に示すように、ステップ１０３は、更に下記のステップを含むことができる。
【0175】
ステップ１０３－２１において、前記レーダによって、候補外部パラメータのそれぞれに基づいて、前記第１キャリブレーションプレートに対して投影を行い、第１画像のいずれか１つに投影して１セットの投影データを生成する。
【0176】
例えば、図２１Ａに示すように、カメラ座標系において、レーダとカメラとの間の各候補外部パラメータ、カメラ内部パラメータの行列、及びレーダポイントクラウドデータを乗算することで、レーダポイントクラウドデータを第１画像のいずれか１つに投影し、１セットの投影データを取得することができる。当該レーダポイントクラウドデータは、前に収集された複数セットのレーダポイントクラウドデータの中の１セットであっても、新たに収集されたレーダポイントクラウドデータであってもよい。引き続きより好適に比較するために、収集された目標には、第１キャリブレーションプレートが含まれる必要がある。
【0177】
ステップ１０３－２２において、複数セットの投影データにおいて、投影が前記第１画像とのマッチング度が最も高い１セットの投影データを目標投影データとして決定する。
【0178】
複数セットの投影データにおいて、投影が第１画像とのマッチング度が最も高い１セットの投影データを目標投影データとして決定する。例えば、それぞれ第１画像に投影して得られた２セットの投影データのうち、例えば、図２１Ａ及び図２１Ｂに示すように、図２１Ａの投影効果が図２１Ｂの投影効果よりも好ましいので、図２１Ａに対応する投影データは、目標投影データである。
【0179】
ステップ１０３－２３において、前記目標投影データに対応する候補外部パラメータを前記レーダと前記カメラとの間の目標外部パラメータとして決定する。
【0180】
目標投影データに対応する候補外部パラメータは、レーダとカメラとの間の目標外部パラメータである。
【0181】
上記実施例において、投影効果により複数の候補外部パラメータを検証して、投影効果が最も良い候補外部パラメータを最終的な目標外部パラメータとすることができ、レーダとカメラとの間の目標外部パラメータの精度が向上する。
【0182】
幾つかの選択可能な実施例において、上記レーダとカメラとが車両に配備することができ、レーダには、レーザーレーダが用いられ、任意的に、車両の異なる位置にレーダとカメラとを同時に配備することができ、例えば、図２２に示すように、車両の前方、後方、フロントガラスなどの位置のいずれにもレーダ２２２０とカメラ２２１０とを配備することができる。カメラ２２１０の第１内部パラメータが決定された後、改めてレーダ２２２０とカメラ２２１０との間の目標外部パラメータを決定する必要があれば、直接予めキャリブレーションされた第１内部パラメータを取得して、目標外部パラメータを迅速に決定することができるとともに、レーダ２２２０とカメラ２２１０との間の目標外部パラメータの精度が向上する。
【0183】
本発明の実施例に係る上記方法は、手動運転又は自動運転乗り物、例えば、飛行機、車両、ドローン、無人自動車、ロボットなどの機器・設備に用いることができる。車両を例に取ると、レーダとカメラの２つのセンサがセンターコンソールの上、フロントガラスの近くに配置することができる。車両の移動により、レーダとカメラの少なくとも一方の姿勢が変化することになり、その時、レーダとカメラとの間の外部パラメータを改めてキャリブレーションする必要がある。フロントガラスによる光線の屈折などの影響により、その前にキャリブレーションされたカメラの内部パラメータが使用中正確でなくなり、更にレーダとカメラとの間の外部パラメータの精度に影響を及ぼす。
【0184】
本発明の実施例において、直接予めキャリブレーションされたカメラの第１内部パラメータ、及びカメラによって収集された複数の第１画像に基づいて、異なるポーズ情報を有する第１キャリブレーションプレートのカメラに対する外部パラメータを決定し、そして、異なる位置情報を有する第１キャリブレーションプレートの複数セットのレーダポイントクラウドデータを取得し、前記異なるポーズ情報を有する前記第１キャリブレーションプレートの、前記カメラに対する外部パラメータ、及び前記複数セットのレーダポイントクラウドデータに基づいて、最終的に、レーザーレーダとカメラとの間の目標外部パラメータを決定することができる。レーザーレーダとカメラとの間の目標外部パラメータを迅速に決定することができ、有用性が高い。
【0185】
幾つかの選択可能な実施例において、レーダが、車両のフロントバンパーに、カメラが、車両のバックミラーに配置され、例えば、図２３に示すように、第１キャリブレーションプレート２３３１は、レーダ２３２０とカメラ２３１０との共通視野範囲内に位置し、第１キャリブレーションプレートは、地面に固定しても、又は作業員の手で持つなどしてもよい。
【0186】
カメラ２３１０は、第１内部パラメータをキャリブレーションする場合、第１キャリブレーションプレート２３３１が含まれる複数の第１画像を利用すれば、レーダ２３２０とカメラ２３１０が同一の水平面にないため、カメラ２３１０は地面から遠く、複数の第１画像において、第１キャリブレーションプレート２３３１が第１画像の一部しか占めていない可能性があり、この場合、複数の第１画像に基づいてキャリブレーションされたカメラ２３１０の内部パラメータの精度が低い。
【0187】
本発明の実施例において、カメラ２３１０の視野範囲内に位置し且つカメラ２３１０に近い第２キャリブレーションプレート２３３２によって、カメラの内部パラメータのキャリブレーションを行うことができ、第２キャリブレーションプレート２３３２と前記カメラ２３１０との間の水平距離が、前記第１キャリブレーションプレート２３３１と前記カメラ２３１０との間の水平距離よりも小さく、第２キャリブレーションプレート２３３２は車両に固定してもよく、この場合、収集された第２画像には、第２キャリブレーションプレート２３３２全体が含まれてもよく、更に、相対的正確なカメラ２３１０の第１内部パラメータが得られる。
【0188】
上記実施例において、カメラ２３１０とレーダ２３２０が車両に配置され、カメラ２３１０の地面に対する距離は、レーダ２３２０の地面に対する距離よりも大きく、第２キャリブレーションプレート２３３２とカメラ２３１０との間の水平距離は、第１キャリブレーションプレート２３３１とカメラ２３１０との間の水平距離よりも小さく、カメラ２３１０によって収集された複数の第２画像には、第２キャリブレーションプレート２３３２全体が含まれ、これにより、カメラの内部パラメータをキャリブレーションする精度が向上する。
【0189】
上記方法実施例に対応し、本発明は、装置の実施例を更に提供する。
【0190】
図２４に示すように、図２４は、本発明の１つの例示的な実施例に係るセンサキャリブレーション装置のブロック図である。第１キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、装置は、前記カメラによって、前記第１キャリブレーションプレートのポーズ情報が異なる複数の第１画像を収集するための第１収集モジュール２１０と、予めキャリブレーションされた前記カメラの第１内部パラメータを取得し、前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するための第１決定モジュール２２０と、前記各ポーズでの前記第１キャリブレーションプレートの複数セットのレーダポイントクラウドデータを取得し、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するための第２決定モジュール２３０と、を備える。
【0191】
幾つかの選択可能な実施例において、前記装置は、前記センサの初回キャリブレーションに応じて、前記カメラをキャリブレーションして前記カメラの前記第１内部パラメータを取得するためのキャリブレーションモジュールを更に備え、前記第１決定モジュールは、前記センサの再度キャリブレーションに応じて、前記センサの初回キャリブレーションで取得された前記カメラの前記第１内部パラメータを取得するための取得サブモジュールを備える。
【0192】
幾つかの選択可能な実施例において、第２キャリブレーションプレートは、前記カメラの視野範囲内に位置し、前記キャリブレーションモジュールは、前記カメラによって、前記第２キャリブレーションプレートのポーズ情報が異なる複数の第２画像を収集するための収集サブモジュールと、前記複数の第２画像に基づいて、前記カメラの複数の第１候補内部パラメータをそれぞれ決定し、前記複数の第１候補内部パラメータのうちの１つの第１候補内部パラメータを前記第１内部パラメータとして決定するための第１決定サブモジュールであって、前記第２画像のそれぞれは、1つの第１候補内部パラメータに対応する第１決定サブモジュールと、を備える。
【0193】
幾つかの選択可能な実施例において、前記第１決定サブモジュールは、前記カメラによって、前記複数の第１候補内部パラメータのそれぞれに従い、カメラ座標系におけるプリセット点をピクセル座標系に投影し、前記ピクセル座標系における前記プリセット点の複数の第１座標値を取得するための投影手段と、第１候補内部パラメータごとに、検証画像における前記プリセット点の第２座標値を取得し、第２座標値に対応する第１座標値を決定して、対応関係を有する座標対を取得するための第１決定手段であって、前記検証画像は、前記複数の第２画像のうちの１つ又は複数の第２画像である第１決定手段と、第１候補内部パラメータごとに、当該第１候補内部パラメータに含まれる座標対における第１座標値と第２座標値との間の距離を決定し、前記複数の第１候補内部パラメータのうち、距離が最も小さい第１候補内部パラメータを前記カメラの第１内部パラメータとして決定するための第２決定手段と、を備える。
【0194】
幾つかの選択可能な実施例において、前記第１決定モジュールは、前記複数の第１画像のうちの第１画像ごとに、前記第１内部パラメータに基づいて、当該第１画像に対し歪み除去処理を行い、当該第１画像に対応する第３画像を取得するための歪み除去サブモジュールと、複数の前記第３画像に基づいて、前記カメラの第２内部パラメータを決定するための第２決定サブモジュールと、複数の前記第３画像及び前記カメラの第２内部パラメータに基づいて、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するための第３決定サブモジュールと、を備える。
【0195】
幾つかの選択可能な実施例において、前記第３決定サブモジュールは、前記第３画像のそれぞれに対応するホモグラフィ行列をそれぞれ決定するための第３決定手段と、前記カメラの第２内部パラメータ及び複数のホモグラフィ行列に基づいて、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するための第４決定手段と、を備える。
【0196】
幾つかの選択可能な実施例において、前記第２決定モジュールは、各ポーズでの第１キャリブレーションプレートごとに、当該第１キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおける前記レーダポイントクラウドデータのうち、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定するための第４決定サブモジュールと、複数セットの前記目標レーダポイントクラウドデータのそれぞれと前記各ポーズでの前記第１キャリブレーションプレートとの間のマッチング関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するための第５決定サブモジュールと、備える。
【0197】
幾つかの選択可能な実施例において、前記第４決定サブモジュールは、当該第１キャリブレーションプレートの前記カメラに対する前記外部パラメータ、及び前記レーダと前記カメラとの間の前記外部パラメータの参照値に基づいて、前記第１キャリブレーションプレートの所在する候補位置を決定するための第５決定手段と、前記候補位置に基づいて、当該ポーズにおける前記レーダポイントクラウドデータにおいて前記第１キャリブレーションプレートの所在する目標平面を決定するための第６決定手段と、当該ポーズにおける前記レーダポイントクラウドデータに対応する前記目標平面において、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定するための第７決定手段と、を備える。
【0198】
幾つかの選択可能な実施例において、前記第６決定手段は、当該ポーズにおける前記レーダポイントクラウドデータにおいて、２つ以上の第１レーダグループを決定し、第１レーダグループごとに、対応する第１平面を決定するための第１決定サブ手段であって、前記第１レーダグループのそれぞれは、ランダムに選択された、前記候補位置に対応する領域内に位置する複数の第１レーダポイントを含み、前記第１レーダグループごとに対応する第１平面は、当該第１レーダグループの複数の第１レーダポイントを含む第１決定サブ手段と、前記第１平面ごとに、当該ポーズにおける前記レーダポイントクラウドデータにおける前記複数の第１レーダポイント以外の別のレーダポイントから前記第１平面までの距離を決定するための第２決定サブ手段と、前記第１平面ごとに、前記別のレーダポイントのうち前記距離が閾値よりも小さいレーダポイントを第２レーダポイントとし、前記第２レーダポイントを前記第１平面に含まれるレーダポイントとして決定するための第３決定サブ手段と、前記２つ以上の前記第１平面のうち、含まれるレーダポイントの数が最も多い１つの第１平面を前記目標平面とするための第４決定サブ手段と、を備える。
【0199】
幾つかの選択可能な実施例において、前記第７決定手段は、前記目標平面において、当該第１キャリブレーションプレートの寸法に基づいて、初期の第１円形領域を決定するための第５決定サブ手段と、前記レーダポイントクラウドデータにおいて、前記初期の第１円形領域内に位置するいずれか１つのレーダポイントを第１円形領域の第１円心としてランダムに選択することにより、前記レーダポイントクラウドデータにおける前記第１円形領域の位置を決定するための選定サブ手段と、前記第１円心を始点とし、前記レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイントを終点として、複数の第１ベクトルをそれぞれ取得するための第６決定サブ手段と、前記複数の第１ベクトルを加算して第２ベクトルを取得するための第７決定サブ手段と、前記第２ベクトルに基づいて、当該第１キャリブレーションプレートの目標中心位置を決定するための第８決定サブ手段と、当該第１キャリブレーションプレートの前記目標中心位置、及び前記第１キャリブレーションプレートの寸法に基づいて、前記レーダポイントクラウドデータのうち、当該第１キャリブレーションプレートにマッチングする１セットの前記目標レーダポイントクラウドデータを決定するための第９決定サブ手段と、を備える。
【0200】
幾つかの選択可能な実施例において、前記第８決定サブ手段は、前記第２ベクトルの終点を第２円心として、前記第２円心、及び当該第１キャリブレーションプレートの寸法に基づいて、第２円形領域を決定し、前記第２円心を始点とし、前記レーダポイントクラウドデータにおいて前記第２円形領域内に位置する複数の第４レーダポイントを終点として、複数の第３ベクトルをそれぞれ決定し、前記複数の第３ベクトルを加算して第４ベクトルを取得し、前記第４ベクトルのベクトル値がプリセット値に収束したか否かを判定し、前記第４ベクトルのベクトル値が前記プリセット値に収束したことに応じて、収束した前記第４ベクトルに対応する第２円心を当該第１キャリブレーションプレートの候補中心位置とし、前記候補中心位置と当該第１キャリブレーションプレートの中心位置とが重なり合うことに応じて、前記候補中心位置を前記目標中心位置とする。
【0201】
幾つかの選択可能な実施例において、前記第８決定サブ手段は、更に、前記第４ベクトルのベクトル値が前記プリセット値に収束していないことに応じて、収束していない前記第４ベクトルの終点を前記第２円心として、前記複数の第３ベクトルを再決定し、前記第４ベクトルを再決定する。
【0202】
幾つかの選択可能な実施例において、前記第８決定サブ手段は、更に、前記候補中心位置と当該第１キャリブレーションプレートの前記中心位置とが重なり合っていないことに応じて、前記候補中心位置を再決定する。
【0203】
幾つかの選択可能な実施例において、前記第５決定サブモジュールは、３以上の整数であるｇ個のマッチング関係に基づいて、前記レーダと前記カメラとの間の１つの候補外部パラメータを決定し、前記レーダと前記カメラとの間の複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の前記目標外部パラメータを決定するための第８決定手段を備える。
【0204】
幾つかの選択可能な実施例において、前記第８決定手段は、前記レーダによって、候補外部パラメータのそれぞれに基づいて、前記第１キャリブレーションプレートに対して投影を行い、前記第１画像のいずれか１つに投影して１セットの投影データを生成するための第１０決定サブ手段と、複数セットの投影データにおいて、投影が当該第１画像とのマッチング度が最も高い１セットの投影データを目標投影データとして決定するための第１１決定サブ手段と、前記目標投影データに対応する候補外部パラメータを前記レーダと前記カメラとの間の目標外部パラメータとして決定するための第１２決定サブ手段と、を備える。
【0205】
幾つかの選択可能な実施例において、前記レーダと前記カメラとは、車両に配備され、前記レーダは、レーザーレーダである。
【0206】
幾つかの選択可能な実施例において、第２キャリブレーションプレートは、前記カメラの視野範囲内に位置し、前記第２キャリブレーションプレートは、前記カメラの前記第１内部パラメータをキャリブレーションし、前記カメラの地面に対する距離は、前記レーダの地面に対する距離よりも大きく、前記第２キャリブレーションプレートと前記カメラとの間の水平距離は、前記第１キャリブレーションプレートと前記カメラとの間の水平距離よりも小さく、前記複数の第２画像は、前記第２キャリブレーションプレート全体を含む。
【0207】
幾つかの選択可能な実施例において、前記第１画像は、前記第１キャリブレーションプレート全体を含み、前記レーダポイントクラウドデータは、前記第１キャリブレーションプレート全体に基づいて取得されたポイントクラウドデータを含む。
【0208】
装置実施例は、方法実施例に基本的に対応するため、その関連箇所が方法実施例部分の説明を参照すればよい。上述した装置実施例は、単に例示であり、その中、分離部品として説明される手段が物理的に分離されるものであってもよくでなくてもよい。また、手段として表示される部品は、物理手段であってもでなくてもよい。更に、それらの手段は、１箇所に位置してもよく、複数のネットワークセルに分散してもよい。実際の需要に応じてその中の一部又は全部のモジュールを選択して本発明の技術案の目的を果たすことが可能である。当業者は、進歩性に値する労働をせずに、理解して実施可能である。
【0209】
本発明の実施例は、コンピュータ可読記憶媒体を更に提供する。記憶媒体には、コンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに上記何れか１つのセンサキャリブレーション方法を実施させる。ただし、前記コンピュータ可読記憶媒体は、不揮発性記憶媒体であってもよい。
【0210】
幾つかの選択可能な実施例において、本発明の実施例は、コンピュータプログラム製品を提供する。当該コンピュータプログラム製品は、コンピュータ可読コードを含み、コンピュータ可読コードが機器で運転されたときに、前記機器に上記何れか１つの実施例に供されるセンサキャリブレーション方法を実施するための指令を実行させる。
【0211】
幾つかの選択可能な実施例において、本発明の実施例は、別の種類のコンピュータプログラム製品を提供する。当該コンピュータプログラム製品は、コンピュータ可読指令を記憶し、指令が実行されたときに、コンピュータに上記何れか１つの実施例に供されるセンサキャリブレーション方法の操作を実施させる。
【0212】
当該コンピュータプログラム製品は、具体的にハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。ある好適な実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化されてもよく、別の好適な実施例において、コンピュータプログラム製品は、ソフトウェア製品、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）等として具現化される。
【0213】
本発明の実施例は、センサキャリブレーション装置を更に提供する。当該センサキャリブレーション装置は、プロセッサと、プロセッサの実行可能指令を記憶するためのメモリとを備え、プロセッサは、前記実行可能指令を呼び出すことにより、上記何れか一項に記載のセンサキャリブレーション方法を実施するように構成される。
【0214】
図２５は、本発明の実施例に係るセンサキャリブレーション装置のハードウェア構造模式図である。当該センサキャリブレーション装置３１０は、プロセッサ３１１を備え、入力装置３１２、出力装置３１３、メモリ３１４及びバス３１５も備えてもよい。当該入力装置３１２、出力装置３１３、メモリ３１４及びプロセッサ３１１は、バス３１５を介して互いに接続されている。
【0215】
メモリは、ランダムメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＥＰＲＯＭ）、又は携帯型読み出し専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）を含むが、それらに限定されない。当該メモリは、関連する指令及びデータを記憶する。
【0216】
入力装置は、データ及び／又は信号を入力し、出力装置は、データ及び／又は信号を出力する。出力装置と入力装置は、それぞれ独立するデバイスであってもよく、１つのデバイス全体であってもよい。
【0217】
プロセッサは、１つ又は複数のプロセッサを含んでもよく、例えば、１つ又は複数の中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）を含む。プロセッサが１つのＣＰＵである場合に、当該ＣＰＵは、シングルコアＣＰＵであってもよく、マルチコアＣＰＵであってもよい。
【0218】
プロセッサは、当該メモリにおけるプログラムコード及びデータを呼び出して上記方法実施例におけるステップを実行する。詳細は、方法実施例における記述を参照すればよいため、ここで繰り返して説明しない。
【0219】
理解できるように、図２５は、単に１種のセンサキャリブレーション装置の簡素化設計を示す。実際の応用において、センサキャリブレーション装置は、必要な他の素子をそれぞれ含んでもよく、任意数の入力／出力装置、プロセッサ、コントローラ、メモリ等を含むが、それらに限定されない。本発明の実施例を実現可能な如何なるセンサキャリブレーション装置も本発明の保護範囲内に含まれる。
【0220】
幾つかの実施例において、本発明の実施例に係る装置が有する機能や備えるモジュールは、上記方法実施例に記述された方法を実行してもよい。その具体的な実施は、上記方法実施例の記述を参照すればよい。簡素化のために、ここで繰り返して説明しない。
【0221】
本発明の実施例は、キャリブレーションシステムを更に提供する。前記キャリブレーションシステムは、カメラ、レーダ及び第１キャリブレーションプレートを備える。前記第１キャリブレーションプレートは、前記カメラと前記レーダとの共通視野範囲内に位置し、前記第１キャリブレーションプレートの異なる収集時点におけるポーズ情報は、異なる。
【0222】
当業者は、明細書を考慮してここで開示された本発明を実践した後、本発明の他の実施案を容易に想到し得る。本発明は、本発明の如何なる変形、用途又は適応的変化もカバーすることを意図する。これらの変形、用途又は適応的変化は、本発明の一般的な原理に従い、本発明に開示されていない当分野における公知常識或いは慣用技術手段を含む。明細書及び実施例は、単に例示と見なされ、本発明の真の範囲及び要旨は、請求項から与えられる。
【0223】
上述したのは、本発明の好適な実施例に過ぎず、本発明を制限するためのものではない。本発明の精神及び原則内でなされた如何なる変更、均等物による置換、改良等も、本発明の保護範囲内に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21A】
【図21B】
【図22】
【図23】
【図24】
【図25】
【手続補正書】
【提出日】2021-05-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
センサキャリブレーション方法であって、センサは、レーダとカメラとを含み、第１キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、
前記カメラによって、前記第１キャリブレーションプレートのポーズ情報が異なる複数の第１画像を収集するステップと、
予めキャリブレーションされた前記カメラの第１内部パラメータを取得するステップと、
前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するステップと、
前記各ポーズでの前記第１キャリブレーションプレートの複数セットのレーダポイントクラウドデータを取得するステップと、
前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップと、を含むことを特徴とするセンサキャリブレーション方法。
【請求項2】
前記予めキャリブレーションされた前記カメラの第１内部パラメータを取得する前に、前記センサキャリブレーション方法は、前記センサの初回キャリブレーションに応じて、前記カメラをキャリブレーションして前記カメラの前記第１内部パラメータを取得するステップを更に含み、前記予めキャリブレーションされた前記カメラの第１内部パラメータを取得するステップは、
前記センサの再度キャリブレーションに応じて、前記センサの初回キャリブレーションで取得された前記カメラの前記第１内部パラメータを取得することを含み、
及び／又は、
前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するステップは、
前記複数の第１画像のうちの第１画像ごとに、前記第１内部パラメータに基づいて、当該第１画像に対し歪み除去処理を行い、当該第１画像に対応する第３画像を取得することと、
複数の前記第３画像に基づいて、前記カメラの第２内部パラメータを決定することと、
複数の前記第３画像及び前記カメラの第２内部パラメータに基づいて、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定することと、を含む
ことを特徴とする請求項１に記載のセンサキャリブレーション方法。
【請求項3】
第２キャリブレーションプレートは、前記カメラの視野範囲内に位置し、前記カメラをキャリブレーションして前記カメラの前記第１内部パラメータを取得するステップは、
前記カメラによって、前記第２キャリブレーションプレートのポーズ情報が異なる複数の第２画像を収集することと、
前記複数の第２画像に基づいて、前記カメラの複数の第１候補内部パラメータをそれぞれ決定し、前記第２画像のそれぞれは、1つの第１候補内部パラメータに対応することと、
前記複数の第１候補内部パラメータのうちの１つの第１候補内部パラメータを前記第１内部パラメータとして決定することと、を含み、
及び／又は、
前記複数の前記第３画像及び前記カメラの第２内部パラメータに基づいて、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定することは、
前記第３画像のそれぞれに対応するホモグラフィ行列をそれぞれ決定することと、
前記カメラの第２内部パラメータ及び複数のホモグラフィ行列に基づいて、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定することと、を含む
ことを特徴とする請求項２に記載のセンサキャリブレーション方法。
【請求項4】
前記複数の第１候補内部パラメータのうちの１つの第１候補内部パラメータを前記第１内部パラメータとして決定することは、前記カメラによって、前記複数の第１候補内部パラメータのそれぞれに従い、カメラ座標系におけるプリセット点をピクセル座標系に投影し、前記ピクセル座標系における前記プリセット点の複数の第１座標値を取得することと、
第１候補内部パラメータごとに、検証画像における前記プリセット点の第２座標値を取得し、第２座標値に対応する第１座標値を決定して、対応関係を有する座標対を取得し、前記検証画像は、前記複数の第２画像のうちの１つ又は複数の第２画像であることと、
第１候補内部パラメータごとに、当該第１候補内部パラメータに含まれる座標対における第１座標値と第２座標値との間の距離を決定することと、
前記複数の第１候補内部パラメータのうち、距離が最も小さい第１候補内部パラメータを前記カメラの第１内部パラメータとして決定することと、を含み、
及び／又は、
前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するステップは、
各ポーズでの第１キャリブレーションプレートごとに、当該第１キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおける前記レーダポイントクラウドデータのうち、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することと、
複数セットの前記目標レーダポイントクラウドデータのそれぞれと前記各ポーズでの前記第１キャリブレーションプレートとの間のマッチング関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定することと、を含む
ことを特徴とする請求項３に記載のセンサキャリブレーション方法。
【請求項5】
当該第１キャリブレーションプレートの前記カメラに対する外部パラメータ、及び前記レーダと前記カメラとの間の外部パラメータの参照値に基づいて、当該ポーズにおける前記レーダポイントクラウドデータのうち、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することは、当該第１キャリブレーションプレートの前記カメラに対する前記外部パラメータ、及び前記レーダと前記カメラとの間の前記外部パラメータの参照値に基づいて、前記第１キャリブレーションプレートの所在する候補位置を決定することと、
前記候補位置に基づいて、当該ポーズにおける前記レーダポイントクラウドデータにおいて前記第１キャリブレーションプレートの所在する目標平面を決定することと、
当該ポーズにおける前記レーダポイントクラウドデータに対応する前記目標平面において、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することと、を含み、
及び／又は、
前記複数セットの前記目標レーダポイントクラウドデータのそれぞれと、前記各ポーズでの前記第１キャリブレーションプレートとの間のマッチング関係に基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定することは、
３以上の整数であるｇ個のマッチング関係に基づいて、前記レーダと前記カメラとの間の１つの候補外部パラメータを決定することと、
前記レーダと前記カメラとの間の複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の前記目標外部パラメータを決定することと、を含む
ことを特徴とする請求項４に記載のセンサキャリブレーション方法。
【請求項6】
前記候補位置に基づいて、当該ポーズにおける前記レーダポイントクラウドデータにおいて、前記第１キャリブレーションプレートの所在する目標平面を決定することは、当該ポーズにおける前記レーダポイントクラウドデータにおいて、２つ以上の第１レーダグループを決定し、前記第１レーダグループのそれぞれは、ランダムに選択された、前記候補位置に対応する領域内に位置する複数の第１レーダポイントを含むことと、
第１レーダグループごとに、対応する第１平面を決定し、前記第１レーダグループごとに対応する第１平面は、当該第１レーダグループの複数の第１レーダポイントを含むことと、
前記第１平面ごとに、当該ポーズにおける前記レーダポイントクラウドデータにおける前記複数の第１レーダポイント以外の別のレーダポイントから前記第１平面までの距離を決定することと、
前記第１平面ごとに、前記別のレーダポイントのうち前記距離が閾値よりも小さいレーダポイントを第２レーダポイントとすることと、
前記第１平面ごとに、前記第２レーダポイントを前記第１平面に含まれるレーダポイントとして決定することと、
前記２つ以上の前記第１平面のうち、含まれるレーダポイントの数が最も多い１つの第１平面を前記目標平面とすることと、を含み、
及び／又は、
当該ポーズにおける前記レーダポイントクラウドデータに対応する前記目標平面において、当該第１キャリブレーションプレートにマッチングする１セットの目標レーダポイントクラウドデータを決定することは、
前記目標平面において、当該第１キャリブレーションプレートの寸法に基づいて、初期の第１円形領域を決定することと、
前記レーダポイントクラウドデータにおいて、前記初期の第１円形領域内に位置するいずれか１つのレーダポイントを第１円形領域の第１円心としてランダムに選択することにより、前記レーダポイントクラウドデータにおける前記第１円形領域の位置を決定することと、
前記第１円心を始点とし、前記レーダポイントクラウドデータにおいて前記第１円形領域内に位置する複数の第３レーダポイントを終点として、複数の第１ベクトルをそれぞれ取得することと、
前記複数の第１ベクトルを加算して第２ベクトルを取得することと、
前記第２ベクトルに基づいて、当該第１キャリブレーションプレートの目標中心位置を決定することと、
当該第１キャリブレーションプレートの前記目標中心位置、及び前記第１キャリブレーションプレートの寸法に基づいて、前記レーダポイントクラウドデータのうち、当該第１キャリブレーションプレートにマッチングする１セットの前記目標レーダポイントクラウドデータを決定することと、を含む
ことを特徴とする請求項５に記載のセンサキャリブレーション方法。
【請求項7】
前記第２ベクトルに基づいて、当該第１キャリブレーションプレートの目標中心位置を決定することは、前記第２ベクトルの終点を第２円心として、前記第２円心、及び当該第１キャリブレーションプレートの寸法に基づいて、第２円形領域を決定することと、
前記第２円心を始点とし、前記レーダポイントクラウドデータにおいて前記第２円形領域内に位置する複数の第４レーダポイントを終点として、複数の第３ベクトルをそれぞれ決定することと、
前記複数の第３ベクトルを加算して第４ベクトルを取得することと、
前記第４ベクトルのベクトル値がプリセット値に収束したか否かを判定することと、
前記第４ベクトルのベクトル値が前記プリセット値に収束したことに応じて、収束した前記第４ベクトルに対応する第２円心を当該第１キャリブレーションプレートの候補中心位置とすることと、
前記候補中心位置と当該第１キャリブレーションプレートの中心位置とが重なり合うことに応じて、前記候補中心位置を前記目標中心位置とすることと、
前記候補中心位置と当該第１キャリブレーションプレートの前記中心位置とが重なり合っていないことに応じて、前記候補中心位置を再決定することとを、更に含むことを特徴とする請求項６に記載のセンサキャリブレーション方法。
【請求項8】
前記レーダと前記カメラとの間の複数の候補外部パラメータに基づいて、前記レーダと前記カメラとの間の前記目標外部パラメータを決定することは、前記レーダによって、候補外部パラメータのそれぞれに基づいて、前記第１キャリブレーションプレートに対して投影を行い、前記第１画像のいずれか１つに投影して１セットの投影データを生成することと、
複数セットの投影データにおいて、投影が当該第１画像とのマッチング度が最も高い１セットの投影データを目標投影データとして決定することと、
前記目標投影データに対応する候補外部パラメータを前記レーダと前記カメラとの間の目標外部パラメータとして決定することと、を含むことを特徴とする請求項５に記載のセンサキャリブレーション方法。
【請求項9】
前記レーダと前記カメラとは、車両に配備され、前記レーダは、レーザーレーダであり、
及び／又は、
前記第１画像は、前記第１キャリブレーションプレート全体を含み、前記レーダポイントクラウドデータは、前記第１キャリブレーションプレート全体に基づいて取得されたポイントクラウドデータを含む
ことを特徴とする請求項１～８の何れか一項に記載のセンサキャリブレーション方法。
【請求項10】
前記カメラの前記第１内部パラメータをキャリブレーションするための第２キャリブレーションプレートは、前記カメラの視野範囲内に位置し、前記カメラの地面に対する距離は、前記レーダの地面に対する距離よりも大きく、
前記第２キャリブレーションプレートと前記カメラとの間の水平距離は、前記第１キャリブレーションプレートと前記カメラとの間の水平距離よりも小さく、
前記複数の第２画像は、前記第２キャリブレーションプレート全体を含むことを特徴とする請求項９に記載のセンサキャリブレーション方法。
【請求項11】
センサキャリブレーション装置であって、センサは、レーダとカメラとを含み、第１キャリブレーションプレートは、前記レーダと前記カメラとの共通視野範囲内に位置し、
前記カメラによって、前記第１キャリブレーションプレートのポーズ情報が異なる複数の第１画像を収集するための第１収集モジュールと、
予めキャリブレーションされた前記カメラの第１内部パラメータを取得し、前記第１内部パラメータ及び前記複数の第１画像に基づいて、各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータを決定するための第１決定モジュールと、
前記各ポーズでの前記第１キャリブレーションプレートの複数セットのレーダポイントクラウドデータを取得し、前記各ポーズでの前記第１キャリブレーションプレートのそれぞれの、前記カメラに対する外部パラメータと、前記複数セットのレーダポイントクラウドデータとに基づいて、前記レーダと前記カメラとの間の目標外部パラメータを決定するための第２決定モジュールと、を備えることを特徴とするセンサキャリブレーション装置。
【請求項12】
コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されたときに、前記プロセッサに請求項１から１０の何れか一項に記載のセンサキャリブレーション方法を実施させることを特徴とするコンピュータ可読記憶媒体。
【請求項13】
センサキャリブレーション装置であって、プロセッサと、
前記プロセッサの実行可能指令を記憶するためのメモリと、を備え、
前記プロセッサは、前記実行可能指令を呼び出すことにより、請求項１から１０の何れか一項に記載のセンサキャリブレーション方法を実施するように構成されることを特徴とするセンサキャリブレーション装置。
【国際調査報告】