ホーム > 特許ランキング > ソニーグループ株式会社
特開2023-177833キャリブレーション装置、キャリブレーション方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177833
(43)【公開日】2023-12-14
(54)【発明の名称】キャリブレーション装置、キャリブレーション方法、及びプログラム
(51)【国際特許分類】
G01S 7/40 20060101AFI20231207BHJP
G01S 13/931 20200101ALI20231207BHJP
G01S 13/86 20060101ALI20231207BHJP
G06T 7/80 20170101ALI20231207BHJP
【ＦＩ】
G01S7/40 126
G01S13/931
G01S13/86
G06T7/80
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022090736
(22)【出願日】2022-06-03
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】松元 利裕
【テーマコード（参考）】
5J070
5L096
【Ｆターム（参考）】
5J070AC04
5J070AC11
5J070AC13
5J070AE07
5J070AF03
5J070BD08
5L096BA04
5L096CA02
5L096DA02
5L096FA06
5L096FA67
5L096FA69
(57)【要約】
【課題】動的環境下で高精度なキャリブレーションを実現することが可能なキャリブレーション装置、キャリブレーション方法、及びプログラムを提供すること。
【解決手段】上記目的を達成するため、本技術の一形態に係るキャリブレーション装置は、算出部と第１の生成部と第２の生成部と実行部とを具備する。算出部は第１及び第２のセンサを搭載した移動体の移動量を算出する。第１の生成部は移動時の第１の時刻における第１のセンサにより取得される第１の検出結果と第２の時刻における第１のセンサにより取得される第２の検出結果と移動量とに基づいて周辺環境における静止物体のエッジに関する第１のエッジ情報を生成する。第２の生成部は第２のセンサにより取得される第３の検出結果に基づいて第２のエッジ情報を生成する。実行部は、第１及び第２のエッジ情報に基づいて第１及び第２のセンサのキャリブレーションを実行する。
【選択図】図１
【解決手段】上記目的を達成するため、本技術の一形態に係るキャリブレーション装置は、算出部と第１の生成部と第２の生成部と実行部とを具備する。算出部は第１及び第２のセンサを搭載した移動体の移動量を算出する。第１の生成部は移動時の第１の時刻における第１のセンサにより取得される第１の検出結果と第２の時刻における第１のセンサにより取得される第２の検出結果と移動量とに基づいて周辺環境における静止物体のエッジに関する第１のエッジ情報を生成する。第２の生成部は第２のセンサにより取得される第３の検出結果に基づいて第２のエッジ情報を生成する。実行部は、第１及び第２のエッジ情報に基づいて第１及び第２のセンサのキャリブレーションを実行する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出する算出部と、
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成する第１の生成部と、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成する第２の生成部と、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行する実行部と
を具備するキャリブレーション装置。
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成する第１の生成部と、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成する第２の生成部と、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行する実行部と
を具備するキャリブレーション装置。
【請求項2】
請求項１に記載のキャリブレーション装置であって、
前記エッジ情報は、前記第１のセンサと前記エッジとの位置関係、前記第２のセンサと前記エッジとの位置関係、及び前記エッジの形状を含む
キャリブレーション装置。
前記エッジ情報は、前記第１のセンサと前記エッジとの位置関係、前記第２のセンサと前記エッジとの位置関係、及び前記エッジの形状を含む
キャリブレーション装置。
【請求項3】
請求項２に記載のキャリブレーション装置であって、
前記エッジ情報は、前記第１のセンサと前記エッジ間との距離、前記第１のセンサと前記エッジ間との相互位置、前記エッジを含む撮影画像、又は前記撮影画像のピクセル上の位置の少なくとも１つを含む
キャリブレーション装置。
前記エッジ情報は、前記第１のセンサと前記エッジ間との距離、前記第１のセンサと前記エッジ間との相互位置、前記エッジを含む撮影画像、又は前記撮影画像のピクセル上の位置の少なくとも１つを含む
キャリブレーション装置。
【請求項4】
請求項２に記載のキャリブレーション装置であって、
前記エッジ情報は、前記第１のセンサ及び前記第２のセンサの移動による視差、又は前記第１のセンサ及び前記第２のセンサの移動による時間積算に基づいて生成される
キャリブレーション装置。
前記エッジ情報は、前記第１のセンサ及び前記第２のセンサの移動による視差、又は前記第１のセンサ及び前記第２のセンサの移動による時間積算に基づいて生成される
キャリブレーション装置。
【請求項5】
請求項１に記載のキャリブレーション装置であって、さらに、
前記第１のエッジ情報及び前記第２のエッジ情報に基づいて、前記エッジをキャリブレーションターゲットとするキャリブレーションターゲット検出部を具備する
キャリブレーション装置。
前記第１のエッジ情報及び前記第２のエッジ情報に基づいて、前記エッジをキャリブレーションターゲットとするキャリブレーションターゲット検出部を具備する
キャリブレーション装置。
【請求項6】
請求項３に記載のキャリブレーション装置であって、さらに、
前記第１のエッジ情報及び前記第２のエッジ情報に基づいて、前記第１のセンサ及び前記第２のセンサ間のキャリブレーションパラメータを算出する算出部を具備する
キャリブレーション装置。
前記第１のエッジ情報及び前記第２のエッジ情報に基づいて、前記第１のセンサ及び前記第２のセンサ間のキャリブレーションパラメータを算出する算出部を具備する
キャリブレーション装置。
【請求項7】
請求項１に記載のキャリブレーション装置であって、
前記キャリブレーションパラメータは、前記第１のセンサの互いに直行する３軸方向の相対位置、及び前記３軸の相対角度に関する６軸のパラメータを少なくとも含む
キャリブレーション装置。
前記キャリブレーションパラメータは、前記第１のセンサの互いに直行する３軸方向の相対位置、及び前記３軸の相対角度に関する６軸のパラメータを少なくとも含む
キャリブレーション装置。
【請求項8】
請求項６に記載のキャリブレーション装置であって、
前記算出部は、前記第１のセンサと前記エッジとの相互位置、及び前記第２のセンサと前記エッジとの相互位置の差分に基づいて、前記キャリブレーションパラメータを算出する
キャリブレーション装置。
前記算出部は、前記第１のセンサと前記エッジとの相互位置、及び前記第２のセンサと前記エッジとの相互位置の差分に基づいて、前記キャリブレーションパラメータを算出する
キャリブレーション装置。
【請求項9】
請求項１に記載のキャリブレーション装置であって、
前記第１のセンサ及び前記第２のセンサは、前記移動体の移動により視差が生じるように前記移動体に搭載される
キャリブレーション装置。
前記第１のセンサ及び前記第２のセンサは、前記移動体の移動により視差が生じるように前記移動体に搭載される
キャリブレーション装置。
【請求項10】
請求項１に記載のキャリブレーション装置であって、
前記第１のセンサ及び前記第２のセンサは、前記移動体の移動方向と直行する方向に向かって照射する
キャリブレーション装置。
前記第１のセンサ及び前記第２のセンサは、前記移動体の移動方向と直行する方向に向かって照射する
キャリブレーション装置。
【請求項11】
請求項１に記載のキャリブレーション装置であって、
前記第１のセンサは、距離及び角度の計測が可能なセンサを含み、
前記第２のセンサは、前記第２のセンサの位相差に基づいて、前記静止物体の前記エッジの角度を推定するセンサを含む
キャリブレーション装置。
前記第１のセンサは、距離及び角度の計測が可能なセンサを含み、
前記第２のセンサは、前記第２のセンサの位相差に基づいて、前記静止物体の前記エッジの角度を推定するセンサを含む
キャリブレーション装置。
【請求項12】
請求項１１に記載のキャリブレーション装置であって、
前記第１のセンサは、ミリ波レーダであり、
前記第２のセンサは、カメラである
キャリブレーション装置。
前記第１のセンサは、ミリ波レーダであり、
前記第２のセンサは、カメラである
キャリブレーション装置。
【請求項13】
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出し、
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成し、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成し、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行する
ことをコンピュータシステムが実行するキャリブレーション方法。
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成し、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成し、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行する
ことをコンピュータシステムが実行するキャリブレーション方法。
【請求項14】
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出するステップと、
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成するステップと、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成するステップと、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行するステップと
をコンピュータシステムに実行させるプログラム。
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成するステップと、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成するステップと、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行するステップと
をコンピュータシステムに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、動的環境下におけるキャリブレーションに適用可能なキャリブレーション装置、キャリブレーション方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、車両の走行中に周囲物体を検出し、カメラとレーザレーダとをそれぞれを使用して、検出された静的物体の特徴を抽出し、抽出された特徴に基づいてカメラとレーザレーダとの外部パラメータをキャリブレーションするセンサーキャリブレーション方法が記載される。これにより、走行中の車両のセンサーキャリブレーションを実現することが図られている（特許文献１の明細書段落［００１３］～［００２５］図１等）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－４７２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような、走行中又は移動中等の動的環境下において、高精度なキャリブレーションを実現することが可能な技術が求められている。
【0005】
以上のような事情に鑑み、本技術の目的は、高精度なキャリブレーションを実現することが可能なキャリブレーション装置、キャリブレーション方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本技術の一形態に係るキャリブレーション装置は、算出部と、第１の生成部と、第２の生成部と、実行部とを具備する。
前記算出部は、第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出する。
前記第１の生成部は、前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成する。
前記第２の生成部は、前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成する。
前記実行部は、前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行する。
前記算出部は、第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出する。
前記第１の生成部は、前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成する。
前記第２の生成部は、前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成する。
前記実行部は、前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行する。
【0007】
このキャリブレーション装置では、第１のセンサ及び第２のセンサを搭載した移動体の移動量と、移動時の第１の時刻における第１のセンサにより取得される第１の検出結果と、第２の時刻における第１のセンサにより取得される第２の検出結果とに基づいて、移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報が生成される。第２のセンサにより取得される第３の検出結果に基づいて、エッジに関する第２のエッジ情報が生成される。第１のエッジ情報と第２のエッジ情報とに基づいて、第１のセンサ及び第２のセンサのキャリブレーションが実行される。
【0008】
前記エッジ情報は、前記第１のセンサと前記エッジとの位置関係、前記第２のセンサと前記エッジとの位置関係、及び前記エッジの形状を含んでもよい。
【0009】
前記エッジ情報は、前記第１のセンサと前記エッジ間との距離、前記第１のセンサと前記エッジ間との相互位置、前記エッジを含む撮影画像、又は前記撮影画像のピクセル上の位置の少なくとも１つを含んでもよい。
【0010】
前記エッジ情報は、前記第１のセンサ及び前記第２のセンサの移動による視差、又は前記第１のセンサ及び前記第２のセンサの移動による時間積算に基づいて生成されてもよい。
【0011】
前記キャリブレーション装置であって、さらに、前記第１のエッジ情報及び前記第２のエッジ情報に基づいて、前記エッジをキャリブレーションターゲットとするキャリブレーションターゲット検出部を具備してもよい。
【0012】
前記キャリブレーション装置であって、さらに、前記第１のエッジ情報及び前記第２のエッジ情報に基づいて、前記第１のセンサ及び前記第２のセンサ間のキャリブレーションパラメータを算出する算出部を具備してもよい。
【0013】
前記キャリブレーションパラメータは、前記第１のセンサの互いに直行する３軸方向の相対位置、及び前記３軸の相対角度に関する６軸のパラメータを少なくとも含んでもよい。
【0014】
前記算出部は、前記第１のセンサと前記エッジとの相互位置、及び前記第２のセンサと前記エッジとの相互位置の差分に基づいて、前記キャリブレーションパラメータを算出してもよい。
【0015】
前記第１のセンサ及び前記第２のセンサは、前記移動体の移動により視差が生じるように前記移動体に搭載されてもよい。
【0016】
前記第１のセンサ及び前記第２のセンサは、前記移動体の移動方向と直行する方向に向かって照射してもよい。
【0017】
前記第１のセンサは、距離及び角度の計測が可能なセンサを含んでもよい。この場合、前記第２のセンサは、前記第２のセンサの位相差に基づいて、前記静止物体の前記エッジの角度を推定するセンサを含んでもよい。
【0018】
前記第１のセンサは、ミリ波レーダであってもよい。この場合、前記第２のセンサは、カメラであってもよい。
【0019】
本技術の一形態に係るキャリブレーション方法は、コンピュータシステムが実行する情報処理方法であって、第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出ことを含む。前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報が生成される。前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報が生成される。前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションが実行される。
【0020】
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出するステップ。
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成するステップ。
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成するステップ。
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行するステップ。
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出するステップ。
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成するステップ。
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成するステップ。
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行するステップ。
【図面の簡単な説明】
【0021】
【図1】キャリブレーション装置を模式的に示す図である。
【図2】キャリブレーション装置の構成例を示すブロック図である。
【図3】キャリブレーションパラメータの算出を示すフローチャートである。
【図4】第２のセンサにより取得された画像データ上でのエッジの位置関係を模式的に示す図である。
【発明を実施するための形態】
【0022】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0023】
図１は、本技術に係るキャリブレーション装置を模式的に示す図である。
【0024】
キャリブレーション装置（図示せず）は、移動体１に搭載された第１のセンサ２及び第２のセンサ３のキャリブレーションを実行する。本実施形態では、移動体１が移動している際に、第１のセンサ２及び第２のセンサ３により周辺環境における静止物体４のエッジ５（図１参照）が検出されることで、キャリブレーションが実行される。
【0025】
第１のセンサ２は、ミリ波帯の電波を照射し、対象物から反射して戻ってくるまでの時間から対象物までの距離を測定することが可能なミリ波レーダである。第２のセンサ３は、静止物体４のエッジ５を撮影可能なカメラである。
【0026】
図１に示すように、第１のセンサ２及び第２のセンサ３は、移動体１の側面に、静止物体４のエッジ５を検出できるように同方向を向いて配置される。
【0027】
本実施形態では、第１のセンサ２から取得される検出結果から、合成開口レーダ（Synthetic Aperture Radar）やＯＧＭ（Occupancy Grid Map）等が用いられることで、静止物体４のエッジ情報が取得される。すなわち、静止物体４のエッジ５がキャリブレーションターゲットとなる。
【0028】
エッジ情報とは、第１のセンサ２と静止物体４のエッジ５との位置関係、第２のセンサ３と静止物体４のエッジ５との位置関係、及びエッジ５の形状を含む情報である。本実施形態では、エッジ情報は、相互距離、相対位置（座標）等のエッジと各センサとの互いの位置情報、エッジの形状情報、エッジを含む撮影画像（画像データ）、及び撮影画像のエッジに関するピクセル上の位置情報を含む。
【0029】
なお、第１のセンサ２は、エッジ情報を取得可能なセンサであればミリ波レーダ以外にも、距離や角度が計測可能なセンサが用いられてもよい。また図１では移動体１の側面のみに設けられているが、これに限定されず、正面や他の側面、後方に設けられてもよい。また第１のセンサ２の数も限定されない。
【0030】
図１に示すように、第１のセンサ２及び第２のセンサ３を搭載した移動体１は、各センサの照射方向と直行する方向（矢印６の方向）へと移動する。本実施形態では、第１のセンサ２及び第２のセンサ３は、移動体１が移動している際に、周辺環境における静止物体のエッジ５ａ、エッジ５ｂ、エッジ５ｃ及びエッジ５ｄを検出する。
【0031】
第１のセンサ２により取得された各エッジのエッジ情報と、第２のセンサ３により取得された各エッジのエッジ情報とに基づいて、第１のセンサ２及び第２のセンサ３のキャリブレーションが実行される。
【0032】
本実施形態では、第１の時刻に第１のセンサ２により取得されたエッジ５ａ及びエッジ５ｂの第１の検出結果と、第２の時刻に第１のセンサ２により取得されたエッジ５ｃ及びエッジ５ｄの第２の検出結果と、移動体１の移動量とに基づいて、エッジ情報が生成される。以下、第１のセンサ２により取得された情報から生成されたエッジ情報を第１のエッジ情報と記載する。
【0033】
同様に第２のセンサ３により、第１の時刻及び第２の時刻にエッジ５ａ、エッジ５ｂ、エッジ５ｃ及びエッジ５ｄが撮影される。撮影された画像データ（第３の検出結果）からエッジ情報が生成される。以下、第２のセンサ３により取得された情報から生成されたエッジ情報を第２のエッジ情報と記載する。
【0034】
キャリブレーション装置は、第１のエッジ情報と第２のエッジ情報とに基づいて、第１のセンサ２及び第２のセンサ３のキャリブレーションを実行する。本実施形態では、第１のセンサ２及び第２のセンサ３の同時刻に検出されたエッジ５ａ、エッジ５ｂ、エッジ５ｃ及びエッジ５ｄの相互位置関係の差分から、第１のセンサ２及び第２のセンサ３間のキャリブレーションパラメータが算出される。
【0035】
また本実施形態では、キャリブレーションの対象となるパラメータは、互いに直行する３軸方向（ＸＹＺ方向）の相対位置と、pitch、yaw、及びrollの３軸の相対角度とを合わせた６軸のパラメータである。
【0036】
図２は、キャリブレーション装置の構成例を示すブロック図である。
【0037】
図２に示すように、キャリブレーション装置１０は、センサ部１１、ターゲット検出部１２、移動量計算部１３、形状計算部１４、キャリブレーションターゲット検出部１５、パラメータ算出部１６、及びキャリブレーション実行部１７を有する。
【0038】
センサ部１１は、第１のセンサ２及び第２のセンサ３を有する。本実施形態では、キャリブレーションの対象である第１のセンサ２及び第２のセンサ３は、移動により視差が生じるように移動体１に配置される。
【0039】
ターゲット検出部１２は、センサ部１１により取得された検出結果から、周辺環境におけるキャリブレーションターゲットの候補を検出する。本実施形態では、移動体１が移動している際にセンサ部１１による検出が複数回行われる。これらの検出により、周辺環境からキャリブレーションターゲットとしての候補として静止物体のエッジが検出される。
【0040】
移動量計算部１３は、センサ部１１の移動量を計算する。本実施形態では、センサ部１１である第１のセンサ２及び第２のセンサ３の移動量が計算される。センサ部１１の移動量を計算する方法は限定されず、移動体１の移動速度や路面の状況等がフィードバックされてもよい。
【0041】
形状計算部１４は、ターゲット検出部１２及び移動量計算部１３の出力に基づいて、ターゲットの形状を計算する。本実施形態では、形状計算部１４は、周辺環境における静止物体のエッジの形状情報を、移動体１の移動による視差、又は時間積算を用いて作成する。例えば、ＳＡＲやＯＧＭ等が用いられてもよい。これ以外にも、他センサとのキャリブレーションに使用可能な周辺環境のエッジや形状情報が得られるのであれば使用されるアルゴリズムは限定されない。
【0042】
キャリブレーションターゲット検出部１５は、形状計算部１４により計算されたターゲットのエッジの形状情報に基づいて、検出されたターゲットをキャリブレーションターゲットとして検出する。本実施形態では、ターゲット（静止物体）の形状やエッジがキャリブレーションターゲットとして検出される。
【0043】
すなわち、キャリブレーションターゲット検出部１５により、静止物体４の各エッジがキャリブレーションターゲットとなり、形状計算部１４により各エッジのエッジ情報が生成される。
【0044】
パラメータ算出部１６は、第１のセンサ２及び第２のセンサ３のキャリブレーションパラメータを算出する。本実施形態では、パラメータ算出部１６は、第１のエッジ情報及び第２のエッジ情報に基づいて、各センサの相対位置と相対角度とを算出することでキャリブレーションパラメータを算出する。
【0045】
キャリブレーション実行部１７は、パラメータ算出部１６により算出されたキャリブレーションパラメータを第１のセンサ２及び第２のセンサ３に反映する。
【0046】
なお、本実施形態において、移動量計算部１３は、第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出する算出部に相当する。
なお、本実施形態において、形状計算部１４は、移動体の移動時の第１の時刻における第１のセンサにより取得される第１の検出結果と、移動体の移動時の第２の時刻における第１のセンサにより取得される第２の検出結果と、移動量とに基づいて、移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成する第１の生成部と、第２のセンサにより取得される第３の検出結果に基づいて、エッジに関する第２のエッジ情報を生成する第２の生成部とに相当する。
なお、本実施形態において、ターゲット検出部１５は、第１のエッジ情報及び第２のエッジ情報に基づいて、エッジをキャリブレーションターゲットとするキャリブレーションターゲット検出部に相当する。
なお、本実施形態において、パラメータ算出部１６は、第１のエッジ情報及び第２のエッジ情報に基づいて、第１のセンサ及び第２のセンサ間のキャリブレーションパラメータを算出する算出部に相当する。
なお、本実施形態において、形状計算部１４は、移動体の移動時の第１の時刻における第１のセンサにより取得される第１の検出結果と、移動体の移動時の第２の時刻における第１のセンサにより取得される第２の検出結果と、移動量とに基づいて、移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成する第１の生成部と、第２のセンサにより取得される第３の検出結果に基づいて、エッジに関する第２のエッジ情報を生成する第２の生成部とに相当する。
なお、本実施形態において、ターゲット検出部１５は、第１のエッジ情報及び第２のエッジ情報に基づいて、エッジをキャリブレーションターゲットとするキャリブレーションターゲット検出部に相当する。
なお、本実施形態において、パラメータ算出部１６は、第１のエッジ情報及び第２のエッジ情報に基づいて、第１のセンサ及び第２のセンサ間のキャリブレーションパラメータを算出する算出部に相当する。
【0047】
図３は、キャリブレーションパラメータの算出を示すフローチャートである。
【0048】
図３に示すように、第１のセンサ２及び第２のセンサ３を搭載した移動体１が移動を開始する（ステップ１０１）。
【0049】
移動体１が移動している際に、第１のセンサ２及び第２のセンサ３により周辺環境の反射データが取得される（ステップ１０２）。本実施形態では、キャリブレーションに必要な情報として、反射データ以外に、第１のセンサ２及び第２のセンサ３により取得されたデータの取得時間、取得された際の位置情報、又は位置の差分情報が取得される。
【0050】
移動体１は移動を繰り替えし（ステップ１０３）、キャリブレーションの処理に必要なデータの取得が完了したか判定される（ステップ１０４）。
【0051】
例えば、図１に示すように、第１のセンサ２は、移動体の移動時の第１の時刻にエッジ５ａ及びエッジ５ｂの反射データ（第１の検出結果）を取得する。また第１のセンサ２は、第２の時刻にエッジ５ｃ及びエッジ５ｄの反射データ（第２の検出結果）を取得する。
【0052】
また例えば、第２のセンサ３は、エッジ５ａ、エッジ５ｂ、エッジ５ｃ及びエッジ５ｄを持つ静止物体４を撮像し、画像データ（第３の検出結果）を取得する。
【0053】
データが十分に取得されていない場合（ステップ１０４のＮＯ）、再度、第１のセンサ２及び第２のセンサ３により周辺環境の反射データが取得される（ステップ１０２）。なおキャリブレーション装置１０は、キャリブレーションパラメータの算出に十分なデータが取得できた場合に、完了と判定してもよい。これ以外にも、取得されたデータに対して信頼度が設定され、信頼度が所定の閾値を超えたデータが十分に取得できた場合に、完了と判定してもよい。
【0054】
データが十分に取得された場合（ステップ１０４のＹＥＳ）、形状計算部１４により、周辺環境のエッジ及びエッジの形状が取得される（ステップ１０５）。取得されたエッジ及びエッジの形状がキャリブレーションターゲットとされ、パラメータ算出部１６により、第１のセンサ２及び第２のセンサ３により検出された、各センサ間のエッジ及びエッジの形状の相互位置関係が算出される（ステップ１０６）。
【0055】
本実施形態では、例えば一例として、領域を格子状に分割し、各格子に割り当てられた確率変数で格子状の反射物の有無を判定するＯＧＭが用いられる。センサの移動に伴う時間積算を用いてＯＧＭのアルゴリズムで設定した領域上の周辺の反射物に位置をプロットし、カメラ（第２のセンサ３）との親和性の高いエッジ情報が取得される。
【0056】
図４は、第２のセンサ３により取得された画像データ上でのエッジの位置関係を模式的に示す図である。
【0057】
図１に示すように、第１のセンサ２及び第２のセンサ３の照射方向と直行する方向（矢印６の方向）に移動体１が移動し、第１のセンサ２により取得されたデータの時間積算によりＯＧＭが実施される。これにより、図１の静止物体４からエッジ５ａ、エッジ５ｂ、エッジ５ｃ及びエッジ５ｄの位置が算出される。
【0058】
また図４に示すように、第２のセンサ３によりエッジ２５ａ、エッジ２５ｂ、エッジ２５ｃ及びエッジ２５ｄを含む静止物体４の画像データが取得される。
【0059】
ＯＧＭ等のアルゴリズムによって得られたエッジ５ａ、エッジ５ｂ、エッジ５ｃ及びエッジ５ｄは、第１のセンサ２の移動方向と照射方向の軸上での相互位置及び相互距離が明確である。これに対し、画像データから得られたエッジ２５ａ、エッジ２５ｂ、エッジ２５ｃ及びエッジ２５ｄの相互位置及び相互距離は明確ではないが、画像データが取得された際の第２のセンサ３の位置と画像データ像のピクセル上での各エッジの相互位置は明確である。
【0060】
すなわち、エッジ５ａ、エッジ５ｂ、エッジ５ｃ及びエッジ５ｄと、エッジ２５ａ、エッジ２５ｂ、エッジ２５ｃ及びエッジ２５ｄと各センサ間との対応関係が算出される（ステップ１０７）。
【0061】
またパラメータ算出部１６により、各エッジの対応関係（マッチング）から各センサの相対位置と相対角度とが算出される（ステップ１０８）。すなわち、エッジ５ａ、エッジ５ｂ、エッジ５ｃ及びエッジ５ｄと、エッジ２５ａ、エッジ２５ｂ、エッジ２５ｃ及びエッジ２５ｄとから計算される各センサの同時刻での相互位置関係の差分から第１のセンサ２及び第２のセンサ３間のキャリブレーションパラメータが算出される。
【0062】
以上、本実施形態に係るキャリブレーション装置１０は、第１のセンサ２及び第２のセンサ３を搭載した移動体１の移動量と、移動時の第１の時刻における第１のセンサ２により取得される第１の検出結果と、第２の時刻における第１のセンサ２により取得される第２の検出結果とに基づいて、移動体１の周辺環境における静止物体４のエッジ５に関する第１のエッジ情報が生成される。第２のセンサ３により取得される第３の検出結果に基づいて、エッジ５に関する第２のエッジ情報が生成される。第１のエッジ情報と第２のエッジ情報とに基づいて、第１のセンサ２及び第２のセンサ３のキャリブレーションが実行される。これにより、高精度なキャリブレーションを実現することが可能となる。
【0063】
従来、ミリ波レーダ及びカメラ等の複数種類のセンサを設置し、情報を組み合わせることで単体のセンサより高い精度を実現することが図られている。しかし、機器の使用中の振動や経年劣化により、センサの位置がずれ、組み合わせた情報の精度が低下してしまう。そのため、静的環境で特殊なキャリブレーションターゲットを用いて高精度なキャリブレーションを行う必要がある。
【0064】
また周辺物をキャリブレーションターゲットに見立て、機器の使用中のセンサ間の相互位置情報を補正し相互にキャリブレーションが行われる場合、事前情報として地図データが必要であり、キャリブレーションの精度はセンサ単体の推定精度に依存する。
【0065】
本技術では、合成開口レーダ（ＳＡＲ）やＯＧＭのように、レーダデータから立体的なエッジを得て、周辺環境のエッジや形状を取得する。そのエッジをキャリブレーションターゲットとすることで、カメラ画像のエッジとの相対位置を算出することで、センサ単体の角度推定精度以上の高精度なキャリブレーションを実行する。すなわち、地図データ等の事前情報を用いず、キャリブレーションターゲットの位置が未知の場合でも、ミリ波レーダ及びカメラ間のキャリブレーションを実行することが可能である。
【0066】
＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【0067】
上記の実施形態では、センサ単体でＸＹＺ軸の検出が可能なセンサのキャリブレーションが実行されたが、これに限定されず、検出可能な座標軸が少ないセンサ間でもキャリブレーションが行われてもよい。この場合、キャリブレーション対象の軸を対象のセンサに合わせて減らしてもよい。また不足している次元の方向の位置の異なるデータが複数回取得され、データの次元数が増やされてもよい。
【0068】
上記の実施形態では、第１のセンサ２にミリ波レーダが用いられた。これに限定されず、時間積算により周辺環境のエッジ及びエッジの形状を検知可能であればレーダ以外のセンサでも上記のキャリブレーションが実施されてもよい。例えば、単フレームの情報では周辺環境の形状を取得できない画像センサの場合、視差と対応するエッジの相対的な位置関係からキャリブレーションが実施される。また、画像センサでも移動視差から任意のアルゴリズムで周辺環境の形状を取得できる場合、エッジだけでなく周辺環境の形状のマッチングからキャリブレーションパラメータが算出可能である。
【0069】
上記の実施形態では、第１のセンサ２及び第２のセンサ３は、移動体（車両）に搭載された。これに限定されず、ドローン等の飛行体にも搭載されてもよい。この場合、飛行体は斜め方向等に移動する場合でも上記のキャリブレーションが実行されてもよい。
【0070】
各図面を参照して説明したターゲット検出部、形状計算部、パラメータ算出部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
【0071】
なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。
【0072】
以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。
【0073】
なお、本技術は以下のような構成も採ることができる。
（１）
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出する算出部と、
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成する第１の生成部と、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成する第２の生成部と、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行する実行部と
を具備するキャリブレーション装置。
（２）（１）に記載のキャリブレーション装置であって、
前記エッジ情報は、前記第１のセンサと前記エッジとの位置関係、前記第２のセンサと前記エッジとの位置関係、及び前記エッジの形状を含む
キャリブレーション装置。
（３）（２）に記載のキャリブレーション装置であって、
前記エッジ情報は、前記第１のセンサと前記エッジ間との距離、前記第１のセンサと前記エッジ間との相互位置、前記エッジを含む撮影画像、又は前記撮影画像のピクセル上の位置の少なくとも１つを含む
キャリブレーション装置。
（４）（２）に記載のキャリブレーション装置であって、
前記エッジ情報は、前記第１のセンサ及び前記第２のセンサの移動による視差、又は前記第１のセンサ及び前記第２のセンサの移動による時間積算に基づいて生成される
キャリブレーション装置。
（５）（１）に記載のキャリブレーション装置であって、さらに、
前記第１のエッジ情報及び前記第２のエッジ情報に基づいて、前記エッジをキャリブレーションターゲットとするキャリブレーションターゲット検出部を具備する
キャリブレーション装置。
（６）（３）に記載のキャリブレーション装置であって、さらに、
前記第１のエッジ情報及び前記第２のエッジ情報に基づいて、前記第１のセンサ及び前記第２のセンサ間のキャリブレーションパラメータを算出する算出部を具備する
キャリブレーション装置。
（７）（１）に記載のキャリブレーション装置であって、
前記キャリブレーションパラメータは、前記第１のセンサの互いに直行する３軸方向の相対位置、及び前記３軸の相対角度に関する６軸のパラメータを少なくとも含む
キャリブレーション装置。
（８）（６）に記載のキャリブレーション装置であって、
前記算出部は、前記第１のセンサと前記エッジとの相互位置、及び前記第２のセンサと前記エッジとの相互位置の差分に基づいて、前記キャリブレーションパラメータを算出する
キャリブレーション装置。
（９）（１）に記載のキャリブレーション装置であって、
前記第１のセンサ及び前記第２のセンサは、前記移動体の移動により視差が生じるように前記移動体に搭載される
キャリブレーション装置。
（１０）（１）に記載のキャリブレーション装置であって、
前記第１のセンサ及び前記第２のセンサは、前記移動体の移動方向と直行する方向に向かって照射する
キャリブレーション装置。
（１１）（１）に記載のキャリブレーション装置であって、
前記第１のセンサは、距離及び角度の計測が可能なセンサを含み、
前記第２のセンサは、前記第２のセンサの位相差に基づいて、前記静止物体の前記エッジの角度を推定するセンサを含む
キャリブレーション装置。
（１２）（１１）に記載のキャリブレーション装置であって、
前記第１のセンサは、ミリ波レーダであり、
前記第２のセンサは、カメラである
キャリブレーション装置。
（１３）
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出し、
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成し、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成し、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行する
ことをコンピュータシステムが実行するキャリブレーション方法。
（１４）
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出するステップと、
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成するステップと、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成するステップと、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行するステップと
をコンピュータシステムに実行させるプログラム。
（１）
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出する算出部と、
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成する第１の生成部と、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成する第２の生成部と、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行する実行部と
を具備するキャリブレーション装置。
（２）（１）に記載のキャリブレーション装置であって、
前記エッジ情報は、前記第１のセンサと前記エッジとの位置関係、前記第２のセンサと前記エッジとの位置関係、及び前記エッジの形状を含む
キャリブレーション装置。
（３）（２）に記載のキャリブレーション装置であって、
前記エッジ情報は、前記第１のセンサと前記エッジ間との距離、前記第１のセンサと前記エッジ間との相互位置、前記エッジを含む撮影画像、又は前記撮影画像のピクセル上の位置の少なくとも１つを含む
キャリブレーション装置。
（４）（２）に記載のキャリブレーション装置であって、
前記エッジ情報は、前記第１のセンサ及び前記第２のセンサの移動による視差、又は前記第１のセンサ及び前記第２のセンサの移動による時間積算に基づいて生成される
キャリブレーション装置。
（５）（１）に記載のキャリブレーション装置であって、さらに、
前記第１のエッジ情報及び前記第２のエッジ情報に基づいて、前記エッジをキャリブレーションターゲットとするキャリブレーションターゲット検出部を具備する
キャリブレーション装置。
（６）（３）に記載のキャリブレーション装置であって、さらに、
前記第１のエッジ情報及び前記第２のエッジ情報に基づいて、前記第１のセンサ及び前記第２のセンサ間のキャリブレーションパラメータを算出する算出部を具備する
キャリブレーション装置。
（７）（１）に記載のキャリブレーション装置であって、
前記キャリブレーションパラメータは、前記第１のセンサの互いに直行する３軸方向の相対位置、及び前記３軸の相対角度に関する６軸のパラメータを少なくとも含む
キャリブレーション装置。
（８）（６）に記載のキャリブレーション装置であって、
前記算出部は、前記第１のセンサと前記エッジとの相互位置、及び前記第２のセンサと前記エッジとの相互位置の差分に基づいて、前記キャリブレーションパラメータを算出する
キャリブレーション装置。
（９）（１）に記載のキャリブレーション装置であって、
前記第１のセンサ及び前記第２のセンサは、前記移動体の移動により視差が生じるように前記移動体に搭載される
キャリブレーション装置。
（１０）（１）に記載のキャリブレーション装置であって、
前記第１のセンサ及び前記第２のセンサは、前記移動体の移動方向と直行する方向に向かって照射する
キャリブレーション装置。
（１１）（１）に記載のキャリブレーション装置であって、
前記第１のセンサは、距離及び角度の計測が可能なセンサを含み、
前記第２のセンサは、前記第２のセンサの位相差に基づいて、前記静止物体の前記エッジの角度を推定するセンサを含む
キャリブレーション装置。
（１２）（１１）に記載のキャリブレーション装置であって、
前記第１のセンサは、ミリ波レーダであり、
前記第２のセンサは、カメラである
キャリブレーション装置。
（１３）
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出し、
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成し、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成し、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行する
ことをコンピュータシステムが実行するキャリブレーション方法。
（１４）
第１のセンサ及び第２のセンサを搭載した移動体の移動量を算出するステップと、
前記移動体の移動時の第１の時刻における前記第１のセンサにより取得される第１の検出結果と、前記移動体の移動時の第２の時刻における前記第１のセンサにより取得される第２の検出結果と、前記移動量とに基づいて、前記移動体の周辺環境における静止物体のエッジに関する第１のエッジ情報を生成するステップと、
前記第２のセンサにより取得される第３の検出結果に基づいて、前記エッジに関する第２のエッジ情報を生成するステップと、
前記第１のエッジ情報と前記第２のエッジ情報とに基づいて、前記第１のセンサ及び前記第２のセンサのキャリブレーションを実行するステップと
をコンピュータシステムに実行させるプログラム。
【符号の説明】
【0074】
１…移動体
２…第１のセンサ
３…第２のセンサ
４…静止物体
５…エッジ
１０…キャリブレーション装置
１４…形状計算部
１５…キャリブレーションターゲット検出部
１６…パラメータ算出部
１７…キャリブレーション実行部
２…第１のセンサ
３…第２のセンサ
４…静止物体
５…エッジ
１０…キャリブレーション装置
１４…形状計算部
１５…キャリブレーションターゲット検出部
１６…パラメータ算出部
１７…キャリブレーション実行部
【図1】
【図2】
【図3】
【図4】