ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183977
(43)【公開日】2023-12-28
(54)【発明の名称】情報処理装置、情報処理方法、及び、測定システム
(51)【国際特許分類】
G01S 7/497 20060101AFI20231221BHJP
G01C 3/00 20060101ALI20231221BHJP
G01S 17/86 20200101ALI20231221BHJP
【ＦＩ】
G01S7/497
G01C3/00 120
G01S17/86
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022097837
(22)【出願日】2022-06-17
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】山崎 寿夫
(72)【発明者】
【氏名】周藤 泰広
(72)【発明者】
【氏名】土場 健太郎
(72)【発明者】
【氏名】梁 承夏
【テーマコード（参考）】
2F112
5J084
【Ｆターム（参考）】
2F112AA09
2F112AD01
2F112CA02
2F112CA12
2F112DA02
2F112GA01
5J084AA04
5J084AA10
5J084AB20
5J084AC02
5J084AC06
5J084AC07
5J084AD01
5J084AD02
5J084AD05
5J084BA34
5J084BA40
5J084CA28
5J084CA65
5J084CA67
5J084EA08
(57)【要約】
【課題】空間情報をセンシングする複数のセンサの相対位置・姿勢に関するキャリブレーションを各センサの種類やセンシング範囲等にかかわらず高精度に行えるようにする。
【解決手段】空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係が算出される。
【選択図】図６
【解決手段】空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係が算出される。
【選択図】図６
【特許請求の範囲】
【請求項1】
空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する処理部
を有する
情報処理装置。
を有する
情報処理装置。
【請求項2】
前記処理部は、前記第１センサデータと前記第３センサデータとに基づいて前記第１センサと前記第３センサとの相対位置関係を算出し、前記第２センサデータと前記第３センサデータとに基づいて前記第２センサと前記第３センサとの相対位置関係を算出し、前記第１センサと前記第３センサとの前記相対位置関係と、前記第２センサと前記第３センサとの前記相対位置関係とに基づいて、前記第１センサと前記第２センサとの前記相対位置関係を算出する
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記第３センサの測定範囲の少なくとも一部が前記第１センサ及び前記第２センサのそれぞれの測定範囲の一部と共通する
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
前記第１センサの測定範囲と前記第２センサの測定範囲とが共通しない範囲に前記キャリブレーション物体が配置された
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項5】
前記第３センサは、前記キャリブレーション物体の3次元形状と色又は反射強度とを含む情報を測定する
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項6】
前記第３センサは、レーザー測距センサである
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項7】
前記第１センサ及び前記第２センサは、カメラ及びLidarのうちのいずれか一方又は両方である
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項8】
前記キャリブレーション物体は、複数のマーカーを有する
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項9】
前記第１センサ及び前記第２センサのうちの少なくとも一方は前記マーカーの情報を測定しないセンサである
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項10】
処理部
を有する
情報処理装置の
前記処理部が、空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する
情報処理方法。
を有する
情報処理装置の
前記処理部が、空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する
情報処理方法。
【請求項11】
空間情報を測定する第１センサと、
空間情報を測定する第２センサと、
前記第１センサ及び前記第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体と、
前記キャリブレーション物体の3次元情報を測定する第３センサと、
前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータと、前記第３センサにより得られた第３センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する処理部と
を有する測定システム。
空間情報を測定する第２センサと、
前記第１センサ及び前記第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体と、
前記キャリブレーション物体の3次元情報を測定する第３センサと、
前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータと、前記第３センサにより得られた第３センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する処理部と
を有する測定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法、及び、測定システムに関し、特に、空間情報をセンシングする複数のセンサの相対位置・姿勢に関するキャリブレーションを各センサの種類やセンシング範囲等にかかわらず高精度に行えるようにした情報処理装置、情報処理方法、及び、測定システムに関する。
【背景技術】
【0002】
特許文献１、２には、カメラやLidar（Light Detection and Ranging）等のセンサの相対姿勢をキャリブレーションするシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６５３３６１９号公報
【特許文献2】特開２０２１－０３８９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
空間情報をセンシングする時、センサの種類やセンシング範囲によっては適切にキャリブレーションを行えない場合があった。
【0005】
本技術はこのような状況に鑑みてなされたものであり、空間情報をセンシングする複数のセンサの相対位置・姿勢に関するキャリブレーションを各センサの種類やセンシング範囲等にかかわらず高精度に行えるようにする。
【課題を解決するための手段】
【0006】
本技術の第１の側面の情報処理装置は、空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する処理部を有する情報処理装置である。
【0007】
本技術の第１の側面の情報処理方法は、処理部を有する情報処理装置の前記処理部が、空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する情報処理方法である。
【0008】
本技術の第１の側面の情報処理装置、及び、情報処理方法においては、空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係が算出される。
【0009】
本技術の第２の側面の測定システムは、空間情報を測定する第１センサと、空間情報を測定する第２センサと、前記第１センサ及び前記第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体と、前記キャリブレーション物体の3次元情報を測定する第３センサと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータと、前記第３センサにより得られた第３センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する処理部とを有する測定システムである。
【0010】
本技術の第２の側面の測定システムにおいては、第１センサにより空間情報を測定され、第２センサにより空間情報を測定され、前記第１センサ及び前記第２センサのそれぞれの測定範囲の少なくとも一部にキャリブレーション物体が配置され、前記キャリブレーション物体の3次元情報が第３センサにより測定され、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータと、前記第３センサにより得られた第３センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係が算出される。
【図面の簡単な説明】
【0011】
【図1】本技術が適用された測定システムによりキャリブレーション対象となる自動車におけるセンサを例示した図である。
【図2】本技術が適用された測定システムが図の車両に設定されたセンサの相対位置・姿勢についてのキャリブレーションを行う際の手順例を示したフローチャートである。
【図3】ペアの共通画角について説明した図である。
【図4】フロアマップに対して出入口等の特徴的な場所、および人が通過できる通路を示した図である。
【図5】キャリブレーションオブジェクトの実施例を示した図である。
【図6】本技術が適用された測定システムにおける信号処理装置の構成例を示したブロック図である。
【図7】測定器とLidarとの相対位置の算出方法の説明に使用した図である。
【図8】測定器とカメラとの相対位置の算出方法の説明に使用した図である。
【図9】測定器とカメラとの相対位置の算出方法の説明に使用した図である。
【図10】キャリブレーション対象であるセンサの全体を覆うキャリブレーションオブジェクトを設置する場合についての説明に使用した図である。
【図11】キャリブレーション対象であるセンサの全体を覆うキャリブレーションオブジェクトを設置する場合についての説明に使用した図である。
【図12】キャリブレーション対象であるセンサの全体を覆うキャリブレーションオブジェクトを設置する場合についての説明に使用した図である。
【図13】複数組のセンサごとにキャリブレーションオブジェクトの撮影を複数回に分けて行う場合についての説明に使用した図である。
【図14】複数組のセンサごとにキャリブレーションオブジェクトの撮影を複数回に分けて行う場合についての説明に使用した図である。
【図15】複数組のセンサごとにキャリブレーションオブジェクトの撮影を複数回に分けて行う場合についての説明に使用した図である。
【図16】原点用センサを設置する場合についての説明に使用した図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら本技術の実施の形態について説明する。
【0013】
＜＜本技術が適用される測定システム＞＞
図１は、本技術が適用された測定システムによりキャリブレーション対象となる自動車におけるセンサを例示した図である。
図１は、本技術が適用された測定システムによりキャリブレーション対象となる自動車におけるセンサを例示した図である。
【0014】
図１において、車両１は、自動車の車両であり、車両１には、周辺環境（車両１周縁の空間情報）をセンシング（測定又は検出）するセンサとして5台のカメラＣ－Ａ乃至Ｃ－Ｅと4台のLidar（Light Detection and Ranging）Ｌ－Ａ乃至Ｌ－Ｄとが設置されている。なお、本明細書では、センサにより空間情報をセンシングすることを、カメラでのセンシングに合わせて撮影ともいう。カメラＣ－Ａ及びLidarＬ－Ａは、車両１の前部に設置されて車両１の前方の空間情報をセンシングするセンサである。カメラＣ－Ｂ及びLidarＬ－Ｂは、車両１の左側部に設置されて車両１の左側方を測定するセンサである。カメラＣ－Ｃ及びLidarＬ－Ｃは、車両１の右側部に設置されて車両１の右側方の空間情報をセンシングするセンサである。カメラＣ－Ｄ及びLidarＬ－Ｄは、車両１の後部に設置されて車両１の後方の空間情報をセンシングするセンサである。カメラＣ－Ｅは、車両１の左側部に設置されて車両１の左斜め前方の空間情報をセンシングするセンサである。なお、車両１に設置されるカメラやLidarの数や配置は図１の場合に限らない。また、センサの種類もカメラやLidarに限らず、空間情報をセンシングする種類のセンサであってよい。また、本技術がキャリブレーション対象とするセンサは、自動車の車両１に設置されたセンサに限らず、例えば、ドローン、自走可能な台車やロボット等の移動体、又は静止物体に設置されたセンサであってもよい。
【0015】
＜センサのキャリブレーション＞
図２は、本技術が適用された測定システムが図１の車両１に設置されたセンサの相対位置・姿勢についてのキャリブレーションを行う際の手順例を示したフローチャートである。まず、手順例の概要について説明する。
図２は、本技術が適用された測定システムが図１の車両１に設置されたセンサの相対位置・姿勢についてのキャリブレーションを行う際の手順例を示したフローチャートである。まず、手順例の概要について説明する。
【0016】
ステップＳ１では、測定システムは、2つのセンサを1組のペアとして2つのセンサの共通画角（ペアの共通画角）を求める。
【0017】
ステップＳ２では、測定システムは、全てのペアについての共通画角の中で最小の共通画角より大きい3D構造物（以下、キャリブレーションオブジェクト）を用意する。キャリブレーションオブジェクトにはカメラ用キャリブマーカーが設置される。
【0018】
ステップＳ３では、測定システムは、キャリブレーションオブジェクトの3D構造と反射強度（又は色（波長））を測定器Aで測定する。
【0019】
ステップＳ４では、測定システムは、各センサでキャリブレーションオブジェクトを撮影する。
【0020】
ステップＳ５では、測定システムは、キャリブレーションオブジェクトを介して各センサと測定器Aとの相対位置を計算する。
【0021】
ステップＳ６では、各センサ間の相対位置を推定する。
【0022】
なお、以下において、相対位置という場合に、位置だけでなく姿勢の相対関係の意味も含まれることとする。即ち、位置及び姿勢（位置・姿勢）の相対関係を単に相対位置ともいう。センサのキャリブレーションはセンサ間の相対位置を推定（算出）することを示すこととする。ただし、測定システムは、相対位置と相対姿勢のうちのいずれか一方のみを推定する場合であってもよい。
【0023】
＜各工程の説明＞
（ステップＳ１）
ステップＳ１において、ペアとして設定される2つのセンサは、キャリブレーションを行うキャリブレーション対象のセンサであり、同一種類のセンサであってもよいし、異なる種類のセンサであってもよい。なお、以下において、センサという場合は全てキャリブレーション対象のセンサであるとする。また、後述のようにペアとして設定された2つセンサの相対位置が算出されるので、ペアとして設定された2つのセンサのうちの一方又は両方が他のペアのセンサともペアとして設定されることで、全てのセンサ間の相対位置を算出することができる。また、設置位置が近いセンサを優先的にペアとして設定してもよいし、画角（センシング範囲）が重なる範囲が大きいセンサを優先的にペアとして設定してもよいし、ペアとして設定する2つセンサを決定する方法は特定の方法に限定されない。また、2つのセンサを1組のペアとし、ペアのセンサについては同一のキャリブレーションオブジェクトを撮影（センシング）することでそれらの相対位置が算出される。これに対して、同一のキャリブレーションオブジェクトを3以上の任意の数のセンサで撮影することで、それらのセンサ間の相対位置を算出することも可能である。同一のキャリブレーションオブジェクトを撮影する2以上の任意の数のセンサを1組のセンサとすると、2つのセンサを1組のペアとする場合に適用される事項は、任意の数のセンサを1組のセンサとする場合にも同様に適用され得る。例えば、同一のセンサを複数の組のセンサとして設定することで、それらの組の全てのセンサ間の相対位置を算出ことができる。従って、複数の組に属するセンサで全ての組のセンサを関係付けることができ、キャリブレーション対象の全てのセンサ間の相対位置を算出することができる。
（ステップＳ１）
ステップＳ１において、ペアとして設定される2つのセンサは、キャリブレーションを行うキャリブレーション対象のセンサであり、同一種類のセンサであってもよいし、異なる種類のセンサであってもよい。なお、以下において、センサという場合は全てキャリブレーション対象のセンサであるとする。また、後述のようにペアとして設定された2つセンサの相対位置が算出されるので、ペアとして設定された2つのセンサのうちの一方又は両方が他のペアのセンサともペアとして設定されることで、全てのセンサ間の相対位置を算出することができる。また、設置位置が近いセンサを優先的にペアとして設定してもよいし、画角（センシング範囲）が重なる範囲が大きいセンサを優先的にペアとして設定してもよいし、ペアとして設定する2つセンサを決定する方法は特定の方法に限定されない。また、2つのセンサを1組のペアとし、ペアのセンサについては同一のキャリブレーションオブジェクトを撮影（センシング）することでそれらの相対位置が算出される。これに対して、同一のキャリブレーションオブジェクトを3以上の任意の数のセンサで撮影することで、それらのセンサ間の相対位置を算出することも可能である。同一のキャリブレーションオブジェクトを撮影する2以上の任意の数のセンサを1組のセンサとすると、2つのセンサを1組のペアとする場合に適用される事項は、任意の数のセンサを1組のセンサとする場合にも同様に適用され得る。例えば、同一のセンサを複数の組のセンサとして設定することで、それらの組の全てのセンサ間の相対位置を算出ことができる。従って、複数の組に属するセンサで全ての組のセンサを関係付けることができ、キャリブレーション対象の全てのセンサ間の相対位置を算出することができる。
【0024】
また、ステップＳ１において、各ペアの共通画角が求められる。ペアの共通画角とはペアとして設定された2つのセンサのそれぞれの画角（センシング範囲）のうちの重複する範囲の画角を示す。各ペアの共通画角は、高い精度で求める必要がないので、センサの特性や設置位置に関する設計データを用いて、又は、製造後に計測した設置位置等を用いて、事前に算出しておく場合であってよい。
【0025】
図３は、ペアの共通画角について説明した図である。なお、図１と共通する部分には同一符号を付してあり、その説明は省略する。また、図３では、センサとしてカメラＣ－Ａ乃至Ｃ－Ｅのみが示されている。図３においては、カメラＣ－ＢとカメラＣ－Ｅとがペア（以下、ペアＣ－ＢＥと称する）として設定され、カメラＣ－ＡとカメラＣ－Ｃとがペア（以下、ペアＣ－ＡＣと称する）として設定された場合が例示されてる。画角Ｒ－Ａ、Ｒ－Ｂ、Ｒ－Ｃ、及び、Ｒ－Ｅは、それぞれ、カメラＣ－Ａ、Ｃ－Ｂ、Ｃ－Ｃ、及び、Ｃ－Ｅの画角を例示している。なお、カメラＣ－Ｄは、例えば、カメラＣ－Ｂとペアとして設定されるが、本説明では省略する。
【0026】
ペアＣ－ＢＥの共通画角は、カメラＣ－Ｂの画角Ｒ－Ｂと、カメラＣ－Ｅの画角Ｒ－Ｅとが重なる範囲の画角である。ペアＣ－ＡＣの共通画角は、カメラＣ－Ａの画角Ｒ－Ａと、カメラＣ－Ｃの画角Ｒ－Ｃとが重なる画角（角度）の範囲である。ただし、共通画角の大きさは、予定しているキャリブレーションオブジェクトの設置位置（ペアからの距離）における共通画角の大きさであることとする。また、予定しているキャリブレーションオブジェクトの設置位置（設置予定位置又は設置予定距離という）において2つのカメラの画角が重ならないペアが存在する場合がある。例えば、ペアＣ－ＡＣは、キャリブレーションオブジェクトの設置予定位置において画角Ｒ－Ａと画角Ｒ－Ｃとが重ならない場合として例示されている。この場合、ペアＣ－ＡＣの共通画角は、負の共通画角とする。各ペアの共通画角において最小の共通画角を最小共通画角として、キャリブレーションオブジェクトのためのパラメータとする。なお、各ペアの最小共通画角は、各ペアのセンサがキャリブレーションオブジェクトの最低限必要な部分を撮影することができるようにするキャリブレーションオブジェクトの最小サイズの決定に用いられる。
【0027】
（ステップＳ２）
ステップＳ２では、最小共通画角を考慮してキャリブレーションに必要なキャリブレーションオブジェクトを用意する。ここで、最小共通画角からキャリブレーションの設置予定距離を考慮してキャリブレーションオブジェクトの最小サイズを求める必要がある。図４にキャリブレーションオブジェクトの最小サイズについての説明図を示す。なお、図中、図３と共通する部分には同一符号を付してあり、その説明を省略する。
ステップＳ２では、最小共通画角を考慮してキャリブレーションに必要なキャリブレーションオブジェクトを用意する。ここで、最小共通画角からキャリブレーションの設置予定距離を考慮してキャリブレーションオブジェクトの最小サイズを求める必要がある。図４にキャリブレーションオブジェクトの最小サイズについての説明図を示す。なお、図中、図３と共通する部分には同一符号を付してあり、その説明を省略する。
【0028】
キャリブレーションオブジェクトのサイズは図４に示す最小共通画角Ｒ－ＢＥ及びＲ－ＡＣよりも大きくなければならない。最小共通画角Ｒ－ＢＥは、ペアＣ－ＢＥの最小共通画角である。最小共通画角Ｒ－ＡＣは、ペアＣ－ＡＣの最小共通画角である。ペアＣ－ＡＣの最小共通画角は、ペアのセンサの画角が重ならない場合であるので、負の角度となっているはずである。したがって、ペアＣ－ＡＣのキャリブレーションに用いるキャリブレーションオブジェクトのサイズは、ペアＣ－ＡＣとしたカメラＣ－ＡとカメラＣ－Ｃの両方の画角に入る範囲まで拡大される。キャリブレーションオブジェクトの拡大範囲は、後述するキャリブレーションオブジェクトの条件が成立するまで拡大される。
【0029】
キャリブレーションオブジェクトのサイズが決定したら、キャリブレーションオブジェクトを構成する。キャリブレーションオブジェクトは、ペアのセンサでキャリブレーションオブジェクトを撮像した場合に、撮像したデータ内で以下の条件（オブジェクト条件）１乃至３を満たすこととする。なお、図５のキャリブレーションオブジェクトの実施例を参照してオブジェクト条件について説明する。
【0030】
（オブジェクト条件）
１．キャリブレーションオブジェクトが平面で構成される場合は、1つの共通点をもつ3つ以上の平面を有する。例えば、図５のようにキャリブレーションオブジェクト３１は、壁2面（面Ｐ－Ｂ及びＰ－Ｃ）と床1面（面Ｐ－Ａ）とを有する。
１．キャリブレーションオブジェクトが平面で構成される場合は、1つの共通点をもつ3つ以上の平面を有する。例えば、図５のようにキャリブレーションオブジェクト３１は、壁2面（面Ｐ－Ｂ及びＰ－Ｃ）と床1面（面Ｐ－Ａ）とを有する。
【0031】
２．キャリブレーションオブジェクトが曲面で構成される場合は、各曲面を平面近似した場合に、1つの共通点をもつ3つ以上の平面を有する。
【0032】
３．キャリブレーションオブジェクトに設置されるカメラ用キャリブレーションマーカー（以下、マーカーともいう）については、ペアの2つのカメラで撮影した際に、それぞれが撮影した画像内において、4つ以上のマーカーが映らなければならない。例えば、図５のようにキャリブレーションオブジェクト３１の各面Ｐ－Ａ乃至Ｐ－Ｃには、4つのマーカーＭ－1乃至Ｍ－４が設置される。ただし、マーカーは5つ以上であってよい。例えば、ペアが負の共通画角である場合、そのペアの2つのカメラのそれぞれの画角内に4つ以上のマーカーが設置されたキャリブレーションオブジェクトが用いられる。
【0033】
カメラ用キャリブレーションマーカーは、次の条件（マーカー条件）１を満たす。
【0034】
（マーカー条件）
１．マーカーの位置が、画像内で検出されたマーカー内で一意に決定される。
１．マーカーの位置が、画像内で検出されたマーカー内で一意に決定される。
【0035】
マーカーの位置が一意に決定されるとは、マーカーの画像からマーカーの位置として一点が特定されるという意味である。例えば、図５の左下の例のようにマーカーとしてチェッカーマーカー（単純チェッカー）を採用した場合、チェッカーの交点がマーカーの位置として一意に決定されるので、チェッカーマーカーはマーカー条件１を満たす。
【0036】
また、キャリブレーションオブジェクト３１におけるマーカーの位置は、人が決定しても良いし、自動検出可能なマーカーを用いて自動検出されるようにしてもよい。カメラ用キャリブレーションマーカーとしてマーカー条件１を満たすマーカーは数多く公開されており、例えば、図５の左下の例のようにマーカーとして、April TagやAruco Marker等が使用可能である。ただし、マーカーの種類はこれに限らない。
【0037】
（ステップＳ３）
ステップＳ３では、測定器Aを用いてステップＳ２で用意されたキャリブレーションオブジェクトが測定される。測定器Aは、キャリブレーションオブジェクトの3次元形状（以下、3Dモデルともいう）を示す3次元情報としての測定データ（3Dモデルデータ）を出力する。3Dモデルデータには、3次元点（3次元座標値）の点群データ（3D点群データ）の他に、各3次元点における色値のデータ、又は、測定器Aがレーザーを用いて測距を行う測定器の場合にはレーザーの反射強度のデータが含まれる。なお、測定器Aは、カメラ用キャリブレーションマーカーを識別可能な点群密度での測定を行うこととする。測定器Aとしては、市販されているレーザー測距センサ等を使うことができる。
ステップＳ３では、測定器Aを用いてステップＳ２で用意されたキャリブレーションオブジェクトが測定される。測定器Aは、キャリブレーションオブジェクトの3次元形状（以下、3Dモデルともいう）を示す3次元情報としての測定データ（3Dモデルデータ）を出力する。3Dモデルデータには、3次元点（3次元座標値）の点群データ（3D点群データ）の他に、各3次元点における色値のデータ、又は、測定器Aがレーザーを用いて測距を行う測定器の場合にはレーザーの反射強度のデータが含まれる。なお、測定器Aは、カメラ用キャリブレーションマーカーを識別可能な点群密度での測定を行うこととする。測定器Aとしては、市販されているレーザー測距センサ等を使うことができる。
【0038】
ここで、キャリブレーションオブジェクトは、上述のように各ペアの共通画角の範囲に配置される。ペアの共通画角が負の場合には、そのペアのセンサのそれぞれの画角の範囲内に入る大きさのキャリブレーションオブジェクトが配置される。そして、各ペアに対して配置されたキャリブレーションオブジェクトが測定器Aで測定される。このとき、キャリブレーションオブジェクト全体を測定器Aで測定できない場合は、測定位置を変えてキャリブレーションオブジェクト全体を測定器Aで測定する。キャリブレーションオブジェクト全体を測定できる場合は最低１回の測定で良い。なお、ペアに対して配置されたキャリブレーションオブジェクトを測定する際の測定器Aのセンシング範囲（測定範囲）のうちの少なくとも一部は、そのペアの2つのセンサのセンシング範囲（測定範囲）の一部と共通する。
【0039】
（ステップＳ４乃至Ｓ６）
ステップＳ４乃至Ｓ６では、各センサでキャリブレーションオブジェクトが撮影（センシング）され、測定結果に基づいて、各センサ間の相対位置が推定される。以下、ステップＳ４乃至Ｓ６の処理について、図６を用いて説明する。図６は、本技術が適用された測定システムにおける信号処理装置の構成例を示したブロック図である。図６において、信号処理装置５１は、画像撮像部６１－Ｃ、Lidar信号受信部６１－Ｌ、カメラ位置推定部６２－Ｃ、Lidar位置推定部６２－Ｌ、及び、相対位置変換部６３を有する。
ステップＳ４乃至Ｓ６では、各センサでキャリブレーションオブジェクトが撮影（センシング）され、測定結果に基づいて、各センサ間の相対位置が推定される。以下、ステップＳ４乃至Ｓ６の処理について、図６を用いて説明する。図６は、本技術が適用された測定システムにおける信号処理装置の構成例を示したブロック図である。図６において、信号処理装置５１は、画像撮像部６１－Ｃ、Lidar信号受信部６１－Ｌ、カメラ位置推定部６２－Ｃ、Lidar位置推定部６２－Ｌ、及び、相対位置変換部６３を有する。
【0040】
画像撮像部６１－Ｃは、図１の車両１に設置されたカメラＣ－Ａ乃至Ｃ－Ｅ（camera Ａ乃至Ｅ）でキャリブレーションオブジェクトを撮影して得られた撮影画像のデータ（画像データ）を取得する。画像撮像部６１－Ｃは、取得した画像データに対して、例えばシェーディング補正、ノイズリダクション等の一般的な画像処理を行う。処理後の画像データは、カメラ位置推定部６２－Ｃに供給される。
【0041】
Lidar信号受信部６１－Ｌは、図１の車両１に設置されたLidarＬ－Ａ乃至Ｌ－Ｄ（Lidar Ａ乃至Ｄ）でキャリブレーションオブジェクトを撮影（測定）した3次元点（3D点群）のデータ（3D点群データ）を受信し、Lidar位置推定部６２－Ｌに供給する。
【0042】
カメラ位置推定部６２－Ｃ及びLidar位置推定部６２－Ｌはそれぞれ画像撮像部６１－Ｃから供給された画像データ及びLidar信号受信部６１－Ｌから供給された3D点群データを用いて、各センサと測定器Aとの相対位置を算出する。また、カメラ位置推定部６２－Ｃ及びLidar位置推定部６２－Ｌは、測定器Aで測定された3Dモデルデータを測定器Aから取得し、各センサと測定器Aとの相対位置の算出に用いる。
【0043】
（測定器AとLidarとの相対位置算出）
まず、Lidar位置推定部６２－Ｌが、LidarＬ－Ａ乃至Ｌ－Ｄから取得した3D点群データと、測定器Aから取得した3Dモデルデータとに基づいて、測定器AとLidarＬ－Ａ乃至Ｌ－Ｄとの相対位置を算出する方法について図７の概念図を用いて説明する。
まず、Lidar位置推定部６２－Ｌが、LidarＬ－Ａ乃至Ｌ－Ｄから取得した3D点群データと、測定器Aから取得した3Dモデルデータとに基づいて、測定器AとLidarＬ－Ａ乃至Ｌ－Ｄとの相対位置を算出する方法について図７の概念図を用いて説明する。
【0044】
図７において、左側の3D座標系は、測定器Aから得られたキャリブレーションオブジェクト３１の3Dモデルデータに含まれる3D点群データを表した測定器Aの座標系であり、右側の3D座標系は、例えば、LidarＬ－Ａ（Lidar Ａ）から得られた3D点群データを表したLidarＬ－Ａの座標系である。なお、測定器Aの座標系における3D点群の任意の点がp（ベクトル）、点pに対応するLidarＬ－Ａの座標系での点がq（ベクトル）で表されるとする。
【0045】
測定器AとLidarＬ－Ａとは、違う物なのでそれぞれの座標系は異なる。しかし、同じキャリブレーションオブジェクト３１の3D構造を測定しているので、一方の3D点群の座標を座標変換すると他方の3D点群の座標に一致する、ある座標変換Tが存在する。
【0046】
それぞれの座標系で原点を測定器Aの位置とした時、座標変換Tは測定器Aとの相対位置を示す。
【0047】
2つの点群間の相対位置を求める手法は周知であり、周知の手法を用いて座標変換Tを求めることとする。例えば、point-to-point ICP algorithm [BeslAndMcKay1992]（Paul J. Besl and Neil D. McKay, A Method for Registration of 3D Shapes, PAMI, 1992.）は次式（１）を最小化するように最適化して座標変換Tを求める。
【数1】
【0048】
ここで、pは測定器Aから取得された3D点群の座標値であり、qはLidarから取得された3D点群の座標値である。
【0049】
図６のLidar位置推定部６２－Ｌでは、例えば前述のpoint-to-point ICP algorithm [BeslAndMcKay1992]を用いて、LidarＬ－Ａ乃至Ｌ－Ｄから取得した3D点群データと、測定器Aから取得した3Dモデルデータ（3D点群データ）とに基づいて、測定器AとLidarＬ－Ａ乃至Ｌ－Ｄのそれぞれとの相対位置を算出する。算出された相対位置のデータは、相対位置変換部６３に供給される。
【0050】
（測定器Aとカメラとの相対位置算出）
続いて、カメラ位置推定部６２－Ｃが、カメラＣ－Ａ乃至Ｃ－Ｅから取得した画像データと、測定器Aから取得した3Dモデルデータとに基づいて、測定器AとカメラＣ－Ａ乃至Ｃ－Ｅとの相対位置を算出する方法について図８及び図９の概念図を用いて説明する。
続いて、カメラ位置推定部６２－Ｃが、カメラＣ－Ａ乃至Ｃ－Ｅから取得した画像データと、測定器Aから取得した3Dモデルデータとに基づいて、測定器AとカメラＣ－Ａ乃至Ｃ－Ｅとの相対位置を算出する方法について図８及び図９の概念図を用いて説明する。
【0051】
図８において、左側の3D座標系は、測定器Aから得られたキャリブレーションオブジェクト３１の3Dモデルデータ（3D点群データ）を表した測定器Aの座標系であり、右側の2D座標系は、例えば、カメラＣ－Ａ（camera Ａ）から得られたキャリブレーションオブジェクト３１の画像を表したカメラＣ－Ａの座標系である。なお、測定器Aの座標系における3D点群の任意の点が(x,y,z)で表され、カメラＣ－Ａの座標系の点が（u,v）で表されるとする。
【0052】
カメラＣ－Ａで撮影された画像は2D画像であるから、3D信号と異なり3Dモデルに一致する座標変換Tは存在しない。一方、カメラＣ－Ａの座標（u,v）と測定器Aの座標系での3Dモデルデータの座標(x,y,z)との対応関係は図９のようにピンホールモデルのカメラで表現することができ、それぞれが射影変換の関係にある。ピンホールモデルによる測定器A（3Dモデルデータ）の座標（x,y,z）とカメラＣ－Ａの座標（u,v）との関係は次式（２）となる。
【数2】
【0053】
カメラパラメータKが既知であり、複数点の（x,y,z）と（u,v）との対応関係が得られている場合、上式（２）を解くことで、カメラＣ－Ａと測定器Aの相対位置を求めることが可能であることが知られている。ここで、
Π：射影変換関数
K：カメラパラメータ
T：カメラＣ－Ａと測定器Aとの相対位置
である。
Π：射影変換関数
K：カメラパラメータ
T：カメラＣ－Ａと測定器Aとの相対位置
である。
【0054】
この問題はPnP問題として知られており、周知の手法で解くことができる。ただし、（x,y,z）と（u,v）との対応関係は4点以上で限定する必要である。
【0055】
図６のカメラ位置推定部６２－Ｃは、キャリブレーションオブジェクトに設置された4つ以上のマーカーの位置を、測定器Aで得られた3DモデルデータとカメラＣ－Ａで得られた画像データとにおいて取得し、4点以上で（x,y,z）と（u,v）との対応関係を求める。そして、カメラ位置推定部６２－Ｃは、測定器Aから取得した3Dモデルデータと、画像撮像部６１－Ｃから取得したカメラＣ－Ａの画像データと、カメラＣ－Ａのカメラパラメータとを用いて、カメラＣ－Ａと測定器Aとの相対位置を算出する。カメラ位置推定部６２－Ｃは、全てのカメラＣ－Ｂ乃至Ｃ－Ｅについても同様にして測定器Aとの相対位置を算出する。算出された相対位置のデータは、相対位置変換部６３に供給される。
【0056】
（センサ間の相対位置算出）
ステップＳ５で測定器Aと各センサとの間の相対位置が算出されると、相対位置変換部６３は、ステップＳ６でセンサ間の相対位置を算出（推定）する。ただし、全てのセンサの間の相対位置を算出する場合に限らず、任意の位置を原点として定義し、又は、1つのセンサの位置を原点として定義し、その原点に対する相対位置を算出する場合であって良い。
ステップＳ５で測定器Aと各センサとの間の相対位置が算出されると、相対位置変換部６３は、ステップＳ６でセンサ間の相対位置を算出（推定）する。ただし、全てのセンサの間の相対位置を算出する場合に限らず、任意の位置を原点として定義し、又は、1つのセンサの位置を原点として定義し、その原点に対する相対位置を算出する場合であって良い。
【0057】
まず、一般的な座標変換について説明する。A座標系からB座標系への回転を3×3行列、並進を3×1行列とし次の様に定義する。
BRA ：A座標系からB座標系への回転を表現する3×3行列
BPA ：A座標系からB座標系への並進を表現する3×1行列
この時、A座標系からB座標系への変換は、次式（３）で表される。
BRA ：A座標系からB座標系への回転を表現する3×3行列
BPA ：A座標系からB座標系への並進を表現する3×1行列
この時、A座標系からB座標系への変換は、次式（３）で表される。
【数3】
【0058】
式（３）は、相対位置・姿勢を座標系間の並進ベクトル及び回転行列で表現しているので、測定器Aからカメラへの相対位置・姿勢の変換をCTAで表すこととする。同様に、測定器AからLidarへの相対位置・姿勢の変換をLTAで表すこととする。CTAとLTAとは測定器Aと各センサとの相対位置のデータから算出される。このときのLidarとカメラとの間の相対位置（相対位置・姿勢）をLTCとすると、LTCは、次式（４）で表される。
【数4】
【0059】
Lidarとカメラとの間の相対位置LTCは、CTAとLTAとから算出することができる。同様に共通の測定器Aとの相対位置のデータが得られているセンサ間の相対位置は、式（４）と同様に算出することができる。いずれかの他のセンサと共通の測定器Aとの相対位置のデータが取得できれば、センサをいくつ増やしても、式（４）の関係を用いることで、それぞれのセンサ間の相対位置を求めることができる。
【0060】
任意の位置を原点として設定したい場合も、測定器Aから原点への変換OTAや任意のセンサから原点への変換は計算で求めることが可能なので、任意の位置を原点として、原点とセンサとの相対位置を算出することができる。
【0061】
図６の相対位置変換部６３は、以上のように、カメラ位置推定部６２－Ｃからの測定器Aと各カメラＣ－Ａ乃至Ｃ－Ｅとの相対位置のデータと、Lidar位置推定部６２－ＬからLidarＬ－Ａ乃至Ｌ－Ｄの相対位置のデータとに基づいて各センサ間の相対位置を算出する。このとき、相対位置変換部６３は、特定の位置を原点として指定する原点設定値が与えられた場合には、その原点と各センサ（カメラＣ－Ａ乃至Ｃ－Ｅ、及び、LidarＬ－Ａ乃至Ｌ－Ｄ）との相対位置を算出する。算出された相対位置のデータは、センサが設置された車両１が搭載する情報処理装置（不図示）等に供給される。供給された相対位置のデータは、例えば、画像認識器等でセンサの出力データを用いる際に、センサの位置を高精度に較正するキャリブレーションに用いられ、また、共通の原点や互いのセンサの出力データへ投影する際のパラメータとして用いられる。
【0062】
＜キャリブレーションオブジェクトの設置＞
上記説明では、キャリブレーションオブジェクトのサイズを最小サイズより大きいサイズとしたが、キャリブレーション対象であるセンサの全体を覆う（囲む）キャリブレーションオブジェクトを設置すれば、その条件を満たすことは明白である。
上記説明では、キャリブレーションオブジェクトのサイズを最小サイズより大きいサイズとしたが、キャリブレーション対象であるセンサの全体を覆う（囲む）キャリブレーションオブジェクトを設置すれば、その条件を満たすことは明白である。
【0063】
例えば、工場やサービスセンター等の恒常的にキャリブレーションオブジェクトが設置可能な場所であれば、その様なキャリブレーションオブジェクトを設置することが可能である。図１０乃至図１２は、その場合を説明する図である。
【0064】
図１０に示すように、図１の車両１のように全周囲を測定するためのセンサをキャリブレーションしたい場合は、対象の全てのセンサをカバーする（全センサの画角を覆う）キャリブレーションオブジェクト３１－Ａ乃至３１－Ｇを設置し、図１１に示すように、測定器Aをキャリブレーションオブジェクト３１－Ａ乃至３１－Ｇの中心付近（対象のセンサが設置された車両１を配置する位置）に設置する。そして、測定器Aにより測定を行って3Dモデルデータを取得する。続いて、図１２のように、キャリブレーション対象のセンサが設置された車両１を測定器Aに代えてキャリブレーションオブジェクト３１－Ａ乃至３１－Ｇの囲まれた位置に配置して、各センサでキャリブレーションオブジェクト３１－Ａ乃至３１－Ｇを撮影（測定）すればキャリブレーションオブジェクト３１－Ａ乃至３１－Ｇを動かさない限り、連続して異なる車両１に設置されたセンサのキャリブレーションを行うことができる。キャリブレーションオブジェクト３１－Ａ乃至３１－Ｇが動いた場合は、測定器Aを用いてキャリブレーションオブジェクト３１－Ａ乃至３１－Ｇを測定しなおし、3Dモデルデータを取得しなおせばよい。ただし、各センサでキャリブレーションオブジェクト３１－Ａ乃至３１－Ｇを撮影した時に、キャリブレーションオブジェクトが前述のオブジェクト条件とマーカー条件とを満たしていることとする。
【0065】
＜変形例１＞
図１０乃至図１２で説明した方法の場合、キャリブレーション対象であるセンサの設置範囲が大きい場合、キャリブレーションオブジェクトを配置するために十分に広い空間が必要となる。そこで、広い空間を確保できない場合の手順例を説明する。
図１０乃至図１２で説明した方法の場合、キャリブレーション対象であるセンサの設置範囲が大きい場合、キャリブレーションオブジェクトを配置するために十分に広い空間が必要となる。そこで、広い空間を確保できない場合の手順例を説明する。
【0066】
キャリブレーション対象の全センサをカバーするキャリブレーションオブジェクトを設置できない場合には、センサを複数組に分けて、複数回に分けて各組のセンサごとにキャリブレーションオブジェクトの撮影を行う。この場合のように、複数組のセンサごとにキャリブレーションオブジェクトの撮影を複数回に分ける場合には、各組のセンサの中に他の組にも属する最低1つのセンサが含まれるようにする。図１３及び図１４は、その場合を説明する図である。
【0067】
まず、図１３に示すように、車両１の前部のセンサ（カメラＣ－Ａ、LidarＣ－Ａ）と、左側部のセンサ（カメラＣ－Ｂ及びＣ－Ｅ、LidarＬ－Ｂ）とを1組のセンサとして、それらのセンサでキャリブレーションオブジェクト３１の1回目の撮影を行う。続いて、図１４に示すように車両１の位置を変え、車両１の前部のセンサ（カメラＣ－Ａ、LidarＣ－Ａ）と、右側部のセンサ（カメラＣ－Ｃ、LidarＬ－Ｃ）とを1組のセンサとして、それらのセンサでキャリブレーションオブジェクト３１の2回目の撮影を行う。この例では、2つの組に含まれるセンサ、即ち、キャリブレーションオブジェクト３１を複数回撮影するセンサは車両１の前部のセンサ（カメラＣ－Ａ、LidarＣ－Ａ）である。
【0068】
キャリブレーションオブジェクト３１の撮影後、それぞれの組のセンサごとに撮影して取得した各組のセンサと測定器Aとの相対位置のデータにより、同一の組のセンサ間の相対位置を算出することができる。また、複数の組に含まれるセンサ、即ち、本例では車両１の前部のセンサ（カメラＣ－Ａ、LidarＣ－Ａ）については、位置・姿勢を変えて異なる組のセンサとしてキャリブレーションオブジェクト３１を撮影したときの測定器Aとの相対位置のデータにより、それぞれの撮影での自身の各位置・姿勢の間の相対位置（位置・姿勢変化）を算出することができる。これらの相対位置の算出結果に基づいて、異なる組のセンサ間の相対位置を算出することができる。
【0069】
図１５を用いて、キャリブレーションオブジェクト３１を1回目で撮影した左側部のLidarＬ－Ｂと、キャリブレーションオブジェクト３１を2回目で撮影した右側部のLidarＬ－Ｃとの相対位置を算出する手順例について説明する。
【0070】
図１３及び図１４では1回目の撮影と2回目の撮影とでキャリブレーションオブジェクト３１を動かすのではなく、センサ（車両１）側を動かしているが、観測は相対的であるので、図１５で示すように同一構造の2つのキャリブレーションオブジェクト３１－１及び３１－２を使って撮影した場合と同じである。キャリブレーションオブジェクト３１－１は、車両１に対して図１３の1回目の撮影と同一の相対位置に配置されていると仮定する。キャリブレーションオブジェクト３１－２は、車両１に対して図１４の2回目の撮影と同一の相対位置に配置されていると仮定する。また、測定器Aとしては、キャリブレーションオブジェクト３１－１及びキャリブレーションオブジェクト３１－２に対して同一の相対位置に配置された測定器A1及び測定器A2が用いられたものと仮定することができる。
【0071】
このとき、前述の式（３）で説明したのと同様に、キャリブレーションオブジェクト３１－１を撮影した測定器A1とLidarＬ－Ａ（front_lidar）及びＬ－Ｂ（left_lidar）との間の相対位置は図１５にも示されているように、次のように表される。
front_lidarT測定器A1
left_lidarT測定器A1
front_lidarT測定器A1
left_lidarT測定器A1
【0072】
同様に、キャリブレーションオブジェクト３１－２を撮影した測定器A2とLidarＬ－Ａ（front_lidar）及びＬ－Ｃ（right_lidar）との間の相対位置は図１５にも示されているように、次のように表される。
front_lidarT測定器A2
right_lidarT測定器A2
front_lidarT測定器A2
right_lidarT測定器A2
【0073】
したがって、LidarＬ－Ｂ（left_lidar）とLidarＬ－Ｃ（right_lidar）との相対位置right_lidarTleft_lidarは、測定器A1とLidarＬ－Ａ（front_lidar）との相対位置及び測定器A2とLidarＬ－Ａ（front_lidar）との相対位置を利用することで、図１５にも示されているように、次式により求めることができる。
right_lidarTleft_lidar＝(right_lidarT測定器A2)×(測定器A2Tfront_lidar)×(front_lidarT測定器A1)×(測定器A1Tleft_lidar)
以上の方法により、センサを複数組に分けて、複数回に分けて各組のセンサごとにキャリブレーションオブジェクトの撮影を行う場合であっても、各組のセンサの中に他の組にも属するセンサが存在すれば、異なる組のセンサ間の相対位置を算出することができる。
right_lidarTleft_lidar＝(right_lidarT測定器A2)×(測定器A2Tfront_lidar)×(front_lidarT測定器A1)×(測定器A1Tleft_lidar)
以上の方法により、センサを複数組に分けて、複数回に分けて各組のセンサごとにキャリブレーションオブジェクトの撮影を行う場合であっても、各組のセンサの中に他の組にも属するセンサが存在すれば、異なる組のセンサ間の相対位置を算出することができる。
【0074】
＜変形例２＞
図１の自動車の車両１に設置されるセンサ等のように、全周囲のセンサをキャリブレーションする場合、センサの位置とは別の位置に原点を設定して、その原点からの各センサの相対位置を取得したいという要求がある。しかしながら、その原点は例えば後輪車軸中央等の実際の測定が難しい場合が多い。また、キャリブレーション対象のセンサから原点を求めたくても、センサが埋め込まれていて求めることが困難である場合も多い。
図１の自動車の車両１に設置されるセンサ等のように、全周囲のセンサをキャリブレーションする場合、センサの位置とは別の位置に原点を設定して、その原点からの各センサの相対位置を取得したいという要求がある。しかしながら、その原点は例えば後輪車軸中央等の実際の測定が難しい場合が多い。また、キャリブレーション対象のセンサから原点を求めたくても、センサが埋め込まれていて求めることが困難である場合も多い。
【0075】
そこで、そのような要求を実現する場合は、原点としたい位置、又は、原点としたい位置を簡単に計算できる位置（原点に対して物理的に連動した位置等）に原点用のカメラ又はLidar等のセンサ（原点用センサという）を設置し、原点用センサについても他のセンサと同様にキャリブレーションを行えば良い。図１６は、その場合を説明する図である。なお、図１６中、図１と共通する部分には同一符号を付してあり、その説明を省略する。図１６において、車両１の後輪車軸中央の位置を原点として設定することとする。この場合、後輪中央（車軸の部分）に原点用センサとしての原点用カメラＣ－０を設置し、上述の他のセンサと同様にキャリブレーションを行う。後輪車軸中央の位置は、原点用カメラＣ－０の位置から後輪に沿って後輪中央まで平行移動した点であるから、設計値より長さを求めてその分だけ平行移動すれば後輪車軸中央の位置を原点とすることができる。
【0076】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する処理部
を有する
情報処理装置。
（２）
前記処理部は、前記第１センサデータと前記第３センサデータとに基づいて前記第１センサと前記第３センサとの相対位置関係を算出し、前記第２センサデータと前記第３センサデータとに基づいて前記第２センサと前記第３センサとの相対位置関係を算出し、前記第１センサと前記第３センサとの前記相対位置関係と、前記第２センサと前記第３センサとの前記相対位置関係とに基づいて、前記第１センサと前記第２センサとの前記相対位置関係を算出する
前記（１）に記載の情報処理装置。
（３）
前記第３センサの測定範囲の少なくとも一部が前記第１センサ及び前記第２センサのそれぞれの測定範囲の一部と共通する
前記（１）又は（２）に記載の情報処理装置。
（４）
前記第１センサの測定範囲と前記第２センサの測定範囲とが共通しない範囲に前記キャリブレーション物体が配置された
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記第３センサは、前記キャリブレーション物体の3次元形状と色又は反射強度とを含む情報を測定する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記第３センサは、レーザー測距センサである
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記第１センサ及び前記第２センサは、カメラ及びLidarのうちのいずれか一方又は両方である
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記キャリブレーション物体は、複数のマーカーを有する
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記第１センサ及び前記第２センサのうちの少なくとも一方は前記マーカーの情報を測定しないセンサである
前記（８）に記載の情報処理装置。
（１０）
処理部
を有する
情報処理装置の
前記処理部が、空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する
情報処理方法。
（１１）
空間情報を測定する第１センサと、
空間情報を測定する第２センサと、
前記第１センサ及び前記第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体と、
前記キャリブレーション物体の3次元情報を測定する第３センサと、
前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータと、前記第３センサにより得られた第３センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する処理部と
を有する測定システム。
なお、本技術は以下のような構成も取ることができる。
（１）
空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する処理部
を有する
情報処理装置。
（２）
前記処理部は、前記第１センサデータと前記第３センサデータとに基づいて前記第１センサと前記第３センサとの相対位置関係を算出し、前記第２センサデータと前記第３センサデータとに基づいて前記第２センサと前記第３センサとの相対位置関係を算出し、前記第１センサと前記第３センサとの前記相対位置関係と、前記第２センサと前記第３センサとの前記相対位置関係とに基づいて、前記第１センサと前記第２センサとの前記相対位置関係を算出する
前記（１）に記載の情報処理装置。
（３）
前記第３センサの測定範囲の少なくとも一部が前記第１センサ及び前記第２センサのそれぞれの測定範囲の一部と共通する
前記（１）又は（２）に記載の情報処理装置。
（４）
前記第１センサの測定範囲と前記第２センサの測定範囲とが共通しない範囲に前記キャリブレーション物体が配置された
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記第３センサは、前記キャリブレーション物体の3次元形状と色又は反射強度とを含む情報を測定する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記第３センサは、レーザー測距センサである
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記第１センサ及び前記第２センサは、カメラ及びLidarのうちのいずれか一方又は両方である
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記キャリブレーション物体は、複数のマーカーを有する
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記第１センサ及び前記第２センサのうちの少なくとも一方は前記マーカーの情報を測定しないセンサである
前記（８）に記載の情報処理装置。
（１０）
処理部
を有する
情報処理装置の
前記処理部が、空間情報を測定する第１センサ及び第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体の3次元情報を測定する第３センサにより得られた第３センサデータと、前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する
情報処理方法。
（１１）
空間情報を測定する第１センサと、
空間情報を測定する第２センサと、
前記第１センサ及び前記第２センサのそれぞれの測定範囲の少なくとも一部に配置されたキャリブレーション物体と、
前記キャリブレーション物体の3次元情報を測定する第３センサと、
前記第１センサ及び前記第２センサによりそれぞれ得られた第１センサデータ及び第２センサデータと、前記第３センサにより得られた第３センサデータとに基づいて、前記第１センサと前記第２センサとの相対位置関係を算出する処理部と
を有する測定システム。
【0077】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【0078】
１ 車両， ３１ キャリブレーションオブジェクト， ５１ 信号処理装置， ６１－Ｃ 画像撮像部， ６１－Ｌ Lidar信号受信部， ６２－Ｃ カメラ位置推定部， ６２－Ｌ Lidar位置推定部， ６３ 相対位置変換部， A 測定器， Ｃ－Ａ，Ｃ－Ｂ，Ｃ－Ｃ，Ｃ－Ｄ，Ｃ－Ｅ カメラ， Ｌ－Ａ，Ｌ－Ｂ，Ｌ－Ｃ，Ｌ－Ｄ Lidar
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】