特許 7405630 情報処理装置、検出装置、路側機、および較正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】情報処理装置、検出装置、路側機、および較正方法

(51)【国際特許分類】

   G08G 1/01 20060101AFI20231219BHJP

   G01S 7/40 20060101ALI20231219BHJP

   G01S 13/86 20060101ALI20231219BHJP

   G01S 7/497 20060101ALI20231219BHJP

   G01S 17/87 20200101ALI20231219BHJP

   G01B 21/00 20060101ALI20231219BHJP

【ＦＩ】

G08G1/01 C

G01S7/40 126

G01S13/86

G01S7/497

G01S17/87

G01B21/00 T

【請求項の数】 8

(21)【出願番号】P 2020010286

(22)【出願日】2020-01-24

(65)【公開番号】P2021117087

(43)【公開日】2021-08-10

【審査請求日】2022-10-12

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】新 浩治

(72)【発明者】

【氏名】服部 成人

(72)【発明者】

【氏名】澤田 隆一

(72)【発明者】

【氏名】谷川 弘展

【審査官】田中 将一

(56)【参考文献】

【文献】特開２０１３－２１１７０７（ＪＰ，Ａ）

【文献】特開２０１７－１４３４１７（ＪＰ，Ａ）

【文献】特開２０１６－０８２２５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０１Ｓ ７／００ － ７／４２

Ｇ０１Ｓ １３／００ － １３／９５

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ － １７／９５

Ｇ０１Ｂ ２１／００ － ２１／３２

(57)【特許請求の範囲】

【請求項1】

入射する波動を検出する、第１のセンサを含む複数のセンサそれぞれから、検出結果を取得する取得部と、
前記複数のセンサの中の前記第１のセンサ以外のセンサの、前記第１のセンサに対する相対位置および相対姿勢を記憶するメモリと、
較正用対象物から伝播する波動の第１のセンサによる検出結果に基づいて前記第１のセンサの位置および姿勢を較正する第１の較正パラメータを算出し、該第１の較正パラメータならびに前記相対位置および前記相対姿勢に基づいて前記第１のセンサ以外のセンサの位置および姿勢を較正する第２の較正パラメータを算出するコントローラと、を備える
情報処理装置。

【請求項2】

請求項１に記載の情報処理装置において、
前記複数のセンサは、互いに異なる種類のセンサを含む
情報処理装置。

【請求項3】

請求項１または２に記載の情報処理装置において、
前記第１のセンサは可視光カメラである
情報処理装置。

【請求項4】

請求項１に記載の情報処理装置において、
前記複数のセンサには、可視光カメラ、赤外線カメラ、レーダ、ＬＩＤＡＲ、ＴＯＦカメラ、ソナー、アクティブ測距センサ、およびパッシブ測距センサの少なくとも１つが含まれる
情報処理装置。

【請求項5】

請求項１から４のいずれか１項に記載の情報処理装置において、
前記コントローラは、前記複数のセンサの検出結果に基づいて、路面または床面の形状を推定する
情報処理装置。

【請求項6】

入射する波動を検出する、第１のセンサを含む複数のセンサと、
前記複数のセンサを所定の位置及び姿勢で保持する保持部と、
前記複数のセンサの中の前記第１のセンサ以外のセンサの、前記第１のセンサに対する相対位置および相対姿勢を記憶するメモリと、
較正用対象物から伝播する波動の第１のセンサによる検出結果に基づいて前記第１のセンサの位置および姿勢を較正する第１の較正パラメータを算出し、該第１の較正パラメータならびに前記相対位置および前記相対姿勢に基づいて前記第１のセンサ以外のセンサの位置および姿勢を較正する第２の較正パラメータを算出するコントローラと、を備える
検出装置。

【請求項7】

入射する波動を検出する、第１のセンサを含む複数のセンサと、
前記複数のセンサを所定の位置及び姿勢で保持する保持部と、
前記複数のセンサの中の前記第１のセンサ以外のセンサの、前記第１のセンサに対する相対位置および相対姿勢を記憶するメモリと、
較正用対象物から伝播する波動の第１のセンサによる検出結果に基づいて前記第１のセンサの位置および姿勢を較正する第１の較正パラメータを算出し、該第１の較正パラメータならびに前記相対位置および前記相対姿勢に基づいて前記第１のセンサ以外のセンサの位置および姿勢を較正する第２の較正パラメータを算出するコントローラと、を備える
路側機。

【請求項8】

情報処理装置の較正方法であって、
保持部に保持された第１のセンサを含む複数のセンサそれぞれに相対関係算出用の対象物から伝播して入射する波動の検出結果に基づいて、前記複数のセンサの中の前記第１のセンサ以外のセンサの、前記第１のセンサに対する相対位置および相対姿勢を算出して、記憶し、
前記第１のセンサに較正用対象物から伝播する波動の検出結果に基づいて、前記第１のセンサの位置および姿勢を較正する第１の較正パラメータを算出し、
前記第１の較正パラメータならびに前記相対位置および前記相対姿勢に基づいて前記第１のセンサ以外のセンサの位置および姿勢を較正する第２の較正パラメータを算出する
較正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、検出装置、路側機、および較正方法に関するものである。

【背景技術】

【0002】

広範囲に位置する測定対象物の位置を検出するために複数の種類のセンサを用いることが検討されている。位置の検出のためには、複数のセンサ別にキャリブレーションを行う必要がある。

【0003】

車体に設けられるミリ波レーダセンサおよびカメラのキャリブレーションの軸調整を行うために、リフレクタおよびターゲットボードを一体化させたターゲット部を用いることが提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－１５６６０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１において提案されている軸調整方法であっても、センサ別に較正を行う必要があり、路側機のように開放された空間の機器に設けられている構成においては、当該機器の設置場所で行うには較正が煩雑であった。

【0006】

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、複数のセンサの較正を屋外において簡易に行う情報処理装置、撮像装置、路側機、および較正方法を提供することにある。

【課題を解決するための手段】

【0007】

上述した諸課題を解決すべく、第１の観点による情報処理装置は、
入射する波動を検出する、第１のセンサを含む複数のセンサそれぞれから、検出結果を取得する取得部と、
前記複数のセンサの中の前記第１のセンサ以外のセンサの、前記第１のセンサに対する相対位置および相対姿勢を記憶するメモリと、
較正用対象物から伝播する波動の第１のセンサによる検出結果に基づいて前記第１のセンサの位置および姿勢を較正する第１の較正パラメータを算出し、該第１の較正パラメータならびに前記相対位置および前記相対姿勢に基づいて前記第１のセンサ以外のセンサの位置および姿勢を較正する第２の較正パラメータを算出するコントローラと、を備える。

【0008】

また、第２の観点による検出装置は、
入射する波動を検出する、第１のセンサを含む複数のセンサと、
前記複数のセンサを所定の位置及び姿勢で保持する保持部と、
前記複数のセンサの中の前記第１のセンサ以外のセンサの、前記第１のセンサに対する相対位置および相対姿勢を記憶するメモリと、
較正用対象物から伝播する波動の第１のセンサによる検出結果に基づいて前記第１のセ
ンサの位置および姿勢を較正する第１の較正パラメータを算出し、該第１の較正パラメー
タならびに前記相対位置および前記相対姿勢に基づいて前記第１のセンサ以外のセンサの
位置および姿勢を較正する第２の較正パラメータを算出するコントローラと、を備える。

【0009】

また、第３の観点による路側機は、
入射する波動を検出する、第１のセンサを含む複数のセンサと、
前記複数のセンサを所定の位置及び姿勢で保持する保持部と、
前記複数のセンサの中の前記第１のセンサ以外のセンサの、前記第１のセンサに対する相対位置および相対姿勢を記憶するメモリと、
較正用対象物から伝播する波動の第１のセンサによる検出結果に基づいて前記第１のセンサの位置および姿勢を較正する第１の較正パラメータを算出し、該第１の較正パラメータならびに前記相対位置および前記相対姿勢に基づいて前記第１のセンサ以外のセンサの位置および姿勢を較正する第２の較正パラメータを算出するコントローラと、を備える。

【0010】

また、第４の観点による較正方法は、
情報処理装置の較正方法であって、
保持部に保持された第１のセンサを含む複数のセンサそれぞれに相対関係算出用の対象物から伝播して入射する波動の検出結果に基づいて、前記複数のセンサの中の前記第１のセンサ以外のセンサの、前記第１のセンサに対する相対位置および相対姿勢を算出して、記憶し、
前記第１のセンサに較正用対象物から伝播する波動の検出結果に基づいて、前記第１のセンサの位置および姿勢を較正する第１の較正パラメータを算出し、
前記第１の較正パラメータならびに前記相対位置および前記相対姿勢に基づいて前記第１のセンサ以外のセンサの位置および姿勢を較正する第２の較正パラメータを算出する。

【発明の効果】

【0011】

上記のように構成された本開示に係る情報処理装置、検出装置、路側機、および較正方法によれば、複数のセンサの較正が屋外において簡易に行われ得る。

【図面の簡単な説明】

【0012】

【図1】本実施形態に係る情報処理装置を含む路側機の概略構成を示すブロック図である。

【図2】図１の情報処理装置の概略構成を示すブロック図である。

【図3】図１に示す検出装置における相対位置および相対姿勢を算出するために、相対関係算出用の対象物を配置した状態を示す状態図である。

【図4】図２のコントローラが実行する相対関係算出処理を説明するためのフローチャートである。

【図5】図２のコントローラが実行する手動キャリブレーション処理を説明するためのフローチャートである。

【図6】図２のコントローラが実行する路面推定処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0013】

以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。

【0014】

図１に示すように、本開示の一実施形態に係る情報処理装置１０を含む路側機１１は、検出装置１２、メモリ１３、通信部１４、ならびにコントローラ１５を含んで構成される。

【0015】

検出装置１２は、路側機１１周辺から伝播する波動を検出する。検出装置１２は、検出した波動に基づいて、路側機１１の周囲における測定対象の実空間における存在位置を検出する。存在位置は、ワールド座標系の位置である。本実施形態においては、測定対象は、例えば、人間、箱型車両、自動二輪車、および自転車である。メモリ１３は、路側機１１の位置を記憶する。通信部１４は、有線または無線により外部機器と通信する。外部機器は、例えば、路側機１１に近接する車両において利用されるナビゲーション装置などの端末装置、または走行中の車両の現在位置を認識して当該車両に交通情報を送信するサーバ装置などである。外部機器は、検出装置１２の手動較正用の端末装置であってよい。コントローラ１５は、測定対象の種類および実空間における存在位置を、路側機１１の位置とともに、ユーザに報知する外部機器に送信するよう通信部１４を制御する。

【0016】

以下に、検出装置１２の詳細について説明する。検出装置１２は、複数のセンサ１６、保持部１７、および情報処理装置１０を有する。

【0017】

複数のセンサ１６は、第１のセンサ１８を含む。複数のセンサ１６は、第１のセンサ１８の他に少なくとも１つのセンサを含む。本実施形態において、複数のセンサ１６は、第１のセンサ１８および第２のセンサ１９を含む。

【0018】

複数のセンサ１６は、それぞれ、多方向から入射する波動を検出する。波動は、例えば、電磁波および音波を含む。電磁波は、例えば、赤外帯域、可視光帯域、紫外帯域、および電波を含む。

【0019】

複数のセンサ１６はそれぞれ、検出軸を有している。複数のセンサ１６はそれぞれ、、検出する波動の観測される位置を、少なくとも検出軸を基準とした二次元座標系における座標として検出可能である。したがって、検出する波動の観測される位置を示す二次元座標系における座標は、複数のセンサ１６の検出結果に含まれる。二次元座標系は、例えば、三次元空間において検出軸が通る平面に平行な互いに異なる２方向を座標軸として有する。または、二次元座標系における座標は、例えば、三次元空間において検出軸に対して異なる２方向を座標軸として有する。

【0020】

複数のセンサ１６は、互いに同じ種類のセンサを含んでよく、互いに異なる種類のセンサを含んでよい。互いに同じ種類のセンサが含まれる構成においては、例えば、画角が異なるように構成されるなど検出範囲が異なるように構成されてよいし、同じ検出範囲となるように構成されてよい。複数のセンサは、例えば、可視光カメラ、赤外線カメラ、レーダ、ＬＩＤＡＲ、ＴＯＦカメラ、ソナー、アクティブ測距センサ、およびパッシブ測距センサの少なくとも１つを含む。

【0021】

本実施形態において、第１のセンサ１８は可視光カメラである。本実施形態において、第２のセンサ１９はミリ波レーダである。可視光カメラである第１のセンサ１８は、複数の物点から伝播する電磁波である可視光を検出することにより、撮像画像を生成する。ミリ波レーダである第２のセンサ１９は、多様な物体から反射されるミリ波を検出することにより、第２のセンサ１９からの当該物体の距離および方向を検出する。

【0022】

保持部１７は、複数のセンサ１６を保持する。保持部１７は、複数のセンサ１６それぞれを、予め定められた位置および予め定められた姿勢で保持するように形成されている。保持部１７は、複数のセンサ１６を、同じ方向に向くように、言換えると検出軸が互いに平行になるように保持してよい。または、保持部１７は、複数のセンサ１６の一部を、他のセンサと異なる方向に向くように保持してよい。保持部１７は、複数のセンサ１６それぞれを実際に保持した状態で、当該複数のセンサ１６の間の相対位置および相対姿勢が変化しないように強固に保持することが好ましい。保持部１７は、例えば複数のセンサ１６それぞれを、３点以上で固定するような支柱や平板として構成されてよい。保持部１７は、温度による変形がより少ない材質で形成されていることが望ましい。

【0023】

複数のセンサ１６を保持したまま、保持部１７は、例えば、信号装置、電柱、および街灯などの、屋外において路面を含む光景を撮像可能な高さを有する構造物に固定される。保持部１７が固定されるときの複数のセンサ１６それぞれの位置および姿勢は、事前に定められてよい。複数のセンサ１６それぞれの位置および姿勢はそれぞれ、ワールド座標系において、基準となる位置に対する複数のセンサ１６それぞれの位置、および、基準となる方向に対する複数のセンサ１６それぞれの傾きを意味する。本開示において「ワールド座標系」は、複数のセンサ１６それぞれの外部の三次元空間に基づいて設定された座標系を意味する。

【0024】

図２に示すように、情報処理装置１０は、取得部２０、メモリ２１、およびコントローラ２２を含んで構成される。

【0025】

取得部２０は、外部機器との間で情報および指令を通信するインターフェースである。取得部２０は、例えば、複数のセンサ１６それぞれから検出結果を取得する。取得部２０は、例えば、路側機１１のコントローラ１５と通信する。

【0026】

メモリ２１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ２１は、コントローラ２２を機能させる多様なプログラム、およびコントローラ２２が用いる多様な情報を記憶する。

【0027】

メモリ２１は、第１のセンサ１８に対する、複数のセンサ１６の中の第１のセンサ１８以外のセンサ（以後、本願明細書において「他のセンサ」とも呼ぶ。）の相対位置および相対姿勢を記憶する。相対位置および相対姿勢は、後述する、手動較正用の端末装置を用いることにより算出され、メモリ２１に格納される。

【0028】

メモリ２１は、後述する自動キャリブレーションで用いる、複数の特定の特徴点それぞれのワールド座標系の位置を記憶してよい。特定の特徴点は、後述するように、任意の構造物に保持部１７を介して固定された第１のセンサ１８の検出範囲内で実空間において同じ場所に位置し、コントローラ２２が判別可能な点である。特定の特徴点のワールド座標系の位置は、後述する、手動較正用の端末装置を用いることにより、メモリ２１に格納される。

【0029】

メモリ２１は、複数のセンサ１６それぞれが検出する二次元座標系の座標からの、ワールド座標系への座標の変換式または変換表を記憶してよい。ワールド座標系は、実空間の鉛直方向と、および水平面に平行且つ互いに垂直な２方向とを軸としてよい。変換式または変換表は、複数のセンサ１６それぞれの検出結果における二次元座標系の座標の、当該二次元座標系からワールド座標系への座標変換に用いられる。

【0030】

第１のセンサ１８用の変換式または変換表は、第１のセンサ１８の位置および姿勢を較正する第１の較正パラメータによって較正されてよい。他のセンサそれぞれのための変換式または変換表は、当該他のセンサそれぞれの位置および姿勢を較正する第２の較正パラメータによって較正されてよい。

【0031】

コントローラ２２は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。コントローラ２２は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

【0032】

コントローラ２２は、以下に説明するように、保持部１７に保持された複数のセンサ１６それぞれに相対関係算出用の対象物から伝播して入射する波動の検出結果に基づいて、第１のセンサ１８に対する他の当該複数のセンサ１６の相対位置および相対姿勢を算出する。

【0033】

図３に示すように、相対位置および相対姿勢の算出のために、例えば、保持部１７に保持された複数のセンサ１６の検出範囲内に、相対関係算出用の対象物２３、２４がユーザなどにより配置される。本実施形態においては、第１のセンサ１８用の相対関係算出用の対象物２３および第２のセンサ１９用の相対関係算出用の対象物２４が配置される。

【0034】

ユーザには、相対関係算出用の対象物２３、２４のワールド座標系における位置の測定が求められている。位置の測定は、５か所以上で行われることが求められている。なお、５か所とは、相対関係算出用の対象物２３、２４そのものの位置のみを意味するのでなく、相対関係算出用の対象物２３、２４から複数のセンサ１６それぞれが検出する二次元座標系の複数の座標に対応する複数の箇所を有する構成においては、当該複数の箇所を含んでよい。また、ユーザには、測定されたワールド座標系における位置の、手動較正用の端末装置へのユーザ入力が求められている。

【0035】

コントローラ２２は、取得部２０および通信部１４を介して、手動較正用の端末装置から相対位置および相対姿勢の算出要求を取得するとき、相対位置および相対姿勢の算出を実行する。

【0036】

コントローラ２２は、複数のセンサ１６の検出結果を、手動較正用の端末装置に送信するように取得部２０を制御する。本実施形態においては、手動較正用の端末装置に、第１のセンサ１８が生成した撮像画像および第２のセンサ１９が検出したミリ波の反射位置の情報が検出結果として送信される。

【0037】

手動較正用の端末装置のユーザには、複数のセンサ１６毎の、相対関係算出用の対象物２３、２４の検出結果と、当該対象物２３、２４のワールド座標系の位置との対応付けが求められている。本実施形態においては、第１のセンサ１８が生成した撮像画像における相対関係算出用の対象物２３の像点の二次元座標系の位置座標と、当該対象物２３のワールド座標系の位置との対応付けが求められている。また、本実施形態においては、第２のセンサ１９が検出したミリ波の反射位置の二次元座標系の角度座標と、当該反射位置に配置されている相対関係算出用の対象物２４のワールド座標系の位置との対応付けが求められている。手動較正用の端末装置のユーザには、相対関係算出用の対象物２３、２４の、検出結果とワールド座標系の位置との対応付けの複数の組を情報処理装置１０に送信することが求められている。

【0038】

コントローラ２２は、送信した検出結果に対して、相対関係算出用の対象物２３、２４の、二次元座標系の座標とワールド座標系の位置との対応付けの複数の組を、手動較正用の端末装置から取得部２０を介して取得する。コントローラ２２は、取得した対応付けの複数の組をメモリ２１に格納する。

【0039】

コントローラ２２は、複数のセンサ１６それぞれに対して、相対関係の算出において、取得した対応付けの複数の組に対して、例えば５点アルゴリズムを実行するにより、複数のセンサ１６それぞれのワールド座標系における位置および姿勢を算出する。コントローラ２２は、第１のセンサ１８の位置を、他のセンサそれぞれの位置から減じることにより、相対位置を算出する。コントローラ２２は、第１のセンサ１８の姿勢を、他のセンサそれぞれの姿勢から減じることにより、相対姿勢を算出する。コントローラ２２は、算出した相対位置および相対姿勢をメモリ２１に格納する。他のセンサそれぞれの相対位置および相対姿勢を算出する計算方法はこれに限らず、一般的に知られた方法である、複数のセンサ間のＥｓｓｅｎｓｉａｌ Ｍａｔｒｉｘを求めて特異値分解することにより、相対位置を表すベクトルおよび相対姿勢を示す行列を算出する方法を用いてもよい。

【0040】

コントローラ２２は、取得部２０および通信部１４を介して、手動較正用の端末装置から手動キャリブレーションの要求を取得するとき、以下に説明するように、手動キャリブレーションを実行する。なお、ユーザには、手動キャリブレーションを行うために、複数のセンサ１６を保持させたまま、保持部１７を任意の場所に設置することが求められている。

【0041】

コントローラ２２は、手動キャリブレーションの実行において、複数の特徴点それぞれのワールド座標系の位置を取得する。特徴点は、較正用対象物の表面上に定められる任意の点である。特徴点の数はキャリブレーションの実行に必要な数以上であればよく、５以上であることが好ましく、１０以上であることがより好ましく、２０以上であることがさらに好ましい。

【0042】

較正用対象物は、手動キャリブレーションにおいて第１のセンサ１８の位置および姿勢の較正に用いられる物である。較正用対象物は、屋外で配置自在で、表面に第１のセンサ１８が検出可能な波動を発せさせる処理が施されたターゲットであってよい。本実施形態のように、可視光カメラである第１のセンサ１８に対する較正用対象物は、表面に例えば市松模様が描画されたターゲットであってよい。または、較正用対象物は、保持部１７が構造物に設置された状態で第１のセンサ１８の検出範囲内で実空間において同じ場所に位置し、コントローラ２２が検出可能な点を有する物体であってよい。本実施形態のように、可視光カメラである第１のセンサ１８に対する較正用対象物は、実空間において路面上または床面上において継続的に同じ場所に位置する路面標示または構造物であってよい。

【0043】

コントローラ２２は、特徴点のワールド座標系の位置の取得を、例えば、ＧＰＳ受信機または手動較正用の端末装置から、取得部２０を介して取得する。コントローラ２２は、取得した特徴点のワールド座標系の位置をメモリ２１に格納する。コントローラ２２は、較正用対象物が第１のセンサ１８の検出範囲内で実空間において同じ場所に位置し、コントローラ２２が検出可能な点を有する物体である構成においては、後述する自動キャリブレーションで用いる、特定の特徴点のワールド座標系の位置として、取得した位置をメモリ２１に格納する。

【0044】

ＧＰＳ受信機から取得する構成において、ユーザには、例えば、ＧＰＳ受信機を、定められた特徴点に載置することが求められている。本実施形態において、較正用対象物がターゲットである構成においては、較正用対象物の特徴点にＧＰＳ受信機の位置が重なるように載置することが求められている。本実施形態において、較正用対象物が路面標示または構造物である構成においては、第１のセンサ１８の検出範囲内の路面上の路面標示の角、または床面上の自動販売機の下端の角などのように、コントローラ２２が検出結果から特定しやすいと考えられる位置にＧＰＳ受信機を載置することが求められている。

【0045】

ＧＰＳ受信機は数個の衛星から受信する信号に基づいて、水平面におけるＧＰＳ受信機の位置を算出する。コントローラ２２は、ＧＰＳ受信機の載置位置をＧＰＳ受信機から直接的にまたは手動較正用の端末装置を介して受信するとき、較正用対象物の特徴点の高さを高さ方向の座標として加えて、特徴点のワールド座標系の位置として取得する。本実施形態において、較正用対象物の特徴点の高さは、較正用対象物がターゲットである構成では、較正用対象物における特徴点の高さである。本実施形態において、較正用対象物の特徴点の高さは、較正用対象物が路面標示または構造物である構成では、路面または床面の高さである。

【0046】

または、手動較正用の端末装置から位置を取得する構成において、手動較正用の端末装置には、当該端末装置のディスプレイに、保持部１７を固定する構造物の周辺の航空写真が重畳されている地図または測量図が表示される。当該端末装置のユーザには、地図または測量図において、較正用対象物の特徴点の位置を指定するユーザ入力を行うことが求められている。また、当該ユーザには、指定した位置を情報処理装置１０に送信することが求められている。コントローラ２２は、手動較正用の端末装置から、航空写真内の指定された複数の位置を受信するとき、較正用対象物の特徴点の高さを高さ方向の座標として加えて、複数の特徴点のワールド座標系の位置として取得する。較正用対象物の特徴点の高さは、ＧＰＳ受信機から取得する場合と同じである。

【0047】

コントローラ２２は、複数の特徴点のワールド座標系の位置の取得後または平行して、複数の特徴点と第１のセンサ１８における検出結果との対応付けのために、第１のセンサ１８から取得する検出結果を、手動較正用の端末装置に送信するように取得部２０を制御する。本実施形態においては、コントローラ２２は、カメラである第１のセンサ１８が生成する撮像画像を手動較正用の端末装置に送信する。

【0048】

手動較正用の端末装置のユーザには、複数の特徴点に対応する、第１のセンサ１８が検出する二次元座標系の座標と、複数の特徴点との対応付けのユーザ入力が求められている。本実施形態においては、可視光カメラである第１のセンサ１８が生成する撮像画像として検出されている各特徴点の撮像画像の位置が、複数の特徴点に対応付けられるように、ユーザに求められている。例えば、手動較正用の端末装置には、撮像画像と、特徴点のワールド座標系の位置に基づき水平面における特徴点の位置を示す地図とが表示される。ユーザには、当該地図における各特徴点の位置を見ながら、撮像画像内で、当該特徴点の位置を指定する入力が求められている。ユーザには、複数の特徴点と第１のセンサ１８が検出する二次元座標系の座標との対応付けを情報処理装置１０に送信することが求められている。

【0049】

コントローラ２２は、送信した撮像画像に対して、複数の特徴点と第１のセンサ１８が検出する二次元座標系の座標との対応付けの複数の組を、手動較正用の端末装置から取得部２０を介して取得する。コントローラ２２は、取得した対応付けの複数の組をメモリ２１に格納する。

【0050】

コントローラ２２は、取得した対応付けの複数の組に対して例えば５点アルゴリズムを実行するにより、変換式または変換表を較正する第１の較正パラメータを算出する。コントローラ２２は、算出した第１の較正パラメータを用いて、第１のセンサ１８用の変換式または変換表を較正して、メモリ２１に再格納する。

【0051】

コントローラ２２は、算出した第１の較正パラメータ、ならびにメモリ２１に記憶している相対位置および相対姿勢を用いて、第１のセンサ１８以外の複数のセンサ１６の位置および姿勢を較正する第２の較正パラメータを算出する。コントローラ２２は、算出した第２の較正パラメータを用いて、第１のセンサ１８以外の複数のセンサ１６用の変換式または変換表を較正して、メモリ２１に再格納する。

【0052】

コントローラ２２は、特定の特徴点のワールド座標系の位置をメモリ２１に格納した場合、較正した第１のセンサ１８用の変換式または変換表を用いて、当該ワールド座標系の位置を、第１のセンサ１８の二次元座標系の座標に変換する。コントローラ２２は、当該二次元座標系の座標をメモリ２１に格納する。コントローラ２２は、第１のセンサ１８の検出結果および当該二次元座標系の座標から、特定の特徴点の特徴量を抽出する。コントローラ２２は、抽出した特徴量をメモリ２１に格納する。

【0053】

コントローラ２２は、手動キャリブレーションの終了後、複数のセンサ１６の検出結果に基づいて、路面または床面の形状を推定してよい。具体的には、コントローラ２２は、複数のセンサ１６の少なくとも１つのセンサの検出結果に基づいて、路面または床面のワールド座標系における位置を推定する。コントローラ２２は当該センサ以外のセンサの検出結果に基づいて、推定した路面または床面のワールド座標系における位置を修正する。位置の修正により、路面または床面の形状の推定が行われる。

【0054】

本実施形態においては、コントローラ２２は、可視光カメラである第１のセンサ１８の生成する撮像画像において、路面または床面が占める領域を検出する。路面または床面の領域の検出は、例えば、機械学習、パターンマッチング、およびフリースペースの検出などの公知の方法によって行われてよい。さらに、コントローラ２２は、ミリ波レーダである第２のセンサ１９の検出する、路面または床面の領域の各地点までの距離に基づいて、路面または床面の任意の地点の高さを算出する。コントローラ２２は、算出した高さに基づいて、路面または床面の任意の地点におけるワールド座標系の高さ位置を修正する。

【0055】

コントローラ２２は、修正した路面または床面のワールド座標系における位置をメモリ２１に格納してよい。コントローラ２２は、メモリ２１に記憶した変換式または変換表を、修正した路面または床面のワールド座標系における位置に基づいて修正してよい。

【0056】

コントローラ２２は、手動キャリブレーションの終了後、自動キャリブレーションを実行可能である。自動キャリブレーションは、第１のセンサ１８が波動を検出するたびに行われてよく、所定の周期で行われてよく、または定期的に行われてよい。本実施形態においては、所定の周期で自動キャリブレーションは行われる。

【0057】

コントローラ２２は、自動キャリブレーションのために、メモリ２１に記憶されている特徴量に基づいて、新たに取得した第１のセンサ１８の検出結果から複数の特定の特徴点に対応する二次元座標系の座標を検出する。コントローラ２２は、検出した座標が、メモリ２１に記憶されている特定の特徴点の座標から閾値以上で変化しているか否かを判別する。

【0058】

コントローラ２２は、座標が閾値以上で変化している特徴点の数が、検出した特徴点の数の所定の割合以上である場合、複数の特定の特徴点それぞれに対応する、第１のセンサ１８の検出する波動の観測される位置を示す二次元座標系の座標と、メモリ２１に記憶されているワールド座標系の位置とを用いて、第１の較正パラメータを再算出する。

【0059】

コントローラ２２は、再算出した第１の較正パラメータを用いてメモリ２１に記憶している第１のセンサ１８用の変換式または変換表を較正する。コントローラ２２は、較正後の変換式または変換表をメモリ２１に格納する。コントローラ２２は、較正された変換式または変換表を用いて、メモリ２１に記憶されている特定の特徴点のワールド座標系の位置を、第１のセンサ１８が検出する二次元座標系の座標に変換する。コントローラ２２は、変換された二次元座標系の座標を以後の自動キャリブレーションの実行の可否を判別するための新たな座標として、メモリ２１に格納する。コントローラ２２は、新たな二次元座標系の座標を用いて、以後の自動キャリブレーションを行う。

【0060】

コントローラ２２は、手動キャリブレーション、または、自動キャリブレーションの実行後、路側機１１周辺の測定対象の有無の判別および測定対象の位置の算出の少なくともいずれかを行う。

【0061】

本実施形態において、コントローラ２２は、第１のセンサ１８から１フレームの撮像画像を取得するとき、測定対象が含まれているか否かを判別する。コントローラ２２は、撮像画像内の測定対象の検出の可否に基づいて、測定対象が含まれているか否かを判別する。コントローラ２２は、例えば、パターンマッチングまたは深層学習など従来公知の検出方法によって検出する。コントローラ２２は、測定対象を検出すると、測定対象の路面または床面側の下端の位置を検出する。コントローラ２２は、検出した当該位置を、メモリ２１に記憶している第１のセンサ１８用の変換式または変換表を用いて、ワールド座標系の位置に変換する。コントローラ２２は、測定対象、および、ワールド座標系の位置を外部機器に送信するように、取得部２０を制御する。

【0062】

本実施形態において、コントローラ２２は、第２のセンサ１９から、第２のセンサ１９の検出軸から傾斜させた各方向に位置する物体までの距離を取得するとき、第１のセンサ１８の生成する撮像画像において検出される測定対象までの距離を抽出する。コントローラ２２は、測定対象までの距離に基づいて、ワールド座標系の位置を算出する。コントローラ２２は、測定対象、および、ワールド座標系の位置を外部機器に送信するように、取得部２０を制御する。

【0063】

次に、本実施形態においてコントローラ２２が実行する、相対関係算出処理について、図４のフローチャートを用いて説明する。相対関係算出処理は、手動較正用の端末装置から相対位置および相対姿勢の算出の要求を取得するとき開始する。前述のように、相対関係算出処理の実行前に、保持部１７に保持された複数のセンサ１６の検出範囲内に、相対関係算出用の対象物２３、２４が配置されている。

【0064】

ステップＳ１００において、コントローラ２２は、複数のセンサ１６それぞれの検出結果を手動較正用の端末装置に送信するように取得部２０を制御する。送信後、プロセスはステップＳ１０１に進む。

【0065】

ステップＳ１０１では、コントローラ２２は、ステップＳ１００において検出結果を送信した手動較正用の端末装置から、相対関係算出用の対象物２３、２４毎の、検出結果とワールド座標系の位置との対応付けの複数の組を取得しているか否かを判別する。取得していない場合、プロセスはステップＳ１０１に戻る。取得している場合、プロセスはステップＳ１０２に進む。

【0066】

ステップＳ１０２では、コントローラ２２は、ステップＳ１０１において取得が確認された対応付けの複数の組を用いて、複数のセンサ１６それぞれのワールド座標系における位置および姿勢を算出する。コントローラ２２は、算出した、複数のセンサ１６それぞれの位置に基づいて、他のセンサの相対位置を算出する。コントローラ２２は、算出した、複数のセンサ１６それぞれの姿勢に基づいて、他のセンサの相対姿勢を算出する。算出後、プロセスはステップＳ１０３に進む。

【0067】

ステップＳ１０３では、コントローラ２２は、ステップＳ１０２において算出した相対位置および相対姿勢をメモリ２１に格納する。格納後、手動キャリブレーション処理は終了する。

【0068】

次に、本実施形態においてコントローラ２２が実行する、手動キャリブレーション処理について、図５のフローチャートを用いて説明する。手動キャリブレーション処理は、手動較正用の端末装置から手動キャリブレーションの要求を取得するとき開始する。前述のように、手動キャリブレーション処理の実行前に、複数のセンサ１６を保持させたまま保持部１７が任意の場所に設置されている。

【0069】

ステップＳ２００において、コントローラ２２は、第１のセンサ１８の検出結果を手動較正用の端末装置に送信するように取得部２０を制御する。送信後、プロセスはステップＳ２０１に進む。

【0070】

ステップＳ２０１では、コントローラ２２は、ステップＳ２００において検出結果を送信した手動較正用の端末装置から、特徴点毎の検出結果とワールド座標系の位置との対応付けの複数の組を取得しているか否かを判別する。取得していない場合、プロセスはステップＳ２０１に戻る。取得している場合、プロセスはステップＳ２０２に進む。

【0071】

ステップＳ２０２では、コントローラ２２は、ステップＳ２０１において取得が確認された対応付けの複数の組を用いて、第１の較正パラメータを算出する。コントローラ２２は、算出した第１の較正パラメータを用いて、メモリ２１に記憶されている第１のセンサ１８用の変換式または変換表を較正して、メモリ２１に再格納する。算出後、プロセスはステップＳ２０３に進む。

【0072】

ステップＳ２０３では、コントローラ２２は、メモリ２１から他のセンサそれぞれの相対位置および相対姿勢を読出す。読出し後、プロセスはステップＳ２０４に進む。

【0073】

ステップＳ２０４では、コントローラ２２は、ステップＳ２０２において算出した第１の較正パラメータ、ならびにステップＳ２０３において読出した相対位置および相対姿勢に基づいて、第２の較正パラメータを算出する。コントローラ２２は、算出した第２の較正パラメータを用いて、メモリ２１に記憶されている他のセンサそれぞれの変換式または変換表を較正して、メモリ２１に再格納する。算出後、プロセスはステップＳ２０５に進む。

【0074】

ステップＳ２０５では、コントローラ２２は、ステップＳ２００において送信した第１のセンサ１８の検出結果に用いた較正用対象物が第１のセンサ１８の検出範囲内でワールド座標系において同じ位置に位置し、コントローラ２２が検出可能な点を有する特定の物体であるか否かを判別する。特定の物体である場合、プロセスはステップＳ２０６に進む。特定の物体でない場合、手動キャリブレーション処理は終了する。

【0075】

ステップＳ２０６では、コントローラ２２は、ステップＳ２０１において取得した対応付けの組の中の各特徴点のワールド座標系の位置を、第１のセンサ１８の二次元座標系の座標に変換する。コントローラ２２は、変換した二次元座標系の座標をメモリ２１に格納する。変換後、プロセスはステップ２０７に進む。

【0076】

ステップＳ２０７では、コントローラ２２は、ステップＳ２００において送信した第１のセンサ１８の検出結果およびステップＳ２０６において変換した二次元座標系の座標から、特定の特徴点の特徴量を抽出する。コントローラ２２は、抽出した特徴量をメモリ２１に格納する。格納後、手動キャリブレーション処理は終了する。

【0077】

次に、本実施形態においてコントローラ２２が実行する、路面推定処理について、図６のフローチャートを用いて説明する。路面推定処理は、例えば、手動キャリブレーションまたは自動キャリブレーションの終了後に開始する。なお、以下の説明において、第１のセンサ１８は可視光カメラであり、第２のセンサ１９はミリ波レーダである。

【0078】

ステップＳ３００において、コントローラ２２は、第１のセンサ１８が生成する撮像画像における路面または床面の領域を検出する。検出後、プロセスはステップＳ３０１に進む。

【0079】

ステップＳ３０１では、コントローラ２２は、第２のセンサ１９の検出結果から、ステップＳ３００において検出した路面または床面の領域上の任意の地点までの距離を検出する。検出後、プロセスはステップＳ３０２に進む。

【0080】

ステップＳ３０２では、コントローラ２２は、ステップＳ３０１において距離を検出した任意の地点のワールド座標系の位置を、撮像画像における当該地点の位置およびメモリ２１に記憶されている第１の較正パラメータを用いて算出する。コントローラ２２は、当算出したワールド座標系の位置の高さを、ステップＳ３０１において検出した距離に基づいて修正する。コントローラ２２は、修正した当該地点のワールド座標系の位置を用いてメモリ２１に記憶された複数のセンサ１６それぞれの変換式または変換表を修正する。修正後、路面確定処理は終了する。

【0081】

以上のような構成の本実施形態の情報処理装置１０は、較正用対象物から伝播する波動の第１のセンサ１８による検出結果に基づいて第１のセンサ１８の位置および姿勢を較正する第１の較正パラメータを算出し、当該第１の較正パラメータならびにメモリ２１に記憶されている相対位置および相対姿勢に基づいて他のセンサの位置および姿勢を較正する第２の較正パラメータを算出する。このような構成により、情報処理装置１０は、保持部１７に保持された複数のセンサ１６における、第１のセンサ１８に対する、他のセンサの相対位置および相対姿勢を、製造工程などにおいて予め算出して、記憶し得る。したがって、情報処理装置１０は、複数のセンサ１６を保持した保持部１７を屋外に設置する場合に、第１のセンサ１８の較正のみを行うことにより、他のセンサの較正も実行し得る。その結果、情報処理装置１０は、設置時のセンサ毎の較正のためのユーザの作業を軽減し、屋外において複数のセンサ１６の較正を簡易に行い得る。

【0082】

また、本実施形態の情報処理装置１０は、複数のセンサ１６の検出結果に基づいて、路面または床面の形状を推定する。このような構成により、情報処理装置１０は、例えば撮像画像のように、画像上の情報を検出結果として生成するセンサの検出結果に基づく、測定対象物のワールド座標系の位置の推定精度を向上させ得る。

【0083】

また、本実施形態の情報処理装置１０は、手動キャリブレーションにおいて、第１のセンサ１８の検出範囲内でワールド座標系において同じ位置に位置し、コントローラ２２が判別可能な点を有する較正用対象物が用いられた場合、特定の特徴点の、第１のセンサ１８の二次元座標系の座標および特徴量をメモリ２１に記憶する。さらに、情報処理装置１０は、第１のセンサ１８が新たに検出する二次元座標系の座標が、メモリ２１に記憶している二次元座標系の座標から閾値以上で変化している場合、第１の較正パラメータを再校正する。このような構成により、情報処理装置１０は、継続的にワールド座標系の位置が変わらない点を特定の特徴点として定めることにより、較正のために第１のセンサ１８の検出範囲内に較正用の測定物を配置させることなく第１の較正パラメータを自動で算出し得る。

【0084】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【0085】

例えば、本実施形態において、情報処理装置１０が、対応付けの複数の組に基づく複数のセンサ１６それぞれの位置および姿勢の算出、ならびに複数のセンサ１６それぞれの位置および姿勢に基づく他のセンサの相対位置および相対姿勢の算出を行う構成であるが、この中の少なくとも一部を手動較正用の端末装置が実行してよい。情報処理装置１０は、手動較正用の端末装置から、対応付けの複数の組に基づく複数のセンサ１６それぞれの位置および姿勢、または複数のセンサ１６それぞれの位置および姿勢に基づく他のセンサの相対位置および相対姿勢を取得しても、本実施形態と類似した効果が得られる。

【0086】

また、本実施形態において、複数のセンサ１６は、第１のセンサ１８および第２のセンサ１９の２つのセンサを含む構成であるが、３以上のセンサを含んでもよい。例えば、複数のセンサが、可視光カメラ、ミリ波レーダ、および赤外線カメラを含んでよい。また、本実施形態において、第１のセンサ１８は可視光カメラであるが、他の種類のセンサであってもよい。例えば、保持部１７を構造物に設置後の手動キャリブレーションの工程が暗い周囲環境でしか行えない場合、可視光カメラによる位置の検出が困難となり得る。このような状況においては、例えば、赤外カメラを第１のセンサ１８として用いることにより、手動キャリブレーションが実行され得る。

【符号の説明】

【0087】

１０ 情報処理装置
１１ 路側機
１２ 検出装置
１３ メモリ
１４ 通信部
１５ コントローラ
１６ 複数のセンサ
１７ 保持部
１８ 第１のセンサ
１９ 第２のセンサ
２０ 取得部
２１ メモリ
２２ コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】