▶ 三菱電機株式会社の特許一覧 ▶ 国立大学法人 東京大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-01-19
(45)【発行日】2023-01-27
(54)【発明の名称】データ処理装置、データ処理方法及びデータ処理プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20230120BHJP
【ＦＩ】
H04N5/232
【請求項の数】
9
(21)【出願番号】P 2022554391
(86)(22)【出願日】2021-03-08
(86)【国際出願番号】 JP2021008985
【審査請求日】2022-09-08
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】長谷川 雄史
(72)【発明者】
【氏名】岡登 洋平
(72)【発明者】
【氏名】大石 岳史
(72)【発明者】
【氏名】石川 涼一
【審査官】吉川 康男
(56)【参考文献】
【文献】特開２０２０－１９８０７４（ＪＰ，Ａ）
【文献】特開２０２０－０６１６５１（ＪＰ，Ａ）
【文献】特開２０１９－０７０９８３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
移動体に設置されている撮影機器により取得された撮影画像データを用いて算出された前記移動体の推定移動量を第１の移動量として取得する第１の移動量取得部と、前記第１の移動量取得部による前記第１の移動量の取得に同期して、前記第１の移動量の推定精度よりも高い推定精度の前記移動体の推定移動量を第２の移動量として取得する第２の移動量取得部と、
前記第１の移動量と前記第２の移動量とを比較し、前記第１の移動量と前記第２の移動量との差が閾値未満である場合に、前記第１の移動量をキャリブレーション演算に用いることを決定する比較決定部とを有するデータ処理装置。
【請求項2】
前記第２の移動量取得部は、前記移動体に設置されている３次元センサにより取得された３次元センサデータを用いて算出された前記移動体の推定移動量を前記第２の移動量として取得する請求項１に記載のデータ処理装置。
【請求項3】
前記第１の移動量取得部は、前記撮影画像データを用いて算出された前記移動体の推定回転量が含まれる前記第１の移動量を取得し、
前記第２の移動量取得部は、
前記３次元センサデータを用いて算出された前記移動体の推定回転量が含まれる前記第２の移動量を取得し、
前記比較決定部は、
前記第１の移動量に含まれる前記移動体の推定回転量と、前記第２の移動量に含まれる前記移動体の推定回転量とを比較し、前記第１の移動量に含まれる前記移動体の推定回転量と前記第２の移動量に含まれる前記移動体の推定回転量との差が閾値未満である場合に、前記第１の移動量をキャリブレーション演算に用いることを決定する請求項２に記載のデータ処理装置。
【請求項4】
前記第２の移動量取得部は、前記移動体に設置されている制御機器により計測された計測値を用いて算出された前記移動体の推定移動量を前記第２の移動量として取得する請求項１に記載のデータ処理装置。
【請求項5】
前記第１の移動量取得部は、前記第１の移動量の取得を繰り返し、
前記第２の移動量取得部は、
前記第２の移動量の取得を繰り返し、
前記比較決定部は、
前記第１の移動量取得部による前記第１の移動量の取得及び前記第２の移動量取得部による前記第２の移動量の取得がある度に、前記第１の移動量と前記第２の移動量との比較を繰り返し、
前記第１の移動量と前記第２の移動量との比較を繰り返した結果、前記キャリブレーション演算に用いると決定された前記第１の移動量が複数ある場合に、複数の前記第１の移動量の中から、前記撮影機器の光軸を中心とする回転移動に対応する第１の移動量を選択する請求項１に記載のデータ処理装置。
【請求項6】
前記比較決定部は、前記第１の移動量と前記第２の移動量との差が閾値未満である場合に、前記第１の移動量を、前記移動体に設置されている３次元センサと前記撮影機器との相対位置及び相対姿勢を算出するための、モーションベース手法によるキャリブレーション演算に用いることを決定する請求項１に記載のデータ処理装置。
【請求項7】
前記移動体は、ＡＧＶ（Ａｕｔｏｍａｔｉｃ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）であり、前記第１の移動量取得部は、
前記第１の移動量を算出する移動量算出装置に接続されており、前記移動量算出装置により算出された前記第１の移動量を取得し、
前記移動量算出装置は、
前記ＡＧＶが周回コースの走行開始位置から走行を開始した時点で前記撮影機器により取得された撮影画像データである走行開始撮影画像データと前記ＡＧＶが前記周回コースを一周して前記走行開始位置に戻ったと判定して走行を終了した時点で前記撮影機器により取得された撮影画像データである走行終了撮影画像データとが一致するか否かを判定し、
前記走行開始撮影画像データと前記走行終了撮影画像データとが一致する場合に、前記ＡＧＶが前記周回コースを一周する間に前記撮影機器により取得された複数の撮影画像データのうちのいずれかの撮影画像データを用いて前記ＡＧＶの推定移動量を前記第１の移動量として算出する請求項１に記載のデータ処理装置。
【請求項8】
コンピュータが、移動体に設置されている撮影機器により取得された撮影画像データを用いて算出された前記移動体の推定移動量を第１の移動量として取得し、前記コンピュータが、前記第１の移動量の取得に同期して、前記第１の移動量の推定精度よりも高い推定精度の前記移動体の推定移動量を第２の移動量として取得し、
前記コンピュータが、前記第１の移動量と前記第２の移動量とを比較し、前記第１の移動量と前記第２の移動量との差が閾値未満である場合に、前記第１の移動量をキャリブレーション演算に用いることを決定するデータ処理方法。
【請求項9】
移動体に設置されている撮影機器により取得された撮影画像データを用いて算出された前記移動体の推定移動量を第１の移動量として取得する第１の移動量取得処理と、前記第１の移動量取得処理による前記第１の移動量の取得に同期して、前記第１の移動量の推定精度よりも高い推定精度の前記移動体の推定移動量を第２の移動量として取得する第２の移動量取得処理と、
前記第１の移動量と前記第２の移動量とを比較し、前記第１の移動量と前記第２の移動量との差が閾値未満である場合に、前記第１の移動量を、キャリブレーション演算に用いることを決定する比較決定処理とをコンピュータに実行させるデータ処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自動キャリブレーションに関する。
【背景技術】
【0002】
移動体には周辺環境を認識するために複数のセンサが設置されている。例えば、移動体の１つである車両には、センサとしてカメラ等の撮影機器、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等の３次元センサが設置されている。これら複数のセンサの検出結果を統合して車両の周辺環境を認識することができる。
センサの検出結果を正確に統合するためには、センサ間の相対的な位置及び姿勢を事前に算出しておく必要がある。このようなセンサ間の相対的な位置及び姿勢の算出を自動で行うことを自動キャリブレーションという。
センサの検出結果を正確に統合するためには、センサ間の相対的な位置及び姿勢を事前に算出しておく必要がある。このようなセンサ間の相対的な位置及び姿勢の算出を自動で行うことを自動キャリブレーションという。
【0003】
特許文献１では、自動キャリブレーションの精度を向上させるための技術が開示されている。より具体的には、特許文献１では、ＬｉＤＡＲにより得られた３次元点群のうち、カメラから距離の近い３次元点群の重み付け（信頼度）を大きくし、距離の遠い３次元点群の重み付けを小さくする。このようにすることで、特許文献１では、自動キャリブレーションの精度を向上させる。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開ＷＯ２０１９／１５５７１９号
【発明の概要】
【発明が解決しようとする課題】
【0005】
自動キャリブレーションの手法には、アピアランスベース手法とモーションベース手法がある。
【0006】
アピアランスベース手法では、カメラ撮影画像のエッジ情報と、ＬｉＤＡＲの３次元点群データを重畳させる。そして、エッジ情報と３次元点群データとのズレ量を検出することでキャリブレーションが行われる。アピアランスベース手法は移動体が走行中でもキャリブレーションが可能であるが、その一方で走行中の周辺環境に依存するため、ロバスト性が低い。
【0007】
モーションベース手法は、このロバスト性が低いという課題を改善することができる。モーションベース手法では、カメラの撮影画像データから算出した移動量と、ＬｉＤＡＲの３次元点群データから算出した移動量とを比較する。そして、移動量の比較によりキャリブレーションが行われ、カメラとＬｉＤＡＲとの相対位置及び相対姿勢が算出される。カメラとＬｉＤＡＲとの相対位置及び相対姿勢は移動体が移動しても変動しないことから、移動量を比較することで、カメラとＬｉＤＡＲとの相対位置及び相対姿勢を算出することができる。
【0008】
一般的に、カメラの撮影画像データから算出された移動量はスケールが不明である。また、カメラの撮影画像データはＬｉＤＡＲの３次元点群データに比べて画像特徴点の検出精度が低い傾向にあるため、カメラの撮影画像データには大きな誤差が含まれる可能性がある。
このように、モーションベース手法において、カメラの撮影画像データの精度が低いと、正確なキャリブレーション演算ができず、正確な相対位置及び相対姿勢の算出ができないという課題がある。
このように、モーションベース手法において、カメラの撮影画像データの精度が低いと、正確なキャリブレーション演算ができず、正確な相対位置及び相対姿勢の算出ができないという課題がある。
【0009】
本開示は、上記のような課題を解決することを主な目的の一つとしている。より具体的には、本開示は、カメラの撮影画像データを用いた正確なキャリブレーション演算を可能にし、正確な相対位置及び相対姿勢の算出することを主な目的とする。
【課題を解決するための手段】
【0010】
本開示に係るデータ処理装置は、
移動体に設置されている撮影機器により取得された撮影画像データを用いて算出された前記移動体の推定移動量を第１の移動量として取得する第１の移動量取得部と、
前記第１の移動量取得部による前記第１の移動量の取得に同期して、前記第１の移動量の推定精度よりも高い推定精度の前記移動体の推定移動量を第２の移動量として取得する第２の移動量取得部と、
前記第１の移動量と前記第２の移動量とを比較し、前記第１の移動量と前記第２の移動量との差が閾値未満である場合に、前記第１の移動量をキャリブレーション演算に用いることを決定する比較決定部とを有する。
移動体に設置されている撮影機器により取得された撮影画像データを用いて算出された前記移動体の推定移動量を第１の移動量として取得する第１の移動量取得部と、
前記第１の移動量取得部による前記第１の移動量の取得に同期して、前記第１の移動量の推定精度よりも高い推定精度の前記移動体の推定移動量を第２の移動量として取得する第２の移動量取得部と、
前記第１の移動量と前記第２の移動量とを比較し、前記第１の移動量と前記第２の移動量との差が閾値未満である場合に、前記第１の移動量をキャリブレーション演算に用いることを決定する比較決定部とを有する。
【発明の効果】
【0011】
本開示によれば、カメラの撮影画像データを用いて正確なキャリブレーション演算を行うことができ、このため、正確な相対位置及び相対姿勢を算出することができる。
【図面の簡単な説明】
【0012】
【図1】実施の形態１に係るキャリブレーションシステムの構成例を示す図。
【図2】実施の形態１に係るキャリブレーションシステムの別の構成例を示す図。
【図3】実施の形態１に係るキャリブレーションシステムの別の構成例を示す図。
【図4】実施の形態１に係るデータ処理装置のハードウェア構成例を示す図。
【図5】実施の形態１に係るデータ処理装置の機能構成例を示す図。
【図6】実施の形態１に係るデータ処理装置の動作例を示すフローチャート。
【図7】実施の形態２に係るキャリブレーションシステムの構成例を示す図。
【図8】実施の形態２に係るデータ処理装置の機能構成例を示す図。
【図9】実施の形態２に係るデータ処理装置の動作例を示すフローチャート。
【図10】実施の形態３に係るデータ処理装置の動作例を示すフローチャート。
【発明を実施するための形態】
【0013】
以下、実施の形態を図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分又は相当する部分を示す。
【0014】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１、図２及び図３は、それぞれ、本実施の形態に係るキャリブレーションシステム１０００の構成例を示す。
キャリブレーションシステム１０００は、カメラ２０と、ＬｉＤＡＲ３０と、データ処理装置１００と、移動量算出装置２００と、キャリブレーション装置３００とで構成される。
＊＊＊構成の説明＊＊＊
図１、図２及び図３は、それぞれ、本実施の形態に係るキャリブレーションシステム１０００の構成例を示す。
キャリブレーションシステム１０００は、カメラ２０と、ＬｉＤＡＲ３０と、データ処理装置１００と、移動量算出装置２００と、キャリブレーション装置３００とで構成される。
【0015】
図１では、カメラ２０と、ＬｉＤＡＲ３０と、データ処理装置１００と、移動量算出装置２００と、キャリブレーション装置３００が、それぞれ車両１０に設置されている。図１の構成では、データ処理装置１００と移動量算出装置２００とキャリブレーション装置３００は例えば有線接続されている。
図２では、データ処理装置１００はスマートフォン等の携帯端末装置である。このため、図２の構成では、データ処理装置１００は車両１０内で使用されることもあるし、車両１０の外で使用されることもある。図２の構成では、データ処理装置１００は、移動量算出装置２００及びキャリブレーション装置３００と無線接続される。
図３では、データ処理装置１００及びキャリブレーション装置３００は車両１０の外に配置されている。図３の構成でも、データ処理装置１００はスマートフォン等の携帯端末装置である。図３では、データ処理装置１００は車両１０の外に配置されているが、データ処理装置１００は車両１０内で使用されてもよい。図３の構成でも、データ処理装置１００は、移動量算出装置２００及びキャリブレーション装置３００と無線接続される。
図２では、データ処理装置１００はスマートフォン等の携帯端末装置である。このため、図２の構成では、データ処理装置１００は車両１０内で使用されることもあるし、車両１０の外で使用されることもある。図２の構成では、データ処理装置１００は、移動量算出装置２００及びキャリブレーション装置３００と無線接続される。
図３では、データ処理装置１００及びキャリブレーション装置３００は車両１０の外に配置されている。図３の構成でも、データ処理装置１００はスマートフォン等の携帯端末装置である。図３では、データ処理装置１００は車両１０の外に配置されているが、データ処理装置１００は車両１０内で使用されてもよい。図３の構成でも、データ処理装置１００は、移動量算出装置２００及びキャリブレーション装置３００と無線接続される。
【0016】
【0017】
図１において、カメラ２０は車両１０に設置され、車両１０の走行に伴って一定の撮影周期で車両１０の周辺環境を撮影して撮影画像データを取得する。例えば、カメラ２０は、５０ミリ秒周期で撮影を行う。撮影により得られた撮影画像データは移動量算出装置２００に出力される。
カメラ２０は撮影機器の例である。
カメラ２０は撮影機器の例である。
【0018】
ＬｉＤＡＲ３０も車両１０に設置され、車両１０の走行に伴って車両１０の周辺環境を撮像して３次元点群データを取得する。ＬｉＤＡＲ３０は、カメラ２０に同期して（カメラ２０の撮影周期と同一周期の撮像周期で）車両１０の周辺環境を撮像する。例えば、ＬｉＤＡＲ３０は、５０ミリ秒周期で撮像を行う。撮像により得られた３次元点群データは移動量算出装置２００に出力される。
ＬｉＤＡＲ３０は、３次元センサの例である。また、ＬｉＤＡＲ３０により取得される３次元点群データは３次元センサデータの例である。
ＬｉＤＡＲ３０は、３次元センサの例である。また、ＬｉＤＡＲ３０により取得される３次元点群データは３次元センサデータの例である。
【0019】
【0020】
移動量算出装置２００は、カメラ２０から撮影画像データを取得する。そして、移動量算出装置２００は、撮影画像データを用いて車両１０の推定移動量を算出する。移動量算出装置２００が算出する推定移動量には、カメラ２０の回転ベクトルを中心とする車両１０の回転移動の推定量（推定回転量）が含まれるものとする。
以下では、撮影画像データを用いて算出される車両１０の推定移動量をカメラ移動量１１０という。カメラ移動量１１０は第１の移動量に相当する。
移動量算出装置２００は、今回の撮影周期に取得した撮影画像データと前回の撮影周期に取得した撮影画像データとの比較から、撮影周期（例えば、５０ミリ秒）における車両１０の推定移動量であるカメラ移動量１１０を算出する。
移動量算出装置２００は、具体的には、時系列画像間の対応関係を用いたＶｉｓｕａｌ－ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）によりカメラ移動量１１０を算出する。
以下では、撮影画像データを用いて算出される車両１０の推定移動量をカメラ移動量１１０という。カメラ移動量１１０は第１の移動量に相当する。
移動量算出装置２００は、今回の撮影周期に取得した撮影画像データと前回の撮影周期に取得した撮影画像データとの比較から、撮影周期（例えば、５０ミリ秒）における車両１０の推定移動量であるカメラ移動量１１０を算出する。
移動量算出装置２００は、具体的には、時系列画像間の対応関係を用いたＶｉｓｕａｌ－ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）によりカメラ移動量１１０を算出する。
【0021】
また、移動量算出装置２００は、ＬｉＤＡＲ３０から３次元点群データを取得する。そして、移動量算出装置２００は、３次元点群データを用いて車両１０の推定移動量を算出する。移動量算出装置２００が算出する推定移動量には、ＬｉＤＡＲ３０の回転ベクトルを中心とする車両１０の回転移動の推定量（推定回転量）が含まれるものとする。
以下では、３次元点群データを用いて算出される車両１０の推定移動量をＬｉＤＡＲ移動量１２０という。ＬｉＤＡＲ移動量１２０は、カメラ移動量１１０よりも推定精度が高い。ＬｉＤＡＲ移動量１２０は第２の移動量に相当する。
移動量算出装置２００は、今回の撮像周期に取得した３次元点群データと前回の撮像周期に取得した３次元点群データとの比較から、撮像周期（例えば、５０ミリ秒）における車両１０の推定移動量であるＬｉＤＡＲ移動量１２０を算出する。具体的には、移動量算出装置２００は、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムを用いたＬｉＤＡＲ－ＳＬＡＭによりＬｉＤＡＲ移動量１２０を算出する。
以下では、３次元点群データを用いて算出される車両１０の推定移動量をＬｉＤＡＲ移動量１２０という。ＬｉＤＡＲ移動量１２０は、カメラ移動量１１０よりも推定精度が高い。ＬｉＤＡＲ移動量１２０は第２の移動量に相当する。
移動量算出装置２００は、今回の撮像周期に取得した３次元点群データと前回の撮像周期に取得した３次元点群データとの比較から、撮像周期（例えば、５０ミリ秒）における車両１０の推定移動量であるＬｉＤＡＲ移動量１２０を算出する。具体的には、移動量算出装置２００は、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムを用いたＬｉＤＡＲ－ＳＬＡＭによりＬｉＤＡＲ移動量１２０を算出する。
【0022】
移動量算出装置２００は、算出したカメラ移動量１１０及びＬｉＤＡＲ移動量１２０をデータ処理装置１００に出力する。
また、移動量算出装置２００は、撮影画像データのＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）もデータ処理装置１００に出力する。撮影画像データのＩＤを、以下では、撮影画像データＩＤ１３０という。
また、移動量算出装置２００は、撮影画像データのＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）もデータ処理装置１００に出力する。撮影画像データのＩＤを、以下では、撮影画像データＩＤ１３０という。
【0023】
データ処理装置１００は、移動量算出装置２００からカメラ移動量１１０及びＬｉＤＡＲ移動量１２０を取得する。また、データ処理装置１００は、移動量算出装置２００から撮影画像データＩＤ１３０も取得する。
データ処理装置１００は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０とを比較して、カメラ移動量１１０が後述するキャリブレーション装置３００でのキャリブレーション演算に適するか否かを判定する。カメラ移動量１１０がキャリブレーション演算に適する場合は、カメラ移動量１１０をキャブレーション演算に用いることを決定する。そして、データ処理装置１００は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
データ処理装置１００は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０とを比較して、カメラ移動量１１０が後述するキャリブレーション装置３００でのキャリブレーション演算に適するか否かを判定する。カメラ移動量１１０がキャリブレーション演算に適する場合は、カメラ移動量１１０をキャブレーション演算に用いることを決定する。そして、データ処理装置１００は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
【0024】
キャリブレーション装置３００は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と、撮影画像データＩＤ１３０で特定される撮影画像データと、当該撮影画像データと同時刻に得られた３次元点群データとを用いて、モーションベース手法によるキャリブレーション演算を行う。
キャリブレーション装置３００は、キャリブレーション演算により、カメラ２０とＬｉＤＡＲ３０との相対位置及び相対姿勢を算出することができる。なお、キャリブレーション装置３００は、例えば、移動量算出装置２００から、撮影画像データＩＤ１３０で特定される撮影画像データと、当該撮影画像データと同時刻に得られた３次元点群データとを取得することができるものとする。
キャリブレーション装置３００は、キャリブレーション演算として、主に以下を行う。
キャリブレーション装置３００は、まず、カメラ２０とＬｉＤＡＲ３０の座標系を大まかに合わせ、２Ｄ－３Ｄマッチングを行う。２Ｄ－３Ｄマッチングは、カメラ２０の撮影画像データから検出した画像特徴点と、ＬｉＤＡＲ３０の３次元点群データの３次元点群との対応関係を探索する処理である。
キャリブレーション装置３００は、キャリブレーション演算により、カメラ２０とＬｉＤＡＲ３０との相対位置及び相対姿勢を算出することができる。なお、キャリブレーション装置３００は、例えば、移動量算出装置２００から、撮影画像データＩＤ１３０で特定される撮影画像データと、当該撮影画像データと同時刻に得られた３次元点群データとを取得することができるものとする。
キャリブレーション装置３００は、キャリブレーション演算として、主に以下を行う。
キャリブレーション装置３００は、まず、カメラ２０とＬｉＤＡＲ３０の座標系を大まかに合わせ、２Ｄ－３Ｄマッチングを行う。２Ｄ－３Ｄマッチングは、カメラ２０の撮影画像データから検出した画像特徴点と、ＬｉＤＡＲ３０の３次元点群データの３次元点群との対応関係を探索する処理である。
【0025】
図４は、本実施の形態に係るデータ処理装置１００のハードウェア構成例を示す。
図５は、本実施の形態に係るデータ処理装置１００の機能構成例を示す。
まず、図４を参照して、データ処理装置１００のハードウェア構成例を説明する。
図５は、本実施の形態に係るデータ処理装置１００の機能構成例を示す。
まず、図４を参照して、データ処理装置１００のハードウェア構成例を説明する。
【0026】
本実施の形態に係るデータ処理装置１００は、コンピュータである。
なお、データ処理装置１００の動作手順は、データ処理方法に相当する。また、データ処理装置１００の動作を実現するプログラムは、データ処理プログラムに相当する。
データ処理装置１００は、ハードウェアとして、プロセッサ９０１、主記憶装置９０２、補助記憶装置９０３及び通信装置９０４を備える。
また、データ処理装置１００は、機能構成として、図５に示すように、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２及び比較決定部１０３を備える。
補助記憶装置９０３には、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２及び比較決定部１０３の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置９０３から主記憶装置９０２にロードされる。そして、プロセッサ９０１がこれらプログラムを実行して、後述するカメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２及び比較決定部１０３の動作を行う。
図３では、プロセッサ９０１がカメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２及び比較決定部１０３の機能を実現するプログラムを実行している状態を模式的に表している。
通信装置９０４は、移動量算出装置２００及びキャリブレーション装置３００と通信を行う。
なお、データ処理装置１００の動作手順は、データ処理方法に相当する。また、データ処理装置１００の動作を実現するプログラムは、データ処理プログラムに相当する。
データ処理装置１００は、ハードウェアとして、プロセッサ９０１、主記憶装置９０２、補助記憶装置９０３及び通信装置９０４を備える。
また、データ処理装置１００は、機能構成として、図５に示すように、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２及び比較決定部１０３を備える。
補助記憶装置９０３には、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２及び比較決定部１０３の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置９０３から主記憶装置９０２にロードされる。そして、プロセッサ９０１がこれらプログラムを実行して、後述するカメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２及び比較決定部１０３の動作を行う。
図３では、プロセッサ９０１がカメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２及び比較決定部１０３の機能を実現するプログラムを実行している状態を模式的に表している。
通信装置９０４は、移動量算出装置２００及びキャリブレーション装置３００と通信を行う。
【0027】
次に、図５を参照して、本実施の形態に係るデータ処理装置１００の機能構成例を説明する。
【0028】
カメラ移動量取得部１０１は、移動量算出装置２００からカメラ移動量１１０と撮影画像データＩＤ１３０を取得する。カメラ移動量取得部１０１は、取得したカメラ移動量１１０と撮影画像データＩＤ１３０を比較決定部１０３に出力する。
カメラ移動量取得部１０１は、第１の移動量取得部に相当する。また、カメラ移動量取得部１０１により行われる処理は、第１の移動量取得処理に相当する。
カメラ移動量取得部１０１は、第１の移動量取得部に相当する。また、カメラ移動量取得部１０１により行われる処理は、第１の移動量取得処理に相当する。
【0029】
ＬｉＤＡＲ移動量取得部１０２は、移動量算出装置２００からＬｉＤＡＲ移動量１２０を取得する。ＬｉＤＡＲ移動量取得部１０２は、取得したＬｉＤＡＲ移動量１２０を比較決定部１０３に出力する。
ＬｉＤＡＲ移動量取得部１０２は、第２の移動量取得部に相当する。また、ＬｉＤＡＲ移動量取得部１０２により行われる処理は、第２の移動量取得処理に相当する。
ＬｉＤＡＲ移動量取得部１０２は、第２の移動量取得部に相当する。また、ＬｉＤＡＲ移動量取得部１０２により行われる処理は、第２の移動量取得処理に相当する。
【0030】
比較決定部１０３は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０とを比較し、カメラ移動量１１０とＬｉＤＡＲ移動量１２０との差が閾値未満である場合に、カメラ移動量１１０を、キャリブレーション装置３００でのキャリブレーション演算に用いることを決定する。
そして、比較決定部１０３は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
比較決定部１０３により行われる処理は、比較決定処理に相当する。
そして、比較決定部１０３は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
比較決定部１０３により行われる処理は、比較決定処理に相当する。
【0031】
【0032】
ステップＳ１０１において、カメラ移動量取得部１０１がカメラ移動量１１０と撮影画像データＩＤ１３０を取得する。カメラ移動量取得部１０１は、取得したカメラ移動量１１０と撮影画像データＩＤ１３０を比較決定部１０３に出力する。
また、並行して、ステップＳ１０２において、ＬｉＤＡＲ移動量取得部１０２がＬｉＤＡＲ移動量１２０を取得する。ＬｉＤＡＲ移動量取得部１０２は、取得したＬｉＤＡＲ移動量１２０を比較決定部１０３に出力する。
また、並行して、ステップＳ１０２において、ＬｉＤＡＲ移動量取得部１０２がＬｉＤＡＲ移動量１２０を取得する。ＬｉＤＡＲ移動量取得部１０２は、取得したＬｉＤＡＲ移動量１２０を比較決定部１０３に出力する。
【0033】
次に、ステップＳ１０３において、比較決定部１０３が、カメラ移動量１１０とＬｉＤＡＲ移動量１２０とを比較する。
具体的には、比較決定部１０３は、カメラ移動量１１０に含まれる推定回転量と、ＬｉＤＡＲ移動量１２０に示される推定回転量とを比較する。
カメラ２０とＬｉＤＡＲ３０は回転移動時の回転ベクトル周りの回転移動量が等しい。また、ＬｉＤＡＲ３０の推定回転量はカメラ２０の推定回転量よりも精度が高い。このため、比較決定部１０３は、ＬｉＤＡＲ移動量１２０を正解値として、カメラ移動量１１０に含まれる推定回転量をＬｉＤＡＲ移動量１２０に含まれる推定回転量と比較する。
具体的には、比較決定部１０３は、カメラ移動量１１０に含まれる推定回転量と、ＬｉＤＡＲ移動量１２０に示される推定回転量とを比較する。
カメラ２０とＬｉＤＡＲ３０は回転移動時の回転ベクトル周りの回転移動量が等しい。また、ＬｉＤＡＲ３０の推定回転量はカメラ２０の推定回転量よりも精度が高い。このため、比較決定部１０３は、ＬｉＤＡＲ移動量１２０を正解値として、カメラ移動量１１０に含まれる推定回転量をＬｉＤＡＲ移動量１２０に含まれる推定回転量と比較する。
【0034】
カメラ移動量１１０とＬｉＤＡＲ移動量１２０との差が閾値未満であれば（ステップＳ１０４でＹＥＳ）、処理がステップＳ１０５に進む。一方、カメラ移動量１１０とＬｉＤＡＲ移動量１２０との差が閾値以上であれば（ステップＳ１０４でＮＯ）、処理が終了する。
【0035】
ステップＳ１０５では、比較決定部１０３は、カメラ移動量１１０をキャリブレーション演算に用いることを決定する。
つまり、カメラ移動量１１０とＬｉＤＡＲ移動量１２０との差が小さければ、カメラ移動量１１０の精度が高いと考えられるので、比較決定部１０３は、カメラ移動量１１０をキャリブレーション演算に用いることを決定する。
つまり、カメラ移動量１１０とＬｉＤＡＲ移動量１２０との差が小さければ、カメラ移動量１１０の精度が高いと考えられるので、比較決定部１０３は、カメラ移動量１１０をキャリブレーション演算に用いることを決定する。
【0036】
そして、ステップＳ１０６において、比較決定部１０３は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
【0037】
キャリブレーション装置３００は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０を取得する。
そして、キャリブレーション装置３００は撮影画像データＩＤ１３０を移動量算出装置２００に出力する。移動量算出装置２００は、キャリブレーション装置３００から取得した撮影画像データＩＤ１３０で特定される撮影画像データと、当該撮影画像データと同時刻に撮像された３次元点群データをキャリブレーション装置３００に出力する。
次に、キャリブレーション装置３００は、以下の、モーションベース手法によるキャリブレーション演算を行う。
そして、キャリブレーション装置３００は撮影画像データＩＤ１３０を移動量算出装置２００に出力する。移動量算出装置２００は、キャリブレーション装置３００から取得した撮影画像データＩＤ１３０で特定される撮影画像データと、当該撮影画像データと同時刻に撮像された３次元点群データをキャリブレーション装置３００に出力する。
次に、キャリブレーション装置３００は、以下の、モーションベース手法によるキャリブレーション演算を行う。
【0038】
（１）キャリブレーション装置３００は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０から、カメラ２０とＬｉＤＡＲ３０との相対位置及び相対姿勢を算出する。しかしながら、この相対位置及び相対姿勢は誤差を含むため、キャリブレーション装置３００は、以下の２Ｄ－３Ｄマッチングにより誤差を補正する。
【0039】
（２）キャリブレーション装置３００は、算出した誤差を含む相対位置及び相対姿勢を用いた座標変換を行い、カメラ２０とＬｉＤＡＲ３０の座標系を一致させる。
【0040】
（３）次に、キャリブレーション装置３００は、座標原点と撮影画像データ内の特徴点とを結ぶ直線を描く。当該撮影画像データは移動量算出装置２００から取得したものである。
【0041】
（４）更に、キャリブレーション装置３００は、ＬｉＤＡＲ３０で計測した３次元点群から３次元形状（ポリゴン面等）を生成する。
【0042】
（５）次に、キャリブレーション装置３００は、座標原点と特徴点とを結ぶ直線と３次元形状との交点を求める。この交点を２Ｄ－３Ｄ対応点という。
（６）更に、キャリブレーション装置３００は、２Ｄ－３Ｄ対応点を用いて、撮影画像データ内の特徴点を２次元座標情報から３次元座標情報に変換する。
（６）更に、キャリブレーション装置３００は、２Ｄ－３Ｄ対応点を用いて、撮影画像データ内の特徴点を２次元座標情報から３次元座標情報に変換する。
【0043】
（７）また、キャリブレーション装置３００は、変換により得られた３次元座標情報からカメラ２０の推定移動量を算出する。
【0044】
（８）そして、キャリブレーション装置３００は、上記の（７）で算出したカメラ２０の推定移動量とＬｉＤＡＲ移動量１２０から、カメラ２０とＬｉＤＡＲ３０との相対位置及び相対姿勢を算出する。
【0045】
（９）次に、キャリブレーション装置３００は、（８）の処理で得られた相対位置及び相対姿勢の、（１）の処理で得られた相対位置及び相対姿勢からの変化量を評価する。
変化量が閾値以上である場合は、より精度の高い相対位置及び相対姿勢を算出できる可能性があるため、キャリブレーション装置３００は、（８）の処理で算出された相対位置及び相対姿勢を用いて（２）～（８）の処理を再度行う。一方、変化量が閾値未満であれば、（８）の処理で得られた相対位置及び相対姿勢を出力する。
変化量が閾値以上である場合は、より精度の高い相対位置及び相対姿勢を算出できる可能性があるため、キャリブレーション装置３００は、（８）の処理で算出された相対位置及び相対姿勢を用いて（２）～（８）の処理を再度行う。一方、変化量が閾値未満であれば、（８）の処理で得られた相対位置及び相対姿勢を出力する。
【0046】
（１０）上記の（２）～（８）の処理を再度行った場合は、キャリブレーション装置３００は、最後の（８）の処理で得られた相対位置及び相対姿勢の、１つ前の（８）の処理で得られた相対位置及び相対姿勢からの変化量を評価する。
変化量が閾値以上である場合は、より精度の高い相対位置及び相対姿勢を算出できる可能性があるため、キャリブレーション装置３００は、（８）の処理で算出された相対位置及び相対姿勢を用いて（２）～（８）の処理を再度行う。一方、変化量が閾値未満であれば、（８）の処理で得られた相対位置及び相対姿勢を出力する。
変化量が閾値以上である場合は、より精度の高い相対位置及び相対姿勢を算出できる可能性があるため、キャリブレーション装置３００は、（８）の処理で算出された相対位置及び相対姿勢を用いて（２）～（８）の処理を再度行う。一方、変化量が閾値未満であれば、（８）の処理で得られた相対位置及び相対姿勢を出力する。
【0047】
このように、キャリブレーション装置３００は、（２）～（８）の処理を繰り返すことにより、相対位置及び相対姿勢の精度を徐々に向上させることができる。
【0048】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、データ処理装置１００が、ＬｉＤＡＲ移動量１２０との比較により、精度が高いカメラ移動量１１０を選択する。そして、キャリブレーション装置３００は、データ処理装置１００により選択されたカメラ移動量１１０を用いてキャリブレーション演算を行う。このため、本実施の形態によれば、カメラ移動量１１０を用いた正確なキャリブレーション演算が可能であり、このため、正確な相対位置及び相対姿勢を算出することができる。
キャリブレーション装置３００に入力されるカメラ２０の推定移動量の精度が低い場合は、２Ｄ－３Ｄ対応点の誤差が大きい。このため、キャリブレーション装置３００が（２）～（８）の処理を繰り返しても相対位置及び相対姿勢の評価結果が収束せずに、相対位置及び相対姿勢の算出精度が向上しない。
本実施の形態では、精度が高いカメラ移動量１１０を用いることができるため、キャリブレーション装置３００が（２）～（８）の処理を繰り返すことにより、精度の高い相対位置及び相対姿勢の算出することができる。
本実施の形態では、データ処理装置１００が、ＬｉＤＡＲ移動量１２０との比較により、精度が高いカメラ移動量１１０を選択する。そして、キャリブレーション装置３００は、データ処理装置１００により選択されたカメラ移動量１１０を用いてキャリブレーション演算を行う。このため、本実施の形態によれば、カメラ移動量１１０を用いた正確なキャリブレーション演算が可能であり、このため、正確な相対位置及び相対姿勢を算出することができる。
キャリブレーション装置３００に入力されるカメラ２０の推定移動量の精度が低い場合は、２Ｄ－３Ｄ対応点の誤差が大きい。このため、キャリブレーション装置３００が（２）～（８）の処理を繰り返しても相対位置及び相対姿勢の評価結果が収束せずに、相対位置及び相対姿勢の算出精度が向上しない。
本実施の形態では、精度が高いカメラ移動量１１０を用いることができるため、キャリブレーション装置３００が（２）～（８）の処理を繰り返すことにより、精度の高い相対位置及び相対姿勢の算出することができる。
【0049】
なお、以上では、移動体の例として車両１０を用いて説明を行った。しかし、以上の説明は、船舶、航空機、ヘリコプター、ドローン、人等の他の移動体にも適用可能である。
【0050】
また、以上では、３次元センサの例としてＬｉＤＡＲ３０を用いて説明を行った。３次元センサとしてＬｉＤＡＲ３０に代えてミリ波センサ、ソナー等の他の種類のセンサを用いることができる。
【0051】
また、以上では、データ処理装置１００がキャリブレーション装置３００に撮影画像データＩＤ１３０に出力し、キャリブレーション装置３００が撮影画像データＩＤ１３０に基づき移動量算出装置２００から撮影画像データと３次元点群データを取得することとした。移動量算出装置２００が、撮影画像データＩＤ１３０に代えて撮影画像データと３次元点群データをデータ処理装置１００に出力し、データ処理装置１００がカメラ移動量１１０をキャリブレーション演算に用いると決定した場合に、データ処理装置１００が、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データと３次元点群データをキャリブレーション装置３００に出力するようにしてもよい。
【0052】
実施の形態２．
本実施の形態では、主に実施の形態１との差異を説明する。
なお、以下で説明していない事項は、実施の形態１と同様である。
本実施の形態では、主に実施の形態１との差異を説明する。
なお、以下で説明していない事項は、実施の形態１と同様である。
【0053】
＊＊＊構成の説明＊＊＊
図７は、本実施の形態に係るキャリブレーションシステム１０００の構成例を示す。
図７では、図１と比較して、制御機器４０が追加されている。
制御機器４０は、車両１０の制御を行う。制御機器４０は、車両１０の制御に際して、カメラ２０に同期して（カメラ２０の撮影周期と同一周期の計測周期で）、車両１０の速度及び進行方向角度を計測する。そして、制御機器４０は、速度及び進行方向角度の計測値を移動量算出装置２００に出力する。
図７は、本実施の形態に係るキャリブレーションシステム１０００の構成例を示す。
図７では、図１と比較して、制御機器４０が追加されている。
制御機器４０は、車両１０の制御を行う。制御機器４０は、車両１０の制御に際して、カメラ２０に同期して（カメラ２０の撮影周期と同一周期の計測周期で）、車両１０の速度及び進行方向角度を計測する。そして、制御機器４０は、速度及び進行方向角度の計測値を移動量算出装置２００に出力する。
【0054】
本実施の形態では、移動量算出装置２００は、制御機器４０から取得した速度及び進行方向角度の計測値を用いて、計測周期（例えば、５０ミリ秒間）における車両１０の推定移動量を算出する。以下では、速度及び進行方向角度の計測値を用いて算出される車両１０の推定移動量を計測値移動量１４０という。計測値移動量１４０は、カメラ移動量１１０よりも推定精度が高い。計測値移動量１４０にも推定回転量が含まれているものとする。
本実施の形態では、計測値移動量１４０が第２の移動量に相当する。
本実施の形態では、計測値移動量１４０が第２の移動量に相当する。
【0055】
本実施の形態では、データ処理装置１００は、移動量算出装置２００からカメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０と計測値移動量１４０を取得する。
データ処理装置１００は、カメラ移動量１１０と計測値移動量１４０とを比較して、カメラ移動量１１０がキャリブレーション装置３００でのキャリブレーション演算に適するか否かを判定する。カメラ移動量１１０がキャリブレーション演算に適する場合は、カメラ移動量１１０をキャブレーション演算に用いることを決定する。そして、データ処理装置１００は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
データ処理装置１００は、カメラ移動量１１０と計測値移動量１４０とを比較して、カメラ移動量１１０がキャリブレーション装置３００でのキャリブレーション演算に適するか否かを判定する。カメラ移動量１１０がキャリブレーション演算に適する場合は、カメラ移動量１１０をキャブレーション演算に用いることを決定する。そして、データ処理装置１００は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
【0056】
キャリブレーション装置３００は、実施の形態１に示したものと同じである。
【0057】
なお、本実施の形態に係るキャリブレーションシステム１０００を、図２及び図３に制御機器４０を追加した構成により実現してもよい。
以下では、図７の構成を前提に説明を進めるが、図２及び図３の構成に合わせた読み替えにより、以下の説明は、図２及び図３に制御機器４０を追加した構成にも適用される。
以下では、図７の構成を前提に説明を進めるが、図２及び図３の構成に合わせた読み替えにより、以下の説明は、図２及び図３に制御機器４０を追加した構成にも適用される。
【0058】
図８は、本実施の形態に係るデータ処理装置１００の機能構成例を示す。
【0059】
図８に示すデータ処理装置１００では、図５に示すＬｉＤＡＲ移動量取得部１０２に代えて計測値移動量取得部１０４が含まれる。
計測値移動量取得部１０４は、計測値移動量１４０を移動量算出装置２００から取得する。計測値移動量取得部１０４は、取得した計測値移動量１４０を比較決定部１０３に出力する。
本実施の形態では、計測値移動量１４０が第２の移動量取得部に相当する。また、計測値移動量取得部１０４により行われる処理は、第２の移動量取得処理に相当する。
計測値移動量取得部１０４は、計測値移動量１４０を移動量算出装置２００から取得する。計測値移動量取得部１０４は、取得した計測値移動量１４０を比較決定部１０３に出力する。
本実施の形態では、計測値移動量１４０が第２の移動量取得部に相当する。また、計測値移動量取得部１０４により行われる処理は、第２の移動量取得処理に相当する。
【0060】
本実施の形態では、カメラ移動量取得部１０１は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０を取得する。カメラ移動量取得部１０１は、取得したカメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０を比較決定部１０３に出力する。
【0061】
比較決定部１０３は、カメラ移動量１１０と計測値移動量１４０とを比較し、カメラ移動量１１０と計測値移動量１４０との差が閾値未満である場合に、カメラ移動量１１０を、キャリブレーション装置３００でのキャリブレーション演算に用いることを決定する。
そして、比較決定部１０３は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
そして、比較決定部１０３は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
【0062】
＊＊＊動作の説明＊＊＊
次に、図９を参照して、本実施の形態に係るデータ処理装置１００の動作例を説明する。
なお、データ処理装置１００は、図９に示す動作を、撮影周期、撮像周期及び計測周期が到来する度に繰り返す。
次に、図９を参照して、本実施の形態に係るデータ処理装置１００の動作例を説明する。
なお、データ処理装置１００は、図９に示す動作を、撮影周期、撮像周期及び計測周期が到来する度に繰り返す。
【0063】
ステップＳ２０１において、カメラ移動量取得部１０１がカメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０を取得する。カメラ移動量取得部１０１は、取得したカメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０を比較決定部１０３に出力する。
また、並行して、ステップＳ２０２において、計測値移動量取得部１０４が計測値移動量１４０を取得する。計測値移動量取得部１０４は、取得した計測値移動量１４０を比較決定部１０３に出力する。
また、並行して、ステップＳ２０２において、計測値移動量取得部１０４が計測値移動量１４０を取得する。計測値移動量取得部１０４は、取得した計測値移動量１４０を比較決定部１０３に出力する。
【0064】
次に、ステップＳ２０３において、比較決定部１０３が、カメラ移動量１１０と計測値移動量１４０とを比較する。より具体的には、比較決定部１０３は、カメラ移動量１１０に含まれる推定回転量と計測値移動量１４０に含まれる推定回転量とを比較する。
【0065】
カメラ移動量１１０と計測値移動量１４０との差が閾値未満であれば（ステップＳ２０４でＹＥＳ）、処理がステップＳ２０５に進む。一方、カメラ移動量１１０と計測値移動量１４０との差が閾値以上であれば（ステップＳ２０４でＮＯ）、処理が終了する。
【0066】
ステップＳ２０５では、比較決定部１０３は、カメラ移動量１１０をキャリブレーション演算に用いることを決定する。
つまり、カメラ移動量１１０と計測値移動量１４０との差が小さければ、カメラ移動量１１０の精度が高いと考えられるので、比較決定部１０３は、カメラ移動量１１０をキャリブレーション演算に用いることを決定する。
つまり、カメラ移動量１１０と計測値移動量１４０との差が小さければ、カメラ移動量１１０の精度が高いと考えられるので、比較決定部１０３は、カメラ移動量１１０をキャリブレーション演算に用いることを決定する。
【0067】
そして、ステップＳ２０６において、比較決定部１０３は、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
【0068】
キャリブレーション装置３００の動作は実施の形態１と同じであるため、キャリブレーション装置３００の動作の説明は省略する。
【0069】
なお、データ処理装置１００のハードウェア構成例は、図４に示すとおりである。本実施の形態では、ＬｉＤＡＲ移動量取得部１０２の機能を実現するプログラムの代わりに計測値移動量取得部１０４の機能を実現するプログラムがプロセッサ９１１により実行される。
【0070】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態によれば、計測値移動量１４０を用いても、実施の形態１と同様に、正確な相対位置及び相対姿勢を算出することができる。
本実施の形態によれば、計測値移動量１４０を用いても、実施の形態１と同様に、正確な相対位置及び相対姿勢を算出することができる。
【0071】
実施の形態３．
本実施の形態では、主に実施の形態１との差異を説明する。
なお、以下で説明していない事項は、実施の形態１と同様である。
本実施の形態では、主に実施の形態１との差異を説明する。
なお、以下で説明していない事項は、実施の形態１と同様である。
【0072】
本実施の形態では、データ処理装置１００は、ＬｉＤＡＲ移動量１２０との差が閾値未満の複数のカメラ移動量１１０の中から、キャリブレーション演算に用いるカメラ移動量１１０を選択する。
【0073】
【0074】
次に、図１０を参照して、本実施の形態に係るデータ処理装置１００の動作例を説明する。
【0075】
ステップＳ１０１～Ｓ１０５は図６に示したものと同じであるため、説明を省略する。
なお、本実施の形態では、比較決定部１０３は、カメラ移動量１１０をキャリブレーション演算に用いることを決定しても、カメラ移動量１１０をキャリブレーション装置３００に出力しない。比較決定部１０３は、例えば、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０を相互に関連付けて補助記憶装置９０３に格納する。
なお、本実施の形態では、比較決定部１０３は、カメラ移動量１１０をキャリブレーション演算に用いることを決定しても、カメラ移動量１１０をキャリブレーション装置３００に出力しない。比較決定部１０３は、例えば、カメラ移動量１１０とＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０を相互に関連付けて補助記憶装置９０３に格納する。
【0076】
ステップＳ３０１において、比較決定部１０３は、キャリブレーション演算に用いることを決定したカメラ移動量１１０の数が既定の目標数に達したか否かを判定する。目標数は２以上の任意の数である。
キャリブレーション演算に用いることを決定したカメラ移動量１１０の数が目標数に達している場合は、処理がステップＳ３０２に進む。一方、キャリブレーション演算に用いることを決定したカメラ移動量１１０の数が目標数に達していない場合は、比較決定部１０３は、カメラ移動量取得部１０１によるカメラ移動量１１０と撮影画像データＩＤ１３０の取得と、ＬｉＤＡＲ移動量取得部１０２によるＬｉＤＡＲ移動量１２０の取得を待つ。
キャリブレーション演算に用いることを決定したカメラ移動量１１０の数が目標数に達している場合は、処理がステップＳ３０２に進む。一方、キャリブレーション演算に用いることを決定したカメラ移動量１１０の数が目標数に達していない場合は、比較決定部１０３は、カメラ移動量取得部１０１によるカメラ移動量１１０と撮影画像データＩＤ１３０の取得と、ＬｉＤＡＲ移動量取得部１０２によるＬｉＤＡＲ移動量１２０の取得を待つ。
【0077】
ステップＳ３０２において、比較決定部１０３は、キャリブレーション演算に用いることを決定したカメラ移動量１１０の中に、カメラ２０の光軸を中心とする回転移動に対応するカメラ移動量１１０があるか否かを判定する。
キャリブレーション演算に用いることを決定したカメラ移動量１１０の中に、カメラ２０の光軸を中心とする回転移動に対応するカメラ移動量１１０がある場合は、処理がステップＳ３０３に進む。一方、キャリブレーション演算に用いることを決定したカメラ移動量１１０の中に、カメラ２０の光軸を中心とする回転移動に対応するカメラ移動量１１０がない場合は、処理が終了する。
キャリブレーション演算に用いることを決定したカメラ移動量１１０の中に、カメラ２０の光軸を中心とする回転移動に対応するカメラ移動量１１０がある場合は、処理がステップＳ３０３に進む。一方、キャリブレーション演算に用いることを決定したカメラ移動量１１０の中に、カメラ２０の光軸を中心とする回転移動に対応するカメラ移動量１１０がない場合は、処理が終了する。
【0078】
ステップＳ３０３では、比較決定部１０３は、カメラ２０の光軸を中心とする回転移動に対応するカメラ移動量１１０をキャリブレーション演算の対象として選択する。つまり、データ処理装置１００は、並進移動成分が少ないカメラ移動量１１０をキャリブレーション演算の対象として選択する。
カメラ移動量１１０に含まれる並進ベクトルはキャリブレーション誤差の低減効果が低い。つまり、カメラ移動量１１０に含まれる並進ベクトルは、２Ｄ－３Ｄマッチングの精度の向上に寄与しない。一方で、カメラ２０の光軸を中心とする回転移動に対応するカメラ移動量１１０は、キャリブレーション精度を向上させることができる。
このため、比較決定部１０３は、カメラ２０の光軸を中心とする回転移動に対応するカメラ移動量１１０を、キャリブレーション演算の対象として選択する。
具体的には、比較決定部１０３は、カメラ移動量１１０の並進ベクトルの長さの比を比較して、並進ベクトルの短い順にロール、ピッチ、ヨー方向の各方向でカメラ移動量１１０を既定数選択することが考えられる。
カメラ移動量１１０に含まれる並進ベクトルはキャリブレーション誤差の低減効果が低い。つまり、カメラ移動量１１０に含まれる並進ベクトルは、２Ｄ－３Ｄマッチングの精度の向上に寄与しない。一方で、カメラ２０の光軸を中心とする回転移動に対応するカメラ移動量１１０は、キャリブレーション精度を向上させることができる。
このため、比較決定部１０３は、カメラ２０の光軸を中心とする回転移動に対応するカメラ移動量１１０を、キャリブレーション演算の対象として選択する。
具体的には、比較決定部１０３は、カメラ移動量１１０の並進ベクトルの長さの比を比較して、並進ベクトルの短い順にロール、ピッチ、ヨー方向の各方向でカメラ移動量１１０を既定数選択することが考えられる。
【0079】
次に、ステップＳ３０４において、比較決定部１０３は、ステップＳ３０３で選択したカメラ移動量１１０と、当該カメラ移動量１１０と関連付けられているＬｉＤＡＲ移動量１２０と撮影画像データＩＤ１３０をキャリブレーション装置３００に出力する。
【0080】
本実施の形態では、データ処理装置１００が、キャリブレーション精度を向上させるカメラ移動量１１０を選択し、選択したカメラ移動量１１０をキャリブレーション装置３００に出力する。このため、実施の形態１よりも高精度に相対位置及び相対姿勢を算出することができる。
【0081】
なお、本実施の形態では、実施の形態１と同様に、データ処理装置１００がカメラ移動量１１０とＬｉＤＡＲ移動量１２０を比較することを説明したが、実施の形態２のように、データ処理装置１００がカメラ移動量１１０と計測値移動量１４０を比較してもよい。
【0082】
実施の形態４．
本実施の形態では、主に実施の形態１との差異を説明する。
なお、以下で説明していない事項は、実施の形態１と同様である。
本実施の形態では、主に実施の形態１との差異を説明する。
なお、以下で説明していない事項は、実施の形態１と同様である。
【0083】
本実施の形態では、車両１０は小型モビリティであるＡＧＶ（Ａｕｔｏｍａｔｉｃ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）である。
衝撃センサ等でカメラ２０及び／又はＬｉＤＡＲ３０の設置位置のズレを検出した際に、ＡＧＶは、自動キャリブレーションに必要なスペース（以下、キャリブレーションスペースという）を検出する。そして、ＡＧＶに搭載されているキャリブレーション装置３００が、キャリブレーションスペースでの走行により得られたカメラ移動量１１０とＬｉＤＡＲ移動量１２０を用いてキャリブレーション演算を実施することで、早急に設置位置のズレの補正を行うことができる。
自動キャリブレーションでは、回転移動時のカメラ移動量１１０及びＬｉＤＡＲ移動量１２０が重要である。このため、ＡＧＶは、キャリブレーションスペースにおいて回転移動を伴う周回コースを走行することが望ましい。この点、ＡＧＶは、大型車両と比較して、走行時の小回りが得意である。
衝撃センサ等でカメラ２０及び／又はＬｉＤＡＲ３０の設置位置のズレを検出した際に、ＡＧＶは、自動キャリブレーションに必要なスペース（以下、キャリブレーションスペースという）を検出する。そして、ＡＧＶに搭載されているキャリブレーション装置３００が、キャリブレーションスペースでの走行により得られたカメラ移動量１１０とＬｉＤＡＲ移動量１２０を用いてキャリブレーション演算を実施することで、早急に設置位置のズレの補正を行うことができる。
自動キャリブレーションでは、回転移動時のカメラ移動量１１０及びＬｉＤＡＲ移動量１２０が重要である。このため、ＡＧＶは、キャリブレーションスペースにおいて回転移動を伴う周回コースを走行することが望ましい。この点、ＡＧＶは、大型車両と比較して、走行時の小回りが得意である。
【0084】
本実施の形態では、ＡＧＶは、周回コースを一周するものとする。つまり、ＡＧＶは、周回コースのいずれかの位置を走行開始位置に設定し、周回コースを一周して走行開始位置に戻ってくる。ＡＧＶが走行開始位置まで戻ることで、カメラ２０の撮影画像データから算出されるカメラ移動量１１０の算出精度を評価可能である。本評価では、カメラ移動量１１０からＡＧＶの移動軌跡を生成し、移動軌跡の終了位置が走行開始位置に正確に戻っているかを評価することが考えられる。
【0085】
また、本実施の形態では、移動量算出装置２００は、走行開始撮影画像データと走行終了撮影画像データとが一致するか否かを判定する。走行開始撮影画像データは、ＡＧＶが周回コースの走行開始位置から走行を開始した時点でカメラ２０により取得された撮影画像データである。また、走行終了撮影画像データは、ＡＧＶが周回コースを一周して走行開始位置に戻ったと判定して走行を終了した時点でカメラ２０により取得された撮影画像データである。走行開始撮影画像データと走行終了撮影画像データとが一致する場合に、移動量算出装置２００は、ＡＧＶが周回コースを一周する間にカメラ２０により取得された複数の撮影画像データのうちのいずれかの撮影画像データを用いてＡＧＶの推定移動量をカメラ移動量１１０として算出する。
なお、この場合に、走行開始位置に目印となるＩＤタグを置いてもよい。走行開始位置にＩＤタグ等の目印を置くことで、走行開始撮影画像データと走行終了撮影画像データの比較が容易となる。また、ＡＧＶの充電設備を走行開始位置としてもよい。
なお、この場合に、走行開始位置に目印となるＩＤタグを置いてもよい。走行開始位置にＩＤタグ等の目印を置くことで、走行開始撮影画像データと走行終了撮影画像データの比較が容易となる。また、ＡＧＶの充電設備を走行開始位置としてもよい。
【0086】
また、ＡＧＶの走行前に予めキャリブレーションスペースを探索しておき、探索の結果得られたキャリブレーションスペースの位置情報をＡＧＶ内に保管しておいてもよい。
【0087】
以上、実施の形態１～４を説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
また、これらの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
また、これらの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
【0088】
＊＊＊ハードウェア構成の補足説明＊＊＊
最後に、データ処理装置１００のハードウェア構成の補足説明を行う。
図４に示すプロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ９０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等である。
図４に示す主記憶装置９０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図４に示す補助記憶装置９０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。
図４に示す通信装置９０４は、データの通信処理を実行する電子回路である。
通信装置９０４は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
最後に、データ処理装置１００のハードウェア構成の補足説明を行う。
図４に示すプロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ９０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等である。
図４に示す主記憶装置９０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図４に示す補助記憶装置９０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。
図４に示す通信装置９０４は、データの通信処理を実行する電子回路である。
通信装置９０４は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
【0089】
また、補助記憶装置９０３には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ９０１により実行される。
プロセッサ９０１はＯＳの少なくとも一部を実行しながら、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４の機能を実現するプログラムを実行する。
プロセッサ９０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置９０２、補助記憶装置９０３、プロセッサ９０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
そして、ＯＳの少なくとも一部がプロセッサ９０１により実行される。
プロセッサ９０１はＯＳの少なくとも一部を実行しながら、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４の機能を実現するプログラムを実行する。
プロセッサ９０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置９０２、補助記憶装置９０３、プロセッサ９０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
【0090】
また、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４の「部」を、「回路」又は「工程」又は「手順」又は「処理」又は「サーキットリー」に読み替えてもよい。
また、データ処理装置１００は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。
この場合は、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４は、それぞれ処理回路の一部として実現される。
なお、本明細書では、プロセッサと処理回路との上位概念を、「プロセッシングサーキットリー」という。
つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
また、データ処理装置１００は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。
この場合は、カメラ移動量取得部１０１、ＬｉＤＡＲ移動量取得部１０２、比較決定部１０３及び計測値移動量取得部１０４は、それぞれ処理回路の一部として実現される。
なお、本明細書では、プロセッサと処理回路との上位概念を、「プロセッシングサーキットリー」という。
つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
【符号の説明】
【0091】
１０ 車両、２０ カメラ、３０ ＬｉＤＡＲ、４０ 制御機器、１００ データ処理装置、１０１ カメラ移動量取得部、１０２ ＬｉＤＡＲ移動量取得部、１０３ 比較決定部、１０４ 計測値移動量取得部、１１０ カメラ移動量、１２０ ＬｉＤＡＲ移動量、１３０ 撮影画像データＩＤ、１４０ 計測値移動量、２００ 移動量算出装置、３００ キャリブレーション装置、９０１ プロセッサ、９０２ 主記憶装置、９０３ 補助記憶装置、９０４ 通信装置、１０００ キャリブレーションシステム。
【要約】
カメラ移動量取得部（１０１）は、車両（１０）に設置されているカメラ（２０）により取得された撮影画像データを用いて算出された車両（１０）の推定移動量をカメラ移動量（１１０）として取得する。ＬｉＤＡＲ移動量取得部（１０２）は、カメラ移動量取得部（１０１）によるカメラ移動量（１１０）の取得に同期して、カメラ移動量（１１０）の推定精度よりも高い推定精度の車両（１０）の推定移動量をＬｉＤＡＲ移動量（１２０）として取得する。比較決定部（１０３）は、カメラ移動量（１１０）とＬｉＤＡＲ移動量（１２０）とを比較し、カメラ移動量（１１０）とＬｉＤＡＲ移動量（１２０）との差が閾値未満である場合に、カメラ移動量（１１０）をキャリブレーション演算に用いることを決定する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】