(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
H04L 7/00 20060101AFI20240930BHJP
G01C 21/28 20060101ALI20240930BHJP
G01S 19/38 20100101ALI20240930BHJP
【FI】
H04L7/00 990
G01C21/28
G01S19/38
(21)【出願番号】P 2022038558
(22)【出願日】2022-03-11
【審査請求日】2024-03-26
(73)【特許権者】
【識別番号】501271479
【氏名又は名称】株式会社トヨタマップマスター
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】内方 文朗
【審査官】川口 貴裕
(56)【参考文献】
【文献】特開2022-45032(JP,A)
【文献】特開2017-156154(JP,A)
【文献】特開2021-17073(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 7/00
G01C 21/28
G01S 19/38
(57)【特許請求の範囲】
【請求項1】
時刻に関する第1時刻情報及び位置情報を取得する第1取得部と、
時刻に関する第2時刻情報が記録される画像情報を取得する第2取得部と、
前記第1取得部によって取得する第1時刻情報及び位置情報に基づいて取得する第1方位変化量と、前記第2取得部によって取得する画像情報及び第2時刻情報に基づいて取得する第2方位変化量とに基づいて、第1時刻情報と第2時刻情報とのずれ量を取得する第3取得部と、
前記第3取得部によって取得するずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期する同期部と、
を備える情報処理装置。
【請求項2】
前記第1取得部は、移動体に配される位置情報取得装置で得られる第1時刻情報及び位置情報を取得し、
前記第2取得部は、前記移動体に配される車載撮像部で得られる第2時刻情報及び画像情報を取得する
請求項1に記載の情報処理装置。
【請求項3】
前記第3取得部は、前記第2取得部によって取得する画像情報に記録される風景の特徴点を抽出し、時間的に異なる複数のフレーム間での前記特徴点の水平方向の変化量に基づいて、第2方位変化量を取得する
請求項1又は2に記載の情報処理装置。
【請求項4】
前記第3取得部は、前記第1取得部によって取得する位置情報に基づく移動軌跡から時刻毎の方位を特定し、水平方向の方位の変化量に基づいて第1方位変化量を取得する
請求項1~3のいずれか1項に記載の情報処理装置。
【請求項5】
前記第3取得部は、第1方位変化量及び第2方位変化量に基づいて相互相関関数を算出し、算出された相関を利用して、第1方位変化量の第1時点に相関する第2方位変化量の第2時点を特定し、第1時点と第2時点とに基づいて第1時刻情報と第2時刻情報とのずれ量を取得する
請求項1~4のいずれか1項に記載の情報処理装置。
【請求項6】
コンピュータが、
時刻に関する第1時刻情報及び位置情報を取得する第1取得ステップと、
時刻に関する第2時刻情報が記録される画像情報を取得する第2取得ステップと、
前記第1取得ステップによって取得する第1時刻情報及び位置情報に基づいて取得する第1方位変化量と、前記第2取得ステップによって取得する画像情報及び第2時刻情報に基づいて取得する第2方位変化量とに基づいて、第1時刻情報と第2時刻情報とのずれ量を取得する第3取得ステップと、
前記第3取得ステップによって取得するずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期する同期ステップと、
を実行する情報処理方法。
【請求項7】
コンピュータに、
時刻に関する第1時刻情報及び位置情報を取得する第1取得機能と、
時刻に関する第2時刻情報が記録される画像情報を取得する第2取得機能と、
前記第1取得機能によって取得する第1時刻情報及び位置情報に基づいて取得する第1方位変化量と、前記第2取得機能によって取得する画像情報及び第2時刻情報に基づいて取得する第2方位変化量とに基づいて、第1時刻情報と第2時刻情報とのずれ量を取得する第3取得機能と、
前記第3取得機能によって取得するずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期する同期機能と、
を実現させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来から道路の点検作業が行われているが、その点検作業を支援する際に画像情報を利用する技術が存在する。特許文献1に記載される支援装置は、道路の点検作業に利用される道路画像情報を取得する。支援装置は、その道路画像情報の撮像中に所定時間間隔で記録した撮像位置情報に基づいてキロポスト値を取得し、キロポスト値と撮像時刻との対応関係を取得する。そのような支援装置には、道路画像情報に記録される道路を撮像した時刻と、撮像位置情報に記録される記録時刻とのずれを補正する補正値が設定されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した特許文献1に記載された支援装置は、道路に配されるキロポストに基づいて時刻のずれを補正している。しかしながら、全ての道路にキロポストが配されてはおらず、キロポストが配されない道路においては従来の支援装置を利用することができない。
【0005】
本開示は、撮像時刻のずれを補正する情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【課題を解決するための手段】
【0006】
一態様の情報処理装置は、時刻に関する第1時刻情報及び位置情報を取得する第1取得部と、時刻に関する第2時刻情報が記録される画像情報を取得する第2取得部と、第1取得部によって取得する第1時刻情報及び位置情報に基づいて取得する第1方位変化量と、第2取得部によって取得する画像情報及び第2時刻情報に基づいて取得する第2方位変化量とに基づいて、第1時刻情報と第2時刻情報とのずれ量を取得する第3取得部と、第3取得部によって取得するずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期する同期部と、を備える。
【発明の効果】
【0007】
一態様によれば、第1時刻情報及び位置情報を取得すると共に、第2時刻情報が記録される画像情報を取得し、第1時刻情報及び位置情報に基づいて取得する第1方位変化量と、画像情報及び第2時刻情報に基づいて取得する第2方位変化量とに基づく、第1時刻情報と第2時刻情報とのずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期するので、撮像時刻のずれを補正することができる。
【図面の簡単な説明】
【0008】
【
図1】一実施形態に係る情報処理装置について説明するための図である。
【
図2】一実施形態に係る情報処理装置について説明するためのブロック図である。
【
図3】車両の走行する際の一例について説明するための図である。
【
図4】第1方位変化量及び第2方位変化量の一例について説明するための図である。
【
図5】車載カメラで撮像した風景の一例について説明するための図である。
【
図6】相互相関関数の一例について説明するための図である。
【
図7】画像情報と位置情報とを同期させた際の第1,2方位変化量について説明するための図である。
【
図8】一実施形態に係る情報処理方法について説明するためのフローチャートである。
【発明を実施するための形態】
【0009】
以下、一実施形態について説明する。
【0010】
[情報処理装置1の概要]
まず、一実施形態に係る情報処理装置1の概要について説明する。
図1は、一実施形態に係る情報処理装置1について説明するための図である。
【0011】
情報処理装置1は、例えば、全球測位衛星システム(GNSS)100等を利用して取得される時刻情報に対応するよう、画像情報に記録させる時刻情報を補正する補正装置等として構成されてもよい。また、情報処理装置1は、例えば、GNSS等を利用した位置情報に記録される時刻情報と、画像情報に記録される時刻情報とを同期させる同期装置等として構成されてもよい。情報処理装置1は、上述した一例の装置に限らず、種々の装置等を構成してもよい。
情報処理装置1は、例えば、サーバ、デスクトップ、ラップトップ、タブレット及びスマートフォン等のコンピュータであってもよい。
【0012】
情報処理装置1は、例えば、車両200から種々の情報を取得する。
この場合、車両200は、例えば、GNSS100等を利用して時刻情報(第1時刻情報)及び位置情報を取得する。すなわち、車両200は、例えば、位置情報取得装置201等において利用するGNSS100(測位衛星)から衛星情報を取得する。車両200は、例えば、衛星情報に測位に利用する情報が含まれているため、その衛星情報を利用して自車の位置に関する位置情報と、その位置を測位する際の時刻(第1時刻)に関する時刻情報(第1時刻情報)とを取得する。
【0013】
また、車両200は、例えば、車載カメラ202が搭載される。車載カメラ202は、一例として車両200の進行方向を撮像することが可能であり、その撮像に基づいて画像情報を生成する。また、車載カメラ202は、例えば、時計機能を備えていてもよく、その時計機能で取得される時刻に関する時刻情報(第2時刻情報)を画像情報に記録することが可能である。すなわち、車載カメラ202は、例えば、撮像を行う時刻(第2時刻)に関する時刻情報(第2時刻情報)を画像情報に記録することが可能である。
車載カメラ202は、例えば、動画又は静止画で撮像を行って画像情報を生成することが可能である。車載カメラ202は、例えば、静止画を撮像する場合、所定のタイミング毎に撮像を行ってもよい。所定のタイミングの一例は、所定の時間毎等であってもよく、これ以外の種々のタイミングであってもよい。
【0014】
車両200は、例えば、第1時刻情報及び位置情報と、第2時刻情報及び画像情報とを含む車両情報として情報処理装置1に送信する。又は、車両200は、例えば、車両情報をサーバ300に送信してもよい。サーバ300は、例えば、蓄積する車両情報を情報処理装置1に送信してもよい。
【0015】
情報処理装置1は、車両200で取得される第1時刻情報及び位置情報を取得する。また、情報処理装置1は、その車両200で取得される第2時刻情報及び画像情報を取得する。ここで一例として、ある地点Aで車両200が取得する第1時刻情報及び位置情報と、同一の地点Aで車載カメラ202が撮像を行った画像情報に記録される第2時刻情報とでは、第1時刻情報に基づく時刻(第1時刻)と第2時刻情報に基づく時刻(第2時刻)との間にずれが生じる場合がある。そのずれは、例えば、車載カメラ202に搭載される時計機能の精度及び計時する時刻の正確な時刻からのずれ等による場合がある。
そこで、情報処理装置1は、第1時刻情報と第2時刻情報とのずれ量を取得し、そのずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期する。
【0016】
[情報処理装置1の詳細]
次に、一実施形態に係る情報処理装置1の詳細に説明する。
図2は、一実施形態に係る情報処理装置1について説明するためのブロック図である。
【0017】
情報処理装置1は、例えば、通信部21、記憶部22、表示部23及び制御部11等を備える。通信部21、記憶部22及び表示部23は、出力部の一実施形態であってもよい。制御部11は、例えば、第1取得部12、第2取得部13、第3取得部14、同期部15及び出力制御部16等を備える。制御部11は、例えば、情報処理装置1の演算処理装置等によって構成されてもよい。制御部11(例えば、演算処理装置等)は、例えば、記憶部22等に記憶される各種プログラム等を適宜読み出して実行することにより、各部(例えば、第1取得部12、第2取得部13、第3取得部14、同期部15及び出力制御部16等)の機能を実現してもよい。
【0018】
通信部21は、例えば、情報処理装置1の外部にある装置(外部装置)等との間で種々の情報の送受信が可能な通信インターフェースである。外部装置は、例えば、サーバ300及び車両200等であってもよい。
【0019】
記憶部22は、例えば、種々の情報及びプログラムを記憶してもよい。記憶部22の一例は、メモリ、ソリッドステートドライブ及びハードディスクドライブ等であってもよい。なお、記憶部22は、例えば、クラウド上にある記憶領域及びサーバ等であってもよい。
【0020】
表示部23は、例えば、種々の文字、記号及び画像等を表示することが可能なディスプレイである。
【0021】
第1取得部12は、時刻に関する第1時刻情報及び位置情報を取得する。一例として、第1取得部12は、GNSS100等を利用して、時刻に関する第1時刻情報及び位置情報を取得してもよい。第1取得部12は、移動体に配される位置情報取得装置201で得られる第1時刻情報及び位置情報を取得してもよい。ここで、移動体は、例えば、車両200であってもよく、ラップトップ、タブレット及びスマートフォン等のポータブル端末(図示せず)等であってもよい。位置情報取得装置201は、例えば、ナビゲーション装置等であってもよい。位置情報取得装置201は、例えば、GNSS100の測位衛星から衛星情報を取得して、測位、及び、その測位の際の時刻(第1時刻)を取得することが可能な装置であってもよい。すなわち、移動体は、測位に基づいて、第1時刻情報及び位置情報を取得する。第1取得部12は、例えば、通信部21を介して、車両200等の移動体から第1時刻情報及び位置情報を取得してもよい。又は、第1取得部12は、例えば、サーバ300に第1時刻情報及び位置情報が蓄積される場合、通信部21を介して、サーバ300から第1時刻情報及び位置情報を取得してもよい。
【0022】
第2取得部13は、時刻に関する第2時刻情報が記録される画像情報を取得する。第2取得部13は、移動体に配される車載撮像部(車載カメラ202)等で得られる第2時刻情報及び画像情報を取得してもよい。車両200に搭載される車載カメラ202、又は、ポータブル端末に搭載されるカメラ(図示せず)は、被写体等を撮像して画像情報を生成する際に、撮像の時刻(第2時刻)に関する情報(第2時刻情報)を画像情報に記録することが可能である。第2取得部13は、例えば、通信部21を介して、車両200等の移動体から第2時刻情報及び画像情報を取得してもよい。又は、第2取得部13は、例えば、サーバ300に第2時刻情報及び画像情報が蓄積される場合、通信部21を介して、サーバ300から第2時刻情報及び画像情報を取得してもよい。
【0023】
なお、第1時刻情報及び位置情報と、第2時刻情報及び画像情報とは、例えば、それぞれ異なる情報であってもよい。すなわち一例として、第1時刻情報と位置情報とまとめて位置情報とし、さらに、第2時刻情報と画像情報とまとめて画像情報としてもよい。
又は、第1時刻情報及び位置情報と、第2時刻情報及び画像情報とは、例えば、それぞれをまとめて1つの情報としてもよい。この場合、1つにまとめた情報は、例えば、移動体が車両200の場合には、車両情報であってもよい。車両情報は、例えば、車両200で取得される種々の情報をまとめた情報であってもよく、具体的な一例として、プローブ情報及びCAN情報等であってもよい。
【0024】
上述した第1取得部12及び第2取得部13は、例えば、制御部11において異なる機能となってもよく、1つにまとめた機能になってもよい。第1取得部12及び第2取得部13を1つにまとめた場合、例えば、制御部11において「取得部」として機能してもよい。
【0025】
図3は、車両200の走行する際の一例について説明するための図である。
図4は、第1方位変化量及び第2方位変化量の一例について説明するための図である。ここで、
図4の横軸は時間を示し、縦軸は方位変化量を示す。また、
図4の実線は第1方位変化量を示し、破線は第2方位変化量を示す。また
図4の縦軸の方位変化量は、車両200の直進方向に対して右側への方位変化をプラス(+)で示し、車両200の直進方向に対して左側への方位変化をマイナス(-)で示す。なお、
図4では目盛りを付していないが、目盛りを付す場合には、10msを単位として目盛りを付してもよい。
図5は、車載カメラ202で撮像した風景の一例について説明するための図である。
図6は、相互相関関数の一例について説明するための図である。
【0026】
第3取得部14は、第1取得部12によって取得する第1時刻情報及び位置情報に基づいて取得する第1方位変化量と、第2取得部13によって取得する画像情報及び第2時刻情報に基づいて取得する第2方位変化量とに基づいて、第1時刻情報と第2時刻情報とのずれ量を取得する。一例として、第3取得部は、第1時刻情報及び位置情報に基づいて、単位時間当たりの第1方位変化量等を取得してもよい。
【0027】
ここで
図3に一例を示す場合では、直線道路に駐車していた車両200が本線400に出て走行を開始する際に、その車両200は、まず進行方向を右側に向け(第1段階)、その後本線400に出た後に進行方向を左側(道路の道なり方向)に向け、本線400上の走行を開始する。
図4において実線で一例を示すように、第3取得部14は、第1時刻情報及び位置情報に基づいて取得する単位時間当たりの第1方位変化量として、第1時刻情報に基づく時間と、位置情報に基づく方位変化量との関係を取得する。方位変化量は、例えば、車両200等の移動体の進行方向の変化量等であってもよい。
【0028】
この場合、第3取得部14は、例えば、第1取得部12によって取得する位置情報に基づく移動軌跡から時刻毎の方位を特定し、水平方向の方位の変化量に基づいて第1方位変化量を取得してもよい。
具体的な一例として、第3取得部14は、異なる2つの時刻(2つの第1時刻)における2つの地点を結ぶ線に沿う進行方向を、その進行方向の方位(第1方位)と特定してもよい。
又は、具体的な一例として、第3取得部14は、移動軌跡のある地点Cにおける、その移動軌跡の接線に沿う進行方向を、その進行方向の方位(第1方位)と特定してもよい。
なお、第3取得部14は、上述した一例に限定されず、種々の方法により、移動軌跡に基づいて進行方向の方位(第1方位)を特定してもよい。移動軌跡は、例えば、位置情報に基づく複数の位置によって構成される軌跡等であってもよい。
第3取得部14は、例えば、第1方位の単位時間当たりの変化量を取得することにより、第1方位変化量を取得してもよい。
【0029】
また、第3取得部14は、上述したように第1方位変化量を取得する一例に限らず、他の方法によっても第1方位変化量を取得してもよい。
一例として、第3取得部14は、車両200に配される電子コンパス等による方位測定結果を利用して、第1方位変化量を取得してもよい。この場合、第3取得部14は、例えば、電子コンパス等で取得される方位測定結果(磁方位)を、計算等を行うことにより、地図等で利用される真方位に変換してもよい。
また一例として、第3取得部14は、少なくとも異なる2箇所(一例として、無線方位信号所等)それぞれに配されるアンテナ(2本のアンテナ)から送信される信号を車両200で受信して、車両200についての各アンテナからの方向を測定することに基づいて車両200の位置を取得し、その位置の変化に基づいて第1方位変化量を取得してもよい。この場合、第3取得部14は、例えば、上述したGNSSを利用した場合と同様に、車両200の少なくとも2つの異なる位置の変化に基づいて、第1方位変化量を取得してもよい。
【0030】
また、第3取得部14は、画像情報及び第2時刻情報に基づいて、進行方向の方位(第2方位)を取得することが可能である。この場合、
図5に例示するように、第3取得部14は、画像情報に記録される風景において、1又は複数の特徴点500を抽出する。第3取得部14は、例えば、抽出した1又は複数の特徴点500の時間的に異なるフレーム間での変化量を取得する。一例として上述の
図3を用いた説明したように、車両200が本線400に出るために進行方向を右側に向けた第1段階において、車載カメラ202で車両200の進行方向を撮像する場合には、風景は右から左に移動する。すなわち、風景の特徴点500は、右から左に移動する(
図5参照)。
【0031】
第3取得部14は、例えば、時間的に異なるフレームを利用して、1又は複数の特徴点500それぞれの水平方向の移動変化量を取得する。第3取得部14は、例えば、その移動変化量の単位時間当たりの変化量を取得することにより、第2方位変化量を取得する。第2方位変化量は、例えば、車載カメラ202等のカメラ回転ベクトル等と言うこともできる。
すなわち、第3取得部14は、第2取得部13によって取得する画像情報に記録される風景の特徴点500を抽出し、時間的に異なる複数のフレーム間での特徴点500の水平方向の変化量に基づいて、第2方位変化量を取得してもよい。
図4において破線で一例を示すように、第3取得部14は、第2時刻情報及び画像情報に基づいて取得する単位時間当たりの第2方位変化量として、第2時刻情報に基づく時間と、画像情報に基づく方位変化量との関係を取得する。方位変化量は、例えば、車両200等の移動体の進行方向の変化量等であってもよい。
【0032】
時間的に異なる複数のフレームは、例えば、時間的に連続する複数のフレームに限らず、所定数のフレームを飛ばした複数のフレーム等であってもよい。所定数のフレームを飛ばした複数のフレームの具体的な一例は、時間的に異なる3つのフレーム(F(t)、F(t+1)、F(t+2))が有る場合、1つのフレームF(t+1)を飛ばした、複数のフレームF(t),F(t+2)等であってもよい。すなわち一例として、第3取得部14は、時間的に異なる複数のフレームF(t),F(t+2)間での特徴点500の水平方向の変化量に基づいて、第2方位変化量を取得してもよい。なお、飛ばすフレームの数は1つに限らず、2つ以上であってもよい。
【0033】
第3取得部14は、第1方位変化量及び第2方位変化量に基づいて相互相関関数を算出し、算出された相関を利用して、第1方位変化量の第1時点に相関する第2方位変化量の第2時点を特定し、第1時点と第2時点とに基づいて第1時刻情報と第2時刻情報とのずれ量を取得してもよい。相互相関関数は、
図6に例示するように、第1方位変化量と、第2方位変化量とがどれだけ相関するかを示す関数である。すなわち、相互相関関数は、例えば、
図4において実線で例示する第1時刻情報に基づく時間と、位置情報に基づく方位変化量との関係(第1方位変化量)と、
図4において破線で例示する第2時刻情報に基づく時間と、画像情報に基づく方位変化量との関係(第2方位変化量)とがどれだけ相関するかを示す関数である。より具体的な一例として、相互相関関数は、
図4の実線で例示する関係のある点D(ある時間に対する方位変化量)が、
図4の破線で例示する関係のどの点E(ある時間に対する方位変化量)と相関関係があるのか、すなわち点Dと点Eとの対応関係を示す関数である。
【0034】
第3取得部14は、例えば、第1方位変化量(
図4の実線を参照)と第2方位変化量(
図4の破線を参照)とを互いにずらして相互相関関数を演算し、
図6に例示するような最も高いピークが得られる演算結果の際に、第1方位変化量と第2方位変化量との2つの関係の相関が最も高いことを特定することが可能になる。すなわち一例として、第3取得部は、
図6に例示する最も高いピーク600となる相互相関関数の演算結果が得られる際に、
図4に例示する点D及び点Eが対応すると特定することが可能になる。
第3取得部14の具体的一例の処理内容は、以下のようになる。
【0035】
第3取得部14は、例えば、相互相関関数を利用して、第1方位変化量における点Dに対して相互に相関する、第2方位変化量における点Eを特定する。又は、第3取得部14は、例えば、相互相関関数を利用して、第2方位変化量における点Eに対して相互に相関する、第1方位変化量における点Dを特定する。
【0036】
すなわち、第3取得部14は、
図4の実線で示す第1方位変化量と、
図4の破線で示す第2方位変化量との少なくとも一方の時間をずらしながら比較し、相互相関関数を算出する。第3取得部14は、例えば、単位時間当たりの第1方位変化量(第1方位)と、単位時間当たりの第2方位変化量(カメラ回転ベクトルのヨー変化)とを波形と見立て、単位時間毎に波形をずらす。ここでの単位時間の一例は、100ms等であってもよい。
【0037】
第3取得部14は、例えば、相互相関関数が最大値となるときの時刻のずれ量を求め、そのずれ量に基づいて時刻のずれを補正する。ここで、相互相関関数の最大値を取るずれ量が、第1方位変化量と第2方位変化量との時間のずれ量となる。
すなわち、第3取得部14は、例えば、第1方位変化量の点Dにおける第1時点(時間)と、第2方位変化量の点Eにおける第2時点(時間)とのずれ量Vを取得する(
図4参照)。
【0038】
ここで一例として、第3取得部14は、第1方位変化量と第2方位変化量との時間をずらしながら相互相関関数を算出すると、
図6に一例を示すようある1点で相互相関の数値(縦軸)が大きくなっていること(ピーク600が存在すること)がわかる。第3取得部14は、例えば、そのピーク600の検出を行い、相互相関の数値の最大値に対応する分の時間をずらすことで、第1方位変化量と第2方位変化量との時間を一致させることができる。
なお、第3取得部14は、例えば、相互相関の最大値(最も大きいピーク)と、相互相関の数値が次に大きい(2番目に大きいピーク)との大きさの比を求め、その比が予め設定される閾値以上であれば、最大値(最も大きいピーク)として採用してもよい。閾値は、大きさの比に応じて種々の値が設定されてもよい。
【0039】
図7は、画像情報と位置情報とを同期させた際の第1,2方位変化量について説明するための図である。
図7では、
図4と同様に、横軸は時間を示し、縦軸は方位変化量を示す。
図7の実線は第1方位変化量を示し、破線は第2方位変化量を示す。
【0040】
同期部15は、第3取得部14によって取得するずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期する。すなわち、同期部15は、第3取得部14によって取得する時間のずれ量の分だけ第2時刻を補正して、第2時刻を第1時刻に合うように補正する。具体的な一例として、同期部15は、
図4に例示する第2方位変化量を時間のずれ量Vの分だけ第1方変化量に対応するように移動させて、第2時刻を第1時刻に対応するように補正する。これにより、同期部15は、例えば、位置情報(第1時刻情報)に記録されるある地点Aと、その地点Aにおいて撮像して生成される画像情報(第2時刻情報)(撮像の地点A)とが同一の地点となり、換言すると地点Aに対応する第1方位変化量(実線)の点D及び第2方位変化量(破線)の点Eの時間のずれ量が補正され、画像情報と位置情報とを同期させることが可能になる(
図7参照)。
【0041】
出力制御部16は、例えば、第3取得部14によって取得する時間のずれ量を出力するよう出力部を制御してもよい。
また、出力制御部16は、同期部15によって画像情報と位置情報とを同期して結果を出力するよう出力部を制御してもよい。この場合一例として、出力制御部16は、同期部15によって第2時刻情報を第1時刻情報に対応するように補正した、補正後第2時刻情報及び画像情報を出力するよう制御してもよい。さらに、出力制御部16は、第2時刻を補正した画像情報に同期する位置情報を出力するよう出力部を制御してもよい。
ここで、出力部の一例は、通信部21、記憶部22及び表示部23等であってもよい。
【0042】
すなわち、出力制御部16は、例えば、上述したずれ量、及び、上述した同期結果のグループから選択される少なくとも1つの情報を情報処理装置1の外部(外部装置)に送信するよう通信部21を制御してもよい。ここで、外部装置は、例えば、サーバ、及び、ユーザ端末(図示せず)等であってもよい。ユーザ端末は、例えば、情報処理装置1のユーザが使用する端末であり、デスクトップ、ラップトップ、タブレット及びスマートフォン等であってもよい。
また、出力制御部16は、例えば、上述したずれ量、及び、上述した同期結果のグループから選択される少なくとも1つの情報を記憶するよう記憶部22を制御してもよい。
また、出力制御部16は、例えば、上述したずれ量、及び、上述した同期結果のグループから選択される少なくとも1つを表示するよう表示部23を制御してもよい。
【0043】
[情報処理方法]
次に、一実施形態に係る情報処理方法について説明する。
図8は、一実施形態に係る情報処理方法について説明するためのフローチャートである。
【0044】
ステップST101において、第1取得部12は、GNSS100を利用して、時刻に関する第1時刻情報及び位置情報を取得する。第1取得部12は、移動体(例えば、車両200等)に配される位置情報取得装置201で得られる第1時刻情報及び位置情報を取得してもよい。
【0045】
ステップST102において、第2取得部13は、時刻に関する第2時刻情報が記録される画像情報を取得する。第2取得部13は、移動体(例えば、車両200等)に配される車載カメラ202等で得られる第2時刻情報及び画像情報を取得してもよい。
【0046】
ステップST103において、第3取得部14は、ステップST101で取得する第1時刻情報及び位置情報に基づいて取得する単位時間当たりの第1方位変化量と、ステップST102で取得する画像情報及び第2時刻情報に基づいて取得する第2方位変化量とに基づいて、第1時刻情報と第2時刻情報とのずれ量を取得する。
この場合、第3取得部14は、例えば、ステップST101で取得する位置情報に基づく移動軌跡から時刻毎の方位を特定し、水平方向の方位の変化量に基づいて、単位時間当たりの第1方位変化量を取得してもよい。
また、第3取得部14は、ステップST102で取得する画像情報に記録される風景の特徴点500を抽出し、時間的に異なる複数のフレーム間での特徴点500の水平方向の変化量に基づいて、第2方位変化量を取得してもよい。
第3取得部14は、第1方位変化量及び第2方位変化量に基づいて相互相関関数を算出し、算出された相関を利用して、第1方位変化量の第1時点に相関する第2方位変化量の第2時点を特定し、第1時点と第2時点とに基づいて第1時刻情報と第2時刻情報とのずれ量を取得してもよい。
【0047】
ステップST104において、同期部15は、ステップST103で取得する時間のずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期する。
【0048】
上述した情報処理装置1の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置1の第1取得部12、第2取得部13、第3取得部14、同期部15及び出力制御部16(制御部11)は、コンピュータの演算処理装置等による第1取得機能、第2取得機能、第3取得機能、同期機能及び出力制御機能(制御機能)としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、例えば、メモリ、ソリッドステートドライブ、ハードディスクドライブ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体等に記録されていてもよい。記録媒体は、例えば、非一時的なコンピュータ可読媒体と言い換えてもよい。
また、上述したように、情報処理装置1の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置1の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置1の第1取得部12、第2取得部13、第3取得部14、同期部15及び出力制御部16(制御部11)は、コンピュータの演算処理装置等を構成する第1取得回路、第2取得回路、第3取得回路、同期回路及び出力制御回路(制御回路)として実現されてもよい。
また、情報処理装置1の通信部21、記憶部22及び表示部23(出力部)は、例えば、演算処理装置等の機能を含む通信機能、記憶機能及び表示機能(出力機能)として実現されもよい。また、情報処理装置1の通信部21、記憶部22及び表示部23(出力部)は、例えば、集積回路等によって構成されることにより通信回路、記憶回路及び表示回路(出力回路)として実現されてもよい。また、情報処理装置1の通信部21、記憶部22及び表示部23(出力部)は、例えば、複数のデバイスによって構成されることにより通信装置、記憶装置及び表示装置(出力装置)として構成されてもよい。
【0049】
情報処理装置1は、上述した複数の各部のうち1又は任意の複数を組み合わせることが可能である。
本開示では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
【0050】
[本実施形態の態様及び効果]
次に、本実施形態の一態様及び各態様が奏する効果について説明する。なお、以下に記載する各態様は出願時の一例であり、本実施形態は以下に記載するものに限定されることはない。すなわち、本実施形態は以下に記載する各態様に限定されることはなく、上述した各部を適宜組み合わせて実現されてもよい。また、以下に記載する効果は一例であり、各態様が奏する効果は以下に記載するものに限定されることはない。また、各態様は、例えば、以下に記載する少なくとも1つの効果を奏してもよい。
【0051】
(態様1)
一態様の情報処理装置は、時刻に関する第1時刻情報及び位置情報を取得する第1取得部と、時刻に関する第2時刻情報が記録される画像情報を取得する第2取得部と、第1取得部によって取得する第1時刻情報及び位置情報に基づいて取得する第1方位変化量と、第2取得部によって取得する画像情報及び第2時刻情報に基づいて取得する第2方位変化量とに基づいて、第1時刻情報と第2時刻情報とのずれ量を取得する第3取得部と、第3取得部によって取得するずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期する同期部と、を備える。
これにより、情報処理装置は、画像情報に記録される第2時刻情報(撮像時刻)のずれを補正することができる。また、情報処理装置は、画像情報に記録される第2時刻と、一例としてのGNSS等を利用した移動軌跡に記録される第1時刻とにずれがあるかを検証し、時刻ずれが検出される場合にはそのずれを解消するように補正することで、画像情報に記録される位置(撮像位置)の精度を向上することができる。
また、情報処理装置は、一例としてのGNSS等で取得する第1時刻情報及び位置情報と、移動体に配される撮像部(一例として、車載カメラ等)で取得する第2時刻情報及び画像情報とに基づいてずれ量を取得するので、従来の画像情報に記録される被写体(例えば、キロポスト等)を利用してずれ量を補正する必要はなく、より多くの場合で画像情報と位置情報との同期を取ることができる。
また、情報処理装置は、第2時刻情報及び画像情報を取得する撮像部(一例として、車載カメラ等)が道路走行等に関する現地調査に最適なものでなくとも、画像情報と位置情報と同期させることにより現地調査に利用できる。すなわち、情報処理装置は、一般ユーザが使用する汎用的な撮像部、及び、相対的に古い撮像部であっても、現地調査に利用することができる。一例として、情報処理装置は、時間的な精度に関して現地調査に利用することが難しい撮像部であっても、位置情報と画像情報を同期させることにおり、現地調査に利用することができる。
また一例として、情報処理装置は、GNSSの衛星信号を受信する装置と車載カメラとが別体で構成され、車載カメラにおいてGNSSを利用できない場合でも、画像情報と位置情報と同期させることができる。
【0052】
(態様2)
一態様の情報処理装置では、第1取得部は、移動体に配される位置情報取得装置で得られる第1時刻情報及び位置情報を取得し、第2取得部は、移動体に配される車載撮像部(車載カメラ)で得られる第2時刻情報及び画像情報を取得することとしてもよい。
情報処理装置は、車載カメラで得られる画像情報を、一例としてのGNSS等の位置情報に同期するので、種々の車載カメラを現地調査に利用することができる。
【0053】
(態様3)
一態様の情報処理装置では、第3取得部は、第2取得部によって取得する画像情報に記録される風景の特徴点を抽出し、時間的に異なる複数のフレーム間での特徴点の水平方向の変化量に基づいて、第2方位変化量を取得することとしてもよい。
これにより、情報処理装置は、車載カメラで撮像する風景、すなわち画像情報に記録される風景を利用して第2方位変化量を取得するので、画像情報を位置情報に同期することができる。
【0054】
(態様4)
一態様の情報処理装置では、第3取得部は、第1取得部によって取得する位置情報に基づく移動軌跡から時刻毎の方位を特定し、水平方向の方位の変化量に基づいて第1方位変化量を取得することとしてもよい。
一般的に、一例としてのGNSS等で取得する第1時刻情報及び位置情報の精度は、相対的に高い場合が多い。情報処理装置は、より精度の高い第1時刻情報に第2時刻情報を合わせるように補正するので、種々の撮像部で取得される画像情報を現地調査に利用することができる。
【0055】
(態様5)
一態様の情報処理装置では、第3取得部は、第1方位変化量及び第2方位変化量に基づいて相互相関関数を算出し、算出された相関を利用して、第1方位変化量の第1時点に相関する第2方位変化量の第2時点を特定し、第1時点と第2時点とに基づいて第1時刻情報と第2時刻情報とのずれ量を取得することとしてもよい。
これにより、情報処理装置は、相互相関関数を利用して、第2方位変化量を第2方位変化量に合うように補正するので、位置情報と画像情報とを同期することができる。
【0056】
(態様6)
一態様の情報処理方法では、コンピュータが、時刻に関する第1時刻情報及び位置情報を取得する第1取得ステップと、時刻に関する第2時刻情報が記録される画像情報を取得する第2取得ステップと、第1取得ステップによって取得する第1時刻情報及び位置情報に基づいて取得する第1方位変化量と、第2取得ステップによって取得する画像情報及び第2時刻情報に基づいて取得する第2方位変化量とに基づいて、第1時刻情報と第2時刻情報とのずれ量を取得する第3取得ステップと、第3取得ステップによって取得するずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期する同期ステップと、を実行する。
これにより、情報処理方法は、上述した一態様の情報処理装置と同様の効果を奏することができる。
【0057】
(態様7)
一態様の情報処理プログラムは、コンピュータに、時刻に関する第1時刻情報及び位置情報を取得する第1取得機能と、時刻に関する第2時刻情報が記録される画像情報を取得する第2取得機能と、第1取得機能によって取得する第1時刻情報及び位置情報に基づいて取得する第1方位変化量と、第2取得機能によって取得する画像情報及び第2時刻情報に基づいて取得する第2方位変化量とに基づいて、第1時刻情報と第2時刻情報とのずれ量を取得する第3取得機能と、第3取得機能によって取得するずれ量に基づいて第2時刻情報を補正して、画像情報と位置情報とを同期する同期機能と、を実現させる。
これにより、情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。
【符号の説明】
【0058】
1 情報処理装置
11 制御部
12 第1取得部
13 第2取得部
14 第3取得部
15 同期部
16 出力制御部
21 通信部
22 記憶部
23 表示部
100 全球測位衛星システム(GNSS)
200 車両
201 位置情報取得装置
202 車載カメラ(車載撮像部)
300 サーバ