7562588 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   H04L 7/00 20060101AFI20240930BHJP

   G01C 21/28 20060101ALI20240930BHJP

   G01S 19/38 20100101ALI20240930BHJP

【ＦＩ】

H04L7/00 990

G01C21/28

G01S19/38

【請求項の数】 7

(21)【出願番号】P 2022038558

(22)【出願日】2022-03-11

(65)【公開番号】P2023132947

(43)【公開日】2023-09-22

【審査請求日】2024-03-26

(73)【特許権者】

【識別番号】501271479

【氏名又は名称】株式会社トヨタマップマスター

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】内方 文朗

【審査官】川口 貴裕

(56)【参考文献】

【文献】特開２０２２－４５０３２（ＪＰ，Ａ）

【文献】特開２０１７－１５６１５４（ＪＰ，Ａ）

【文献】特開２０２１－１７０７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ７／００

Ｇ０１Ｃ ２１／２８

Ｇ０１Ｓ １９／３８

(57)【特許請求の範囲】

【請求項1】

時刻に関する第１時刻情報及び位置情報を取得する第１取得部と、
時刻に関する第２時刻情報が記録される画像情報を取得する第２取得部と、
前記第１取得部によって取得する第１時刻情報及び位置情報に基づいて取得する第１方位変化量と、前記第２取得部によって取得する画像情報及び第２時刻情報に基づいて取得する第２方位変化量とに基づいて、第１時刻情報と第２時刻情報とのずれ量を取得する第３取得部と、
前記第３取得部によって取得するずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期する同期部と、
を備える情報処理装置。

【請求項2】

前記第１取得部は、移動体に配される位置情報取得装置で得られる第１時刻情報及び位置情報を取得し、
前記第２取得部は、前記移動体に配される車載撮像部で得られる第２時刻情報及び画像情報を取得する
請求項１に記載の情報処理装置。

【請求項3】

前記第３取得部は、前記第２取得部によって取得する画像情報に記録される風景の特徴点を抽出し、時間的に異なる複数のフレーム間での前記特徴点の水平方向の変化量に基づいて、第２方位変化量を取得する
請求項１又は２に記載の情報処理装置。

【請求項4】

前記第３取得部は、前記第１取得部によって取得する位置情報に基づく移動軌跡から時刻毎の方位を特定し、水平方向の方位の変化量に基づいて第１方位変化量を取得する
請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記第３取得部は、第１方位変化量及び第２方位変化量に基づいて相互相関関数を算出し、算出された相関を利用して、第１方位変化量の第１時点に相関する第２方位変化量の第２時点を特定し、第１時点と第２時点とに基づいて第１時刻情報と第２時刻情報とのずれ量を取得する
請求項１～４のいずれか１項に記載の情報処理装置。

【請求項6】

コンピュータが、
時刻に関する第１時刻情報及び位置情報を取得する第１取得ステップと、
時刻に関する第２時刻情報が記録される画像情報を取得する第２取得ステップと、
前記第１取得ステップによって取得する第１時刻情報及び位置情報に基づいて取得する第１方位変化量と、前記第２取得ステップによって取得する画像情報及び第２時刻情報に基づいて取得する第２方位変化量とに基づいて、第１時刻情報と第２時刻情報とのずれ量を取得する第３取得ステップと、
前記第３取得ステップによって取得するずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期する同期ステップと、
を実行する情報処理方法。

【請求項7】

コンピュータに、
時刻に関する第１時刻情報及び位置情報を取得する第１取得機能と、
時刻に関する第２時刻情報が記録される画像情報を取得する第２取得機能と、
前記第１取得機能によって取得する第１時刻情報及び位置情報に基づいて取得する第１方位変化量と、前記第２取得機能によって取得する画像情報及び第２時刻情報に基づいて取得する第２方位変化量とに基づいて、第１時刻情報と第２時刻情報とのずれ量を取得する第３取得機能と、
前記第３取得機能によって取得するずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期する同期機能と、
を実現させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

従来から道路の点検作業が行われているが、その点検作業を支援する際に画像情報を利用する技術が存在する。特許文献１に記載される支援装置は、道路の点検作業に利用される道路画像情報を取得する。支援装置は、その道路画像情報の撮像中に所定時間間隔で記録した撮像位置情報に基づいてキロポスト値を取得し、キロポスト値と撮像時刻との対応関係を取得する。そのような支援装置には、道路画像情報に記録される道路を撮像した時刻と、撮像位置情報に記録される記録時刻とのずれを補正する補正値が設定されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１４７３１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した特許文献１に記載された支援装置は、道路に配されるキロポストに基づいて時刻のずれを補正している。しかしながら、全ての道路にキロポストが配されてはおらず、キロポストが配されない道路においては従来の支援装置を利用することができない。

【0005】

本開示は、撮像時刻のずれを補正する情報処理装置、情報処理方法及び情報処理プログラムを提供する。

【課題を解決するための手段】

【0006】

一態様の情報処理装置は、時刻に関する第１時刻情報及び位置情報を取得する第１取得部と、時刻に関する第２時刻情報が記録される画像情報を取得する第２取得部と、第１取得部によって取得する第１時刻情報及び位置情報に基づいて取得する第１方位変化量と、第２取得部によって取得する画像情報及び第２時刻情報に基づいて取得する第２方位変化量とに基づいて、第１時刻情報と第２時刻情報とのずれ量を取得する第３取得部と、第３取得部によって取得するずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期する同期部と、を備える。

【発明の効果】

【0007】

一態様によれば、第１時刻情報及び位置情報を取得すると共に、第２時刻情報が記録される画像情報を取得し、第１時刻情報及び位置情報に基づいて取得する第１方位変化量と、画像情報及び第２時刻情報に基づいて取得する第２方位変化量とに基づく、第１時刻情報と第２時刻情報とのずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期するので、撮像時刻のずれを補正することができる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る情報処理装置について説明するための図である。

【図2】一実施形態に係る情報処理装置について説明するためのブロック図である。

【図3】車両の走行する際の一例について説明するための図である。

【図4】第１方位変化量及び第２方位変化量の一例について説明するための図である。

【図5】車載カメラで撮像した風景の一例について説明するための図である。

【図6】相互相関関数の一例について説明するための図である。

【図7】画像情報と位置情報とを同期させた際の第１，２方位変化量について説明するための図である。

【図8】一実施形態に係る情報処理方法について説明するためのフローチャートである。

【発明を実施するための形態】

【0009】

以下、一実施形態について説明する。

【0010】

［情報処理装置１の概要］
まず、一実施形態に係る情報処理装置１の概要について説明する。
図１は、一実施形態に係る情報処理装置１について説明するための図である。

【0011】

情報処理装置１は、例えば、全球測位衛星システム（ＧＮＳＳ）１００等を利用して取得される時刻情報に対応するよう、画像情報に記録させる時刻情報を補正する補正装置等として構成されてもよい。また、情報処理装置１は、例えば、ＧＮＳＳ等を利用した位置情報に記録される時刻情報と、画像情報に記録される時刻情報とを同期させる同期装置等として構成されてもよい。情報処理装置１は、上述した一例の装置に限らず、種々の装置等を構成してもよい。
情報処理装置１は、例えば、サーバ、デスクトップ、ラップトップ、タブレット及びスマートフォン等のコンピュータであってもよい。

【0012】

情報処理装置１は、例えば、車両２００から種々の情報を取得する。
この場合、車両２００は、例えば、ＧＮＳＳ１００等を利用して時刻情報（第１時刻情報）及び位置情報を取得する。すなわち、車両２００は、例えば、位置情報取得装置２０１等において利用するＧＮＳＳ１００（測位衛星）から衛星情報を取得する。車両２００は、例えば、衛星情報に測位に利用する情報が含まれているため、その衛星情報を利用して自車の位置に関する位置情報と、その位置を測位する際の時刻（第１時刻）に関する時刻情報（第１時刻情報）とを取得する。

【0013】

また、車両２００は、例えば、車載カメラ２０２が搭載される。車載カメラ２０２は、一例として車両２００の進行方向を撮像することが可能であり、その撮像に基づいて画像情報を生成する。また、車載カメラ２０２は、例えば、時計機能を備えていてもよく、その時計機能で取得される時刻に関する時刻情報（第２時刻情報）を画像情報に記録することが可能である。すなわち、車載カメラ２０２は、例えば、撮像を行う時刻（第２時刻）に関する時刻情報（第２時刻情報）を画像情報に記録することが可能である。
車載カメラ２０２は、例えば、動画又は静止画で撮像を行って画像情報を生成することが可能である。車載カメラ２０２は、例えば、静止画を撮像する場合、所定のタイミング毎に撮像を行ってもよい。所定のタイミングの一例は、所定の時間毎等であってもよく、これ以外の種々のタイミングであってもよい。

【0014】

車両２００は、例えば、第１時刻情報及び位置情報と、第２時刻情報及び画像情報とを含む車両情報として情報処理装置１に送信する。又は、車両２００は、例えば、車両情報をサーバ３００に送信してもよい。サーバ３００は、例えば、蓄積する車両情報を情報処理装置１に送信してもよい。

【0015】

情報処理装置１は、車両２００で取得される第１時刻情報及び位置情報を取得する。また、情報処理装置１は、その車両２００で取得される第２時刻情報及び画像情報を取得する。ここで一例として、ある地点Ａで車両２００が取得する第１時刻情報及び位置情報と、同一の地点Ａで車載カメラ２０２が撮像を行った画像情報に記録される第２時刻情報とでは、第１時刻情報に基づく時刻（第１時刻）と第２時刻情報に基づく時刻（第２時刻）との間にずれが生じる場合がある。そのずれは、例えば、車載カメラ２０２に搭載される時計機能の精度及び計時する時刻の正確な時刻からのずれ等による場合がある。
そこで、情報処理装置１は、第１時刻情報と第２時刻情報とのずれ量を取得し、そのずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期する。

【0016】

［情報処理装置１の詳細］
次に、一実施形態に係る情報処理装置１の詳細に説明する。
図２は、一実施形態に係る情報処理装置１について説明するためのブロック図である。

【0017】

情報処理装置１は、例えば、通信部２１、記憶部２２、表示部２３及び制御部１１等を備える。通信部２１、記憶部２２及び表示部２３は、出力部の一実施形態であってもよい。制御部１１は、例えば、第１取得部１２、第２取得部１３、第３取得部１４、同期部１５及び出力制御部１６等を備える。制御部１１は、例えば、情報処理装置１の演算処理装置等によって構成されてもよい。制御部１１（例えば、演算処理装置等）は、例えば、記憶部２２等に記憶される各種プログラム等を適宜読み出して実行することにより、各部（例えば、第１取得部１２、第２取得部１３、第３取得部１４、同期部１５及び出力制御部１６等）の機能を実現してもよい。

【0018】

通信部２１は、例えば、情報処理装置１の外部にある装置（外部装置）等との間で種々の情報の送受信が可能な通信インターフェースである。外部装置は、例えば、サーバ３００及び車両２００等であってもよい。

【0019】

記憶部２２は、例えば、種々の情報及びプログラムを記憶してもよい。記憶部２２の一例は、メモリ、ソリッドステートドライブ及びハードディスクドライブ等であってもよい。なお、記憶部２２は、例えば、クラウド上にある記憶領域及びサーバ等であってもよい。

【0020】

表示部２３は、例えば、種々の文字、記号及び画像等を表示することが可能なディスプレイである。

【0021】

第１取得部１２は、時刻に関する第１時刻情報及び位置情報を取得する。一例として、第１取得部１２は、ＧＮＳＳ１００等を利用して、時刻に関する第１時刻情報及び位置情報を取得してもよい。第１取得部１２は、移動体に配される位置情報取得装置２０１で得られる第１時刻情報及び位置情報を取得してもよい。ここで、移動体は、例えば、車両２００であってもよく、ラップトップ、タブレット及びスマートフォン等のポータブル端末（図示せず）等であってもよい。位置情報取得装置２０１は、例えば、ナビゲーション装置等であってもよい。位置情報取得装置２０１は、例えば、ＧＮＳＳ１００の測位衛星から衛星情報を取得して、測位、及び、その測位の際の時刻（第１時刻）を取得することが可能な装置であってもよい。すなわち、移動体は、測位に基づいて、第１時刻情報及び位置情報を取得する。第１取得部１２は、例えば、通信部２１を介して、車両２００等の移動体から第１時刻情報及び位置情報を取得してもよい。又は、第１取得部１２は、例えば、サーバ３００に第１時刻情報及び位置情報が蓄積される場合、通信部２１を介して、サーバ３００から第１時刻情報及び位置情報を取得してもよい。

【0022】

第２取得部１３は、時刻に関する第２時刻情報が記録される画像情報を取得する。第２取得部１３は、移動体に配される車載撮像部（車載カメラ２０２）等で得られる第２時刻情報及び画像情報を取得してもよい。車両２００に搭載される車載カメラ２０２、又は、ポータブル端末に搭載されるカメラ（図示せず）は、被写体等を撮像して画像情報を生成する際に、撮像の時刻（第２時刻）に関する情報（第２時刻情報）を画像情報に記録することが可能である。第２取得部１３は、例えば、通信部２１を介して、車両２００等の移動体から第２時刻情報及び画像情報を取得してもよい。又は、第２取得部１３は、例えば、サーバ３００に第２時刻情報及び画像情報が蓄積される場合、通信部２１を介して、サーバ３００から第２時刻情報及び画像情報を取得してもよい。

【0023】

なお、第１時刻情報及び位置情報と、第２時刻情報及び画像情報とは、例えば、それぞれ異なる情報であってもよい。すなわち一例として、第１時刻情報と位置情報とまとめて位置情報とし、さらに、第２時刻情報と画像情報とまとめて画像情報としてもよい。
又は、第１時刻情報及び位置情報と、第２時刻情報及び画像情報とは、例えば、それぞれをまとめて１つの情報としてもよい。この場合、１つにまとめた情報は、例えば、移動体が車両２００の場合には、車両情報であってもよい。車両情報は、例えば、車両２００で取得される種々の情報をまとめた情報であってもよく、具体的な一例として、プローブ情報及びＣＡＮ情報等であってもよい。

【0024】

上述した第１取得部１２及び第２取得部１３は、例えば、制御部１１において異なる機能となってもよく、１つにまとめた機能になってもよい。第１取得部１２及び第２取得部１３を１つにまとめた場合、例えば、制御部１１において「取得部」として機能してもよい。

【0025】

図３は、車両２００の走行する際の一例について説明するための図である。
図４は、第１方位変化量及び第２方位変化量の一例について説明するための図である。ここで、図４の横軸は時間を示し、縦軸は方位変化量を示す。また、図４の実線は第１方位変化量を示し、破線は第２方位変化量を示す。また図４の縦軸の方位変化量は、車両２００の直進方向に対して右側への方位変化をプラス（＋）で示し、車両２００の直進方向に対して左側への方位変化をマイナス（－）で示す。なお、図４では目盛りを付していないが、目盛りを付す場合には、１０ｍｓを単位として目盛りを付してもよい。
図５は、車載カメラ２０２で撮像した風景の一例について説明するための図である。
図６は、相互相関関数の一例について説明するための図である。

【0026】

第３取得部１４は、第１取得部１２によって取得する第１時刻情報及び位置情報に基づいて取得する第１方位変化量と、第２取得部１３によって取得する画像情報及び第２時刻情報に基づいて取得する第２方位変化量とに基づいて、第１時刻情報と第２時刻情報とのずれ量を取得する。一例として、第３取得部は、第１時刻情報及び位置情報に基づいて、単位時間当たりの第１方位変化量等を取得してもよい。

【0027】

ここで図３に一例を示す場合では、直線道路に駐車していた車両２００が本線４００に出て走行を開始する際に、その車両２００は、まず進行方向を右側に向け（第１段階）、その後本線４００に出た後に進行方向を左側（道路の道なり方向）に向け、本線４００上の走行を開始する。
図４において実線で一例を示すように、第３取得部１４は、第１時刻情報及び位置情報に基づいて取得する単位時間当たりの第１方位変化量として、第１時刻情報に基づく時間と、位置情報に基づく方位変化量との関係を取得する。方位変化量は、例えば、車両２００等の移動体の進行方向の変化量等であってもよい。

【0028】

この場合、第３取得部１４は、例えば、第１取得部１２によって取得する位置情報に基づく移動軌跡から時刻毎の方位を特定し、水平方向の方位の変化量に基づいて第１方位変化量を取得してもよい。
具体的な一例として、第３取得部１４は、異なる２つの時刻（２つの第１時刻）における２つの地点を結ぶ線に沿う進行方向を、その進行方向の方位（第１方位）と特定してもよい。
又は、具体的な一例として、第３取得部１４は、移動軌跡のある地点Ｃにおける、その移動軌跡の接線に沿う進行方向を、その進行方向の方位（第１方位）と特定してもよい。
なお、第３取得部１４は、上述した一例に限定されず、種々の方法により、移動軌跡に基づいて進行方向の方位（第１方位）を特定してもよい。移動軌跡は、例えば、位置情報に基づく複数の位置によって構成される軌跡等であってもよい。
第３取得部１４は、例えば、第１方位の単位時間当たりの変化量を取得することにより、第１方位変化量を取得してもよい。

【0029】

また、第３取得部１４は、上述したように第１方位変化量を取得する一例に限らず、他の方法によっても第１方位変化量を取得してもよい。
一例として、第３取得部１４は、車両２００に配される電子コンパス等による方位測定結果を利用して、第１方位変化量を取得してもよい。この場合、第３取得部１４は、例えば、電子コンパス等で取得される方位測定結果（磁方位）を、計算等を行うことにより、地図等で利用される真方位に変換してもよい。
また一例として、第３取得部１４は、少なくとも異なる２箇所（一例として、無線方位信号所等）それぞれに配されるアンテナ（２本のアンテナ）から送信される信号を車両２００で受信して、車両２００についての各アンテナからの方向を測定することに基づいて車両２００の位置を取得し、その位置の変化に基づいて第１方位変化量を取得してもよい。この場合、第３取得部１４は、例えば、上述したＧＮＳＳを利用した場合と同様に、車両２００の少なくとも２つの異なる位置の変化に基づいて、第１方位変化量を取得してもよい。

【0030】

また、第３取得部１４は、画像情報及び第２時刻情報に基づいて、進行方向の方位（第２方位）を取得することが可能である。この場合、図５に例示するように、第３取得部１４は、画像情報に記録される風景において、１又は複数の特徴点５００を抽出する。第３取得部１４は、例えば、抽出した１又は複数の特徴点５００の時間的に異なるフレーム間での変化量を取得する。一例として上述の図３を用いた説明したように、車両２００が本線４００に出るために進行方向を右側に向けた第１段階において、車載カメラ２０２で車両２００の進行方向を撮像する場合には、風景は右から左に移動する。すなわち、風景の特徴点５００は、右から左に移動する（図５参照）。

【0031】

第３取得部１４は、例えば、時間的に異なるフレームを利用して、１又は複数の特徴点５００それぞれの水平方向の移動変化量を取得する。第３取得部１４は、例えば、その移動変化量の単位時間当たりの変化量を取得することにより、第２方位変化量を取得する。第２方位変化量は、例えば、車載カメラ２０２等のカメラ回転ベクトル等と言うこともできる。
すなわち、第３取得部１４は、第２取得部１３によって取得する画像情報に記録される風景の特徴点５００を抽出し、時間的に異なる複数のフレーム間での特徴点５００の水平方向の変化量に基づいて、第２方位変化量を取得してもよい。図４において破線で一例を示すように、第３取得部１４は、第２時刻情報及び画像情報に基づいて取得する単位時間当たりの第２方位変化量として、第２時刻情報に基づく時間と、画像情報に基づく方位変化量との関係を取得する。方位変化量は、例えば、車両２００等の移動体の進行方向の変化量等であってもよい。

【0032】

時間的に異なる複数のフレームは、例えば、時間的に連続する複数のフレームに限らず、所定数のフレームを飛ばした複数のフレーム等であってもよい。所定数のフレームを飛ばした複数のフレームの具体的な一例は、時間的に異なる３つのフレーム（Ｆ（ｔ）、Ｆ（ｔ＋１）、Ｆ（ｔ＋２））が有る場合、１つのフレームＦ（ｔ＋１）を飛ばした、複数のフレームＦ（ｔ），Ｆ（ｔ＋２）等であってもよい。すなわち一例として、第３取得部１４は、時間的に異なる複数のフレームＦ（ｔ），Ｆ（ｔ＋２）間での特徴点５００の水平方向の変化量に基づいて、第２方位変化量を取得してもよい。なお、飛ばすフレームの数は１つに限らず、２つ以上であってもよい。

【0033】

第３取得部１４は、第１方位変化量及び第２方位変化量に基づいて相互相関関数を算出し、算出された相関を利用して、第１方位変化量の第１時点に相関する第２方位変化量の第２時点を特定し、第１時点と第２時点とに基づいて第１時刻情報と第２時刻情報とのずれ量を取得してもよい。相互相関関数は、図６に例示するように、第１方位変化量と、第２方位変化量とがどれだけ相関するかを示す関数である。すなわち、相互相関関数は、例えば、図４において実線で例示する第１時刻情報に基づく時間と、位置情報に基づく方位変化量との関係（第１方位変化量）と、図４において破線で例示する第２時刻情報に基づく時間と、画像情報に基づく方位変化量との関係（第２方位変化量）とがどれだけ相関するかを示す関数である。より具体的な一例として、相互相関関数は、図４の実線で例示する関係のある点Ｄ（ある時間に対する方位変化量）が、図４の破線で例示する関係のどの点Ｅ（ある時間に対する方位変化量）と相関関係があるのか、すなわち点Ｄと点Ｅとの対応関係を示す関数である。

【0034】

第３取得部１４は、例えば、第１方位変化量（図４の実線を参照）と第２方位変化量（図４の破線を参照）とを互いにずらして相互相関関数を演算し、図６に例示するような最も高いピークが得られる演算結果の際に、第１方位変化量と第２方位変化量との２つの関係の相関が最も高いことを特定することが可能になる。すなわち一例として、第３取得部は、図６に例示する最も高いピーク６００となる相互相関関数の演算結果が得られる際に、図４に例示する点Ｄ及び点Ｅが対応すると特定することが可能になる。
第３取得部１４の具体的一例の処理内容は、以下のようになる。

【0035】

第３取得部１４は、例えば、相互相関関数を利用して、第１方位変化量における点Ｄに対して相互に相関する、第２方位変化量における点Ｅを特定する。又は、第３取得部１４は、例えば、相互相関関数を利用して、第２方位変化量における点Ｅに対して相互に相関する、第１方位変化量における点Ｄを特定する。

【0036】

すなわち、第３取得部１４は、図４の実線で示す第１方位変化量と、図４の破線で示す第２方位変化量との少なくとも一方の時間をずらしながら比較し、相互相関関数を算出する。第３取得部１４は、例えば、単位時間当たりの第１方位変化量（第１方位）と、単位時間当たりの第２方位変化量（カメラ回転ベクトルのヨー変化）とを波形と見立て、単位時間毎に波形をずらす。ここでの単位時間の一例は、１００ｍｓ等であってもよい。

【0037】

第３取得部１４は、例えば、相互相関関数が最大値となるときの時刻のずれ量を求め、そのずれ量に基づいて時刻のずれを補正する。ここで、相互相関関数の最大値を取るずれ量が、第１方位変化量と第２方位変化量との時間のずれ量となる。
すなわち、第３取得部１４は、例えば、第１方位変化量の点Ｄにおける第１時点（時間）と、第２方位変化量の点Ｅにおける第２時点（時間）とのずれ量Ｖを取得する（図４参照）。

【0038】

ここで一例として、第３取得部１４は、第１方位変化量と第２方位変化量との時間をずらしながら相互相関関数を算出すると、図６に一例を示すようある１点で相互相関の数値（縦軸）が大きくなっていること（ピーク６００が存在すること）がわかる。第３取得部１４は、例えば、そのピーク６００の検出を行い、相互相関の数値の最大値に対応する分の時間をずらすことで、第１方位変化量と第２方位変化量との時間を一致させることができる。
なお、第３取得部１４は、例えば、相互相関の最大値（最も大きいピーク）と、相互相関の数値が次に大きい（２番目に大きいピーク）との大きさの比を求め、その比が予め設定される閾値以上であれば、最大値（最も大きいピーク）として採用してもよい。閾値は、大きさの比に応じて種々の値が設定されてもよい。

【0039】

図７は、画像情報と位置情報とを同期させた際の第１，２方位変化量について説明するための図である。図７では、図４と同様に、横軸は時間を示し、縦軸は方位変化量を示す。図７の実線は第１方位変化量を示し、破線は第２方位変化量を示す。

【0040】

同期部１５は、第３取得部１４によって取得するずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期する。すなわち、同期部１５は、第３取得部１４によって取得する時間のずれ量の分だけ第２時刻を補正して、第２時刻を第１時刻に合うように補正する。具体的な一例として、同期部１５は、図４に例示する第２方位変化量を時間のずれ量Ｖの分だけ第１方変化量に対応するように移動させて、第２時刻を第１時刻に対応するように補正する。これにより、同期部１５は、例えば、位置情報（第１時刻情報）に記録されるある地点Ａと、その地点Ａにおいて撮像して生成される画像情報（第２時刻情報）（撮像の地点Ａ）とが同一の地点となり、換言すると地点Ａに対応する第１方位変化量（実線）の点Ｄ及び第２方位変化量（破線）の点Ｅの時間のずれ量が補正され、画像情報と位置情報とを同期させることが可能になる（図７参照）。

【0041】

出力制御部１６は、例えば、第３取得部１４によって取得する時間のずれ量を出力するよう出力部を制御してもよい。
また、出力制御部１６は、同期部１５によって画像情報と位置情報とを同期して結果を出力するよう出力部を制御してもよい。この場合一例として、出力制御部１６は、同期部１５によって第２時刻情報を第１時刻情報に対応するように補正した、補正後第２時刻情報及び画像情報を出力するよう制御してもよい。さらに、出力制御部１６は、第２時刻を補正した画像情報に同期する位置情報を出力するよう出力部を制御してもよい。
ここで、出力部の一例は、通信部２１、記憶部２２及び表示部２３等であってもよい。

【0042】

すなわち、出力制御部１６は、例えば、上述したずれ量、及び、上述した同期結果のグループから選択される少なくとも１つの情報を情報処理装置１の外部（外部装置）に送信するよう通信部２１を制御してもよい。ここで、外部装置は、例えば、サーバ、及び、ユーザ端末（図示せず）等であってもよい。ユーザ端末は、例えば、情報処理装置１のユーザが使用する端末であり、デスクトップ、ラップトップ、タブレット及びスマートフォン等であってもよい。
また、出力制御部１６は、例えば、上述したずれ量、及び、上述した同期結果のグループから選択される少なくとも１つの情報を記憶するよう記憶部２２を制御してもよい。
また、出力制御部１６は、例えば、上述したずれ量、及び、上述した同期結果のグループから選択される少なくとも１つを表示するよう表示部２３を制御してもよい。

【0043】

［情報処理方法］
次に、一実施形態に係る情報処理方法について説明する。
図８は、一実施形態に係る情報処理方法について説明するためのフローチャートである。

【0044】

ステップＳＴ１０１において、第１取得部１２は、ＧＮＳＳ１００を利用して、時刻に関する第１時刻情報及び位置情報を取得する。第１取得部１２は、移動体（例えば、車両２００等）に配される位置情報取得装置２０１で得られる第１時刻情報及び位置情報を取得してもよい。

【0045】

ステップＳＴ１０２において、第２取得部１３は、時刻に関する第２時刻情報が記録される画像情報を取得する。第２取得部１３は、移動体（例えば、車両２００等）に配される車載カメラ２０２等で得られる第２時刻情報及び画像情報を取得してもよい。

【0046】

ステップＳＴ１０３において、第３取得部１４は、ステップＳＴ１０１で取得する第１時刻情報及び位置情報に基づいて取得する単位時間当たりの第１方位変化量と、ステップＳＴ１０２で取得する画像情報及び第２時刻情報に基づいて取得する第２方位変化量とに基づいて、第１時刻情報と第２時刻情報とのずれ量を取得する。
この場合、第３取得部１４は、例えば、ステップＳＴ１０１で取得する位置情報に基づく移動軌跡から時刻毎の方位を特定し、水平方向の方位の変化量に基づいて、単位時間当たりの第１方位変化量を取得してもよい。
また、第３取得部１４は、ステップＳＴ１０２で取得する画像情報に記録される風景の特徴点５００を抽出し、時間的に異なる複数のフレーム間での特徴点５００の水平方向の変化量に基づいて、第２方位変化量を取得してもよい。
第３取得部１４は、第１方位変化量及び第２方位変化量に基づいて相互相関関数を算出し、算出された相関を利用して、第１方位変化量の第１時点に相関する第２方位変化量の第２時点を特定し、第１時点と第２時点とに基づいて第１時刻情報と第２時刻情報とのずれ量を取得してもよい。

【0047】

ステップＳＴ１０４において、同期部１５は、ステップＳＴ１０３で取得する時間のずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期する。

【0048】

上述した情報処理装置１の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置１の第１取得部１２、第２取得部１３、第３取得部１４、同期部１５及び出力制御部１６（制御部１１）は、コンピュータの演算処理装置等による第１取得機能、第２取得機能、第３取得機能、同期機能及び出力制御機能（制御機能）としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、例えば、メモリ、ソリッドステートドライブ、ハードディスクドライブ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体等に記録されていてもよい。記録媒体は、例えば、非一時的なコンピュータ可読媒体と言い換えてもよい。
また、上述したように、情報処理装置１の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１の第１取得部１２、第２取得部１３、第３取得部１４、同期部１５及び出力制御部１６（制御部１１）は、コンピュータの演算処理装置等を構成する第１取得回路、第２取得回路、第３取得回路、同期回路及び出力制御回路（制御回路）として実現されてもよい。
また、情報処理装置１の通信部２１、記憶部２２及び表示部２３（出力部）は、例えば、演算処理装置等の機能を含む通信機能、記憶機能及び表示機能（出力機能）として実現されもよい。また、情報処理装置１の通信部２１、記憶部２２及び表示部２３（出力部）は、例えば、集積回路等によって構成されることにより通信回路、記憶回路及び表示回路（出力回路）として実現されてもよい。また、情報処理装置１の通信部２１、記憶部２２及び表示部２３（出力部）は、例えば、複数のデバイスによって構成されることにより通信装置、記憶装置及び表示装置（出力装置）として構成されてもよい。

【0049】

情報処理装置１は、上述した複数の各部のうち１又は任意の複数を組み合わせることが可能である。
本開示では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。

【0050】

［本実施形態の態様及び効果］
次に、本実施形態の一態様及び各態様が奏する効果について説明する。なお、以下に記載する各態様は出願時の一例であり、本実施形態は以下に記載するものに限定されることはない。すなわち、本実施形態は以下に記載する各態様に限定されることはなく、上述した各部を適宜組み合わせて実現されてもよい。また、以下に記載する効果は一例であり、各態様が奏する効果は以下に記載するものに限定されることはない。また、各態様は、例えば、以下に記載する少なくとも１つの効果を奏してもよい。

【0051】

（態様１）
一態様の情報処理装置は、時刻に関する第１時刻情報及び位置情報を取得する第１取得部と、時刻に関する第２時刻情報が記録される画像情報を取得する第２取得部と、第１取得部によって取得する第１時刻情報及び位置情報に基づいて取得する第１方位変化量と、第２取得部によって取得する画像情報及び第２時刻情報に基づいて取得する第２方位変化量とに基づいて、第１時刻情報と第２時刻情報とのずれ量を取得する第３取得部と、第３取得部によって取得するずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期する同期部と、を備える。
これにより、情報処理装置は、画像情報に記録される第２時刻情報（撮像時刻）のずれを補正することができる。また、情報処理装置は、画像情報に記録される第２時刻と、一例としてのＧＮＳＳ等を利用した移動軌跡に記録される第１時刻とにずれがあるかを検証し、時刻ずれが検出される場合にはそのずれを解消するように補正することで、画像情報に記録される位置（撮像位置）の精度を向上することができる。
また、情報処理装置は、一例としてのＧＮＳＳ等で取得する第１時刻情報及び位置情報と、移動体に配される撮像部（一例として、車載カメラ等）で取得する第２時刻情報及び画像情報とに基づいてずれ量を取得するので、従来の画像情報に記録される被写体（例えば、キロポスト等）を利用してずれ量を補正する必要はなく、より多くの場合で画像情報と位置情報との同期を取ることができる。
また、情報処理装置は、第２時刻情報及び画像情報を取得する撮像部（一例として、車載カメラ等）が道路走行等に関する現地調査に最適なものでなくとも、画像情報と位置情報と同期させることにより現地調査に利用できる。すなわち、情報処理装置は、一般ユーザが使用する汎用的な撮像部、及び、相対的に古い撮像部であっても、現地調査に利用することができる。一例として、情報処理装置は、時間的な精度に関して現地調査に利用することが難しい撮像部であっても、位置情報と画像情報を同期させることにおり、現地調査に利用することができる。
また一例として、情報処理装置は、ＧＮＳＳの衛星信号を受信する装置と車載カメラとが別体で構成され、車載カメラにおいてＧＮＳＳを利用できない場合でも、画像情報と位置情報と同期させることができる。

【0052】

（態様２）
一態様の情報処理装置では、第１取得部は、移動体に配される位置情報取得装置で得られる第１時刻情報及び位置情報を取得し、第２取得部は、移動体に配される車載撮像部（車載カメラ）で得られる第２時刻情報及び画像情報を取得することとしてもよい。
情報処理装置は、車載カメラで得られる画像情報を、一例としてのＧＮＳＳ等の位置情報に同期するので、種々の車載カメラを現地調査に利用することができる。

【0053】

（態様３）
一態様の情報処理装置では、第３取得部は、第２取得部によって取得する画像情報に記録される風景の特徴点を抽出し、時間的に異なる複数のフレーム間での特徴点の水平方向の変化量に基づいて、第２方位変化量を取得することとしてもよい。
これにより、情報処理装置は、車載カメラで撮像する風景、すなわち画像情報に記録される風景を利用して第２方位変化量を取得するので、画像情報を位置情報に同期することができる。

【0054】

（態様４）
一態様の情報処理装置では、第３取得部は、第１取得部によって取得する位置情報に基づく移動軌跡から時刻毎の方位を特定し、水平方向の方位の変化量に基づいて第１方位変化量を取得することとしてもよい。
一般的に、一例としてのＧＮＳＳ等で取得する第１時刻情報及び位置情報の精度は、相対的に高い場合が多い。情報処理装置は、より精度の高い第１時刻情報に第２時刻情報を合わせるように補正するので、種々の撮像部で取得される画像情報を現地調査に利用することができる。

【0055】

（態様５）
一態様の情報処理装置では、第３取得部は、第１方位変化量及び第２方位変化量に基づいて相互相関関数を算出し、算出された相関を利用して、第１方位変化量の第１時点に相関する第２方位変化量の第２時点を特定し、第１時点と第２時点とに基づいて第１時刻情報と第２時刻情報とのずれ量を取得することとしてもよい。
これにより、情報処理装置は、相互相関関数を利用して、第２方位変化量を第２方位変化量に合うように補正するので、位置情報と画像情報とを同期することができる。

【0056】

（態様６）
一態様の情報処理方法では、コンピュータが、時刻に関する第１時刻情報及び位置情報を取得する第１取得ステップと、時刻に関する第２時刻情報が記録される画像情報を取得する第２取得ステップと、第１取得ステップによって取得する第１時刻情報及び位置情報に基づいて取得する第１方位変化量と、第２取得ステップによって取得する画像情報及び第２時刻情報に基づいて取得する第２方位変化量とに基づいて、第１時刻情報と第２時刻情報とのずれ量を取得する第３取得ステップと、第３取得ステップによって取得するずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期する同期ステップと、を実行する。
これにより、情報処理方法は、上述した一態様の情報処理装置と同様の効果を奏することができる。

【0057】

（態様７）
一態様の情報処理プログラムは、コンピュータに、時刻に関する第１時刻情報及び位置情報を取得する第１取得機能と、時刻に関する第２時刻情報が記録される画像情報を取得する第２取得機能と、第１取得機能によって取得する第１時刻情報及び位置情報に基づいて取得する第１方位変化量と、第２取得機能によって取得する画像情報及び第２時刻情報に基づいて取得する第２方位変化量とに基づいて、第１時刻情報と第２時刻情報とのずれ量を取得する第３取得機能と、第３取得機能によって取得するずれ量に基づいて第２時刻情報を補正して、画像情報と位置情報とを同期する同期機能と、を実現させる。
これにより、情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。

【符号の説明】

【0058】

１ 情報処理装置
１１ 制御部
１２ 第１取得部
１３ 第２取得部
１４ 第３取得部
１５ 同期部
１６ 出力制御部
２１ 通信部
２２ 記憶部
２３ 表示部
１００ 全球測位衛星システム（ＧＮＳＳ）
２００ 車両
２０１ 位置情報取得装置
２０２ 車載カメラ（車載撮像部）
３００ サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】