(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022144433
(43)【公開日】2022-10-03
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20220926BHJP
G06T 7/00 20170101ALI20220926BHJP
G08G 1/04 20060101ALI20220926BHJP
【FI】
G06T7/70 A
G06T7/00 650A
G08G1/04 D
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021045448
(22)【出願日】2021-03-19
(71)【出願人】
【識別番号】596119179
【氏名又は名称】株式会社コア
(74)【代理人】
【識別番号】110002516
【氏名又は名称】特許業務法人白坂
(72)【発明者】
【氏名】八尋 崇泰
【テーマコード(参考)】
5H181
5L096
【Fターム(参考)】
5H181AA21
5H181CC04
5H181FF04
5H181FF22
5H181FF32
5L096BA04
5L096CA27
5L096DA02
5L096FA66
5L096FA69
5L096FA72
5L096GA17
5L096HA05
(57)【要約】
【課題】被写体の位置を特定することができる情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置は、撮像経緯度情報が記録される地図情報を取得する第1取得部と、経緯度情報と、撮像部によって撮像される画像情報とに基づいて、経緯度情報が付された画像情報を取得する第2取得部と、撮像部の経度及び緯度に関する撮像経緯度情報を取得する第3取得部と、経緯度情報が付された画像情報及び撮像経緯度情報に基づいて、撮像部によって生成される画像情報における、撮像部に関連する距離を取得する第4取得部と、経緯度情報が付された画像情報と撮像部に関連する距離とに基づいて、撮像部から被写体までの距離を取得する第5取得部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被写体を撮像して画像情報を生成する撮像部と、
前記撮像部で被写体を撮像する撮像範囲を含む、経度及び緯度に関する経緯度情報が記録される地図情報を取得する第1取得部と、
前記第1取得部によって取得する地図情報における経緯度情報と、前記撮像部によって撮像される画像情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する第2取得部と、
画像情報における少なくとも4点と、当該少なくとも4点に対応する地図情報における少なくとも4点とに基づいて、前記撮像部の経度及び緯度に関する撮像経緯度情報を取得する第3取得部と、
前記第2取得部によって取得される経緯度情報が付された画像情報、及び、前記第3取得部によって取得する撮像経緯度情報に基づいて、前記撮像部によって生成される画像情報における、前記撮像部に関連する距離を取得する第4取得部と、
前記第2取得部によって取得される経緯度情報が付された画像情報と、前記第4取得部によって取得される撮像部に関連する距離とに基づいて、前記撮像部から被写体までの距離を取得する第5取得部と、
を備える情報処理装置。
【請求項2】
前記第2取得部は、画像情報における特徴となる複数の位置と、地図情報における前記特徴に対応する複数の位置とを対応付けることに基づいて、経緯度情報に基づく経度及び緯度を画像情報の所定の位置に対応付ける
請求項1に記載の情報処理装置。
【請求項3】
前記第2取得部は、画像情報を構成する複数のピクセルそれぞれに経度及び緯度を対応付ける
請求項1又は2に記載の情報処理装置。
【請求項4】
前記第3取得部は、画像情報が縦及び横を有する矩形の撮像範囲を記録する場合、当該撮像範囲における縦方向に少なくとも2本の線上にそれぞれの少なくとも2つの点を設定することにより、画像情報における少なくとも4点を設定する
請求項1~3のいずれか1項に記載の情報処理装置。
【請求項5】
前記撮像部によって撮像する被写体が移動を行う移動体の場合、第2取得部によって取得される経緯度情報が付された画像情報と、前記第5取得部によって取得する前記撮像部から被写体までの距離とに基づいて、移動体の移動経路を生成する生成部を備える
請求項1~4のいずれか1項に記載の情報処理装置。
【請求項6】
前記撮像部によって撮像される移動体が遮蔽物によって一時的に遮蔽される場合、前記生成部によって生成される移動経路に基づいて移動体の移動先を予測し、遮蔽物によって一時的に遮蔽される前の移動体と、遮蔽物によって一時的に遮蔽された後の移動体とが同一であるかを判定する判定部を備える
請求項5に記載の情報処理装置。
【請求項7】
前記第2取得部によって取得される経緯度情報が付された画像情報と、前記第5取得部によって取得する前記撮像部から被写体までの距離とに基づいて、前記撮像部によって撮像される被写体の位置における経度及び緯度を取得する第6取得部を備える
請求項1~6のいずれか1項に記載の情報処理装置。
【請求項8】
コンピュータが、
被写体を撮像して画像情報を撮像部で生成する撮像ステップと、
前記撮像ステップで被写体を撮像する撮像範囲を含む、経度及び緯度に関する経緯度情報が記録される地図情報を取得する第1取得ステップと、
前記第1取得ステップによって取得する地図情報における経緯度情報と、前記撮像ステップによって撮像される画像情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する第2取得ステップと、
画像情報における少なくとも4点と、当該少なくとも4点に対応する地図情報における少なくとも4点とに基づいて、前記撮像部の経度及び緯度に関する撮像経緯度情報を取得する第3取得ステップと、
前記第2取得ステップによって取得される経緯度情報が付された画像情報、及び、前記第3取得ステップによって取得する撮像経緯度情報に基づいて、前記撮像ステップによって生成される画像情報における、前記撮像部に関連する距離を取得する第4取得ステップと、
前記第2取得ステップによって取得される経緯度情報が付された画像情報と、前記第4取得ステップによって取得される撮像部に関連する距離とに基づいて、前記撮像部から被写体までの距離を取得する第5取得ステップと、
を実行する情報処理方法。
【請求項9】
コンピュータに、
被写体を撮像して画像情報を生成する撮像機能と、
前記撮像機能で被写体を撮像する撮像範囲を含む、経度及び緯度に関する経緯度情報が記録される地図情報を取得する第1取得機能と、
前記第1取得機能によって取得する地図情報における経緯度情報と、前記撮像機能によって撮像される画像情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する第2取得機能と、
画像情報における少なくとも4点と、当該少なくとも4点に対応する地図情報における少なくとも4点とに基づいて、前記撮像機能の経度及び緯度に関する撮像経緯度情報を取得する第3取得機能と、
前記第2取得機能によって取得される経緯度情報が付された画像情報、及び、前記第3取得機能によって取得する撮像経緯度情報に基づいて、前記撮像機能によって生成される画像情報における、前記撮像機能に関連する距離を取得する第4取得機能と、
前記第2取得機能によって取得される経緯度情報が付された画像情報と、前記第4取得機能によって取得される撮像機能に関連する距離とに基づいて、前記撮像機能から被写体までの距離を取得する第5取得機能と、
を実現させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来から、撮像部で撮像された画像に基づいて被写体を認識して、その被写体の位置等を求める技術が存在する。特許文献1には、撮像部で撮像された2枚の画像(基準となる参照画像と、被写体が写る画像)から差分画像を作成して、その差分画像から被写体を認識し、撮像部の画角、設置角度及び設置位置に基づいて、認識した被写体の位置を取得することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1には、撮像部の画角、設置角度及び設置位置に基づいて被写体の位置を取得することが記載されているが、撮像部の画角、設置角度及び設置位置に基づいて具体的にどのようにして被写体の位置を取得するのかは記載されていない。
【0005】
本発明は、被写体の位置を特定することができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
一態様の情報処理装置は、被写体を撮像して画像情報を生成する撮像部と、撮像部で被写体を撮像する撮像範囲を含む、経度及び緯度に関する経緯度情報が記録される地図情報を取得する第1取得部と、第1取得部によって取得する地図情報における経緯度情報と、撮像部によって撮像される画像情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する第2取得部と、画像情報における少なくとも4点と、その少なくとも4点に対応する地図情報における少なくとも4点とに基づいて、撮像部の経度及び緯度に関する撮像経緯度情報を取得する第3取得部と、第2取得部によって取得される経緯度情報が付された画像情報、及び、第3取得部によって取得する撮像経緯度情報に基づいて、撮像部によって生成される画像情報における、撮像部に関連する距離を取得する第4取得部と、第2取得部によって取得される経緯度情報が付された画像情報と、第4取得部によって取得される撮像部に関連する距離とに基づいて、撮像部から被写体までの距離を取得する第5取得部と、を備える。
【0007】
一態様の情報処理装置では、第2取得部は、画像情報における特徴となる複数の位置と、地図情報における特徴に対応する複数の位置とを対応付けることに基づいて、経緯度情報に基づく経度及び緯度を画像情報の所定の位置に対応付けることとしてもよい。
【0008】
一態様の情報処理装置では、第2取得部は、画像情報を構成する複数のピクセルそれぞれに経度及び緯度を対応付けることとしてもよい。
【0009】
一態様の情報処理装置では、第3取得部は、画像情報が縦及び横を有する矩形の撮像範囲を記録する場合、その撮像範囲における縦方向に少なくとも2本の線上にそれぞれの少なくとも2つの点を設定することにより、画像情報における少なくとも4点を設定することとしてもよい。
【0010】
一態様の情報処理装置は、撮像部によって撮像する被写体が移動を行う移動体の場合、第2取得部によって取得される経緯度情報が付された画像情報と、第5取得部によって取得する撮像部から被写体までの距離とに基づいて、移動体の移動経路を生成する生成部を備えることとしてもよい。
【0011】
一態様の情報処理装置は、撮像部によって撮像される移動体が遮蔽物によって一時的に遮蔽される場合、生成部によって生成される移動経路に基づいて移動体の移動先を予測し、遮蔽物によって一時的に遮蔽される前の移動体と、遮蔽物によって一時的に遮蔽された後の移動体とが同一であるかを判定する判定部を備えることとしてもよい。
【0012】
一態様の情報処理装置は、第2取得部によって取得される経緯度情報が付された画像情報と、第5取得部によって取得する撮像部から被写体までの距離とに基づいて、撮像部によって撮像される被写体の位置における経度及び緯度を取得する第6取得部を備えることとしてもよい。
【0013】
一態様の情報処理方法では、コンピュータが、被写体を撮像して画像情報を撮像部で生成する撮像ステップと、撮像ステップで被写体を撮像する撮像範囲を含む、経度及び緯度に関する経緯度情報が記録される地図情報を取得する第1取得ステップと、第1取得ステップによって取得する地図情報における経緯度情報と、撮像ステップによって撮像される画像情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する第2取得ステップと、画像情報における少なくとも4点と、その少なくとも4点に対応する地図情報における少なくとも4点とに基づいて、撮像部の経度及び緯度に関する撮像経緯度情報を取得する第3取得ステップと、第2取得ステップによって取得される経緯度情報が付された画像情報、及び、第3取得ステップによって取得する撮像経緯度情報に基づいて、撮像ステップによって生成される画像情報における、撮像部に関連する距離を取得する第4取得ステップと、第2取得ステップによって取得される経緯度情報が付された画像情報と、第4取得ステップによって取得される撮像部に関連する距離とに基づいて、撮像部から被写体までの距離を取得する第5取得ステップと、を実行する。
【0014】
一態様の情報処理プログラムは、コンピュータに、被写体を撮像して画像情報を生成する撮像機能と、撮像機能で被写体を撮像する撮像範囲を含む、経度及び緯度に関する経緯度情報が記録される地図情報を取得する第1取得機能と、第1取得機能によって取得する地図情報における経緯度情報と、撮像機能によって撮像される画像情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する第2取得機能と、画像情報における少なくとも4点と、その少なくとも4点に対応する地図情報における少なくとも4点とに基づいて、撮像機能の経度及び緯度に関する撮像経緯度情報を取得する第3取得機能と、第2取得機能によって取得される経緯度情報が付された画像情報、及び、第3取得機能によって取得する撮像経緯度情報に基づいて、撮像機能によって生成される画像情報における、撮像機能に関連する距離を取得する第4取得機能と、第2取得機能によって取得される経緯度情報が付された画像情報と、第4取得機能によって取得される撮像機能に関連する距離とに基づいて、撮像機能から被写体までの距離を取得する第5取得機能と、を実現させる。
【発明の効果】
【0015】
一態様の情報処理装置は、撮像経緯度情報が記録される地図情報を取得する第1取得部と、経緯度情報と、撮像部によって撮像される画像情報とに基づいて、経緯度情報が付された画像情報を取得する第2取得部と、撮像部の経度及び緯度に関する撮像経緯度情報を取得する第3取得部と、経緯度情報が付された画像情報及び撮像経緯度情報に基づいて、撮像部によって生成される画像情報における、撮像部に関連する距離を取得する第4取得部と、経緯度情報が付された画像情報と撮像部に関連する距離とに基づいて、撮像部から被写体までの距離を取得する第5取得部と、を備えるので、撮像部によって撮像される被写体の位置を特定することができる。
また、一態様の情報処理方法及び情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。
【図面の簡単な説明】
【0016】
【
図1】一実施形態に係る情報処理装置について説明するための図である。
【
図2】一実施形態に係る情報処理装置について説明するためのブロック図である。
【
図3】第2取得部12によって行われる処理に関連する内容について説明するための図である。(A)は撮像部によって撮像される画像に関連する内容を説明するための図であり、(B)は地図情報に関連する内容を説明するための図である。
【
図4】第4取得部によって行われる処理に関連する内容について説明するための図である。(A)は撮像部によって撮像される画像に関連する内容を説明するための図であり、(B)は地図情報に関連する内容を説明するための図である。
【
図5】第4取得部によって行われる処理に関連する内容について説明するための図である。
【
図6】生成部によって行われる処理に関連する内容について説明するための図である。(A)は撮像部によって撮像される画像に関連する内容を説明するための図であり、(B)は地図情報に関連する内容を説明するための図である。
【
図7】一実施形態に係る情報処理方法について説明するための第1のフローチャートである。
【
図8】一実施形態に係る情報処理方法について説明するための第2のフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
【0018】
まず、一実施形態に係る情報処理装置1の概略について説明する。
図1は、一実施形態に係る情報処理装置1について説明するための図である。
【0019】
情報処理装置1は、被写体を撮像する撮像部21で生成される画像情報を取得する。撮像部21は、例えば、監視カメラ等の固定カメラ等であってもよい。なお、固定カメラは、例えば、一定期間、所定の場所を撮像するカメラであってもよく、移動可能なカメラであってもよい。
【0020】
情報処理装置1は、撮像部21によって撮像される画像内における任意の位置に対して位置情報(例えば、経度及び緯度に関する情報)と、画像内における、撮像部21からその任意の位置までの距離とを取得する。
この場合、まず、情報処理装置1は、撮像部21によって撮像される撮像範囲内における複数の位置Aと、その複数の位置Aそれぞれに対応する地図情報における複数の位置Bとを対応付けて、撮像部21によって撮像される画像内の経度及び緯度を特定する。
次に、情報処理装置1は、特定した画像内の経度及び緯度を利用して、撮像部21の経度及び緯度を特定する。情報処理装置1は、特定される画像内の経度及び緯度と、撮像部21における経度及び緯度とに基づいて、撮像部21によって撮像される画像内における、その撮像部21に関連する距離を取得する。情報処理装置1は、特定される画像内の任意の位置の経度及び緯度と、画像内の、撮像部21に関連する距離と、に関する情報(距離経緯度情報)を記憶部22(
図2参照)に記憶する。
【0021】
情報処理装置1は、撮像部21によって新たに被写体を撮像する場合、記憶部22に記憶される距離経緯度情報に基づいて、被写体の位置(例えば、経度及び緯度)と、撮像部21から被写体までの距離を取得する。
【0022】
上述した情報処理装置1は、例えば、サーバ、デスクトップ、ラップトップ及びタブレット等であってもよい。
【0023】
次に、一実施形態に係る情報処理装置1の詳細について説明する。
図2は、一実施形態に係る情報処理装置1について説明するためのブロック図である。
【0024】
情報処理装置1は、撮像部21、記憶部22、通信部23、表示部24及び制御部10を備える。制御部10は、例えば、演算処理装置等の一機能として実現されてもよい。制御部10は、第1取得部11、第2取得部12、第3取得部13、第4取得部14、第5取得部15、生成部16、判定部17、第6取得部18及び出力制御部19として機能してもよい。
【0025】
撮像部21は、被写体を撮像して画像情報を生成する。撮像部21は、例えば、情報処理装置1に配されるカメラであってもよい。又は、撮像部21は、情報処理装置1の外部に配される外部カメラ等であってもよい。この場合、制御部10は、外部カメラで生成される画像情報を、通信部23を介して取得してもよい。撮像部21は、例えば、時間的に連続した(所定時間毎に撮像される)静止画、又は、動画で被写体を撮像してもよい。
【0026】
記憶部22は、例えば、種々の情報及びプログラムを記憶する。記憶部22は、例えば、経度及び緯度に関する経緯度情報が記録される地図情報を記憶してもよい。記憶部22は、距離経緯度情報を記憶してもよい。記憶部22に記憶される距離経緯度情報には、例えば、後述する第2取得部12によって取得される経緯度情報が付された画像情報(撮像部21のピクセルと、経緯度情報とを対応付けた情報)、及び、後述する第4取得部14によって取得される画像情報(画像)における、撮像部21に関連する距離に関する情報が含まれていてもよい。
【0027】
通信部23は、例えば、情報処理装置1の外部にある装置(例えば、外部カメラ、外部サーバ及び端末等)との間で通信を行う。
【0028】
表示部24は、例えば、種々の文字、記号及び画像等を表示する。
【0029】
第1取得部11は、撮像部21で被写体を撮像する撮像範囲を含む、経度及び緯度に関する経緯度情報が記録される地図情報を取得する。第1取得部11は、例えば、記憶部22に記憶される地図情報を取得してもよく、情報処理装置1の外部にある外部サーバ等に記憶される地図情報を、通信部23を介して取得してもよい。
【0030】
図3は、第2取得部12によって行われる処理に関連する内容について説明するための図である。
図3(A)は撮像部21によって撮像される画像に関連する内容を説明するための図であり、
図3(B)は地図情報に関連する内容を説明するための図である。すなわち、
図3(B)は撮像部21によって撮像される撮像範囲を含む、地図情報に基づく地図の一例を示す図である。
【0031】
第2取得部12は、第1取得部11によって取得する地図情報における経緯度情報と、撮像部21によって撮像される画像情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する。具体的には、第2取得部12は、画像情報における特徴となる複数の位置と、地図情報における特徴に対応する複数の位置とを対応付けることに基づいて、経緯度情報に基づく経度及び緯度を画像情報の所定の位置に対応付けることとしてもよい。
【0032】
すなわち、第2取得部12は、例えば、撮像部21によって撮像される被写体の画像の中から特徴となる被写体の複数の位置を抽出する。具体的な一例として、第2取得部12は、撮像部21によって横断歩道を有する交差点を撮像する場合には、横断歩道の複数の角部を特徴の位置として抽出する。この場合、一例として、第2取得部12は、特徴となる被写体の4つの位置A~Dを抽出することとしてもよい(
図3(A)参照)。なお、第2取得部12は、上述した横断歩道に限定されることはなく、撮像部21によって撮像される画像に記録され、且つ、道路地図に記録される種々の物(静止物等の固定された物)を特徴して抽出することとしてもよい。
【0033】
また、第2取得部12は、例えば、地図情報に記録される特徴となる物のうち複数の位置を抽出する。この場合、第2取得部12は、例えば、撮像部21によって撮像される画像から抽出される特徴のうちの複数の位置に対して、同一の特徴の同一の位置を地図情報から抽出する。具体的な一例として、第2取得部12は、撮像部21によって撮像される画像に記録される横断歩道の4つの角部A~Dを抽出する場合(
図3(A)を参照)、その角部A~Dと同一の、地図情報に記録される横断歩道の角部A’~D’を抽出する(
図3(B)を参照)。
【0034】
第2取得部12は、例えば、撮像部21によって撮像される画像の特徴の複数の位置と、地図情報に記録される同一の特徴の同一の複数の位置とを対応付けることにより、地図情報に記録される位置情報(経度及び緯度)を画像(画像情報)に対応付ける。具体的な一例として、第2取得部12は、撮像部21によって撮像される画像に記録される横断歩道の4つの角部A~Dと、地図情報に記録される横断歩道の角部A’~D’とに基づき、射影変換行列を利用して座標変換を行うことにより、地図情報に記録される位置情報(経度及び緯度)を画像(画像情報)に対応付ける。
【0035】
すなわち、第2取得部12は、撮像部21によって撮像される画像の特徴の複数の位置から地図情報への射影変換行列を算出して、撮像部21によって撮像された画像から地図情報への座標変換を行う。また、第2取得部12は、地図情報に記録される特徴の複数の位置から撮像部21によって撮像される画像への射影変換行列を算出して、地図情報から撮像部21によって撮像された画像へ座標変換を行う。
【0036】
射影変換行列は、以下の式(1)となる。ここで、(x,y)は、例えば、変換前の経度及び緯度であってもよい。(x’,y’)は、例えば、変換後の経度及び緯度であってもよい。
【0037】
【0038】
第2取得部12は、画像情報を構成する複数のピクセルそれぞれに経度及び緯度を対応付けることとしてもよい。すなわち、第2取得部12は、例えば、地図情報の1ピクセル毎に経度及び緯度を求め、撮像部21によって撮像される画像の1ピクセル毎に対応した経度及び緯度の情報を生成する。
【0039】
この場合、第2取得部12は、例えば、地図情報の全てのピクセルに経度及び緯度が記録されていない場合、地図情報において経度及び緯度が記録される複数の地点の情報を利用して、1ピクセル毎に経度及び緯度を求めることが可能である。具体的な一例として、第2取得部12は、地図情報に4つの地点の経度及び緯度(Lon0,Lat0)、(Lon0,Lat1)、(Lon1,Lat0)、(Lon1,Lat1)の情報が記録される場合、1ピクセル当たりの経度及び緯度を以下の式(2),(3)を利用して、地図情報において1ピクセル毎に経度及び緯度の情報(例えば、1ピクセル当たりの経度及び緯度の変化量の情報)で算出することが可能である。
1ピクセル当たりの経度=(Lon1-Lon0)/(2地点間の距離(ピクセル数)) …(2)
1ピクセル当たりの緯度=(Lat1-Lat0)(2地点間の距離(ピクセル数)) …(3)
さらに、第2取得部12は、上述した射影変換行列を利用して、撮像部21によって撮像される画像における1ピクセル毎の経度及び緯度を算出することが可能である。
なお、経度は、撮像部21によって撮像される画像の左上を始点(始点経度)として、経緯度の変化量と画像のX座標(画像の横方向の座標)とに基づいて算出される。同様に、緯度は、撮像部21によって撮像される画像に左上を始点(始点緯度)として、緯度の変化量と画像のY座標(画像の縦方向の座標)とに基づいて算出される。
【0040】
図4は、第4取得部14によって行われる処理に関連する内容について説明するための図である。
図4(A)は撮像部21によって撮像される画像に関連する内容を説明するための図であり、
図4(B)は地図情報に関連する内容を説明するための図である。
【0041】
第3取得部13は、画像情報における少なくとも4点と、その少なくとも4点に対応する地図情報における少なくとも4点とに基づいて、撮像部21の経度及び緯度に関する撮像経緯度情報を取得する。この場合、第3取得部13は、画像情報が縦及び横を有する矩形の撮像範囲を記録する場合、その撮像範囲における縦方向に少なくとも2本の線上にそれぞれの少なくとも2つの点を設定することにより、画像情報における少なくとも4点を設定することとしてもよい。
【0042】
すなわち、第3取得部13は、例えば、撮像部21によって撮像される画像の少なくとも2地点を通る、地図情報に基づく地図上に複数の線分を生成する。具体的には、第3取得部13は、例えば、撮像部21によって撮像される画像における縦方向の一方の縁部に重なる少なくとも2つの地点P1,P2を抽出する(
図4(A)参照)。第3取得部13は、例えば、その少なくとも2地点P1,P2を地図上に射影した地点P1’,P2’を通る線分P1’-P2’を生成する(
図4(B)参照)。
同様に、第3取得部13は、撮像部21によって撮像される画像における縦方向の他方の縁部に重なる少なくとも2つの地点、又は、撮像部21によって撮像される画像の中心を通る縦方向の中心線における少なくとも2つの地点P3,P4を抽出する(
図4(A)参照)。第3取得部13は、例えば、その少なくとも2地点P3,P4を地図上に射影した地点P3’,P4’を通る線分P3’-P4’を生成する(
図4(B)参照)。
第3取得部13は、地図情報における線分P1’-P2’と線分P3’-P4’との交点P0が撮像部21の配される位置となり(
図4(B)参照)、その位置の経度及び緯度の情報(撮像経緯度情報)を取得する。
また、地図情報における線分P3’-P4’からカメラの方角を求めることができる。
【0043】
図5は、第4取得部14によって行われる処理に関連する内容について説明するための図である。
【0044】
第4取得部14は、第2取得部12によって取得される経緯度情報が付された画像情報、及び、第3取得部13によって取得する撮像経緯度情報に基づいて、撮像部21によって生成される画像情報における、撮像部21に関連する距離を取得する。すなわち、第4取得部14は、経緯度情報が付された画像情報、及び、撮像部21が配される位置の経度及び緯度(C_Lon,C_Lat)の情報(撮像経緯度情報)に基づいて、全座標、例えば、撮像部21によって生成される画像情報の1ピクセル毎に、撮像部21からの距離(dx,dy)を算出する。ここで、dxは、例えば、画像情報に基づく画像の中心を通る縦方向の線分C上における、撮像部21が配される位置P0からの距離である(
図5参照)。dyは、例えば、画像情報に基づく画像の横方向における中心線(線分C)からの距離である(
図5参照)。
【0045】
具体的な一例として、第4取得部14は、画像情報における任意の位置P5(経緯度(Lon,Lat))における距離dx,dyを以下の式(4),(5)を利用して算出する。
dx=(Lat-C_Lat)/m1_Lat …(4)
dy=(Lon-C_Lon)/m1_Lon …(5)
ここで、m1_Latは1m当たりの緯度であり、m1_Lonは1m当たりの経度である。
【0046】
また、第4取得部14は、経緯度情報が付された画像情報と、上述したように算出した距離dx,dyとを合成して、画像情報の1ピクセル毎に経緯度情報、及び、距離dx,dyの情報を割り当てる。具体的な一例として、第4取得部14は、上述した位置P5に[dx,dy,Lon,Lat]を割り当てる。
第4取得部14は、例えば、画像情報の1ピクセル毎に割り当てた[dx,dy,Lon,Lat]の情報(距離経緯度情報)を記憶部22に記憶することとしてもよい。
ここまでが、前処理となる。
【0047】
実際に撮像部21によって撮像される被写体までの距離及び経緯度を求める処理は、以下のようになる。
第5取得部15は、第2取得部12によって取得される経緯度情報が付された画像情報と、第4取得部14によって取得される撮像部21に関連する距離とに基づいて、撮像部21から被写体までの距離を取得する。すなわち、まず第5取得部15は、例えば、撮像部21によって新たな撮像が行われる場合、撮像部21によって撮像される画像に基づいて被写体認識を行う。第5取得部15は、例えば、人物を認識する場合には、公知の人物認識処理を利用して、画像情報に記録される人物の認識を行い、人物を囲う矩形の枠(ROI)を生成する。また、第5取得部15は、人物を認識する例に限定されず、自動車、自動二輪車、二輪車、車いす及び電車等の移動体の認識を行ってもよい。第5取得部15は、被写体認識を行った結果、その被写体を認識した位置(例えば、被写体が地面に接する中央の位置(ROIの下辺における中央位置))を特定し、その位置の画像情報におけるピクセルを特定する。第5取得部15は、第4取得部14によって取得される距離経緯度情報に基づいて、特定したピクセルの(被写体の位置)の経度及び緯度の情報及び撮像部21からの距離の情報を取得する。
第5取得部15は、例えば、被写体が移動する場合には、その移動に応じた各位置での経度及び緯度の情報及び撮像部21からの距離の情報を取得してもよい。
【0048】
図6は、生成部16によって行われる処理に関連する内容について説明するための図である。
図6(A)は撮像部21によって撮像される画像に関連する内容を説明するための図であり、
図6(B)は地図情報に関連する内容を説明するための図である。
【0049】
生成部16は、撮像部21によって撮像する被写体が移動を行う移動体の場合、第2取得部12によって取得される経緯度情報が付された画像情報と、第5取得部15によって取得する撮像部21から被写体までの距離とに基づいて、移動体の移動経路を生成することとしてもよい。
すなわち、生成部16は、第5取得部15によって被写体の移動に応じた各位置での経度及び緯度の情報及び撮像部21からの距離の情報を取得する場合、経度及び緯度の情報を記憶部22に記憶される地図情報に対応付けることにより、被写体の移動の軌跡(移動経路)を生成することが可能になる。
【0050】
具体的な一例として、生成部16は、撮像部21によって被写体として車両Eを撮像する場合(
図6(A)参照)、第5取得部15によって車両Eの位置情報を取得されると、その位置情報に基づく位置を地図上に投影する。生成部16は、車両Eが移動する場合には、第5取得部15によって順次取得される車両Eの位置情報に基づく位置を地図上に投影し、車両Eの移動の軌跡(移動経路)Fを地図上に投影する(
図6(B)参照)。
【0051】
又は、生成部16は、例えば、GNSS(Global Navigation Satellite System)を利用して(例えば、ナビゲーション装置等を利用して)被写体(移動体)の位置情報を取得できる場合には、距離経緯度情報に基づいて、その位置情報を撮像部21によって撮像される画像へ射影変換することにより、撮像部21によって撮像される画像内に被写体の軌跡(移動経路)を生成することが可能になる。
【0052】
判定部17は、撮像部21によって撮像される被写体(移動体)が遮蔽物によって一時的に遮蔽される場合、生成部16によって生成される移動経路に基づいて移動体の移動先を予測し、遮蔽物によって一時的に遮蔽される前の移動体と、遮蔽物によって一時的に遮蔽された後の移動体とが同一であるかを判定することとしてもよい。判定部17は、例えば、生成部16によって生成される被写体(移動体)の軌跡(移動経路)を利用して、その被写体の移動方向、及び、被写体の認識した結果(被写体の同一性を推測した結果)を利用することにより、撮像部21で撮像される被写体が一時的に遮蔽される場合、例えば、被写体としての車両が対向車によって一時的に遮蔽される場合でも、被写体(例えば、車両等)の同一性を推定することが可能である。ここで、判定部17は、例えば、被写体の移動方向の推定と、被写体の同一性の推測とは、公知の技術を利用することが可能である。
【0053】
第6取得部18は、第2取得部12によって取得される経緯度情報が付された画像情報と、第5取得部15によって取得する撮像部21から被写体までの距離とに基づいて、撮像部21によって撮像される被写体の位置における経度及び緯度を取得することとしてもよい。すなわち、第6取得部18は、例えば、被写体(移動体)がGNSSを利用して位置情報を取得する場合、GNSSを利用した被写体の移動の軌跡(移動経路)と、撮像部21によって撮像される、第5取得部15によって取得されるその被写体の位置(経度及び緯度)(又は、生成部16によって生成される移動の軌跡(移動経路))とに基づいて、被写体の移動の軌跡(移動経路)の連続性を推定してもよい。これにより、第6取得部18は、例えば、撮像部21をGNSSの電波を受信できないトンネル、車庫及び室内等に配することにより、GNSSを利用して位置情報を取得している被写体がトンネル等に入った場合でも、被写体の移動の軌跡の連続性(例えば、被写体がトンネル等に入った場合のその被写体の位置情報)を取得することが可能になる。
【0054】
出力制御部19は、第5取得部15によって取得される経緯度及び撮像部21からの距離の情報、生成部16によって生成される被写体の移動経路、判定部17による被写体の同一性の判定結果、及び、第6取得部18によって取得される被写体の連続性の取得結果(これらをまとめて「出力情報」という)を出力するよう出力部を制御してもよい。
出力部は、例えば、記憶部22、通信部23及び表示部24であってもよい。
すなわち、出力制御部19は、例えば、出力情報を記憶するよう記憶部22を制御してもよい。
出力制御部19は、例えば、出力情報を情報処理装置1の外部(例えば、サーバ等(図示せず))に送信するよう通信部23を制御してもよい。
出力制御部19は、例えば、出力情報に基づく文字、記号及び画像を表示するよう表示部24を制御してもよい。
【0055】
次に、一実施形態に係る情報処理方法について説明する。
【0056】
まず、一実施形態に係る情報処理方法であって、情報処理装置1で行われる前処理について説明する。
図7は、一実施形態に係る情報処理方法について説明するための第1のフローチャートである。
【0057】
ステップST101において、撮像部21は、被写体を撮像して画像情報を生成する。この場合の被写体は、背景等であってもよい。
【0058】
ステップST102において、第1取得部11は、経緯度情報が記録される地図情報を取得する。第1取得部11は、例えば、記憶部22に記憶される地図情報を取得してもよく、情報処理装置1の外部にある外部サーバ等に記憶される地図情報を、通信部23を介して取得してもよい。
【0059】
ステップST103において、第2取得部12は、ステップST101で撮像される画像情報と、ステップST102で取得する地図情報における経緯度情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する。第2取得部12は、例えば、画像情報における特徴となる複数の位置と、地図情報における特徴に対応する複数の位置とを対応付けることに基づいて、経緯度情報に基づく経度及び緯度を画像情報の所定の位置に対応付けることとしてもよい。この場合、第2取得部12は、画像情報を構成する複数のピクセルそれぞれに経度及び緯度を対応付けることとしてもよい。
【0060】
ステップST104において、第3取得部13は、画像情報における少なくとも4点と、その少なくとも4点に対応する地図情報における少なくとも4点とに基づいて、撮像部21の経度及び緯度に関する撮像経緯度情報を取得する。この場合、第3取得部13は、画像情報が縦及び横を有する矩形の撮像範囲を記録する場合、その撮像範囲における縦方向に少なくとも2本の線上にそれぞれの少なくとも2つの点を設定することにより、画像情報における少なくとも4点を設定することとしてもよい。
【0061】
ステップST105において、第4取得部14は、ステップST102で取得される経緯度情報が付された画像情報、及び、ステップST103で取得する撮像経緯度情報に基づいて、撮像部21によって生成される画像情報における、撮像部21に関連する距離dx,dyを取得する。
第4取得部14は、例えば、画像情報の1ピクセル毎に割り当てた[dx,dy,Lon,Lat]の情報(距離経緯度情報)を記憶部22に記憶することとしてもよい。
ここまでが、前処理となる。
【0062】
次に、一実施形態に係る情報処理方法であって、情報処理装置1で行われる被写体の位置情報の取得等の後処理について説明する。
図8は、一実施形態に係る情報処理方法について説明するための第2のフローチャートである。
【0063】
ステップST201において、撮像部21は、被写体を撮像する。この場合の被写体は、例えば、人物、並びに、自動車、自動二輪車、二輪車、車いす及び電車等の移動体等であってもよい。
【0064】
ステップST202において、第5取得部15は、ステップST201で撮像される被写体を認識してその被写体の画像上における位置を特定し、
図7を用いて説明した前処理で取得される距離経緯度情報に基づいて、特定した位置(被写体)の位置情報、及び、撮像部21から特定した位置(被写体)までの距離を取得する。第5取得部15は、ステップST101で撮像される被写体が移動する場合、例えば、その被写体の移動に応じて連続して又は間欠的(所定時間毎)に、被写体の位置情報及び撮像部21から被写体までの距離を取得する。
【0065】
ステップST203において、生成部16は、ステップST101で撮像される被写体が移動する場合、距離経緯度情報に基づいて、被写体の移動経路を生成する。すなわち、生成部16は、例えば、ステップST202で取得される被写体の位置情報及び撮像部21から被写体までの距離に基づいて、被写体の移動の軌跡(移動経路)を地図上に投影する。
【0066】
ステップST204において、判定部17は、ステップST101で撮像される被写体が遮蔽物によって一時的に遮蔽される場合、ステップST203で生成される移動経路に基づいて被写体の移動先を予測し、遮蔽物によって一時的に遮蔽される前の被写体と、遮蔽物によって一時的に遮蔽された後の被写体とが同一であるかを判定する。
【0067】
ステップST205において、第6取得部18は、距離経緯度情報に基づいて、ステップST205で撮像される被写体の位置における経度及び緯度を取得する。第6取得部18は、例えば、被写体がGNSSを利用して位置情報を取得する場合、GNSSを利用した被写体の移動の軌跡(移動経路)と、ステップST202で取得されるその被写体の位置(経度及び緯度)(又は、ステップST203で生成される移動経路)とに基づいて、被写体の移動経路の連続性を推定してもよい。これにより、第6取得部18は、例えば、撮像部21がGNSSの電波を受信できない場所に配される場合でも被写体の移動経路の連続性(例えば、被写体がトンネル等に入った場合のその被写体の位置情報)を取得することが可能になる。
【0068】
次に、本実施形態の効果について説明する。
情報処理装置1は、撮像部21で被写体を撮像する撮像範囲を含む、経緯度情報が記録される地図情報を取得する第1取得部11と、経緯度情報と撮像部21によって撮像される画像情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する第2取得部12と、撮像経緯度情報を取得する第3取得部13と、経緯度情報が付された画像情報及び撮像経緯度情報に基づいて、撮像部21によって生成される画像情報における、撮像部21に関連する距離を取得する第4取得部14と、経緯度情報が付された画像情報と撮像部21に関連する距離とに基づいて、撮像部21から被写体までの距離を取得する第5取得部15と、を備える。
これにより、情報処理装置1は、撮像部21によって撮像される被写体の位置(例えば、経度及び緯度)を特定することができる。
【0069】
情報処理装置1では、第2取得部12は、画像情報における特徴となる複数の位置と、地図情報における特徴に対応する複数の位置とを対応付けることに基づいて、経緯度情報に基づく経度及び緯度を画像情報の所定の位置に対応付けることとしてもよい。
情報処理装置1は、地図情報の位置情報を、撮像部21によって撮像される画像に対応付けることができる。よって、情報処理装置1は、撮像部21によって撮像される被写体の位置(例えば、経度及び緯度)を特定することができる。
【0070】
情報処理装置1では、第2取得部12は、画像情報を構成する複数のピクセルそれぞれに経度及び緯度を対応付けることとしてもよい。
これにより、情報処理装置1は、ピクセル毎に位置情報を対応付けることにより、より詳細な被写体の位置情報を特定することができる。
【0071】
情報処理装置1では、第3取得部13は、画像情報が縦及び横を有する矩形の撮像範囲を記録する場合、その撮像範囲における縦方向に少なくとも2本の線上にそれぞれの少なくとも2つの点を設定することにより、画像情報における少なくとも4点を設定することとしてもよい。
これにより、情報処理装置1は、撮像部21が配される位置の位置情報を取得することができる。
【0072】
情報処理装置1は、撮像部21によって撮像する被写体が移動を行う移動体の場合、経緯度情報が付された画像情報と撮像部21から被写体までの距離とに基づいて、移動体の移動経路を生成する生成部16を備えることとしてもよい。
これにより、情報処理装置1は、地図上に被写体の移動の軌跡(移動経路)をプロットすることができ、又は、撮像部21によって撮像される画像上に被写体の移動の軌跡(移動経路)をプロットすることができる。
【0073】
情報処理装置1は、撮像部21によって撮像される被写体(移動体)が遮蔽物によって一時的に遮蔽される場合、生成部16によって生成される移動経路に基づいて移動体の移動先を予測し、遮蔽物によって一時的に遮蔽される前の移動体と、遮蔽物によって一時的に遮蔽された後の移動体とが同一であるかを判定する判定部17を備えることとしてもよい。
情報処理装置1は、被写体(移動体)の同一性を判定できるので、例えば、被写体が車両の場合には対向車によって遮蔽される場合でも、車両の移動の軌跡(移動経路)を生成することができる。
【0074】
情報処理装置1は、経緯度情報が付された画像情報と撮像部21から被写体までの距離とに基づいて、撮像部21によって撮像される被写体の位置における経度及び緯度を取得する第6取得部18を備えることとしてもよい。
これにより、情報処理装置1は、被写体がGNSSを利用して位置情報を取得できる場合に、その被写体がGNSSを利用した位置情報を取得できない地点に移動しても、その地点に撮像部21を配しておくことにより、被写体の同一性を判定して、被写体の移動先を推定することができる。
【0075】
情報処理方法では、コンピュータが、撮像ステップで被写体を撮像する撮像範囲を含む、経緯度情報が記録される地図情報を取得する第1取得ステップと、経緯度情報と撮像ステップによって撮像される画像情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する第2取得ステップと、撮像経緯度情報を取得する第3取得ステップと、経緯度情報が付された画像情報及び撮像経緯度情報に基づいて、撮像ステップによって生成される画像情報における、撮像部21に関連する距離を取得する第4取得ステップと、経緯度情報が付された画像情報と撮像部21に関連する距離とに基づいて、撮像部21から被写体までの距離を取得する第5取得ステップと、を実行する。
情報処理方法は、地図情報の位置情報を、撮像部21によって撮像される画像に対応付けることができる。よって、情報処理方法は、撮像部21によって撮像される被写体の位置(例えば、経度及び緯度)を特定することができる。
【0076】
情報処理プログラムは、コンピュータに、撮像機能で被写体を撮像する撮像範囲を含む、経緯度情報が記録される地図情報を取得する第1取得機能と、経緯度情報と撮像機能によって撮像される画像情報とに基づいて、地図情報における撮像範囲内の経度及び緯度を、画像情報における所定の位置に対応付けることにより、経緯度情報が付された画像情報を取得する第2取得機能と、撮像経緯度情報を取得する第3取得機能と、経緯度情報が付された画像情報及び撮像経緯度情報に基づいて、撮像機能によって生成される画像情報における、撮像機能に関連する距離を取得する第4取得機能と、経緯度情報が付された画像情報と撮像機能に関連する距離とに基づいて、撮像機能から被写体までの距離を取得する第5取得機能と、を実現させる。
情報処理プログラムは、地図情報の位置情報を、撮像部21によって撮像される画像に対応付けることができる。よって、情報処理プログラムは、撮像部21によって撮像される被写体の位置(例えば、経度及び緯度)を特定することができる。
【0077】
上述した情報処理装置1の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置1の第1取得部11、第2取得部12、第3取得部13、第4取得部14、第5取得部15、生成部16、判定部17、第6取得部18及び出力制御部19(制御部10)は、コンピュータの演算処理装置等による第1取得機能、第2取得機能、第3取得機能、第4取得機能、第5取得機能、生成機能、判定機能、第6取得機能及び出力制御機能(制御機能)としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置1の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置1の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置1の第1取得部11、第2取得部12、第3取得部13、第4取得部14、第5取得部15、生成部16、判定部17、第6取得部18及び出力制御部19(制御部10)は、コンピュータの演算処理装置等を構成する第1取得回路、第2取得回路、第3取得回路、第4取得回路、第5取得回路、生成回路、判定回路、第6取得回路及び出力制御回路(制御回路)として実現されてもよい。
また、情報処理装置1の撮像部21、記憶部22、通信部23及び表示部24は、例えば、演算処理装置等の機能を含む撮像機能、記憶機能、通信機能及び表示機能として実現されもよい。また、情報処理装置1の撮像部21、記憶部22、通信部23及び表示部24は、例えば、集積回路等によって構成されることにより撮像回路、記憶回路、通信回路及び表示回路として実現されてもよい。また、情報処理装置1の撮像部21、記憶部22、通信部23及び表示部24は、例えば、複数のデバイスによって構成されることにより撮像装置、記憶装置、通信装置及び表示装置として構成されてもよい。
【符号の説明】
【0078】
1 情報処理装置
10 制御部
11 第1取得部
12 第2取得部
13 第3取得部
14 第4取得部
15 第5取得部
16 生成部
17 判定部
18 第6取得部
19 出力制御部
21 撮像部
22 記憶部
23 通信部
24 表示部