特開 2024-128990 情報処理装置、プログラム及び測位方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024128990

(43)【公開日】2024-09-26

(54)【発明の名称】情報処理装置、プログラム及び測位方法

(51)【国際特許分類】

   G01S 19/51 20100101AFI20240918BHJP

   G01C 21/28 20060101ALI20240918BHJP

   H04N 23/60 20230101ALI20240918BHJP

【ＦＩ】

G01S19/51

G01C21/28

H04N5/232 290

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021122737

(22)【出願日】2021-07-27

(71)【出願人】

【識別番号】519450112

【氏名又は名称】Ｕｌｔｉｍａｔｒｕｓｔ株式会社

(74)【代理人】

【識別番号】100145713

【弁理士】

【氏名又は名称】加藤 竜太

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(72)【発明者】

【氏名】飯沼 大

【テーマコード（参考）】

2F129

5C122

5J062

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129BB04

2F129BB08

2F129BB33

2F129BB66

2F129EE02

2F129EE43

2F129EE78

2F129FF02

2F129FF20

2F129FF62

2F129GG17

2F129HH02

2F129HH04

2F129HH12

2F129HH18

2F129HH19

2F129HH20

5C122DA11

5C122EA01

5C122FA06

5C122FH04

5C122FH10

5C122FH14

5C122FK28

5C122FK37

5C122FK42

5C122GA34

5C122HA01

5C122HA88

5C122HA90

5C122HB01

5C122HB05

5J062BB01

5J062CC07

5J062FF01

5J062FF02

(57)【要約】

【課題】画像中の自動車等の移動体３の位置を正確に特定する。
【解決手段】情報処理装置１０は、撮像装置２の位置を示す第１位置測位情報と、撮像装置２の撮像範囲の中の対象地点の位置を示す第２位置測位情報と、に基づいて撮像装置と対象地点の位置関係を示す相対位置情報を取得する相対位置情報取得部１０６と、撮像装置によって撮像される画像中の対象位置に対応する画像位置に対して相対位置情報を関連づける画像位置設定部１０９と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像装置の位置を示す第１位置測位情報と、前記撮像装置の撮像範囲の中の対象地点の位置を示す第２位置測位情報と、に基づいて前記撮像装置と前記対象地点の位置関係を示す相対位置情報を取得する相対位置情報取得部と、
前記撮像装置によって撮像される画像中の前記対象地点に対応する画像位置に対して前記相対位置情報を関連づける画像位置設定部と、
を備える情報処理装置。

【請求項2】

前記相対位置情報には、前記撮像装置の位置から前記対象地点までの距離を示す距離情報と、前記撮像装置の撮像方向を示す角度情報と、が含まれる
請求項１に記載の情報処理装置。

【請求項3】

前記相対位置情報取得部は、異なる地点の複数の前記対象地点毎に前記相対位置情報を取得し、
前記画像位置設定部は、複数の前記対象地点のそれぞれに対応する前記画像位置に対して対応する前記相対位置情報を関連づける
請求項１又は請求項２に記載の情報処理装置。

【請求項4】

複数の第２の地点の各々に対応づけられた前記画像中の各前記相対位置情報が、他の第２の地点の前記相対位置情報に基づいて補正される
請求項３に記載の情報処理装置。

【請求項5】

前記撮像装置の姿勢或いは／且つ位置に関する撮像装置姿勢位置情報を取得する撮像装置姿勢位置情報取得部を備える
請求項１から４の何れか１項に記載の情報処理装置。

【請求項6】

前記撮像装置姿勢位置情報取得部が取得した前記撮像装置姿勢位置情報に基づいて前記撮像装置の姿勢或いは／且つ位置の変化を検出すると、当該変化に基づいて前記画像中の前記画像位置と前記相対位置情報関係を補正する画像位置補正部を備える
請求項１から５の何れか１項に記載の情報処理装置。

【請求項7】

前記第１位置測位情報より正確な撮像装置の絶対位置情報である参照位置情報を有し、前記参照位置情報と前記相対位置情報とに基づいて前記対象地点の現在位置情報を得る画像位置設定部を備える
請求項１から６の何れか１項に記載の情報処理装置。

【請求項8】

前記第２位置測位情報は、前記対象地点を通過する前記移動体の測位信号に基づく現在位置を示す測位情報である
請求項１から７の何れか１項に記載の情報処理装置。

【請求項9】

前記撮像装置によって撮像される前記画像中の前記対象地点を通過する移動体を画像認識により特定する移動体特定部を備える
請求項１から８の何れか１項に記載の情報処理装置。

【請求項10】

複数の第２位置測位情報と前記画像中の位置との対応付けから、前記画像中の任意の位置について位置情報を対応付ける補間補外処理部を備える
請求項３から９の何れか１項に記載の情報処理装置。

【請求項11】

撮像装置の位置を示す第１位置測位情報と、前記撮像装置の撮像範囲の中の対象地点の位置を示す第２位置測位情報と、に基づいて前記撮像装置と前記対象地点の位置関係を示す相対位置情報を取得する相対位置情報取得機能と、
前記撮像装置によって撮像される画像中の前記対象地点に対応する画像位置に対して前記相対位置情報を関連づける画像位置設定機能と、
を備えるプログラム。

【請求項12】

撮像装置の位置を示す第１位置測位情報と、前記撮像装置の撮像範囲の中の対象地点の位置を示す第２位置測位情報と、に基づいて前記撮像装置と前記対象地点の位置関係を示す相対位置情報を取得する相対位置情報取得ステップと、
前記撮像装置によって撮像される画像中の前記対象地点に対応する画像位置に対して前記相対位置情報を関連づける画像位置設定ステップと、
を備える測位方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、プログラム及び測位方法に関する。

【背景技術】

【0002】

従来、移動体を撮像した画像に基づいて、当該移動体の位置を特定する技術が知られている。この種の技術が記載されるものとして例えば特許文献１がある。

【0003】

特許文献１は、移動体を監視して追従する際の不可欠な要素となる外部の監視カメラを用いた移動体の測位装置に関するものである。特許文献１には、加速度センサ、ジャイロ、磁気センサ、気圧センサ等を持つ移動体と、監視カメラの画像から予測した移動体の足元から移動体の位置座標を出力することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－１８７５号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載されるような従来技術では、移動体の有するセンサに基づいて移動体の予測位置を補正できるものの、移動体の位置をより正確に特定するという点で改善の余地があった。

【0006】

本発明は、上述の課題を解決するためになされたものであり、その目的は画像中の自動車等の移動体の位置を正確に特定することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の一態様である情報処理装置は、撮像装置の位置を示す第１位置測位情報と、前記撮像装置の撮像範囲の中の対象地点の位置を示す第２位置測位情報と、に基づいて前記撮像装置と前記対象地点の位置関係を示す相対位置情報を取得する相対位置情報取得部と、撮像装置によって撮像される画像中の前記対象地点に対応する画像位置に対して相対位置情報を関連づける画像位置設定部と、を備える。

【発明の効果】

【0008】

本発明によれば、画像中の自動車等の移動体の位置を正確に特定することが出来る。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る撮像装置、移動体、サーバー、測位衛星を示す模式図である。

【図2】本発明の一実施形態に係る情報処理装置のハード構成を示すブロック図である。

【図3】本発明の一実施形態に係る撮像装置、サーバー、移動体の機能的構成を示すブロック図である。

【図4】本発明の一実施形態に係る撮像装置と移動体との位置関係を示す平面模式図である。

【図5】本発明の一実施形態に係る撮像装置の撮影した画像に位置情報を重ねた画像の例を示す図である。

【図6】本発明の一実施形態に係る撮像装置と移動体との位置関係を示す平面模式図であって、移動体の位置を複数測位した例を示す図である。

【図7】本発明の一実施形態にかかる撮像装置の撮影した画像に位置情報を重ねた画像の例を示す図であって、特に、移動体の位置を複数測位した例を示す図である。

【図8】本発明の一実施形態に係る撮像装置の撮影した画像に位置情報を表示するフローチャートの前半部である。

【図9】本発明の一実施形態に係る撮像装置の撮影した画像に位置情報を表示するフローチャートの後半部である。

【図10】本発明の一実施形態に係る撮像装置の撮影した画像の任意の座標における位置情報が得られる画像の例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について図面を参照しながら説明する。

【0011】

図１に示すように、本実施形態の情報処理装置１０は、撮像装置２と撮像装置２の周囲を移動する移動体３等との間で電子情報を交換する。情報処理装置１０は情報処理装置用通信装置１８を、撮像装置２は撮像装置用通信装置２８を、移動体３は移動体用通信装置３８をそれぞれ適宜有する。電子情報の交換は、主に通信回線１２１により行われる。この例では、通信回線１２１は無線通信である。なお、通信回線１２１が無線通信に限定される訳ではない。例えば、通信回線１２１が有線通信を利用していても良い。

【0012】

以下、位置情報として、参照位置情報、第１位置測位情報、第２位置測位情報が取得される。参照位置情報は、撮像装置２の位置を正確に測定した位置情報である。第１位置測位情報は、撮像装置２の位置を表すＧＮＳＳで測定した現在位置の位置情報であり、第１位置測位情報単独では、参照位置情報と比して位置精度は低い。第２位置測位情報は、対象地点である移動体３の位置を表すＧＮＳＳで測定した現在位置の位置情報であり、第２位置測位情報単独では、参照位置情報と比して位置精度は低い。これら第１位置測位情報と第２位置測位情報とは、時刻が同期している衛星の測位信号に基づいて取得される。ここで、時刻が同期とは、完全に時刻が一致していることのみを意味するものではない。第一位置情報の取得時刻と第２位置情報の取得時刻とを関連付けられる時刻である。より限定的には、第１位置情報の取得時刻におけるＧＮＳＳ電波受信状況と第２位置情報の取得時刻におけるＧＮＳＳ電波受信状況とを相殺し得る時刻の差に取得時刻の差が収まっていることが例として挙げられる。

【0013】

撮像装置２の参照位置情報は、参照位置用アンテナ２０が参照位置用衛星４１からの測位信号を受信することで得られる。図示されていない参照位置用衛星測位信号受信部４０１が参照位置用アンテナ２０からの電気信号を受信し、図１に図示されていない参照位置測位計算部４０２が参照位置情報を計算して導出する。撮像装置２の第１位置測位情報は、撮像装置２が具備する第１位置用アンテナ２１が第１位置用衛星４２からの測位信号を受信することで得られる。図１に図示されていない第１位置用衛星測位信号受信部４０３が第１位置用アンテナ２１からの電気信号を受信し、図示されていない第１位置測位計算部４０４が第１位置測位情報を計算して導出する。

【0014】

移動体３は、第２位置用アンテナ３１を有する。第２位置用アンテナ３１は、第２位置用衛星４３からの測位信号を受信する。図示されていない第２位置用衛星測位信号受信部４０５が第２位置用アンテナ３１からの電気信号を受信し、図示されていない第２位置測位計算部４０６が第２位置測位情報を計算して導出する。

【0015】

第１位置用衛星４２と、第２位置用衛星４３と、は位置座標を算出するためには４つの衛星が必要である。位置座標と時間が変数となることが理由である。図１においては、第１位置用衛星４２として５つの衛星が、第２位置用衛星４３として５つの衛星が適用され、そのうちの４つの衛星が共通である例が示されている。

【0016】

詳細は後述するが、情報処理装置１０は、参照位置情報と第１位置測位情報と第２位置測位情報とに基づいて対象地点である移動体３の位置を特定する。

【0017】

図２に示すように、情報処理装置１０は、プロセッサ１３と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５と、入出力部１１と、通信部１２と、入出力インターフェース１７とを有する。

【0018】

プロセッサ１３は、各種演算及び処理を行う。プロセッサ１３は、例えば、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＭＰＵ（ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＳｏＣ（ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）又はＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等である。或いは、プロセッサ１３は、これらのうちの複数を組み合わせたものである。又、プロセッサ１３は、これらにハードウェアアクセラレーター等を組み合わせたものあっても良い。

【0019】

プロセッサ１３、ＲＯＭ１４及びＲＡＭ１５は、バス１６を介して相互に接続されている。プロセッサ１３は、ＲＯＭ１４に記録されているプログラム又はＲＡＭ１５にロードされたプログラムに従って各種の処理を実行する。プログラムの一部又は全部は、プロセッサ１３の回路内に組み込まれていても良い。

【0020】

バス１６は入出力インターフェース１７にも接続される。入出力インターフェース１７には、入出力部１１と、通信部１２と、が接続されている。

【0021】

入出力部１１は、有線又は無線により電気的に入出力インターフェース１７に接続される。入出力部１１は例えばキーボード及びマウス等の入力部と画像を表示するディスプレイ及び音声を拡声するスピーカ等の出力部とによって構成される。なお、入出力部１１はタッチパネルのように表示機能と入力機能が一体的な構成であっても良い。

【0022】

通信部１２は、プロセッサ１３が、通信回線１２１を介して他の装置（例えば、撮像装置２、移動体３）との間で通信を行う装置である。

【0023】

ここで示したハードウェア構成は、あくまで一例であり、特にこの構成に限定されるわけではない。シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものをプロセッサとして機能的構成を実現するものとして採用しても良い。

【0024】

図３は本実施形態の情報処理装置１０、及び、情報処理装置１０が信号の交換をする撮像装置２、移動体３等の機能的構成を示す。移動体３においては、１つの移動体３が複数の地点に移動し各地点で測位される場合がある。一方、移動体３が複数あり、複数の各地点で測位される場合がある。これらの何れの場合についても、本明細書中では、移動体３と表記する。

【0025】

情報処理装置１０の機能的構成は、プロセッサ１３によって実現される。撮像装置２の機能的構成は、撮像装置２に搭載される電子部品やコンピュータ等の情報処理装置のプロセッサによって実現される。同様に、移動体３の機能的構成も、移動体３に搭載される電子部品コンピュータ等の情報処理装置によって実現される。

【0026】

情報処理装置１０は、ここでは撮像装置２及び移動体３とは別体であり、サーバー１に機能的構成の全てが含まれている。情報処理装置１０は、撮像装置２、移動体３にその一部或いは全部が組み込まれる構成も可能である。

【0027】

以下、図１から３を適宜参照して、これら機能的構成について説明する。参照位置用衛星測位信号受信部４０１は、撮像装置２の参照位置を測位するために参照位置用アンテナ２０を介して衛星信号を受信する。参照位置測位計算部４０２は、参照位置用衛星測位信号受信部４０１からの信号を受けて、撮像装置２の参照位置を計算する。ここで、参照位置用衛星４１としては、例えば、準天頂衛星のような正確な位置を提供する衛星が選ばれ、参照位置として正確な位置が提供される。この参照位置用衛星４１からの電波を受信する参照位置用アンテナ２０は一般的に比較的大きく、位置の測定がなされた後は、参照位置用アンテナ２０が取り外されることが好ましい。参照位置用アンテナ２０及び参照位置情報取得部１０３等を有する測定装置は撮像装置２に着脱可能に接続されていることが好ましい。これにより、参照位置が測位された後は、参照位置用アンテナ２０及び参照位置情報取得部１０３を撮像装置２から取り外すことができる。

【0028】

撮像装置２の参照位置の特定においては、準天頂衛星を使う例の他に、地図上に撮像装置２の設置位置をプロットし、地図から位置座標が特定されてもよい。

【0029】

撮像装置２の位置は、上記の参照位置用衛星４１を基とする測位に加えて、移動体３が具備し得る測位システムと同様の測位システムにより導出される。本明細書では撮像装置２の現在の位置は第１位置と称される。この移動体３が具備し得る測位システムと同様のシステムは、第１位置用アンテナ２１と第１位置用衛星測位信号受信部４０３と第１位置測位計算部４０４を有する。第１位置用衛星測位信号受信部４０３は第１位置用アンテナ２１により測位信号を受信し、第１位置測位計算部４０４が撮像装置２の第１位置を計算する。この第１位置用衛星測位信号受信部４０３と第１位置測位計算部４０４とは撮像装置２に備えられてもよい。

【0030】

撮像装置２の参照位置は、第１位置用アンテナ２１と第１位置用衛星測位信号受信部４０３と第１位置測位計算部４０４を用いて、長時間測位あるいはスタティック測位により求められてもよい。

【0031】

撮像装置２は撮像部２０１を有し、例えば駐車場内を移動する移動体３等を撮影する。撮像装置２は姿勢制御装置２２を有する。姿勢制御部２０２は、撮像装置２の撮影方向を姿勢制御装置２２を介して制御する。撮像装置２は、姿勢位置情報検出部２０３を有し、姿勢制御部２０２により制御されている撮像装置２の撮影方向を検出し、検出結果は情報処理装置１０の有する画像情報管理部１０１に送られる。

【0032】

情報処理装置１０は、画像情報管理部１０１、情報記録部１０２、参照位置情報取得部１０３、第１位置測位情報取得部１０４、第２位置測位情報取得部１０５、相対位置情報取得部１０６を有する。

【0033】

説明の都合上、先に移動体３の有する機能的構成について説明する。移動体３は、例えば駐車場を移動する自動車である。移動体３の現在の位置は、本明細書中では、第２位置と称される。移動体３は、図１に示すように、第２位置用アンテナ３１を有し、更に、図３に示すように、第２位置用衛星測位信号受信部４０５と第２位置測位計算部４０６とを有する。移動体３は複数が用いられて各々の位置が測位される場合と、１つの移動体３が用いられて、移動体３が移動し、移動した各位置が測位される場合がある。本明細書では特に断らない限り、これらは区別されず、移動体３と称される。

【0034】

第２位置用アンテナ３１により第２位置用衛星測位信号受信部４０５が測位信号を受信し、第２位置測位計算部４０６が第２位置を計算する。

【0035】

第１位置用アンテナ２１を介して第１位置測位計算部４０４が測位する第１位置と、第２位置用アンテナ３１を介して第２位置測位計算部４０６が測位する第２位置とは現在位置を示す測位情報である。

【0036】

情報処理装置１０の各機能的構成の機能について詳細を図３により説明する。信号の流れに沿って説明するため、説明する機能的構成の図３中の位置は左右上下に前後する。

【0037】

参照位置情報取得部１０３は、参照位置測位計算部４０２が計算した参照位置を取得する。第１位置測位情報取得部１０４は、第１位置測位計算部４０４が計算して導出した第１位置測位情報を取得する。第２位置測位情報取得部１０５は、移動体３の有する第２位置測位計算部４０６の導出した第２位置測位情報を取得する。

【0038】

相対位置情報取得部１０６は、第１位置測位情報取得部１０４と第２位置測位情報取得部１０５とからの情報を基に、撮像装置２の第１位置と移動体３の第２位置との相対位置を導出する。相対位置情報には、例えば、距離、方向、高さ等の情報が含まれる。

【0039】

ここで、相対位置の導出においては、第１位置用衛星測位信号受信部４０３と第２位置用衛星測位信号受信部４０５とは、同一の衛星を用いて測定することが好ましい。衛星からの電波信号がそれぞれの受信部に到達する時間差を測定して、２転換の相対的な位置関係を求める。各観測点で同じ衛星の電波を受信しており、衛星から放出された電波が同様の気象条件の中を通過してくるため、２点の観測値の差を取ることにより、観測値に含まれる衛星の位置誤差や対流圏及び電離層での遅延量が消去される。これにより正確な相対位置が求められる。

【0040】

衛星からの測位信号に基づいて、第１位置測位情報と第２位置測位情報とが導出される。そしてこれらの位置の差分或いは差分を示す距離が相対位置情報として取得される。

【0041】

画像情報管理部１０１は、参照位置情報取得部１０３から参照位置を得、相対位置情報取得部１０６から相対位置を得る。そして、参照位置に対して相対位置を加えることにより移動体３の正確な位置あるいは絶対位置座標が導出される。

【0042】

画像情報管理部１０１は、参照位置情報取得部１０３から参照位置を、撮像装置２の有する撮像部２０１から画像を、撮像装置２の有する姿勢位置情報検出部２０３から撮像装置２の姿勢を、相対位置情報取得部１０６から移動体３の相対位置情報をそれぞれ受け取る。

【0043】

画像情報管理部１０１は、撮像装置姿勢位置情報取得部１０７、画像位置補正部１０８、画像位置設定部１０９、補間補外処理部１１０、移動体特定部１１１を有する。

【0044】

撮像装置姿勢位置情報取得部１０７は姿勢位置情報検出部２０３から撮像装置２の姿勢情報を受け取る。画像位置補正部１０８は、撮像部２０１から得られた撮像画像の画像位置を補正する。例えば、撮像装置２が９０°方向を向いている時に撮影された画像と、撮像装置２が４５°方向を向いている時に撮影された画像とを補正してつなぎ合わせる。そして、撮像装置自体が有する画角よりも広い画角の画像を実現する。

【0045】

姿勢位置情報検出部２０３は、例えば、撮像装置２が敷設されている三脚の三軸サーボモータの出力を検出する。但し、撮像装置２の姿勢の推定は、加速度センサ、地磁気センサなど、撮像装置２に直接固定されたものに限られない。撮像装置を俯瞰するカメラ画像、あるいは撮像装置に外付けした姿勢推定デバイスから、撮像装置２の姿勢を推定してもよい。撮像装置の姿勢の変化を検知した際は、その変化量に応じて相対位置情報を更新する。

【0046】

撮像装置姿勢位置情報取得部１０７は、参照位置情報取得部１０３から位置情報及び姿勢情報を得る。撮像装置２の位置或いは且つ姿勢が変えられている場合が想定される。これらの変化が姿勢位置情報検出器２３により検出されると、この変化に基づいて、画像位置補正部１０８は、画像中の位置と相対位置情報との関係を補正する。

【0047】

画像位置設定部１０９は、画像位置補正部１０８による画像中の位置と相対位置情報との関係の補正を取り入れ、撮像装置２によって撮像される画像中の画像位置に対して、相対位置情報を関連付ける。

【0048】

撮像装置２によって撮像される撮像画像２４０に参照位置情報が付与される、或いは、移動体３を含む画像に移動体位置情報が付与される。そして、この情報は情報記録部１０２に記録される。

【0049】

補間補外処理部１１０は、複数の第２位置に対応して既に導出されている撮像画像２４０中の座標と相対位置情報とを基に、撮像画像２４０中の任意の座標に対応する相対位置情報を補間および補外により求める。

【0050】

移動体特定部１１１は、撮像画像２４０中の移動体３を画像認識により特定する。そして、移動体特定部１１１は、特定した移動体３の位置に対応する画像上の座標を導出する。

【0051】

次に、撮像装置２によって撮像される画像中の画像位置に対して、相対位置情報を関連付ける処理の例について図４及び図５を参照して説明する。図４は、駐車場を移動する移動体３と撮像装置２との位置関係を示す模式平面図である。図５は撮像装置２の撮影する撮像画像２４０の例である。

【0052】

図５においては、撮像装置２の装置位置情報とし、距離と角度と高さとが画面に付与されている。図５の例では、撮像装置２からの距離が１３．８ｍ、角度が１２３°、高さが１．３ｍである。

【0053】

移動体特定部１１１が、撮像画像２４０中の移動体３を画像認識技術により認識し、その画像２４０上の座標を特定する。第１位置測位情報取得部１０４が取得する第１位置測位情報と第２位置測位情報取得部１０５が取得する第２位置測位情報とに基づいて、相対位置情報取得部１０６が移動体３の撮像時における相対位置情報を取得する。そして、画像２４０上の移動体３の位置座標と装置位置情報とが画像位置設定部１０９により関連付けられる。

【0054】

上記処理は、画像中の各地点で繰り返される。図６及び図７を参照して説明する。図６は平面図を、図７は画面表示例を示す。例えば、画像ファイルと位置情報および姿勢情報等のデータが含まれる情報ファイルとは別ファイルとして保存され、画像に情報ファイルに基づく情報を重ねるか否かは再生時に任意に選択される。

【0055】

移動体３が駐車場にて移動した地点で第２位置測位情報が第２位置測位情報取得部１０５により取得される。また、図６に示すように、移動体３において、駐車場の中で複数の地点において第３位置測位情報が取得される。そして、撮像装置２との間における相対位置情報が図６では、５点において相対位置情報が、相対位置情報取得部１０６により取得される。図６においては、距離と角度と高さの組み合わせを（距離、角度、高さ）として、（１３．８ｍ、１２．３°、１．３ｍ）（１１．３ｍ、５７°、２．２ｍ）等の相対位置情報が得られている。

【0056】

以上、一連の処理により画像中の各地点に撮像装置３からの相対位置情報が関連付けられる。以降の処理では、撮像装置３が撮像した画像２４０中の被写体の位置を各地点の相対位置情報に基づいて算出することができる。補間補外処理部１１０が、複数の第２位置に対応して既に導出されている撮像画像２４０中の座標と相対位置情報とを基に、撮像画像２４０中の任意の座標に対応する相対位置情報を補間および補外により求める。即ち、移動体から位置情報を取得しなくても画像だけで正確に画像中の対象地点にある移動体の位置を画像位置設定部１０９により導出することができる。

【0057】

ところで、移動体３の相対位置情報を複数の点について取得した場合、異常値が混在することがある。これは、装置への信号ノイズが入ること、或いは、測位用電波の受信状態が悪化したような場合が想定される。このような異常値は、他の相対位置情報に基づいて補正される。例えば、その異常値を伴う地点を削除する、平均値を採用することが有効である。

【0058】

図８および図９は機能的構成による処理の流れを示すフローチャートである。図８はフローチャートの前半を、図９はフローチャートの後半を示す。つながりを示すために丸にＡで示すダミーのステップが記載されている。処理がスタートすると、情報処理装置１０が参照位置情報を取得する（ステップＳ５０１）。次に、撮像装置２は姿勢情報を取得する（ステップＳ５０２）。撮像装置２の姿勢が変化している場合（ステップＳ５０３：Ｙｅｓ）には、ステップＳ５０１に戻る。撮像装置２の姿勢が変化していない場合（ステップＳ５０３：Ｎｏ）には、撮像装置２が画像情報を取得する（ステップＳ５０４）。次に、撮像装置２は第１位置測位情報を取得する（ステップＳ５０５）。移動体３が第２位置測位情報を取得している場合は、移動体３の相対位置情報を取得する（ステップＳ５０７）。移動体３が第２位置測位情報を取得していない場合（ステップＳ５０６：Ｎｏ）には、画像中の移動体の座標を算出する。そして、移動体３の相対位置情報が取得される（ステップＳ５０７）。移動体３の絶対位置座標が取得される場合（ステップＳ５０９；Ｙｅｓ）には、撮像装置２の参照位置情報に移動体３の相対位置情報が加味され、移動体の絶対位置情報が生成され（ステップＳ５１１）、画像情報に移動体３の位置情報が関連付けられる（ステップＳ５１０）。絶対位置情報としては、例えば、緯度、経度が挙げられる。移動体３の絶対位置座標が取得されない場合（ステップＳ５０９：Ｎｏ）には、画像情報に移動体３の位置情報が関連付けられる。最後に得られた情報は情報記録部１０２に記録され、処理は終了する（ＥＮＤ）。

【0059】

図８においては、撮像装置２の参照位置情報が第１位置測位情報に先んじて取得されている。これに限られることはなく、順番を入れ替えることも可能である。更には、参照位置情報は、撮像装置２と移動体３との相対位置情報２３０が取得された後或いは予め取得することも可能である。

【0060】

ここまでの説明においては、情報処理装置１０が独立してサーバー１に組み込まれている。これに限られる訳ではなく、情報処理装置１０は、撮像装置２或いは移動体３にその一部或いは全部が組み込まれることが可能である。例えば、情報処理装置１０の全部が撮像装置２に組み込まれた場合には、ハード的には撮像装置２と移動体３とが、ＷｉＦｉを一例とする通信回線１２１により接続されていれば良いという利点が生まれる。画像位置補正部１０８、画像位置設定部１０９、補間補外処理部１１０、移動体特定部１１１、相対位置情報取得部１０６等に代表される演算を伴う構成部をサーバー１に設け、その他を撮像装置２に設ける構成も可能である。これにより、中央演算装置をサーバー１にのみ設けることが出来、放熱対策、大容量無停電電源等を撮像装置２に備える必要がなくなる。

【0061】

（変形例１）
図７における画像２４０上の各地点の座標と、撮像装置２から図６および図７に示された各地点までの距離、角度、高さという相対位置情報に基づいて、補間及び補外の処理が行なわれる。画像２４０上の任意の点について、撮像装置２からの距離と角度とが求められる。図１０は補間補外の結果を基に描画された画像２４０上の等距離線と方位とを示す。高さについては省略しているが同様に求められる完全に平な土地についての測位であれば楕円による等距離線となるが、実際には土地には凹凸があるので、等距離線は楕円とは限らない。

【0062】

これにより、移動体３が画像２４０上に写っている場合、画像２４０上の位置あるいは座標を同定することにより、移動体３と撮像装置２との相対位置情報が移動体特定部１１１により求められる。移動体３は必ずしも第２位置測位情報を有する必要はない。まず、移動体３が移動体特定部１１により画像２４０中で認識される。移動体３の輪郭が移動体特定部１１１により認識され、地面との接触点が同定される。接触点が移動体３の画像２４０上の位置あるいは座標として特定される。そして画像２４０上の座標より、上記した補間補外を通して、移動体３の撮像装置２からの距離、角度、高さが移動体特定部１１１により導出される。

【0063】

（変形例２）
情報記録部１０２は、相対位置情報取得部１０６が取得した相対情報、即ち撮像装置２から移動体３までの距離角度高さ、だけではなく、画像情報、および、画像から得られた情報（奥行、位置、高さ）を記録する。通信負荷を減らすため、被写体の位置情報だけでなく、背景などに写る道路、建物などの位置情報を含む。

【0064】

（変形例３）
相対位置情報のみを求める場合は、参照位置情報を用いなくともよい。参照位置情報を使用しない場合は、参照位置情報取得部１０３を省略することもできる。このように、本実施形態の機能的構成は適宜省略することもできるし、別の機能的構成を追加することができる。

【0065】

（変形例４）
以上の実施の形態の説明においては、移動体は自動車であったが、車両、船舶、自転車、飛行体、人物、動物、携帯端末等であってもよい。ここまで、移動体の位置の測位として測位衛星の測位用電波の受信機能の利用を例に挙げたが、このような測位機器に限定されることはなく、俯瞰カメラあるいは測距デバイス等により位置が推定される構成であってもよい。また、走行履歴から予測された位置情報、ビーコンによる測位、ＬｉＤＡＲなどの測距デバイス、撮像装置により取得された画像の解析結果などによる位置情報であってもよい。移動体自体が位置情報を取得する手段を有さなくてもよい。

【0066】

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワーク及び記録媒体からインストールされる。このようなプログラムを含む記録媒体は、借り手にプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で借り手に提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。又、装置本体に予め組み込まれた状態で借り手に提供される記録媒体は、例えば、プログラムが記録されているプログラムメモリ及びハードディスク等で構成される。

【0067】

以上説明した実施形態に係る情報処理装置１０、融資支援プログラム及び融資支援方法によれば以下のような効果が奏される。

【0068】

情報処理装置１０は、撮像装置２の位置を示す第１位置測位情報と、撮像装置２の撮像範囲の中の対象地点の位置を示す第２位置測位情報と、に基づいて撮像装置と対象地点の位置関係を示す相対位置情報を取得する相対位置情報取得部と、撮像装置によって撮像される画像中の対象位置に対応する画像位置に対して相対位置情報を関連づける画像位置設定部と、を備える。

【0069】

自動車等の移動体３の位置を画像位置上に正確に特定することが出来る。

【0070】

情報処理装置１０において、相対位置情報には、撮像装置２の位置から対象地点までの距離を示す距離情報と、撮像装置の撮像方向を示す角度情報と、が含まれる。

【0071】

監視カメラのような撮像装置２が設置されている状況で、自動車等の移動体３の位置を撮像装置２からの距離情報と方向を示す角度情報とを利用して正確に特定できる。

【0072】

情報処理装置１０の有する相対位置情報取得部１０６は、異なる地点の複数の対象地点毎に相対位置情報を取得し、画像位置設定部１０９は、複数の対象地点のそれぞれに対応する画像位置に対して対応する相対位置情報を関連づける。

【0073】

複数の対象地点の相対位置情報が画像上で設定されることにより、画像における情報量が増える。

【0074】

情報処理装置１０において、複数の第２の地点の各々に対応づけられた画像中の各相対位置情報が、他の第２の地点の相対位置情報に基づいて補正される。

【0075】

画像中の各相対位置情報としてより正確な情報が得られる。

【0076】

情報処理装置１０は、撮像装置２の姿勢或いは／且つ位置に関する撮像装置姿勢位置情報を取得する撮像装置姿勢位置情報取得部１０７を備える。

【0077】

撮像装置２の姿勢或いは／且つ位置を変化させてより画角の広い画像に対しての位置情報を取得することが出来る。

【0078】

情報処理装置は、撮像装置姿勢位置情報取得部１０７が取得した撮像装置姿勢位置情報に基づいて撮像装置２の姿勢或いは／且つ位置の変化を検出すると、当該変化に基づいて画像中の画像位置と相対位置情報関係を補正する画像位置補正部１０８を備える。

【0079】

画像中の相対位置情報の正確性が向上する。

【0080】

情報処理装置は、第１位置測位情報より正確な撮像装置の絶対位置情報である参照位置情報を有し、前記参照位置情報と前記相対位置情報とに基づいて前記対象地点の現在位置情報を得る画像位置設定部１０９を備える。

【0081】

参照位置情報により撮像装置の正確な絶対位置がもたらされる。測位信号に基づく撮像装置２の測位情報と対象地点の移動体３の測位情報との間で誤差が相殺される。これにより対象地点の移動体３と撮像装置との間の正確な相対位置情報が得られる。参照位置情報と合わせて、対象地点である移動体３の正確な現在位置情報が得られる。

【0082】

情報処理装置１０において、第２位置測位情報は、対象地点を通過する移動体３の測位信号に基づく現在位置を示す測位情報である。

【0083】

移動体３と第１の地点との間の正確な相対位置情報が得られる。参照位置情報と合わせて、移動体３の正確な位置情報が得られる。

【0084】

情報処理装置１０は、撮像装置によって撮像される画像中の対象位置を通過する移動体３を画像認識により特定する移動体特定部を備える。

【0085】

移動体３が測位情報を取得するアンテナやシステムを有さない場合においても、移動体３の位置を同定することが出来る。そして、画像認識により移動体３を特定することが出来る。

【0086】

情報処理装置１０は、複数の第２位置測位情報と画像中の位置との対応付けから、画像中の任意の位置について位置情報を対応付ける補間補外処理部を備える。

【0087】

画像中の任意の位置の相対位置情報が得られる。

【0088】

プログラムは、撮像装置の位置を示す第１位置測位情報と、撮像装置の撮像範囲の中の対象地点の位置を示す第２位置測位情報と、に基づいて撮像装置と対象地点の位置関係を示す相対位置情報を取得する相対位置情報取得機能と、撮像装置によって撮像される画像中の対象位置に対応する画像位置に対して相対位置情報を関連づける画像位置設定機能と、を備える。

【0089】

自動車等の移動体３の位置を画像位置上に正確に特定することが出来る。

【0090】

位置特定方法は、撮像装置の位置を示す第１位置測位情報と、撮像装置の撮像範囲の中の対象地点の位置を示す第２位置測位情報と、に基づいて撮像装置と対象地点の位置関係を示す相対位置情報を取得する相対位置情報取得ステップと、撮像装置によって撮像される画像中の対象位置に対応する画像位置に対して相対位置情報を関連づける画像位置設定ステップと、を備える。

【0091】

自動車等の移動体３の位置を画像位置上に正確に特定することが出来る。

【0092】

以上、本発明の実施形態について説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。例えば、上述の各実施形態の一部の機能的構成を省略したり、別の機能的構成を組み合わせたりすることもできる。

【符号の説明】

【0093】

１ サーバー、２ 撮像装置、３ 移動体、１０ 情報処理装置、１０１ 画像情報管理部、１０３ 参照位置情報取得部、１０４ 第１位置測位情報取得部、１０５ 第２位置測位情報取得部、１０６ 相対位置情報取得部、１０７ 撮像装置姿勢位置情報取得部、１０８ 画像位置補正部、１０９ 画像位置設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】