(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024022921
(43)【公開日】2024-02-21
(54)【発明の名称】位置情報記録装置、位置情報記録方法、プログラム及び記録媒体
(51)【国際特許分類】
G08G 1/00 20060101AFI20240214BHJP
【FI】
G08G1/00 D
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022126373
(22)【出願日】2022-08-08
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVASCRIPT
(71)【出願人】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(74)【代理人】
【識別番号】100227019
【弁理士】
【氏名又は名称】安 修央
(72)【発明者】
【氏名】石田 州裕
(72)【発明者】
【氏名】河田 慶二
(72)【発明者】
【氏名】山上 辰典
(72)【発明者】
【氏名】片山 紘希
(72)【発明者】
【氏名】山地 智
(72)【発明者】
【氏名】足立 浩基
(72)【発明者】
【氏名】外村 彰英
(72)【発明者】
【氏名】高橋 昌也
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181AA21
5H181AA25
5H181AA26
5H181AA28
5H181BB04
5H181BB05
5H181BB12
5H181BB13
5H181CC04
5H181CC17
5H181CC27
5H181DD10
5H181FF04
5H181FF10
5H181FF13
5H181FF22
5H181FF27
5H181FF33
(57)【要約】 (修正有)
【課題】移動体が撮像した画像を用いて対象物の情報を記録可能な位置情報記録装置を提供する。
【解決手段】本発明の位置情報記録装置は、画像情報取得部、対象物検出部、距離推定部、座標推定部、及び位置情報記録部を含み、前記画像情報取得部は、移動体が撮像した画像情報を取得し、前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、前記対象物検出部は、前記画像に含まれる対象物を検出し、前記距離推定部は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、前記座標推定部は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、前記位置情報記録部は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像情報取得部、対象物検出部、距離推定部、座標推定部、及び位置情報記録部を含み、
前記画像情報取得部は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出部は、前記画像に含まれる対象物を検出し、
前記距離推定部は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定部は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録部は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録する、位置情報記録装置。
【請求項2】
前記対象物検出部は、さらに、前記画像から検出した対象物の付加情報を検出し、
前記位置情報記録部は、さらに、前記付加情報を紐づけて記録する、請求項1記載の位置情報記録装置。
【請求項3】
移動情報推定部を含み、
前記移動情報推定部は、検出した対象物と、記録済みの対象物とを照合し、検出した対象物が記録済みの対象物である場合、前記座標及び前記撮像時間情報に基づいて、前記対象物の移動情報を推定し、
前記位置情報記録部は、さらに、前記対象物の移動情報を紐づけて記録する、請求項1又は2記載の位置情報記録装置。
【請求項4】
画像変換部を含み、
前記画像が、全天球画像であり、
前記画像変換部は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、
前記対象物検出部は、前記第1展開画像に含まれる対象物を検出する、請求項1又は2記載の位置情報記録装置。
【請求項5】
前記画像変換部は、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換し、
前記対象物検出部は、前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれる対象物を検出する、請求項4記載の位置情報記録装置。
【請求項6】
画像情報取得工程、対象物検出工程、距離推定工程、座標推定工程、及び位置情報記録工程を含み、
前記画像情報取得工程は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出工程は、前記画像に含まれる対象物を検出し、
前記距離推定工程は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定工程は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録工程は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録する、位置情報記録方法。
【請求項7】
前記対象物検出工程は、さらに、前記画像から検出した対象物の付加情報を検出し、
前記位置情報記録工程は、さらに、前記付加情報を紐づけて記録する、請求項6記載の位置情報記録方法。
【請求項8】
移動情報推定工程を含み、
前記移動情報推定工程は、検出した対象物と、記録済みの対象物とを照合し、検出した対象物が記録済みの対象物である場合、前記座標及び前記撮像時間情報に基づいて、前記対象物の移動情報を推定し、
前記位置情報記録工程は、さらに、前記対象物の移動情報を紐づけて記録する、請求項6又は7記載の位置情報記録方法。
【請求項9】
画像情報取得手順、対象物検出手順、距離推定手順、座標推定手順、及び位置情報記録手順を含み、
前記画像情報取得手順は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出手順は、前記画像に含まれる対象物を検出し、
前記距離推定手順は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定手順は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録手順は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録し、
前記各手順をコンピュータに実行させるためのプログラム。
【請求項10】
画像情報取得手順、対象物検出手順、距離推定手順、座標推定手順、及び位置情報記録手順を含み、
前記画像情報取得手順は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出手順は、前記画像に含まれる対象物を検出し、
前記距離推定手順は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定手順は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録手順は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置情報記録装置、位置情報記録方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
高速道路等に設置されたカメラから車両を撮像し、画像処理によりナンバープレート等の情報を収集する装置が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術では、カメラが固定されているため、カメラの設置された箇所を対象物(例えば、車両)が通過しなければ情報を収集できないという課題がある。
【0005】
そこで本発明は、移動体が撮像した画像を用いて対象物の情報を記録可能な位置情報記録装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の位置情報記録装置は、
画像情報取得部、対象物検出部、距離推定部、座標推定部、及び位置情報記録部を含み、
前記画像情報取得部は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出部は、前記画像に含まれる対象物を検出し、
前記距離推定部は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定部は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録部は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録する。
【0007】
本発明の位置情報記録方法は、
画像情報取得工程、対象物検出工程、距離推定工程、座標推定工程、及び位置情報記録工程を含み、
前記画像情報取得工程は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出工程は、前記画像に含まれる対象物を検出し、
前記距離推定工程は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定工程は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録工程は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録する。
【0008】
本発明のプログラムは、画像情報取得手順、対象物検出手順、距離推定手順、座標推定手順、及び位置情報記録手順を含み、
前記画像情報取得手順は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出手順は、前記画像に含まれる対象物を検出し、
前記距離推定手順は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定手順は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録手順は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録し、
前記各手順をコンピュータに実行させるためのプログラムである。
【0009】
本発明の記録媒体は、画像情報取得手順、対象物検出手順、距離推定手順、座標推定手順、及び位置情報記録手順を含み、
前記画像情報取得手順は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出手順は、前記画像に含まれる対象物を検出し、
前記距離推定手順は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定手順は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録手順は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0010】
本発明によれば、移動体が撮像した画像を用いて対象物の情報の記録が可能となる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、実施形態1の位置情報記録装置の一例の構成を示すブロック図である。
【
図2】
図2は、実施形態1の位置情報記録装置のハードウェア構成の一例を示すブロック図である。
【
図3】
図3は、実施形態1の位置情報記録装置における処理の一例を示すフローチャートである。
【
図4】
図4は、実施形態1の位置情報記録装置の利用の例を説明する模式図である。
【
図5】
図5は、実施形態2の位置情報記録装置の一例の構成を示すブロック図である。
【
図6】
図6は、実施形態3の位置情報記録装置の一例の構成を示すブロック図である。
【
図7】
図7は、実施形態3の位置情報記録装置が含む画像補正部による処理を説明するための模式図である。
【発明を実施するための形態】
【0012】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0013】
[実施形態1]
本実施形態の位置情報記録装置について、
図1を用いて説明する。
図1は、本実施形態の位置情報記録装置10の一例の構成を示すブロック図である。
図1に示すように、位置情報記録装置10(以下、「本装置10」ともいう)は、画像情報取得部11、対象物検出部12、距離推定部13、座標推定部14、及び、位置情報記録部15を含む。また、図示していないが、本装置10は、例えば、記憶部を含んでもよい。
【0014】
本装置10は、例えば、前記各部を含む1つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置10は、通信回線網を介して、後述する外部装置と接続可能である。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、WWW(World Wide Web)、電話回線、LAN(Local Area Network)、SAN(Storage Area Network)、DTN(Delay Tolerant Networking)、LPWA(Low Power Wide Area)、L5G(ローカル5G)、等があげられる。無線通信としては、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ローカル5G、LPWA等が挙げられる。前記無線通信としては、各装置が直接通信する形態(Ad Hoc通信)、インフラストラクチャ(infrastructure通信)、アクセスポイントを介した間接通信等であってもよい。本装置10は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置10は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ(PC、例えば、デスクトップ型、ノート型)、スマートフォン、タブレット端末等であってもよい。さらに、本装置10は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。また、本装置10は、例えば、後述する移動体に搭載された装置(例えば、車載装置)であってもよいし、前記移動体又は移動体の車載装置と通信可能な装置であってもよい。
【0015】
図2に、本装置10のハードウェア構成のブロック図を例示する。本装置10は、例えば、中央処理装置(CPU、GPU等)101、メモリ102、バス103、記憶装置104、入力装置105、出力装置106、通信デバイス107等を含む。本装置10の各部は、それぞれのインタフェース(I/F)により、バス103を介して相互に接続されている。
【0016】
中央処理装置101は、コントローラ(システムコントローラ、I/Oコントローラ等)等により、他の構成と連携動作し、本装置10の全体の制御を担う。本装置10において、中央処理装置101により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置101が、位置情報記録装置10(以下、「本装置10」ともいう)は、画像情報取得部11、対象物検出部12、距離推定部13、座標推定部14、及び、位置情報記録部15として機能する。本装置10は、演算装置として、CPU、GPU(Graphics Processing Unit)、APU(Accelerated Processing Unit)等の他の演算装置を備えてもよいし、これらの組合せを備えてもよい。
【0017】
バス103は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置(外部データベース等)、プリンタ、外部入力装置、外部表示装置、スピーカ等の音声出力装置、カメラ等の外部撮像装置、および加速度センサ、地磁気センサ、方向センサ等の各種センサ等があげられる。本装置1は、例えば、バス103に接続された通信デバイス107により、外部ネットワーク(前記通信回線網)に接続でき、外部ネットワークを介して、ユーザの端末等の他の装置と接続することもできる。
【0018】
メモリ102は、例えば、メインメモリ(主記憶装置)が挙げられる。中央処理装置101が処理を行う際には、例えば、後述する記憶装置104に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ102が読み込み、中央処理装置101は、メモリ102からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。また、メモリ102は、例えば、ROM(読み出し専用メモリ)であってもよい。
【0019】
記憶装置104は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置104には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置104は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、CD-ROM、CD-R、CD-RW、MO、DVD、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置104は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ(HDD)、及びソリッドステートドライブ(SSD)であってもよい。本装置10が前記記憶部を含む場合、例えば、記憶装置104は、前記記憶部として機能する。
【0020】
本装置10において、メモリ102及び記憶装置104は、ログ情報、外部データベース(図示せず)や外部の装置から取得した情報、本装置10によって生成した情報、本装置10が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。この場合、メモリ102及び記憶装置104は、例えば、前述の本装置のユーザの情報等を記憶していてもよい。なお、少なくとも一部の情報は、例えば、メモリ102及び記憶装置104以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0021】
本装置10は、例えば、さらに、入力装置105、出力装置106を備える。入力装置105は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス;キーボード;カメラ、スキャナ等の撮像手段;ICカードリーダ、磁気カードリーダ等のカードリーダ;マイク等の音声入力手段;等があげられる。出力装置106は、例えば、LEDディスプレイ、液晶ディスプレイ等の表示装置;スピーカ等の音声出力装置;プリンタ;等があげられる。本実施形態において、入力装置105と出力装置106とは、別個に構成されているが、入力装置105と出力装置106とは、タッチパネルディスプレイのように、一体として構成されてもよい。
【0022】
つぎに、本実施形態の位置情報記録方法の一例を、
図3のフローチャートに基づき説明する。本実施形態の位置情報記録方法は、例えば、
図1または
図2に示す位置情報記録装置10を用いて、次のように実施できる。なお、本実施形態の位置情報記録方法は、
図1または
図2の位置情報記録装置10の使用には限定されない。
【0023】
まず、画像情報取得部11により、移動体が撮像した画像情報を取得する(S1、画像情報取得工程)。前記移動体は、例えば、移動しながら画像を撮像可能であれば特に制限されず、例えば、車両、船舶、列車、ドローン等の撮像装置を搭載した乗り物でもよいし、撮像装置を持って移動する人物であってもよい。なお、前記移動体は、例えば、移動可能であればよく、画像撮像時において、移動体は、移動していてもよいし、停止していてもよい。前記撮像装置は、例えば、全天球カメラ(360°カメラ、VRカメラ、全方位カメラ等ともいう)、車載カメラ、カメラ、ビデオカメラ、カメラ機能を有するスマートフォン又はタブレット端末等があげられる。前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含む。前記画像は、例えば、対象物を含む画像であってもよいし、含まない画像であってもよい。前記画像は、例えば、静止画でもよいし、動画でもよく、動画から切り出した静止画でもよい。前記画像は、例えば、1つでもよいし、2以上の複数であってもよく、後者の場合、例えば、移動体を基準に、移動体の前方(移動体の進行方向)を撮像した画像と、左右方向(移動体の進行方向に直角な方向)を撮像した画像と、移動体の後方(移動体の進行方向とは逆方向)を撮像した画像とを含むことが好ましい。また、前記画像は、例えば、全天球カメラで撮像した全天球画像であってもよい。なお、全天球画像を用いる場合の処理については、実施形態3で後述する。前記画像に含まれる対象物は、例えば、1つでもよいし、2以上の複数でもよい。前記撮像位置情報は、例えば、前記画像を撮像した際の前記移動体の位置を示す情報であり、GPS(Global Positioning System)情報等があげられる。前記撮像方向情報は、例えば、前記撮像装置の方向センサ又は地磁気センサの情報があげられる。前記撮像時間情報は、前記画像を撮像した日時の情報である。前記撮像位置情報、前記撮像方向情報、及び前記撮像日時情報の少なくとも一つは、例えば、前記画像にメタデータとして付与されている情報であってもよいし、前記画像とは別途取得した情報であってもよい。画像情報取得部11は、例えば、連続的に前記画像情報を取得してもよいし、断続的に前記画像情報を取得してもよく、後者の場合、所定時間経過毎に画像を取得してもよいし、任意のタイミングで画像を取得してもよい。前記所定時間は、特に制限されず、任意の間隔が設定でき、具体例としては、1秒毎、2秒毎、3秒毎、5秒毎、10秒毎等があげられる。画像情報取得部11は、例えば、前記移動体又は移動体が備える撮像装置から直接前記画像情報を取得してもよいし、前記移動体又は移動体が備える撮像装置が撮像した画像情報を記録した外部のデータベース又はサーバから前記画像情報を取得してもよい。
【0024】
つぎに、対象物検出部12により、前記画像に含まれる対象物を検出する(S2、対象物検出工程)。前記対象物は、例えば、位置情報を記録したい任意のモノがあげられ、ヒトなどの生物でもよいし、非生物の物体でもよい。前記対象物の具体例としては、ヒト、ヒト以外の動物、車両等があげられる。前記対象物が車両である場合、例えば、車両本体でもよいし、車両のナンバープレート等の識別情報であってもよい。前記対象物がヒトである場合、例えば、ヒトの全身でもよいし、一部(例えば、顔)でもよい。対象物検出部12による対象物の検出は、検出する対象物の種類に応じて適切な画像解析手法により実行できる。前記画像解析手法は、例えば、機械学習を利用した方法でもよいし、機械学習を利用しない方法でもよい。対象物検出部12は、例えば、Open CVを利用して前記対象物を検出できる。具体例として、対象物検出部12は、例えば、Open CV等のあらかじめ決められた多数のパターンを、様々な学習画像に対してあてはめておき、画像の輝度変化等を特徴として抽出するカスケード分類器;SSD(Single Shot Multibox Detector)、YOLO(You Only Look Once)等の深層学習を用いた物体検出器;等を用いて前記対象物を検出できる。対象物検出部12は、例えば、前記画像において、検出した対象物をバウンディングボックス等で境界を指定してもよい。
【0025】
対象物検出部12は、例えば、検出した対象物の付加情報を検出してもよい。前記付加情報は、前記対象物に関するその他の情報であり、例えば、ナンバープレートの文字、車両の色、車種、人物の性別、年齢、服装、身長、顔の特徴量等があげられる。具体例として、前記対象物がナンバープレートである場合、対象物検出部12は、例えば、画像認識によりナンバープレートの領域を検出した後、さらに、OCR(Optical character recognition、光学文字認識)により、検出したナンバープレートの文字を検出し、前記文字を付加情報としてもよい。前記対象物が車両である場合、対象物検出部12は、例えば、公知の画像認識手法により、前記付加情報として、検出した車両の車種や色を検出できる。また、前記対象物が人物である場合、対象物検出部12は、前記付加情報として、人物の年齢や身長を検出できる。具体的に、対象物検出部12は、例えば、検出した人物について、さらに、頭部の領域と、頭部を含む全身の領域とを抽出し、前記頭部の領域と全身の領域との高さ方向の大きさの比率を算出することにより、検出した人物の頭身を推定する。一般に、年齢に応じて人の頭身が変化することが知られており、例えば、1歳が4頭身、4歳が5頭身、8歳が6頭身半、12歳が7頭身、16歳が7頭身半、成人が8頭身、老人が7頭身である。このため、対象物検出部12は、例えば、前記頭身に基づいて、検出した人物の年齢を推定することができる。なお、前記付加情報及び付加情報の検出手法は例示であり、本発明はこれには限定されず、例えば、検出する前記付加情報に応じて適切な手法を採用できる。本装置10は、例えば、検出した付加情報と前記対象物とを紐づけて記録してもよい。
【0026】
つぎに、距離推定部13は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定する(S3、距離推定工程)。前記画像中の対象物の大きさは、例えば、前記画像における検出した対象物が占める領域の情報であり、前記領域のピクセル数があげられる。前記領域は、例えば、前述のバウンディングボックスであってもよい。前記寸法情報は、例えば、対象物の実際の大きさを示す情報であり、前記対象物の種類と紐づけられた情報である。前記寸法情報の具体例として、例えば、車両の全長(車両の前後の長さ)及び全高(車両の高さ)の情報;ナンバープレートの大きさの情報;人の平均身長;顔の目間距離;等の情報が挙げられる。前記寸法情報は、例えば、本装置10のメモリ102又は記憶装置104に記憶されていてもよいし、本装置10外の外部データベースに記憶されていてもよい。距離推定部13は、例えば、前記検出した対象物の種類に対応する寸法情報を取得し、前記画像における対象物の大きさとして、前記検出した対象物のバウンディングボックスのピクセル数(画素数)を取得し、下記式(1)に従って前記移動体から対象物までの距離を推定できる。
(対象物までの距離)=(寸法情報)×焦点距離/(画像中の対象物の大きさ(ピクセル数)……(1)
【0027】
座標推定部14は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定する(S4、座標推定工程)。座標推定部14は、例えば、前記撮像位置情報に基づいて、前記画像撮像時の移動体の位置を含む地図情報を取得し、前記撮像位置情報を基準として、前記撮像方向及び距離に基づいて、前記地図上における角度及び位置を特定し、前記特定した位置を前記地図上における対象物の座標として推定できる。
【0028】
そして、位置情報記録部15は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録する(S15、位置情報記録工程)。位置情報記録部15は、例えば、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて、本装置10のメモリ102又は記憶装置104に記憶してもよいし、本装置10外の外部データベースに記憶してもよい。また、本装置10は、記憶した前記対象物、前記対象物の座標、及び前記撮像時間情報を閲覧可能に出力してもよい。この場合、位置情報記録部15は、例えば、前記S4で取得した地図情報がある場合、前記地図情報上に前記対象物、前記対象物の座標、及び前記撮像時間情報の少なくとも一つを重畳して出力してもよい。また、前記付加情報が検出されている場合、位置情報記録部15は、例えば、前記付加情報をさらに紐づけて記録してもよい。
【0029】
図4を用いて、位置情報記録装置10の利用の具体例を説明するが、本発明は以下の例示に何ら制限されない。以下の説明においては、前記移動体が、車両20であり、前記対象物が、車両のナンバープレート30(30A~30C)及び人物30Dである場合を例に挙げて説明するが、本発明は以下の説明には何ら制限されない。
【0030】
図4(A)は、本装置10を搭載した移動体20が、
図4(A)に示す地形を白抜き矢印の方向に進行している状態を示す模式図である。移動体20は、白抜き矢印の方向に移動しながら、車載カメラにより周囲の画像を撮像する。そして、本装置10は、移動体20に搭載された車載カメラにより撮像された画像を取得し、画像から、対象物として、ナンバープレート30A、ナンバープレート30B、ナンバープレート30C、及び人物30Dを検出し、各対象物の座標を推定する。そして、本装置10は、
図4(B)に示すように、検出した対象物と、座標と、撮像日時とを紐づけて記録する。また、
図4(B)に示すように、本装置10は、前記付加情報をさらに紐づけて記憶してもよい。
【0031】
本実施形態の位置情報記録装置によれば、移動体が撮像した画像から対象物を検出し、検出した対象物の座標を推定し、対象物、対象物の座標、及び撮像時間情報を紐づけて記録できる。このため、本実施形態の位置情報記録装置によれば、移動体が撮像した画像から検出可能な様々な対象物の位置と時間とを記録できる。本実施形態の位置情報記録装置により記録された情報は、例えば、対象物の捜索、道路情報の推定、盗難車の探索、探し人の探知、警察等による捜査等、様々な用途に利用することができる。
【0032】
[実施形態2]
実施形態2は、本発明の位置情報記録装置の他の例である。
【0033】
本実施形態の位置情報記録装置は、実施形態1の位置情報記録装置10の構成に加えて、移動情報推定部を含むこと以外は前記実施形態1の位置情報記録装置10と同様であり、その説明を援用できる。本実施形態の位置情報記録装置10Aは、例えば、移動情報推定部を含み、前記移動情報推定部は、検出した対象物と、記録済みの対象物とを照合し、検出した対象物が記録済みの対象物である場合、前記座標及び撮像時間情報に基づいて、対象物の移動情報を推定し、前記位置情報記録部は、さらに、前記対象物の移動情報を紐づけて記録する。
【0034】
図5は、本実施形態の位置情報記録装置10Aの一例の構成を示すブロック図である。
図5に示すように、位置情報記録装置10Aは、実施形態1の位置情報記録装置10の構成に加えて、移動情報推定部16及び移動速度推定部17を備える。位置情報記録装置10Aのハードウェア構成は、
図2の位置情報記録装置10のハードウェア構成において、CPU101が、
図1の位置情報記録装置10の構成に代えて、
図5の位置情報記録装置10Aの構成を備える以外は同様である。以下、移動情報推定部16の処理を説明する。移動情報推定部16の処理は、例えば、前記実施形態1で説明した
図3のフローチャートにおける任意の位置に適宜挿入できる。
【0035】
移動情報推定部16は、検出した対象物と、記録済みの対象物とを照合し、検出した対象物が記録済みの対象物である場合、前記座標及び撮像時間情報に基づいて、対象物の移動情報を推定する(移動情報推定工程)。前記移動情報は、例えば、対象物が移動したか否かの情報、移動前後の座標情報、移動前後の時間情報(撮像時間情報)、前記対象物の移動速度、及び前記対象物の移動方向からなる群から選択された少なくとも一つの情報を含んでもよい。移動情報推定部16は、例えば、記録済みの対象物と同一と照合された対象物が検出された場合、前記記録済みの対象物の座標から、新たに推定された対象物の座標へと対象物が移動したとして、前記移動情報を推定できる。また、前記移動前後の座標の差分及び前記移動前後の撮像時間情報の差分から、前記対象物の移動速度及び移動方向を推定できる。位置情報記録部15は、例えば、前記対象物の移動情報を紐づけて記憶してもよい。
【0036】
本実施形態の位置情報記録装置によれば、対象物の移動情報を推定できる。このため、本実施形態の位置情報記録装置によれば、対象物の移動を追跡可能となる。したがって、本実施形態の位置情報記録装置は、例えば、対象物の捜索、道路情報の推定、盗難車の探索、探し人の探知、警察等による捜査等、様々な用途に利用することができる。
【0037】
[実施形態3]
実施形態3は、本発明の位置情報記録装置の他の例である。
【0038】
本実施形態の位置情報記録装置は、実施形態1の位置情報記録装置10の構成に加えて、画像変換部を含むこと以外は前記実施形態1の位置情報記録装置10と同様であり、その説明を援用できる。本実施形態の位置情報記録装置10Bは、例えば、画像変換部を含み、前記画像が、全天球画像であり、前記画像変換部は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、前記対象物検出部は、前記第1展開画像に含まれる対象物を検出する。
【0039】
図6は、本実施形態の位置情報記録装置10Bの一例の構成を示すブロック図である。
図6に示すように、位置情報記録装置10Bは、実施形態1の位置情報記録装置10の構成に加えて、画像変換部17を備える。位置情報記録装置10Bのハードウェア構成は、
図2の位置情報記録装置10のハードウェア構成において、CPU101が、
図1の位置情報記録装置10の構成に代えて、
図6の位置情報記録装置10Bの構成を備える以外は同様である。以下、画像変換部17の処理を説明する。画像変換部17の処理は、例えば、前記実施形態1で説明した
図3のフローチャートにおける任意の位置に適宜挿入できる。画像変換部17の処理は、例えば、
図3のフローチャートにおける、S1~S2の間に挿入されることが好ましい。
【0040】
本実施形態において、前記画像は全天球画像である。前記全天球画像は、例えば、360°カメラで撮像した画像であり、その撮像方向についての情報(例えば、移動体を基準に、移動体の前方(移動体の進行方向)、左右方向(移動体の進行方向に直角な方向)、移動体の後方(移動体の進行方向とは逆方向)、移動体の上方向、及び移動体の下方向)が紐づけられている。前記全天球画像の形式は、特に制限されない。画像変換部17は、例えば、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換する(画像変換工程)。
図7を用いて、画像変換部17の処理について説明する。
図7上部に示すように、全天球画像171は、例えば、移動体を基準に、移動体の前方(Front)、左方向(Left)、右方向(Rigtht)、後方(Back)を含む。画像変換部17は、全天球画像171を
図7下部に示す第1展開画像172に変換する。第1展開画像172は、
図7に示すように、全天球画像171について、前記撮像方向毎に、画像を6枚に分割し、上下の歪みを補正した展開図面である。具体的に、画像変換部17は、例えば、Open GL等の公知のグラフィックスライブラリ、又はJavascriptで構築可能なWeb GL等を用いて、前記全天球画像をCUBE変換することにより、前記第1展開画像に変換できる。そして、対象物検出部12は、前記第1展開画像に含まれる対象物を検出できる。全天球画像は、その特性上、画像の歪みが大きいため、画像変換部17により第1展開画像に変換することにより、精度よく対象物を検出できる。
【0041】
また、画像変換部17は、例えば、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換してもよい。この場合、例えば、画像変換部17は、前記全天球画像の撮像方向を所定角度変更すること以外は同様にして、前記第2展開画像に変換できる。前記所定角度は、特に制限されず、例えば、30°、60°、90°、120°、150°等があげられるが、90°変換することが好ましい。そして、対象物検出部12は、例えば前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれる対象物を検出できる。このような態様によれば、例えば、前記第1展開画像の各撮像方向の画像と画像との間に存在する対象物を検出可能となるため、より精度よく対象物を検出できる。
【0042】
本実施形態の位置情報記録装置は、例えば、画像変換部により全天球画像を第1展開画像及び第2展開画像に変換できる。このため、移動体が撮像した全天球画像を用いて対象物を検出し、その座標を記録することができる。したがって、本実施形態の位置情報記録装置によれば、より多くの対象物の情報を収集・記録することができる。
【0043】
[実施形態4]
本実施形態のプログラムは、前述の位置情報記録方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、画像情報取得手順、対象物検出手順、距離推定手順、座標推定手順、及び位置情報記録手順を実行させるためのプログラムである。
【0044】
前記画像情報取得手順は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出手順は、前記画像に含まれる対象物を検出し、
前記距離推定手順は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定手順は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録手順は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録する。
【0045】
また、本実施形態のプログラムは、コンピュータを、画像情報取得手順、対象物検出手順、距離推定手順、座標推定手順、及び位置情報記録手順として機能させるプログラムということもできる。
【0046】
本実施形態のプログラムは、前記本発明の位置情報記録装置および位置情報記録方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体(non-transitory computer-readable storage medium)である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。
【0047】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0048】
<付記>
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
(付記1)
画像情報取得部、対象物検出部、距離推定部、座標推定部、及び位置情報記録部を含み、
前記画像情報取得部は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出部は、前記画像に含まれる対象物を検出し、
前記距離推定部は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定部は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録部は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録する、位置情報記録装置。
(付記2)
前記対象物検出部は、さらに、前記画像から検出した対象物の付加情報を検出し、
前記位置情報記録部は、さらに、前記付加情報を紐づけて記録する、付記1記載の位置情報記録装置。
(付記3)
移動情報推定部を含み、
前記移動情報推定部は、検出した対象物と、記録済みの対象物とを照合し、検出した対象物が記録済みの対象物である場合、前記座標及び前記撮像時間情報に基づいて、前記対象物の移動情報を推定し、
前記位置情報記録部は、さらに、前記対象物の移動情報を紐づけて記録する、付記1又は2記載の位置情報記録装置。
(付記4)
画像変換部を含み、
前記画像が、全天球画像であり、
前記画像変換部は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、
前記対象物検出部は、前記第1展開画像に含まれる対象物を検出する、付記1から3のいずれかに記載の位置情報記録装置。
(付記5)
前記画像変換部は、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換し、
前記対象物検出部は、前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれる対象物を検出する、付記4記載の位置情報記録装置。
(付記6)
画像情報取得工程、対象物検出工程、距離推定工程、座標推定工程、及び位置情報記録工程を含み、
前記画像情報取得工程は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出工程は、前記画像に含まれる対象物を検出し、
前記距離推定工程は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定工程は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録工程は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録する、位置情報記録方法。
(付記7)
前記対象物検出工程は、さらに、前記画像から検出した対象物の付加情報を検出し、
前記位置情報記録工程は、さらに、前記付加情報を紐づけて記録する、付記6記載の位置情報記録方法。
(付記8)
移動情報推定工程を含み、
前記移動情報推定工程は、検出した対象物と、記録済みの対象物とを照合し、検出した対象物が記録済みの対象物である場合、前記座標及び前記撮像時間情報に基づいて、前記対象物の移動情報を推定し、
前記位置情報記録工程は、さらに、前記対象物の移動情報を紐づけて記録する、付記6又は7記載の位置情報記録方法。
(付記9)
画像変換工程を含み、
前記画像が、全天球画像であり、
前記画像変換工程は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、
前記対象物検出工程は、前記第1展開画像に含まれる対象物を検出する、付記6から8のいずれかに記載の位置情報記録方法。
(付記10)
前記画像変換工程は、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換し、
前記対象物検出工程は、前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれる対象物を検出する、付記9記載の位置情報記録方法。
(付記11)
画像情報取得手順、対象物検出手順、距離推定手順、座標推定手順、及び位置情報記録手順を含み、
前記画像情報取得手順は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出手順は、前記画像に含まれる対象物を検出し、
前記距離推定手順は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定手順は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録手順は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録し、
前記各手順をコンピュータに実行させるためのプログラム。
(付記12)
前記対象物検出手順は、さらに、前記画像から検出した対象物の付加情報を検出し、
前記位置情報記録手順は、さらに、前記付加情報を紐づけて記録する、付記11記載のプログラム。
(付記13)
移動情報推定手順を含み、
前記移動情報推定手順は、検出した対象物と、記録済みの対象物とを照合し、検出した対象物が記録済みの対象物である場合、前記座標及び前記撮像時間情報に基づいて、前記対象物の移動情報を推定し、
前記位置情報記録手順は、さらに、前記対象物の移動情報を紐づけて記録する、付記11又は12記載のプログラム。
(付記14)
画像変換手順を含み、
前記画像が、全天球画像であり、
前記画像変換手順は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、
前記対象物検出手順は、前記第1展開画像に含まれる対象物を検出する、付記11から13のいずれかに記載のプログラム。
(付記15)
前記画像変換手順は、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換し、
前記対象物検出手順は、前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれる対象物を検出する、付記14記載のプログラム。
(付記16)
画像情報取得手順、対象物検出手順、距離推定手順、座標推定手順、及び位置情報記録手順を含み、
前記画像情報取得手順は、移動体が撮像した画像情報を取得し、
前記画像情報は、画像、撮像位置情報、撮像方向情報、及び撮像時間情報を含み、
前記対象物検出手順は、前記画像に含まれる対象物を検出し、
前記距離推定手順は、前記画像中の対象物の大きさと、対象物の寸法情報とに基づいて、前記移動体から前記対象物までの距離を推定し、
前記座標推定手順は、前記撮像位置情報、前記撮像方向、及び前記距離に基づいて対象物の地図上における座標を推定し、
前記位置情報記録手順は、検出した前記対象物、前記対象物の座標、及び前記撮像時間情報を紐づけて記録し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記17)
前記対象物検出手順は、さらに、前記画像から検出した対象物の付加情報を検出し、
前記位置情報記録手順は、さらに、前記付加情報を紐づけて記録する、付記16記載の記録媒体。
(付記18)
移動情報推定手順を含み、
前記移動情報推定手順は、検出した対象物と、記録済みの対象物とを照合し、検出した対象物が記録済みの対象物である場合、前記座標及び前記撮像時間情報に基づいて、前記対象物の移動情報を推定し、
前記位置情報記録手順は、さらに、前記対象物の移動情報を紐づけて記録する、付記16又は17記載の記録媒体。
(付記19)
画像変換手順を含み、
前記画像が、全天球画像であり、
前記画像変換手順は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、
前記対象物検出手順は、前記第1展開画像に含まれる対象物を検出する、付記16から18のいずれかに記載の記録媒体。
(付記20)
前記画像変換手順は、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換し、
前記対象物検出手順は、前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれる対象物を検出する、付記19記載の記録媒体。
【産業上の利用可能性】
【0049】
本発明によれば、移動体が撮像した画像から対象物を検出し、検出した対象物の座標を推定し、対象物、対象物の座標、及び撮像時間情報を紐づけて記録できる。このため、本実施形態の位置情報記録装置によれば、移動体が撮像した画像から検出可能な様々な対象物の位置と時間とを記録できる。本実施形態の位置情報記録装置により記録された情報は、例えば、対象物の捜索、道路情報の推定、盗難車の探索、探し人の探知、警察等による捜査等、様々な用途に利用することができる。
【符号の説明】
【0050】
10、10A、10B 位置情報記録装置
11 画像情報取得部
12 対象物検出部
13 距離推定部
14 座標推定部
15 位置情報記録部
16 移動情報推定部
17 画像補正部
101 CPU
102 メモリ
103 バス
104 記憶装置
105 入力装置
106 出力装置
107 通信デバイス