知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024034690
(43)【公開日】2024-03-13
(54)【発明の名称】検出システム、検出方法、およびプログラム
(51)【国際特許分類】
G06V 20/17 20220101AFI20240306BHJP
【ＦＩ】
G06V20/17
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022139110
(22)【出願日】2022-09-01
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】川上 和也
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA05
5L096HA08
(57)【要約】
【課題】画像を用いた対象物の検出を効率よく行える検出システム、検出方法、およびプログラムを提供する。
【解決手段】検出システム１０は、取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０を備える。取得部１１０は、第１画像と、第２画像とを取得する。第２画像は第１画像よりも狭い範囲を撮像した画像である。地図生成部１３０は、第１画像を用いて地図情報を生成する。特定部１５０は、地図情報における対象領域を特定する。検出部１７０は、対象領域を撮像した第２画像を解析することにより、対象物を検出する。
【選択図】図１
【解決手段】検出システム１０は、取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０を備える。取得部１１０は、第１画像と、第２画像とを取得する。第２画像は第１画像よりも狭い範囲を撮像した画像である。地図生成部１３０は、第１画像を用いて地図情報を生成する。特定部１５０は、地図情報における対象領域を特定する。検出部１７０は、対象領域を撮像した第２画像を解析することにより、対象物を検出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
検出システム。
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
検出システム。
【請求項2】
請求項１に記載の検出システムにおいて、
前記取得手段は、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
検出システム。
前記取得手段は、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
検出システム。
【請求項3】
請求項２に記載の検出システムにおいて、
前記移動体および前記一以上のカメラをさらに備える
検出システム。
前記移動体および前記一以上のカメラをさらに備える
検出システム。
【請求項4】
請求項２に記載の検出システムにおいて、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
検出システム。
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
検出システム。
【請求項5】
請求項２または３に記載の検出システムにおいて、
前記移動体は飛行体である
検出システム。
前記移動体は飛行体である
検出システム。
【請求項6】
請求項２または３に記載の検出システムにおいて、
前記移動体および前記一以上のカメラを制御する制御手段をさらに備え、
前記制御手段は、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
検出システム。
前記移動体および前記一以上のカメラを制御する制御手段をさらに備え、
前記制御手段は、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
検出システム。
【請求項7】
請求項１または２に記載の検出システムにおいて、
前記検出手段は、
前記取得手段が取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
検出システム。
前記検出手段は、
前記取得手段が取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
検出システム。
【請求項8】
請求項１または２に記載の検出システムにおいて、
前記特定手段は、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
検出システム。
前記特定手段は、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
検出システム。
【請求項9】
１以上のコンピュータが、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得し、
前記第１画像を用いて地図情報を生成し、
前記地図情報における対象領域を特定し、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する
検出方法。
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得し、
前記第１画像を用いて地図情報を生成し、
前記地図情報における対象領域を特定し、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する
検出方法。
【請求項10】
コンピュータを検出装置として機能させるプログラムであって、
前記検出装置は、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
プログラム。
前記検出装置は、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出システム、検出方法、およびプログラムに関する。
【背景技術】
【0002】
近年、ドローン等で撮像した画像を用いて対象物の検出を行う技術の開発が進められている。そのような技術はたとえば、災害現場での捜索活動に利用される。
【0003】
特許文献１には、移動体がカメラで周囲を観察しながら探索範囲内を移動し、カメラの観察画像に予め定めた特徴部分を検出した場合、被探索体を検出したと判断することが記載されている。
【0004】
特許文献２には、移動体に搭載されたカメラにより撮影された移動体の周囲画像等を用いて無人航空機飛行のための立体地図データを作成することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１７－１６３５１１号公報
【特許文献2】特開２０２２－４７７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した特許文献１においては、カメラで観察している画像に人の顔が検出された場合に、当該観察画像の静止画の画像データを取り込む処理が行われていたため、全ての画像を人の顔が検出可能な精度で得て処理する必要があり、効率が高められないという問題点があった。特許文献２の技術は、対象物を検出するものではなかった。
【0007】
本発明の目的の一例は、上述した課題を鑑み、画像を用いた対象物の検出を効率よく行える検出システム、検出方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0008】
本発明の一態様によれば、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
検出システムが提供される。
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
検出システムが提供される。
【0009】
本発明の一態様によれば、
１以上のコンピュータが、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得し、
前記第１画像を用いて地図情報を生成し、
前記地図情報における対象領域を特定し、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する
検出方法が提供される。
１以上のコンピュータが、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得し、
前記第１画像を用いて地図情報を生成し、
前記地図情報における対象領域を特定し、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する
検出方法が提供される。
【0010】
本発明の一態様によれば、
コンピュータを検出装置として機能させるプログラムであって、
前記検出装置は、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
プログラムが提供される。
コンピュータを検出装置として機能させるプログラムであって、
前記検出装置は、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
プログラムが提供される。
【発明の効果】
【0011】
本発明の一態様によれば、画像を用いた対象物の検出を効率よく行える検出システム、検出方法、およびプログラムを提供できる。
【図面の簡単な説明】
【0012】
【図1】第１の実施形態に係る検出システムの概要を示す図である。
【図2】第１の実施形態に係る第１画像および第２画像の撮像について説明するための図である。
【図3】第１の実施形態に係る検出システムの機能構成を例示するブロック図である。
【図4】取得部、地図生成部、特定部、および検出部を実現するための計算機を例示する図である。
【図5】第１の実施形態に係る検出方法の概要を示す図である。
【図6】第２の実施形態に係る検出システムの機能構成を例示するブロック図である。
【図7】第２の実施形態に係る検出システムの処理の流れを例示するフローチャートである。
【図8】第３の実施形態に係る検出システムの構成を例示するブロック図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0014】
（第１の実施形態）
図１は、第１の実施形態に係る検出システム１０の概要を示す図である。検出システム１０は、取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０を備える。取得部１１０は、第１画像と、第２画像とを取得する。第２画像は第１画像よりも狭い範囲を撮像した画像である。地図生成部１３０は、第１画像を用いて地図情報を生成する。特定部１５０は、地図情報における対象領域を特定する。検出部１７０は、対象領域を撮像した第２画像を解析することにより、対象物を検出する。
図１は、第１の実施形態に係る検出システム１０の概要を示す図である。検出システム１０は、取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０を備える。取得部１１０は、第１画像と、第２画像とを取得する。第２画像は第１画像よりも狭い範囲を撮像した画像である。地図生成部１３０は、第１画像を用いて地図情報を生成する。特定部１５０は、地図情報における対象領域を特定する。検出部１７０は、対象領域を撮像した第２画像を解析することにより、対象物を検出する。
【0015】
この検出システム１０によれば、画像を用いた対象物の検出を効率よく行える。
【0016】
以下、検出システム１０の詳細例について説明する。
【0017】
本実施形態に係る検出システム１０では、画像を用いて対象物を検出する。対象物は特に限定されないが、対象物の例には人等の生物、無生物、および静物が含まれる。対象物が人である場合、対象物は、任意の人であってもよいし、特定の属性の人、または特定の個人等であってもよい。検出システム１０は、人を検出することにより、たとえば山での遭難や、災害等での行方不明者捜索に利用できる。そのほか、対象物は人の所持品であってもよい。検出システム１０は、危険物等、人の所持品を検出することにより、不審者等に対する警備に利用できる。対象物は特定の人の顔であってもよい。そうすることで、たとえば特定の行方不明者や、犯罪者等を検出できる。
【0018】
図２は、本実施形態に係る第１画像および第２画像の撮像について説明するための図である。本実施形態に係る第１画像はたとえば、移動体２０に搭載されたカメラ２１０で撮像された画像である。また、第２画像はたとえば、移動体２０に搭載されたカメラ２１０で撮像された画像である。ただし、第１画像および第２画像の少なくとも一方は、移動体２０に搭載されたカメラ２１０で撮像された画像でなくてもよい。たとえば第１画像および第２画像の少なくとも一方は、位置が固定されたカメラ２１０で撮像された画像であってもよいし、人が持ち歩くカメラ２１０で撮像された画像であってもよい。以下では第１画像および第２画像がいずれも移動体２０に搭載されたカメラ２１０で撮像された画像である例について説明する。
【0019】
図２の例において、移動体２０は飛行体である。図２の例において、移動体２０は具体的にはドローンである。ただし、移動体２０は飛行体に限定されず、地面を走行する車両等であってもよい。移動体２０が移動している間に、カメラ２１０が移動体２０の周りの画像を撮像できる。カメラ２１０は、探索する領域内の全体を撮像できるよう、移動体２０が移動している間に、連続して複数の画像を撮像することが好ましい。複数のカメラ２１０間の撮像タイミングの関係は、任意である。
【0020】
移動体２０の移動は操縦者により制御されていてもよいし、自動制御されていてもよい。移動体２０の移動が操縦者により制御される場合、移動体２０は遠隔操縦されてもよいし、移動体２０に乗り込んだ操縦者により操縦されてもよい。移動体２０の移動が自動制御される場合、たとえば、移動体２０が移動すべき領域またはルートを設定しておく。なお、移動すべき領域を設定することで、自動的にルートが設定されてもよい。また、カメラ２１０による撮像に関する制御は、カメラ２１０の操作者により行われてもよいし、移動体２０の移動に連携して自動で行われてもよい。カメラ２１０による撮像に関する制御がカメラ２１０の操作者により行われる場合、カメラ２１０は遠隔操作されもよいし、移動体２０に乗り込んだ操作者により操作されてもよい。
【0021】
図２の例において、移動体２０には、一以上のカメラ２１０および制御部２２０が搭載されている。制御部２２０は、移動体２０の移動および、カメラ２１０を制御することができる。
【0022】
上述した通り、第２画像は第１画像よりも狭い範囲を撮像した画像である。第１画像と第２画像は、同一のカメラ２１０において、互いに異なる撮像条件で撮像された画像であり得る。または、第１画像と第２画像とは互いに異なるカメラ２１０で撮像された画像であってもよい。
【0023】
第２画像を撮像するカメラ２１０の画角は第１画像を撮像するカメラ２１０の画角よりも小さく設定されている。たとえば、撮像された同一の領域について比較すると、第２画像の方が第１画像よりも精細に撮像されている。第２画像は、第１画像よりも狭い範囲を撮像した画像である一方、より高精度に対象物を検出できる画像であるといえる。
【0024】
一般に、より小さい画角で狭い範囲を撮像した画像は、対象をより高精細に写している。ただし、このような画像では、撮像できる範囲が狭くなる。そのため、広い捜査領域の中から対象物を検出しようとする際に、多くの画像を処理する必要があり、効率を高めることが難しい。
【0025】
本実施形態に係る検出システム１０では、第１画像を用いて注目すべき対象領域が特定され、その対象領域を撮像した第２画像を解析することにより、対象物が検出される。したがって、全ての領域の第２画像を解析する場合に比べて効率よく対象物を検出できる。
【0026】
移動体２０に一以上のカメラ２１０が搭載される場合、この一以上のカメラ２１０は、第１カメラ２１０と、第２カメラ２１０を含むことができる。第１カメラ２１０と第２カメラ２１０とは互いに異なるカメラである。そして、第１カメラ２１０で撮像される画像を第１画像とし、第２カメラ２１０で撮像される画像を第２画像とすることができる。なお、第１画像および第２画像はそれぞれ、動画を構成する画像、すなわちフレーム画像であってもよい。
【0027】
第１カメラ２１０はたとえば、大きな画角で遠くの画像を撮像することに適している。第１カメラ２１０は、遠距離用カメラであると言うこともできる。第１カメラ２１０の画角は１８０°以上であってもよく、３６０°であってもよい。第２カメラ２１０は、第１カメラ２１０よりも小さな画角で、近くの画像を撮像することに適している。第２カメラ２１０は、近距離用カメラであると言うこともできる。第１カメラ２１０の焦点距離は第２カメラ２１０の焦点距離より長くてもよい。第１カメラ２１０と第２カメラ２１０は、隣接して配置されていてもよいし、離れて配置されていてもよい。第１カメラ２１０の撮像方向と第２カメラ２１０の撮像方向とは、互いに異なっていてもよいし、同じであってもよい。
【0028】
移動体２０には、移動体２０の前後を撮像可能な状態で、複数のカメラ２１０が搭載されていることが好ましく、移動体２０の前後左右を撮像可能な状態で、複数のカメラ２１０が搭載されていることがより好ましい。そうすれば、移動体２０が移動しながら、周囲の物体を複数の方向から撮像できるからである。移動体２０に第１カメラ２１０および第２カメラ２１０が搭載されている場合、移動体２０には、移動体２０の前後を撮像可能な状態で、複数の第１カメラ２１０が搭載されていることが好ましく、移動体２０の前後左右を撮像可能な状態で、複数の第１カメラ２１０が搭載されていることがより好ましい。また、移動体２０には、移動体２０の前後を撮像可能な状態で、複数の第２カメラ２１０が搭載されていることが好ましく、移動体２０の前後左右を撮像可能な状態で、複数の第２カメラ２１０が搭載されていることがより好ましい。移動体２０が飛行体である場合、移動体２０には、さらに移動体２０の下方を撮像可能な状態で、一以上のカメラ２１０が搭載されていることが好ましい。
【0029】
カメラ２１０で撮像される各画像には、撮像位置を示す情報、および撮像方向を示す情報が関連付けられる。また、各画像には、撮像日時を示す情報がさらに関連付けられてもよい。移動体２０が飛行体である場合、各画像には、高度を示す情報がさらに関連付けられる。移動体２０または各カメラ２１０には、ＧＮＳＳ（Global Navigation Satellite System）の受信機が備えられており、制御部２２０はＧＮＳＳを利用して撮像位置を示す情報（緯度および経度等）を取得し、各画像に関連付ける。また、移動体２０または各カメラ２１０には方位センサが備えられており、制御部２２０は撮像方向（方位等）を示す情報を方位センサから取得し、各画像に関連付けることができる。移動体２０には高度センサが備えられており、制御部２２０は高度を示す情報を高度センサから取得し、各画像に関連付けることができる。ただし、撮像位置を示す情報、撮像方向を示す情報、撮像日時を示す情報、および高度を示す情報は、各カメラ２１０内で画像に関連付けられてもよい。
【0030】
図３は、本実施形態に係る検出システム１０の機能構成を例示するブロック図である。図３の例において、検出システム１０は、移動体２０および一以上のカメラ２１０をさらに備えている。また、図３の例において、検出システム１０は、取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０を備える検出装置１００を備える。移動体２０のカメラ２１０および制御部２２０の少なくとも一方と、検出装置１００とは無線接続または有線接続により通信可能である。ただし、検出システム１０の構成は本例に限定されない。
【0031】
以下、検出システム１０の各機能構成部について、詳しく説明する。図３の例では、検出システム１０は、第１画像記憶部１０１および第２画像記憶部１０２をさらに備える。ただし、第１画像記憶部１０１および第２画像記憶部１０２は検出システム１０の外部に設けられていてもよい。取得部１１０は、取得した第１画像を第１画像記憶部１０１に保持させる。また、取得部１１０は、取得した第２画像を第２画像記憶部１０２に保持させる。なお、第１画像と第２画像の両方を一つの記憶部に保持させてもよい。取得部１１０は、カメラ２１０で第１画像または第２画像が生成されるたびに生成された画像を取得してもよいし、複数の画像をまとめて取得してもよい。
【0032】
取得部１１０は、第１画像および第２画像をたとえば一以上のカメラ２１０から取得できる。ただし、取得部１１０は、第１画像および第２画像の少なくとも一方を、他の装置や記憶部から取得してもよい。取得部１１０は、少なくとも第２画像を複数取得する。取得部１１０は、第１画像も複数取得することが好ましい。以下に説明する通り、本実施形態に係る検出部１７０は、取得部１１０が取得した複数の第２画像から、解析すべき第２画像を抽出する。そして、検出部１７０は、抽出された第２画像を解析することにより、対象物を検出する。
【0033】
地図生成部１３０は、第１画像を用いて物体の種類および位置の情報を含む地図情報を生成する。図３の例において、検出システム１０は物体記憶部１０３をさらに備える。物体記憶部１０３には、予め、所定の特徴量が物体の種類ごとに保持されている。物体の種類には、たとえば建物、木、人、動物等の物のほか、川、崖、山等の地形も含まれてよい。また、物体の種類には靴やカバン等の品物が含まれてもよい。地図生成部１３０は、第１画像記憶部１０１から第１画像を読み出し、物体記憶部１０３に保持された各特徴量を用いて、第１画像に対してマッチング処理を行う。そして、最も一致度が高かった物体の種類をその第１画像に含まれる物体の種類として特定する。
【0034】
また、地図生成部１３０は、物体の種類を特定した第１画像内の物体の、地図上の位置を特定する。地図生成部１３０は、その第１画像に関連付けられた撮像位置を示す情報、撮像方向を示す情報、第１画像を撮像したカメラ２１０の画角、第１画像内でのその物体の位置および大きさを用いて、物体の地図上の位置を特定できる。地図生成部１３０は、取得部１１０が取得した各第１画像についてこのような処理を行い、物体の種類および位置を特定する。地図生成部１３０は、特定した一以上の物体の種類および位置を、マッピングした地図情報を生成する。なお、地図生成部１３０は、予め準備された参照地図情報を取得し、その参照地図情報に特定した一以上の物体の種類および位置の情報を追加したり、参照地図情報を修正したりすることにより地図情報を生成してもよい。図３の例において、検出システム１０は地図記憶部１０４をさらに備えており、地図生成部１３０は地図記憶部１０４に予め保持された参照地図情報を読み出して用いることができる。参照地図情報は、二次元の地図情報であってよい。
【0035】
また、予め検出すべき対象物に関連する物体（人の服装、遺留物等）がターゲットとして定められる場合、そのターゲットの特徴量を物体記憶部１０３に保持させておくことができる。そして、地図生成部１３０は、ターゲットの特徴量を用いて第１画像にマッチング処理を行う。マッチング処理の結果、ターゲットの特徴量に対する一致度が予め定められた基準以上である物体に対し、地図生成部１３０は、ターゲットの可能性が高いことを示す情報を地図情報にて付与してもよい。
【0036】
また、地図生成部１３０は、時系列の複数の第１画像について処理を行うことにより、各物体が動いているか否かを判定することができる。たとえば、上述のように特定された物体の地図上の位置が、時間の経過に伴って変化している場合、その物体が動いていると判定する。また、地図生成部１３０は時系列の複数の第１画像について処理を行うことにより、各物体の形状が変化しているか否かを判定する。地図生成部１３０は、時間の経過に伴って物体の形状が変化している場合、その物体が動いていると判定する。一方、特定された物体の地図上の位置や形状が、時間の経過に伴って変化しない場合、その物体が動いていないと判定する。地図生成部１３０は、たとえば、動いていると判定された物体に対し、動いている可能性が高いことを示す情報を地図情報にて付与してもよい。
【0037】
なお地図生成部１３０は、機械学習によって予め生成されたモデルを用いて、物体の種類および位置を特定してもよい。たとえば地図生成部１３０は、モデルに第１画像およびその第１画像に関連付けられた情報を入力し、モデルの出力として、その第１画像に含まれる一以上の物体の種類および位置を取得する。
【0038】
なお、地図生成部１３０は、第１画像に含まれる各物体について、「物体の種類の確からしさ」を導出してもよい。地図生成部１３０が上述したマッチング処理を行って物体の種類を特定する場合、マッチング処理における一致度が「物体の種類の確からしさ」であると言える。また、地図生成部１３０が機械学習によって生成されたモデルを用いて物体の種類を特定する場合、出力に物体の種類ごとの尤度が含まれるモデルを用い、その尤度を「物体の種類の確からしさ」として扱うことができる。なお、この尤度は、その種類の物体が第１画像に含まれる尤度である。地図生成部１３０は、種類および位置を特定した各物体について、特定した種類の確からしさを示す情報をさらに地図情報に含ませる。
【0039】
さらに、「物体の種類の確からしさ」が低い物体が第１画像に含まれる場合、その第１画像について、報知が行われてもよい。具体的には、地図生成部１３０は、導出した「物体の種類の確からしさ」が所定の基準より低い場合、その物体が含まれる第１画像を、ユーザが直接チェックすべき画像としてユーザが視認可能なディスプレイ等に出力する。表示画像においては、「物体の種類の確からしさ」が低い物体が他の物体と識別可能な状態で示される。ユーザは、その物体の種類を判断し、検出システム１０に対して入力する。地図生成部１３０は、入力された種類をその物体の種類であるとして地図情報に含める。
【0040】
特定部１５０は、地図生成部１３０が生成した地図情報を取得する。そして、その地図情報における対象領域を特定する。対象領域は、特に対象物の検出処理を行う優先度が高い領域である。具体的には、対象領域の例には、対象物が存在する可能性が高い領域、早く対象物を発見すべき領域（たとえば二次災害が懸念される領域）、人が直接行って対象物を探すことが難しい領域が挙げられる。特定部１５０が対象領域を特定する方法の第１例から第５例について、以下に説明する。特定部１５０は、第１例から第５例の方法のうちいずれか一つのみを用いてもよいし、二つ以上方法を組み合わせて用いてもよい。すなわち、特定部１５０は、第１例から第５例の方法のうち、少なくともいずれかの方法で対象領域と判断される領域を、対象領域として特定してよい。また、特定部１５０は、複数の対象領域を特定してもよい。ただし、対象領域を特定する方法は、第１例から第５例に限定されない。
【0041】
＜第１例＞
第１例では特定部１５０は地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて対象領域を特定する。参照地図情報はたとえば地図情報提供サービスのサーバ等から通信ネットワークを通じて取得されて地図記憶部１０４に保持される。特定部１５０は、地図記憶部１０４から参照地図情報を読み出して用いることができる。第１画像を用いて地図生成部１３０で生成された地図情報は、参照地図情報よりも新しい情報であると言える。ここでたとえば、参照地図情報に示された建物が、地図生成部１３０で生成された地図情報には含まれない場合、災害等でその建物が崩れた可能性がある。また、参照地図情報で山であることが示された場所について、地図情報では木が存在しない場合、その場所で地すべりが起きた可能性がある。このように、地図生成部１３０で生成された地図情報と参照地図情報とに違いがある領域は、災害や遭難等に伴う捜索の場面で特に注目すべき領域であるといえる。第１例では、特定部１５０は、予め保持された参照地図情報との差を検出し、差が検出された領域を対象領域として特定する。
第１例では特定部１５０は地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて対象領域を特定する。参照地図情報はたとえば地図情報提供サービスのサーバ等から通信ネットワークを通じて取得されて地図記憶部１０４に保持される。特定部１５０は、地図記憶部１０４から参照地図情報を読み出して用いることができる。第１画像を用いて地図生成部１３０で生成された地図情報は、参照地図情報よりも新しい情報であると言える。ここでたとえば、参照地図情報に示された建物が、地図生成部１３０で生成された地図情報には含まれない場合、災害等でその建物が崩れた可能性がある。また、参照地図情報で山であることが示された場所について、地図情報では木が存在しない場合、その場所で地すべりが起きた可能性がある。このように、地図生成部１３０で生成された地図情報と参照地図情報とに違いがある領域は、災害や遭難等に伴う捜索の場面で特に注目すべき領域であるといえる。第１例では、特定部１５０は、予め保持された参照地図情報との差を検出し、差が検出された領域を対象領域として特定する。
【0042】
＜第２例＞
第２例では、地図生成部１３０は、上述したように、第１画像に含まれる各物体について、「物体の種類の確からしさ」を導出する。特定部１５０は、第１画像を用いて特定された「物体の種類の確からしさ」に基づいて、対象領域を特定する。たとえば、地すべりが起きたことにより、第１画像に含まれる山の色が木の色ではなく黄土色である場合、それが山である確からしさは低くなると考えられる。また、火災などにより、第１画像において建物に炎や煙が重なっている場合、それが建物である確からしさは低くなると考えられる。このように、地図生成部１３０で導出される「物体の種類の確からしさ」が低い物体において、またはその周辺において、何らかの非常状態が生じている可能性が高い。したがって、第２例のように、第１画像を用いて特定された「物体の種類の確からしさ」に基づいて、対象領域を特定することが有効である。
第２例では、地図生成部１３０は、上述したように、第１画像に含まれる各物体について、「物体の種類の確からしさ」を導出する。特定部１５０は、第１画像を用いて特定された「物体の種類の確からしさ」に基づいて、対象領域を特定する。たとえば、地すべりが起きたことにより、第１画像に含まれる山の色が木の色ではなく黄土色である場合、それが山である確からしさは低くなると考えられる。また、火災などにより、第１画像において建物に炎や煙が重なっている場合、それが建物である確からしさは低くなると考えられる。このように、地図生成部１３０で導出される「物体の種類の確からしさ」が低い物体において、またはその周辺において、何らかの非常状態が生じている可能性が高い。したがって、第２例のように、第１画像を用いて特定された「物体の種類の確からしさ」に基づいて、対象領域を特定することが有効である。
【0043】
第２例では、特定部１５０は、地図情報に示された各物体の種類の確からしさが所定の基準よりも低いか否かを判定する。物体の種類の確からしさが所定の基準よりも低い場合、特定部１５０は、その物体を含む領域を対象領域として特定する。物体の種類の確からしさが所定の基準以上である場合、特定部１５０は、その物体を含む領域を対象領域として特定しなくてよい。
【0044】
＜第３例＞
第３例では、地図生成部１３０は上述したように、各物体が動いているか否かを判定する。そして、特定部１５０は、動いている物体の有無に基づいて対象領域を特定する。特定部１５０は、地図情報において動いている可能性が高いことを示す情報が付された物体を含む領域を、対象領域として特定することができる。そうすることで、移動している人や、助けを求めて手を振っている人を含む対象領域を特定できる。
第３例では、地図生成部１３０は上述したように、各物体が動いているか否かを判定する。そして、特定部１５０は、動いている物体の有無に基づいて対象領域を特定する。特定部１５０は、地図情報において動いている可能性が高いことを示す情報が付された物体を含む領域を、対象領域として特定することができる。そうすることで、移動している人や、助けを求めて手を振っている人を含む対象領域を特定できる。
【0045】
＜第４例＞
第４例では、上述したように予めターゲットが定められており、ターゲットの可能性が高いことを示す情報が地図情報にて付与されている。そして特定部１５０は、地図情報においてターゲットの可能性が高いことを示す情報が付された物体を含む領域を、対象領域として特定する。そうすることで、たとえば、特定の服装の人、靴等の遺留物等、注目すべきターゲットの周りを効率よく探索できる。
第４例では、上述したように予めターゲットが定められており、ターゲットの可能性が高いことを示す情報が地図情報にて付与されている。そして特定部１５０は、地図情報においてターゲットの可能性が高いことを示す情報が付された物体を含む領域を、対象領域として特定する。そうすることで、たとえば、特定の服装の人、靴等の遺留物等、注目すべきターゲットの周りを効率よく探索できる。
【0046】
＜第５例＞
第５例では、特定部１５０は、地図情報に基づいて、人が行くことが困難な場所を対象領域として特定する。たとえば、崖の下、森の奥等、所定の物体の種類と、その物体との位置関係とを示す情報が予め定められている。そして、特定部１５０は、地図情報からその所定の種類の物体を特定し、その物体に対して定められた位置関係にある領域を、対象領域として特定する。そうすることで、人が行くことが困難な場所を、画像を用いて優先的に探索できる。
第５例では、特定部１５０は、地図情報に基づいて、人が行くことが困難な場所を対象領域として特定する。たとえば、崖の下、森の奥等、所定の物体の種類と、その物体との位置関係とを示す情報が予め定められている。そして、特定部１５０は、地図情報からその所定の種類の物体を特定し、その物体に対して定められた位置関係にある領域を、対象領域として特定する。そうすることで、人が行くことが困難な場所を、画像を用いて優先的に探索できる。
【0047】
なお、上記の各例において、対象領域の大きさおよび形は任意である。例として対象領域の大きさは、１ｍ２以上２５ｍ２以下とすることができる。また、例として対象領域の形は正方形、長方形、または円形である。なお、対象領域の特定方法ごとに、対象領域の大きさや形は異なっていてもよい。
【0048】
検出部１７０は、対象領域を撮像した第２画像を解析することにより、対象物を検出する。以下に詳しく説明する。検出部１７０は、特定部１５０から、対象領域を示す情報を取得する。そして、本実施形態において、検出部１７０は、第２画像記憶部１０２に保持された第２画像のうち、その撮像領域の少なくとも一部と対象領域の少なくとも一部が重なる第２画像を抽出する。検出部１７０は複数の第２画像を抽出してよい。検出部１７０は、各第２画像に関連付けられた撮像位置を示す情報、および撮像方向を示す情報、および第２画像を撮像したカメラ２１０の画角を用いて、地図情報における第２画像の撮像領域を特定できる。そして、検出部１７０は、その第２画像の撮像領域の少なくとも一部と対象領域の少なくとも一部が重なるか否かを判定する。
【0049】
検出部１７０は、検出システム１０に対して予め入力された対象物の情報を用いて、第２画像内の対象物を検出する処理を行う。対象物の情報は、たとえば対象物の特徴量でもよいし、対象物の画像でもよい。検出部１７０は、たとえば、対象物の情報を用いて第２画像にマッチング処理を行うことで、対象物を検出する。
【0050】
なお、検出部１７０は、抽出した第２画像について、検出処理（解析）を行った後に、抽出されなかった第２画像について、さらに検出処理（解析）を行ってもよい。その場合でも、対象領域を撮像した第２画像を優先的に解析することにより、早期に対象物を検出できる可能性が高まる。
【0051】
検出部１７０は、第２画像において対象物が検出されると、その第２画像をユーザが視認可能なディスプレイに出力する。ここで検出部１７０は、検出された対象物を囲う図形を重ねた第２画像を、ディスプレイに表示させてもよい。検出部１７０はさらに、検出された対象物の位置を示す情報、たとえばマップを、ユーザが視認可能なディスプレイに出力してもよい。さらに、検出部１７０は、対象物を検出したことを示す報知音を出力させてもよい。
【0052】
検出システム１０は、地図生成部１３０で生成された地図情報をさらに表示させるよう、ディスプレイに出力してもよい。ここで、地図情報は、参照地図情報と異なる部分が、その他の部分とは識別可能な状態で、ディスプレイに表示されてもよい。また、第１画像のみにより撮像された領域と、第２画像で撮像された領域とが異なる色で表示されてもよい。
【0053】
検出システム１０のハードウエア構成について以下に説明する。検出システム１０の取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０は、取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０のそれぞれを実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、検出システム１０の取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０のそれぞれがハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0054】
図４は、取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、SoC（System On Chip）、Personal Computer（PC）、サーバマシン、タブレット端末、またはスマートフォンなどである。計算機１０００は、検出装置１００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【0055】
取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０は、一つの計算機１０００で実現されてもよいし、複数の計算機１０００の組み合わせにより実現されてもよい。取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０が一つの計算機１０００で実現される場合、その計算機１０００は移動体２０に搭載されていてもよいし、移動体２０から離れて設けられていてもよい。また、取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０が複数の計算機１０００の組み合わせにより実現される場合、その複数の計算機１０００のうち一以上は移動体２０に搭載されていてもよい。また、その複数の計算機１０００のうち一以上は移動体２０から離れて設けられていてもよい。移動体２０に設けられる計算機１０００は、後述する制御部２２０を実現する計算機１０００を兼ねていてもよい。
【0056】
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、およびネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、およびネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、または FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、または ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
【0057】
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイなどの出力装置が接続される。入出力インタフェース１１００が入力装置や出力装置に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【0058】
ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【0059】
ストレージデバイス１０８０は、検出システム１０の取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０のそれぞれを実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
【0060】
また、第１画像記憶部１０１、第２画像記憶部１０２、物体記憶部１０３、および地図記憶部１０４がそれぞれ検出システム１０の内部に設けられる場合、例えば第１画像記憶部１０１、第２画像記憶部１０２、物体記憶部１０３、および地図記憶部１０４は、ストレージデバイス１０８０を用いて実現される。ただし、第１画像記憶部１０１、第２画像記憶部１０２、物体記憶部１０３、および地図記憶部１０４のうち一以上は検出システム１０の外部に設けられてもよい。
【0061】
移動体２０の制御部２２０を実現する計算機のハードウエア構成は、取得部１１０、地図生成部１３０、特定部１５０、および検出部１７０と同様に、例えば図４によって表される。ただし、本実施形態の制御部２２０を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の制御部２２０の機能を実現するプログラムモジュールがさらに記憶される。
【0062】
図５は、本実施形態に係る検出方法の概要を示す図である。本実施形態に係る検出方法は、１以上のコンピュータにより実行される。本実施形態に係る検出方法は、取得ステップＳ１０１、生成ステップＳ１０２、特定ステップＳ１０３および検出ステップＳ１０４を含む。取得ステップＳ１０１では、第１画像と、第１画像よりも狭い範囲を撮像した第２画像とが取得される。生成ステップＳ１０２では、第１画像を用いて地図情報が生成される。特定ステップＳ１０３では、地図情報における対象領域が特定される。検出ステップＳ１０４では、対象領域を撮像した第２画像を解析することにより、対象物が検出される。
【0063】
本実施形態に係る検出方法は、本実施形態に係る検出システム１０によって実現されうる。
【0064】
以上、本実施形態によれば、地図生成部１３０は、第１画像を用いて地図情報を生成する。特定部１５０は、地図情報における対象領域を特定する。そして検出部１７０は、対象領域を撮像した第２画像を解析することにより、対象物を検出する。したがって、画像を用いた対象物の検出を効率よく行える。
【0065】
（第２の実施形態）
図６は、第２の実施形態に係る検出システム１０の機能構成を例示するブロック図である。本実施形態に係る検出システム１０は、以下に説明する点を除いて第１の実施形態に係る検出システム１０と同じである。第２の実施形態に係る検出システム１０は、移動体２０および一以上のカメラ２１０を制御する制御部２２０を備える。制御部２２０は、地図情報に基づいて移動体２０を移動させる。また、制御部２２０は、一以上のカメラ２１０のうち少なくともいずれかに対象領域を撮像させることにより、第２画像を生成させる。
図６は、第２の実施形態に係る検出システム１０の機能構成を例示するブロック図である。本実施形態に係る検出システム１０は、以下に説明する点を除いて第１の実施形態に係る検出システム１０と同じである。第２の実施形態に係る検出システム１０は、移動体２０および一以上のカメラ２１０を制御する制御部２２０を備える。制御部２２０は、地図情報に基づいて移動体２０を移動させる。また、制御部２２０は、一以上のカメラ２１０のうち少なくともいずれかに対象領域を撮像させることにより、第２画像を生成させる。
【0066】
図６の例において、取得部１１０、地図生成部１３０、特定部１５０、第１画像記憶部１０１、第２画像記憶部１０２、物体記憶部１０３、および地図記憶部１０４は移動体２０に搭載されている。そして、検出部１７０は、移動体２０とは別途設けられた検出装置１００に備えられている。検出装置１００と移動体２０の制御部２２０とは、無線接続または有線接続により通信可能である。ただし、本実施形態に係る検出システム１０の構成は本例に限定されない。
【0067】
本実施形態に係る検出システム１０において、取得部１１０は、第１画像および第２画像を、移動体２０に搭載された一以上のカメラ２１０から取得する。図６の例において、検出システム１０はカメラ２１０として第１カメラ２１０ａと第２カメラ２１０ｂとを備えている。第１カメラ２１０ａおよび第２カメラ２１０ｂは、第１の実施形態で説明した第１カメラ２１０および第２カメラ２１０とそれぞれ同様である。以下において、検出システム１０が第１カメラ２１０ａと第２カメラ２１０ｂを備える例について説明するが、第１の実施形態で上述した通り、同じカメラ２１０の撮像条件を切り替えることにより第１画像と第２画像が撮像されてもよい。
【0068】
図７は、本実施形態に係る検出システム１０の処理の流れを例示するフローチャートである。本実施形態に係る移動体２０は、制御部２２０により移動ルートが制御される。移動体２０ではまず第１カメラ２１０ａで第１画像が撮像され、撮像された第１画像を取得部１１０が取得する（Ｓ２０１）。そして、第１の実施形態において説明したのと同様に、地図生成部１３０が第１画像を用いて地図情報を生成し（Ｓ２０２）、特定部１５０が対象領域を特定する（Ｓ２０３）。対象領域が特定されると、制御部２２０は、地図情報に基づいて、第２カメラ２１０ｂで対象領域を撮像可能なように、移動体２０の移動ルートを決定する（Ｓ２０４）。そして、制御部２２０は決定した移動ルートの通りに移動体２０を移動させるよう、移動体２０を制御する。移動体２０が第２カメラ２１０ｂで対象領域を撮像可能な位置に到着すると、制御部２２０は、第２カメラ２１０ｂで対象領域を含む第２画像を撮像する（Ｓ２０５）。取得部１１０は撮像された第２画像を取得し、検出部１７０は取得部１１０で取得された第２画像を解析して対象物を検出する（Ｓ２０６）。
【0069】
このように、本実施形態に係る制御部２２０は、地図情報に基づいて移動体２０を移動させる。また、制御部２２０は、一以上のカメラ２１０のうち少なくともいずれかに対象領域を撮像させることにより、第２画像を生成させる。したがって、予め決まったルートで無作為に撮像が行われる場合に比べて、対象領域を効果的に撮像した第２画像をより得やすい。すなわち、対象領域を特定した後にその対象領域の撮像が行われるため、所望の数の第２画像を得ることが可能であるほか、対象領域をもれなく撮像することも可能となる。
【0070】
図６を参照し、本実施形態に係る検出システム１０について、以下に詳しく説明する。
【0071】
本実施形態に係る検出システム１０では、まず、制御部２２０は、予め決められたルートを移動させる。予め決められたルートは、たとえば、探索領域内をラスタスキャンするようなルートである。そして、制御部２２０は、移動体２０を移動させながら第１カメラ２１０ａに第１画像を撮像させる。より多くの画像を得るために、第１画像に加えて第２カメラ２１０ｂで第２画像が撮像されてもよいが、第２画像はこのとき撮像されなくてもよい。
【0072】
取得部１１０は、第１カメラ２１０ａから第１画像を取得し、第１画像記憶部１０１に保持させる。第１画像に加えて第２画像が撮像されている場合、取得部１１０は第２カメラ２１０ｂから第２画像を取得して第２画像記憶部１０２に保持させてもよい。
【0073】
第２の実施形態に係る地図生成部１３０および特定部１５０が行う処理は、第１の実施形態に係る地図生成部１３０および特定部１５０と同じである。
【0074】
制御部２２０は、生成された地図情報と特定された対象領域に基づいて、移動体２０の次の移動ルートを決定する。具体的には、地図情報における対象領域の位置と範囲を特定し、対象領域に向かって移動体２０が移動し、対象領域内または対象領域の周囲を移動体２０が移動するように、移動ルートを決定する。ここで、対象領域内に立体的な物体（木や建物など）がある場合、その物体を複数の方向から撮像できるよう、その物体の周りを一周以上するように移動ルートを決定することが好ましい。また、立体的な物体に沿って高さ方向にも移動するように、移動ルートを決定することが好ましい。そうすることで、対象領域内の撮像漏れを減らすことができる。移動体２０が飛行体である場合、たとえば制御部２２０は、第１の実施形態で説明した対象領域を特定する方法の第１例から第５例において、対象領域を特定する要因となった物体の周りを螺旋状に移動させるよう、移動ルートを決定してもよい。また、対象領域を特定する要因となった物体を中心として、物体の周りを周回しつつ、徐々に物体から離れるように移動ルートを決定してもよい。
【0075】
移動ルートが決定されると制御部２２０は、その移動ルートに従って移動体２０を移動させる。そして、第２カメラ２１０ｂに対象領域を撮像させる。対象領域内の撮像漏れをできるだけ無くすよう、制御部２２０は第２カメラ２１０ｂに複数の第２画像を撮像させることが好ましい。
【0076】
取得部１１０は第２カメラ２１０ｂが対象領域を撮像した第２画像を取得する。そして、特定部１５０は、第１の実施形態で説明したように、第２画像を解析して対象物を検出する。
【0077】
次に、本実施形態の作用および効果について説明する。本実施形態においては第１の実施形態と同様の作用および効果が得られる。加えて、本実施形態に係る制御部２２０は、地図情報に基づいて移動体２０を移動させる。また、制御部２２０は、一以上のカメラ２１０のうち少なくともいずれかに対象領域を撮像させることにより、第２画像を生成させる。したがって、予め決まったルートで無作為に撮像が行われる場合に比べて、対象領域を効果的に撮像した第２画像をより効率よく得られる。
【0078】
（第３の実施形態）
第３の実施形態に係る検出システム１０は、以下に説明する点を除いて第１および第２の実施形態の少なくともいずれかに係る検出システム１０と同じである。本実施形態に係る検出システム１０では、地図生成部１３０が、第２画像を用いて、物体の三次元形状を特定し、地図情報に追加することにより、三次元地図情報を生成する。以下に詳しく説明する。
第３の実施形態に係る検出システム１０は、以下に説明する点を除いて第１および第２の実施形態の少なくともいずれかに係る検出システム１０と同じである。本実施形態に係る検出システム１０では、地図生成部１３０が、第２画像を用いて、物体の三次元形状を特定し、地図情報に追加することにより、三次元地図情報を生成する。以下に詳しく説明する。
【0079】
図８は、本実施形態に係る検出システム１０の構成を例示するブロック図である。図８の例において、検出システム１０は、測距装置２３０を備える。測距装置２３０は、たとえば赤外線レーダー、ＬｉＤＡＲ（Light Detection And Ranging）、ステレオカメラであり、移動体２０に搭載されている。測距装置２３０によれば、移動体２０から物体表面の各点までの距離測定が可能であり、物体の三次元情報が得られる。検出システム１０は複数の測距装置２３０を備えてもよい。ただし、本実施形態に係る検出システム１０は、必ずしも測距装置２３０を備えなくてもよい。また、検出装置１００は表示部１９０を備える。表示部１９０はたとえばディスプレイである。
【0080】
本実施形態に係る取得部１１０は、測距装置２３０による測定結果をさらに取得する。地図生成部１３０は、測距装置２３０による測定結果を用いて物体の三次元形状と距離の少なくとも一方を特定し、地図情報に追加することにより、三次元地図情報を生成する。
【0081】
たとえば移動体２０が飛行体である場合、木などの物体を避けながら三次元に飛行することにより、効率よく第２画像が得られる。一方で、ある程度は物体に接近しつつ撮像することにより、対象物検知に適した第２画像が得られるとも言える。これらの両立のためには、物体の三次元形状をできるだけ正確に把握することが好ましい。本実施形態によれば、三次元地図情報が生成されることにより、移動体２０が安全に行ける場所と行けない場所がより明確になる。ひいては、移動体２０が安全に行ける場所に精度良く移動して、有効な第２画像をより多く撮像できる。また、移動体２０が行けない場所を、たとえば人が直接確認する必要がある場所として把握することができる。
【0082】
本実施形態に係る地図生成部１３０は、第１画像を用いて特定された物体の三次元形状を、第２画像を用いて特定する。ここで地図生成部１３０が三次元形状の特定に用いる第２画像は、第１の実施形態のように対象領域を特定する前に撮像された画像でもよいし、第２画像のように特定した対象領域に基づくルートで移動体２０が移動することにより、撮像された画像でもよい。たとえば、複数の対象領域が特定された場合、各対象領域についての第２画像が得られるたびに地図生成部１３０が三次元地図情報を更新する。そして、更新された地図情報に基づいて、次の対象領域についての移動ルートを決定する。そうすることで、移動ルートの精度を高めることができる。
【0083】
また、本実施形態において制御部２２０は、三次元形状を特定すべき物体を撮像するように移動体２０および第２カメラ２１０ｂを制御することにより、第２画像を得てもよい。三次元形状を特定すべき物体は、地図生成部１３０により種類が特定された物体の全て、または、地図生成部１３０により種類が特定された物体のうち、所定の種類の物体であってよい。たとえば制御部２２０は、三次元形状を特定すべき物体の周りを螺旋状に移動させるよう、移動体２０の移動ルートを決定してもよい。また、対象領域を特定する要因となった物体を中心として、物体の周りを周回しつつ、徐々に物体から離れるように移動体２０の移動ルートを決定してもよい。そして制御部２２０は、決定した移動ルートで移動体２０を移動させつつ、第２カメラ２１０ｂに三次元形状を特定すべき物体を含む第２画像を撮像させることができる。また、このように撮像された第２画像に対しても、検出部１７０が対象物を検出するための解析を行ってもよい。
【0084】
地図生成部１３０が物体の三次元形状を特定する方法の例について、以下に説明する。たとえば、地図生成部１３０は、複数の方向から物体を撮像した第２画像を用いて、その物体の形状および大きさを特定する。たとえば物体が木である場合、三次元形状として、その大きさや枝ぶりが特定される。また、測距装置２３０からは、物体の表面における複数の点の三次元位置を示す点群データが得られる。地図生成部１３０は、測距装置２３０から点群データを取得し、地図情報に示された物体の位置および種類に基づいて、その物体に対応する点データを抽出する。そして、抽出した点データがその物体の表面に含まれるように、物体の三次元形状を特定する。
【0085】
地図生成部１３０は、特定した各物体の三次元形状を示す情報を、地図情報に加えることにより、三次元地図情報を生成する。ここで地図生成部１３０は、「第２画像に写った領域」、すなわち第２画像により状況が確認された領域と、「第２画像に写っていない領域」とを識別するための情報を三次元地図情報に含めてもよい。たとえば、移動体２０が入り込んでいくことが難しく、撮像することができなかった木の陰などが、いわゆる死角であり、第２画像に写っていない領域となる。
【0086】
図８の例において、検出システム１０は表示部１９０をさらに備える。表示部１９０はたとえばディスプレイである。図８の例において、表示部１９０は、検出装置１００に備えられているが、表示部１９０は、検出装置１００とは別途設けられていてもよい。表示部１９０は、地図生成部１３０で生成された三次元地図情報を表示する。なお、表示部１９０は、第２画像に写った領域と、写っていない領域とを識別可能な状態で三次元地図情報を表示してもよい。たとえば、第２画像に写った領域を、写っていない領域とは異なる色味で表示させてもよい。このような表示を確認したユーザは、画像によって確認できていない領域を把握することができ、必要に応じて、人が直接確認に行くなど、他の方法を講じることができる。
【0087】
次に、本実施形態の作用および効果について説明する。本実施形態においては第１または第２の実施形態と同様の作用および効果が得られる。加えて、本実施形態に係る地図生成部１３０は、第２画像を用いて、物体の三次元形状を特定し、地図情報に追加することにより、三次元地図情報を生成する。したがって、移動体２０が安全に行ける場所と行けない場所がより明確になる。ひいては、移動体２０が安全に行ける場所に精度良く移動して、有効な第２画像をより多く撮像できる。また、移動体２０が行けない場所を、たとえば人が直接確認する必要がある場所として把握することができる。
【0088】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0089】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0090】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１－１． 第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
検出システム。
１－２． １－１．に記載の検出システムにおいて、
前記取得手段は、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
検出システム。
１－３． １－２．に記載の検出システムにおいて、
前記移動体および前記一以上のカメラをさらに備える
検出システム。
１－４． １－２．または１－３．に記載の検出システムにおいて、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
検出システム。
１－５． １－２．から１－４．のいずれか一つに記載の検出システムにおいて、
前記移動体は飛行体である
検出システム。
１－６． １－２．から１－５．のいずれか一つに記載の検出システムにおいて、
前記移動体および前記一以上のカメラを制御する制御手段をさらに備え、
前記制御手段は、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
検出システム。
１－７． １－１．から１－５．のいずれか一つに記載の検出システムにおいて、
前記検出手段は、
前記取得手段が取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
検出システム。
１－８． １－１．から１－７．のいずれか一つに記載の検出システムにおいて、
前記地図生成手段は、前記第１画像を用いて、物体の種類および位置の情報を含む前記地図情報を生成する
検出システム。
１－９． １－８．に記載の検出システムにおいて、
前記地図生成手段は、前記第２画像を用いて、前記物体の三次元形状を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出システム。
１－１０． １－８．または１－９．に記載の検出システムにおいて、
前記取得手段は、測距装置による測定結果をさらに取得し、
前記地図生成手段は、前記測距装置による測定結果を用いて前記物体の三次元形状と距離の少なくとも一方を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出システム。
１－１１． １－９．または１－１０．に記載の検出システムにおいて、
前記三次元地図情報を表示する表示手段をさらに備え、
前記表示手段は、前記第２画像に写った領域と、写っていない領域とを識別可能な状態で前記三次元地図情報を表示する
検出システム。
１－１２． １－８．から１－１１．のいずれか一つに記載の検出システムにおいて、
前記特定手段は、前記第１画像を用いて特定された前記物体の種類の確からしさに基づいて、前記対象領域を特定する
検出システム。
１－１３． １－１．から１－１２．のいずれか一つに記載の検出システムにおいて、
前記特定手段は、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
検出システム。
２－１． １以上のコンピュータが、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得し、
前記第１画像を用いて地図情報を生成し、
前記地図情報における対象領域を特定し、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する
検出方法。
２－２． ２－１．に記載の検出方法において、
前記１以上のコンピュータは、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
検出方法。
２－３． ２－２．に記載の検出方法において、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
検出方法。
２－４． ２－２．または２－３．に記載の検出方法において、
前記移動体は飛行体である
検出方法。
２－５． ２－２．から２－４．のいずれか一つに記載の検出方法において、
前記１以上のコンピュータはさらに、前記移動体および前記一以上のカメラを制御し、
前記１以上のコンピュータは、前記移動体および前記一以上のカメラの制御において、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
検出方法。
２－６． ２－１．から２－４．のいずれか一つに記載の検出方法において、
前記１以上のコンピュータは、
取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
検出方法。
２－７． ２－１．から２－６．のいずれか一つに記載の検出方法において、
前記１以上のコンピュータは、前記第１画像を用いて、物体の種類および位置の情報を含む前記地図情報を生成する
検出方法。
２－８． ２－７．に記載の検出方法において、
前記１以上のコンピュータは、前記第２画像を用いて、前記物体の三次元形状を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出方法。
２－９． ２－７．または２－８．に記載の検出方法において、
前記１以上のコンピュータは、
測距装置による測定結果をさらに取得し、
前記測距装置による測定結果を用いて前記物体の三次元形状と距離の少なくとも一方を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出方法。
２－１０． ２－７．から２－１０．のいずれか一つに記載の検出方法において、
前記１以上のコンピュータは、前記第１画像を用いて特定された前記物体の種類の確からしさに基づいて、前記対象領域を特定する
検出方法。
２－１１． ２－１．から２－１０．のいずれか一つに記載の検出方法において、
前記１以上のコンピュータは、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
検出方法。
３－１． 第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
検出装置。
３－２． ３－１．に記載の検出装置において、
前記取得手段は、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
検出装置。
３－３． ３－２．に記載の検出装置において、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
検出装置。
３－４． ３－２．または３－３．に記載の検出装置において、
前記移動体は飛行体である
検出装置。
３－５． ３－２．から３－４．のいずれか一つに記載の検出装置において、
前記移動体および前記一以上のカメラを制御する制御手段をさらに備え、
前記制御手段は、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
検出装置。
３－６． ３－１．から３－４．のいずれか一つに記載の検出装置において、
前記検出手段は、
前記取得手段が取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
検出装置。
３－７． ３－１．から３－６．のいずれか一つに記載の検出装置において、
前記地図生成手段は、前記第１画像を用いて、物体の種類および位置の情報を含む前記地図情報を生成する
検出装置。
３－８． ３－７．に記載の検出装置において、
前記地図生成手段は、前記第２画像を用いて、前記物体の三次元形状を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出装置。
３－９． ３－７．または３－８．に記載の検出装置において、
前記取得手段は、測距装置による測定結果をさらに取得し、
前記地図生成手段は、前記測距装置による測定結果を用いて前記物体の三次元形状と距離の少なくとも一方を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出装置。
３－１０． ３－８．または３－９．に記載の検出装置において、
前記三次元地図情報を表示する表示手段をさらに備え、
前記表示手段は、前記第２画像に写った領域と、写っていない領域とを識別可能な状態で前記三次元地図情報を表示する
検出装置。
３－１１． ３－７．から３－１０．のいずれか一つに記載の検出装置において、
前記特定手段は、前記第１画像を用いて特定された前記物体の種類の確からしさに基づいて、前記対象領域を特定する
検出装置。
３－１２． ３－１．から３－１１．のいずれか一つに記載の検出装置において、
前記特定手段は、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
検出装置。
４－１． コンピュータを検出装置として機能させるプログラムであって、
前記検出装置は、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
プログラム。
４－２． ４－１．に記載のプログラムにおいて、
前記取得手段は、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
プログラム。
４－３． ４－２．に記載のプログラムにおいて、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
プログラム。
４－４． ４－２．または４－３．に記載のプログラムにおいて、
前記移動体は飛行体である
プログラム。
４－５． ４－２．から４－４．のいずれか一つに記載のプログラムにおいて、
前記検出装置は、前記移動体および前記一以上のカメラを制御する制御手段をさらに備え、
前記制御手段は、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
プログラム。
４－６． ４－１．から４－４．のいずれか一つに記載のプログラムにおいて、
前記検出手段は、
前記取得手段が取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
プログラム。
４－７． ４－１．から４－６．のいずれか一つに記載のプログラムにおいて、
前記地図生成手段は、前記第１画像を用いて、物体の種類および位置の情報を含む前記地図情報を生成する
プログラム。
４－８． ４－７．に記載のプログラムにおいて、
前記地図生成手段は、前記第２画像を用いて、前記物体の三次元形状を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
プログラム。
４－９． ４－７．または４－８．に記載のプログラムにおいて、
前記取得手段は、測距装置による測定結果をさらに取得し、
前記地図生成手段は、前記測距装置による測定結果を用いて前記物体の三次元形状と距離の少なくとも一方を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
プログラム。
４－１０． ４－７．から４－９．のいずれか一つに記載のプログラムにおいて、
前記特定手段は、前記第１画像を用いて特定された前記物体の種類の確からしさに基づいて、前記対象領域を特定する
プログラム。
４－１１． ４－１．から４－１０．のいずれか一つに記載のプログラムにおいて、
前記特定手段は、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
プログラム。
５－１． プログラムを記録しているコンピュータ読み取り可能な記録媒体であって、前記プログラムは、コンピュータを検出装置として機能させ、
前記検出装置は、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
記録媒体。
５－２． ５－１．に記載の記録媒体において、
前記取得手段は、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
記録媒体。
５－３． ５－２．に記載の記録媒体において、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
記録媒体。
５－４． ５－２．または５－３．に記載の記録媒体において、
前記移動体は飛行体である
記録媒体。
５－５． ５－２．から５－４．のいずれか一つに記載の記録媒体において、
前記検出装置は、前記移動体および前記一以上のカメラを制御する制御手段をさらに備え、
前記制御手段は、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
記録媒体。
５－６． ５－１．から５－４．のいずれか一つに記載の記録媒体において、
前記検出手段は、
前記取得手段が取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
記録媒体。
５－７． ５－１．から５－６．のいずれか一つに記載の記録媒体において、
前記地図生成手段は、前記第１画像を用いて、物体の種類および位置の情報を含む前記地図情報を生成する
記録媒体。
５－８． ５－７．に記載の記録媒体において、
前記地図生成手段は、前記第２画像を用いて、前記物体の三次元形状を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
記録媒体。
５－９． ５－７．または５－８．に記載の記録媒体において、
前記取得手段は、測距装置による測定結果をさらに取得し、
前記地図生成手段は、前記測距装置による測定結果を用いて前記物体の三次元形状と距離の少なくとも一方を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
記録媒体。
５－１０． ５－７．から５－１９．のいずれか一つに記載の記録媒体において、
前記特定手段は、前記第１画像を用いて特定された前記物体の種類の確からしさに基づいて、前記対象領域を特定する
記録媒体。
５－１１． ５－１．から５－１０．のいずれか一つに記載の記録媒体において、
前記特定手段は、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
記録媒体。
１－１． 第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
検出システム。
１－２． １－１．に記載の検出システムにおいて、
前記取得手段は、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
検出システム。
１－３． １－２．に記載の検出システムにおいて、
前記移動体および前記一以上のカメラをさらに備える
検出システム。
１－４． １－２．または１－３．に記載の検出システムにおいて、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
検出システム。
１－５． １－２．から１－４．のいずれか一つに記載の検出システムにおいて、
前記移動体は飛行体である
検出システム。
１－６． １－２．から１－５．のいずれか一つに記載の検出システムにおいて、
前記移動体および前記一以上のカメラを制御する制御手段をさらに備え、
前記制御手段は、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
検出システム。
１－７． １－１．から１－５．のいずれか一つに記載の検出システムにおいて、
前記検出手段は、
前記取得手段が取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
検出システム。
１－８． １－１．から１－７．のいずれか一つに記載の検出システムにおいて、
前記地図生成手段は、前記第１画像を用いて、物体の種類および位置の情報を含む前記地図情報を生成する
検出システム。
１－９． １－８．に記載の検出システムにおいて、
前記地図生成手段は、前記第２画像を用いて、前記物体の三次元形状を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出システム。
１－１０． １－８．または１－９．に記載の検出システムにおいて、
前記取得手段は、測距装置による測定結果をさらに取得し、
前記地図生成手段は、前記測距装置による測定結果を用いて前記物体の三次元形状と距離の少なくとも一方を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出システム。
１－１１． １－９．または１－１０．に記載の検出システムにおいて、
前記三次元地図情報を表示する表示手段をさらに備え、
前記表示手段は、前記第２画像に写った領域と、写っていない領域とを識別可能な状態で前記三次元地図情報を表示する
検出システム。
１－１２． １－８．から１－１１．のいずれか一つに記載の検出システムにおいて、
前記特定手段は、前記第１画像を用いて特定された前記物体の種類の確からしさに基づいて、前記対象領域を特定する
検出システム。
１－１３． １－１．から１－１２．のいずれか一つに記載の検出システムにおいて、
前記特定手段は、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
検出システム。
２－１． １以上のコンピュータが、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得し、
前記第１画像を用いて地図情報を生成し、
前記地図情報における対象領域を特定し、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する
検出方法。
２－２． ２－１．に記載の検出方法において、
前記１以上のコンピュータは、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
検出方法。
２－３． ２－２．に記載の検出方法において、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
検出方法。
２－４． ２－２．または２－３．に記載の検出方法において、
前記移動体は飛行体である
検出方法。
２－５． ２－２．から２－４．のいずれか一つに記載の検出方法において、
前記１以上のコンピュータはさらに、前記移動体および前記一以上のカメラを制御し、
前記１以上のコンピュータは、前記移動体および前記一以上のカメラの制御において、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
検出方法。
２－６． ２－１．から２－４．のいずれか一つに記載の検出方法において、
前記１以上のコンピュータは、
取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
検出方法。
２－７． ２－１．から２－６．のいずれか一つに記載の検出方法において、
前記１以上のコンピュータは、前記第１画像を用いて、物体の種類および位置の情報を含む前記地図情報を生成する
検出方法。
２－８． ２－７．に記載の検出方法において、
前記１以上のコンピュータは、前記第２画像を用いて、前記物体の三次元形状を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出方法。
２－９． ２－７．または２－８．に記載の検出方法において、
前記１以上のコンピュータは、
測距装置による測定結果をさらに取得し、
前記測距装置による測定結果を用いて前記物体の三次元形状と距離の少なくとも一方を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出方法。
２－１０． ２－７．から２－１０．のいずれか一つに記載の検出方法において、
前記１以上のコンピュータは、前記第１画像を用いて特定された前記物体の種類の確からしさに基づいて、前記対象領域を特定する
検出方法。
２－１１． ２－１．から２－１０．のいずれか一つに記載の検出方法において、
前記１以上のコンピュータは、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
検出方法。
３－１． 第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
検出装置。
３－２． ３－１．に記載の検出装置において、
前記取得手段は、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
検出装置。
３－３． ３－２．に記載の検出装置において、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
検出装置。
３－４． ３－２．または３－３．に記載の検出装置において、
前記移動体は飛行体である
検出装置。
３－５． ３－２．から３－４．のいずれか一つに記載の検出装置において、
前記移動体および前記一以上のカメラを制御する制御手段をさらに備え、
前記制御手段は、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
検出装置。
３－６． ３－１．から３－４．のいずれか一つに記載の検出装置において、
前記検出手段は、
前記取得手段が取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
検出装置。
３－７． ３－１．から３－６．のいずれか一つに記載の検出装置において、
前記地図生成手段は、前記第１画像を用いて、物体の種類および位置の情報を含む前記地図情報を生成する
検出装置。
３－８． ３－７．に記載の検出装置において、
前記地図生成手段は、前記第２画像を用いて、前記物体の三次元形状を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出装置。
３－９． ３－７．または３－８．に記載の検出装置において、
前記取得手段は、測距装置による測定結果をさらに取得し、
前記地図生成手段は、前記測距装置による測定結果を用いて前記物体の三次元形状と距離の少なくとも一方を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
検出装置。
３－１０． ３－８．または３－９．に記載の検出装置において、
前記三次元地図情報を表示する表示手段をさらに備え、
前記表示手段は、前記第２画像に写った領域と、写っていない領域とを識別可能な状態で前記三次元地図情報を表示する
検出装置。
３－１１． ３－７．から３－１０．のいずれか一つに記載の検出装置において、
前記特定手段は、前記第１画像を用いて特定された前記物体の種類の確からしさに基づいて、前記対象領域を特定する
検出装置。
３－１２． ３－１．から３－１１．のいずれか一つに記載の検出装置において、
前記特定手段は、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
検出装置。
４－１． コンピュータを検出装置として機能させるプログラムであって、
前記検出装置は、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
プログラム。
４－２． ４－１．に記載のプログラムにおいて、
前記取得手段は、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
プログラム。
４－３． ４－２．に記載のプログラムにおいて、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
プログラム。
４－４． ４－２．または４－３．に記載のプログラムにおいて、
前記移動体は飛行体である
プログラム。
４－５． ４－２．から４－４．のいずれか一つに記載のプログラムにおいて、
前記検出装置は、前記移動体および前記一以上のカメラを制御する制御手段をさらに備え、
前記制御手段は、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
プログラム。
４－６． ４－１．から４－４．のいずれか一つに記載のプログラムにおいて、
前記検出手段は、
前記取得手段が取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
プログラム。
４－７． ４－１．から４－６．のいずれか一つに記載のプログラムにおいて、
前記地図生成手段は、前記第１画像を用いて、物体の種類および位置の情報を含む前記地図情報を生成する
プログラム。
４－８． ４－７．に記載のプログラムにおいて、
前記地図生成手段は、前記第２画像を用いて、前記物体の三次元形状を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
プログラム。
４－９． ４－７．または４－８．に記載のプログラムにおいて、
前記取得手段は、測距装置による測定結果をさらに取得し、
前記地図生成手段は、前記測距装置による測定結果を用いて前記物体の三次元形状と距離の少なくとも一方を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
プログラム。
４－１０． ４－７．から４－９．のいずれか一つに記載のプログラムにおいて、
前記特定手段は、前記第１画像を用いて特定された前記物体の種類の確からしさに基づいて、前記対象領域を特定する
プログラム。
４－１１． ４－１．から４－１０．のいずれか一つに記載のプログラムにおいて、
前記特定手段は、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
プログラム。
５－１． プログラムを記録しているコンピュータ読み取り可能な記録媒体であって、前記プログラムは、コンピュータを検出装置として機能させ、
前記検出装置は、
第１画像と、前記第１画像よりも狭い範囲を撮像した第２画像とを取得する取得手段と、
前記第１画像を用いて地図情報を生成する地図生成手段と、
前記地図情報における対象領域を特定する特定手段と、
前記対象領域を撮像した前記第２画像を解析することにより、対象物を検出する検出手段とを備える
記録媒体。
５－２． ５－１．に記載の記録媒体において、
前記取得手段は、前記第１画像および前記第２画像を、移動体に搭載された一以上のカメラから取得する
記録媒体。
５－３． ５－２．に記載の記録媒体において、
前記第１画像は前記一以上のカメラのうちの第１カメラで撮像される画像であり、前記第２画像は前記一以上のカメラのうちの前記第１カメラとは異なる第２カメラで撮像される画像である
記録媒体。
５－４． ５－２．または５－３．に記載の記録媒体において、
前記移動体は飛行体である
記録媒体。
５－５． ５－２．から５－４．のいずれか一つに記載の記録媒体において、
前記検出装置は、前記移動体および前記一以上のカメラを制御する制御手段をさらに備え、
前記制御手段は、
前記地図情報に基づいて前記移動体を移動させ、
前記一以上のカメラのうち少なくともいずれかに前記対象領域を撮像させることにより、前記第２画像を生成させる
記録媒体。
５－６． ５－１．から５－４．のいずれか一つに記載の記録媒体において、
前記検出手段は、
前記取得手段が取得した複数の前記第２画像から、解析すべき前記第２画像を抽出し、
抽出された前記第２画像を解析することにより、前記対象物を検出する
記録媒体。
５－７． ５－１．から５－６．のいずれか一つに記載の記録媒体において、
前記地図生成手段は、前記第１画像を用いて、物体の種類および位置の情報を含む前記地図情報を生成する
記録媒体。
５－８． ５－７．に記載の記録媒体において、
前記地図生成手段は、前記第２画像を用いて、前記物体の三次元形状を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
記録媒体。
５－９． ５－７．または５－８．に記載の記録媒体において、
前記取得手段は、測距装置による測定結果をさらに取得し、
前記地図生成手段は、前記測距装置による測定結果を用いて前記物体の三次元形状と距離の少なくとも一方を特定し、前記地図情報に追加することにより、三次元地図情報を生成する
記録媒体。
５－１０． ５－７．から５－１９．のいずれか一つに記載の記録媒体において、
前記特定手段は、前記第１画像を用いて特定された前記物体の種類の確からしさに基づいて、前記対象領域を特定する
記録媒体。
５－１１． ５－１．から５－１０．のいずれか一つに記載の記録媒体において、
前記特定手段は、前記地図情報と、予め保持された参照地図情報との差を検出し、その検出結果に基づいて前記対象領域を特定する
記録媒体。
【符号の説明】
【0091】
１０ 検出システム
２０ 移動体
１００ 検出装置
１０１ 第１画像記憶部
１０２ 第２画像記憶部
１０３ 物体記憶部
１０４ 地図記憶部
１１０ 取得部
１３０ 地図生成部
１５０ 特定部
１７０ 検出部
１９０ 表示部
２１０ カメラ
２１０ａ 第１カメラ
２１０ｂ 第２カメラ
２２０ 制御部
２３０ 測距装置
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０ 移動体
１００ 検出装置
１０１ 第１画像記憶部
１０２ 第２画像記憶部
１０３ 物体記憶部
１０４ 地図記憶部
１１０ 取得部
１３０ 地図生成部
１５０ 特定部
１７０ 検出部
１９０ 表示部
２１０ カメラ
２１０ａ 第１カメラ
２１０ｂ 第２カメラ
２２０ 制御部
２３０ 測距装置
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】