特許 7437930 移動体及び撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】移動体及び撮像システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240216BHJP

【ＦＩ】

G06T7/00 650B

G06T7/00 300E

【請求項の数】 4

(21)【出願番号】P 2019234077

(22)【出願日】2019-12-25

(65)【公開番号】P2021103410

(43)【公開日】2021-07-15

【審査請求日】2022-11-17

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】阿部 幸司

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２０１２－０７８９５０（ＪＰ，Ａ）

【文献】特開２００４－０３８６２４（ＪＰ，Ａ）

【文献】特開２００３－２７６９６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象物体に対して相対的に移動する移動体であって、
基準撮像装置が前記対象物体が存在し得る監視範囲を撮像した基準画像を判定用画像として受信するとともに、操作者により前記基準画像において前記対象物体が写るとして指定された領域を対象物領域として受信する通信手段と、
前記監視範囲を撮像した移動体画像を順次出力する移動体撮像手段と、
前記判定用画像の特徴点と前記移動体画像の特徴点を比較して、前記移動体画像において前記対象物領域に対応する部分領域の存否を判定する判定手段と、
前記部分領域が存在すると判定された前記移動体画像を当該部分領域と対応付けて記憶する移動体記憶手段と、
を有し、
前記判定手段は、前記対象物領域のサイズと前記部分領域のサイズとの相違度が所定の閾値を超えた場合に、前記移動体記憶手段に記憶された最新の前記移動体画像を前記判定用画像に変更し、当該移動体画像に対応付けられた部分領域を前記対象物領域に変更する
ことを特徴とした移動体。

【請求項2】

前記移動体は、更に、
前記基準画像を撮像したときの前記基準撮像装置の焦点距離、前記移動体画像を撮像したときの前記移動体撮像手段の焦点距離、前記基準画像を撮像したときの前記基準撮像装置から前記対象物体までの距離、及び前記移動体画像を撮像したときの前記移動体撮像手段から前記対象物体までの距離に基づいて、前記対象物領域のサイズと前記移動体記憶手段に記憶された前記部分領域のサイズとの比を、前記相違度として計算する相違度推定手段
を有することを特徴とした請求項１に記載の移動体。

【請求項3】

対象物体が存在し得る監視範囲を撮像する基準撮像装置と、前記対象物体に対して相対的に移動し、かつ、前記監視範囲を撮像した移動体画像を出力する移動体撮像手段を備えた移動体と、を含む撮像システムであって、
前記移動体は、
前記基準撮像装置が前記監視範囲を撮像した基準画像を判定用画像として受信するとともに、操作者により前記基準画像において前記対象物体が写るとして指定された領域を対象物領域として受信する通信手段と、
前記判定用画像の特徴点と前記移動体画像の特徴点を比較して、前記移動体画像において前記対象物領域に対応する部分領域の存否を判定する判定手段と、
前記部分領域が存在すると判定された前記移動体画像を当該部分領域と対応付けて記憶する移動体記憶手段と、
を有し、
前記判定手段は、前記対象物領域のサイズと前記部分領域のサイズとの相違度が所定の閾値を超えた場合に、前記移動体記憶手段に記憶された最新の前記移動体画像を前記判定用画像に変更し、当該移動体画像に対応付けられた部分領域を前記対象物領域に変更する
ことを特徴とした撮像システム。

【請求項4】

対象物体が存在し得る監視範囲を撮像する基準撮像装置と、前記対象物体に対して相対的に移動し、かつ、前記監視範囲を撮像した移動体画像を出力する移動体撮像手段を備えた移動体と、前記移動体及び前記基準撮像装置と通信可能に接続された情報処理装置と、を含む撮像システムであって、
前記情報処理装置は、
前記基準撮像装置が前記監視範囲を撮像した基準画像を判定用画像として受信するとともに、操作者により前記基準画像において前記対象物体が写るとして指定された領域を対象物領域として受信し、かつ、前記移動体から前記移動体画像を受信する通信手段と、
前記判定用画像の特徴点と前記移動体画像の特徴点を比較して、前記移動体画像において前記対象物領域に対応する部分領域の存否を判定する判定手段と、
前記部分領域が存在すると判定された前記移動体画像を当該部分領域と対応付けて記憶する移動体記憶手段と、
を有し、
前記判定手段は、前記対象物領域のサイズと前記部分領域のサイズとの相違度が所定の閾値を超えた場合に、前記移動体記憶手段に記憶された最新の前記移動体画像を前記判定用画像に変更し、当該移動体画像に対応付けられた部分領域を前記対象物領域に変更する
ことを特徴とした撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体及び撮像システムに関する。

【背景技術】

【0002】

ある程度広さがある場所を撮像して画像監視を行うべく、複数のカメラを併用することが行われている。例えば、広角に撮像できる基準撮像装置を設置すると共に、ドローンが例示される移動体にカメラを搭載して、基準撮像装置の画像を目視した操作者（監視員）が撮像対象とすべき異常状態を発見すると、異常状態が発生している場所に移動体を向かわせて拡大撮像する。

【0003】

ここで操作者が一旦基準撮像装置の画像中で撮像対象を指定した後は、自動でドローンを飛行させて、搭載したカメラにて撮像対象を撮像する構成とすれば、撮像対象の位置を把握するセンサー類が不要となる。そのためには、指定された撮像対象の画像情報と移動体（以下、ドローンである場合を例に説明する）に搭載されたカメラ（ドローンカメラ）の画像情報が異なった位置にて撮像されても関連付ける必要がある。

【0004】

非特許文献１では、撮像位置が異なる画像に写った物体の画像情報の関連付けに関する一手法として、カメラが移動するなどにより視点が変化した２枚の画像について、局所的な画像特徴の比較による特徴点マッチングを行っている。そして、片方の画像の物体から抽出された特徴点群にマッチする、もう一方の画像から抽出された特徴点群が、数種類の大きさが設定された局所領域に集中すると、２枚の画像には同じ物体が写っていると判定する。

【先行技術文献】

【非特許文献】

【0005】

【文献】Bian, J., Lin, W.Y., Matsushita, Y., Yeung, S.K., Nguyen, T.D., Cheng, M.M.:GMS: Grid-based motion statistics for fast, ultra-robust feature correspondence.In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE(2017) 4181-4190

【発明の概要】

【発明が解決しようとする課題】

【0006】

監視領域において対象物体が基準撮像装置から遠くに位置していると、ドローンが発進して間もないときは、ドローンカメラの画像と基準撮像装置の画像中に写る対象物体の大きさに大きな違いはないが、ドローンが対象物体に近づくと、ドローンカメラの画像と基準撮像装置の画像中に写る対象物体の大きさは大きく異なってしまう。基準撮像装置の画像中に写る対象物体は、基準撮像装置が広角であることも影響して小さく写る。ドローンカメラの画像には、対象物体に近づいているが故に大きく写る。

【0007】

異なる画像間で同一物体か否かを判定するには、例えば非特許文献１のように物体領域から特徴点を抽出して、その周囲の小領域から画像特徴を計算して類似判定を行うことができる。しかし画像中での大きさに差があり過ぎると、同一物体の同じ部位の特徴点の周囲から特徴量を求めても異なってしまい、同一の対象物体を同一と扱うことが難しくなって見失ったり（失報）、異なる物体を同一の物体と判定する（誤報）可能性があるという問題があった。

【0008】

そこで、本発明では、移動体の移動に伴って画像上の対象物体のサイズが変動しても、移動体の撮像手段によって撮像された画像に、対象物体が写っているか否かを精度よく判定することができる移動体及び撮像システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記の目的を達成するために本発明に係る移動体は、対象物体に対して相対的に移動する移動体であって、基準撮像装置が前記対象物体が存在し得る監視範囲を撮像した基準画像を判定用画像として受信するとともに、操作者により前記基準画像において前記対象物体が写るとして指定された領域を対象物領域として受信する通信手段と、前記監視範囲を撮像した移動体画像を順次出力する移動体撮像手段と、前記判定用画像の特徴点と前記移動体画像の特徴点を比較して、前記移動体画像において前記対象物領域に対応する部分領域の存否を判定する判定手段と、前記部分領域が存在すると判定された前記移動体画像を当該部分領域と対応付けて記憶する移動体記憶手段と、を有し、前記判定手段は、前記対象物領域のサイズと前記部分領域のサイズとの相違度が所定の閾値を超えた場合に、前記移動体記憶手段に記憶された最新の前記移動体画像を前記判定用画像に変更し、当該移動体画像に対応付けられた部分領域を前記対象物領域に変更することを特徴とする。

【0010】

本発明に係る移動体によれば、通信手段が、基準撮像装置が前記対象物体が存在し得る監視範囲を撮像した基準画像を判定用画像として受信するとともに、操作者により前記基準画像において前記対象物体が写るとして指定された領域を対象物領域として受信する。移動体撮像手段が、前記監視範囲を撮像した移動体画像を順次出力する。

【0011】

そして、判定手段は、前記判定用画像の特徴点と前記移動体画像の特徴点を比較して、前記移動体画像において前記対象物領域に対応する部分領域の存否を判定する。また、前記判定手段は、前記対象物領域のサイズと前記部分領域のサイズとの相違度が所定の閾値を超えた場合に、前記移動体記憶手段に記憶された最新の前記移動体画像を前記判定用画像に変更し、当該移動体画像に対応付けられた部分領域を前記対象物領域に変更する。そして、移動体記憶手段は、前記部分領域が存在すると判定された前記移動体画像を当該部分領域と対応付けて記憶する。

【0012】

また、前記移動体は、更に、前記基準画像を撮像したときの前記基準撮像装置の焦点距離、前記移動体画像を撮像したときの前記移動体撮像手段の焦点距離、前記基準画像を撮像したときの前記基準撮像装置から前記対象物体までの距離、及び前記移動体画像を撮像したときの前記移動体撮像手段から前記対象物体までの距離に基づいて、前記対象物領域のサイズと前記移動体記憶手段に記憶された前記部分領域のサイズとの比を、前記相違度として計算する相違度推定手段を有することが好適である。

【0013】

本発明に係る撮像システムは、対象物体が存在し得る監視範囲を撮像する基準撮像装置と、前記対象物体に対して相対的に移動し、かつ、前記監視範囲を撮像した移動体画像を出力する移動体撮像手段を備えた移動体と、前記移動体及び前記基準撮像装置と通信可能に接続された情報処理装置と、を含む撮像システムであって、前記移動体又は前記情報処理装置は、前記基準撮像装置が前記監視範囲を撮像した基準画像を判定用画像として受信するとともに、操作者により前記基準画像において前記対象物体が写るとして指定された領域を対象物領域として受信する通信手段と、前記判定用画像の特徴点と前記移動体画像の特徴点を比較して、前記移動体画像において前記対象物領域に対応する部分領域の存否を判定する判定手段と、前記部分領域が存在すると判定された前記移動体画像を当該部分領域と対応付けて記憶する移動体記憶手段と、を有し、前記判定手段は、前記対象物領域のサイズと前記部分領域のサイズとの相違度が所定の閾値を超えた場合に、前記移動体記憶手段に記憶された最新の前記移動体画像を前記判定用画像に変更し、当該移動体画像に対応付けられた部分領域を前記対象物領域に変更することを特徴とする。

【0014】

本発明に係る撮像システムによれば、通信手段が、前記基準撮像装置が前記監視範囲を撮像した基準画像を判定用画像として受信するとともに、操作者により前記基準画像において前記対象物体が写るとして指定された領域を対象物領域として受信する。移動体撮像手段が、前記監視範囲を撮像した移動体画像を順次出力する。

【0015】

そして、判定手段は、前記判定用画像の特徴点と前記移動体画像の特徴点を比較して、前記移動体画像において前記対象物領域に対応する部分領域の存否を判定する。また、前記判定手段は、前記対象物領域のサイズと前記部分領域のサイズとの相違度が所定の閾値を超えた場合に、前記移動体記憶手段に記憶された最新の前記移動体画像を前記判定用画像に変更し、当該移動体画像に対応付けられた部分領域を前記対象物領域に変更する。そして、移動体記憶手段は、前記部分領域が存在すると判定された前記移動体画像を当該部分領域と対応付けて記憶する。

【発明の効果】

【0016】

以上説明したように、本発明の移動体及び撮像システムによれば、移動体の移動に伴って画像上の対象物体のサイズが変動しても、移動体の撮像手段によって撮像された画像に、対象物体が写っているか否かを精度よく判定することができる、という効果が得られる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態に係る撮像システムの構成を示す概略図である。

【図2】本発明の実施の形態に係るセンター側装置の構成を示す概略図である。

【図3】本発明の実施の形態に係るドローンの構成を示す概略図である。

【図4】特徴点選択手段と特徴点探索手段の処理の様子を模式的に示す図である。

【図5】求めた３次元座標を基準画像に射影する射影処理の結果の例を示す図である。

【図6】基準画像と移動体画像の特徴点のマッチングを行い、３次元座標を求める特徴点を選択する処理の結果の例を示す図である。

【図7】移動体画像どうしの特徴点のマッチングを行い、３次元座標を求める特徴点を選択する処理の結果の例を示す図である。

【図8】移動体画像に対象物体が写っているか否かを判定する方法を説明するための図である。

【図9】本発明の実施の形態に係る主装置の動作を示すフローチャートである。

【図10】本発明の実施の形態に係るドローンの動作を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、基準撮像装置とドローンに搭載された移動体撮像手段とで監視領域の監視を行う撮像システムに本発明を適用した場合を例に説明する。

【0019】

＜システム構成＞
以下、本発明を適用した撮像システム１の概略構成を示した図１を参照し、本発明の実施の形態の構成を説明する。

【0020】

撮像システム１は、センター側装置１００、ドローン２００、及び基準撮像装置３００を有する。センター側装置１００とドローン２００及び基準撮像装置３００の各々との間は、Ｗｉ－Ｆｉに代表される閉域無線通信もしくはＬＴＥに代表される広域無線通信を介して接続されている。なお、センター側装置１００と基準撮像装置３００の間は有線で通信してもよい。

【0021】

図１には、対象物体が存在し得る監視領域１０を俯瞰する様子が示されており、地面５０を囲うように壁４０が存在する。この壁４０の高さは例えば５［ｍ］であり、壁４０の隅の上に基準撮像装置３００が設置されている。

【0022】

基準撮像装置３００は、監視領域１０全体を視野に含むような画角（焦点距離）を有し、撮像方向が調整されているとする。夜間に撮像範囲を明るくすべく照明装置を備えてもよい。

【0023】

基準撮像装置３００は、固定設置され、かつ、図１に示すような監視領域１０全体を撮像して、得られた画像（「基準画像」）をセンター側装置１００に送信する。

【0024】

本実施の形態では、９０°の画角を持つ固定焦点レンズを用いるとする。

【0025】

また広角の固定焦点レンズの代わりに、ズームレンズでもよい。ただしズームレンズの場合には、対象物体２０の世界座標表現における位置を求めるために焦点距離の情報が必要であるため、ズーミングのたびに焦点距離を取得できるような機構を要する。

【0026】

なお、本実施の形態では、監視領域１０について、大型商業施設の駐車場のように数百メートル四方という規模を想定している。そのため、画角によっては基準撮像装置３００が複数用いられてもよい。

【0027】

監視領域１０には対象物体２０が存在している。本実施の形態では、例えば本撮像システム１の操作者（以下、単に操作者）が不審と判断して目視確認を望んだ物体、例えば置き去られて放置されているカバンが、対象物体２０として例示される。あるいは、長期間にわたり放置駐車されている車両、不自然に滞留している人物、体調不良などが原因と思しき転倒している人物も、対象物体２０として例示される。

【0028】

監視領域１０には、本撮像システム１において移動体の例示であるドローン２００の待機基地３０も設置されている。操作者により発進、撮像命令が入力されるまでの間は、その内部に収納され、バッテリーが充電されている。

【0029】

尚、本実施の形態では対象物体２０が、基準撮像装置３００と待機基地３０から離れている場合を例に説明する。

【0030】

図１に示すように本撮像システム１においては、操作者が対象物体２０を目視確認容易となるように、ドローン２００を、待機基地３０から対象物体２０の位置に向けて発進、飛行させて対象物体２０に接近して撮像する。その後、ドローン２００は、帰還命令の入力を待って待機基地３０に帰還する。

【0031】

図２に、本撮像システム１におけるセンター側に設置されるセンター側装置１００のブロック図を示す。

【0032】

センター側装置１００は、表示装置１２０、指定入力装置１３０、及び主装置１４０から構成されている。なお、主装置１４０が、情報処理装置の一例である。

【0033】

表示装置１２０は、基準画像やドローン２００から送信されてきた画像（「移動体画像」）を表示しつつ、指定入力装置１３０による指定入力時においてＵＩの機能を構成するモニター装置である。また、表示装置１２０として、適宜、基準撮像装置３００などの解像度、運用が想定される監視領域１０の広さなどを考慮した大きさ、解像度のものを選択すれば良い。

【0034】

指定入力装置１３０は、表示装置１２０に表示されている基準画像において、操作者が、対象物体２０が写っている対象物領域を、例えば簡単には左上の点と右下の点により特定される矩形にて指定入力する手段である。典型的にはマウスであり、タッチペンやキーボードを備えてもよい。対象物体２０の輪郭をそのままなぞるように指定しても良い。指定入力された対象物領域は、後述する主装置通信部１１０を通じて、ドローン２００に送信され、対象物情報２２２３に記憶される。また、対象物領域は、部分領域の一例である。

【0035】

指定された対象物領域に含まれる画像は「対象物領域の画像」として以下に延べる各処理に用いられる。また基準画像中における対象物領域の位置（座標情報）は、実際に監視領域１０において対象物体２０が世界座標表現された位置を求めるのに用いられる。

【0036】

主装置１４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピューターにて実現され、主装置通信部１１０を含む各装置との入出力のＩ／Ｆ、主装置処理部１５０および主装置記憶部１６０を有する。

【0037】

主装置通信部１１０は、ドローン２００及び基準撮像装置３００の各々との通信インターフェースである。Ｗｉ－Ｆｉに代表される閉域無線通信器もしくはＬＴＥに代表される広域無線通信器で構成される。

【0038】

主装置記憶部１６０は、ソフトウェアで実現される各手段のプログラム類や各種パラメーター類を記憶するほか、基準撮像パラメーター１６１と監視領域マップ１６２を記憶する。

【0039】

基準撮像パラメーター１６１は、基準撮像装置３００の撮像パラメーターであり、その焦点距離、解像度の他、監視領域１０において基準撮像装置３００の撮像方向を世界座標表現した値が記憶される。

【0040】

基準撮像装置３００にズームレンズを用い焦点距離の情報が取得できるのであるならば、ズーミングのたびにその焦点距離が更新記憶される。

【0041】

監視領域マップ１６２は、その構造が既知であるとして監視領域１０を確定する要素の情報の集合である。壁４０の他、図示しない建物や屋外保管されている資材について、地面の隅を原点とした世界座標系を定義し、壁や建物などの大きさ、位置などの幾何情報などがＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌ）などのモデル化手法にて表現された情報である。なお、世界座標系は監視領域マップ１６２のほか、基準撮像パラメーター１６１や、後述する位置姿勢取得部２２３など、撮像システム１で共通に使われる。

【0042】

基準撮像パラメーターと監視領域マップは、本撮像システムの運用が開始された際、初期設定として主装置通信部１１０を通じてドローン２００に送信されて処理に用いられるが、例えば強風や施設保守が理由で基準撮像装置３００の向きが変わったり、監視領域１０の建物に変化が生じた場合にも、再度、基準撮像パラメーターと監視領域マップはドローン２００に送信される。

【0043】

物体位置算出手段１５１は、基準撮像パラメーター１６１及び監視領域マップ１６２を参照しつつ、システムの操作者が指定入力装置１３０を操作して指定入力した対象物領域について、監視領域における実際の対象物体２０の位置を世界座標表現にて求める手段である。周知の透視投影法を用いてもよい。レンズ歪み情報を考慮しても良い。

【0044】

対象物体２０の位置としては、システムの操作者が基準画像を目視して対象物領域を矩形で指定入力した場合には、四隅の頂点、特に地面に接している側として基準画像中の下側の隅の頂点を選択して世界座標表現する。あるいは、対象物領域の重心を選択してもよい。

【0045】

なお物体位置算出手段１５１で求められる物体位置は、基準撮像パラメーターに含まれ得る誤差などが原因で必ずしも十分正確に求められない。これは前述のように、本実施の形態では敷地の１辺が数百メートルというクラスの大型の駐車場を想定しているため、例えば基準撮像装置３００の設置時に１度向きがずれると数十メートル先で数メートルの違いになりかねないためである。

【0046】

従って物体位置算出手段１５１で求められる対象物体２０の位置をそのまま用いてドローン２００を向かわせても、対象物体２０がそこにあるとは限らないことに注意する。

【0047】

対象物特徴点抽出手段１５２は、対象物領域から周知の方法を用いて対象物特徴点を抽出してその周囲から画像特徴量を計算する手段である。局所特徴点は、画像中のエッジやコーナーなどにおいて抽出される。

【0048】

局所特徴点の抽出と画像特徴量の計算にはＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）と呼ばれる方法を採用すればよい。すなわち、画像中の輝度差を用いて局所特徴量としてのコーナーを検出し、コーナー周辺の特定サイズの矩形領域内の複数の画素ペアについて、輝度の大小をビット列で表すことで画像特徴量とする。

【0049】

また対象物特徴点抽出手段１５２は、対象物領域から、例えば明確なコーナーのみの高々数点ではなく数千点程度の対象物特徴点を抽出する。

【0050】

なお、対象物特徴点抽出手段１５２の処理は、後述するように基準画像がドローン２００に送信されるため、ドローン２００の移動体特徴点抽出手段２２１１にそのまま担わせてもよい。また、対象物領域の画像、対象物特徴点、基準画像における対象物領域の位置は、主装置通信部１１０を通じてドローン２００に送信され、後述する移動体記憶部２２２に記憶される。

【0051】

図３にドローン２００のブロック図を示す。ドローン２００は、例えば、クアッドロータ型の小型無人ヘリコプタである。なお、クアッドロータ型の小型無人ヘリコプタに限定されるものではなく、シングルロータ型の小型無人ヘリコプタについても同様に適用することができる。

【0052】

ドローン２００は、移動体本体２２０の他、移動体撮像手段２１０、浮力を発生させる例えば４つのロータ２３１、及びロータ２３１を制御して望ましい飛行を実現するためのロータ駆動部２３０から構成される。

【0053】

ロータ駆動部２３０は、その回転軸がそれぞれ対応するロータ２３１に連結された４つのモータ、およびＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ ｓｐｅｅｄ ｃｏｎｔｒｏｌ）等から構成されている。各モータは、ＥＳＣにより独立して回転速度が制御され、各ロータ２３１が独立して回転することによりドローン２００に任意方向の加速度を発生させる。

【0054】

移動体撮像手段２１０は、ＣＣＤやＣＭＯＳ撮像素子とレンズで構成されるカメラであり、主装置１４０から送信された発進命令にしたがい、待機基地３０を飛び立った後、ドローン２００の周辺、すなわち、監視領域１０を撮像して移動体画像を移動体本体２２０に出力する。

【0055】

本実施の形態では、ドローン２００が対地高度１０メートルを移動し、水平距離１０メートル先の１メートル四方の地面上の物体の種類が判別できる程度として、１６００×１２００画素の解像度を持つ撮像素子と、６０°の画角を持つ基準焦点レンズを用いるとする。

【0056】

ズーミング処理が可能であり焦点距離の情報が取得できるのであるならば、ズームカメラを用いてもよい。また撮像範囲を照射する照明装置を備えるのも好適である。

【0057】

移動体本体２２０は、図３に示すように移動体記憶部２２２、移動体処理部２２１、位置姿勢取得部２２３、移動体通信部２２４、及び飛行制御部２２５を有している。このうちの移動体処理部２２１が、本発明の判定手段に相当する。

【0058】

移動体記憶部２２２の監視領域マップ２２２１は、主装置１４０に記憶されている監視領域マップ１６２と同じである。初期設定として主装置１４０から送信され記憶される。監視領域の形状（資材の置き方など）が変更されると、それに伴い主装置１４０から再送信されて監視領域マップ２２２１も更新される。

【0059】

ドローン２００側にも監視領域マップを記憶するのは、監視領域１０においてドローン２００自身の位置や姿勢などの情報を求めるのに用いられるからである。

【0060】

基準撮像画像２２２２は、主装置１４０から判定用画像として送信されてきた基準画像を記憶する領域である。基準撮像画像は、後述するように、主に、ドローン２００が飛び立って間もなくの頃に、対象物体２０が、移動体画像に写っているか否かを判定するために用いられる。

【0061】

また基準撮像画像２２２２に対応付けて、基準画像を撮像した時の基準撮像装置３００の撮像パラメーターも図示しないバッファ領域に記憶する。

【0062】

対象物情報２２２３は、主装置１４０から送信されてきた、基準画像中の対象物領域、対象物領域から抽出された対象物特徴点、基準画像中における対象物領域の位置を記憶する。

【0063】

対象物領域は、後述する評価判定手段２２１６において射影点の集中の評価において行われるブロック分けのブロックサイズの決定に用いられる。

【0064】

対象物領域から抽出された対象物特徴点は、後述する特徴点選択手段２２１２において、移動体画像中の特徴点の選択処理に用いられる。

【0065】

基準画像中における対象物領域の位置は、上記ブロック分けの際のブロックの境目の決定に用いられる。

【0066】

移動体撮像情報２２２４は、移動体画像から移動体特徴点抽出手段２２１１が抽出した移動体特徴点、移動体特徴点それぞれの周囲小領域の画像から算出された画像特徴量、後述する位置姿勢取得部２２３にて取得したドローン２００の監視領域１０における世界座標表現された位置と向き情報（姿勢情報）を記憶する。

【0067】

移動体撮像情報２２２４に記憶される移動体特徴点と画像特徴量は、後述するように、異なる時刻、すなわち、対象物体２０に対して異なる視点にて移動体撮像手段２１０が撮像し、移動体特徴点抽出手段２２１１が抽出した特徴点どうしの対応を取り３次元座標を求めるための、過去の移動体画像から抽出された移動体特徴点と画像特徴量である。

【0068】

これは、移動体特徴点について監視領域１０における世界座標表現された３次元座標を求めるが、それにあたりいわゆるステレオ画像の技術（３次元計測）を用い、そのためには現時刻の移動体画像の他に１枚以上の移動体画像が必要になるためである。

【0069】

なお、ドローン２００自体がホバリングをして位置をほとんど変化させない場合には、３次元計測が難しくなるため、単に過去の移動体画像というより、一定の視差がある過去の移動体画像から抽出された移動体特徴点と画像特徴量が好ましい。

【0070】

これらの情報は、一定の視差がある移動体画像が新たに取得されると更新されることになる。

【0071】

判定済移動体画像２２２５は、後述する評価判定手段２２１６において、対象物体２０が写っていると過去に判定された移動体画像である。

【0072】

これはドローン２００が発進後、対象物体２０に近づくにつれて移動体画像に写っている対象物体２０の大きさが、基準画像に写っている対象物体２０の大きさと違いすぎてしまい、後述する特徴点選択手段２２１２において、判定用画像として基準画像を使うのが不適切になるため、基準画像の代わりに、判定済移動体画像が、判定用画像として特徴点選択手段２２１２において用いられる。

【0073】

また同様の理由で後述する３Ｄ座標射影手段２２１５において、射影先の画像として基準画像が不適切になるため、基準画像の代わりに判定用画像として判定済移動体画像が用いられる。

【0074】

移動体撮像情報２２２４には、更に、判定済移動体画像中の対象物体２０が写っている対象物領域と、その領域から抽出された対象物特徴点を記憶する。

【0075】

位置姿勢取得部２２３は、各処理時刻においてドローン２００自身の監視領域１０における世界座標表現された位置と姿勢情報を取得する手段である。

【0076】

位置姿勢取得部２２３は、内部に、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の航法衛星（人工衛星）から送信される電波（航法信号）を受信する受信機、加速度を計測する加速度センサ、方位を計測する電子コンパスおよび角速度を計測するジャイロセンサ、高度を計測する気圧センサを有する。他のセンサー類を備えても良い。

【0077】

そして、位置姿勢取得部２２３は、それらのセンサー類を統合してドローン２００の位置を計算する。

【0078】

移動体特徴点抽出手段２２１１は、移動体撮像手段２１０が撮像した移動体画像から、主装置１４０の対象物特徴点抽出手段１５２と同様な処理で移動体特徴点を抽出する手段である。

【0079】

抽出する移動体特徴点の数は、１６００×１２００画素の移動体画像に対して、数万点とする。これは、数が少なくても精度の良い特徴点、すなわち、対象物体から的確に抽出された特徴点を丁寧に処理していくのではなく、まずは抽出漏れを防ぐべく大量に抽出しておき適宜処理の過程で条件を満たさない特徴点を処理対象から外していくという考えに基づく。

【0080】

特徴点選択手段２２１２は、移動体特徴点抽出手段２２１１が抽出した移動体特徴点の中から、後述するように３次元座標を計算するのに用いる移動体特徴点を選択する手段である。

【0081】

移動体特徴点抽出手段２２１１が抽出する特徴点数は前述の通り数万点ある。これらは必ずしも移動体画像中における対象物体２０の画像に一致して抽出された特徴点とは限らない。従って機械的に全ての特徴点について３次元座標を計算することは意味が無いため、操作者により対象物体が写っていると指定された対象物領域から抽出された対象物特徴点と対応が付く移動体特徴点を選択する。

【0082】

そのために特徴点選択手段２２１２は、それぞれの移動体特徴点を含む周囲の小領域から求めた画像特徴量と、対象物情報に記憶されている対象物特徴点と対象物領域を読み出して対象物特徴点を含む周囲の小領域から求めた画像特徴量とを比較し、程度は問わずに最も類似していると判定された特徴点どうしを対応づけて、対応付けられた移動体特徴点を「追跡特徴点」として以後の処理の対象とする。

【0083】

つまり、対象物特徴点それぞれに対して移動体特徴点のいずれかを追跡特徴点として必ず選択することとする。これは、基準撮像装置３００とドローン２００の移動体撮像手段２１０の撮像角度に差があることも鑑みると特徴量が変化してしまい、対応付けが難しくなるものの、その中でもなるべく類似しているものを選択する意図である。また、一旦は強制的にでも大量に対応付けて後続の処理で不適切な対応関係は処理から外していくこととする。一方、対応付かなかった移動体特徴点を積極的に削除するわけではない。

【0084】

即ち、移動体特徴点抽出手段２２１１から抽出された数万点の移動体特徴点のうち、対象物特徴点と同数の数千点が追跡特徴点として選択されることになる。

【0085】

なお、以上の説明では特徴点選択手段２２１２は、３次元座標を計算するのに用いる特徴点を選択するにあたって対象物情報２２２３に記憶されている、基準撮像装置３００の画像（判定用画像としての基準画像）の特徴点（対象物特徴点）と対応する移動体画像の特徴点（移動体特徴点）を選択するとしていた。さらに、後述するように移動体画像中の対象物体の大きさと判定用画像としての基準画像の対象物領域の大きさが大きく異なるなどの条件を満たした場合、対象物情報２２２３に記憶されている対象物特徴点に代え、判定用画像としての判定済移動体画像中の対象物領域の対象物特徴点との対応付け（マッチング）に基づいて３次元座標を計算する特徴点を選択する。

【0086】

特徴点探索手段２２１３は、移動体撮像情報２２２４に記憶されている過去の移動体画像についての移動体特徴点およびその周囲の小領域から求められた画像特徴量を読み出し、現時刻について特徴点選択手段２２１２において選択された追跡特徴点の周囲の小領域の画像特徴量との類似度を調べて、対応が付く移動体特徴点（「キーフレーム特徴点」）を特定し、追跡特徴点とキーフレーム特徴点とのペアを求める。

【0087】

前述のように追跡特徴点は数千点あるので、追跡特徴点とキーフレーム特徴点とのペアも数千求められる。また、この場合も画像特徴量どうしの類似度からすると対応付けるのが不適切な場合もあり得るが、特徴点の取りこぼしの防止を重視する観点から追跡特徴点のすべてについてペアを求めることとする。ただし、特徴点の取りこぼしの防止を重視するにしても、全く無関係な特徴点どうしのペアばかりでは、性能劣化を招きかねないので、ステレオ画像技術で周知なエピポーラ拘束条件を課すことにする。すなわち、追跡特徴点について、エピポーラ拘束条件を満たすキーフレーム特徴点を選択してペアにする。

【0088】

図４に特徴点選択手段２２１２と特徴点探索手段２２１３の処理の様子を模式的に示す。なお、図４はドローン２００が待機基地３０から発進、飛行を開始して間もなくの頃であり、判定用画像としては基準画像が用いられている様子を示している。

【0089】

図４（ａ）は、基準撮像装置３００が取得した基準画像４０１であり、ドローン２００の基準撮像画像２２２２に記憶されている画像である。中央付近に対象物体２０が写っている。

【0090】

図４（ｂ）は、移動体撮像手段２１０が取得した移動体画像４０２である。これは現時刻に取得されたものとする。中央付近に対象物体２０が写っている。

【0091】

図４（ｃ）は、基準画像４０１から抽出された対象物特徴点と移動体画像４０２から抽出された移動体特徴点に対する処理を示している。

【0092】

符号４０１０は、基準画像４０１に写った対象物体２０（対象物領域）と、抽出された対象物特徴点（×印参照）とを示している。前述のように実際には数千点が抽出されており、対象物情報２２２３に記憶されている。

【0093】

符号４０２０は現時刻ｔの移動体画像４０２に写った対象物体２０と、抽出された移動体特徴点（×印参照）とを示している。

【0094】

符号４０２１は過去時刻ｔ－ｎであり、移動体画像４０２に写った対象物体２０と、対象物体２０が写っている対象物領域から抽出された移動体特徴点（×印参照）とを示している。前述のように実際には数万点が抽出されており、移動体撮像情報２２２４に記憶されている。

【0095】

特徴点選択手段２２１２は、抽出された移動体特徴点を判定用画像の特徴点と比較して、判定用画像の特徴点に対応する追跡特徴点を選択する。

【0096】

すなわち、特徴点選択手段２２１２は、判定用画像が基準画像である間は、符号４０４に示すように、抽出された移動体特徴点（符号４０２０の×印）と、対象物情報２２２３に記憶されている対象物特徴点（符号４０１０の×印）との対応関係を求める。対応関係は特徴点を中心にした小領域から求めた画像特徴量の類似度に依る。
また、判定済移動体画像が判定用画像に更新された後は、特徴点選択手段２２１２は、抽出された移動体特徴点と、判定済移動体画像２２２５に記憶されている移動体画像中の対象物領域の移動体特徴点との対応関係を求める。

【0097】

これにより移動体画像４０２から抽出された数万点の移動体特徴点から数千点の「追跡特徴点」が選択されることになる。

【0098】

そして特徴点探索手段２２１３は、符号４０３に示すように、追跡特徴点と、移動体撮像情報２２２４に記憶されている時刻ｔ－ｎの数万点ある移動体特徴点との対応関係を調べて、追跡特徴点とキーフレーム特徴点とのペアを、数千ペア特定する。

【0099】

視差判定手段２２１４は、特徴点探索手段２２１３にて求めたペアを用いて、過去の移動体画像と現在の移動体画像とを比較して、特徴点の３次元座標を求めるのに十分な視差となっているか否かを判定する。

【0100】

そのために視差判定手段２２１４は、当該数千ペアについて移動体画像中の特徴点どうしの座標値の差について平均値を求め、それが所定の閾値以上になっている場合には、特徴点の３次元座標を求めるのに十分な視差になっていると判定する。

【0101】

３Ｄ座標射影手段２２１５は、特徴点探索手段２２１３において求められた特徴点のペアの世界座標表現された３次元座標を求めて判定用画像（基準画像または判定済移動体画像）に射影する手段である。

【0102】

そのために３Ｄ座標射影手段２２１５は、移動体撮像情報２２２４に記憶されているドローン２００の監視領域１０における位置、ドローン２００の向き・姿勢、移動体撮像手段２１０の焦点距離などの情報から、いわゆるステレオ画像の手法に基づいて世界座標系での３次元座標を求める。

【0103】

そして、主装置１４０から送信され、移動体記憶部２２２の図示しないバッファ領域に記憶されている基準撮像パラメーター又は判定済移動体画像に関する撮像パラメーターに基づいて、求めた３次元座標が判定用画像（基準画像または判定済移動体画像）においてどの画素を指すかを求める射影処理を行う。

【0104】

評価判定手段２２１６は、判定用画像に射影された射影点の様子に基づいて移動体画像に対象物体が写っているか否かを判定する。射影点は追跡特徴点が射影されたものであり、追跡特徴点は判定用画像の特徴点に対応するとされた移動体特徴点である。つまり、評価判定手段２２１６は、判定用画像の特徴点に対応するとされた移動体特徴点に基づいて移動体画像に対象物体が写っているか否かを判定する。

【0105】

この様子を模式的に図５に示す。

【0106】

図５（ａ）には、特徴点探索手段２２１３において求めた特徴点のペアの３次元座標を基準画像５０１に射影した様子を示している。×印が射影した結果である。これはドローン２００が発進して間もなくの頃の様子である。

【0107】

図５（ａ）は、判定用画像として基準画像が用いられている場合の理想的な射影の様子を示した模式図である。特徴点選択手段２２１２において対象物特徴点と対応付いて選択された追跡特徴点が理想的に移動体画像中の対象物体に位置している場合である。

【0108】

この場合、基準画像５０１への射影先は対象物領域に一致する。これにより評価判定手段２２１６は移動体画像に対象物体２０が写っていると判定する。

【0109】

しかし、実際には対象物特徴点に対応付いた追跡特徴点の全てが移動体画像中の対象物体に位置するとは限らない。これは図５（ｂ）に示すように、基準撮像装置３００と移動体撮像手段２１０が監視領域１０において対象物体２０に対して撮像距離および撮像角度が異なり、それに伴い画像中での対象物体２０の見え方が異なるからである。

【0110】

図５（ｂ）に示すドローン２００の位置から移動体撮像手段２１０が対象物体２０を撮像した場合の移動体画像６０１の例を図６（ａ）に示す。

【0111】

図６（ａ）の移動体画像６０１に写っている対象物体２０の大きさは、図５（ａ）に示す基準画像５０１に写っている対象物体と大きさの差が大きい。

【0112】

見え方の違いにより、特徴点選択手段２２１２における、対象物特徴点を基に移動体特徴点を選択し追跡特徴点とする処理において、移動体画像中の対象物体上の移動体特徴点が追跡特徴点として選択される可能性が下がることになる。また、対象物特徴点に対して移動体画像中の移動体特徴点は全数探索をすることになり、場合に依っては対象物体とは全く異なる位置の移動体特徴点が選択されることすらあり得る。

【0113】

これは、特徴点どうしの対応付け（特徴点マッチング）の際に、注目する特徴点を中心に数十画素四方程度の小領域を考え、その内部の画像特徴を比較するからである。即ち図５（ａ）と図６（ａ）のように対象物体の大きさが全く異なると、解像度の違いが大きく、同一物体の同一部位から抽出された特徴点どうしであっても小領域の中に含まれる画像は全く異なるものとなってしまい、対応付けられないこと（マッチングミス）を引き起こすからである。

【0114】

その様子を図６（ｂ）に示す。符号６０１０は、基準画像５０１に写った対象物体２０（対象物領域）と、抽出された対象物特徴点（×印参照）とを示している。符号６０２０は現時刻ｔの移動体画像に写った対象物体２０と、抽出された移動体特徴点（×印参照）とを示している。符号６０２１は過去時刻ｔ－ｎであり、移動体画像に写った対象物体２０と、抽出された移動体特徴点（×印参照）とを示している。

【0115】

同図からわかるように点線の円で囲った×印の移動体特徴点は対象物体２０とは異なる位置であるが、対象物特徴点との対応が付いてしまい、特徴点探索手段２２１３において３次元座標を求めるためのペアとして選択されてしまう。

【0116】

全く異なる物体どうしの特徴点をペアとして３次元座標を求めても、意味不明な値となり、基準画像５０１に射影しても、図６（ｃ）に示すように対象物体２０とは離れた画素に射影点が位置しかねない。

【0117】

そこで図５（ａ）と図６（ａ）のように、基準画像５０１中の対象物体２０と移動体撮像手段２１０の移動体画像中の対象物体２０の大きさが大きく異なる場合には、特徴点選択手段２２１３と３Ｄ座標射影手段２２１５で用いられる判定用画像として、それまでの基準画像に代え、判定済移動体画像に切り替える。

【0118】

すなわち３Ｄ座標射影手段２２１５は、対象物情報２２２３に記憶されている基準画像中における対象物領域の大きさと像サイズ判定手段２２１７にて算出された移動体画像の対象物領域の大きさとの差が一定以上の場合に、判定済移動体画像を判定用画像として用いて、３次元座標の計算と、その判定用画像への射影処理を行う。

【0119】

その処理を図６と比較しつつ図７を用いて説明する。

【0120】

図７（ａ）には、上記差が一定以上の場合の移動体画像７０１と、抽出された移動体特徴点（×印参照）が示されている。移動体特徴点は大よそ対象物体２０付近から抽出されている。

【0121】

図７（ｂ）は、図６（ｂ）と同じく、移動体画像どうしの特徴点のマッチングを行い、さらに特徴点選択手段２２１２により３次元座標を求める特徴点を選択する処理を模式的に示している。

【0122】

符号７０１０は、判定済移動体画像に写った対象物体２０（対象物領域）と、当該領域から抽出された対象物特徴点（×印参照）とを示している。符号７０２０は現時刻ｔの移動体画像に写った対象物体２０と、抽出された移動体特徴点（×印参照）とを示している。符号７０２１は過去時刻ｔ－ｎであり、移動体画像に写った対象物体２０と、抽出された移動体特徴点（×印参照）とを示している。

【0123】

図６（ｂ）と比較すると、特徴点選択手段２２１２により３次元座標を求めるとして選択された移動体特徴点が対象物体２０から離れて特定されることは抑制されていることがわかる。

【0124】

これは、判定済移動体画像と移動体画像とで対象物体２０の像の大きさが大よそ揃っているからである。

【0125】

そして３Ｄ座標射影手段２２１５は、特徴点選択手段２２１２により選択された移動体特徴点について３次元座標を求め、判定用画像としての判定済移動体画像に射影する。

【0126】

評価判定手段２２１６は、図８（ａ）に示す判定用画像８０１のブロック分けをする。なお、図８では、判定用画像として基準画像が用いられている場合を模式的に示している。つまり図８（ｂ）に示すように、対象物情報２２２３に記憶されている、基準画像中の対象物領域の位置と大きさ、又は移動体記憶部２２２に記憶されている判定済移動体画像中の対象物領域の位置と大きさを基に、対象物領域全体を含むブロックを１つ確保してブロック分けをする（図８（ｂ）の点線参照）。なお、ブロックが、局所領域の一例である。対象物領域全体を含むブロックにはたくさんの射影点が含まれている。

【0127】

そして評価判定手段２２１６は、各ブロックに含まれる射影点の数を計数して、最多のブロックを特定する。

【0128】

最多のブロックに含まれる射影点の数を、Ｎｍａｘとし、３Ｄ座標射影手段２２１５が射影した射影点の総数を、Ｎａｌｌとし、判定用画像の面積に対する局所領域の面積比を、Ｒとし、集中調整係数をα（例えば１０．０）とする。このときに、次式を満たす場合に評価判定手段２２１６は移動体画像に対象物体２０が写っていると判定する。

【0129】

Ｎｍａｘ ＞ α×Ｒ×Ｎａｌｌ ・・・・（１）

【0130】

（１）式は、射影点が完全に満遍なく判定用画像全体に散らばった場合の最多のブロックに含まれ得る射影点に比べてどれだけ多く実際には射影されたかを評価するものとなっている。なお、α×Ｒ×Ｎａｌｌが、集中判定用閾値の一例である。

【0131】

ここまでの説明では移動体画像に対象物体２０が写っているとして説明してきたが、ドローン２００の向きが不適切で、移動体画像に対象物体２０が写っていない場合も形式的に３次元座標を求めることになる。

【0132】

移動体画像に対象物体２０が写っていない場合、３次元座標を判定用画像に射影しても、図８（ｃ）に示すように判定用画像８０１全体に散らばってしまうため、上記（１）式を満たさない。

【0133】

尚、上記では判定用画像に対するブロック分けは、１つのブロックは対象物領域と一致するようにしている。これに代え、図８（ｄ）に示すように、１つのブロックの大きさ（幅及び高さをＷとする。）は不変としつつも、対象物領域に対して上下左右方向にずらしてブロック分けしてもよい。例えば、ずれ調整係数βを０＜β＜１．０とし、ブロック分けしたブロックのうちの最多のブロックを、上下方向及び左右方向の少なくとも一方に、β・Ｗだけずらして、射影点数がより多く、かつ、最多となるブロックを探索してもよい。また、ずらして探索した、射影点数が最多となるブロックの、対象物領域に対するずれ量を規定するずれ調整係数βが閾値（例えば、１．０）未満であり、当該ブロックに含まれる射影点の数が、α×Ｒ×Ｎａｌｌより大きい場合に、移動体画像に対象物体が写っていると判定する。なお、ずれ調整係数βについての閾値は、事前に設定パラメーターとして設定しておくが、位置姿勢取得部２２３の精度により決定される。例えば、内蔵されるＧＮＳＳの測定誤差円に応じて、３．０を上限に設定できる。

【0134】

これは基準撮像パラメーター１６１に記憶される基準撮像装置３００のパラメーターや、移動体撮像情報２２２４に記憶されるドローン２００の位置、姿勢に誤差が含まれるのが不可避だからである。

【0135】

例えば基準撮像装置３００について、設置時に精密に撮像角度を計測して基準撮像パラメーター１６１に記憶したとしても、僅か１度の誤差が数十メートル先では数十センチ～数メートルになりかねない。

【0136】

またドローン２００の位置、姿勢を把握するためにＧＮＳＳやセンサー類を複数併用しているが、それらには一定の誤差が含まれてしまう。

【0137】

これらの誤差は３Ｄ座標射影手段２２１５における判定用画像への射影に影響し、図８（ｅ）に示すように、射影点は一定の局所領域に集中しつつも判定用画像８０１中の対象物領域からのずれとして現われる。

【0138】

よって図８（ｆ）のように、一定範囲までは、射影点が集中するブロックがずれることを許容することが好適である（図８（ｆ）の一点鎖線参照）。

【0139】

そして評価判定手段２２１６は、後述するように、更新記憶のタイミングにおいて対象物体が写っていると判定された移動体画像を判定済移動体画像として移動体記憶部２２２に更新記憶させる。また、その移動体画像の対象物領域を移動体撮像情報２２２４に記憶させる。

【0140】

さらには既に判定済移動体画像が記憶された後は、最新の移動体画像に含まれる対象物体の大きさを参照し、記憶済みの判定済移動体画像に写っている大きさとの差が大きくなりすぎた場合に、更新しても良い。

【0141】

像サイズ判定手段２２１７は、移動体撮像情報２２２４に記憶されている移動体撮像手段２１０の焦点距離（画角）、位置姿勢取得部２２３が取得したドローン２００の監視領域１０における位置や対象物体２０に対する姿勢を基に、評価判定手段２２１６が物体２０が写っていると判定した移動体画像における対象物体２０が写っている対象物領域の大きさを算出する。

【0142】

本実施の形態においては、基準撮像装置３００の焦点距離、撮像方向などの撮像パラメーターが対象物情報２２２３に記憶されている。また主装置１４０の物体位置算出手段１５１は対象物体２０の実世界における位置を計算している。

【0143】

そこで像サイズ判定手段２２１７は、対象物体２０の実際の大きさを求めて、それが移動体画像にどのくらいの大きさで写り込むかを計算することにより、評価判定手段２２１６が物体２０が写っていると判定した移動体画像における対象物体２０が写っている対象物領域の大きさを算出する。

【0144】

なお、対象物体２０が写っている対象物領域およびその大きさは、評価判定手段２２１６が移動体画像に対象物体２０が写っていると判定したときの、判定用画像の対象物領域内に射影された移動体特徴点の、移動体画像における外接矩形から求められる。
そして求めた対象物体２０が写っている対象物領域およびその大きさは移動体撮像情報２２２４に記憶される。

【0145】

以下、フロー図を用いて本発明にかかる撮像システム１の動作について説明する。

【0146】

図９は、センター側に設置されている主装置１４０の動作を示すフロー図である。

【0147】

まずシステムの操作者は、例えば何らかの警報装置の鳴動や、表示装置１２０の目視確認により監視領域１０に対象物体２０が存在していることを知覚して、拡大表示させたいと思ったところからスタートする。

【0148】

尚、予め基準撮像パラメーター１６１には基準撮像装置３００の焦点距離や世界座標表現された位置や撮像方向が記憶され、監視領域マップ１６２には監視領域１０の形状情報が記憶されているとする。また、基準画像が、主装置１４０に逐次送信され、表示装置１２０に表示されている。

【0149】

まずステップＳ１００にて、システムの操作者は、表示装置１２０を目視確認し、基準画像上において、対象物体２０を表す領域を、指定入力装置１３０を操作して指定する。典型的には対象物体２０を表す領域を、外接矩形にて指定する。指定した領域の内部の画像が対象物領域の画像となる。

【0150】

ステップＳ１０５にて、対象物特徴点抽出手段１５２は、対象物領域から周知の方法にて対象物特徴点を抽出する。対象物特徴点の数は例えば数千点程度である。

【0151】

ステップＳ１１０にて、物体位置算出手段１５１は、基準撮像パラメーター１６１を参照しつつ、基準画像に写った対象物体２０の、監視領域１０における世界座標表現された位置を計算する。

【0152】

ステップＳ１２０にて、主装置１４０は、主装置通信部１１０を通じて、基準画像、ステップＳ１１０にて求めた対象物体２０の位置の世界座標、及び基準画像における対象物領域の画像やその領域情報をドローン２００に送信する。

【0153】

ステップＳ１３０にて、操作者により指定入力装置１３０を操作して入力された制御命令として、対象物体２０の位置の世界座標に向かうための離陸発進命令を、主装置通信部１１０を通じてドローン２００に送信する。

【0154】

ステップＳ１４０にて、ドローン２００から新しい移動体画像が送信されたか否かを判定する。ドローン２００から適宜新しい移動体画像が送信されてくると（ステップＳ１４０のＹｅｓの分岐）、ステップＳ１５０にて、主装置１４０はその画像を表示装置１２０に更新表示する。一方、新しい移動体画像が送信されてくるまでの間は、１枚前の移動体画像を表示し続ける（同Ｎｏの分岐）。

【0155】

ステップＳ１６０にて、主装置１４０は、指定入力装置１３０を操作した操作者によりドローン２００の帰還命令が入力されたか否かを判定する。

【0156】

指定入力装置１３０を操作した操作者によりドローン２００の帰還命令が入力されると（ステップＳ１６０のＹｅｓの分岐）、ステップＳ１７０にて、帰還命令を示す制御信号が主装置通信部１１０を通じてドローン２００に送信される。入力されないと、ステップＳ１４０に戻り新しい移動体画像が送信されてくるのを待つ（ステップＳ１６０のＮｏの分岐）。

【0157】

図１０はドローン２００の動作を示すフロー図である。図１０に示すステップＳ３１０の前に、ドローン２００自身は図９のステップＳ１３０に示した離陸発進命令を受けて飛び立っているとする。

【0158】

ステップ３１０にて、移動体処理部２２１は、基準撮像画像２２２２に記憶されている基準画像を判定用画像とする。

【0159】

ステップＳ３２０にて、位置姿勢取得部２２３は、ＧＮＳＳ技術や図示しないセンサー類（高度センサーや方位センサー、角度センサーなど）の出力を参照して、例えば監視領域１０の隅を原点として定義された世界座標系におけるドローン２００の位置、姿勢（撮像方向や傾き）を算出する。

【0160】

ステップＳ３３０にて、主装置１４０の物体位置算出手段１５１が計算した対象物体２０の位置の世界座標を考慮に入れつつ、飛行制御部２２５は、ドローン２００を監視領域１０において対象物体２０に近づけるべく制御信号をロータ駆動部２３０に出力する。

【0161】

ステップＳ３４０にて、適宜各時刻におけるそれぞれのドローン２００の位置において移動体撮像手段２１０は撮像して、取得した移動体画像を移動体本体２２０の移動体処理部２２１に出力する。

【0162】

そして移動体特徴点抽出手段２２１１は、移動体画像から周知の方法にて移動体特徴点を抽出する。また抽出した移動体特徴点の周囲の小領域の画像を抽出してもよい。

【0163】

ステップＳ３５０にて、移動体記憶部２２２の移動体撮像情報２２２４に既に各種情報が記憶済みであるか否かを判定する。ステップＳ３４０の処理が最初の移動体画像についてである場合（ステップＳ３５０にて「無し」の分岐の場合）には、ステップＳ５３０に進み、抽出した移動体特徴点、その移動体画像または抽出した小領域の画像、ステップＳ３２０にて求めたドローン２００の位置と姿勢を、移動体記憶部２２２の移動体撮像情報２２２４に新規記録する。

【0164】

ステップＳ３６０にて、移動体処理部２２１は、移動体記憶部２２２に判定済移動体画像が記憶されているか否かを調べる。

【0165】

移動体記憶部２２２に判定済移動体画像が記憶されていない場合（ステップＳ３６０にてＮｏの分岐の場合）、ドローン２００が離陸発進直後で、例えば対象物体２０が移動体画像の視野外になっていて、写っていると判定されたことが無いことを意味する。そこで、図９の主装置１４０のフロー図（ステップＳ１０５）にて抽出された対象物領域の画像の対象物特徴点を用いて、特徴点選択手段２２１２の処理をすべく、ステップＳ３８０に進む。

【0166】

ステップＳ３６０にて、移動体記憶部２２２に判定済移動体画像が記憶されている場合（ステップＳ３６０にてＹｅｓの分岐の場合）、一旦は移動体画像に対象物体２０が写っていると判定された実績があることを意味している。
そこで、ステップＳ３７０にて、移動体特徴点抽出手段２２１１は、記憶されている判定済移動体画像中の対象物体２０が写っている対象物領域から移動体特徴点を抽出する処理を行い（あるいは判定済移動体画像を記憶するときに、対象物領域から移動体特徴点を抽出しておいて同時に移動体記憶部２２２に記憶させることとして）、それを対象物特徴点とする。

【0167】

ステップＳ３８０にて、特徴点選択手段２２１２は、ステップＳ３４０にて抽出された移動体画像の移動体特徴点のうち、対象物特徴点に対応するものを選択し、追跡特徴点とする（図６（ｂ）、図７（ｂ）参照。時刻ｔにおける移動体特徴点を選択する。）。

【0168】

ステップＳ３９０にて、特徴点探索手段２２１３は、ステップＳ３８０にて選択された追跡特徴点と対応する、移動体撮像情報２２２４に記憶されている過去の移動体画像の移動体特徴点を選択し、キーフレーム特徴点とする（図６（ｂ）、図７（ｂ）参照。時刻ｔ－ｎにおける移動体画像の移動体特徴点を選択する。）。

【0169】

ステップＳ４００にて、視差判定手段２２１４は、ステップＳ３９０にて選択されたキーフレーム特徴点と、それに対応しステップＳ３８０にて選択された追跡特徴点とのペア（例えば数千ペア）の移動体画像上での距離の平均値を、視差として求める。ステップＳ４１０にて、視差が一定以上であるか否かを判定し、視差が一定未満の場合（ステップＳ４１０でＮｏの分岐の場合）には、ドローン２００の移動量が少なくステレオ画像の技術にて特徴点の３次元座標を求めるのは不適切であるとして処理をステップＳ３２０に移す。

【0170】

距離の平均値が一定以上の場合（ステップＳ４１０でＹｅｓの分岐の場合）、特徴点の３次元座標を求めるのに十分精度が確保できる視差であるとしてステップＳ４２０に進む。

【0171】

ステップＳ４２０にて、３Ｄ座標射影手段２２１５は、ステップＳ３９０にて特徴点探索手段２２１３により視差が確保された２枚の移動体画像から抽出され対応が付いた特徴点どうしそれぞれについて、追跡特徴点（図６（ｂ）、図７（ｂ）を参照。時刻ｔにおける移動体特徴点）の３次元座標（世界座標表現）を計算する。これにあたっては、監視領域マップ２２２１、移動体撮像情報２２２４などに記憶されている情報を適宜参照して、いわゆるステレオ画像の手法にて求めればよい。

【0172】

ステップＳ４３０にて、移動体処理部２２１は、移動体撮像情報２２２４に記憶されている移動体画像中の対象物体２０の大きさと対象物情報２２２３に記憶されている基準画像中の対象物領域の大きさを比較して、その相違度が一定以上大きいか否かを調べる。

【0173】

相違度が小さい場合（ステップＳ４３０にてＮｏの分岐の場合）、ステップＳ４４０にて、基準撮像画像２２２２に記憶されている基準画像を判定用画像とする。

【0174】

ステップＳ４３０にて、相違度が大きい場合（ステップＳ４３０にてＹｅｓの分岐の場合）には、ステップＳ４５０にて、記憶されている判定済移動体画像を、判定用画像とする

【0175】

ステップＳ４６０にて、３Ｄ座標射影手段２２１５は、ステップＳ４２０において求められた追跡特徴点の３次元座標を判定用画像に射影する（図８（ａ）参照）。

【0176】

ステップＳ４７０にて、評価判定手段２２１６は、追跡特徴点が射影された判定用画像をブロック分けする。初期段階では、主装置１４０から送信されてきた基準画像が、判定用画像とされる。この場合、１つのブロックの大きさは、ステップＳ１００にて指定入力された対象物体２０についての対象物領域の大きさに一致させる。１つのブロックを、対象物領域に一致させるとそれに応じて順次他のブロックを定義する（図８参照）。判定済移動体画像が、判定用画像となっている場合には、１つのブロックの大きさは、判定済移動体画像の対象物領域の大きさに一致させる。この対象物領域とその大きさは、移動体撮像情報２２２４に記憶されている。

【0177】

そして、各ブロックごとに、含まれる射影点を計数して最多のブロックと射影点数を特定する。

【0178】

ステップＳ４８０にて、最多のブロックに含まれる射影点数が一定以上であり、かつそのブロックが判定用画像中の対象物領域と重なり、ずれ量が所定の範囲内（図８（ｄ）～（ｆ）参照）であるか否かを判定する。最多のブロックに含まれる射影点数が一定以上であり、かつそのブロックが判定用画像中の対象物領域と重なり、ずれ量が所定の範囲内の場合（ステップＳ４８０のＹｅｓの分岐の場合）には、ステップＳ４９０にて、最新の移動体画像には対象物体２０が写っていると判定する。また、その旨を主装置１４０に送信する。

【0179】

ステップＳ５００では、判定済移動体画像の更新タイミングであるか否かを判定する。例えば、対象物体２０が写っていると判定された移動体画像に含まれる対象物領域の大きさを参照し、判定用画像（基準画像又は記憶済みの判定済移動体画像）に写っている対象物領域の大きさとの差が閾値を超えた場合、判定済移動体画像の更新タイミングであると判定し（ステップＳ５００のＹｅｓの分岐）、ステップＳ５１０にて、対象物体２０が写っていると判定された移動体画像を、判定済移動体画像として新規記憶又は更新記憶し、その移動体画像の対象物領域から抽出された対象物特徴点を移動体撮像情報２２２４に更新記憶する。なお、対象物体２０が写っていると判定された移動体画像に含まれる対象物領域の大きさは、判定用画像の対象物領域内に射影された移動体特徴点の、対象物体２０が写っていると判定された移動体画像における外接矩形から求めればよい。

【0180】

一方、対象物体２０が写っていると判定された移動体画像に含まれる対象物領域の大きさを参照し、記憶済みの判定済移動体画に写っている対象物領域の大きさとの差が閾値以下である場合、判定済移動体画像の更新タイミングでないと判定し（ステップＳ５００のＮｏの分岐）、ステップＳ５２０へ移行する。

【0181】

なお、一定時間経過したか否かや、監視領域１０におけるドローン２００の位置に基づいて、更新タイミングであるか否かを判定するようにしてもよい。

【0182】

ステップＳ５２０にて、移動体処理部２２１は、最新の移動体画像を主装置１４０に送信する。
なお、移動体画像に対象物体２０が写っていると判定され、その対象物領域の大きさが、判定用画像の対象物領域の大きさよりも所定以上小さい場合には、基準画像を判定用画像として再設定しても良い。これはドローン２００の飛行制御の過程で、ドローンが対象物体２０より離れてしまった場合にも、判定精度を確保するためである。さらには一定時間以上にわたり、移動体画像に対象物体２０が写っていないと判定され続けた場合にも基準画像を判定用画像として再設定してもよい。

【0183】

ステップＳ５３０にて、ステップＳ３４０にて抽出した移動体画像の移動体特徴点、移動体画像そのものまたは移動体特徴点の周囲の小領域の画像情報、ステップＳ３２０にて計算したドローン２００の位置や姿勢などを移動体撮像情報２２２４として更新記憶する。

【0184】

ステップＳ５４０にて、主装置１４０から、待機基地３０への帰還命令を受信したか否かを判定する。主装置１４０から、待機基地３０への帰還命令が受信されていると（ステップＳ５４０のＹｅｓの分岐）、ステップＳ５５０にて、飛行制御部２２５は監視領域マップ２２２１を参照しつつ待機基地３０へ戻るべくロータ駆動部２３０へ制御信号を出力する。帰還命令が受信されていない場合（ステップＳ５５０のＮｏの分岐の場合）には、処理をステップＳ３２０に戻し撮像などの処理を継続する。

【0185】

以上説明してきたように、本発明の実施の形態に係る撮像システム１では、移動体であるドローン２００が、所定の視差を有する複数の撮像位置にて移動体撮像手段により取得された複数の移動体画像からそれぞれ移動体特徴点を抽出して、３次元計測を行い移動体特徴点の３次元座標を求め、３次元座標を、基準画像又は判定済移動体画像である判定用画像に射影し射影点を求める。ドローン２００が、判定用画像中の対象物領域に対応するブロック内に含まれる射影点の数が、集中判定用閾値より大きい場合に、移動体画像に対象物体が写っていると判定する。これにより、移動体の移動に伴い移動体画像における対象物体の大きさが変わっても、移動体画像に、対象物体が写っているか否かを精度よく判定することができる。

【0186】

＜変形例＞
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、像サイズ判定手段は、基準画像を撮像したときの基準撮像装置の焦点距離、移動体画像を撮像したときの移動体撮像手段の焦点距離、基準画像を撮像したときの基準撮像装置から対象物体までの距離、及び移動体画像を撮像したときの移動体撮像手段から対象物体までの距離に基づいて、対象物領域のサイズと移動体記憶手段に記憶された移動体画像に写っている対象物体のサイズとの比を、基準画像中の対象物体が写る対象物領域のサイズと撮影手段が撮影した移動体画像に写っている対象物体のサイズとの相違度として計算する相違度推定手段を備えていてもよい。この場合には、移動体画像に写っている対象物体のサイズを求めずに、それぞれのカメラの焦点距離と、実世界における物体までの距離とから、サイズ比を求め、サイズ比が一定以上であれば、判定済移動体画像を、判定用画像として用いるようにすればよい。

【0187】

ここで、焦点距離情報とは、１ｍ先にある１ｍサイズの物体を撮像した場合に、画像上で何ピクセル（ｐｘ）に映るかを示すものである。カメラａの焦点距離を、Ｐａ［ｐｘ］とし、カメラｂの焦点距離を、Ｐｂ［ｐｘ］とし、カメラａから対象物体までの距離をＤａ［ｍ］とし、カメラｂから同じ対象物体までの距離をＤｂ［ｍ］とし、当該対象物体の実際のサイズをＳ［ｍ］とした場合、以下の式が得られる。

【0188】

カメラａの画像中の対象物体のサイズ＝（Ｓ×Ｐａ）／Ｄａ
カメラｂの画像中の対象物体のサイズ＝（Ｓ×Ｐｂ）／Ｄｂ
カメラａの画像に対するカメラｂの画像の対象物体のサイズ比＝（Ｓ×Ｐｂ／Ｄｂ）÷（Ｓ×Ｐａ／Ｄａ）＝（Ｐｂ×Ｄａ）／（Ｐａ×Ｄｂ）

【0189】

上式より、対象物体の実際のサイズＳが未知でも、画像上のサイズ比を相違度として求めることができる。

【0190】

また、移動体画像から特徴点を抽出する機能、特徴点の３次元座標を求めて判定用画像に射影する機能、局所領域の射影点数から対象物体が移動体画像に写っているか否かを判定する機能を、主装置１４０が備えるように構成してもよい。この場合、ドローン２００が、移動体撮像手段によって撮像された移動体画像を逐次主装置１４０へ送信し、主装置１４０が、移動体処理部２２１の各手段を備えるようにすればよい。

【0191】

また、移動体の一例としてドローンを用いる場合を例に説明したが、これに限定されるものではなく、移動体撮像手段を備えていれば、ドローン以外の移動体を対象としてもよい。

【0192】

また、上記の実施形態では、基準撮像装置が固定設置された場合について説明したが、これに限られない。例えば、ドローンを複数用いるものとして、基準撮像装置は移動体撮像手段を備えるドローンとは異なるドローンに備わるものとし、基準撮像装置が移動してもよい。その場合、適宜撮像パラメーターや監視領域における世界座標表現された各ドローンの位置が把握できるものとする。

【0193】

また、上記の実施形態では、移動体としてドローン、つまり飛行型ロボットを例示したが、これに限られない。飛行制御部やロータなどに代え、走行制御部や車輪などを備える床面走行型ロボットにも適用できる。

【0194】

さらには、飛行型ロボットや床面走行型ロボットではなく、容易に可搬できる程度に小型化すれば、警備員が装着するウェアラブル撮像装置を、移動体として構成してもよい。

【0195】

また、上記の実施形態では、ドローンに基準画像と対象物領域の画像を送信する場合を例に説明したが、これに限定されるものではない。例えば、基準画像を目視確認した操作者により指定された対象物領域をそのままドローンに送信してもよい。送信された対象物領域の情報（位置、大きさ）は対象物情報２２２３に記憶されるものとし、射影点は基準撮像装置の撮像面に射影されることとしてもよい。

【0196】

以上のように、当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0197】

１ 撮像システム
１０ 監視領域
２０ 対象物体
１００ センター側装置
１１０ 主装置通信部
１２０ 表示装置
１３０ 指定入力装置
１４０ 主装置
１５０ 主装置処理部
１５１ 物体位置算出手段
１５２ 対象物特徴点抽出手段
１６０ 主装置記憶部
１６１ 基準撮像パラメーター
２００ ドローン
２１０ 移動体撮像手段
２２０ 移動体本体
２２１ 移動体処理部
２２２ 移動体記憶部
２２３ 位置姿勢取得部
２２４ 移動体通信部
２２５ 飛行制御部
２３０ ロータ駆動部
２３１ ロータ
３００ 基準撮像装置
２２１１ 移動体特徴点抽出手段
２２１２ 特徴点選択手段
２２１３ 特徴点探索手段
２２１４ 視差判定手段
２２１５ 座標射影手段
２２１６ 評価判定手段
２２１７ 像サイズ判定手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】