特開 2024-175603 画像解析装置、画像解析方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175603

(43)【公開日】2024-12-18

(54)【発明の名称】画像解析装置、画像解析方法及びプログラム

(51)【国際特許分類】

   G06V 10/62 20220101AFI20241211BHJP

   G01N 21/17 20060101ALI20241211BHJP

   G06T 7/00 20170101ALI20241211BHJP

   H04N 23/66 20230101ALI20241211BHJP

   H04N 23/68 20230101ALI20241211BHJP

   H04N 23/695 20230101ALI20241211BHJP

   H04N 23/58 20230101ALI20241211BHJP

【ＦＩ】

G06V10/62

G01N21/17 A

G06T7/00 300F

H04N23/66

H04N23/68

H04N23/695

H04N23/58

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023093527

(22)【出願日】2023-06-06

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人科学技術振興機構、研究成果展開事業 大学発新産業創出プログラム「大学・エコシステム推進型スタートアップ・エコシステム形成支援」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(74)【代理人】

【識別番号】100196380

【弁理士】

【氏名又は名称】森 匡輝

(72)【発明者】

【氏名】島崎 航平

(72)【発明者】

【氏名】石井 抱

(72)【発明者】

【氏名】胡 少鵬

【テーマコード（参考）】

2G059

5C122

5L096

【Ｆターム（参考）】

2G059AA05

2G059BB08

2G059BB12

2G059FF01

2G059FF04

2G059JJ15

2G059KK03

2G059KK04

2G059MM01

2G059MM09

5C122DA03

5C122DA11

5C122EA06

5C122EA41

5C122EA55

5C122EA63

5C122EA66

5C122EA67

5C122FA01

5C122FA02

5C122FA18

5C122FB03

5C122FB11

5C122FC00

5C122FD01

5C122FH01

5C122FH10

5C122FH11

5C122FH14

5C122FH23

5C122GE05

5C122GE11

5C122HA13

5C122HA35

5C122HA88

5C122HB01

5C122HB05

5C122HB06

5C122HB10

5L096CA04

5L096CA05

5L096FA23

5L096FA69

5L096HA02

5L096JA11

5L096JA22

(57)【要約】

【課題】広範囲で飛翔する飛翔体の種類を精度よく判別することができる画像解析装置、画像解析方法及びプログラムを提供する。
【解決手段】画像解析装置１は、対象領域全体の広域画像を撮影する広域カメラ１０と、広域画像から判別対象を検出する検出部３１２と、対象領域の一部のズーム画像を、広域カメラ１０より精細に撮影するズームカメラ２０と、ズームカメラ２０の撮影位置を制御するズームカメラ制御部３１３と、ズーム画像から判別対象の種類を判別する判別部３１４と、を備える。検出部３１２は、時系列の広域画像から振動源定位を行って判別対象を検出し、判別対象の現在位置をズームカメラ制御部３１３へ送信する。ズームカメラ制御部３１３は、ズームカメラ２０を制御して判別対象の現在位置のズーム画像を撮影し、判別部３１４は、撮影された時系列のズーム画像に基づいて、判別対象の重心変位の周波数特性を解析して判別対象の種類を判別する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象領域全体を撮影する広域カメラと、
前記広域カメラで撮影された広域画像から飛翔体である判別対象を検出する検出部と、
前記対象領域の一部を、前記広域カメラより精細に撮影するズームカメラと、
前記ズームカメラの撮影位置を制御するズームカメラ制御部と、
前記ズームカメラで撮影されたズーム画像から前記判別対象の種類を判別する判別部と、を備え、
前記検出部は、時系列の広域画像から、画像解析により振動源定位を行って前記判別対象を検出し、検出された前記判別対象の現在位置をズームカメラ制御部へ送信し、
ズームカメラ制御部は、前記検出部から受信した前記判別対象の現在位置の前記ズーム画像を撮影するように前記ズームカメラを制御し、
前記判別部は、
撮影された時系列の前記ズーム画像に基づいて、前記判別対象の重心変位の周波数特性を解析して前記判別対象の種類を判別する、
ことを特徴とする画像解析装置。

【請求項2】

前記ズームカメラのフレームレートは、前記広域カメラのフレームレートより高い、
ことを特徴とする請求項１に記載の画像解析装置。

【請求項3】

前記ズームカメラは、
イメージセンサとレンズとの間に複数のミラーを有し、前記複数のミラーの反射角度を変化させることにより、前記イメージセンサと前記レンズとの間の光路長を調整してフォーカスを調整するフォーカス調整部を備える、
ことを特徴とする請求項１に記載の画像解析装置。

【請求項4】

前記ズームカメラは、
撮影位置を調整する光偏向器を備える、
ことを特徴とする請求項１に記載の画像解析装置。

【請求項5】

前記振動源定位は、フレーム間差分法によって算出された前記判別対象の変位、又は画素レベル高速フーリエ変換によって算出された輝度値の時間変化を振動解析することによって行われる、
ことを特徴とする請求項１に記載の画像解析装置。

【請求項6】

対象領域全体を撮影する広域カメラで撮影された時系列の広域画像から、画像解析により振動源定位を行って飛翔体である判別対象を検出し、
前記対象領域の一部を前記広域カメラより精細に撮影するズームカメラで、検出された前記判別対象の現在位置を撮影し、
前記ズームカメラで撮影された時系列のズーム画像に基づいて、前記判別対象の重心変位の周波数特性を解析して前記判別対象の種類を判別する、
ことを特徴とする画像解析方法。

【請求項7】

コンピュータを、
対象領域全体を撮影する広域カメラで撮影された時系列の広域画像から、画像解析により振動源定位を行って飛翔体である判別対象を検出し、検出された前記判別対象の現在位置をズームカメラ制御部へ送信する検出部、
前記検出部から受信した前記判別対象の現在位置のズーム画像を撮影するように、前記対象領域の一部を前記広域カメラより精細に撮影するズームカメラの撮影位置を制御するズームカメラ制御部、
前記ズームカメラで撮影された時系列の前記ズーム画像に基づいて、前記判別対象の重心変位の周波数特性を解析して前記判別対象の種類を判別する判別部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置、画像解析方法及びプログラムに関し、より詳細には鳥、昆虫等の飛翔体の種類を判別する画像解析装置、画像解析方法及びプログラムに関する。

【背景技術】

【0002】

鳥獣被害は、多くの経済的損失につながるため、農業従事者にとって重要な課題とされている。例えば、野菜や果実を生産する農家においては、鳥の被害によって、収穫高の減少による損失が生じている。こうした鳥獣被害への対応を行う場合、鳥の数量、種類によって有効な対応が異なるので、飛来する鳥の数量の把握、種類の判別が重要となる。また、害虫対策のための昆虫の飛来状況、養蜂における蜜蜂の飛来状況等を把握したいというニーズもある。

【0003】

例えば、特許文献１では、撮影された連続画像から鳥類の翼の軌跡を得て、軌跡に基づいた羽ばたきの深さ、ピッチ、単位時間あたりの羽ばたきの回数等に基づいて、撮影された鳥が大型猛禽類であるか否か判定することとしている。

【0004】

また、特許文献２では、ドローンを用いて収集した画像及び音データから得られた鳥獣類の大きさ、体形、色、鳴き声、動作等に基づいて鳥獣類を推定することとしている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－６０６９４号公報

【特許文献2】特開２０２１－４０５１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１のように、撮影された画像に基づいて飛翔する鳥を判別する場合、飛翔する鳥の動きを常に捉える高解像度画像を取得することは難しい。したがって、大型猛禽類であるか否かといった特定の種類の飛翔体の判定のみならず、飛翔体の種類を精度よく識別することは難しい。

【0007】

また、特許文献２のようにドローンを用いて画像及び音データを収集する場合、長時間、連続してデータを収集することは難しい。また、マイクの空間指向性は低いので、離れた場所から広範囲について鳥獣類の正確な位置を特定することは難しい。したがって、音声ノイズが大きい場合、対象となる範囲に複数の鳥獣類が存在する場合等においては、鳥獣類の推定を行うことは難しい。

【0008】

本発明は、上述の事情に鑑みてなされたものであり、広範囲で飛翔する飛翔体の種類を精度よく判別することができる画像解析装置、画像解析方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、この発明の第１の観点に係る画像解析装置は、
対象領域全体を撮影する広域カメラと、
前記広域カメラで撮影された広域画像から飛翔体である判別対象を検出する検出部と、
前記対象領域の一部を、前記広域カメラより精細に撮影するズームカメラと、
前記ズームカメラの撮影位置を制御するズームカメラ制御部と、
前記ズームカメラで撮影されたズーム画像から前記判別対象の種類を判別する判別部と、を備え、
前記検出部は、時系列の広域画像から、画像解析により振動源定位を行って前記判別対象を検出し、検出された前記判別対象の現在位置をズームカメラ制御部へ送信し、
ズームカメラ制御部は、前記検出部から受信した前記判別対象の現在位置の前記ズーム画像を撮影するように前記ズームカメラを制御し、
前記判別部は、
撮影された時系列の前記ズーム画像に基づいて、前記判別対象の重心変位の周波数特性を解析して前記判別対象の種類を判別する。

【0010】

また、前記ズームカメラのフレームレートは、前記広域カメラのフレームレートより高い、
こととしてもよい。

【0011】

また、前記ズームカメラは、
イメージセンサとレンズとの間に複数のミラーを有し、前記複数のミラーの反射角度を変化させることにより、前記イメージセンサと前記レンズとの間の光路長を調整してフォーカスを調整するフォーカス調整部を備える、
こととしてもよい。

【0012】

また、前記ズームカメラは、
撮影位置を調整する光偏向器を備える、
こととしてもよい。

【0013】

また、前記振動源定位は、フレーム間差分法によって算出された前記判別対象の変位、又は画素レベル高速フーリエ変換によって算出された輝度値の時間変化を振動解析することによって行われる、
こととしてもよい。

【0014】

また、本発明の第２の観点に係る画像解析方法では、
対象領域全体を撮影する広域カメラで撮影された時系列の広域画像から、画像解析により振動源定位を行って飛翔体である判別対象を検出し、
前記対象領域の一部を前記広域カメラより精細に撮影するズームカメラで、検出された前記判別対象の現在位置を撮影し、
前記ズームカメラで撮影された時系列のズーム画像に基づいて、前記判別対象の重心変位の周波数特性を解析して前記判別対象の種類を判別する。

【0015】

また、本発明の第３の観点に係るプログラムは、
コンピュータを、
対象領域全体を撮影する広域カメラで撮影された時系列の広域画像から、画像解析により振動源定位を行って飛翔体である判別対象を検出し、検出された前記判別対象の現在位置をズームカメラ制御部へ送信する検出部、
前記検出部から受信した前記判別対象の現在位置のズーム画像を撮影するように、前記対象領域の一部を前記広域カメラより精細に撮影するズームカメラの撮影位置を制御するズームカメラ制御部、
前記ズームカメラで撮影された時系列の前記ズーム画像に基づいて、前記判別対象の重心変位の周波数特性を解析して前記判別対象の種類を判別する判別部、
として機能させる。

【発明の効果】

【0016】

本発明の画像解析装置、画像解析方法及びプログラムによれば、広域画像を振動解析して定位した飛翔体である判別対象についてズーム画像を撮影し、ズーム画像を振動解析して得られる判別対象の重心変位の周波数特性に基づいて判別対象の種類を判別するので、広範囲において飛翔体の種類を精度よく判別することが可能である。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態に係る画像解析装置の機能ブロック図である。

【図2】実施の形態に係るズームカメラの構成を示す機能ブロック図である。

【図3】実施の形態に係るフォーカス調整部の構成を示す概念図である。

【図4】実施の形態に係る画像解析の流れを示すフローチャートである。

【図5】実施の形態に係る対象領域の例を示す図である。

【図6】判別対象の重心変位を表す概念図である。

【図7】判別対象の重心の変位信号を示す概念図である。

【図8】（Ａ）は判別対象の種類ごとの周波数スペクトルの例であり、（Ｂ）は判別対象の種類ごとの周波数の箱ひげ図の例である。

【発明を実施するための形態】

【0018】

以下、図を参照しつつ、本発明の実施の形態に係る画像解析装置１について説明する。画像解析装置１は、所定の対象領域を飛翔する鳥、昆虫等の飛翔体について、その種類を判別する装置である。

【0019】

図１の機能ブロック図に示すように、画像解析装置１は、広域カメラ１０、ズームカメラ２０、制御ユニット３０を備える。

【0020】

広域カメラ１０は、飛翔体の判別を行う対象領域全体を撮影するカメラである。対象領域の広さは特に限定されず、広域カメラ１０の解像度、フレームレート等に基づいて、撮影された飛翔体を、判別対象として検出可能な範囲で設定すればよい。本実施の形態に係る広域カメラ１０は、Imaging source社製DFK38UX255であり、例えばフレームレート１００ｆｐｓ、解像度４０９６×９０４ピクセルで撮影を行う。また、広域カメラ１０は、撮影した広域画像Ｉ_ｂのデータを制御ユニット３０へ送信する。

【0021】

ズームカメラ２０は、制御ユニット３０で検出された判別対象付近の領域を、広域画像Ｉ_ｂより高精細に撮影するカメラである。図２に示すように、ズームカメラ２０は、撮影位置調整部２１、レンズ２２、フォーカス調整部２３、イメージセンサ２４を備える。本実施の形態に係るイメージセンサ２４は、Imaging source社製DFK37BUX287である。ズームカメラ２０の解像度は、例えば７２０×５４０ピクセルであり、対象領域の一部（例えば、対象領域を８００分割した領域）である判別対象付近をズームして撮影することにより、広域カメラ１０より精細な判別対象の画像を撮影することができる。また、ズームカメラ２０のフレームレートは、例えば５００ｆｐｓであり、広域カメラ１０よりも高いフレームレートで撮影を行うことで、振動解析による判別処理の精度を向上させることができる。

【0022】

撮影位置調整部２１は、レンズ２２へ入射する光の方向を調整する。撮影位置調整部２１の構成は特に限定されず、例えばパン方向、チルト方向にモータで回転可能な台座のように、対象領域内の任意の位置をズーム撮影可能なものであればよい。本実施の形態に係る撮影位置調整部２１は、２軸のガルバノミラーからなる光偏向器（Cambridge社製ガルバノスキャナ6240H）である。ガルバノミラーによる光偏向器は、それぞれの回転軸が直交するように配置された２枚のミラーを備え、それぞれのミラーの角度を制御することにより、対象領域内の任意の座標を撮影することができる。これにより、ズームカメラ２０は、対象領域内の任意の座標のズーム画像Ｉ_ｚを生成することができる。また、ズームカメラ２０は、判別対象が複数存在する場合であっても、撮影位置調整部２１を制御して各判別対象を順次撮影可能であるので、判別対象ごとに精細なズーム画像Ｉ_ｚを撮影することができる。

【0023】

レンズ２２は、撮影位置調整部２１によって位置合わせされた判別対象付近の像をフォーカス調整部２３へと入射する。レンズ２２は、自動焦点機能を有するものでもよいが、一般的にレンズを移動させてフォーカス調整する場合、複数枚のレンズを移動させるための時間を要することとなる。したがって、対象領域内の飛翔体の数が複数になると、広域カメラ１０のフレーム間隔内で対象領域内の全ての飛翔体に対して順次フォーカス調整して撮影することは難しくなる。そこで、本実施の形態に係るレンズ２２は固定焦点レンズであり、ズームカメラ２０は、高速でフォーカス調整するためのフォーカス調整部２３を備えることとする。

【0024】

フォーカス調整部２３は、ズーム画像Ｉ_ｚを撮影する際、判別対象に焦点が合うように調整するものである。フォーカス調整部２３の構成は特に限定されず、コントラストオートフォーカス、位相差オートフォーカス等の方法を用いてフォーカス調整を行うことができる。本実施の形態に係るフォーカス調整部２３は、レンズ２２とイメージセンサ２４との間に配置され、レンズ２２とイメージセンサ２４との間の光路長を調整することにより、フォーカス調整を行う。

【0025】

より具体的には、フォーカス調整部２３は、図３に示すように２枚のミラー２３１，２３２を備える。ミラー２３１はレンズ２２からの入射光の光軸上に配置され、入射光の光軸に直交する軸を中心として回転可能に配置される。また、ミラー２３２は、ミラー２３１の回転軸と平行な軸を中心として回転可能に配置される。ミラー２３１，２３２は、図示しない駆動手段であるモータによって回転駆動される。

【0026】

ミラー２３１は、入射光をミラー２３２へ反射させ、ミラー２３２はミラー２３１からの入射光をイメージセンサ２４へと反射させる。図３に示すように、ミラー２３２の回転軸はミラー２３２の中心から外れた偏心軸となっており、ミラー２３２の回転角θ_２を調整することにより、ミラー２３１とミラー２３２との距離Ｌ_２と、ミラー２３２とイメージセンサ２４との距離Ｌ_３とを調整することができる。また、ミラー２３２の回転角θ_２にあわせて、ミラー２３１の回転角θ_１を調整することにより、ミラー２３２へ反射させる入射光の向きを調整することができる。これにより、レンズ２２とイメージセンサ２４との間の光路長を調整しつつ、入射光を適切にイメージセンサ２４へ導くことができる。

【0027】

本実施の形態に係るフォーカス調整部２３では、判別対象ごとにミラー２３１，２３２の角度を調整して複数のズーム画像Ｉ_ｚを撮影し、撮影された複数のズーム画像Ｉ_ｚに基づいてコントラストオートフォーカス処理を適用し、判別対象に焦点が合うようにフォーカス調整を行うこととしている。

【0028】

イメージセンサ２４は、レンズ２２を介してズームカメラ２０に入射した光を、画像データに変換してズーム画像Ｉ_ｚを生成する。上述したように、ズームカメラ２０で撮影されるズーム画像Ｉ_ｚの解像度は、例えば７２０×５４０ピクセルであり、広域画像Ｉ_ｂの解像度よりも低く設定されている。しかしながら、撮影される領域が判別対象付近に絞られるので、広域画像Ｉ_ｂより精細に判別対象を撮影することができる。また、ズームカメラ２０のフレームレートは例えば５００ｆｐｓであり、広域カメラ１０のフレームレートより高く設定されている。したがって、羽ばたき周波数が２～４０Ｈｚ程度である鳥類、１０～２００Ｈｚ程度である蝶、蜂等の昆虫等の飛翔体について、ズーム画像Ｉ_ｚを用いた振動解析による判別対象の種類の判別を、精度よく行うことができる。

【0029】

制御ユニット３０は、図１に示すように、制御部３１、記憶部３２、表示部３３、入力部３４を備える。

【0030】

制御部３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されており、広域カメラ１０及びズームカメラ２０の動作を制御する。また、制御部３１は、広域カメラ１０で撮影された広域画像Ｉ_ｂに基づいて判別対象である飛翔体を検出する。また、制御部３１は、ズームカメラ２０で撮影されたズーム画像Ｉ_ｚに基づいて判別対象の種類の判別を行う。制御部３１は、制御部３１のＲＯＭ、記憶部３２等に記憶されている各種動作プログラム及びデータをＲＡＭに読み込んでＣＰＵを動作させることにより、図１に示される制御部３１の各機能を実現させる。これにより、制御部３１は、広域カメラ制御部３１１、検出部３１２、ズームカメラ制御部３１３、判別部３１４として動作する。

【0031】

広域カメラ制御部３１１は、広域カメラ１０を制御して、対象領域を撮影し、広域画像Ｉ_ｂを取得する。対象領域の広さは特に限定されず、判別対象の大きさ及び飛翔速度、観測すべき範囲等に応じて設定すればよい。鳥、昆虫等の飛翔体を検出する場合、飛翔体の移動速度が早い場合がある。また、鳥、昆虫等は、地上を移動する動物等と比較して移動方向の自由度が高いので、移動方向の変換が多く、移動方向の予測が難しい。したがって、飛翔体の判別においては、比較的広い範囲を撮影することが求められる。例えば、畑に飛来する鳥を判別する場合であれば幅１００ｍ、高さ２０ｍ程度、巣箱周辺の蜜蜂を判別する場合であれば幅５ｍ、高さ３ｍ程度等のように設定することができる。典型的には幅１～１００ｍ程度の範囲が対象領域とされる。

【0032】

検出部３１２は、取得された広域画像Ｉ_ｂに基づいて、種類の判別を行う判別対象を検出する。対象領域として広い範囲を撮影するためには、カメラの処理能力による制約等により、相対的に解像度を低下させる必要がある場合が多い。解像度が低下すると、ノイズの影響が大きくなるので、単一の静止画像から対象領域内の判別対象を検出することは難しくなる。

【0033】

本実施の形態に係る検出部３１２は、判別対象を検出するために振動源定位を行う。具体的には、検出部３１２は、予め設定された所定のフレームレートｆ_ｂで撮影された時系列の広域画像Ｉ_ｂに基づいて、フレーム間差分法によって算出された前記判別対象の変位、又は画素レベル高速フーリエ変換によって算出された輝度値の時間変化の振動解析を行う。そして、検出部３１２は、振動している部分を判別対象の飛翔体として検出し、検出した判別対象の位置を算出する。このように、検出部３１２は、振動解析によって判別対象の検出を行うので、静止画像に基づく検出と比較して、広域画像Ｉ_ｂの解像度が低いことによるノイズの影響を低減し、精度よく判別対象を検出することができる。

【0034】

判別対象の位置は、広域カメラ１０で撮影される対象領域に対応して予め設定された座標として表される。広域画像Ｉ_ｂの座標と、ズームカメラ２０で用いられる座標との対応関係は、予め記憶部３２に記憶されている。また、検出部３１２は、検出された判別対象の現在位置を表す座標情報をズームカメラ制御部３１３へ送信する。

【0035】

ズームカメラ制御部３１３は、ズームカメラ２０を制御して、判別対象付近を撮影し、ズーム画像Ｉ_ｚを取得する。具体的には、検出部３１２から受信した判別対象ごとの座標情報に基づいて、撮影位置調整部２１を動作させ、判別対象を含む判別対象近傍の領域をズーム画像Ｉ_ｚとして撮影する。

【0036】

判別部３１４は、ズームカメラ制御部３１３で取得されたズーム画像Ｉ_ｚに基づいて、判別対象の種類の判別を行う。より具体的には、判別部３１４は、ズーム画像Ｉ_ｚに基づいて、振動解析を行う。すなわち、それぞれの判別対象の時系列のズーム画像Ｉ_ｚに基づいて、判別対象の変位の時間変化を振動情報として振動解析を行う。

【0037】

判別部３１４は、判別対象ごとの振動情報をフーリエ変換して振動スペクトルを得る。判別部３１４は、各判別対象の振動スペクトルと、予め記憶部１２に記憶されている各種の飛翔体の振動スペクトルとを比較して、パターン認識を行うことにより、判別対象の種類の判別を行う。

【0038】

また、制御ユニット３０は、通信インターフェース（以下、通信Ｉ／Ｆという。）を介して、広域カメラ１０、ズームカメラ２０等と通信を行う。具体的には、広域カメラ制御部３１１は、広域カメラ１０へ制御情報を送信し、撮影された広域画像Ｉ_ｂの画像データを取得する。また、ズームカメラ制御部３１３は、検出された判別対象の座標情報に基づいて、ズームカメラ２０を制御して、判別対象を含む領域で撮影されたズーム画像Ｉ_ｚの画像データを取得する。

【0039】

記憶部３２は、ハードディスク、フラッシュメモリ等の不揮発性メモリであり、広域画像Ｉ_ｂから判別対象を検出する検出プログラム、広域画像Ｉ_ｂとズーム画像Ｉ_ｚとの座標の対応関係等の情報を記憶する。

【0040】

表示部３３は、制御ユニット３０に備えられた表示用デバイスであり、例えば液晶ディスプレイである。表示部３３は、広域カメラ１０で撮影された広域画像Ｉ_ｂ、検出部３１２で検出された判別対象に関する情報等を表示する。

【0041】

入力部３４は、広域カメラ１０の画角、露出などの撮影に関するパラメータ等を入力するための入力デバイスである。入力部３４は、制御ユニット３０に備えられたキーボード、タッチパネル、マウス等である。

【0042】

以下、図４のフローチャートを参照しつつ本実施の形態に係る画像解析方法を用いた飛翔体の判別処理について具体的に説明する。

【0043】

本実施の形態に係る判別処理では、図５に示すように、幅１００ｍ程度の範囲、より詳細には観察視野角約６０°、最大有効測定距離約１５０ｍの範囲を対象領域として、この対象領域中を飛翔する鳥の判別を行う場合を例として説明する。本実施の形態では、鳥類の判別を例として説明するが、判別対象の大きさ、飛翔範囲、飛翔速度等に基づいて、撮影範囲、解像度等を選択することにより、羽ばたいて飛翔する昆虫、回転翼を有するドローン等、種々の飛翔体について本実施の形態に係る振動解析を用いた判別を行うことが可能である。

【0044】

本実施の形態に係る画像解析装置１では、制御ユニット３０の広域カメラ制御部３１１が、広域カメラ１０を制御して対象領域の広域画像Ｉ_ｂを撮影する（ステップＳ１１）。

【0045】

本実施の形態において、広域カメラ１０で撮影される対象領域の広域画像Ｉ_ｂは、フレームレート１００ｆｐｓ、解像度４０９６×９０４ピクセルである。このような精細度の広域画像Ｉ_ｂは、実時間処理による判別対象の検出には適している。しかしながら、画像情報から判別対象の特徴を捉えて、飛翔体の種類の判別を行うことは難しい。画素数が多く、フレームレートが高い広域カメラ１０を用いて、広域画像Ｉ_ｂの解像度を高めれば、対象領域の任意の位置に撮影される判別対象を画像認識することは可能となる。しかしながら、広域画像Ｉ_ｂについて複数の判別対象を検出する場合、制御部３１の処理能力が不足し、実時間処理できなくなるおそれがある。本実施の形態では、広域画像Ｉ_ｂを用いて判別対象の検出を行い、より精細なズーム画像Ｉ_ｚを用いて判別対象の画像認識を行う。したがって、安価な広域カメラ１０を用いることができる。

【0046】

制御ユニット３０は、撮影された広域画像Ｉ_ｂのデータを、広域カメラ１０から受け取り、判別対象を検出する（ステップＳ１２）。本実施の形態では、対象領域中を飛翔する飛翔体を判別対象として検出する。

【0047】

判別対象の検出アルゴリズムは特に限定されず、目的の判別対象を、振動解析を用いて検出可能なアルゴリズムであればよい。本実施の形態では、検出部３１２は、取得された時系列の広域画像Ｉ_ｂについて、各画素の輝度の時間変化を算出する。そして、検出部３１２は、画素ごとの輝度の時間変化を短時間フーリエ変換し、予め設定された所定の周波数成分が閾値以上であれば、判別対象である鳥等の飛翔体として検出する。例えば、鳥類を検出する場合、鳥類の羽ばたき周波数の多くが２Ｈｚから４０Ｈｚの間であることから、この範囲の成分が、撮影システムに依存するノイズレベルを考慮して設定された閾値以上である場合、鳥類が対象領域中に存在すると判断できる。

【0048】

また、検出部３１２は、判別対象を検出した画素領域の重心を算出し、当該領域を飛翔する判別対象の座標として、ズームカメラ制御部３１３へ送信する。重心の算出方法は特に限定されないが、例えば、判別対象が検出された画素のうち、隣接する画素の集合を１つの判別対象の領域として、当該領域の重心を算出することとすればよい。

【0049】

また、検出部３１２は、各時刻において検出された飛翔体、すなわち隣接する画素領域が複数ある場合、前時刻の重心位置と現在時刻の重心位置とを比較して、最も近い座標の飛翔体を同一の飛翔体であると推定して、判別対象の識別番号を付与して、座標情報とともに判別対象情報としてズームカメラ制御部３１３へ送信する（ステップＳ１３）。これにより、画像解析装置１は、判別対象を個体ごとに追跡して、時系列のズーム画像Ｉ_ｚを撮影することができる。

【0050】

ズームカメラ制御部３１３は、検出部３１２から受信した判別対象情報に含まれる、判別対象の位置に基づいて、ズームカメラ２０を制御して、判別対象付近のズーム画像Ｉ_ｚを撮影する。より具体的には、ズームカメラ制御部３１３は、撮影位置調整部２１のガルバノミラーを制御して、ズームカメラ２０の撮影位置を調整し（ステップＳ１４）、判別対象の位置を中心としたズーム画像Ｉ_ｚを撮影する。判別対象の座標と、撮影位置調整部２１の制御量、すなわち２軸ガルバノミラーの角度との関係に関する情報は、予め記憶部３２に記憶されており、ズームカメラ２０の撮影位置調整に用いられる。

【0051】

ズームカメラ制御部３１３は、広域カメラ１０のフレーム間隔の間に、撮影位置調整部２１で順次視点を切り替えて各判別対象のズーム画像Ｉ_ｚを撮影し、ズームカメラ２０からズーム画像Ｉ_ｚのデータを受信する。

【0052】

また、上述のようにズームカメラ２０は、フォーカス調整部２３を備えている。フォーカス調整部２３は、レンズ２２とイメージセンサ２４との間に配置され、少なくとも２枚のミラーを備える。本実施の形態に係るフォーカス調整部２３は、図３に示すように、２枚のミラー２３１，２３２を備える。ミラー２３１，２３２は、それぞれ、レンズ２２からの入射光軸に直交し、互いに平行な軸で回転可能に配置される。これにより、簡素な構成で光路長を調整しつつ、入射光をイメージセンサ２４に受光させることができる。

【0053】

本実施の形態では、ミラー２３１，２３２の初期角度は、入射光軸に対してそれぞれ４５°で、プラスマイナス１０°の範囲で回転できるように設定されている。また、ミラー２３１，２３２のうち、少なくとも、光路上でイメージセンサ２４に近いミラー２３２の回転軸は、ミラー２３２の中心から外れた偏心軸となるように設定されている。これにより、光路長の調整範囲を大きくすることができる。また、本実施の形態に係るフォーカス調整部２３は、レンズ２２とイメージセンサ２４との間の光路長を調整することとしている。したがって、小さな光路長の違いで、焦点の合う位置を大きく調整することができる。したがって、判別対象が画像解析装置１から遠い位置を飛翔する場合であっても、適切なフォーカス調整を行うことができる。

【0054】

図３に示すように、ミラー２３１，２３２の回転角度をθ_１，θ_２、ミラー２３１からイメージセンサ２４までの距離をＳ_２、レンズ２２からミラー２３１までの光路長をＬ_１、ミラー２３１からミラー２３２までの光路長をＬ_２、ミラー２３２からイメージセンサ２４までの光路長をＬ_３、ミラー２３１とミラー２３２との中心位置間の距離をｌと表す。この場合、レンズ２２とイメージセンサ２４との間の光路長ＬはＬ＝Ｌ_１＋Ｌ_２＋Ｌ_３であり、Ｌ_２、Ｌ_３は、ミラー２３１，２３２の回転角度θ_１，θ_２に基づいて、以下のように表される。

【数1】

【0055】

図３に示すように、レンズ２２から入射した光は、ミラー２３１及びミラー２３２で反射してイメージセンサ２４で受光される。したがって、イメージセンサ２４で正しく入射光を受光するためには、ミラー２３２の回転角度は、ミラー２３１の回転角度によって規定される。また、小型化の観点等から、ミラー２３１とミラー２３２との距離、ミラー２３１及びミラー２３２の大きさ、回転角度は、制限される。そこで、本実施の形態では、レンズ２２からの入射光がイメージセンサ２４で適切に受光可能なミラー２３１，２３２の回転角度の組み合わせを予め選択し、テーブルＴｂとして記憶部１２に記憶させることとしている。例えば、テーブルＴｂには、ミラー２３１の角度θ_１とミラー２３２の角度θ_２として、９つの組み合わせを予め記憶させておく。これにより、光路長を変化させつつ、入射光がイメージセンサ２４に適切に届くミラー２３１，２３２の角度を効率的に選択することが可能となる。

【0056】

ズームカメラ制御部３１３は、各判別対象の座標に撮影位置調整部２１のガルバノミラーが設定された状態で、テーブルＴｂで設定されたミラー２３１，２３２の角度を順次選択してミラー２３１及びミラー２３２を回転させる。そして、ズームカメラ制御部３１３は、ズームカメラ２０を制御してズーム画像Ｉ_ｚを取得する（ステップＳ１５）。ズームカメラ制御部３１３は、取得したズーム画像Ｉ_ｚのうち、判別対象に焦点が合っている画像をその判別対象のズーム画像Ｉ_ｚとして選択し（ステップＳ１６）、判別対象ごとに時系列のズーム画像Ｉ_ｚとして記憶部３２に記憶させる。これにより、判別対象により焦点が合っている画像をズーム画像Ｉ_ｚとして撮影することができるので、ズーム画像Ｉ_ｚに基づく振動解析を精度よく行うことが可能となり、判別対象の判別精度を向上させることができる。

【0057】

判別部３１４は、時系列のズーム画像Ｉ_ｚの周波数解析を行うことにより、判別対象の種類の判別を行う（ステップＳ１７）。具体的には、判別部３１４は、ズーム画像Ｉ_ｚに基づいて、判別対象の重心の座標を算出する。重心の算出方法は特に限定されないが、例えば広域画像Ｉ_ｂにおける判別対象の重心算出と同様に、判別対象が検出された画素のうち、隣接する画素の集合を１つの判別対象の領域として、当該領域の重心を計算することとすればよい。また、例えば、フレーム間差分法によって演算された判別対象領域について重心を算出することとしてもよい。

【0058】

図６に示すように、判別対象の重心位置の時間変化は、飛翔体の羽ばたきを含んでおり、重心変位の周波数特性を解析することにより、対象の種類を判別することが可能となる。鳥、昆虫等の羽ばたきを画像解析した場合、種類ごとの特徴は、図７に示すように、重心の飛翔方向に対する振動と上下方向（羽ばたき方向）に対する振動との組み合わせとして表れる。そこで、本実施の形態では、図７に示すように、撮影されたズーム画像Ｉ_ｚについてｘ方向成分とｙ方向成分とを加算して変位信号を算出し、算出された変位信号を振動解析することで、飛翔体の種類の判別を行う。これにより、対象領域の空間をｘ方向及びｙ方向に移動する判別対象について、少ない演算負荷で振動解析を行うことができる。

【0059】

図８は、変位信号を高速フーリエ変換して得られた飛翔体の種類ごとの周波数スペクトルとして表したもの（図８（Ａ））、及び周波数特性を箱ひげ図として表したもの（図８（Ｂ））である。図８（Ａ）、（Ｂ）に示すように、変位信号を振動解析することにより対象の種類を適切に判別できることがわかる。本実施の形態に係る判別部３１４は、取得したズーム画像Ｉ_ｚに基づいて算出された変位信号の振動解析結果と、記憶部３２に予め記憶された周波数特性のパターンとを比較することにより、対象の種類を判別する。そして、判別部３１４は、判別結果を表示部３３に表示するとともに、記憶部３２に記憶させる（ステップＳ１８）。

【0060】

画像解析装置１は、判別処理が終了するまでステップＳ１１～Ｓ１８の手順を繰り返し（ステップＳ１９のＮＯ）、所定の終了条件を充足すると判別処理を終了する（ステップＳ１９のＹＥＳ）。

【0061】

以上説明したように、本実施の形態に係る画像解析装置１では、広域カメラ１０で撮影された広域画像Ｉ_ｂを用いて振動源定位により検出された判別対象を、撮影位置調整部２１を備えるズームカメラ２０で順次撮影する。したがって、静止画像に基づく検出よりも精度よく判別対象の検出を行うことが可能である。また、ズームカメラ２０で撮影された広域画像Ｉ_ｂより精細なズーム画像Ｉ_ｚを用いて重心変位の周波数特性を解析して、対象を判別する。したがって、対象の種類を精度よく判別することが可能である。

【0062】

また、本実施の形態に係る画像解析装置１では、ズームカメラ２０が複数のミラー２３１，２３２を有するフォーカス調整部２３を備え、ミラー２３１，２３２の反射角度を調整することによりレンズ２２とイメージセンサ２４との間の光路長を調整する。これにより、判別対象に焦点が合ったズーム画像Ｉ_ｚを撮影、選択することができる。したがって、ズーム画像Ｉ_ｚにおいて判別対象をより明確に撮像できるので、画像解析に基づく対象の判別をより精度よく行うことが可能である。

【0063】

本実施の形態では、ズームカメラ２０で判別対象の飛翔体を撮影するごとに、フォーカス調整部２３を用いて複数の光路長でズーム画像Ｉ_ｚを撮影することとしたが、これに限られない。例えば、対象領域中に多数の判別対象が存在する場合、高いフレームレートでズーム画像Ｉ_ｚを撮影しつつ、撮影時刻ごとに各判別対象について複数の異なる焦点距離で撮影を行うことは難しい。そこで、ズームカメラ制御部３１３は、例えば、フォーカス調整による複数撮影を行う判別対象を順次選択し、各撮影時刻で選択されている１つの判別対象についてフォーカス調整による複数枚のズーム画像Ｉ_ｚを撮影することとすればよい。この場合、各撮影時刻において、フォーカス調整されない判別対象については、前回フォーカス調整された際に最も焦点が合っていたミラー２３１，２３２の角度で撮影することとすればよい。これにより、高いフレームレートを維持しつつ、複数の判別対象についてフォーカス調整されたズーム画像Ｉ_ｚを撮影することができる。

【0064】

また、別の方法として、対象領域中の判別対象の数が増えるごとに、ズーム画像Ｉ_ｚを撮影するミラー２３１，２３２の角度の組み合わせを減少させることとしてもよい。例えば、ズーム画像Ｉ_ｚを撮影するミラー２３１，２３２の角度の組み合わせを、通常は９通り、判別対象が２以上の場合には５通り、判別対象が５以上の場合には３通りと変化させることができる。これにより、高いフレームレートを維持しつつ、複数の判別対象について各撮影時刻でフォーカス調整されたズーム画像Ｉ_ｚを撮影することができる。

【0065】

また、本実施の形態では、振動源定位による判別対象の検出アルゴリズムとして、画素レベル高速フーリエ変換によって算出された輝度値の時間変化に基づく振動解析を用いることとしたが、これに限られない。例えば、フレーム間差分法を判別対象の検出アルゴリズムに用いることができる。この場合、時系列の広域画像Ｉ_ｂについてフレーム間差分法を用いて判別対象の検出を行う。そして、検出部３１２は、判別対象の重心を算出し、重心の振動解析に基づく情報から、判別対象を検出することとすればよい。振動解析に基づく情報としては、１回の羽ばたきストロークによる移動量、羽ばたいている時と羽ばたいていない時の間隔、羽ばたき周波数等を用いることができる。

【0066】

また、本実施の形態では、広域画像Ｉ_ｂとズーム画像Ｉ_ｚとを撮影しつつ、順次判別対象の判別を行うこととしたが、これに限られない。例えば、予め設定された所定の時間広域画像Ｉ_ｂとズーム画像Ｉ_ｚとを撮影し、オフライン処理で判別対象の種類の判別を行うこととしてもよい。

【0067】

また、上記実施の形態に係る画像解析による飛翔体の判別は、通常のコンピュータシステムを用いて実現可能である。例えば、上記実施の形態に係る画像解析を実行するためのコンピュータプログラムを、ＵＳＢメモリ、ＤＶＤ－ＲＯＭ等のコンピュータが読み取り可能な記録媒体に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、コンピュータ装置を上記の画像解析を実行する画像解析装置１として機能させることができる。

【産業上の利用可能性】

【0068】

本発明は、広範囲において飛翔体の判別を行う画像解析装置に好適である。特に、対象領域に複数の判別対象が存在する場合の飛翔体の判別を行う画像解析装置に好適である。

【符号の説明】

【0069】

１ 画像解析装置、１０ 広域カメラ、２０ ズームカメラ、２１ 撮影位置調整部、２２ レンズ、２３ フォーカス調整部、２３１，２３２ ミラー、２４ イメージセンサ、３０ 制御ユニット、３１ 制御部、３１１ 広域カメラ制御部、３１２ 検出部、３１３ ズームカメラ制御部、３１４ 判別部、３２ 記憶部、３３ 表示部、３４ 入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】