特許 6304708 ムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6304708

(24)【登録日】2018年3月16日

(45)【発行日】2018年4月4日

(54)【発明の名称】ムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20180326BHJP

【ＦＩ】

   G06T7/20

【請求項の数】6

【全頁数】20

(21)【出願番号】特願2014-33960(P2014-33960)

(22)【出願日】2014年2月25日

(65)【公開番号】特開2015-158843(P2015-158843A)

(43)【公開日】2015年9月3日

【審査請求日】2017年2月9日

(73)【特許権者】

【識別番号】000173809

【氏名又は名称】一般財団法人電力中央研究所

(74)【代理人】

【識別番号】100087468

【弁理士】

【氏名又は名称】村瀬 一美

(72)【発明者】

【氏名】中島 慶人

(72)【発明者】

【氏名】伊藤 憲彦

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１３−２０６０３４（ＪＰ，Ａ）

【文献】 特開２０１１−２０９８０６（ＪＰ，Ａ）

【文献】 吉岡 俊英 外2名，収縮処理を用いた野鳥のカウント法，ＦＩＴ２００７ 第６回情報科学技術フォーラム 一般講演論文集 第３分冊 画像認識・メディア理解 グラフィクス・画像 ヒューマンコミュニケーション＆インタラクション 教育工学・福祉工学・マルチメディア応用，日本，社団法人情報処理学会 社団法人電子情報通信学会，２００７年 ８月２２日，pp.41-42

【文献】 James W.D，Hierarchical Motion History Images for Recognizing Human Motion，Detection and Recognition of Events in Video，IEEE，２００１年，pp.39-46

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像装置を用いて監視対象を撮影し、当該撮影によって得られた撮像画像のデータを用いて所定の長さの時間区分における動き履歴を１画像で表現した動き履歴画像を作成し、画像特徴項目としての、前記所定の長さの時間区分における撮像画像についての１画像内の変化領域の個数及び１画像内の全ての変化領域の画素数の合計、並びに、前記動き履歴画像における動き領域の画素数の合計及び撮像画像のうちの監視領域内で動き履歴が途切れる数及び前記撮像画像のうちの監視領域に進入する動き履歴数、並びに、前記動き領域の画素数の合計が変化閾値以上である状態の持続時間のうちの少なくとも一つが前記画像特徴項目のそれぞれに対して設定される選定閾値以上である場合に処理対象になっている時間区分をムクドリの大量飛来の候補として選定し、当該候補として選定された時間区分における前記撮像画像についての前記１画像内の変化領域の個数の値，前記１画像内の全ての変化領域の画素数の合計の値，前記動き履歴画像における前記動き領域の画素数の合計の値と判定直線との間の距離が判定閾値以下である場合にムクドリの大量飛来であると判定することを特徴とするムクドリを検知する画像処理方法。

【請求項2】

前記ムクドリの大量飛来であるか否かを判定する際に、三次元直交座標系における前記判定直線を二次元直交座標系に写像して得られる直線と前記１画像内の変化領域の個数の値及び前記１画像内の全ての変化領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離、並びに、前記直線と前記１画像内の変化領域の個数の値及び前記動き履歴画像における動き領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離を用いることを特徴とする請求項１記載のムクドリを検知する画像処理方法。

【請求項3】

撮像装置を用いての監視対象の撮影によって得られた撮像画像のデータを記憶装置から読み込む手段と、前記撮像画像のデータを用いて所定の長さの時間区分における動き履歴を１画像で表現した動き履歴画像を作成する手段と、画像特徴項目としての、前記所定の長さの時間区分における撮像画像についての１画像内の変化領域の個数及び１画像内の全ての変化領域の画素数の合計、並びに、前記動き履歴画像における動き領域の画素数の合計及び撮像画像のうちの監視領域内で動き履歴が途切れる数及び前記撮像画像のうちの監視領域に進入する動き履歴数、並びに、前記動き領域の画素数の合計が変化閾値以上である状態の持続時間のうちの少なくとも一つが前記画像特徴項目のそれぞれに対して設定される選定閾値以上である場合に処理対象になっている時間区分をムクドリの大量飛来の候補として選定する手段と、当該候補として選定された時間区分における前記撮像画像についての前記１画像内の変化領域の個数の値，前記１画像内の全ての変化領域の画素数の合計の値，前記動き履歴画像における前記動き領域の画素数の合計の値と判定直線との間の距離が判定閾値以下である場合にムクドリの大量飛来であると判定する手段とを有することを特徴とするムクドリを検知する画像処理装置。

【請求項4】

前記ムクドリの大量飛来であるか否かを判定する際に、三次元直交座標系における前記判定直線を二次元直交座標系に写像して得られる直線と前記１画像内の変化領域の個数の値及び前記１画像内の全ての変化領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離、並びに、前記直線と前記１画像内の変化領域の個数の値及び前記動き履歴画像における動き領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離が用いられることを特徴とする請求項３記載のムクドリを検知する画像処理装置。

【請求項5】

撮像装置を用いての監視対象の撮影によって得られた撮像画像のデータを記憶装置から読み込む手段と、前記撮像画像のデータを用いて所定の長さの時間区分における動き履歴を１画像で表現した動き履歴画像を作成する手段と、画像特徴項目としての、前記所定の長さの時間区分における撮像画像についての１画像内の変化領域の個数及び１画像内の全ての変化領域の画素数の合計、並びに、前記動き履歴画像における動き領域の画素数の合計及び撮像画像のうちの監視領域内で動き履歴が途切れる数及び前記撮像画像のうちの監視領域に進入する動き履歴数、並びに、前記動き領域の画素数の合計が変化閾値以上である状態の持続時間のうちの少なくとも一つが前記画像特徴項目のそれぞれに対して設定される選定閾値以上である場合に処理対象になっている時間区分をムクドリの大量飛来の候補として選定する手段と、当該候補として選定された時間区分における前記撮像画像についての前記１画像内の変化領域の個数の値，前記１画像内の全ての変化領域の画素数の合計の値，前記動き履歴画像における前記動き領域の画素数の合計の値と判定直線との間の距離が判定閾値以下である場合にムクドリの大量飛来であると判定する手段としてコンピュータを機能させることを特徴とするムクドリを検知する画像処理プログラム。

【請求項6】

前記ムクドリの大量飛来であるか否かを判定する際に、三次元直交座標系における前記判定直線を二次元直交座標系に写像して得られる直線と前記１画像内の変化領域の個数の値及び前記１画像内の全ての変化領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離、並びに、前記直線と前記１画像内の変化領域の個数の値及び前記動き履歴画像における動き領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離が用いられることを特徴とする請求項５記載のムクドリを検知する画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラムに関する。さらに詳述すると、本発明は、監視対象へのムクドリの群れの飛来を画像データを用いて検知する技術に関する。

【背景技術】

【0002】

住居に近接する鉄塔などの電力設備にムクドリが大量に飛来すると、大量の糞と鳴き声とが住民の迷惑になる。そこで、大量に飛来するムクドリを特定して検知する技術が望まれている。

【0003】

監視対象区域への飛来物を画像データを用いて検知する従来の画像処理技術としては、例えば、監視対象区域（空間領域）を連続撮影する一のカメラ及び当該一のカメラとは異なる方向から監視対象区域を一のカメラと同期させて連続撮影する他のカメラを備えた撮影手段と、当該撮影手段におけるそれぞれのカメラが取得した画像データの群から背景画像データを作成する背景画像データ作成手段と、作成された背景画像データを画像データの群における各画像データから減じることによって差分画像データの群を作成する差分画像データ作成手段と、作成された差分画像データの群の各差分画像データ中から最大輝度の部位を抽出する最大輝度抽出手段と、複数のカメラによる各差分画像データを時系列にて同期させて最大輝度抽出手段が抽出した最大輝度の部位の三次元データを作成するステレオマッチング手段と、当該マッチング手段がマッチングさせた最大輝度の部位を時系列にて処理することによって最大輝度の部位の速度ベクトルを算出する速度ベクトル算出手段とを備えるものがある（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−０３９５６１号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の飛来物検知技術では、監視対象区域に何らかの飛来物が進入したことを検知することはできても、その飛来物がムクドリであるか否かを判別することはできない。このため、種々の飛来物のうちムクドリのみを特定して検知する技術としては用いることができない。

【0006】

また、飛来物を検知した後にその飛来物がムクドリであるか否かを判別する場合に、顔や車の判別などのように登録画像を予め機械学習させて飛来物の種類を決定することが考えられる。しかしながら、鳥は三次元空間を飛翔して監視対象区域に進入するものであり、鳥が監視対象区域に進入する方向・姿勢を特定することはできないので、鳥の見え方ごと（言い換えると、鳥のあらゆる撮影方向ごと）に機械学習用の多数の画像データセットを予め準備することが必要とされるが、そのようなあらゆる見え方ごと（撮影方向ごと）の画像データセットを作成するには多大な労力と費用とが必要とされるという問題がある。

【0007】

また、特許文献１の飛来物検知技術では、速度ベクトル算出手段により、飛来物の速度ベクトルを特定する、即ち飛来物の飛翔軌跡を正確に特定するようにしている。しかしながら、監視対象区域に大量のムクドリが単に飛来したか否かのみを検知する場合には、飛翔軌跡の正確な特定は必要ではなく、むしろ余計な処理になって結果的に処理時間が長くなってしまうという問題がある。

【0008】

そこで、本発明は、機械学習用のムクドリの画像データセットを予め準備するという手間をかけることなく、さらに、処理に長時間を要することなく、監視対象へのムクドリの群れの飛来を検知することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

かかる目的を達成するため、本発明のムクドリを検知する画像処理方法は、撮像装置を用いて監視対象を撮影し、当該撮影によって得られた撮像画像のデータを用いて所定の長さの時間区分における動き履歴を１画像で表現した動き履歴画像を作成し、画像特徴項目としての、所定の長さの時間区分における撮像画像についての１画像内の変化領域の個数及び１画像内の全ての変化領域の画素数の合計、並びに、動き履歴画像における動き領域の画素数の合計及び撮像画像のうちの監視領域内で動き履歴が途切れる数及び撮像画像のうちの監視領域に進入する動き履歴数、並びに、動き領域の画素数の合計が変化閾値以上である状態の持続時間のうちの少なくとも一つが画像特徴項目のそれぞれに対して設定される選定閾値以上である場合に処理対象になっている時間区分をムクドリの大量飛来の候補として選定し、候補として選定された時間区分における撮像画像についての１画像内の変化領域の個数の値，１画像内の全ての変化領域の画素数の合計の値，動き履歴画像における動き領域の画素数の合計の値と判定直線との間の距離が判定閾値以下である場合にムクドリの大量飛来であると判定するようにしている。

【0010】

また、本発明のムクドリを検知する画像処理装置は、撮像装置を用いての監視対象の撮影によって得られた撮像画像のデータを記憶装置から読み込む手段と、撮像画像のデータを用いて所定の長さの時間区分における動き履歴を１画像で表現した動き履歴画像を作成する手段と、画像特徴項目としての、所定の長さの時間区分における撮像画像についての１画像内の変化領域の個数及び１画像内の全ての変化領域の画素数の合計、並びに、動き履歴画像における動き領域の画素数の合計及び撮像画像のうちの監視領域内で動き履歴が途切れる数及び撮像画像のうちの監視領域に進入する動き履歴数、並びに、動き領域の画素数の合計が変化閾値以上である状態の持続時間のうちの少なくとも一つが画像特徴項目のそれぞれに対して設定される選定閾値以上である場合に処理対象になっている時間区分をムクドリの大量飛来の候補として選定する手段と、候補として選定された時間区分における撮像画像についての１画像内の変化領域の個数の値，１画像内の全ての変化領域の画素数の合計の値，動き履歴画像における動き領域の画素数の合計の値と判定直線との間の距離が判定閾値以下である場合にムクドリの大量飛来であると判定する手段とを有するようにしている。

【0011】

また、本発明のムクドリを検知する画像処理プログラムは、撮像装置を用いての監視対象の撮影によって得られた撮像画像のデータを記憶装置から読み込む手段と、撮像画像のデータを用いて所定の長さの時間区分における動き履歴を１画像で表現した動き履歴画像を作成する手段と、画像特徴項目としての、所定の長さの時間区分における撮像画像についての１画像内の変化領域の個数及び１画像内の全ての変化領域の画素数の合計、並びに、動き履歴画像における動き領域の画素数の合計及び撮像画像のうちの監視領域内で動き履歴が途切れる数及び撮像画像のうちの監視領域に進入する動き履歴数、並びに、動き領域の画素数の合計が変化閾値以上である状態の持続時間のうちの少なくとも一つが画像特徴項目のそれぞれに対して設定される選定閾値以上である場合に処理対象になっている時間区分をムクドリの大量飛来の候補として選定する手段と、候補として選定された時間区分における撮像画像についての１画像内の変化領域の個数の値，１画像内の全ての変化領域の画素数の合計の値，動き履歴画像における動き領域の画素数の合計の値と判定直線との間の距離が判定閾値以下である場合にムクドリの大量飛来であると判定する手段としてコンピュータを機能させるようにしている。

【0012】

したがって、これらのムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラムによると、画像特徴項目を用いてムクドリの大量飛来であるか否かを判定するようにしているので、機械学習用のムクドリ形状に関する画像データセットを予め準備することなく、撮像画像からのムクドリの飛来の検知が行われる。

【0013】

これらのムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラムによると、また、画像特徴項目がムクドリの大量飛来時の特定を充足するか否かによってムクドリの大量飛来であるか否かを判定することにより、飛来物の全てについて具体的に何であるかを特定することなくムクドリの大量飛来であることのみを特定して検知が行われるので、処理内容が簡便になり、したがって、ムクドリの飛来の検知の処理を例えば計算機を用いて行う場合には計算機の計算負荷が抑制される。

【0014】

これらのムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラムによると、また、一台の撮像装置によって撮像された画像を用いてムクドリの飛来の検知が行われるようにしているので、特別の撮像装置や複数台の撮像装置を用いることなくムクドリの飛来の検知が行われる。

【0015】

本発明のムクドリを検知する画像処理方法は、ムクドリの大量飛来であるか否かを判定する際に、三次元直交座標系における判定直線を二次元直交座標系に写像して得られる直線と１画像内の変化領域の個数の値及び１画像内の全ての変化領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離、並びに、前記直線と１画像内の変化領域の個数の値及び動き履歴画像における動き領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離を用いるようにしても良い。また、本発明のムクドリを検知する画像処理装置は、ムクドリの大量飛来であるか否かを判定する際に、三次元直交座標系における判定直線を二次元直交座標系に写像して得られる直線と１画像内の変化領域の個数の値及び１画像内の全ての変化領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離、並びに、前記直線と１画像内の変化領域の個数の値及び動き履歴画像における動き領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離が用いられるようにしても良い。また、本発明のムクドリを検知する画像処理プログラムは、ムクドリの大量飛来であるか否かを判定する際に、三次元直交座標系における判定直線を二次元直交座標系に写像して得られる直線と１画像内の変化領域の個数の値及び１画像内の全ての変化領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離、並びに、前記直線と１画像内の変化領域の個数の値及び動き履歴画像における動き領域の画素数の合計の値の組み合わせの二次元直交座標系における座標との間の距離が用いられるようにしても良い。

【発明の効果】

【0016】

本発明のムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラムによれば、機械学習用のムクドリ形状に関する画像データセットを予め準備することなく、撮像画像からのムクドリの飛来の検知を行うことができるので、手間を軽減して画像処理技術としての汎用性の向上が可能になる。

【0017】

本発明のムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラムによれば、また、処理内容を簡便にすることができ、したがって例えば計算機の計算負荷を抑制することができるので、処理時間を短縮して速報性を高めて画像処理技術としての有用性の向上が可能になる。

【0018】

本発明のムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラムによれば、また、特別の撮像装置や複数台の撮像装置を用いる必要がないので、検知のために必要な機器の構築にかかる費用を低減させることが可能になり、画像処理技術としての汎用性の向上が可能になる。

【図面の簡単な説明】

【0019】

【図1】本発明のムクドリを検知する画像処理方法の実施形態の一例を説明するフローチャートである。

【図2】実施形態のムクドリを検知する画像処理方法をムクドリを検知する画像処理プログラムを用いて実施する場合の当該プログラムによって実現されるムクドリを検知する画像処理装置の機能ブロック図である。

【図3】実施例１におけるムクドリの大量飛来に該当するシーンの動き履歴画像の一例を示す図である。

【図4】実施例１における変化シーンとムクドリ大量飛来シーンとについての三種の画像特徴項目の値ｘ₁，ｘ₂，ｘ₃の三次元直交座標系での比較を示す図である。

【図5】実施例１における選定されたシーンとムクドリ大量飛来のシーンとについての三種の画像特徴項目の値ｘ₁，ｘ₂，ｘ₃の三次元直交座標系での比較を示す図である。

【発明を実施するための形態】

【0020】

以下、本発明の構成を図面に示す実施の形態の一例に基づいて詳細に説明する。

【0021】

図１及び図２に、本発明のムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラムの実施形態の一例を示す。

【0022】

ムクドリを検知する画像処理方法は、図１に示すように、撮像装置を用いて監視対象を撮影し（Ｓ１）、当該撮影によって得られた撮像画像のデータを用いて所定の長さの時間区分における動き履歴を１画像で表現した動き履歴画像を作成し（Ｓ２）、画像特徴項目としての、所定の長さの時間区分における撮像画像についての１画像内の変化領域の個数ｘ₁及び１画像内の全ての変化領域の画素数の合計ｘ₂、並びに、動き履歴画像における動き領域の画素数の合計ｘ₃及び撮像画像のうちの監視領域内で動き履歴が途切れる数ｘ₅及び撮像画像のうちの監視領域に進入する動き履歴数ｘ₆、並びに、動き領域の画素数の合計ｘ₃が変化閾値Ｓ以上である状態の持続時間ｘ₄の全てが画像特徴項目のそれぞれに対して設定される選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆以上である場合に処理対象になっている時間区分をムクドリの大量飛来の候補として選定し（Ｓ３）、候補として選定された時間区分における撮像画像についての１画像内の変化領域の個数の値ｘ₁，１画像内の全ての変化領域の画素数の合計の値ｘ₂，動き履歴画像における動き領域の画素数の合計の値ｘ₃と判定直線との間の距離が判定閾値以下である場合にムクドリの大量飛来であると判定する（Ｓ４）ようにしている。

【0023】

また、ムクドリを検知する画像処理装置は、撮像装置を用いての監視対象の撮影によって得られた撮像画像のデータを記憶装置としてのデータサーバ(１６)から読み込む手段(１１ａ)と、撮像画像のデータを用いて所定の長さの時間区分における動き履歴を１画像で表現した動き履歴画像を作成する手段(１１ｂ)と、画像特徴項目としての、所定の長さの時間区分における撮像画像についての１画像内の変化領域の個数ｘ₁及び１画像内の全ての変化領域の画素数の合計ｘ₂、並びに、動き履歴画像における動き領域の画素数の合計ｘ₃及び撮像画像のうちの監視領域内で動き履歴が途切れる数ｘ₅及び撮像画像のうちの監視領域に進入する動き履歴数ｘ₆、並びに、動き領域の画素数の合計ｘ₃が変化閾値Ｓ以上である状態の持続時間ｘ₄の全てが画像特徴項目のそれぞれに対して設定される選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆以上である場合に処理対象になっている時間区分をムクドリの大量飛来の候補として選定する手段(１１ｃ)と、候補として選定された時間区分における撮像画像についての１画像内の変化領域の個数の値ｘ₁，１画像内の全ての変化領域の画素数の合計の値ｘ₂，動き履歴画像における動き領域の画素数の合計の値ｘ₃と判定直線との間の距離が判定閾値以下である場合にムクドリの大量飛来であると判定する手段(１１ｄ)とを有する。

【0024】

また、ムクドリを検知する画像処理プログラムは、撮像装置を用いての監視対象の撮影によって得られた撮像画像のデータを記憶装置としてのデータサーバ(１６)から読み込む手段(１１ａ)と、撮像画像のデータを用いて所定の長さの時間区分における動き履歴を１画像で表現した動き履歴画像を作成する手段(１１ｂ)と、画像特徴項目としての、所定の長さの時間区分における撮像画像についての１画像内の変化領域の個数ｘ₁及び１画像内の全ての変化領域の画素数の合計ｘ₂、並びに、動き履歴画像における動き領域の画素数の合計ｘ₃及び撮像画像のうちの監視領域内で動き履歴が途切れる数ｘ₅及び撮像画像のうちの監視領域に進入する動き履歴数ｘ₆、並びに、動き領域の画素数の合計ｘ₃が変化閾値Ｓ以上である状態の持続時間ｘ₄の全てが画像特徴項目のそれぞれに対して設定される選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆以上である場合に処理対象になっている時間区分をムクドリの大量飛来の候補として選定する手段(１１ｃ)と、候補として選定された時間区分における撮像画像についての１画像内の変化領域の個数の値ｘ₁，１画像内の全ての変化領域の画素数の合計の値ｘ₂，動き履歴画像における動き領域の画素数の合計の値ｘ₃と判定直線との間の距離が判定閾値以下である場合にムクドリの大量飛来であると判定する手段(１１ｄ)としてコンピュータを機能させる。

【0025】

本発明では、ムクドリが飛来すると想定される固定物体（言い換えると、固定施設，固定設備）、具体的には例えば鉄塔などの固定物体が監視対象として選定される。

【0026】

なお、本発明において「ムクドリの大量飛来」と言うときの大量の程度は、特定の羽数に限定されるものではなく、ムクドリの飛来による周辺への影響の程度や監視の目的や施設・設備としての重要性などを踏まえて監視対象毎に適宜想定される。具体的には例えば、１０羽以上や２０羽以上に設定されることが考えられる。ただし、本発明における「大量」の定義としてのムクドリの羽数は、絶対的な意味を持つものではなく、後述する閾値等の設定においてどの程度を「大量」と位置づけるかの参照に過ぎないものである。

【0027】

ムクドリを検知する画像処理方法の実行にあたっては、まず、撮像装置を用いて監視対象の撮影が行われる（Ｓ１）。

【0028】

本発明の撮像装置としては、撮像素子を備えて画素毎の少なくとも輝度値を時系列で連続して把握・出力することができるもの、具体的には例えばＣＣＤ方式のデジタルビデオカメラやＣＭＯＳ方式のデジタルビデオカメラが用いられ得る。なお、本発明は画素毎の輝度値のみを利用することによっても処理を実行することができるので、画素毎の少なくとも輝度値が把握（言い換えると、算出）できれば良く、撮像画像自体はグレースケール(モノクロ)画像であっても、カラー画像であっても、どちらでも構わない（撮像画像がグレースケール(モノクロ)画像である場合もカラー画像である場合もそれら撮像画像のデータ（即ち、画素毎の画素値）から輝度値を計算する方法自体は周知の技術であるのでここでは詳細については省略する）。

【0029】

撮像装置の撮影速度(フレームレート)は、特定の速度に限定されるものではないものの、検知対象であるムクドリの想定される飛行速度に鑑みると、３０〔fps〕以上であることが好ましく、６０〔fps〕以上であることがより一層好ましい。

【0030】

そして、撮像装置が適当な場所に固定されて監視対象の撮影が行われる。このとき、選定された監視対象が撮像されるように撮像装置の固定位置及び撮影方向が調整される。なお、監視対象が撮像画像の中央に撮像され、且つ、背景が空になるように撮像装置の固定位置及び撮影方向が調整されることが望ましい。監視対象を撮像画像の中央に位置させるようにすることにより、監視対象への飛来方向に拘わらず、いずれの方向からの飛来についても等しく検知されることが期待される。また、背景が空になるようにすることにより、背景画像と飛来物との区別が明瞭になることが期待される。

【0031】

ここで、撮像装置によって撮像され取得された撮像画像のうち、監視対象を含む範囲であって飛来物の飛翔軌跡の特性を把握するために設定される範囲のことを監視領域と呼ぶ。監視領域は、撮像画像の全体でも良いし、撮像画像の一部でも良い。

【0032】

次に、Ｓ１の処理によって得られた撮像画像のデータを用いて動き履歴画像の作成が行われる（Ｓ２）。

【0033】

ここで、本発明のムクドリを検知する画像処理方法におけるＳ２以降の処理は本発明のムクドリを検知する画像処理装置によって実行され得る。

【0034】

そして、本発明のムクドリを検知する画像処理方法におけるＳ２以降の処理及びこれら処理を実行する画像処理装置は、本発明のムクドリを検知する画像処理プログラムをコンピュータ上で実行することによっても実現され得る。本明細書では、ムクドリを検知する画像処理プログラムがコンピュータ上で実行されることによってＳ２以降の処理を実行する画像処理装置が実現されると共に画像処理方法におけるＳ２以降の処理が実行される場合を説明する。

【0035】

画像処理プログラム１７を実行するためのコンピュータ１０（本実施形態では、画像処理装置１０でもある）の全体構成を図２に示す。このコンピュータ１０（画像処理装置１０）は、制御部１１、記憶部１２、入力部１３、表示部１４及びメモリ１５を備え相互にバス等の信号回線によって接続されている。また、コンピュータ１０には記憶装置としてのデータサーバ１６がバス等の信号回線によって接続されており、その信号回線を介してデータや制御指令等の信号の送受信（即ち出入力）が相互に行われる。

【0036】

制御部１１は、記憶部１２に記憶されている画像処理プログラム１７によってコンピュータ１０全体の制御並びに撮像画像からのムクドリの検知に係る演算を行うものであり、例えばＣＰＵ（中央演算処理装置）である。

【0037】

記憶部１２は、少なくともデータやプログラムを記憶可能な装置であり、例えばハードディスクである。

【0038】

入力部１３は、少なくとも作業者の命令を制御部１１に与えるためのインターフェイスであり、例えばキーボードである。

【0039】

表示部１４は、制御部１１の制御によって文字や図形等の描画・表示を行うものであり、例えばディスプレイである。

【0040】

メモリ１５は、制御部１１が種々の制御や演算を実行する際の作業領域であるメモリ空間となるものであり、例えばＲＡＭ(Ｒandom Ａccess Ｍemory の略)である。

【0041】

そして、本実施形態では、上述のＳ１の処理において撮像され取得された時系列で連続する撮像画像のデータであって画素毎の少なくとも輝度値を含むデータが画像データベース１８としてデータサーバ１６に格納(保存)される。

【0042】

そして、コンピュータ１０（本実施形態では、画像処理装置１０でもある）の制御部１１には、画像処理プログラム１７を実行することにより、Ｓ１の処理において撮影され取得された撮像画像のデータを記憶装置としてのデータサーバ１６から読み込む処理を行うデータ読込部１１ａと、撮像画像のデータを用いて所定の長さの時間区分における動き履歴を１画像で表現した動き履歴画像を作成する処理を行う履歴画像作成部１１ｂと、画像特徴項目としての、所定の長さの時間区分における撮像画像についての１画像内の変化領域の個数ｘ₁及び１画像内の全ての変化領域の画素数の合計ｘ₂、並びに、動き履歴画像における動き領域の画素数の合計ｘ₃及び撮像画像のうちの監視領域内で動き履歴が途切れる数ｘ₅及び撮像画像のうちの監視領域に進入する動き履歴数ｘ₆、並びに、動き領域の画素数の合計ｘ₃が変化閾値Ｓ以上である状態の持続時間ｘ₄の全てが画像特徴項目のそれぞれに対して設定される選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆以上である場合に処理対象になっている時間区分をムクドリの大量飛来の候補として選定する処理を行う候補画像選定部１１ｃと、候補として選定された時間区分における撮像画像についての１画像内の変化領域の個数の値ｘ₁，１画像内の全ての変化領域の画素数の合計の値ｘ₂，動き履歴画像における動き領域の画素数の合計の値ｘ₃と判定直線との間の距離が判定閾値以下である場合にムクドリの大量飛来であると判定する処理を行う判定部１１ｄとが構成される。

【0043】

画像処理プログラム１７が実行されることによる具体的な処理としては、まず、コンピュータ１０（画像処理装置１０）の制御部１１に構成されたデータ読込部１１ａにより、撮像画像のデータの読み込みが行われる。

【0044】

具体的には、データ読込部１１ａにより、Ｓ１の処理において撮像され取得されてデータサーバ１６に格納されている画像データベース１８に記録されている時系列で連続する撮像画像のデータ（以下、連続画像データと呼ぶ）がデータサーバ１６から読み込まれる。そして、データ読込部１１ａにより、読み込まれた連続画像データがメモリ１５に記憶させられる。

【0045】

続いて、制御部１１の履歴画像作成部１１ｂにより、連続画像データを用いて動き履歴画像の作成が行われる。

【0046】

具体的には、履歴画像作成部１１ｂにより、データ読込部１１ａによってメモリ１５に記憶された連続画像データがメモリ１５から読み込まれ、当該連続画像データを用いて動き履歴画像の作成が行われる。

【0047】

動き履歴画像は、モーションヒストリーイメージやＭＨＩ(Ｍotion Ｈistory Ｉmage の略)とも呼ばれ、１画像内に過去の画像を残していく（言い換えると、或る時間区分に含まれる複数枚の画像における動きを一枚の画像に集約する）時系列画像の表現方法の一つであり、具体的には例えば新しい画像ほど明るくそして過去の画像ほど暗く表示することによって１画像内に過去の画像が動きの履歴として残されるものである。なお、動き履歴画像（ＭＨＩ）及びその作成手法は周知の技術であるのでここでは詳細については省略する（例えば、James W.D：Hierarchical Motion History Images for Recognizing Human Motion，Detection and Recognition of Events in Video，39〜46，2001年 を参照）。

【0048】

本発明では、Ｓ１の処理によって撮像され取得された連続画像データを用いて動き履歴画像の作成処理が行われることにより、動き履歴画像として、ムクドリを含む飛来物の飛翔軌跡が抽出される（言い換えると、飛来物の飛翔軌跡が動きの履歴として現れている動き履歴画像が作成される）と共に、その他の移動物体（例えば人や地上動物など）の移動軌跡が抽出される。

【0049】

動き履歴画像を作成する際に必要とされる、撮像画像における動きがある物体を抽出する方法、言い換えると、撮像画像における移動物体の領域（言い換えると、動き領域）を抽出する方法は、特定の方法に限定されるものではなく、監視対象や背景の特性なども踏まえて適当なものが適宜選択される。具体的には例えば、動いている物体が撮像されていない画像であって監視対象及び背景のみの画像を基本背景画像とし、当該基本背景画像と撮像画像との差分を求めて得られる差分画像を動き領域として抽出する背景差分法が用いられ得る。

【0050】

動き履歴画像は、処理単位時間分の連続画像データ（具体的には、複数枚の撮像画像のデータ）を用いて作成される。

【0051】

処理単位時間は、動き履歴画像を作成する際の連続画像群を区切るための時間区分であり、即ち、どの程度の時間長さにおける動きを一枚の画像に集約するかを決定づける時間区分である。処理単位時間の長さは、特定の長さに限定されるものではなく、具体的には例えばコンマ数秒から数秒間程度の範囲で設定されることが考えられる。なお、処理単位時間の長さは、動き履歴画像を作成するために用いられる連続画像データを構成する撮像画像の枚数によって設定されるようにしても良い。

【0052】

画像処理装置１０では、予め決められた処理開始のトリガーに応答して、画像データベース１８に記録されている連続画像データの中から、トリガー時から始めて処理単位時間分に該当する枚数の撮像画像データがデータ読込部１１ａによって読み込まれると共にメモリ１５に記憶され、Ｓ２以降の処理が行われる。

【0053】

なお、トリガー時から処理単位時間にわたる範囲のことを処理対象時間区分という。また、処理対象時間区分に関する連続画像データとして読み込まれた複数枚の撮像画像データのうち、当該処理対象時間区分における最初のものを開始時撮像画像データと呼び、最後のものを終了時撮像画像データと呼ぶ。

【0054】

処理開始のトリガーとしては、具体的には例えば、所定間隔の定期的な指令信号のデータ読込部１１ａへの入力や、或る処理対象時間区分に関するＳ４までの処理が終了したという信号のデータ読込部１１ａへの入力などが考えられる。

【0055】

そして、履歴画像作成部１１ｂにより、終了時撮像画像データについての動き領域の画像（即ち、動き領域のみが抽出されて現されている画像）のデータ及び動き履歴画像のデータがメモリ１５に記憶させられる。

【0056】

次に、制御部１１の候補画像選定部１１ｃにより、ムクドリ大量飛来の候補の画像データの選定が行われる（Ｓ３）。

【0057】

本発明では、ムクドリ大量飛来時のものに該当し得る連続画像データの選定や連続画像データに記録された動きがムクドリの大量飛来であるか否かの判定を行うための特徴項目として、飛来物の数，飛来物の大きさ，所定の時間区分における飛翔軌跡の大きさ（この項目は、飛来物の飛来速度に関係する），飛来位置，監視領域に進入する飛翔軌跡に関する特徴が用いられる。

【0058】

そして、上記特徴項目のそれぞれに対応する画像データにおける指標としての画像特徴項目が用いられる。

【0059】

具体的には、飛来物の数に対応する画像特徴項目として、終了時撮像画像データについての１画像内の変化領域の個数ｘ₁が用いられる。

【0060】

１画像内の変化領域の個数ｘ₁は、Ｓ２の処理において作成された終了時撮像画像データについての動き領域の画像における孤立領域（即ち、動き領域）の個数として算出される。

【0061】

また、飛来物の大きさに対応する画像特徴項目として、終了時撮像画像データについての１画像内の全ての変化領域の画素数の合計ｘ₂が用いられる。

【0062】

１画像内の全ての変化領域の画素数の合計ｘ₂は、Ｓ２の処理において作成された終了時撮像画像データについての動き領域の画像における孤立領域の画素数を全て足し合わせることによって算出される。

【0063】

また、所定の時間区分における飛翔軌跡の大きさに対応する画像特徴項目として、動き履歴画像における動き領域の画素数の合計ｘ₃が用いられる。

【0064】

動き領域の画素数の合計ｘ₃は、動き領域の抽出を介して作成される動き履歴画像において動き領域であると識別されている領域の画素数を全て足し合わせることによって算出される。

【0065】

所定の時間区分における飛翔軌跡の大きさに対応する画像特徴項目として、さらに、動き履歴画像における動き領域の画素数の合計ｘ₃が変化閾値Ｓ以上である状態の持続時間ｘ₄が用いられる。

【0066】

持続時間ｘ₄は、処理単位時間と、動き領域の画素数の合計ｘ₃が変化閾値Ｓ以上である状態が時系列で途切れずに連続している間における動き履歴画像の枚数とを掛け合わせることによって算出される。

【0067】

変化閾値Ｓの値は、特定の値に限定されるものではなく、例えば、当該の監視対象に対して設置された撮像装置によって撮像されたムクドリが実際に大量飛来した時の撮像画像のデータを用いて設定される。

【0068】

具体的には例えば、実際の大量飛来時の連続画像データを用いて撮像画像毎に動き領域の画素数の合計の値ｘ₃が算出され、当該動き領域の画素数の合計の値ｘ₃の集合における最小値が、変化閾値Ｓとして設定される。なお、変化閾値Ｓは画像処理プログラム１７内に予め規定される。

【0069】

変化閾値Ｓの値は、一度設定された値に固定される必要はなく、例えば、ムクドリが実際に大量飛来した時の撮像画像のデータの蓄積に応じて、新たな撮像画像のデータを用いて更新されるようにしても良い。

【0070】

また、飛来位置に対応する画像特徴項目として、動き履歴画像における監視領域内で途切れる動き履歴の数ｘ₅（言い換えると、監視領域内の動き履歴の終点の数）が用いられる。

【0071】

動き履歴画像における監視領域内で途切れる動き履歴の数ｘ₅は、Ｓ２の処理において作成された終了時撮像画像データについての動き領域の画像における孤立領域（即ち、動き領域）の中心位置（動き領域に対応する画素群の重心座標）の、監視領域内の個数として算出される。

【0072】

また、監視領域に進入する飛翔軌跡に関する特徴に対応する画像特徴項目として、動き履歴画像における監視領域に進入する動き履歴の数ｘ₆が用いられる。

【0073】

動き履歴画像における監視領域に進入する動き履歴の数ｘ₆は、Ｓ２の処理において作成された終了時撮像画像データについての動き領域の画像における孤立領域（即ち、動き領域）の中心位置（動き領域に対応する画素群の重心座標）の、動き履歴としての繋がりが監視領域の境界を外側から内側へと跨いだ数として算出される。なお、孤立領域の中心位置の繋がりは、当該の処理単位時間の範囲におけるもののみが対象とされるようにしても良いし、当該の処理単位時間の範囲に限られることなく、撮像画像として把握された時点からの過去のもの全てが飛来軌跡毎に属性として引き継がれるようにしても良い。

【0074】

ここで、動き履歴画像における監視領域内で途切れる動き履歴の数ｘ₅及び監視領域に進入する動き履歴の数ｘ₆は、動き領域の画素数の合計ｘ₃の値が変化閾値Ｓ以上である状態が時系列で途切れずに連続している間における最大値が当てられる。すなわち、動き領域の画素数の合計ｘ₃の値が変化閾値Ｓ以上である状態が連続している間において動き履歴の数ｘ₅，ｘ₆の値がたとえ変動しても、前記連続している間における最大値が引き継がれる。そして、動き領域の画素数の合計ｘ₃の値が変化閾値Ｓ以上である状態が途切れた場合には、動き履歴の数ｘ₅，ｘ₆の値はリセットされる。

【0075】

そして、候補画像選定部１１ｃにより、Ｓ２の処理においてメモリ１５に記憶された終了時撮像画像データについての動き領域の画像のデータがメモリ１５から読み込まれ、当該画像データについての画像特徴項目の値ｘ₁，ｘ₂が算出される。

【0076】

候補画像選定部１１ｃにより、また、Ｓ２の処理においてメモリ１５に記憶された動き履歴画像のデータがメモリ１５から読み込まれ、当該画像データについての画像特徴項目の値ｘ₃，ｘ₄，ｘ₅，ｘ₆が算出される。

【0077】

候補画像選定部１１ｃにより、さらに、上述により算出された画像特徴項目の値ｘ₁，ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆と選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆とがそれぞれ対比され、画像特徴項目の値ｘ₁，ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆の全てが選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆以上である（即ち、ｘ₁≧Ｔ₁ 且つ ｘ₂≧Ｔ₂ 且つ ｘ₃≧Ｔ₃ 且つ ｘ₄≧Ｔ₄ 且つ ｘ₅≧Ｔ₅ 且つ ｘ₆≧Ｔ₆ である）か否かが判断される。

【0078】

各画像特徴項目に対応する選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆の値は、特定の値に限定されるものではなく、当該の監視対象に対して設置された撮像装置によって撮像されたムクドリが実際に大量飛来した時の撮像画像のデータを用いて設定される。

【0079】

具体的には、実際の大量飛来時の連続画像データを用いて撮像画像毎に各画像特徴項目の値ｘ₁，ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆が算出され、これら画像特徴項目の値ｘ₁，ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆毎の集合における最小値が、各画像特徴項目に対応する選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆としてそれぞれ設定される。なお、選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆は画像処理プログラム１７内に予め規定される。

【0080】

各画像特徴項目に対応する選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆の値は、一度設定された値に固定される必要はなく、例えば、ムクドリが実際に大量飛来した時の撮像画像のデータの蓄積に応じて、新たな撮像画像のデータを用いて更新されるようにしても良い。

【0081】

そして、画像特徴項目の値ｘ₁，ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆の中に選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆未満のものがある場合は、制御部１１は、ここまで取り扱ってきた処理対象時間区分に関する処理を終了する。

【0082】

一方、画像特徴項目の値ｘ₁，ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆の全てが各画像特徴項目に対応する選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆以上である場合は、ここまで処理対象としてきた時間区分の連続画像データはムクドリ大量飛来時の画像データの候補であるとして選定される。そこで、候補画像選定部１１ｃにより、上述の処理で算出された１画像内の変化領域の個数ｘ₁，１画像内の全ての変化領域の画素数の合計ｘ₂，動き履歴画像における動き領域の画素数の合計ｘ₃の値がメモリ１５に記憶させられる。そして、制御部１１により、ムクドリの検知に係る演算の処理が次のＳ４に進められる。

【0083】

次に、制御部１１の判定部１１ｄにより、ムクドリの大量飛来であるか否かの判定が行われる（Ｓ４）。

【0084】

具体的には、判定部１１ｄにより、Ｓ３の処理においてメモリ１５に記憶された１画像内の変化領域の個数ｘ₁，１画像内の全ての変化領域の画素数の合計ｘ₂，動き履歴画像における動き領域の画素数の合計ｘ₃の値がメモリ１５から読み込まれる。

【0085】

そして、判定部１１ｄにより、上記三つの画像特徴項目の値ｘ₁，ｘ₂，ｘ₃と判定直線との間の距離が算出され、算出された距離が判定閾値以下である場合にムクドリの大量飛来であると判定される。

【0086】

判定直線は、当該の監視対象に対して設置された撮像装置によって撮影されたムクドリが実際に大量飛来した時の撮像画像のデータを用いて設定される。

【0087】

具体的には、Ｓ３の処理で用いられる選定閾値を設定するために実際の大量飛来時の連続画像データを用いて算出された撮像画像毎の画像特徴項目の値ｘ₁，ｘ₂，ｘ₃の組み合わせの、三次元直交座標系における回帰直線が判定直線として設定される。すなわち、ｘ₁軸−ｘ₂軸−ｘ₃軸の三次元直交座標系における複数の点（ｘ₁，ｘ₂，ｘ₃）の回帰直線が判定直線として設定される。なお、判定直線は画像処理プログラム１７内に予め規定される。

【0088】

判定直線は、一度設定されたものに固定される必要はなく、例えば、ムクドリが実際に大量飛来した時の撮像画像のデータの蓄積に応じて、新たな撮像画像のデータを用いて更新されるようにしても良い。

【0089】

そして、上記三つの画像特徴項目の値ｘ₁，ｘ₂，ｘ₃と判定直線との間の距離は、判定直線を二次元直交座標系に写像した直線との間の距離として算出される。

【0090】

具体的には、三次元直交座標系における回帰直線として算定された判定直線をｘ₁軸−ｘ₂軸の二次元直交座標系（つまり、平面）に写像して得られる直線と、画像特徴項目の値ｘ₁，ｘ₂の組み合わせのｘ₁軸−ｘ₂軸の二次元直交座標系（平面）における座標（ｘ₁，ｘ₂）との間の距離ｄ₁が算出される。

【0091】

また、三次元直交座標系における回帰直線として算定された判定直線をｘ₁軸−ｘ₃軸の二次元直交座標系（つまり、平面）に写像して得られる直線と、画像特徴項目の値ｘ₁，ｘ₃の組み合わせのｘ₁軸−ｘ₃軸の二次元直交座標系（平面）における座標（ｘ₁，ｘ₃）との間の距離ｄ₂が算出される。

【0092】

判定部１１ｄにより、上記距離ｄ₁及びｄ₂が算出され、これら距離ｄ₁，ｄ₂と判定閾値Ｄ₁，Ｄ₂とがそれぞれ対比され、距離ｄ₁，ｄ₂のどちらもが判定閾値Ｄ₁，Ｄ₂以下である（即ち、ｄ₁≦Ｄ₁ 且つ ｄ₂≦Ｄ₂ である）場合に、ここまで処理対象としてきた時間区分においてムクドリが大量飛来したと判定される。

【0093】

判定閾値Ｄ₁，Ｄ₂の値は、特定の値に限定されるものではなく、当該の監視対象に対して設置された撮像装置によって撮像されたムクドリが実際に大量飛来した時の撮像画像のデータを用いて設定される。

【0094】

具体的には、実際の大量飛来時の連続画像データを用いて設定された三次元直交座標系における判定直線をｘ₁軸−ｘ₂軸の二次元直交座標系（つまり、平面）に写像して得られる直線と、Ｓ３の処理で用いられる選定閾値を設定するために実際の大量飛来時の連続画像データを用いて算出された撮像画像毎の画像特徴項目の値ｘ₁，ｘ₂の組み合わせのｘ₁軸−ｘ₂軸の二次元直交座標系（平面）における座標（ｘ₁，ｘ₂）との間の距離ｄ₁が算出され、これら距離ｄ₁のうちの最小値が判定閾値Ｄ₁として設定される。

【0095】

また、実際の大量飛来時の連続画像データを用いて設定された三次元直交座標系における判定直線をｘ₁軸−ｘ₃軸の二次元直交座標系（つまり、平面）に写像して得られる直線と、Ｓ３の処理で用いられる選定閾値を設定するために実際の大量飛来時の連続画像データを用いて算出された撮像画像毎の画像特徴項目の値ｘ₁，ｘ₃の組み合わせのｘ₁軸−ｘ₃軸の二次元直交座標系（平面）における座標（ｘ₁，ｘ₃）との間の距離ｄ₂が算出され、これら距離ｄ₂のうちの最小値が判定閾値Ｄ₂として設定される。

【0096】

なお、判定閾値Ｄ₁，Ｄ₂の値は画像処理プログラム１７内に予め規定される。また、判定閾値Ｄ₁，Ｄ₂の値は、一度設定された値に固定される必要はなく、例えば、ムクドリが実際に大量飛来した時の撮像画像のデータの蓄積に応じて、新たな撮像画像のデータを用いて更新されるようにしても良い。

【0097】

なお、判定部１１ｄによってムクドリが大量飛来したと判定された場合には、例えば、ムクドリの大量飛来を検知したことが表示部１４に表示されるなどする。

【0098】

そして、制御部１１は、ここまで取り扱ってきた処理対象時間区分に関する処理を終了する（ＥＮＤ）。

【0099】

以上のように構成された本発明のムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラムによれば、画像特徴項目を用いてムクドリの大量飛来であるか否かを判定することができ、このため、機械学習用のムクドリ形状に関する画像データセットを予め準備することなく、撮像画像からのムクドリの飛来の検知を行うことができる。

【0100】

また、画像特徴項目がムクドリの大量飛来時の特定を充足するか否かによってムクドリの大量飛来であるか否かを判定するので、飛来物の全てについて具体的に何であるかを特定することなくムクドリの大量飛来であることのみを特定して検知を行うことができ、このため、処理内容が簡便になり、したがって、ムクドリの飛来の検知の処理を例えば計算機を用いて行う場合には計算機の計算負荷を抑制することができる。

【0101】

なお、上述の形態は本発明の好適な形態の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

【0102】

例えば、上述の実施形態ではＳ１の処理において撮像され取得された撮像画像のデータ（画像データベース１８）が記憶装置としてのデータサーバ１６に格納(保存)されて当該データサーバ１６から撮像画像のデータが読み込まれるようにしているが、本発明における記憶装置は、これに限られるものではなく、画像処理装置１０と信号の送受信が可能であるように接続された種々の記憶機器でも良いし、或いは、画像処理装置１０の記憶部１２やメモリ１５でも良い。

【0103】

また、上述の実施形態では飛来物の数に対応する画像特徴項目として連続画像データのうちの終了時撮像画像データについての１画像内の変化領域の個数ｘ₁が用いられると共に飛来物の大きさに対応する画像特徴項目として１画像内の全ての変化領域の画素数の合計ｘ₂が用いられるようにしているが、これに限られず、連続画像データのうちの開始時撮像画像データについてのものが用いられるようにしても良いし、開始時から終了時までの間のいずれか一つの撮像画像データについてのものが用いられるようにしても良い。さらに、連続画像データを構成する複数の撮像画像データ或いは全ての撮像画像データのそれぞれについて１画像内の変化領域の個数ｘ₁や１画像内の全ての変化領域の画素数の合計ｘ₂が算出されてそれらの最大値や平均値が用いられるようにしても良い。

【0104】

また、上述の実施形態ではＳ３の処理において連続画像データの中からムクドリ大量飛来候補の画像データの選定を行う際に画像特徴項目の値ｘ₁，ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆の全てが選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆以上である（即ち、ｘ₁≧Ｔ₁ 且つ ｘ₂≧Ｔ₂ 且つ ｘ₃≧Ｔ₃ 且つ ｘ₄≧Ｔ₄ 且つ ｘ₅≧Ｔ₅ 且つ ｘ₆≧Ｔ₆ である）画像データが選定画像データとされるようにしているが、これに限られず、画像特徴項目の値ｘ₁，ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆のうちの少なくとも一つが選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆以上である（即ち、例えば、ｘ₁≧Ｔ₁ 又は ｘ₂≧Ｔ₂ 又は ｘ₃≧Ｔ₃ 又は ｘ₄≧Ｔ₄ 又は ｘ₅≧Ｔ₅ 又は ｘ₆≧Ｔ₆ である）画像データが選定画像データとされるようにしても良いし、画像特徴項目の値のうちの少なくとも二つ、若しくは少なくとも三つ、若しくは少なくとも四つ、若しくは少なくとも五つが選定閾値以上である画像データが選定画像データとされるようにしても良い。

【0105】

また、上述の実施形態ではＳ４の処理においてムクドリの大量飛来であるか否かの判定を行う際に距離ｄ₁，ｄ₂のどちらもが判定閾値Ｄ₁，Ｄ₂以下である（即ち、ｄ₁≦Ｄ₁ 且つ ｄ₂≦Ｄ₂ である）場合にムクドリが大量飛来したと判定するようにしているが、これに限られず、距離ｄ₁，ｄ₂のどちらかが判定閾値Ｄ₁，Ｄ₂以下である（即ち、ｄ₁≦Ｄ₁ 又は ｄ₂≦Ｄ₂ である）場合にムクドリが大量飛来したと判定するようにしても良い。

【0106】

さらに言えば、上述の実施形態ではＳ４の処理においてムクドリの大量飛来であるか否かの判定を行う際に三次元直交座標系における判定直線を二次元直交座標系に写像して得られる直線と画像特徴項目の値の組み合わせの二次元直交座標系における座標との間の距離が用いられるようにしているが、これに限られず、三次元直交座標系における判定直線と画像特徴項目の値ｘ₁，ｘ₂，ｘ₃の組み合わせの三次元直交座標系における座標（ｘ₁，ｘ₂，ｘ₃）との間の距離ｄが算出されて用いられるようにしても良い。

【実施例1】

【0107】

本発明のムクドリを検知する画像処理方法が実際のムクドリ大量飛来の検知に適用された実施例を図３乃至５を用いて説明する。なお、本実施例では、ムクドリを検知する画像処理プログラムがコンピュータ上で実行されることによって画像処理装置が実現されて画像処理方法に関する処理が実行された。

【0108】

本実施例では、撮像装置を用いて１箇所で２年間にわたって離散的に撮影して（Ｓ１）取得された８５日分の撮像画像のデータ（連続画像データ）が用いられた。いずれの連続画像データも、撮影時間は１５時３０分から１８時００分の間である。

【0109】

本実施例では、ムクドリの飛来が確認されていた鉄塔が監視対象として選定され、図３に示すように、当該鉄塔が撮像され、且つ、背景が空になるように撮像装置の固定位置及び撮影方向が調整された。

【0110】

本実施例では、また、撮像装置によって撮像され取得された撮像画像のうち、監視対象を含む範囲としての監視領域が撮像画像の周縁部を除いた一部に設定された（具体的には、図３中の実線の枠で囲まれる範囲）。

【0111】

本実施例で用いられた連続画像データを構成する撮像画像は３０〔fps〕のインターレース画像（７２０×４８０画素）であり、当該撮像画像から４分の１サイズ（即ち、１８０×１２０画素）の６０〔fps〕のノンインターレース画像が作成された。そして、当該ノンインターレース画像のデータが、画像処理装置１０と信号の送受信が可能であるように接続されたデータサーバ１６に画像データベース１８として格納(保存)された。

【0112】

次に、画像処理装置１０の制御部１１のデータ読込部１１ａ及び履歴画像作成部１１ｂにより、上述の処理によって作成された連続画像データを用いて動き履歴画像の作成が行われた（Ｓ２）。

【0113】

具体的には、データ読込部１１ａにより、データサーバ１６に格納された画像データベース１８から連続画像データ（ノンインターレース画像のデータ）が読み込まれ、そして、履歴画像作成部１１ｂにより、連続する５０画像における動き履歴が１画像に集約された動き履歴画像がＭＨＩを作成する手法を用いて作成された。すなわち、本実施例では、連続する５０画像分の経過時間が処理単位時間とされた。

【0114】

本実施例では、撮像画像における移動物体の領域（動き領域）の抽出は、背景差分としてのフィルタ処理の一つであるＲadial Ｒeach Ｆilterが用いられた。なお、Ｒadial Ｒeach Ｆilterは周知の技術であるのでここでは詳細については省略する（例えば、佐藤隆雄 他：Radial Reach Filterによるロバスト物体検出，信学論，J86-D-II，5，616〜624，2003年 を参照）。

【0115】

次に、画像処理装置１０の制御部１１の候補画像選定部１１ｃにより、ムクドリ大量飛来の候補の画像データの選定が行われた（Ｓ３）。

【0116】

具体的には、候補画像選定部１１ｃにより、Ｓ２の処理において作成された終了時撮像画像データについての動き領域の画像のデータを用い、画像特徴項目の値ｘ₁，ｘ₂が算出された。

【0117】

候補画像選定部１１ｃにより、また、Ｓ２の処理において作成された動き履歴画像のデータを用い、画像特徴項目の値ｘ₃，ｘ₄，ｘ₅，ｘ₆が算出された。

【0118】

また、変化閾値Ｓが１０００画素に設定されて、動き履歴画像における動き領域の画素数の合計ｘ₃の値が変化閾値Ｓ＝１０００以上である状態の持続時間ｘ₄が算出された。

【0119】

また、本実施例としての検証のため、２．５〔時間／日〕×８５〔日〕＝２１２．５〔時間〕の連続画像データから、撮像画像内に変化のある３０５７シーンが切り出された。なお、変化シーンの切り出しは、撮像画像内に動き領域が検出されてから動き領域が検出されなくなって１０秒経過時までを１シーンとして自動検出することによって行われた。

【0120】

そして、連続画像データから変化シーンとして切り出された３０５７シーンのそれぞれの変化要因が目視によって特定された。各変化シーンの変化要因の目視による特定の結果により、変化要因の内訳について表１に示す結果が得られた。

【0121】

【表1】

【0122】

本実施例では、１０羽以上のムクドリの飛来が大量飛来と定義された。そして目視による特定の結果、ムクドリの飛来を撮像しているシーンは全部で８１件あり、そのうちムクドリ大量飛来に該当するシーンは９件であった。図３は、変化シーンとして自動検出され、且つ、ムクドリ大量飛来に該当するシーンの動き履歴画像の一例である。

【0123】

そして、これら９件の連続画像データを用いて算出された画像特徴項目の値ｘ₁，ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆毎の集合における最小値がそれぞれ各画像特徴項目に対応する選定閾値Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄，Ｔ₅，Ｔ₆として設定された。

【0124】

さらに、変化シーンの全３０５７シーンから、画像特徴項目の値ｘ₁，ｘ₂，…，ｘ₆の全てが各画像特徴項目に対応する選定閾値Ｔ₁，Ｔ₂，…，Ｔ₆以上であるもののみが選定された。これにより、全３０５７シーンの中から７５シーンが選定された（言い換えると、３０５７シーンが７５シーンまで絞り込まれて削減された）。

【0125】

変化シーンの全３０５７シーン若しくは選定された７５シーンとムクドリ大量飛来の９シーンとの、１画像内の変化領域の個数ｘ₁，１画像内の全ての変化領域の画素数の合計ｘ₂，動き履歴画像における動き領域の画素数の合計ｘ₃の値を比較して図４及び図５に示す結果が得られた。

【0126】

図４は、三種の画像特徴項目の値ｘ₁，ｘ₂，ｘ₃の三次元直交座標系における、変化シーンの全３０５７シーンとムクドリ大量飛来の９シーンとの比較である。

【0127】

図５は、三種の画像特徴項目の値ｘ₁，ｘ₂，ｘ₃の三次元直交座標系における、選定された７５シーンとムクドリ大量飛来の９シーンとの比較である。

【0128】

図４及び図５の図中の直線Ｌは、ムクドリ大量飛来の９シーンそれぞれについての三種の画像特徴項目の値ｘ₁，ｘ₂，ｘ₃の組み合わせを用いての主成分分析によって得られた三次元直交座標系における回帰直線である。ムクドリ大量飛来の９シーンに対し、回帰直線Ｌによる寄与率は９５．９％になり、この回帰直線Ｌはムクドリ大量飛来の９シーンを良好にモデル化できていることが確認された。

【0129】

次に、画像処理装置１０の制御部１１の判定部１１ｄにより、ムクドリの大量飛来であるか否かの判定が行われた（Ｓ４）。

【0130】

まず、回帰直線Ｌをｘ₁軸−ｘ₂軸の二次元直交座標系（つまり、平面）に写像して得られる直線と、ムクドリ大量飛来の９シーンそれぞれについての画像特徴項目の値ｘ₁，ｘ₂の組み合わせのｘ₁軸−ｘ₂軸の二次元直交座標系（平面）における座標（ｘ₁，ｘ₂）との間の距離のうちの最大値が判定閾値Ｄ₁として設定された。また、回帰直線Ｌをｘ₁軸−ｘ₃軸の二次元直交座標系（つまり、平面）に写像して得られる直線と、ムクドリ大量飛来の９シーンそれぞれについての画像特徴項目の値ｘ₁，ｘ₃の組み合わせのｘ₁軸−ｘ₃軸の二次元直交座標系（平面）における座標（ｘ₁，ｘ₃）との間の距離のうちの最大値が判定閾値Ｄ₂として設定された。

【0131】

具体的には、１画像内の変化領域の個数ｘ₁の軸と１画像内の全ての変化領域の画素数の合計ｘ₂の軸との二次元直交座標系における座標（ｘ₁，ｘ₂）と回帰直線Ｌとの判定閾値Ｄ₁は５．２画素に設定され、１画像内の変化領域の個数ｘ₁の軸と動き履歴画像における動き領域の画素数の合計ｘ₃の軸との二次元直交座標系における座標（ｘ₁，ｘ₃）と回帰直線Ｌとの判定閾値Ｄ₂は１０．４画素に設定された。

【0132】

そして、選定された７５シーンのそれぞれについて画像特徴項目の値の組み合わせによる座標（ｘ₁，ｘ₂）と回帰直線Ｌとの間の距離ｄ₁及び画像特徴項目の値の組み合わせによる座標（ｘ₁，ｘ₃）と回帰直線Ｌとの間の距離ｄ₂が計測されると共にそれら距離の値ｄ₁，ｄ₂が判定閾値Ｄ₁，Ｄ₂と比較され、ｄ₁≦Ｄ₁且つｄ₂≦Ｄ₂であるシーンがムクドリの大量飛来を検知しているシーンとして判定された。

【0133】

判定処理の結果、ムクドリ大量飛来の９シーンとムクドリが大群で離散する１シーンが抽出された。すなわち、８５日にわたって撮影された、例えば烏等の他の鳥の飛来・通過や飛行機の通過や人の映り込みなどの多様な外乱が含まれる３０００件以上の連続画像データ（しかも、全て変化シーンである）から、過剰な誤抽出は１件のみで、ムクドリの大量飛来は全て抽出された。

【0134】

この結果から、本発明のムクドリを検知する画像処理方法は、撮像画像（連続画像データ）の中からムクドリの大量飛来を高い精度で検知できることが確認され、ムクドリ大量飛来検知の信頼性が高いことが確認された。

【符号の説明】

【0135】

１０ 画像処理装置
１７ 画像処理プログラム

【図1】

【図2】

【図3】

【図4】

【図5】