特許第6059957号(P6059957)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 地方独立行政法人東京都立産業技術研究センターの特許一覧 ▶ 国際衛生株式会社の特許一覧

特許6059957鳥獣識別装置、鳥獣識別方法、及びプログラム
<>
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000004
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000005
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000006
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000007
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000008
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000009
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000010
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000011
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000012
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000013
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000014
  • 特許6059957-鳥獣識別装置、鳥獣識別方法、及びプログラム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6059957
(24)【登録日】2016年12月16日
(45)【発行日】2017年1月11日
(54)【発明の名称】鳥獣識別装置、鳥獣識別方法、及びプログラム
(51)【国際特許分類】
   G06T 7/20 20170101AFI20161226BHJP
   A01M 29/00 20110101ALI20161226BHJP
   G06T 7/60 20170101ALI20161226BHJP
   H04N 7/18 20060101ALI20161226BHJP
【FI】
   G06T7/20 A
   A01M29/00
   G06T7/60 110
   H04N7/18 K
【請求項の数】7
【全頁数】24
(21)【出願番号】特願2012-241704(P2012-241704)
(22)【出願日】2012年11月1日
(65)【公開番号】特開2014-92842(P2014-92842A)
(43)【公開日】2014年5月19日
【審査請求日】2015年10月30日
(73)【特許権者】
【識別番号】506209422
【氏名又は名称】地方独立行政法人東京都立産業技術研究センター
(73)【特許権者】
【識別番号】390016056
【氏名又は名称】国際衛生株式会社
(74)【代理人】
【識別番号】100087594
【弁理士】
【氏名又は名称】福村 直樹
(74)【復代理人】
【識別番号】100144048
【弁理士】
【氏名又は名称】坂本 智弘
(72)【発明者】
【氏名】大平 倫宏
(72)【発明者】
【氏名】富山 真一
(72)【発明者】
【氏名】犬塚 利栄子
(72)【発明者】
【氏名】宮武 和史
(72)【発明者】
【氏名】平井 佑佳
【審査官】 ▲広▼島 明芳
(56)【参考文献】
【文献】 特開2010−071100(JP,A)
【文献】 特開2007−188294(JP,A)
【文献】 特開2010−193768(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 − 7/60
H04N 7/18
A01M 29/00
(57)【特許請求の範囲】
【請求項1】
特定の空間領域を撮影することにより取得したn枚の画像Pt(tは1〜nの整数を示す。)について、画像Ptと前記画像Ptより前に撮影した画像Pt−r(rは1〜t−1の整数を示す。)のうちの少なくとも一枚の画像Pt−rそれぞれとの差分処理を行い、フレーム間差分画像を取得するフレーム間差分処理部と、
前記フレーム間差分画像をm個の領域に分割して、m個の領域Rs(sは1〜mの整数を示す。)を取得する第1分割領域取得部と、
前記領域Rsを鳥獣の胴体として仮定する胴体領域と鳥獣の翼部として仮定する翼領域とに分割し、前記胴体領域と前記翼領域それぞれの、前記差分処理により得られた画素数の大きさに基づいて、前記領域Rsが1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であるか否かを判定する飛翔鳥獣識別部と、
を備える鳥獣識別装置。
【請求項2】
前記飛翔鳥獣識別部は、前記領域Rsを水平方向に隣接する3つの領域に分割し、そのうちの中央の領域を前記胴体領域、その両側の領域を前記翼領域として、前記胴体領域の画素数が予め設定した値より小さく、かつ、前記翼領域の少なくとも一方の画素数が予め設定した値より大きいとき、前記領域Rsを1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域と判定する請求項1に記載の鳥獣識別装置。
【請求項3】
前記画像Ptと前記特定の空間領域について予め撮影しておいた背景画像との差分処理を行い、背景差分画像を取得する背景差分処理部と、
前記背景差分画像をx個の領域に分割して、x個の領域Ry(yは1〜xの整数を示す。)を取得する第2分割領域取得部と、
前記領域Ryが1羽の停留中又は歩行中の鳥獣が存在する第2鳥獣存在領域であるか否かを判定する停留歩行鳥獣識別部と、
を備える請求項1又は2に記載の鳥獣識別装置。
【請求項4】
前記飛翔鳥獣識別部及び/又は前記停留歩行鳥獣識別部における前記画像Pt−rの判定結果を用いて、前記領域Rs及び前記領域Ryのそれぞれが、前記第1鳥獣存在領域であるか、前記第2鳥獣存在領域であるか、又はいずれも存在しない鳥獣不存在領域であるかを判定する鳥獣識別補正部を備える請求項3に記載の鳥獣識別装置。
【請求項5】
前記第1鳥獣存在領域の数を羽ばたいている状態の鳥獣数としてカウントする飛翔鳥獣計数部と、
前記第2鳥獣存在領域の数を停留中又は歩行中の鳥獣数としてカウントする停留歩行鳥獣計数部と、
羽ばたいている状態の鳥獣数と停留中又は歩行中の鳥獣数との総計である総鳥獣数を取得する総鳥獣計数部と、
前記第1鳥獣存在領域と前記第2鳥獣存在領域とで重複する領域が存在する場合には、ダブルカウントしているとみなして、前記総鳥獣数と前記羽ばたいている状態の鳥獣数又は前記停留中又は歩行中の鳥獣数とからカウント数を減じて、前記羽ばたいている状態の鳥獣数、前記停留中又は歩行中の鳥獣数、及び前記総鳥獣数を取得する鳥獣計数補正部と、
を備える請求項3又は4のいずれか一項に記載の鳥獣識別装置。
【請求項6】
特定の空間領域を撮影することにより取得したn枚の画像Pt(tは1〜nの整数を示す。)について、画像Ptと前記画像Ptより前に撮影した画像Pt−r(rは1〜t−1の整数を示す。)のうちの少なくとも一枚の画像Pt−rそれぞれとの差分処理を行い、フレーム間差分画像を取得するステップと、
前記フレーム間差分画像をm個の領域に分割して、m個の領域Rs(sは1〜mの整数を示す。)を取得するステップと、
前記領域Rsを鳥獣の胴体として仮定する胴体領域と鳥獣の翼部として仮定する翼領域とに分割し、前記胴体領域と前記翼領域それぞれの、前記差分処理により得られた画素数の大きさに基づいて、前記領域Rsが1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であるか否かを判定するステップと、
を有する鳥獣識別方法。
【請求項7】
特定の空間領域を撮影することにより取得したn枚の画像Pt(tは1〜nの整数を示す。)について、画像Ptと前記画像Ptより前に撮影した画像Pt−r(rは1〜t−1の整数を示す。)のうちの少なくとも一枚の画像Pt−rそれぞれとの差分処理を行い、フレーム間差分画像を取得するステップと、
前記フレーム間差分画像をm個の領域に分割して、m個の領域Rs(sは1〜mの整数を示す。)を取得するステップと、
前記領域Rsを鳥獣の胴体として仮定する胴体領域と鳥獣の翼部として仮定する翼領域とに分割し、前記胴体領域と前記翼領域それぞれの、前記差分処理により得られた画素数の大きさに基づいて、前記領域Rsが1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であるか否かを判定するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は鳥獣識別装置、鳥獣識別方法、及びプログラムに関し、更に詳しくは、羽ばたいている状態の鳥獣を識別することのできる鳥獣識別装置、鳥獣識別方法、及びプログラムに関する。
【背景技術】
【0002】
近年、市街地や住宅地で鳩やカラス等の鳥の数が増加し、糞害、騒音被害、病原菌の媒介等の鳥害が問題となっている。このような鳥害を防止するためには、まず鳥の存在を検知することが必要である。
【0003】
特許文献1には「電線に止まっている又は電線付近にいる鳥の鳴き声を捉えるマイクロフォンと、・・・前記マイクロフォンで捉えた音の中から追い払うべき鳥の鳴き声を認識する鳴き声認識装置・・・」(特許文献1の請求項1参照。)が記載されている。
【0004】
特許文献2には、「停留状態の有害鳥類を所定時間撮影して得た映像データに、動いている物を消去する消去処理を施して対象データとし、予め作成された停留状態の有害鳥類の態様を特定した基準データと前記対象データとを照合し、前記対象データ中における前記基準データと同一若しくは近似の態様の有無を確知することで前記停留状態の有害鳥類の数及び停留位置を確定することを特徴とする有害鳥類の数及び停留位置の確定方法。」(特許文献2の請求項1参照。)が記載されている。
【0005】
特許文献3には、動画データから人物の顔を識別し認識する「個人認証装置」が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−207438号公報
【特許文献2】特開2011−138310号公報
【特許文献3】特開2012−123676号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1は、認識対象とする鳥類の鳴き声を用いて認識する鳴き声認識装置についての発明であり、認識対象とする鳥獣が鳴き声を発していない場合や悪天候等により音声の取得が困難な場合には認識が不可能である。
【0008】
また、特許文献2は、所謂テンプレートマッチングを用いて電線等に停留中の鳥獣のみを認識可能な方法であり、飛行中の鳥獣については認識不可能である。このため、鳥獣が停止するまで認識が不可能であり、鳥獣の識別にリアルタイム性が要求される場合や飛行中及び歩行中の鳥獣の認識が必要とされる場合などには、利用できない。
【0009】
特許文献3等に例示される顔識別を行う装置では、人物の顔認証向けであるため、鳥獣の認識には不適切である。また、鳥獣用のデータを用いて、鳥獣の顔認識を行った場合でも、画面上で鳥獣が顔を正面に向けている状態であるとは限らず、その場合には認識が不可能である。
【0010】
鳥害を防止するためには、人間が不在の場合であっても鳥の存在を識別し、適切に鳥除け及び鳥の侵入防止といった処置をするのが効果的である。さらに、電線、屋根及び地面に停まっている鳥を識別するよりも、着地直前の羽ばたいている鳥を識別することができると、素早く鳥除け等の処置を、鳥が着地する前に又は着地した後直ちに実行することができるので、より効果的である。
【0011】
この発明が解決しようとする課題は、特定の空間領域に存在する鳥獣のうち羽ばたいている状態の鳥獣を識別することのできる鳥獣識別装置、鳥獣識別方法及びプログラムを提供することである。
【課題を解決するための手段】
【0012】
前記課題を解決するための手段は、
(1) 特定の空間領域を撮影することにより取得したn枚の画像P(tは1〜nの整数を示す。)について、画像Pと前記画像Pより前に撮影した画像Pt−r(rは1〜t−1の整数を示す。)のうちの少なくとも一枚の画像Pt−rそれぞれとの差分処理を行い、フレーム間差分画像を取得するフレーム間差分処理部と、
前記フレーム間差分画像をm個の領域に分割して、m個の領域R(sは1〜mの整数を示す。)を取得する第1分割領域取得部と、
前記領域Rを鳥獣の胴体として仮定する胴体領域と鳥獣の翼部として仮定する翼領域とに分割し、前記胴体領域と前記翼領域それぞれの、前記差分処理により得られた画素数の大きさに基づいて、前記領域Rが1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であるか否かを判定する飛翔鳥獣識別部と、
を備える鳥獣識別装置である。
前記(1)の好ましい態様は、
(2)前記飛翔鳥獣識別部は、前記領域Rを水平方向に隣接する3つの領域に分割し、そのうちの中央の領域を前記胴体領域、その両側の領域を前記翼領域として、前記胴体領域の画素数が予め設定した値より小さく、かつ、前記翼領域の少なくとも一方の画素数が予め設定した値より大きいとき、前記領域Rを1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域と判定する。
(3)前記(1)又は前記(2)の鳥獣識別装置において、前記画像Pと前記特定の空間領域について予め撮影しておいた背景画像との差分処理を行い、背景差分画像を取得する背景差分処理部と、
前記背景差分画像をx個の領域に分割して、x個の領域R(yは1〜xの整数を示す。)を取得する第2分割領域取得部と、
前記領域Rが1羽の停留中又は歩行中の鳥獣が存在する第2鳥獣存在領域であるか否かを判定する停留歩行鳥獣識別部と、
を備える。
(4)前記(3)の鳥獣識別装置において、前記飛翔鳥獣識別部及び/又は前記停留歩行鳥獣識別部における画像Pt−rの判定結果を用いて、前記領域R及び前記領域Rのそれぞれが、前記第1鳥獣存在領域であるか、前記第2鳥獣存在領域であるか、又はいずれも存在しない鳥獣不存在領域であるかを判定する鳥獣識別補正部を備える。
(5)前記(1)〜前記(4)のいずれか一つに記載の鳥獣識別装置において、前記第1鳥獣存在領域の数を羽ばたいている状態の鳥獣数としてカウントする飛翔鳥獣計数部と、
前記第2鳥獣存在領域の数を停留中又は歩行中の鳥獣数としてカウントする停留歩行鳥獣計数部と、
羽ばたいている状態の鳥獣数と停留中又は歩行中の鳥獣数との総計である総鳥獣数を取得する総鳥獣計数部と、
前記第1鳥獣存在領域と前記第2鳥獣存在領域とで重複する領域が存在する場合には、ダブルカウントしているとみなして、前記総鳥獣数と前記羽ばたいている状態の鳥獣数又は前記停留中又は歩行中の鳥獣数とからカウント数を減じて、前記羽ばたいている状態の鳥獣数、前記停留中又は歩行中の鳥獣数、及び前記総鳥獣数を取得する鳥獣計数補正部と、を備える。
【0013】
別の前記課題を解決するための手段は、
(6)特定の空間領域を撮影することにより取得したn枚の画像P(tは1〜nの整数を示す。)について、画像Pと前記画像Pより前に撮影した画像Pt−r(rは1〜t−1の整数を示す。)のうちの少なくとも一枚の画像Pt−rそれぞれとの差分処理を行い、フレーム間差分画像を取得するステップと、
前記フレーム間差分画像をm個の領域に分割して、m個の領域R(sは1〜mの整数を示す。)を取得するステップと、
前記領域Rを鳥獣の胴体として仮定する胴体領域と鳥獣の翼部として仮定する翼領域とに分割し、前記胴体領域と前記翼領域それぞれの、前記差分処理により得られた画素数の大きさに基づいて、前記領域Rが1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であるか否かを判定するステップと、
を有する鳥獣識別方法。
【0014】
さらに別の前記課題を解決するための手段は、
特定の空間領域を撮影することにより取得したn枚の画像P(tは1〜nの整数を示す。)について、画像Pと前記画像Pより前に撮影した画像Pt−r(rは1〜t−1の整数を示す。)のうちの少なくとも一枚の画像Pt−rそれぞれとの差分処理を行い、フレーム間差分画像を取得するステップと、
前記フレーム間差分画像をm個の領域に分割して、m個の領域R(sは1〜mの整数を示す。)を取得するステップと、
前記領域Rを鳥獣の胴体として仮定する胴体領域と鳥獣の翼部として仮定する翼領域とに分割し、前記胴体領域と前記翼領域それぞれの、前記差分処理により得られた画素数の大きさに基づいて、前記領域Rが1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であるか否かを判定するステップと、
をコンピュータに実行させるためのプログラム。
【発明の効果】
【0015】
この発明によると、羽ばたいている状態の鳥獣を識別することのできる鳥獣識別装置、鳥獣識別方法及びプログラムを提供することができる。鳥獣による被害を防止するためには、近づいてきた鳥獣を素早く検知することができるとよい。この発明によると、ある画像について羽ばたいている鳥獣の存在の有無を判定する際には、その画像より過去に撮影された画像を用い、その画像より後に撮影された画像を用いることはないので、カメラ等で撮影しながら前記判定をするための処理を行うことができ、リアルタイムに判定結果を取得することができる。また、電線、屋根、及び地面等に停留中の鳥獣を識別するよりも、着地直前の羽ばたいている状態の鳥獣を識別することができると、その鳥獣を威嚇して追い払う等の処置を、鳥獣が着地する前に又は着地した後直ちに実行することができるので、例えば人間に被害を与える鳥獣を確実に追い払うことができる。また、この発明によると、羽ばたいている状態の鳥獣を識別しているので、例えば、識別対象である鳥獣を撮影している空間領域に、飛行機や滑空中の鳥類等の動いている物体が侵入してきた場合に、それを識別対象の鳥獣であると誤認識する可能性を抑え、識別対象とする鳥獣を確実に識別することができる。
【0016】
この発明によると、羽ばたいている状態の鳥獣と停留中又は歩行中の鳥獣とを別個に識別することのできる鳥獣識別装置を提供することができる。
【0017】
この発明によると、さらに鳥獣識別補正部を備えるので、羽ばたいている状態の鳥獣と停留中又は歩行中の鳥獣とを精度よく識別することのできる鳥獣識別装置を提供することができる。
【0018】
この発明によると、さらに鳥獣計数部を備えるので、羽ばたいている状態の鳥獣数と停留中又は歩行中の鳥獣数とこれらの総計である総鳥獣数とを取得することのできる鳥獣識別装置を提供することができる。
【図面の簡単な説明】
【0019】
図1図1は、この発明の鳥獣識別装置の一実施態様である鳥獣識別装置の概略構成を示すブロック図である。
図2図2は、図1に示す鳥獣識別装置と撮像部との接続状態を示す図である。
図3図3は、図1におけるCPUでプログラムが実行されることにより実現される処理部を示すブロック図である。
図4図4は、この発明の鳥獣識別方法の一実施態様を示すフローチャートである。
図5図5は、差分処理により取得したフレーム間差分画像の一実施態様を示す図である。図5(a)は、差分処理の対象である画像Pであり、図5(b)は差分処理の対象である画像Pの1フレーム前の画像Pt−1であり、図5(c)は、画像Pと画像Pt−1について差分処理を行った後のフレーム間差分画像である。
図6図6(a)、図5(c)に示すフレーム間差分画像を分割した状態を説明するための概念図である。図6(b)は、図5(c)に示すフレーム間差分画像から第1検査領域を選択する方法の一例を説明するための概念図である。
図7図7は、第1検査領域を3つの領域に分割したときの状態を説明するための説明図である。
図8図8は、差分処理により取得した背景差分画像の一実施態様を示す図である。図8(a)は、背景画像であり、図8(b)は、差分処理の対象である画像Pであり、図8(c)は、差分処理後の背景差分画像である。
図9図9は、差分処理の対象とする差分識別領域を示すための説明図である。
図10図10は、停留中の鳩について作成した基準の色ヒストグラムである。
図11図11は、テンプレート画像と第2検査領域とを2値画像化して、テンプレートマッチングを行う処理の概略を示す説明図である。
図12図12は、遷移状態確率を説明するための説明図である。
【発明を実施するための形態】
【0020】
この発明に係る鳥獣識別装置の一実施態様を、添付の図面を参照しつつ以下に説明する。
【0021】
図1は、この発明の鳥獣識別装置の一実施態様である鳥獣識別装置の概略構成を示すブロック図である。鳥獣識別装置1は、コンピュータを内蔵しており、各種プログラムを実行して演算及び処理を実行する。コンピュータとしては、例えばパーソナルコンピュータが使用される。
【0022】
コンピュータは、CPU(Central Processing Unit)3と、ROM(Read Only Memory)4と、RAM(RandomAccess Memory)5とを備え、これらはバスやコントローラチップを介して互いに接続されている。さらに、CPU3、ROM4、及びRAM5はバス、コントロールチップ、インタフェースなどを介して記憶装置6、入力装置7、及び表示装置8に接続されている。
【0023】
ROM4は、プログラムおよびデータを予め記憶した不揮発性のメモリである。RAM5は、プログラムを実行する際にそのプログラムおよびデータを一時的に記憶するメモリである。CPU3は、プログラムに記述された処理を実行する演算処理装置である。CPU3は、ROM4又は記憶装置6に格納されているプログラムをRAM5にロードして実行する。これによりプログラムに記述された処理を実行する処理部が実現される。
【0024】
記憶装置6は、図示せぬオペレーティングシステム、各種プログラム61、及び後述する撮像部2が撮影した画像等の各種データ62を格納する記録媒体を有する装置である。記憶装置6としては、複数枚の画像を記憶することができるのが好ましく、不揮発性のメモリ、ハードディスク駆動装置、ディスクアレイ装置などが使用される。なお、前記プログラム61は、CD−ROM、DVD−ROMなどの可搬性のある記録媒体に記録し、その記録媒体から鳥獣識別装置1にインストールするようにしてもよい。
【0025】
表示装置8は、操作画面などを表示する装置である。表示装置8としては、例えば液晶ディスプレイが使用される。入力装置7は、操作画面に対する操作を入力するための装置である。入力装置7としては、例えばキーボードやマウスが使用される。
【0026】
この実施態様の鳥獣識別装置1は、図2に示すように、有線又は無線で撮像部2に接続されている。撮像部2が鳥獣識別装置1に接続されていると、カメラ等の撮像部2から得られた画像をRAM5又は記憶手段6に保存して、後述の処理をリアルタイムに行うことができる。撮像部2は鳥獣識別装置1に接続されていなくてもよく、その場合には、撮像部2で撮影された画像は、CD−ROM、DVD−ROM等の可搬性のある記録媒体に記録して、この記録媒体を鳥獣識別装置1に接続して、記録媒体から画像を読み出すことにより後述する鳥獣識別処理を行ってもよい。
【0027】
撮像部2は、撮像部2の設置領域に侵入した鳥獣を撮影することができればよく、具体的には、静止画及び/又は動画を撮影可能なカメラを採用することができる。なお、撮像部2の撮像態様としては、撮像状態を常時維持する態様、定期的に撮像する態様、及び撮像部2に動感センサ(図示せず)等を付設して動く物体を動感センサが感知したときに撮像部2が撮像を開始する態様等を挙げることができる。記憶する画像はカラー画像及び白黒画像のいずれであっても良い。
【0028】
鳥獣識別装置1によりその存在の有無を識別可能な鳥獣としては、羽を有する生物であって、飛行中に羽ばたきをする生物を挙げることができ、例えば、鳩、カラス、スズメ、ムクドリ、コウモリ等を挙げることができる。これらの中でも、人間の管理下にない鳥獣であって、糞害又は病原菌の媒介等、人間に害を与えるおそれのある有害鳥類等として鳩及びカラスを好適な例をして挙げることができる。また、鳥獣識別装置1により識別可能な生物としては、鳥獣に特に限定されず、撮像部2による撮像領域を識別対象とする生物の大きさ等に応じて適宜設定することにより、羽を有する昆虫等も識別対象とすることができる。
【0029】
鳥獣識別装置1における撮像部2の設置場所としては、例えば人間が管理する必要のある領域であって、人間が不在となる時間帯のある領域を挙げることができ、具体的には、マンションのベランダ、屋外の食物保管場所周辺、食物の貯蔵庫周辺、ゴミ捨て場周辺、田畑及びビルの倉庫周辺等を挙げることができる。また、この発明の鳥獣識別装置は、着地直前の羽ばたいている状態の鳥獣を識別することができるので、鳥獣が着地する可能性のある場所を撮影することができるように設置されるのが好ましい。
【0030】
図3は、図1におけるCPUでプログラムが実行されることにより実現される処理部を示すブロック図である。処理部9は、(1)飛翔中の鳥獣を識別するための飛翔鳥獣処理部11である、フレーム間差分処理部12、第1分割領域取得部13、及び飛翔鳥獣識別処理部14と、(2)停留中又は歩行中の鳥獣を識別するための停留歩行鳥獣処理部21である、背景差分処理部22、第2分割領域取得部23、及び停留歩行鳥獣識別部24と、(3)飛翔中の鳥獣を識別した判定結果及び/又は停留中又は歩行中の鳥獣を識別した判定結果について処理を行う判定結果処理部31である、鳥獣識別補正部32、鳥獣計数部33とを有する。
【0031】
この発明の鳥獣識別装置は、少なくとも前記(1)に示す飛翔鳥獣処理部11を有していればよく、前記(1)に示す飛翔鳥獣処理部11を有することにより、着地直前の羽ばたいている状態の鳥獣を識別することができる。前記(2)に示す停留歩行鳥獣処理部21は必須ではないが、この処理部を有することにより、羽ばたいている状態の鳥獣だけでなく、画面上に存在するすべての鳥獣を識別することができる。また、前記(3)に示す判定結果処理部31もまた必須ではないが、この処理部を有することにより、羽ばたいている状態の鳥獣及び/又は停留中又は歩行中の鳥獣の識別精度を向上させたり、鳥獣数を表示したり、判定結果を保存及び他の装置に送信する等、要求に応じて前記(1)及び/又は前記(2)による判定結果を加工することができる。
【0032】
この発明の鳥獣識別装置は、前記(1)に示す処理部のみを有する態様、前記(1)及び前記(2)に示す処理部を有する態様、前記(1)及び前記(3)に示す処理部を有する態様、前記(1)〜前記(3)に示す処理部を有する態様を挙げることができる。
【0033】
次に、前記(1)〜前記(3)に示す処理部それぞれについて、以下に詳しく説明する。
【0034】
フレーム間差分処理部12は、特定の空間領域をカメラ等で撮影することにより取得したn枚の画像P(tは1〜nの整数を示す。)について、画像Pと画像Pt−1との差分処理を行い、フレーム間差分画像を取得する。ここでは、1回の連続撮影でn枚の画像P(tは1〜nの整数を示す。)が存在するとして、それぞれの画像を撮影時間の順に画像P、P、・・・P・・・Pと称する。なお、画像Pと画像Pt−1との時間間隔は、識別対象である鳥獣の所定時間あたりの羽ばたき回数及びデータ処理速度等に応じて適宜設定され、例えば、鳩を識別対象とする場合には、15〜60枚/秒の間隔で画像を取得し、後述する処理を行うと、鳩の存在の有無を精度よく識別することができる。画像Pは、動画からフレームとして所定の時間間隔で切り取ってもよいし、連続撮影した静止画の中から連続して又は所定間隔で選択してもよい。
【0035】
前記差分処理により得られたフレーム間差分画像は、画像Pと画像Pt−1との間で変化のある領域が抽出される。例えば、画像P及び画像Pt−1が画素毎にRGB値で表されており、対応する画素毎のRGB値の差分値が予め設定した閾値以上であるとき、その画素の座標が変化のある領域として保存される。図5(a)は、差分処理の対象である画像Pであり、図5(b)は差分処理の対象である画像Pの1フレーム前の画像Pt−1であり、図5(c)は、画像Pと画像Pt−1について差分処理を行った後のフレーム間差分画像である。例えば、図5(a)及び(b)に示すように、画像Pに写っている鳩について、画像Pt−1から画像Pの間でその鳩の位置及び姿勢等に動きがあった場合には、その鳩が抽出され、図5(c)において白色部分として示されている。動きのない背景は抽出されず、図5(c)において黒色部分として示されている。
【0036】
また、フレーム間差分処理部12において、前記差分処理を行った後に次のような後処理を行ってもよい。後処理は、フレーム差分画像において、メディアンフィルタ等のノイズ除去フィルタを用いて孤立する点等のノイズを取り除くノイズ除去処理である。鳥獣の大きさとして想定される面積より小さい孤立した点は、鳥獣である可能性が低いので、フレーム間差分画像において、このような孤立した点を除去することにより、これ以降のデータ処理速度を上げることができると共に、鳥獣の存在の有無を精度よく識別することができる。
【0037】
第1分割領域取得部13は、前記フレーム間差分画像をm個の領域に分割し、m個の領域R(sは1〜mの整数を示す。)を取得する。図6(a)は、図5(c)に示すフレーム間差分画像を分割した状態を説明するための概念図である。図6に示すフレーム間差分画像では、フレーム間差分画像を縦5列及び横5行に分割し、全部で25個の長方形の領域に分割している。このとき、前記領域Rの大きさ及び形状は、特に限定されないが、羽ばたいている状態の鳥獣を含む大きさ及び形状に予め設定しておくと、鳩の存在の有無を精度よく識別することができる。
【0038】
第1分割領域取得部13においては、前記領域Rそれぞれについて、差分処理により得られた画素値が予め設定した閾値以上である画素の数が予め設定した閾値以上の値を有する場合に、後述する飛翔鳥獣識別部14で処理を行う第1検査領域Rsyとして選択する第1検査領域選択処理を行うのが好ましい。領域Rにおける画素数が予め設定した閾値以上の場合は、羽ばたいている状態の鳥獣が存在する可能性があるので、第1検査領域Rsyとして選択する。領域Rにおける画素数が予め設定した閾値未満の場合は、その領域Rには動いている鳥獣が存在する可能性が低いので、これを非検査領域Rsnとして、ここで処理を終える。第1検査領域選択処理は、必須ではないが、この処理を行うことにより、鳥獣の存在する可能性の低い領域を除くことができるので、これ以降のデータ処理速度を上げることができる。
【0039】
前記第1検査領域選択処理の方法としては、画素数の大きさにより羽ばたいている状態の鳥獣の存在しない可能性の高い領域を除く前記方法に限定されず、例えば、前記方法に加えて又は代えて、後述する停留歩行鳥獣処理部で例示する色ヒストグラム又はテンプレートマッチングを用いた処理により、領域Rそれぞれについて羽ばたいている鳥獣の翼部の有無を判定し、羽ばたいている状態の鳥獣が存在すると判定されたときにのみ、次の処理に進むようにしてもよい。
【0040】
第1分割領域取得部13において第1検査領域Rsyを取得する方法は、前述した方法に限定されず、図6(b)に示すように、所定の大きさの領域をフレーム間差分画像上で走査していき、フレーム間差分画像上に配置可能なすべての組み合わせを試し、それぞれの領域において差分処理により得られた画素値が予め設定した閾値以上である画素の数を調べていき、その画素数が予め設定した閾値以上である領域Rを羽ばたいている鳥獣が存在する可能性があると判定して、第1検査領域Rsyとして選択してもよい。
【0041】
飛翔鳥獣識別部14は、前記領域R又は前記第1検査領域Rsy(以下においては、第1検査領域Rsyについて説明する。)を鳥獣の胴体として仮定する胴体領域と鳥獣の翼部として仮定する翼領域とに分割し、前記胴体領域と前記翼領域それぞれの、前記差分処理により得られた画素数の予め設定した閾値との大小関係を比較することにより、前記第1検査領域Rsyが1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であるか否かを判定する。画素数が小さいときは変化の乏しい領域であることを示し、その領域は鳥獣の胴体である可能性がある。画素数が大きいときは変化の激しい領域であることを示し、その領域は鳥獣の翼部である可能性がある。前記胴体領域が変化の乏しい領域であり、かつ、前記翼領域が変化の激しい領域である場合には、第1検査領域Rsyは1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であると判定する。
【0042】
前記第1検査領域Rsyの分割方法としては、鳥獣の胴体と翼部とに分割することができる限り、種々の方法を採用することができ、例えば、前記第1検査領域Rsyを水平方向に隣接する3つの領域に分割する方法を挙げることができる。図7は、第1検査領域を3つの領域に分割したときの状態を説明するための説明図である。なお、図7に示す第1検査領域は、理解し易くするために、撮影した鳩の写っている画像を前記差分処理を行うことなくそのままm個に分割して得られた画像であり、差分処理後の画像ではない。この方法では、3つの領域のうちの中央の領域Rsybを胴体領域、その両側の領域Rsya、Rsycを翼領域として仮定する。中央の領域Rsybの画素数が予め設定した閾値より小さく、かつ、その両側の領域Rsya及びRsycの少なくとも一方の画素数が予め設定した閾値より大きいとき、中央の領域Rsybを胴体領域、その両側の領域Rsya、Rsycを翼領域とする仮定が正しいとして、前記第1検査領域Rsyは1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であると判定する。中央の領域Rsbの画素数が予め設定した閾値以上であるか、或いは、その両側の領域Rsa及びRscの画素数が予め設定した閾値以下であるとき、前記仮定は否定されて、この第1検査領域Rsyには1羽の羽ばたいている鳥獣が存在しないと判定する。なお、中央の領域Rsyb及びその両側の領域Rsya、Rsycにおける画素数についての閾値は同じであっても、異なっていてもよい。
【0043】
第1検査領域Rsyの別の分割方法として、予め識別対象とする鳥獣の画像を取得しておき、この鳥獣の略円形の胴体をテンプレート画像とし、このテンプレート画像を用いて第1検査領域Rsyの全領域についてテンプレートマッチングを行い、テンプレート画像とマッチする略円形の領域が存在する場合には、その略円形の領域とそれ以外の領域との2つの領域に分割する方法を挙げることができる。この方法では、略円形の領域を胴体領域、それ以外の領域を翼領域として仮定する。略円形の領域の画素数が予め設定した閾値より小さく、かつ、それ以外の領域の画素数が予め設定した閾値より大きいとき、略円形の領域を胴体領域、それ以外の領域を翼領域とする仮定が正しいとして、前記第1検査領域Rsyは1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であると判定する。略円形の領域の画素数が予め設定した閾値以上であるか、或いは、それ以外の領域の画素数が予め設定した閾値以下であるとき、前記仮定は否定されて、この第1検査領域Rsyには1羽の羽ばたいている鳥獣が存在しないと判定する。なお、テンプレート画像とマッチする略円形の領域が存在しない場合には、第1検査領域Rsyを胴体領域と翼領域に分割することができず、また、この第1検査領域Rsyには1羽の羽ばたいている鳥獣が存在しない可能性が高いので、この第1検査領域Rsyには1羽の羽ばたいている鳥獣が存在しないと判定する。
【0044】
第1検査領域Rsyのさらに別の分割方法として、次の方法を挙げることができる。まず、画像Pと画像Pより前に撮影した複数枚のフレームの画像Pt−1、Pt−2・・・Pt−r(rは1〜t−1の整数を示す。)それぞれとの差分処理によりフレーム差分画像Qt−1、Qt−2、・・・Qt−rを作成する。それぞれのフレーム間差分画像Qt−rにおいて、所定の大きさの領域をフレーム間差分画像Qt−r上で走査していき、走査した領域毎に差分処理により得られた画素値が予め設定した閾値以上である画素の数を調べ、その画素数が予め定めた所定の範囲にある領域を推定胴体領域として選択する。フレーム差分画像Qt−1〜Qt−rにおける特定の領域について、前記推定胴体領域として選択された領域が少なくとも1枚存在する場合には、その領域について、画素数を画像Qt−1〜Qt−rのr枚分加算して総画素数を算出する。この総画素数が予め定めた所定の範囲にある領域を胴体領域、それ以外の領域を翼領域と仮定して、前記第1検査領域Rsyをこの2つの領域に分割する。まず、前記胴体領域が存在しない場合には、この第1検査領域Rsyには1羽の羽ばたいている鳥獣が存在しないと判定する。第1検査領域Rsyに前記胴体領域が存在する場合には、前記胴体領域における画像Pと画像Pt−1との差分処理により得られた画素数が予め設定した閾値より小さく、かつ、それ以外の領域における画像Pと画像Pt−1との差分処理により得られた画素数が予め設定した閾値より大きいとき、前記推定胴体領域に基づいて得られた領域を胴体領域、それ以外の領域を翼領域とした仮定が正しいとして、前記第1検査領域Rsyを1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域と判定する。胴体領域の画素数が予め設定した閾値以上であるか、或いは、それ以外の領域の画素数が予め設定した閾値以下であるとき、前記仮定は否定されて、この領域Rsyには1羽の羽ばたいている鳥獣が存在しないと判定する。
【0045】
前記第1検査領域Rsyにおいて、胴体領域と翼領域とを仮定し、この仮定が正しいか否かを判定する方法として、前述したように、差分処理により得られた画素数の大きさにより判定する方法に限定されず、次のようにして判定してもよい。まず、識別対象とする鳥獣の羽ばたいている状態の複数の画像を予め取得しておき、その翼部のRGB濃度の平均値を算出しておく。第1検査領域Rsyにおいて、例えば前述したいずれかの分割方法により、ある領域を翼領域と仮定し、翼領域として仮定した領域について、画像P、P・・・Pそれぞれの色空間において、予め取得しておいたRGB濃度の平均値との距離が予め設定した所定の値以下である領域を抽出する。これを抽出領域とし、前記抽出領域とそれ以外の領域とを区別するように2値化処理を行い、翼領域として仮定した領域における2値化処理画像を作成する。次に、この2値化処理画像について画像Pと画像P、画像Pと画像P・・・画像Pと画像Pt−1のように順に直前の画像との差分処理を行い、フレーム差分画像T、T・・・Tを取得する。それぞれのフレーム差分画像Tに存在する画素数の総数を算出し、その画素数の総数が予め設定した閾値以上であった場合には、ある領域を翼領域とした仮定が正しいとして、第1検査領域Rsyを1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域と判定する。翼領域として仮定した領域における画素数の総数が予め設定した閾値未満であった場合には、前記仮定は否定されて、この領域Rsyには1羽の羽ばたいている鳥獣が存在しないと判定する。
【0046】
前述したように、飛翔鳥獣識別部14において第1検査領域Rsyが1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であると判定した後に、後述する色ヒストグラムを用いる処理、及びテンプレートマッチングを用いる処理、又はこれらを組み合わせた処理等の検証処理を行うことにより、第1検査領域Rsyを第1鳥獣存在領域と判定した判定結果の検証を行ってもよい。この検証処理の結果、第1検査領域Rsyに1羽の羽ばたいている鳥獣が存在しないという結果が得られた場合には、第1検査領域Rsyを第1鳥獣存在領域と判定した判定結果を変更し、第1検査領域Rsyには1羽の羽ばたいている鳥獣が存在しないと判定する。
【0047】
背景差分処理部22は、特定の空間領域をカメラ等で撮影することにより取得したn枚の画像P(tは1〜nの整数を示す。)と、前記特定の空間領域について予め撮影して取得しておいた基準となる背景画像との差分処理を行い、背景差分画像を取得する。画像Pの取得方法については、前述したフレーム間差分処理部12と同様である。背景差分画像は、画像Pと背景画像との間で異なる領域が抽出される。例えば、画像P及び背景画像が画素毎にRGB値で表されており、対応する画素毎のRGB値の差分値が予め設定した閾値以上であるとき、その画素の座標が画像Pと背景画像との間で異なる領域として保存される。図8(a)は、背景画像であり、図8(b)は、差分処理の対象である画像Pであり、図8(c)は、差分処理後の背景差分画像である。図8(c)に示すように、差分処理後には屋根に停留中又は歩行中の鳩が抽出され、それが白色部分として示されている。背景画像と同じである領域は抽出されず、図8(c)において黒色部分として示されている。
【0048】
背景差分処理部22において、前記差分処理を行う前に次のような前処理を行ってもよい。前記前処理は、背景画像において、鳥獣の停留又は歩行する可能性のある領域を予め設定し、この領域を差分処理の対象として差分識別領域とする処理である。鳥獣の停留又は歩行する可能性のある領域としては、例えば、屋根、地上、及び電線の周囲等を挙げることができる。例えば、図9に示すように、図8(a)に示す背景画像における屋根に停留中又は歩行中の鳥獣が含まれる領域を差分識別領域とすることができる。なお、図9においては、差分識別領域を白色で示している。差分識別領域を設定することにより、飛行中の鳥獣を誤って抽出することを防止することができ、停留中又は歩行中の鳥獣の存在の有無を精度良く識別することができる。また、停留中又は歩行中の鳥獣の存在しない領域を予め除くことができるので、これ以降のデータ処理速度を上げることができる。
【0049】
また、背景差分処理部22において、前記差分処理を行った後に次のような後処理を行ってもよい。後処理は、背景差分画像において、メディアンフィルタ等のノイズ除去フィルタを用いて孤立する点等のノイズを取り除くノイズ除去処理である。鳥獣の大きさとして想定される面積より小さい孤立した点は、鳥獣である可能性が低いので、背景差分画像において、このような孤立した点を除去することにより、これ以降のデータ処理速度を上げることができると共に、鳥獣の存在の有無を精度よく識別することができる。
【0050】
第2分割領域取得部23は、前記背景差分画像をx個の領域に分割して、x個の領域R(yは1〜xの整数を示す。)を取得する。このとき、前記領域Rの大きさ及び形状は、特に限定されないが、停留中の鳥獣を含む大きさ及び形状に予め設定しておくと、鳩の存在の有無を精度よく識別することができる。xはフレーム間差分画像を分割した数mと同じであってもよい。
【0051】
第2分割領域取得部23においては、前記領域Rそれぞれについて、差分処理により得られた画素値が予め設定した閾値以上である画素の数が予め設定した閾値以上の値を有する場合に、後述する停留歩行鳥獣識別部24で処理を行う第2検査領域Ryyとして選択する第2検査領域選択処理を行うのが好ましい。領域Rにおける画素数が予め設定した閾値以上の場合は、停留中又は歩行中の鳥獣が存在する可能性があるので、第2検査領域Ryyとして選択する。領域Rにおける画素数が予め設定した閾値未満の場合は、その領域Rには鳥獣が存在する可能性が低いので、これを非検査領域Rynとして、ここで処理を終える。第2検査領域選択処理は、必須ではないが、この処理を行うことにより、鳥獣の存在する可能性の低い領域を除くことができるので、これ以降のデータ処理速度を上げることができる。
【0052】
第2分割領域取得部23における第2検査領域Ryyを取得する方法は、前記方法に限定されず、所定の大きさの領域を背景差分画像上で走査していき、背景差分画像上に配置可能なすべての組み合わせを試し、それぞれの領域において差分処理により得られた画素値が予め設定した閾値以上である画素の数を調べていき、その画素数が予め設定した閾値以上である領域Rを停留中又は歩行中の鳥獣が存在する可能性があると判定して、第2検査領域Ryyとして選択してもよい。
【0053】
停留歩行鳥獣識別部24は、前記領域R又は前記第2検査領域Ryy(以下においては、第2検査領域Ryyについて示す。)について、停留中又は歩行中の鳥獣の存在の有無を識別することのできる公知の処理方法により、第2検査領域Ryyが1羽の停留中又は歩行中の鳥獣が存在する第2鳥獣存在領域であるか否かを判定する。停留中又は歩行中の鳥獣を識別する処理方法としては、例えば、色ヒストグラムを用いる処理、及びテンプレートマッチングを用いる処理、又はこれらを組み合わせた処理を挙げることができる。
【0054】
色ヒストグラムを用いる処理は、まず、予め識別対象とする鳥獣について、種々の姿勢で停留中の画像データを複数枚取得する。取得した画像データそれぞれに対し、RGB値を所定の数値範囲毎に区分した複数の区分のうち、特定の区分に含まれる頻度を1画素毎に計数することにより複数の画像から色ヒストグラムを作成し、正規化を行い、これを基準の色ヒストグラムとする。一例として図10に、停留中の鳩について作成した基準の色ヒストグラムを示す。第2検査領域Ryyについても、同様にして色ヒストグラムの作成、正規化を行い、これを第2検査領域の色ヒストグラムとする。この第2検査領域の色ヒストグラムの基準の色ヒストグラムに対する類似度を、Bhattacharya距離等のヒストグラム間の距離を表す値を用いて計算する。基準の色ヒストグラムに対する類似度が所定の値以下であるとき、第2検査領域Ryyは停留中又は歩行中の鳥獣が存在する第2鳥獣存在領域であると判定する。
【0055】
テンプレートマッチングを用いる処理は、まず、予め識別対象とする停留中の鳥獣の画像データを複数枚取得しておき、これらをテンプレート画像とする。第2検査領域Ryy上を走査して、第2検査領域Ryyにおけるそれぞれの画素毎にテンプレート画像との画素値の差を取り、この差が所定の値以下である画素の総数を記録する。記録した画素の総数が所定の値以上である場合は、第2検査領域Ryyと比較したテンプレート画像とは近い画像であるとして、第2検査領域Ryyは停留中又は歩行中の鳥獣が存在する第2鳥獣存在領域であると判定する。記録した画素の総数が所定の値より小さく、第2検査領域Ryyに停留中又は歩行中の鳥獣が存在しないと判定された場合には、別のテンプレート画像を用いて同様の処理を行う。前述した処理を繰り返し、複数のテンプレート画像のうちの少なくとも一枚が第2検査領域Ryyと近い画像であると判定された場合には、第2検査領域Ryyは停留中又は歩行中の鳥獣が存在する第2鳥獣存在領域であると判定する。
【0056】
テンプレートマッチングを用いる処理においては、テンプレート画像及び第2検査領域Ryyを、予めカラー画像からグレー画像化又は2値画像化しておいてもよい。このような処理を行うことで、これ以降のデータ処理速度を上げることができる。図11は、テンプレート画像と第2検査領域とを2値画像化して、テンプレートマッチングを行う処理の概略を示す説明図である。図11における左上に示された領域がテンプレート画像である。テンプレート画像における鳥獣が存在する領域は白色、それ以外の領域は黒色に2値画像化されている。第2検査領域Ryyは、前記差分処理により抽出された領域が白色、それ以外の領域が黒色に2値画像化されている。第2検査領域Ryy上をテンプレート画像で走査し、第2検査領域Ryyにおいてテンプレート画像における白色の領域と重なる領域の面積が、第2検査領域Ryyの白色の面積に対して所定の割合以上である場合、第2検査領域Ryyには1羽の停留中又は歩行中の鳥獣が存在する第2鳥獣存在領域であると判定する。
【0057】
色ヒストグラムとテンプレートマッチングとの両方を用いる処理は、例えば、まず、上述したように色ヒストグラムによる判定を行い、第2鳥獣存在領域であると判定された領域について、さらに上述したようにテンプレートマッチングを行い、この処理によっても第2鳥獣存在領域であると判定された場合に、最終的に1羽の停留中又は歩行中の鳥獣が存在する第2鳥獣存在領域であると判定する。
【0058】
前記鳥獣識別補正部32は、飛翔鳥獣識別処理により得られた判定結果と停留歩行鳥獣識別処理により得られた判定結果とを用いて、前記領域Rsy及び前記領域Ryyのそれぞれが、前記第1鳥獣存在領域であるか、前記第2鳥獣存在領域であるか、又はいずれも存在しない鳥獣不存在領域であるかを判定する再判定処理を行う。鳥獣識別補正部32は、必須ではないが、鳥獣識別補正部32を有することにより鳥獣をより一層精度よく識別することができる。
【0059】
前記鳥獣識別補正部32では、例えば、以下に説明する確率・統計的モデル(HMM:隠れマルコフモデル)を用いる再判定処理を採用することができる。
例えば、画像上における鳥獣の状態を状態Sとして、画像Pt−1における鳥獣の状態を状態S(t−1)、画像Pにおける鳥獣の状態を状態S(t)とし、状態Sから状態Sに遷移する確率を状態遷移確率aijとする。
ここでは、特定の領域における鳥獣の状態として、次の3つの状態が存在するとする。
状態S:鳥獣がいない状態
状態S:停留中又は歩行中の鳥獣が存在する状態
状態S:羽ばたいている鳥獣が存在する状態
このとき、状態を示す記号「S」の下付き文字である、i、jは0、1、又は2である。
まず、各状態Sから各状態Sに遷移するすべての組み合わせの状態遷移確率aijを、事前にデータを取得すること等により設定しておく。例えば、図12に示すように状態遷移確率aijが設定される。図12では、例えば、状態Sから状態Sに遷移する状態遷移確率a01は、a01=0.0225と設定されている。
【0060】
次に、画像Pt−1から画像Pに遷移する場合に、特定の領域において以下に示すシンボルのうちただ一つのシンボルO(t)が発生しているとする。すなわち、上述した飛翔鳥獣識別部14及び停留歩行鳥獣識別部24において出力される判定結果を、以下に示すシンボルで示す。
シンボルO(t):領域Rstに、羽ばたいている鳥獣及び停留又は歩行中の鳥獣の両方が存在しないとき
シンボルO(t):領域Rstに、羽ばたいている鳥獣が存在せずに、停留又は歩行中の鳥獣が存在するとき
シンボルO(t):領域Rstに、羽ばたいている鳥獣が存在し、停留又は歩行中の鳥獣が存在しないとき
シンボルO(t):領域Rstに、羽ばたいている鳥獣及び停留又は歩行中の鳥獣の両方が存在するとき
【0061】
ここで、各状態Sから各状態Sに遷移する際に、各状態の遷移の組合せごとにシンボルOの出力確率が異なっていると考え、それぞれのシンボルOの出力確率bij(O)を、事前にデータを取得すること等により設定しておく。なお、シンボルを示す記号「O」の下付き文字である、mは0、1、2、又は3である。
【0062】
例えば、事前に取得したデータにより、状態Sから状態Sに遷移する際のシンボルOの出力確率をb00(O)=0.98、出力確率b00(O)=0.01、出力確率b00(O)=0.01、出力確率b00(O)=0、出力確率b01(O)=0.4、出力確率b01(O)=0.5・・・等と設定することができる。
【0063】
以上のように、予め設定した状態遷移確率aijとシンボルの出力確率bij(O)と、例えば画像Pから画像Pまでに実際に得られた判定結果、すなわちシンボルOの系列を用いて、現在の状態として、最も確からしい状態の推定(最尤推定)を行う。状態の最尤推定の方法としては、例えば、ビダビ(Viterbi)アルゴリズムの考え方を用いて、最終状態のみを計算する以下の方法を採用することができる。
【0064】
【数1】
【0065】
【数2】
【0066】
ここで、qは途中画像の番号、tは最尤推定を行う最終画像の番号、Uは状態を示す数値の最大値を表し、この例においてUは2である。
具体的には、画像Pにおける領域R及び領域Rに対して、q=1のときに判定結果としてシンボルO(1)が出力されたときの状態遷移確率aij、出力確率bij(O(1))のすべての組合せについて上記(式1)及び(式2)を計算する。次いで、計算により得られた結果である状態S(1)とq=2のときに判定結果としてシンボルO(2)が出力されたときの状態遷移確率aij、出力確率bij(O(2))すべての組合せについて上記(式1)及び(式2)を計算する。このような計算をq=1からtまでqを一つずつ進めて計算を行い、最終状態であるS(t)の値を求め、このときの状態S(t)を画像Pにおける各領域R及び領域Rの再判定処理の結果とする。
【0067】
なお、初期のδ(0)は、δ(0)=πとする。ここで、πは初期の状態iのとる確率である。πについては、過去のデータから経験的に定めてもよいし、例えば、図8(a)に示すように、鳥獣の存在しない状態から始まると仮定して特に問題がない場合には、π=1、π=0(j≠0)とする。
【0068】
また、上記例では、簡単のために状態の数がS〜Sの3つの例について説明したが、画像Pにおける特定の領域で鳥獣が存在すると判定された場合に、状態の数を増やし、前記特定の領域の状態とその特定の領域に隣接する領域の状態との組合せを新たな状態として加えて、同様の処理を行ってもよい。
【0069】
また、上記例では、簡単のために1種類の鳥獣のみを判定する場合について説明したが、多種類の鳥獣の判定を行う場合には、状態の数等を増やして同様の処理を行ってもよい。また、画像Pより前に撮影された画像Pt−rの判定結果であるシンボルO(t−r)は、例えば、現在から少なくとも過去30フレーム程度まで遡って最尤推定に利用すれば、鳥獣の識別精度を向上させることができる。
【0070】
鳥獣識別補正部32における再判定処理は、前述した確率・統計的モデル(HMM)による処理に限定されず、次のような再判定処理により、鳥獣の検出率を向上させる方法を採用してもよい。例えば、前記飛翔鳥獣識別部14において、画像Pにおける領域Rを第1鳥獣存在領域として判定しなかった鳥獣不存在領域について、画像P〜画像Pt−1における領域Rにおいて、1つでも第1鳥獣存在領域として判定されていた場合には、この領域Rに鳥獣が存在している可能性が高く、第1鳥獣存在領域である可能性が高い。したがって、例えば、現在の画像Pから60フレーム前まで遡って、画像Pt−60〜画像Pt−1における領域Rに、第1鳥獣存在領域が少なくとも1つ存在している場合には、第1鳥獣不存在領域と判定していた領域Rを第1鳥獣存在領域であると判定する。また、画像Pt−60〜画像Pt−1における領域Rの間に、第1鳥獣存在領域が全く存在していない場合には、第1鳥獣不存在領域と判定していた領域Rを正しいと判定して、第1鳥獣不存在領域と判定する。なお、遡るフレーム数は特に限定されず、識別精度及びデータ処理速度等を考慮して、適宜設定することができる。また、第1鳥獣不存在領域と判定していた領域Rを第1鳥獣存在領域であると再判定するときの判定基準は、前記基準に特に限定されず、識別精度等を考慮して、適宜設定することができる。
【0071】
また、前記確率・統計的モデル(HMM)による再判定処理の後に、後処理として、前述した鳥獣の検出率を向上させる方法による再判定処理を行ってもよく、これによって鳥獣の検出力を高めて、フェイルセーフ性を確保することができる。
【0072】
鳥獣計数部33は、前記第1鳥獣存在領域の数を羽ばたいている状態の鳥獣数としてカウントする飛翔鳥獣計数部と、前記第2鳥獣存在領域の数を停留中又は歩行中の鳥獣数としてカウントする停留歩行鳥獣計数部と、羽ばたいている状態の鳥獣数と停留中又は歩行中の鳥獣数との総計である総鳥獣数を取得する総鳥獣計数部と、前記第1鳥獣存在領域と前記第2鳥獣存在領域とで重複する領域が存在する場合には、ダブルカウントしているとみなして、前記総鳥獣数と前記羽ばたいている状態の鳥獣数又は前記停留中又は歩行中の鳥獣数とからカウント数を減じて、前記羽ばたいている状態の鳥獣数、前記停留中又は歩行中の鳥獣数、及び前記総鳥獣数を取得する鳥獣計数補正部と、を備える。
【0073】
鳥獣計数部33で取得された、羽ばたいている状態の鳥獣数、停留中又は歩行中の鳥獣数、及び総鳥獣数は、表示装置8に表示してもよいし、RAM5又は記憶装置6に記憶してもよい。
【0074】
また、鳥獣が存在すると判定された、第1鳥獣存在領域及び第2鳥獣存在領域を表示装置8上において、枠線で囲う等の強調処理を行ってもよいし、これらの領域を繋げて、動画を作成し、これを保存、表示及び他の装置に送信してもよい。
【0075】
次に、上述した鳥獣識別装置による鳥獣識別方法について主に図3及び図4を参照しつつ説明する。図4は、この発明の鳥獣識別方法の一実施態様を示すフローチャートである。
【0076】
まず、カメラ等の撮像部2を所定の場所に設置し、例えば鳩が着地する可能性のある屋根を含む空間領域を撮影して動画として取得するか、或いは所定の時間間隔で撮影して静止画として取得する(ステップS01)。撮影された画像データは鳥獣識別装置1に送信され、RAM5又は記憶装置6に保存される。画像データについては、鳥獣識別装置1に送信される前又は送信された後であって、後述する処理を行う前に、必要に応じて、縦横サイズの縮小処理及び/又はコーデック等による圧縮処理を行うと、データ量を小さくすることができ、この後のデータ処理速度を上げることができる。また、動画については、連続撮影した画像を全て保存してもよいし、所定の時間間隔で静止画としてフレームを切り取り、これを保存してもよい。
【0077】
次に、処理対象とする1枚の画像Pを定め、着地前の羽ばたいている状態の鳥獣を検知するための飛翔鳥獣処理と屋根及び地面等に停留中又は歩行中の鳥獣を検知するための停留歩行鳥獣処理とを個別に行う。なお、この発明の鳥獣識別装置は少なくとも着地前の羽ばたいている状態の鳥獣を検知することができればよいので、必要に応じて停留歩行鳥獣処理を行えばよい。まず、飛翔鳥獣処理について説明する。
【0078】
フレーム間差分処理部12において、画像Pと画像Pt−1とを読み出して、画像Pt−1と画像Pとの差分処理を行い、フレーム間差分画像を作成し、RAM5又は記憶手段6に一時的に保存する(ステップS02)。以下の処理では特に説明しないが、必要に応じて、処理後のデータはRAM5又は記憶装置6に一時的に保存される。前記フレーム間差分画像は、画像Pと画像Pt−1との間で変化のある領域が抽出される。例えば、画像P及び画像Pt−1が画素毎にRGB値で表されており、対応する画素毎のRGB値の差分値が予め設定した閾値以上であるとき、その画素の座標が変化のある領域として保存される。図5(a)及び(b)に示すように、画像Pに移っている鳩について画像Pt−1から画像Pの間でその鳩の位置及び姿勢等に動きがあった場合には、その鳩が抽出され、図5(c)に示すフレーム間差分画像おいて白色部分として示されている。動きのない背景は抽出されず、図5(c)に示すフレーム間差分画像において黒色部分として示されている。
【0079】
次いで、第1分割領域取得部13において、前記差分処理によって得られたフレーム間差分画像を、m個の領域に分割する分割処理を行い、m個の領域R(sは1〜mの整数を示す。)を取得する(ステップS03)。例えば、図6に示すフレーム間差分画像では、フレーム間差分画像を縦5列及び横5列に分割し、全部で25個の長方形の領域に分割している。
【0080】
次いで、必要に応じて、m個の領域Rそれぞれについて、画素数が予め設定した閾値以上の値を有する場合には、次の飛翔鳥獣識別処理に進む第1検査領域Rsyとして選択する第1検査領域選択処理を行う(ステップS04)。画素数が予め設定した閾値以上である領域Rについては、羽ばたいている鳥獣が存在する可能性があるので、これを第1検査領域Rsyとして次の飛翔鳥獣識別処理に進む。画素数が予め設定した閾値未満である領域Rについては、鳥獣が存在する可能性が低いので、これを非検査領域Rsnとして、ここで処理を終える。このような第1検査領域選択処理を行うことにより、m個の領域Rを鳥獣の存在する可能性のある第1検査領域Rsyに絞ることができるので、これ以降のデータ処理速度を上げることができる。
【0081】
次いで、飛翔鳥獣識別部14において、前記領域R又は前記第1検査領域Rsy(以下においては、第1検査領域Rsyについて示す。)を、鳥獣の胴体として仮定する胴体領域と鳥獣の翼部として仮定する翼領域とに分割する(ステップS05)。前述したように、第1検査領域Rsyの分割方法としては、鳥獣の胴体と翼部とに分割することができる限り、種々の方法を採用することができる。ここでは、第1検査領域Rsyを水平方向に隣接する3つの領域に分割する方法について説明する。図7に示すように、第1検査領域Rsyを水平方向に隣接する3つの領域に分割し、そのうちの中央の領域Rsybを胴体領域、その両側の領域Rsya、Rsycを翼領域として仮定する。
【0082】
次いで、前記胴体領域及び前記翼領域それぞれについて、前記差分処理により得られた画素数の予め設定した閾値との大小関係を比較することにより、前記第1検査領域Rsyが1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であるか否かを判定する飛翔鳥獣識別処理を行う(ステップS06)。前記画素数の小さい領域は変化の乏しい領域であることを示し、その領域は鳥獣の胴体である可能性がある。画素数が大きい領域は変化の激しい領域であることを示し、その領域は鳥獣の翼部である可能性がある。中央の領域Rsybの画素数が予め設定した閾値より小さく、かつ、その両側の領域Rsya、Rsycの少なくとも一方の画素数が予め設定した閾値より大きいとき、中央の領域Rsybを胴体領域、その両側の領域Rsya、Rsycを翼領域とした仮定が正しいとして、前記第1検査領域Rsyは1羽の羽ばたいている鳥獣が存在する第1鳥獣存在領域であると判定する。中央の領域Rsybの画素数が予め設定した閾値以上であるか、或いは、その両側の領域Rsya、Rsycの画素数が予め設定した閾値以下であるとき、前記仮定は否定されて、第1検査領域Rsyには1羽の羽ばたいている鳥獣が存在しないと判定する。
【0083】
この発明の鳥獣識別装置によると、ここまでの処理により着地前の羽ばたいている状態の鳥獣を検知することができるが、停留中又は歩行中の鳥獣も併せて検知する場合には、停留歩行鳥獣処理を別に行う。以下に停留歩行鳥獣処理について説明する。
【0084】
背景差分処理部22において、前述した飛翔鳥獣処理の際に読み出したのと同じ画像Pと、予めこれと同じ空間領域を撮影して保存しておいた基準となる背景画像とを読み出し、画像Pと背景画像との差分処理を行い、背景差分画像を作成する(ステップS12)。背景差分画像は、画像Pと背景画像との間で異なる領域が抽出される。例えば、画像P及び背景画像が画素毎にRGB値で表されており、対応する画素毎のRGB値の差分値が予め設定した閾値以上であるとき、その画素の座標が画像Pと背景画像との間で異なる領域として保存される。例えば、図8に示すように、図8(a)に示す背景画像と図8(b)に示す差分処理の対象である画像Pとの差分処理をした結果、屋根に停留中又は歩行中の鳩が抽出され、図8(c)に示す背景差分画像おいて、それが白色部分として示されている。背景画像と同じである領域は抽出されず、図8(c)に示す背景差分画像おいて黒色部分として示されている。
【0085】
次いで、第2分割領域取得部23において、前記差分処理によって得られた背景差分画像を、x個の領域に分割する分割処理を行い、x個の領域R(yは1〜xの整数を示す。)を取得する(ステップS13)。xはフレーム間差分画像を分割した数mと同じであってもよい。
【0086】
次いで、必要に応じて、x個の領域Rそれぞれについて、画素数が予め設定した閾値以上の値を有する場合には、次の停留歩行鳥獣識別処理に進む第2検査領域Ryyとして選択する第2検査領域選択処理を行う(ステップS14)。画素数が予め設定した閾値以上である領域Rについては、停留中又は歩行中の鳥獣が存在する可能性があるので、これを第2検査領域Ryyとして次の停留歩行鳥獣識別処理に進む。画素数が予め設定した閾値未満である領域Rについては、鳥獣が存在する可能性が低いので、これを非検査領域Rsnとして、これで処理を終える。このような第2検査領域選択処理を行うことにより、x個の領域Rを鳥獣の存在する可能性のある第2検査領域Ryyに絞ることができるので、これ以降のデータ処理速度を上げることができる。
【0087】
次いで、停留歩行鳥獣識別部24において、前記領域R又は前記第2検査領域Ryy(以下においては、第2検査領域Ryyについて示す。)について、停留中又は歩行中の鳥獣の存在の有無を識別することのできる公知の処理方法により、第2検査領域Ryyが1羽の停留中又は歩行中の鳥獣が存在する第2鳥獣存在領域であるか否かを判定する停留歩行鳥獣識別処理を行う(ステップS15)。停留中又は歩行中の鳥獣を識別する処理方法としては、例えば、色ヒストグラムを用いる処理、及びテンプレートマッチングを用いる処理、又はこれらを組み合わせた処理を挙げることができる。
【0088】
以下においては、色ヒストグラムを用いる処理について説明する。予め識別対象とする停留中の鳥獣の画像データを複数枚撮影して、前述したように複数の画像から色ヒストグラムを作成し、正規化を行い、これを基準の色ヒストグラムとして保存しておく。第2検査領域Ryyについても、同様にして、色ヒストグラムの作成及び正規化を行い、これを第2検査領域の色ヒストグラムとして一時的に保存する。基準の色ヒストグラムと第2検査領域の色ヒストグラムとを読み出し、Bhattacharya距離等のヒストグラム間の距離を表す値を用いて計算して、第2検査領域の色ヒストグラムの基準の色ヒストグラムに対する類似度を評価する。算出された値が所定の値以下であるとき、第2検査領域Ryyは停留中又は歩行中の鳥獣が存在する第2鳥獣存在領域であると判定する。算出された値が所定の値より大きいとき、第2検査領域Ryyは停留中又は歩行中の鳥獣が存在しないと判定する。
【0089】
この発明の鳥獣識別装置によると、ここまでの処理により着地前の羽ばたいている状態の鳥獣と停留中又は歩行中の鳥獣とを個別に検知することができるが、さらに鳥獣の識別精度を向上させる場合には、続いて鳥獣識別補正部32において再判定処理を行う。
【0090】
鳥獣識別補正部32において、飛翔鳥獣識別処理により得られた判定結果と停留歩行鳥獣識別処理により得られた判定結果とを用いて、前述までの判定結果を補正して前記領域Rsy及び前記領域Ryyのそれぞれが、前記第1鳥獣存在領域であるか、前記第2鳥獣存在領域であるか、又はいずれも存在しない鳥獣不存在領域であるかを判定する再判定処理を行う(ステップS21)。この再判定処理を行うことにより、より一層精度良く鳥獣の存在の有無を識別することができる。
【0091】
以下においては、確率・統計的モデル(HMM)を用いて再判定処理を行う場合について説明する。まず、上述したように、各状態Sから各状態Sに遷移するすべての組み合わせの状態遷移確率aijを、事前にデータを取得すること等により設定し、保存しておく。また、各状態Sから各状態Sに遷移する際のシンボルOの出力確率bij(O)を、事前にデータを取得すること等により設定し、保存しておく。
【0092】
鳥獣識別補正部32において、前記状態遷移確率aij、出力確率bij(O)を読み出して、これらと、例えば、画像Pから画像Pまでに領域Rsy及び領域Ryyで得られた判定結果、すなわちシンボルOの系列を用いて、現在の状態として、最も確からしい状態の推定を行う。状態の最尤推定の方法としては、例えば、ビダビ(Viterbi)アルゴリズムの考え方を用いることができる。状態の最尤推定の方法の一例として、上述したように、遷移状態確率aij、出力確率bij(O)、画像Pから画像Pまでに領域Rsy及び領域Ryyで得られたシンボルOの系列、上述した(式1)及び(式2)を用いて、S(t)の値を求め、これを画像Pにおける各領域R及び領域Rの再判定処理の結果とする。
【0093】
次いで、必要に応じて、鳥獣計数部33において、第1鳥獣存在領域の数を羽ばたいている状態の鳥獣数としてカウントする飛翔鳥獣計数処理と、前記第2鳥獣存在領域の数を停留中又は歩行中の鳥獣数としてカウントする停留歩行鳥獣計数処理と、羽ばたいている状態の鳥獣数と停留中又は歩行中の鳥獣数との総計である総鳥獣数を取得する総鳥獣計数処理とを行い、前記第1鳥獣存在領域と前記第2鳥獣存在領域とで重複する領域が存在する場合には、ダブルカウントしているとみなして、前記総鳥獣数と前記羽ばたいている状態の鳥獣数又は前記停留中又は歩行中の鳥獣数からカウント数を減じて、前記羽ばたいている状態の鳥獣数、前記停留中又は歩行中の鳥獣数、及び前記総鳥獣数を取得する鳥獣計数処理を行う(ステップS22)。
【0094】
次いで、必要に応じて、鳥獣計数部33で取得された、前記羽ばたいている状態の鳥獣数、前記停留中又は歩行中の鳥獣数、及び前記総鳥獣数を、表示装置8に表示する(ステップS23)。
【0095】
このようにして、画像Pについての鳥獣識別処理を終了する。次のフレームについても鳥獣識別処理を行う場合には、次の画像Pt+1について画像Pと同様の処理を行う。
【0096】
この発明の鳥獣識別装置、その方法及びプログラムは、例えば、鳩やカラス等の鳥害を防止するために使用される。この場合、鳩やカラス等の侵入の防止及び忌避する必要のある場所にカメラ等の撮影部が設置され、撮影部で撮影された画像データが鳥獣識別装置に送信され、又は可搬性のある記録媒体により画像データが鳥獣識別装置に取り込まれ、その画像に鳥獣が存在することが識別された場合には、例えば信号が鳥獣忌避装置に送信されて、その鳥獣忌避装置により鳩やカラス等の侵入が防止され、又は追い払われる。
【0097】
鳥獣忌避装置は、鳥獣の侵入を防止及び忌避するための公知の装置を使用することができ、例えば、鳥獣に光を照射する装置、鳥獣に電気ショックを与える装置、鳥獣に薬液を散布する装置、鳥獣が忌避する臭いを発生する装置、鳥獣に対して音を発生する装置等を挙げることができる。
【0098】
この発明の鳥獣識別装置は、撮像部及び鳥獣忌避装置に近接するように必ずしも設置される必要はなく、鳥獣識別装置と撮像部及び鳥獣忌避装置とがインターネット等を介して接続され、遠隔操作できるように設置されていてもよい。
【0099】
以上のようにして、この実施態様の鳥獣識別装置、その方法及びプログラムによると、羽ばたいている状態の鳥獣及び停留中又は歩行中の鳥獣を別個に識別することができ、またそれらの数を表示装置に表示することができる。特に、屋根に着地する直前の羽ばたいている状態の鳥獣をリアルタイムに識別することができるので、鳥獣が着地する前に又は着地した後直ちに、鳥獣を追い払う等の処置をすることができる。また、この実施態様の鳥獣識別装置、その方法及びプログラムは、羽ばたいている状態の鳥獣を識別しているので、飛行機や滑空中の鳥等の動いている物体が撮影している空間領域に侵入してきた場合に、それを鳥獣であると誤認識する可能性を抑え、識別対象とする鳥獣を確実に識別することができる。さらに、この実施態様の鳥獣識別装置、その方法及びプログラムは、過去の判定結果を用いて再判定する鳥獣識別補正部を有しているので、鳥獣をより一層精度よく識別することができる。
【0100】
この発明は、上述した実施態様の鳥獣識別装置、その方法及びプログラムに特に限定されず、この発明の課題を達成できる範囲において、種々の変更が可能である。
【符号の説明】
【0101】
1 鳥獣識別装置
2 撮像部
3 CPU
4 ROM
5 RAM
6 記憶装置
61 プログラム
62 データ
7 入力装置
8 表示装置
9 処理部
11 飛翔鳥獣処理部
12 フレーム間差分処理部
13 第1分割領域取得部
14 飛翔鳥獣識別部
21 停留歩行鳥獣処理部
22 背景差分処理部
23 第2分割領域取得部
24 停留歩行識別部
31 判定結果処理部
32 鳥獣識別補正部
33 鳥獣計数部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12