知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-07
(45)【発行日】2022-01-21
(54)【発明の名称】物体認識装置
(51)【国際特許分類】
A01M 29/10 20110101AFI20220114BHJP
G06T 7/00 20170101ALI20220114BHJP
G08B 25/00 20060101ALI20220114BHJP
A01M 29/18 20110101ALI20220114BHJP
【ＦＩ】
A01M29/10
G06T7/00 300F
G08B25/00 510M
A01M29/18
【請求項の数】
2
(21)【出願番号】P 2019091537
(22)【出願日】2019-05-14
(65)【公開番号】P2020184924
(43)【公開日】2020-11-19
【審査請求日】2019-11-22
(73)【特許権者】
【識別番号】593202025
【氏名又は名称】株式会社エイビット
(74)【代理人】
【識別番号】110001829
【氏名又は名称】特許業務法人開知国際特許事務所
(72)【発明者】
【氏名】檜山 竹生
【審査官】坂田 誠
(56)【参考文献】
【文献】特開２００６－２１１９１７（ＪＰ，Ａ）
【文献】特開２０１１－１３８３１０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０１２５０５８（ＵＳ，Ａ１）
【文献】特開２０１８－５０５９４（ＪＰ，Ａ）
【文献】特開２００７－３４５０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ０１Ｍ ２９／００
(57)【特許請求の範囲】
【請求項1】
カメラ、認識部、撃退部、表示・警報部、認識・撃退履歴管理部とで構成され、前記認識部は、背景認識部、物体判別部、人判別部、認識すべき動物種の個々の動物の特徴を記憶したパタン部、推定部、判定部、回転司令部を有し、前記撃退部は、複数の撃退手段と複数の撃退強度を含んだ撃退設定メニュ部と撃退器を有し、前記カメラは、回転可能であり、回転角に応じた背景画像が前記背景認識部に記憶されていて、前記推定部は、カメラ画像と前記背景認識部の背景画像を比較しながら、前記物体判別部がカメラ画像から物体を判別し、判別された物体が前記人判別部で人以外の物体と判別されるまで前記回転司令部からカメラに回転司令を行うとともに、人以外の物体が判別されたとき、前記パタン部に記憶されている動物の特徴情報を利用して前記推定部により動物種を推定し、前記動物種が推定されたことを前記判定部で複数回確認することで、前記判定部は動物発見を判定し、判定された動物種に応じて、前記表示・警報部が表示・警報を発し、前記撃退部では書換え可能な撃退設定メニュ部により、前記判定部で発見された動物種の撃退に好適な撃退手段および撃退強度を選択し撃退器を駆動し、駆動後は撃退効果として、カメラ画像の動物のカメラからの位置を測定することで動物の退散を判断し、前記認識・撃退履歴管理部は前記発見された動物種、選択された撃退手段と撃退強度、撃退効果の履歴を保存することを特徴とした物体認識装置。
【請求項2】
複数個の請求項１に記載の物体認識装置と、通信網を介して前記複数個の物体認識装置と通信可能な管理サーバとで構成された物体認識管理システムであって、前記物体認識装置は装置固有のＩＤ符号と通信機能を有し、該ＩＤ符号と前記認識・撃退履歴管理部で管理されている管理情報が前記通信機能を介して前記管理サーバに送信され、該管理サーバは、前記すべての物体認識装置から受信した認識・撃退履歴管理情報から、撃退に効果のあった撃退メニュを前記通信網を介してすべての物体認識装置に送信し、前記物体認識装置は管理サーバから受信した前記撃退メニュを用いて前記撃退設定メニュ部の書換えを可能にしたことを特徴とする物体認識管理システム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明はカメラに映った画像、映像から動物、鳥、などの物体を認識し、認識結果より、警告の発生や撃退手段の作動を行う技術に関するものである。
【背景技術】
【0002】
近年、熊や猿あるいは猪や野良犬などが住宅地に出没し、人に危害を与えるなどの被害が続出している。このため、その種の危険動物が住宅地に侵入する前に、その存在を検知し、住民に迅速に知らせることが重要であり、それらの動物が住宅地に侵入してくる前に撃退することがより望まれることである。
【0003】
物体を認識する技術は、人を認識する技術が、自動運転の車が必要とする重要な機能であるため、開発が活発であり、先行技術文献１（特開2019－12304号公報）には、移動する物体として人体の検出のため、関節を認識しながら骨格の動きを検出する技術が開示されている。
【0004】
一方、野生動物の検出には、猿、熊、鹿などの動物に首輪を装着させ、首輪から発する電波を受信し、検出する方法が多用されている。
【0005】
また野生動物の生息地に、撃退機を設置することも行われているが、野生動物が、本来の生息地から住宅地へと移動する経路途中で野生動物の存在を認識し、生息地に戻るような処置が、人手を介さず、自動的に採れることが望まれることである。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１９－１２３０４号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
撮像デバイス（カメラ）で、得られた映像を分析し、熊や猪や猿の存在を認識し、認識された動物に対応した警報を発したり、撃退手段を作動したりするとともに、自治体などの管理サーバを介して、撃退部隊や近隣住民などに連絡する。
【課題を解決するための手段】
【0008】
熊や猪や犬や猿など、認識しようとする物体の特徴を示すパターンを、物体毎に、データベース化しカメラ画像から抽出された物体が人でないと判断したのち、検出したい物体群のデータベースを検索し、一致するパターンを見つけ、そのパターンの動物と判定する。このデータベースは、本装置に追加可能で、野生動物だけでなくカラスや鳩など、検出したい物体のカテゴリを自由に拡大することができる。また、動物の存在が確認されたら警報を発するとともにレーザ光や超音波を発生させ撃退するとともに、撃退効果（退散したか、静止のままか、接近してきたか）を、映像信号より判定し、認識撃退履歴を管理しておく。
【発明の効果】
【0009】
本装置を、住宅地の境界などに設置することで、熊、猿、野良犬、猪など野生動物が、本来の生息地から住宅地に接近してくる模様が事前に分かり、そのことを住民に警報連絡するとともに、動物を退散させることも可能で、かつ、退散のために採った手段を、管理サーバで情報共有し、より効果的な退散方法を、通信によって、本装置にロードすることで、退散能力をより強化できる。
【図面の簡単な説明】
【0010】
【図1】本発明による物体認識装置の全体構成図である。
【発明を実施するための形態】
【0011】
近年、宅地開発が進むなどの理由で、山林に生息する猿、猪、熊、鹿などの野生動物が、食料を求めてか住宅地や人や商店の多い観光地に出没するなど、住民が受ける被害が大きな社会問題となってきている。このため、生息地と住宅地の間に高圧電線を張るなどの対策が採られているが、万全ではない。
【0012】
本発明においては、野生動物の生息地と住宅地の間にカメラを設置し、カメラ画像（静止画や動画）を分析し野生動物を認識するための物体認識装置（以下、「本装置」という）が提供される。本装置は、住宅地の境界道路に沿って建てられている電柱や信号機や防犯用監視カメラに付属的に設置されてもよい。また農地、あるいは、山間部での適当な箇所に設置されてもよい。
【0013】
本発明を実施するための形態として、スタンドアロン型の物体認識装置単独あるいは、通信網を介してサーバと連携したシステム構成があるが、野生動物を認識するケースを例に、物体認識装置のシステム構成について以下説明する。
【0014】
図1は、本装置の全体構成を示す図である。図において、1はカメラで、ズーム１（１a）を内蔵している。２は認識部、3は表示・警報部、４は撃退部、５は回転駆動部、６は認識・撃退履歴管理部、７は時計、８は通信部、９は通信網、10は管理サーバ、１１は装置ID符号部、１２はGPS部、１３はUSB端子である。本装置は、個々に固有のID符号が付与されている。またGPS部１２は、設置場所のGPS情報を管理しているが、本装置にGPS受信機を具備することは必ずしも必要ではなく、設置作業時に設置者の所有するGPS受信機能付き携帯電話などからGPS情報を得て、その情報を、後記する設置管理ツールを用いて、USB端子１３より本装置に転送してもよい。
【0015】
図1における表示・警報部３は、図２aに示すように、表示・警報手段選択部３a,表示・警報強度選択部３b、表示・警報器３c、表示・警報設定メニュ部３dを有し、表示・警報手段としての回転灯やスピーカなどは、図示しないが表示・警報器３ｃ内にある。表示手段としては、警察のパトカーで表示されるような、黄色や青色の回転灯の駆動やLEDの点滅のほかに、液晶表示部を用いて、認識部での認識結果を言葉で表示することができる。
【0016】
図1における撃退部４は図２bに示すように撃退手段選択部４a、撃退強度選択部４b、撃退器４c、撃退設定メニュ部４dを有す。撃退器４ｃの撃退手段として、図示しないが、レーザ発光器や超音波発生器はその内部にある。また、レーザ発光器は、図示しないがレーザ光の照射を回転させるための回転駆動機構も具備している。
【0017】
カメラ１は、ズーム１aを内蔵し、ズーム比率は、カメラが物体をより認識しやすいように、認識部２から認識状況によって指示される。カメラ1の出力は認識部２で、画像（静止画、動画）から、被写体の中に、何の野生動物がいるかが認識される。カメラ1の撮影角度は、認識部２から回転駆動部５へ角度変更の指示がなされることで変更される。
【0018】
認識部２で、野生動物が認識されたら、認識された動物名が表示・警報部３、撃退部４、通信部８、認識・撃退履歴管理部６に知らされる。
【0019】
表示・警報部３では、認識された野生動物の種類（熊か猿か、猪か、鹿か、犬か等）に応じて、表示・警報部３の表示・警報メニュ部３dに、予め設定されている設定メニュにしたがい、表示手段、警報手段、と表示警報強度が選択され、表示・警報器３cが駆動される。表1は設定メニュの例を示すが、熊は人を死に至らせる可能性大なので、回転灯を点灯し、強い強度で照らし、警報音も超緊急を感じさせる音とし、警報強度、つまり音量を最高レベルに大きくする。猿は熊ほど人に対する危害性がないので、ランプを点滅、強度は普通、警報音も、緊急性をそれほど感じない普通の警報音、音量も中とする。
【0020】
【表1】
【0021】
また、撃退部４では、認識された野生動物の種類（熊か猿か、猪か、鹿か、犬か等）に応じて、撃退設定メニュ部４dに、予め設定されている設定メニュにしたがい、撃退手段、撃退強度が選択され、撃退器４cが駆動される。撃退手段の中でレーザ光の照射があるが、その場合、照射を回転的に行ったり、ある方向をめがけて直射的に行ったりする。
【0022】
表２は設定メニュの例を示すが、猪は人を襲うこともあり、怪我を引き起こす可能性があり、レーザ光で撃退し、かつ移動速度が速いのでレーザ光を回転させ、広範囲に照射するとともに、レーザ光の強度も強くする必要がある。熊は、猪より動きはスローであるが、レーザ光は、回転というより熊のいる方向に向けた直射的な照射が望ましいだろう。猪、熊とも迅速な撃退で退散させることが必要である一方、猿は、人を死に至らせるほどのことはなく、超音波発信により退散できる方が望ましい。
【0023】
このような撃退手段の実行と同時に、カメラ１で、動物の退散状況を認識し、退散効果を認識しながら強度調整を行うことも必要で、常時、認識部2の出力を見ながら撃退部４の動作が制御される。
【0024】
【表2】
【0025】
このような、動物認識結果や、撃退行為や撃退効果は、認識・撃退履歴管理部６で管理されていて、その管理テーブルの例は表３に示される。表３には襲撃効果として、退散、静止、接近の言葉が書かれているが、その判断法については後記する。表３の管理テーブルの情報は、動物が認識される都度、通信部８により、通信網９を介して、管理サーバ１０に届けられる。表３の管理テーブルは、半日あるいは一日分の履歴として届けられても良い。
【0026】
なお、管理テーブルの日時は、Y、M、D、H、M、S (Y年M月D日H時M分S秒)と秒単位で管理されている。
【0027】
【表3】
【0028】
表３の管理テーブルが管理サーバに届けられると、管理サーバ(一般的には市町村の自治体)では、しかるべき対応を採り、近隣住民へ「ただいま、近くで熊が発見されました。注意してください」とかのアナウンス車を出動させるとか、あるいは緊急連絡メールを送信したりするとかの方法で、近隣住民に連絡を行う。あわせて、捕獲隊員を出動させたり、本装置が具備する撃退手段より強固で、設置済みの威嚇専用機を稼働させたり、状況によってはドローンを飛行させ、ドローンが搭載しているカメラで動物の所在を詳細に確認したり、餌を撒くなどの処置を行う。表4は、これら管理サーバ１０が、採るべき対応を記述している。
【0029】
【表4】
【0030】
表4にある自治体とは市町村のことであるが、管理サーバの運営を市町村が直接行っている場合は、この列は不要である。表４に示した管理サーバ１０のしかるべき対応は、電話連絡により各対応先に連絡したり、電子メールを使用した自動的な連絡、両者の併用でもよい。
【0031】
本装置を複数台設置し、自治体単位で一つの管理サーバが、複数個の本装置を管理するケースが基本的な形態である。図５aはその模様を示す。本発明の通信網９は、有線、無線を問わないが、こんにちでは、３G、４Gといわれる公衆無線通信網が普及しているので、本装置の設置の容易性から公衆無線通信網が便利であろう。なお、管理サーバ１０、と本装置の設置距離によっては、LPWA(Low Power Wide Area) のような自営の無線通信網を使用してもよい。
【0032】
さらに、管理サーバ１０が受信した表３の履歴データと表４の行動結果については、複数の管理サーバで情報共有することが望ましい。管理サーバの規模が市町村レベルであるときは、県単位、あるいは地方単位（九州地方、北海道地方とか）、あるいは国単位で、情報共有することが必要で、図５bは、その模様を示している。図５bにおける通信網９は管理サーバ１０と統括管理サーバ３０とを接続するものであるが、管理サーバ１０と統括管理サーバ３０の設置場所は、離れている場合が多く、図５ｂの通信網としては、公衆的な通信網が使用されるだろう。図５bの統括管理サーバ３０は情報共有の源であり、ここでは、動物の出没状況、動物撃退の対策とその効果が一元管理され、特に撃退対策に有効な方法については、迅速に情報共有することが必要で、そのため、統括管理サーバ３０が管轄下にある管理サーバ１０のすべてを介して、設置されている本装置のすべてに対し、本装置における図２aの表示・警報設定メニュ部３ｄ、図２bの撃退設定メニュ部４dを、通信により自動的に書換えることができるようにしている。統括管理サーバ３０からの自動書換を受け入れるかどうかは、本装置の設置場所を管理していて、地域の状況を熟知している市町村の判断も必要であり、管理サーバ１０から、統括管理サーバ３０の指示によらない、その地域独自の設定メニュを送信することも可能である。なお、管理サーバの個々にはサーバIDが付与されていて、統括管理サーバ３０では、管理サーバ１０のIDと管理サーバ１０が管轄する装置IDとの関係については把握管理している。
【0033】
表５は、本装置と管理サーバ１０、統括管理サーバ３０間での通信信号リストを示す。表５において、情報とは、通信する情報内容を表した表のこと（表３か表４）であり、信号形式とは、図６a、図６b、図６c、図６d、図６eのいずれかに示す信号形式である。
【0034】
【表5】
【0035】
【0036】
管理行為信号は表４の行動を連絡するもので、行動１、２、３、４は表４に示す、捕獲隊員の出動、近隣への連絡、ドローン出動、威嚇専用機駆動のことである。
【0037】
もちろん、行動はこの表に記した以外のものもあろう。図６eのパターンモジュールについては後記する。
【0038】
次に、認識部２の動作について説明する。
【0039】
図３は認識部２の内部構成を示す。認識部２は、背景認識部２０、記憶部２１(２１a ズーム２を内蔵)、物体判別部２２、人判別部２３、推定部２５、判定部２４、回転司令部２６、２５a:パターン１、２５b:パターン2、２５c:パターン３、２５n:パターンｎ よりなる。
【0040】
本装置の設置時には、カメラを回転させながら、カメラに映った静止している物体（木や建物、住宅など）の画像を背景画像として、背景認識部２０に記憶させる。カメラの回転は、回転司令部２６が、図1の回転駆動部5を駆動することで、回転角度を20度単位で、マイナス８０度からプラス８０度まで回転させ、各々の角度での背景画像が背景認識部20に記憶されている。
【0041】
カメラで撮影された画像は、最初は、物体判別部２２で、背景画像にない物体を見つける。物体判別部２２で物体を見つけると、それが人であるかどうかを人判別部２３で判定する。人の判別は、2本の足、2つの手、首、顔よりなる人の骨格の特徴を掴みながら行う。人でないと判定されたら、動物であると推定する。動物であると推定されたら、２５a、２５b、２５c、・・・２５nに記憶されている動物パターンとの比較作業を始め、合致するパターンが見つかれば、物体はその動物であると判断し、その情報を判定部24に送る。このとき、見つかった動物の位置を求める計算を行う。画像の中の物体の大きさと背景画像の大きさをもとに動物のカメラからの距離を計算し動物の位置を求める。カメラの回転角度は、認識動作を始める時に分かっているので、動物のカメラからの角度、距離がわかる。なお、合致するパターンが見いだせないときは、記憶部２１から直前の画像を呼び出し再度合致を試みる。その時、必要によっては、ズーム２（21a）を駆動し、画像を拡大したりする。ここでの推定が終了すると、動物が認識できたかどうかに関わらず、回転駆動部５によりカメラを２０度回転させ、新たな撮影画像に対し、前記と同様に、背景認識、物体判別、人判別、推定、回転駆動を繰り返す。動物パターンは、猪、猿、熊などの動物の輪郭、色、骨格の情報、移動する（走る）時の骨格の動き情報が、各動物に応じて、２５aパターン１、２５ｂパターン２のように、記憶されている。
【0042】
上記した一連の認識動作（背景認識、物体判別から判別までの動作）に、１００ミリ秒かかるとすると、カメラの回転は、１００ミリ秒ごとに回転することになり、マイナス８０度からプラス８０度まで、２０度ステップで回転し、約１秒周期で、左右回転することが出来る。ある角度で動物を発見したらしいと思ったとき、次の角度ではカメラのズーム1(１a)を調整し画像を拡大して、「動物らしい」を「動物だった」あるいは「動物でなかった」と判定することが出来る。このようなカメラの回転やズーム調整を行いながら、１００ミリ秒ごとに、「動物がいた」、「動物はいない」、「動物らしいものがいる」という結果を推定部２５が出力し判定部２４に伝える。判定部では、「動物がいた」という結果情報を８回連続受ければ、動物発見という判定を行う。
【0043】
また、カメラの回転は、物体がカメラ画像の中央部に存在するときは回転は不要であり、回転することで物体がカメラ画像の端の方にずれるときは、次の回転は逆方向に回転させ、出来るだけ画像を認識し易くする。なお、上記の説明で、ズームはズーム１とズーム２とあるが、ズームは、いわゆる、光学ズーム、ズーム２は電子ズームである。
【0044】
動物がいたと判定されたときは、図１の認識・撃退履歴管理部６に、動物の名前と動物のカメラからの位置（距離と角度）を伝えると同時に、表示・警報部３と撃退部４にも伝える。表示・警報部３と撃退部４の動作は前記したとおりである。
【0045】
撃退後も、撃退効果を確認するため、前記した新たな発見と同様にカメラを回転させながら、動物の位置情報を認識・撃退履歴管理部６に伝える。認識・撃退履歴管理部６では、撃退後の動物の位置情報をもとに、動物が退散したのか、静止したまま動かないのか（たぶん、睡眠中）、住宅地に接近してきたのかの判断を行う。
【0046】
前記したパターンは、設置時は、猿、猪、熊の三つのパターンを認識していたが、蛇が出没するようになったので、蛇の認識が必要と判断したとき、蛇パターンの追加が可能である。これらのパターンはソフトウエアモジュールであり、ソフトウエアモジュールの追加は、USB端子１３から認識部２にロードする方法や、管理サーバ１０から通信によってロードすることも可能である。表５、図６eに示すパターンモジュールはこのことを意味する。
【0047】
本装置の動作は、図１のシステム構成で説明したが、前記したように、本装置はスタンドアロン型でも機能するものであり、この場合通信機能は不要で、図1における通信部８、通信網９、管理サーバ１０は必要ない。表４に示す管理サーバの機能（近隣住民への連絡、ドロン飛行指示、威嚇専用機の作動など）は、前記した表示・警報部３にある液晶表示部に表示される「猪発見」とかの言語を見て、本装置の保守管理者が、しかるべき対応・連絡をすることになる。なお、本装置は、保守管理の身長より高い場所に設置される可能性もあるので、液晶による言語表示に加え、発見された動物に応じた色別表示をＬＥＤなどを利用して行うことも必要である。
【0048】
また、図示しないが、本装置の設置管理ツールが別途用意され、USB端子１３を用いて、前記した設置時の操作（GPS部への書き込みなど）や、設置後のパターンモジュールのロード、さらに表示・警報設定メニュや撃退設定メニュの変更など、通信部８を用いて行う操作は、設置管理ツールで行うことができる。
【0049】
上記の説明は野生動物の認識を例にしたが、カラス等農作物に被害を与える鳥類の認識など、認識範囲を広げることはパターン群というソフトウエアモジュールを追加するだけでよく、本装置は拡張性の高いものである。
【産業上の利用可能性】
【0050】
住宅地に出没する野生動物の発見・警報機として、全国の各自治体が本装置の設置を要望するであろう。また、カラスやハクビシン等農地へ被害を与える動物、鳥類の認識も可能になるので被害の実情に応じた対策も容易で、多方面からの要望に答えることができる。
【符号の説明】
【0051】
１ カメラ
１a ズーム１
２ 認識部
３ 表示・警報部
３a 表示・警報手段選択部
３b 表示・警報強度選択部
３c 表示・警報器
３d 表示・警報設定メニュ部
４ 撃退部
４a 撃退手段選択部
４b 撃退強度選択部
４c 撃退器
４d 撃退設定メニュ部
５ 回転駆動部
６ 認識・撃退履歴管理部
７ 時計
８ 通信部
９ 通信網
１０ 管理サーバ
１１ 装置ID符号部
１２ GPS部
１３ USB端子
２０ 背景認識部
２１ 記憶部
２１a ズーム２
２２ 物体判別部
２３ 人判別部
２４ 判定部
２５ 推定部
２５a、２５b、２５c、２５n パターン
２６ 回転司令部
３０ 統括管理サーバ
１a ズーム１
２ 認識部
３ 表示・警報部
３a 表示・警報手段選択部
３b 表示・警報強度選択部
３c 表示・警報器
３d 表示・警報設定メニュ部
４ 撃退部
４a 撃退手段選択部
４b 撃退強度選択部
４c 撃退器
４d 撃退設定メニュ部
５ 回転駆動部
６ 認識・撃退履歴管理部
７ 時計
８ 通信部
９ 通信網
１０ 管理サーバ
１１ 装置ID符号部
１２ GPS部
１３ USB端子
２０ 背景認識部
２１ 記憶部
２１a ズーム２
２２ 物体判別部
２３ 人判別部
２４ 判定部
２５ 推定部
２５a、２５b、２５c、２５n パターン
２６ 回転司令部
３０ 統括管理サーバ
【図1】
【図2a】
【図2b】
【図3】
【図4】
【図5a】
【図5b】
【図6a】
【図6b】
【図6c】
【図6d】
【図6e】