(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022017838
(43)【公開日】2022-01-26
(54)【発明の名称】飛翔体検出装置、飛翔体検出方法、及びプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220119BHJP
G01V 8/10 20060101ALI20220119BHJP
F03D 17/00 20160101ALI20220119BHJP
【ＦＩ】
H04N5/232 290
G01V8/10 S
F03D17/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2020120635
(22)【出願日】2020-07-14
(71)【出願人】
【識別番号】515079793
【氏名又は名称】株式会社ユーラスエナジーホールディングス
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(74)【代理人】
【識別番号】100127236
【弁理士】
【氏名又は名称】天城 聡
(72)【発明者】
【氏名】西川 武志
【テーマコード（参考）】
2G105
3H178
5C122
【Ｆターム（参考）】
2G105AA01
2G105BB17
2G105EE06
2G105HH04
3H178AA20
3H178AA40
3H178AA43
3H178BB56
3H178BB63
3H178CC02
3H178DD52X
5C122DA11
5C122EA01
5C122EA67
5C122FA18
5C122FH11
5C122FH14
5C122GA34
5C122HA82
5C122HA88
5C122HB01
(57)【要約】
【課題】構造物の周囲に存在する飛翔体の位置を精度よく推定する。
【解決手段】飛翔体検出装置１０は、画像取得部１１０及び画像処理部１２０を備えている。画像取得部１１０は、複数のカメラ３０が生成した画像を取得する。画像取得部１１０は、リアルタイムでカメラ３０が生成した画像を取得するのが望ましい。画像処理部１２０は、画像取得部１１０が取得した画像を処理する。この際、画像処理部１２０は、機械学習によって生成されたモデルを用いて画像を処理する。一例として、画像処理部１２０は、画像に対して第１処理を行うことにより、対象空間に位置する飛翔体の有無及びその種類の概略を認識する。また画像処理部１２０は、第１の機械学習によって生成された第１モデルを用いた第２処理を、画像に対して行うことにより、構造物から飛翔体までの距離を推定する。
【選択図】図２
【解決手段】飛翔体検出装置１０は、画像取得部１１０及び画像処理部１２０を備えている。画像取得部１１０は、複数のカメラ３０が生成した画像を取得する。画像取得部１１０は、リアルタイムでカメラ３０が生成した画像を取得するのが望ましい。画像処理部１２０は、画像取得部１１０が取得した画像を処理する。この際、画像処理部１２０は、機械学習によって生成されたモデルを用いて画像を処理する。一例として、画像処理部１２０は、画像に対して第１処理を行うことにより、対象空間に位置する飛翔体の有無及びその種類の概略を認識する。また画像処理部１２０は、第１の機械学習によって生成された第１モデルを用いた第２処理を、画像に対して行うことにより、構造物から飛翔体までの距離を推定する。
【選択図】図２
【特許請求の範囲】
【請求項1】
互いに離れて配置されている複数のカメラが生成した画像を取得する画像取得部と、
前記画像を処理する画像処理部と、
を備え、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理部は、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、飛翔体検出装置。
前記画像を処理する画像処理部と、
を備え、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理部は、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、飛翔体検出装置。
【請求項2】
請求項１に記載の飛翔体検出装置において、
前記第１モデルは、前記距離とともに、前記第１の構造物を基準とした前記飛翔体の方向を推定する、飛翔体検出装置。
前記第１モデルは、前記距離とともに、前記第１の構造物を基準とした前記飛翔体の方向を推定する、飛翔体検出装置。
【請求項3】
請求項１又は２に記載の飛翔体検出装置において、
前記画像取得部は、前記画像とともに、当該画像を生成したときに前記カメラが向いていた方向を示す方向情報を取得し、
前記画像処理部は、前記方向情報を用いて、前記第１の構造物を基準とした前記飛翔体の方向を推定する、飛翔体検出装置。
前記画像取得部は、前記画像とともに、当該画像を生成したときに前記カメラが向いていた方向を示す方向情報を取得し、
前記画像処理部は、前記方向情報を用いて、前記第１の構造物を基準とした前記飛翔体の方向を推定する、飛翔体検出装置。
【請求項4】
請求項２又は３に記載の飛翔体検出装置において、
前記画像処理部は、
第２の機械学習によって生成された第２モデルを用いた第３処理を前記複数のカメラが生成した前記画像に対して行うことにより、前記飛翔体の速度を推定し、
さらに、前記速度の推定結果を用いて前記飛翔体が前記第１の構造物に衝突する可能性に関する衝突可能性情報を生成する衝突可能性算出部を備える飛翔体検出装置。
前記画像処理部は、
第２の機械学習によって生成された第２モデルを用いた第３処理を前記複数のカメラが生成した前記画像に対して行うことにより、前記飛翔体の速度を推定し、
さらに、前記速度の推定結果を用いて前記飛翔体が前記第１の構造物に衝突する可能性に関する衝突可能性情報を生成する衝突可能性算出部を備える飛翔体検出装置。
【請求項5】
請求項４に記載の飛翔体検出装置において、
前記衝突可能性算出部は、さらに前記距離及び前記速度を用いて前記飛翔体が前記構造物に衝突するまでの予想時間を算出する飛翔体検出装置。
前記衝突可能性算出部は、さらに前記距離及び前記速度を用いて前記飛翔体が前記構造物に衝突するまでの予想時間を算出する飛翔体検出装置。
【請求項6】
請求項４又は５に記載の飛翔体検出装置において、
前記画像処理部は、
前記第１処理を用いて、前記飛翔体が鳥であるか否かを推定し、
さらに、第３の機械学習によって生成された第３モデルを用いた第４処理を行うことにより、前記鳥の種類を推定し、
前記衝突可能性算出部は、さらに前記鳥の種類を用いて前記衝突可能性情報を生成する、飛翔体検出装置。
前記画像処理部は、
前記第１処理を用いて、前記飛翔体が鳥であるか否かを推定し、
さらに、第３の機械学習によって生成された第３モデルを用いた第４処理を行うことにより、前記鳥の種類を推定し、
前記衝突可能性算出部は、さらに前記鳥の種類を用いて前記衝突可能性情報を生成する、飛翔体検出装置。
【請求項7】
請求項４～６のいずれか一項に記載の飛翔体検出装置において、
前記第１の構造物は風力発電装置であり、
前記衝突可能性算出部は、前記衝突可能性情報が基準を満たしたときに、前記風力発電装置のブレードを停止または減速させるための制御情報を出力する飛翔体検出装置。
前記第１の構造物は風力発電装置であり、
前記衝突可能性算出部は、前記衝突可能性情報が基準を満たしたときに、前記風力発電装置のブレードを停止または減速させるための制御情報を出力する飛翔体検出装置。
【請求項8】
請求項１～７のいずれか一項に記載の飛翔体検出装置において、
少なくとも１つの前記カメラの撮像範囲には、第２の構造物の周囲に位置する第２対象空間が含まれており、
前記画像処理部は、前記少なくとも１つのカメラが生成した前記画像を、前記第２対象空間に位置する前記飛翔体を認識し、かつ当該飛翔体から前記第２の構造物までの距離を推定するために用いる、飛翔体検出装置。
少なくとも１つの前記カメラの撮像範囲には、第２の構造物の周囲に位置する第２対象空間が含まれており、
前記画像処理部は、前記少なくとも１つのカメラが生成した前記画像を、前記第２対象空間に位置する前記飛翔体を認識し、かつ当該飛翔体から前記第２の構造物までの距離を推定するために用いる、飛翔体検出装置。
【請求項9】
コンピュータが、
互いに離れて配置されている複数のカメラが生成した画像を取得する画像取得処理と、
前記画像を処理する画像処理と、
を行い、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理において、前記コンピュータは、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、飛翔体検出方法。
互いに離れて配置されている複数のカメラが生成した画像を取得する画像取得処理と、
前記画像を処理する画像処理と、
を行い、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理において、前記コンピュータは、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、飛翔体検出方法。
【請求項10】
コンピュータに、
互いに離れて配置されている複数のカメラが生成した画像を取得する画像取得機能と、
前記画像を処理する画像処理機能と、
を持たせ、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理機能は、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、プログラム。
互いに離れて配置されている複数のカメラが生成した画像を取得する画像取得機能と、
前記画像を処理する画像処理機能と、
を持たせ、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理機能は、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛翔体検出装置、飛翔体検出方法、及びプログラムに関する。
【背景技術】
【0002】
近年は風力発電装置に代表されるように、高さ方向で大型な構造物が様々な場所で設置されている。このような構造物には、鳥などの飛翔体が衝突する可能性がある。
【0003】
これに対し、例えば特許文献１には、画像を用いて風力発電装置に対するバードストライクを減らす際に、撮影手段の配置を工夫することが記載されている。特許文献１において、撮影手段は、カメラのほかにドームミラーを有している。カメラは、このドームミラーの反射映像を撮影している。これにより、撮影手段による撮影可能領域は広がる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９－２２９２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
飛翔体が構造物に衝突する可能性を推定するためには、飛翔体の位置を精度よく推定する必要がある。本発明の目的は、構造物の周囲に存在する飛翔体の位置を精度よく推定することにある。
【課題を解決するための手段】
【0006】
本発明によれば、互いに離れて配置されている複数のカメラが生成した画像を取得する画像取得部と、
前記画像を処理する画像処理部と、
を備え、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理部は、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、飛翔体検出装置が提供される。
前記画像を処理する画像処理部と、
を備え、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理部は、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、飛翔体検出装置が提供される。
【0007】
本発明によれば、コンピュータが、
互いに離れて配置されている複数のカメラが生成した画像を取得する画像取得処理と、
前記画像を処理する画像処理と、
を行い、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理において、前記コンピュータは、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、飛翔体検出方法が提供される。
互いに離れて配置されている複数のカメラが生成した画像を取得する画像取得処理と、
前記画像を処理する画像処理と、
を行い、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理において、前記コンピュータは、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、飛翔体検出方法が提供される。
【0008】
本発明によれば、コンピュータに、
互いに離れて配置されている複数のカメラが生成した画像を取得する画像取得機能と、
前記画像を処理する画像処理機能と、
を持たせ、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理機能は、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、プログラムが提供される。
互いに離れて配置されている複数のカメラが生成した画像を取得する画像取得機能と、
前記画像を処理する画像処理機能と、
を持たせ、
前記複数のカメラは、同一の対象空間を撮影範囲に含んでおり、
前記対象空間は、第１の構造物の周囲に位置しており、
前記画像処理機能は、
前記複数のカメラが生成した前記画像に対して第１処理を行うことにより、前記対象空間に位置する飛翔体を認識し、
第１の機械学習によって生成された第１モデルを用いた第２処理を、前記複数のカメラが生成した前記画像に対して行うことにより、前記第１の構造物から前記飛翔体までの距離を推定する、プログラムが提供される。
【発明の効果】
【0009】
本発明によれば、構造物の周囲に存在する飛翔体の位置を精度よく推定できる。
【図面の簡単な説明】
【0010】
【図1】実施形態に係る飛翔体検出装置の使用環境を説明するための図である。
【図2】飛翔体検出装置の機能構成の一例を示す図である。
【図3】モデル記憶部が記憶している情報を説明するための図である。
【図4】互いに離れた２つのカメラを用いて飛翔体Ｐまでの距離Ｚを算出できることを説明する図である。
【図5】画像にひずみが生じることを説明するための図である。
【図6】第２モデルの原理を説明するための図である。
【図7】第２モデルの原理を説明するための図である。
【図8】第１処理を説明するための図である。
【図9】飛翔体検出装置における飛翔体の位置の管理の仕方を説明するための図である。
【図10】飛翔体検出装置のハードウェア構成例を示す図である。
【図11】飛翔体検出装置が行う処理の第１例を示す図である。
【図12】飛翔体検出装置が行う処理の第２例を示す図である。
【図13】飛翔体検出装置が行う処理の第３例を示す図である。
【図14】第４モデルを説明するための図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0012】
図１は、実施形態に係る飛翔体検出装置１０の使用環境を説明するための図である。飛翔体検出装置１０は、構造物２０の周囲に存在する飛翔体を検出するとともに、その位置を推定する装置である。この検出及び推定において、飛翔体検出装置１０は複数のカメラ３０が生成した画像を用いる。複数のカメラ３０は互いに離れて配置されており、同一の空間（以下、対象空間と記載）を撮影範囲に含んでいる。対象空間は、構造物２０の周囲に位置している。対象空間は、構造物２０を含んでいてもよいし、構造物２０を含んでいなくてもよい。なお、対象空間は、例えば構造物２０、及び構造物２０から2kｍ以内の空間の双方を含んでいる。ただし、カメラ３０の種類によっては、対象空間は構造物２０から１０ｋｍ以内の空間を含むこともできる。
【0013】
飛翔体の代表的な例は鳥である。ただし、飛翔体は他の物、例えば飛行機、ヘリコプター、雲、及び木の枝であってもよい。
【0014】
構造物２０は、例えば風力発電装置であるが、鉄塔などの他の設備であってもよい。そして構造物２０が機械的又は電気的な構造を有している場合、この構造は、制御装置２２によって制御されている。構造物２０が風力発電装置である場合、この構造は、ブレードである。飛翔体検出装置１０は、飛翔体の位置やその推移が所定の基準を満たし、構造物２０に衝突する可能性があると判断した場合、制御装置２２に所定の情報（後述する制御情報）を、機械的又は電気的な構造の動きを停止または遅くするために、送信する。すると制御装置２２は、上記した構造の動きを遅くするか、停止させる。
【0015】
カメラ３０は、例えば全球カメラ（３６０°カメラ）であるが、単眼カメラや双眼カメラ（ステレオカメラ）であってもよい。また、カメラ３０が単眼カメラや双眼カメラの場合、カメラ３０はチルト機能、パン機能、及びズーム機能（以下、ＴＰＺ機能と記載）を有していてもよい。いずれの場合においても、カメラ３０の設置位置は固定されているのが望ましい。また、カメラ３０が生成する画像のフレームレートは任意である。
【0016】
同一の対象空間を撮影する複数のカメラ３０は、互いに同一の種類のカメラであってもよいし、少なくとも１つのカメラ３０は他とは異なる種類であってもよい。一例として、同一の対象空間を撮影する複数のカメラ３０は、すべて全球カメラであってもよい。全球カメラを用いると、ドームミラーを用いる場合と比較して、カメラ３０に死角が生じにくくなる。なお、複数のカメラ３０は、１つを除いて全球カメラであってもよいし、すべて単眼カメラ及び双眼カメラから選択されていてもよい。
【0017】
本図に示す例において、１つの対象空間に対して３つのカメラ３０が設けられている。ただし、１つの対象空間に対して２つまたは４つ以上のカメラ３０が設けられていてもよい。また、カメラ３０の少なくとも１つは、図に示す構造物２０に対応した対象空間の他に、他の構造物２０に対応した対象空間を撮像範囲に含んでいてもよい。この場合、このカメラ３０が生成した画像は、第１の構造物２０の周囲に存在する飛翔体の検出及びその位置の推定に用いられるとともに、第２の構造物２０の周囲に存在する飛翔体の検出及びその位置の推定に用いられる。ここで飛翔体検出装置１０は、第１の構造物２０を基準とした飛翔体の位置（すなわち方位及び距離）を推定するとともに、第２の構造物２０を基準とした同じ飛翔体の位置（同様に法及び距離で示される）を推定してもよい。
【0018】
なお、カメラ３０の設置位置は、例えばシミュレーションを用いて決定してもよい。この場合、カメラ３０の画角、設置位置、及びカメラの方向をシミュレーション装置に入力すると、そのカメラ３０が撮影可能な範囲を算出することができる。そしてこの算出結果を用いると、カメラ３０の適切な設置位置を推定することができる。
【0019】
飛翔体検出装置１０は、飛翔体の存在を検出するときには、例えば特徴量を用いた画像マッチングを用いるが、その飛翔体に関する詳細情報、例えば飛翔体の位置を検出するときには、機械学習によって生成されたモデルを用いる。飛翔体検出装置１０が用いるモデルは複数種類ある。これらモデルは、モデル生成装置４０によって生成される。モデル生成装置４０は、学習データ記憶部５０に記憶されているタグ付きの学習データ（教師データ）を学習することにより、上記したモデルを生成する。ここで用いられる学習モデルは、二分木ベース（AdaBoost、Random Forest）、Neural Network(NN)、及びDeep NN等である。モデル生成装置４０は、同一の目的のモデル（例えば後述する第２処理～第４処理で用いられるモデルのそれぞれ）を、複数の学習モデルを用いて生成し、これら複数のモデルのうち用途に応じた適切なモデル（精度優先、速度優先等）を選択して飛翔体検出装置１０に送信する。例えば飛翔体の数が多い場合（一例として群れを構成する鳥の数が多いとき）には、処理速度を優先してモデルを選択し、飛翔体の数が少ない場合には精度を優先してモデルを選択する。この処理は、定期的に（例えば１年に一回）行われる。
【0020】
なお、複数のモデルのすべてが飛翔体検出装置１０に送信されてもよい。この場合、例えば後述する第１処理において検出された飛翔体の数に基づいて、その時に用いるべきモデルを選択することができる。
【0021】
図２は、飛翔体検出装置１０の機能構成の一例を示す図である。本図に示す飛翔体検出装置１０は、画像取得部１１０及び画像処理部１２０を備えている。画像取得部１１０は、複数のカメラ３０が生成した画像を取得する。画像取得部１１０は、リアルタイムでカメラ３０が生成した画像を取得するのが望ましい。画像処理部１２０は、画像取得部１１０が取得した画像を例えばリアルタイムで処理する。この際、画像処理部１２０は、機械学習によって生成されたモデルを用いて画像を処理する。ここで用いられる複数のモデルは複数種類ある。
【0022】
一例として、画像処理部１２０は、画像に対して第１処理を行うことにより、対象空間に位置する飛翔体の有無及びその種類の概略を認識する。第１処理は、例えば特徴量を用いた処理である。そして画像処理部１２０は、第１の機械学習によって生成された第１モデルを用いた第２処理を画像に対して行うことにより、構造物から飛翔体までの距離を推定する。
【0023】
第１処理によって特定される飛翔体の種類は、例えば鳥であるか否かである。さらに鳥でない場合、画像処理部１２０は、第１処理を用いることにより、飛翔体の種類が飛行機、ヘリコプター、雲、太陽、及び枝のいずれかであるか否かを認識してもよい。
【0024】
そして、鳥のシルエット（形）は、例えば図８に示すように、鳥の種類によって異なる。このため、第２処理において、鳥が写っている画像に、当該鳥の種類をタグ付けした学習データを用いると種類から大きさが推定され、大きさから逆に距離の再推定がなされ、他のカメラによる距離推定の精度の改善が行われる。
【0025】
また画像処理部１２０は、第１モデルを用いることにより、構造物を基準とした飛翔体の方向を推定することもある。
【0026】
さらに画像処理部１２０は、第２の機械学習によって生成された第２モデルを用いた第３処理を、画像に対して行うことにより、飛翔体の速度（すなわち速さ及び方向）を推定することもできる。この際、第２モデルには、複数のカメラ３０のそれぞれが複数のタイミングで生成した画像、例えば時系列的に連続した複数の画像が入力される。そして飛翔体検出装置１０は、衝突可能性算出部１４０を備えている。衝突可能性算出部１４０は、飛翔体の速度の推定結果を用いて衝突可能性情報を生成する。例えば衝突可能性算出部１４０は、速度が大きい場合、衝突可能性を高くする。衝突可能性情報は、飛翔体が構造物に衝突する可能性に関する情報である。例えば衝突可能性情報は、飛翔体が構造物に衝突する可能性が基準値以上の場合に生成される。そして衝突可能性算出部１４０は、生成した衝突可能性情報を、構造物２０の制御装置２２に送信する。
【0027】
さらに画像処理部１２０は、対象空間に飛翔体が存在し、かつ第１処理によってその飛翔体が鳥であると推定された場合、第１モデルと第２モデルから飛行軌跡を生成し、第３の機械学習によって生成された第３モデルを用いた処理、すなわち上記した第４処理を画像に対して行うことにより、鳥の種類（例えばオジロワシ、クマタカ、チュウヒなど）を推定する。第３モデルは、飛行軌跡から鳥の種類を推定するモデルである。そして衝突可能性算出部１４０は、衝突可能性情報を生成するとき、すなわち飛翔体が構造物に衝突する可能性を推定するときに、鳥の種類の推定結果を用いる。その理由は、鳥の種類ごとに飛行軌跡に特徴がでるため、この特徴を用いると、当該鳥の予測位置の推定結果の精度が高まるためである。
【0028】
上記したモデルは、複数のカメラ３０の種類の組み合わせ別に生成されてもよい。例えば、複数のカメラ３０のすべてが全球カメラの場合とそれ以外の場合とで、互いに異なるモデルが生成されている。この場合、カメラ３０として、複数の全球カメラとそれ以外の複数のカメラの双方が設置されている場合において、全球モデルで構築された対象空間のモデルと、それ以外のカメラで構築された対象空間のモデルが互いに補完することで検出の性能を上げることが可能になる。また飛翔体検出装置１０が処理対象とする対象区間が複数ある場合、上記したモデルは、対象空間別に生成されてもよい。この場合、学習データも、対象空間別に、その対象空間を撮影することにより生成される。
【0029】
画像処理部１２０が用いるモデルは、モデル記憶部１３０に記憶されている。本図に示す例において、飛翔体検出装置１０はモデル取得部１３２を備えている。モデル取得部１３２は、モデル生成装置４０が生成又は更新した複数のモデルを取得し、モデル記憶部１３０に記憶させる。モデル記憶部１３０が記憶しているモデルすなわち画像処理部１２０が用いるモデルについて、別の図を用いてさらに説明する。
【0030】
図３は、モデル記憶部１３０が記憶している情報を説明するための図である。モデル記憶部１３０は、第１処理～第４処理に必要なデータを記憶している。これらのデータには、上記した第１～第３のモデルが含まれている。本図に示す例において、モデル記憶部１３０は、複数のカメラ３０の種類の組み合わせ別に、その組み合わせで用いられるデータ（例えばモデル）を記憶している。本図に示す例では、モデル記憶部１３０は、複数のカメラ３０の種類の組み合わせ別に、上記した第１処理で用いられるデータ、第２処理で用いられる第１モデル、及び第３処理で用いられる第２モデルを記憶しているが、第４処理で用いられる第２モデルはカメラ３０の組み合わせによらない共通のモデルとして記憶している。ただし、モデル記憶部１３０は、第３モデルも、複数のカメラ３０の種類の組み合わせ別に記憶していてもよい。
【0031】
次に、モデル記憶部１３０が記憶している各データについて詳細に説明する。
【0032】
まず、第１処理について説明する。上記したように、第１処理は、複数の画像から飛翔体の有無を検知する処理である。この第１処理において、画像処理部１２０は、２つ以上のカメラ３０がほぼ同じタイミング（すなわち同じ場合もあれば多少のずれが生じている場合もある：以下、「同じタイミング」と記載することもある）で生成した２つ以上の画像を１つの画像のセットとして、当該画像のセットに対して例えば特徴量を検出する処理を行うことにより、飛翔体の有無を判定する。ここで、特徴量に付与されているタグに飛翔体の種別を加えると、第１処理は、飛翔体の大きさも推定することができる。また、タグに鳥であるか否かを示す情報を加えると、第１処理は、飛翔体が鳥であるか否かを推定することもできる。
【0033】
次に、第２処理で用いられる第１モデルについて説明する。第１モデルは、複数の画像が入力されると、構造物から飛翔体までの距離の推定値を出力するモデルである。この第１モデルが成立するのは、以下に説明する原理に因る。
【0034】
図４は、互いに離れた２つのカメラ３０を用いて飛翔体Ｐまでの距離Ｚを算出できることを説明する図である。本図において、カメラ３０は、例えば全球カメラである。そしてｘｌは、左側に位置するカメラ３０が生成した画像の中における飛翔体Ｐの座標を示しており、ｘｒは、右側に位置するカメラ３０が生成した画像の中における飛翔体Ｐの座標を示している。また、ｆはカメラ３０の焦点距離であり、Ｔは２つのカメラ３０の距離である。そして、飛翔体Ｐまでの距離Ｚは、以下の式（１）を用いて算出することができる。
【0035】
【数1】
【0036】
なお、カメラ３０にはレンズなどの光学系が含まれている。このため、図５に示すように、カメラ３０が生成した画像には、この光学系に起因した歪みが生じている。式（１）に示した演算において、ｘｌ及びｘｒには、この歪を補正した値が用いられる。
【0037】
そして、上記距離Ｚ及び図４に示した角度θ１を用いると、第１のカメラ３０から飛翔体Ｐまでの距離Ｄ１を算出することができる。また、上記距離Ｚ及び図４に示した角度θ２を用いると、第２のカメラ３０から飛翔体Ｐまでの距離Ｄ２を算出することができる。
【0038】
しかし、これまでの説明で明らかなように、２つのカメラ３０では、各カメラ３０から飛翔体までの距離Ｄ１，Ｄ２を推定することはできるが、飛翔体の位置を推定することはできない。具体的には、図６に示すように、第１のカメラ３０を中心とした半径Ｄ１の球と、第２のカメラ３０を中心とした半径Ｄ２の球の交わりは、円となる。すなわち、２つのカメラ３０では、飛翔体がこの円のどこに位置するかを特定することができない。そこで、第３のカメラ３０の画像を用いると、図５に球がもう１つ加わり、その結果、飛翔体の位置を特定できる。
【0039】
なお、カメラ３０が２つであっても、付加知識を用いたり学習を工夫することにより、飛翔体の位置を特定できる場合もある。
【0040】
上記した原理に基づくと、３つ以上のカメラ３０が同じタイミングで生成した３つ以上の画像（飛翔体を含む）を１つの画像のセットとして、当該画像のセットに対して飛翔体の位置（すなわち距離及び方向）をタグ付けした学習データを用いると、飛翔体の位置を特定するための第１モデルを生成することができる。例えばカメラ３０のすべてが全球カメラであっても、第１モデルは成立する。
【0041】
なお、２つのカメラ３０が同じタイミングで生成した２つの画像（飛翔体を含む）を１つの画像のセットとして、当該画像のセットに対して飛翔体の距離をタグ付けした学習データを用いると、飛翔体の距離を特定するための第１モデルを生成することができる。この場合、例えば第３のカメラ３０としてＴＰＺ機能を有するカメラを用いて、飛翔体が写る方向を特定することにより、飛翔体の方向を特定することができる。
【0042】
また、このような第１モデルを用いる場合であって、カメラ３０が単眼カメラ又は双眼カメラである場合、画像取得部１１０は、カメラ３０が生成した画像と共に、その画像を生成したときのカメラ３０の向き（撮影方向）を示す情報（以下、方向情報と記載）も取得してもよい。そして画像処理部１２０は、この方向情報及び画像内における飛翔体の位置を用いて、当該画像が生成されたタイミングにおける、カメラ３０を基準とした飛翔体の方向を推定する。これにより、飛翔体の位置が推定される。
【0043】
また、カメラ３０が双眼カメラの場合、１つのカメラ３０に２つのカメラが設けられている。このため、図７に示すように、上記（１）式と同様の式を用いることにより、カメラ３０毎に、当該カメラ３０から飛翔体Ｐまでの距離を推定することができる。この場合、１つのカメラ３０が生成した２つの画像に対して飛翔体までの距離をタグ付けした学習データを用いると、上記した第１モデルを生成することができる。
【0044】
また、カメラ３０が単眼カメラであり、焦点を制御する機能を有している場合、飛翔体に焦点を合わせたときの焦点距離と、第１処理で推定された飛翔体の大きさを用いることにより、カメラ３０から飛翔体までの距離を推定することもできる。
【0045】
次に、第３処理で用いられる第２モデルについて説明する。複数のカメラ３０が互いに異なるタイミングで生成した生成した画像を処理すると、飛翔体の速度を算出することができる。このため、３つ以上のカメラ３０が同じタイミングで生成した３つ以上の画像（飛翔体を含む）を１つの画像のセットとして、当該画像のセットに対して飛翔体の速度をタグ付けした学習データを準備することができる。そしてこの学習データ用いると、第２モデルを生成することができる。第２モデルは、１つや２つのカメラ３０が生成した画像で速度を推定できるようにするためのモデルである。このため、第２モデルを用いることにより、複数のカメラで取得した時系列に沿った画像セットを構成できないときでも、飛翔体の速度の推定が可能なる。ここで、１つの画像セットに、複数のカメラ３０が生成した時系列の画像が含まれていると、第２モデルによる推定結果の精度は向上する。
【0046】
次に、第４処理で用いられる第３モデルについて、図１４を用いて説明する。図１４は、鳥の飛行軌跡を示しているが、この飛行軌跡は鳥の種類によって異なる。このため、飛行軌跡から得られる回転半径、角速度について当該鳥の種類をタグ付けした学習データを用いると、第３モデルを生成することができる。なお、第３モデルにおいては、個体の飛行軌跡のほかに、複数個体が群れを作った時の群の大きさ、飛行速度なども考慮される。ここで、１つの学習データは、複数のカメラ３０が同じタイミングで生成した画像を含んでいてもよい。
【0047】
なお、上記したいずれのモデルにおいても、タグには、撮影条件（例えば天候、撮影時刻、日の出の時刻、及び日の入りの時刻）が含まれていてもよい。
【0048】
図９は、飛翔体検出装置１０における飛翔体の位置の管理の仕方を説明するための図である。飛翔体検出装置１０において、対象空間は複数のボクセルに分割されている。そして飛翔体の位置は、その飛翔体が位置しているボクセルの座標で示されている。ここで、第２モデルの精度によっては、飛翔体の位置は１つのボクセルに絞ることはできず、複数のボクセルが候補として挙げられることがある。このような場合は、飛翔体までの距離が遠い場合などである。この場合、別のカメラ３０の画像を用いると、ボクセルを絞り込むことができる。ここで用いられる別のカメラ３０は、ＴＰＺ機能を有しているのが好ましい。
【0049】
また、衝突可能性算出部１４０は、飛翔体（例えば鳥）の飛行軌跡として、この飛翔体が存在するボクセルの推移を記憶している。なお、図９に示す例において、衝突可能性算出部１４０は、構造物に飛翔体が衝突する可能性が出てくる高度を、危険高度として設定している。そして衝突可能性算出部１４０は、飛翔体がこの危険高度に入った場合、又は危険高度に入る可能性が高いと推定される場合、制御情報を制御装置２２に送信する。
【0050】
図１０は、飛翔体検出装置１０のハードウェア構成例を示す図である。飛翔体検出装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
【0051】
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
【0052】
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
【0053】
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
【0054】
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は飛翔体検出装置１０の各機能（例えば画像取得部１１０、画像処理部１２０、モデル取得部１３２、及び衝突可能性算出部１４０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０はモデル記憶部１３０としても機能する。
【0055】
入出力インタフェース１０５０は、飛翔体検出装置１０と各種入出力機器とを接続するためのインタフェースである。
【0056】
ネットワークインタフェース１０６０は、飛翔体検出装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。飛翔体検出装置１０は、ネットワークインタフェース１０６０を介して制御装置２２及びカメラ３０と通信してもよい。
【0057】
なお、モデル生成装置４０のハードウェア構成も、図１０に示した構成と同様である。
【0058】
図１１は、飛翔体検出装置１０が行う処理の第１例を示す図である。本図に示す例において、複数のカメラ３０は全球カメラである。そして少なくとも３つのカメラ３０が。そして飛翔体検出装置１０は、繰り返し本図に示す処理を行う。
【0059】
まず飛翔体検出装置１０の画像取得部１１０は、リアルタイムで複数のカメラ３０が生成した画像を取得する（ステップＳ１０）。すると飛翔体検出装置１０の画像処理部１２０は、カメラ３０が生成した画像に対して第１処理を行う。これにより、対象空間内に所定の飛翔体（本図に示す例では鳥。以下、鳥として説明を行う）が存在するか否か、及びその種類の概略が判断される（ステップＳ２０）。鳥が存在すると推定された場合（ステップＳ３０：Ｙｅｓ）、画像処理部１２０は、第２処理を行うための第１モデルに画像を入力する。これにより、構造物から鳥までの距離が推定される。本図に示す例においてはカメラ３０が３つ以上あるため、画像処理部１２０は、第１モデルを用いることにより、構造物を基準とした鳥の方位及び位置も推定できる（ステップＳ４０）。
【0060】
そして画像処理部１２０は、第３処理を行うための第２モデルに画像を入力する。これにより、鳥の速度が推定される（ステップＳ５０）。
【0061】
さらに画像処理部１２０は、ステップＳ４０及びステップＳ５０の処理結果を用いて鳥の飛行軌跡を示すデータを生成する。そして画像処理部１２０は、第４処理を行うための第３モデルに鳥の飛行軌跡を示すデータを入力する。これにより、鳥の種類が推定される（ステップＳ６０）。なお、画像処理部１２０は、１つの飛翔体をトラッキングすることができる場合、ステップＳ６０に示した処理を、対象となる飛翔体を最初に検知したときにのみ行われてもよい。
【0062】
そして衝突可能性算出部１４０は、ステップＳ４０で算出した鳥の位置及び包囲、ステップＳ５０で算出した鳥の速度、及びステップＳ６０で算出した鳥の種類を用いて、衝突可能性情報を生成する（ステップＳ７０）。衝突可能性情報は、例えば鳥が構造物に衝突する可能性そのものである。ここで鳥の種類が用いられるのは、鳥によって飛行軌跡が異なるためである。
【0063】
そして衝突可能性情報が基準を満たす場合、すなわち、鳥が構造物に衝突する可能性がある程度高い場合（ステップＳ８０：Ｙｅｓ）、衝突可能性算出部１４０は、制御情報を制御装置２２に送信する（ステップＳ９０）。この際、衝突可能性算出部１４０は、構造物から鳥までの距離、及び鳥の速度の推定結果を用いて、構造物に鳥が衝突するまでの予想時間を算出し、この予想時間を制御装置２２に送信してもよい。制御装置２２は、制御情報を受信すると、構造物２０が有する機械的又は電気的な構造（例えば風力発電装置のブレード）の動きを停止または遅くする。この制御において、制御装置２２は、構造物に鳥が衝突するまでの予想時間を用いてもよい。例えば予想時間が短い場合、制御装置２２は、風力発電装置のブレードの減速速度（すなわち負方向の加速度）を大きくして、ブレードに鳥が衝突する前にブレードが停止するようにする。
【0064】
図１２は、飛翔体検出装置１０が行う処理の第２例を示す図である。本図に示す例において、複数のカメラ３０は単眼カメラ又は双眼カメラである。本図に示す例は、ステップＳ４０の代わりのステップＳ４２，Ｓ４４が行われる点を除いて、図１１に示した例と同様である。
【0065】
図１１に示す例において、画像処理部１２０は、第２処理によって飛翔体の位置を推定していた（ステップＳ４０）。これに対し、図１２に示す例では、画像処理部１２０は、第２処理によって飛翔体までの距離を推定する（ステップＳ４２）。この処理においては、例えば２つのカメラ３０が生成した画像が用いられる。次いで画像処理部１２０は、飛翔体の方向を推定する。この推定には、例えばステップＳ４２で用いられた画像を生成したときの方向情報が用いられる（ステップＳ４４）。
【0066】
図１３は、飛翔体検出装置１０が行う処理の第３例を示す図である。本図に示す処理は、第２処理によって飛翔体（鳥）の方位及び位置を推定していた（ステップＳ４０）後に、この位置をさらに絞り込む（狭める）処理を行う点を除いて、図１１に示した例と同様である。
【0067】
具体的には、飛翔体検出装置１０は、ＴＰＺ機能を有する他のカメラ３０の画像を用いる。画像処理部１２０は、この他のカメラ３０の方向を、飛翔体が存在する方向に向けるとともに、倍率も調整する（ステップＳ４０２）。そして画像処理部１２０は、当該カメラ３０が生成した画像を、当該画像が生成された時のＴＰＺの条件と共に取得し、この情報を用いて画像を処理することにより、飛翔体の方位及び位置を絞り込む（ステップＳ４０４）。
【0068】
以上、本実施形態によれば、飛翔体検出装置１０の画像処理部１２０は、第１処理を用いて飛翔体の有無を推定するとともに、第１モデルを用いた第２処理により、飛翔体までの距離を推定する。したがって、構造物の周囲に存在する飛翔体の位置を精度よく推定することができる。
【0069】
また、画像処理部１２０は、飛翔体が鳥の場合、第２モデルを用いた第３処理により、速度を推定する。第３処理に必要な画像の枚数は少ない。このため、飛翔体検出装置１０は、カメラ３０から得られた画像が少ない場合でも、鳥が構造物２０に衝突すると予想される時間を推定することができる。さらに画像処理部１２０は、飛翔体が鳥の場合、第３モデルを用いた第４処理により、鳥の種類を推定する。このため、飛翔体検出装置１０は、鳥が構造物２０に衝突する可能性を精度よく推定することができる。
【0070】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0071】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【符号の説明】
【0072】
１０ 飛翔体検出装置
２０ 構造物
２２ 制御装置
３０ カメラ
４０ モデル生成装置
１１０ 画像取得部
１２０ 画像処理部
１３０ モデル記憶部
１３２ モデル取得部
１４０ 衝突可能性算出部
２０ 構造物
２２ 制御装置
３０ カメラ
４０ モデル生成装置
１１０ 画像取得部
１２０ 画像処理部
１３０ モデル記憶部
１３２ モデル取得部
１４０ 衝突可能性算出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】