知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-28
(54)【発明の名称】鳥の検出および種決定
(51)【国際特許分類】
G06T 7/00 20170101AFI20240321BHJP
G06T 7/70 20170101ALI20240321BHJP
G06V 10/82 20220101ALI20240321BHJP
【ＦＩ】
G06T7/00 350C
G06T7/70 A
G06V10/82
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023562965
(86)(22)【出願日】2022-04-12
(85)【翻訳文提出日】2023-12-08
(86)【国際出願番号】 NO2022050085
(87)【国際公開番号】W WO2022220692
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】20210472
(32)【優先日】2021-04-15
(33)【優先権主張国・地域又は機関】NO
(81)【指定国・地域】
(71)【出願人】
【識別番号】523386876
【氏名又は名称】スプール エーエス
【氏名又は名称原語表記】ＳＰＯＯＲ ＡＳ
(74)【代理人】
【識別番号】100133503
【弁理士】
【氏名又は名称】関口 一哉
(72)【発明者】
【氏名】ヘルセス， アスク
(72)【発明者】
【氏名】レイケラス， ヘルゲ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096CA04
5L096CA05
5L096EA05
5L096EA11
5L096EA39
5L096FA16
5L096FA23
5L096FA32
5L096FA64
5L096FA66
5L096FA69
5L096GA30
5L096GA34
5L096GA55
5L096HA05
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
飛行中の鳥の種を決定する方法が、対応するシステムとともに提供される。方法は、少なくとも１つのカメラ（１０４）を使用して飛行中の鳥のビデオストリームを捕捉すること（４０２）と、画像から鳥の種を認識するように訓練されたニューラルネットワーク（３０４）に画像を配信することによって、第１の種確率推定値を生成すること（４０５）と、ビデオストリームからまたは追加のデータから追加のパラメータを取得すること（４０１）と、ドメイン知識統計モデルを有するドメイン知識モジュール（３０６）への入力として追加のパラメータを配信することによって第２の種確率推定値を生成すること（４０７）と、第１の種確率推定値と第２の種確率推定値とを組み合わせることによって最終種確率推定値を生成すること（４０８）と、を含み得る。追加のパラメータは、飛行中の鳥の動きに関連する幾何学的特徴、または環境に関連するパラメータを含み得る。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
飛行中の鳥の種を決定する方法であって、少なくとも１つのカメラ（１０４）を使用して飛行中の鳥の少なくとも１つのビデオストリームを捕捉すること（４０２）と、
画像から鳥の種を認識するように訓練された人工ニューラルネットワーク（３０４）への入力として前記少なくとも１つのビデオストリームから画像を配信することによって第１の種確率推定値を生成すること（４０５）と、
前記少なくとも１つのビデオストリームから、または少なくとも１つの追加のデータソースから追加のパラメータを取得すること（４０１）と、
ドメイン知識統計モデルを有するドメイン知識モジュール（３０６）への入力として前記取得された追加のパラメータを配信することによって、第２の種確率推定値を生成すること（４０７）と、
前記第１の種確率推定値と前記第２の種確率推定値とを組み合わせることによって最終種確率推定値を生成すること（４０８）と、
を含む、方法。
【請求項2】
幾何学的特徴抽出モジュール（３０３）への入力として前記少なくとも１つのビデオストリームから画像を配信することによって前記飛行中の鳥に関連する幾何学的特徴を抽出すること（４０４）と、－観察された幾何学的特徴と組み合わされた人工ニューラルネットワークによって抽出された特徴に基づいて鳥の種の確率を生成するように訓練された浅層ニューラルネットワーク（３０５）への入力として、前記人工ニューラルネットワーク（３０４）からの抽出された特徴および前記幾何学的特徴抽出モジュール（３０３）からの抽出された幾何学的特徴を配信することによって前記第１の種確率推定値を生成すること（４０６）と、
－前記ドメイン知識統計モデルに入力される取得された追加のパラメータとして、前記幾何学的抽出モジュール（３０３）から抽出された幾何学的特徴を配信することによって、前記第２の種確率推定値を生成することと、
のうちの少なくとも一方を実行することと、
をさらに含む、請求項１に記載の方法。
【請求項3】
前記抽出された幾何学的特徴が、前記少なくとも１つのビデオストリームからの画像シーケンス内の同じ鳥の識別に基づいて取得され、前記画像シーケンス内の画像間の前記識別された鳥の位置の変化に基づいて動きを推定する、請求項２に記載の方法。
【請求項4】
前記少なくとも１つのカメラが２つ以上のカメラであり、前記少なくとも１つのビデオストリームが２つ以上のビデオストリームであり、前記抽出された幾何学的特徴が、各カメラ（１０４）の既知の位置、２つ以上の同時ビデオストリームからの画像の２つ以上のシーケンスにおける前記同じ鳥の識別、前記各ビデオストリームの前記各画像における前記識別された鳥の位置の決定、および多視点幾何学解析を使用して、前記各ビデオストリームの前記各画像における前記決定された位置から前記カメラ（１０４）の前記位置に対する前記識別された鳥の位置を表す３Ｄ座標を決定し、
前記決定された３Ｄ座標が、位置、速度、加速度、垂直運動、飛行軌道、および羽ばたき周波数からなる群から選択された特徴を抽出するために使用される、請求項２または３に記載の方法。
【請求項5】
１つの抽出された幾何学的特徴が、前記少なくとも１つのビデオストリームからの一連の画像に対してフーリエ解析を実行し、鳥の羽ばたき周波数と一致する周波数間隔内にある支配的な周波数成分を識別することによって決定される羽ばたき周波数である、請求項２から４のいずれか一項に記載の方法。
【請求項6】
前記人工ニューラルネットワーク（３０４）への入力として関連する鳥種のラベル付き画像を含むデータセットを配信することによって前記人工ニューラルネットワーク（３０４）を訓練することをさらに含む、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記少なくとも１つのビデオストリームからの画像に対してオブジェクト検出を実行し（４０３）、鳥として識別される各オブジェクトの周りに描画された境界ボックスによって前記画像に注釈付けすることをさらに含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
オブジェクト検出が、第２の人工ニューラルネットワーク（３０１）を使用して実行される、請求項７に記載の方法。
【請求項9】
最も高い決定された最終種確率を有する前記種を出力として提供すること（４０９）をさらに含む、請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記決定された種の前記鳥が風力発電基地設備によって負傷するリスクを低減するために、抑止または削減の手段を制御するために前記出力を使用することをさらに含む、請求項９に記載の方法。
【請求項11】
前記ドメイン知識統計モデルがベイジアン信念ネットワークであり、および／または１つもしくは複数の人工ニューラルネットワークが畳み込みニューラルネットワークである、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
飛行中の鳥の種を決定するためのシステムであって、少なくとも１つのビデオカメラ（１０４）と、
前記カメラ（１０４）のうちの少なくとも１つからビデオ画像を受信し、画像から鳥の種を認識するように訓練されるように構成された人工ニューラルネットワーク（３０４）と、
追加のパラメータの観察値を受信し、前記追加のパラメータの観察値が与えられた鳥のそれぞれの種を観察する確率を生成するように構成された、ドメイン知識統計モデルを有するドメイン知識モジュール（３０６）と、
前記人工ニューラルネットワーク（３０４）からの出力に基づく第１の種確率推定値と、前記ドメイン知識モジュール（３０６）からの出力に基づく第２の種確率推定値とを受信し、最終種確率推定値を生成するように構成された種決定モジュール（３０７）と、
を備える、システム。
【請求項13】
前記少なくとも１つのカメラ（１０４）から少なくとも１つのビデオストリームを受信し、前記少なくとも１つのビデオストリーム内で飛行中に捕捉された鳥に関する幾何学的特徴を抽出するように構成された幾何学的特徴抽出モジュール（３０３）と、－前記人工ニューラルネットワーク（３０４）から抽出された特徴および前記幾何学的特徴抽出モジュール（３０３）から抽出された幾何学的特徴を受信し、前記第１の種確率推定値を生成するように構成された浅層ニューラルネットワーク（３０５）と、
－前記幾何学的特徴抽出モジュール（３０３）から抽出された幾何学的特徴を追加のパラメータとして受信することを可能にするドメイン知識モジュール（３０６）の構成と、
のうちの少なくとも一方と、
をさらに備える、請求項１２に記載のシステム。
【請求項14】
前記幾何学的特徴抽出モジュールが、少なくとも１つのビデオストリームに関するデータを受信し、前記少なくとも１つのビデオストリームから画像シーケンス内の前記同じ鳥の識別に基づいて幾何学的特徴を抽出し、前記画像シーケンス内の画像間の前記識別された鳥の位置の変化に基づいて動きを推定するように構成される、請求項１３に記載のシステム。
【請求項15】
前記少なくとも１つのカメラが２つ以上のカメラであり、前記少なくとも１つのビデオストリームが２つ以上のビデオストリームであり、前記システムが、各カメラ（１０４）の既知の位置を受信し、少なくとも２つの同時ビデオストリームに関するデータを受信し、前記各ビデオストリームの各画像において識別された鳥の位置を決定し、前記各ビデオストリームの前記各画像における前記識別された鳥の位置を決定し、多視点幾何学的解析を使用して、前記各ビデオストリームの前記各画像における前記決定された位置から前記カメラ（１０４）の前記位置に対する前記識別された鳥の位置を表す３Ｄ座標を決定するように構成された多視点幾何学的解析モジュール（３０２）をさらに備え、
前記幾何学的特徴抽出モジュール（３０３）が、前記多視点幾何学的解析モジュール（３０２）から前記決定された３Ｄ座標を受信し、前記受信した３Ｄ座標に基づいて、位置、速度、加速度、垂直運動、飛行軌道、および羽ばたき周波数からなる群から選択された特徴を抽出するようにさらに構成される、請求項１３または１４に記載のシステム。
【請求項16】
前記幾何学的特徴抽出モジュール（３０３）が、前記少なくとも１つのビデオストリームからの一連の画像に対してフーリエ解析を実行し、鳥の羽ばたき周波数と一致する周波数間隔内にある支配的な周波数成分を識別することによって、羽ばたき周波数を決定するようにさらに構成される、請求項１３から１５のいずれか一項に記載のシステム。
【請求項17】
少なくとも１つのビデオカメラ（１０４）から入力を受信し、オブジェクト検出を実行し、鳥として識別された各オブジェクトの周りに境界ボックスを描画することによって画像に注釈付けするように構成された鳥検出および追跡モジュール（３０１）をさらに備える、請求項１２から１６のいずれか一項に記載のシステム。
【請求項18】
前記鳥検出および追跡モジュール（３０１）が、第２の人工ニューラルネットワークを含む、請求項１７に記載のシステム。
【請求項19】
前記種決定モジュール（３０７）が、前記決定された種の鳥が風力発電基地設備によって損傷を受けるリスクを低減するために、抑止または削減のプロセスを制御するために記憶、表示、または使用される出力として前記最終種確率推定値を配信するようにさらに構成される、請求項１２から１８のいずれか一項に記載のシステム。
【請求項20】
前記ドメイン知識統計モデルが、ベイジアン信念ネットワークであり、および／または、１つもしくは複数の人工ニューラルネットワークが畳み込みニューラルネットワークである、請求項１２から１９のいずれか一項に記載のシステム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、鳥の自動検出および種決定に関し、特に、画像認識および機械学習を使用した検出および種識別に関する。
【背景技術】
【0002】
世界が化石エネルギー源への依存を減らす方向に進むにつれて、風力は、重要な代替になりつつある技術の１つである。しかしながら、風力に関連する特定の欠点がある。これらの中には、生物多様性への影響があり、特に危険な風力発電基地は、鳥の集団に相当する。風力発電産業は、風力発電基地がどのように影響を及ぼすかを推定するために、風力発電基地を設置する前に鳥の個体群の調査を行わなければならない場合があり、また、設置された風力発電基地周辺の鳥の個体群パターンおよびその発生を監視することが必要になる場合がある。
【0003】
ほとんどの場合、自動監視のための現在のシステムは、十分に高品質のデータを提供せず、必要な機器および処理能力の点で高価であるため、鳥の観察は、手動で行われなければならない。明らかな理由から、手動による観察は非現実的であり、経時的な鳥の個体群の継続的な監視の一部とはなることができない。したがって、コンピュータビジョン、画像処理、ならびに統計処理およびモデリングに基づくより良好なシステムが必要とされている。
【0004】
業界のより具体的なニーズの中には、風力発電基地付近の鳥の種の検出、追跡および分類のためのシステムがある。そのようなシステムの利用可能性は、風力発電基地の建設前および建設後に環境影響評価（ＥＩＡ）を実行する有効性および効率を大幅に改善する。さらに、そのようなシステムは、風力発電基地のオペレータが、発電基地のレイアウトを調整し、現在または最近観察された鳥の種および挙動に基づいて動作を制御し、他の緩和措置を行うことによって、運転中または建設前に鳥が風力タービンに衝突するのを防ぐための緩和措置を実施するのを支援することができる。
【0005】
そのようなシステムを開発するためには、いくつかの技術的課題が克服されなければならない。そのような課題は、どのデータを取得するか、ならびにデータがどの程度正確または詳細である必要があるかを決定することを含む、高品質のデータ入力に対する要求に関連し得る。他の課題は、鳥の存在および行動を示す特徴を抽出するために入力データを処理するために必要な方法、抽出された特徴を正しく解釈するための統計モデル、適切な緩和措置を開始することなどに関する。
【発明の概要】
【0006】
本明細書は、風力タービンが一般に鳥類、特に鳥類の脆弱種または絶滅危惧種に相当するリスクのより良好な緩和を容易にするために、上述した多くの要件に対処する方法、装置、およびシステムを開示する。特に、本発明は、鳥を観察し、その存在を検出し、個々の鳥の種を決定し、統計を開発するという問題に対処する。そのような結果は、風力発電基地の建設をより良好に計画し、その動作を制御し、抑止および削減を開始するために、制御プロセスへの入力として記憶、表示、または配信されることができる。
【0007】
本発明の第１の態様によれば、飛行中の鳥の種を決定するための方法が提供される。本方法は、少なくとも１つのカメラを使用して飛行中の鳥の少なくとも１つのビデオストリームを捕捉することと、画像から鳥の種を認識するように訓練された人工ニューラルネットワークへの入力として少なくとも１つのビデオストリームから画像を配信することによって第１の種確率推定値を生成することと、少なくとも１つのビデオストリームまたは少なくとも１つの追加のデータソースから追加のパラメータを取得することと、ドメイン知識統計モデルを有するドメイン知識モジュールへの入力として取得した追加のパラメータを配信することによって第２の種確率推定値を生成することと、第１の種確率推定値と第２の種確率推定値とを組み合わせることによって最終種確率推定値を生成することと、を含む。ドメイン知識統計モデルは、影響図表、例えばベイジアン信念ネットワークであり得る。
【0008】
追加のパラメータは、ビデオストリームから導出されてもよく、または追加のセンサなどの他のデータソース、またはインターネットなどのネットワークを介してアクセス可能なサービスから取得されてもよい。
【0009】
本発明の実施形態は、幾何学的特徴抽出モジュールへの入力として少なくとも１つのビデオストリームから画像を配信することによって、飛行中の鳥に関する幾何学的特徴を抽出することをさらに含み得る。このプロセスからの出力は、以下の方法のうちの一方または両方において使用され得る。鳥が飛行中にどのように移動するかに関連し得る抽出された幾何学的特徴は、観察された幾何学的特徴と組み合わされた人工ニューラルネットワークによって抽出された特徴に基づいて鳥種確率を生成するように訓練された浅層ニューラルネットワークへの入力として、人工ニューラルネットワークからの抽出された特徴とともに配信されることによって、第１の種確率推定値の生成に寄与するために使用され得る。第１の種確率推定値は、最も可能性が高いと決定された１つの種、またはいくつかの種のそれぞれの確率であり得る。
【0010】
代わりに、または加えて、幾何学的抽出モジュールから抽出された幾何学的特徴は、ドメイン知識統計モデルに入力を配信することによって、第２の種確率推定値の生成に寄与し得る。換言すれば、抽出された幾何学的特徴は、取得された追加のパラメータの一部であり得る。
【0011】
本発明のいくつかの実施形態では、１つのカメラのみが存在してもよく、またはいくつかのカメラは、１つのビデオストリームのみが利用可能であるように、少なくとも部分的に他のカメラによってカバーされない視野を有する。次いで、抽出された幾何学的特徴は、１つのビデオストリームからの画像のシーケンス内の同じ鳥の識別と、画像のシーケンス内の画像間の識別された鳥の位置の変化に基づく動きの推定とに基づいて取得され得る。これは、カメラからの距離の推定値と、またいくつかのカメラを含む他の方法と組み合わせられ得る。
【0012】
少なくとも１つのカメラが２つ以上のカメラであり、少なくとも１つのビデオストリームが２つ以上のビデオストリームである実施形態では、抽出された幾何学的特徴は、各カメラの既知の位置、２つ以上の同時のビデオストリームからの画像の２つ以上のシーケンス内の同じ鳥の識別、それぞれのビデオストリームのそれぞれの画像内の識別された鳥の位置の決定、およびそれぞれのビデオストリームのそれぞれの画像内の決定された位置からのカメラの位置に対する識別された鳥の位置を表す３Ｄ座標を決定するためのマルチビュー幾何学的解析を使用して取得され得る。次いで、決定された３Ｄ座標が使用されて、位置、速度、加速度、垂直運動、飛行軌道、および羽ばたき周波数からなる群から選択された特徴を抽出し得る。
【0013】
いくつかの実施形態では、抽出された幾何学的特徴のうちの１つは、少なくとも１つのビデオストリームからの画像のシーケンスに対してフーリエ解析（例えば、高速フーリエ変換、ＦＦＴを使用する）を実行し、鳥の羽ばたき周波数と一致する周波数間隔内にある支配的な周波数成分を識別することによって決定される羽ばたき周波数である。
【0014】
人工ニューラルネットワークは、入力として関連する鳥種のラベル付き画像を含むデータセットを人工ニューラルネットワークに配信することによって訓練され得る。
【0015】
ビデオ画像内の鳥を検出および追跡するために、少なくとも１つのビデオストリームからの画像上のオブジェクト検出が実行され得て、画像は、鳥として識別される各オブジェクトの周りに描画された境界ボックスによって注釈付けされ得る。注釈はまた、あるフレームから次のフレームまでの個々の鳥の識別を表す識別を含み得る。この注釈は、人工ニューラルネットワークおよび幾何学的特徴抽出によって使用され得る。このオブジェクト検出は、第２の人工ニューラルネットワークを使用して行われる。
【0016】
最も高い決定された最終種確率を有すると決定された種は、出力として配信され得て、出力は、決定された種の鳥が風力発電基地設備によって負傷するリスクを低減するために、抑止または削減手段を制御するために使用され得る。代替的または追加的に、出力は、記憶または表示されてもよい。
【0017】
本発明の第２の態様では、飛行中の鳥の種を決定するためのシステムが提供される。そのようなシステムは、少なくとも１つのビデオカメラと、カメラ（１０４）のうちの少なくとも１つからビデオ画像を受信し、画像から鳥の種を認識するように訓練されるように構成された人工ニューラルネットワークと、追加のパラメータの観察値を受信し、追加のパラメータの観察値が与えられた鳥のそれぞれの種を観察する確率を生成するように構成された、ドメイン知識統計モデルを有するドメイン知識モジュールと、人工ニューラルネットワークからの出力に基づいて第１の種確率推定値を受信し、ドメイン知識モジュールからの出力に基づいて第２の種確率推定値を受信し、最終種確率推定値を生成するように構成された種決定モジュールと、を含み得る。ドメイン知識統計モデルは、影響図表、例えばベイジアン信念ネットワークであり得る。
【0018】
そのようなシステムのいくつかの実施形態はまた、少なくとも１つのカメラから少なくとも１つのビデオストリームを受信し、少なくとも１つのビデオストリーム内で飛行中に捕捉された鳥に関連する幾何学的特徴を抽出するように構成された幾何学的特徴抽出モジュールを有し得る。抽出された幾何学的特徴のさらなる使用に応じて、システムはまた、人工ニューラルネットワークから抽出された特徴および幾何学的特徴抽出モジュールから抽出された幾何学的特徴を受信し、第１の種確率推定値を生成するように構成された浅層ニューラルネットワークを含み得る。システムはまた、追加のパラメータとして幾何学的特徴抽出モジュールから抽出された幾何学的特徴を受信することを可能にするドメイン知識モジュールの構成を含み得る。換言すれば、抽出された幾何学的特徴は、第１の種確率推定値を生成するために人工ニューラルネットワークによって抽出された特徴、第２の種確率推定値を生成するためにドメイン知識モジュールによって抽出された特徴、またはその両方と組み合わせて使用され得る。
【0019】
システムのいくつかの実施形態はまた、各カメラの既知の位置を受信し、少なくとも２つの同時ビデオストリームに関連するデータを受信し、それぞれのビデオストリームのそれぞれの画像内で識別された鳥の位置を決定し、それぞれのビデオストリームのそれぞれの画像内の識別された鳥の位置を決定し、多視点幾何学的解析を使用して、それぞれのビデオストリームのそれぞれの画像内の決定された位置からカメラの位置に対する識別された鳥の位置を表す３Ｄ座標を決定するように構成された多視点幾何学的解析モジュールを含み得る。そのような多視点幾何学的解析モジュールは、幾何学的特徴モジュールの一部であってもよく、または推定位置を特徴抽出に利用可能にするために、特徴抽出に対するプリプロセッサとして動作してもよい。次いで、幾何学的特徴抽出モジュールは、多視点幾何学的解析モジュールから決定された３Ｄ座標を受信し、受信した３Ｄ座標に基づいて、位置、速度、加速度、垂直運動、飛行軌道、および羽ばたき周波数からなる群から選択された特徴を抽出するように構成され得る。追加のパラメータまたは変数は、本発明の範囲内で可能である。
【0020】
ビデオ画像内の鳥の検出および追跡を容易にするために、鳥検出および追跡モジュールが含まれてもよい。鳥検出および追跡モジュールは、少なくとも１つのビデオカメラから入力を受信し、オブジェクト検出を実行し、鳥として識別された各オブジェクトの周りに境界ボックスを描画することによって画像に注釈付けするように構成され得る。各カメラは、それ自体の検出および追跡装置を有してもよく、または１つのコンピュータが、いくつかのカメラからのビデオ画像に対して検出および追跡を実行してもよい。境界ボックスおよび１つのフレームから次のフレームまでの識別を含む提供された注釈は、通常、特徴抽出が実行される前にビデオデータに含まれる。鳥検出および追跡モジュールは、第２の人工ニューラルネットワークを含み得る。
【0021】
全ての態様および実施形態について、人工ニューラルネットワークのうちの１つまたは複数は、畳み込みニューラルネットワークであってもよい。
【0022】
本発明にかかるシステムは、決定された種の鳥が風力発電基地設備によって損傷を受けるリスクを低減するために、記憶、表示、または抑止もしくは削減のプロセスを制御するために使用される出力として最終種確率推定値を配信し得る。
【図面の簡単な説明】
【0023】
【図1】本発明にかかるシステムを利用する風力発電基地の図を示している。
【図2】鳥種決定の１つの方法のみに依存する従来技術のシステムの制限を示している。
【図3】本発明の例示的な実施形態に含まれるモジュールを示すブロック図である。
【図4】本発明の実施形態にかかるシステムを介して情報がどのように流れるかを示す信号フロー図である。
【図5】画像内で検出され、境界ボックスに囲まれた鳥の図である。
【図6】多視点幾何学に基づく位置決定の図である。
【図7】本発明の実施形態において使用され得るベイジアン信念ネットワークの例である。
【発明を実施するための形態】
【0024】
以下の実施形態の説明では、図面を参照し、同様の参照符号は、同じまたは対応する要素を示す。図面が、本質的に同一の要素の複数の例である複数の要素を含む場合、それらは全て、図面が煩雑になるのを避けるために参照符号が付されているわけではない。図面は必ずしも縮尺通りではない。代わりに、特定の特徴は、縮尺通りに、または幾分単純化されたもしくは概略的な方法で誇張されて示されている場合があり、特定の従来の要素は、これらの原理の理解に寄与しない詳細で図面を雑然とさせるのではなく、本発明の原理を例示する目的で除外されている場合がある。
【0025】
特に明記しない限り、異なる特徴または要素は、それらが以下の同じ実施形態の一部として一緒に記載されているか否かにかかわらず、互いに組み合わせられ得ることに留意されたい。例示的な実施形態における特徴または要素の組み合わせは、本発明の範囲を限定された実施形態のセットに限定するのではなく、本発明の理解を容易にするために行われ、実質的に同じ機能を有する代替的な要素がそれぞれの実施形態に示される限り、それらは交換可能であることが意図されているが、簡潔にするために、特徴の全ての可能な置換の完全な説明を開示する試みはなされていない。
【0026】
さらにまた、当業者は、本発明が、この詳細な説明に含まれる多くの詳細なしに実施され得ることを理解するであろう。逆に、いくつかの周知の構造または機能は、様々な実装の関連する説明を不必要に不明瞭にすることを避けるために、詳細に図示または説明されない場合がある。以下に提示される説明において使用される用語は、本発明の特定の特定の実装の詳細な説明と併せて使用されているとしても、その最も広い合理的な方法で解釈されることを意図している。
【0027】
いくつかの風車１０２を有する風力発電基地１００の代表を示す最初に図１を参照すると、そのいくつかにはカメラ１０４が設けられている。カメラ１０４のうちの少なくとも一部のカメラは、代わりに、建物、電波塔、または他の人工物もしくは自然物に取り付けられてもよい。カメラ１０４は、本発明にかかるいくつかの動作を実行し得るローカルコンピュータシステム１０６に接続され得る。ローカルコンピュータシステム１０６は、１つまたは複数のコンピュータを備え得る。いくつかの実施形態では、ローカルコンピュータシステム１０６は、単にカメラ１０４からデータを収集し、収集したデータを１つまたは複数のサーバ１０８などの遠隔地に転送する。遠隔地において受信されたデータは、後の処理のためにデータベース１１０に記憶され得て、またはサーバ１０８によって実行され、クラウドサービスとしてアクセス可能であり得る１つまたは複数の処理サービスへの入力として配信され得る。収集された情報や処理結果を処理、記憶、提供することは、本開示ではクラウドサービスと総称される。
【0028】
データがサーバ１０８によって処理された後、結果は、データベース１１０に記憶され得て、そこから、プロセスを制御するため、または決定を行うために表示または利用されるために、コンピュータ１１２によってアクセスされ得る。
【0029】
システム１００に含まれる様々な構成要素は、インターネットなどのコンピュータネットワーク１１４に接続され得る。
【0030】
カメラ１０４に加えて、他のセンサまたはデータソースもシステムに含まれるか、またはデータをシステムに提供し得る。そのような追加のセンサまたはデータソースは、図面には示されていないが、気温、降水量、風、気圧、および湿度などの気象データを提供するソースを含み得る。これらのソースは、システムの一部であるセンサであってもよく、またはシステムは、ネットワーク１１４を介してアクセス可能な外部ソースもしくはサービス、またはその両方からデータを取得するように構成されてもよい。
【0031】
ローカルコンピュータシステム１０６は、いくつかの実施形態では、結果をクラウドサービスに転送する前に、カメラ１０４によって収集された画像に対して動作を実行するように構成され得る。そのようなエッジコンピューティングは、以下にさらに詳細に説明するように、フィルタリング、ノイズ除去、正規化、および他の前処理、ならびにオブジェクト検出および追跡、立体写真測量、または３Ｄ再構成および特徴抽出の他の形態を含み得る。いくつかの実施形態では、種の識別でさえ、エッジコンピューティングとして実行されてもよく、すなわち、全ての処理がエッジにおいて実行されてもよいが、結果および統計が中央に記憶されてもよく、または他の方法で分散されてもよい。他の実施形態は、いかなるエッジコンピューティングも含まなくてもよい。代わりに、全ての処理は、クラウドサービスとして、または専用のデータセンタにおいて実行されてもよい。
【0032】
カメラ１０４は、データの有線または無線ストリーミングを使用してローカルコンピュータシステム１０６に接続される。いくつかの実施形態では、ローカルコンピュータシステム１０６は、複数のカメラからビデオストリームを受信する１つまたは複数のコンピュータを備える。他の実施形態では、各カメラ１０４は、そのカメラのみからデータを受信し、そのデータを個別のストリームとしてクラウドサービスに転送する専用のコンピュータモジュールを有する。そのような専用コンピュータモジュールは、それぞれのカメラ１０４にさらに統合され得る。
【0033】
ローカルコンピュータシステム１０６からクラウドサービスへの接続は、有線であっても無線であってもよい。沖合風力発電基地から陸上サーバ１０８に大量のビデオデータを提供することができるようにするために、光ファイバケーブルが使用され得る。
【0034】
上述したように、処理は、いくつかの処理が１つまたは複数のローカルコンピュータ１０６においてエッジコンピューティングとして実行される一方で、ネットワーク１１４に接続されたサーバ１０８によって実行されるクラウドベースのサービスとして追加の処理が実行されるように分散され得る。サーバ自体は１つまたは複数のコンピュータであってもよく、それらは単一の場所に配置されてもよく、またはいくつかの場所に分散されてもよい。システム自体は、クラウドベースの機械学習サービス（サービスとしての機械学習、すなわち、ＭＬａａＳ）などの特定の外部計算リソースを利用するように構成され得ることを理解されたい。本発明は、当然ながら、カメラおよびセンサが必要な情報を取得することができる場所に配置されなければならないことを除いて、機能のいかなる特定の分散にも限定されない。他の全ての機能は、１つの単一のデータセンタに配置されてもよく、全ての可能な順列でいくつかのマシンおよび／または場所に分散されてもよい。
【0035】
近年、コンピュータビジョンの分野（コンピュータが視覚世界を解釈し、理解することができるようにすることに関する研究分野）において、多くの進歩がある。この進歩は、主に、画像およびテキストのような「非構造化データ」によって特にうまく機能する人工ニューラルネットワークに基づく機械学習アルゴリズムの一種である深層学習の使用によってなされてきた。しかしながら、鳥を検出および識別するためにコンピュータビジョンを使用する現在の解決策は、比較的高解像度の画像を必要とする。そのような画像を取得するためには、高価な高品質のカメラが必要であり、鳥は、それらの画像が捕捉されるときにカメラに比較的近くなければならない。これは、風力発電基地全体をカバーするために非常に多くのカメラが必要であることを意味する。
【0036】
典型的な最先端システムの能力の例が図２に示されている。この例は、あくまでも概算にすぎず、鳥を検出するためには２０ピクセルが必要であり、鳥の種を決定するためには２０００ピクセルが必要であると仮定している。翼幅が約１メートルであり、４ｋピクセルの画像解像度、４８ｍｍのレンズ、および４／３インチのセンサを有するカメラを有する鳥２０１の場合、これは、鳥が約５２０メートルの距離において検出されることができることを意味するが、種が決定されるためには、鳥はカメラから５メートル以内の距離に到達しなければならない。既存のシステムの実際の仕様はこの例とは異なり得るが、これは、種を識別する能力が距離とともに劇的に低下する点、およびより高い解像度およびより高価な光学系を有するより多くのカメラを単に追加するための代替または追加の戦略を有する潜在的な利点を示す。
【0037】
したがって、鳥検出および種決定システムの能力は、カメラ解像度、焦点距離、センササイズ、および設置されたカメラの数、ならびに利用可能な帯域幅および計算能力の間のトレードオフであることが理解されよう。
【0038】
本発明は、コンピュータビジョンおよび深層学習が追加の戦略と組み合わされ得るという認識に基づいている。特に、本発明は、ドメイン知識統計モデル、例えばベイジアン信念ネットワーク（ＢＮＮ）などの影響図表を使用して、熟練した鳥類学者が鳥をどのように認識するかに基づく方法で知識および情報を活用する。以下に説明する例示的な実施形態は、ドメイン知識統計モデルとしてＢＮＮを利用するが、本発明は、この特定のタイプの統計的モデリングに限定されず、当該技術分野において知られている他の統計的モデルがドメイン知識統計モデルとして使用され得る。同様に、例示的な実施形態は、主に畳み込みニューラルネットワークを利用する。しかしながら、本発明は、特に検出および追跡ならびに種認識が単一のニューラルネットワークによって実行される場合には、畳み込みニューラルネットワークに限定されない。したがって、当業者は、本発明が他のタイプの人工ニューラルネットワークを使用して実装され得ることを理解するであろう。
【0039】
図３は、本発明にかかる例示的なシステムのモジュール構造を示している。システムは、複数のビデオカメラ１０４を含む。これらのカメラは、ビデオ入力を鳥検出および追跡モジュール３０１に配信する。いくつかの実施形態では、これらのモジュールは、例えば、鳥である可能性が高いオブジェクトを検出し、ビデオデータを渡す前にビデオデータに注釈付けするために、カメラ１０４のうちの１つまたはグループに接続された１つの専用コンピュータを有することによって、エッジコンピューティングサービスとして実装される。注釈は、少なくとも識別された鳥の周りに境界ボックスを描画することを含み、個々の鳥を追跡し、動きの解析を可能にするために、フレームごとに同じ鳥を識別するのに役立ち得る識別タグも含み得る。エッジコンピュータはまた、利用されないビデオ画像を送信するために帯域幅が使用されないように、可能性のある鳥が検出された場合にのみビデオデータをアップロードするように構成されてもよい。
【0040】
以下にさらに詳細に説明する鳥検出および追跡モジュール３０１は、多視点幾何学的解析モジュール３０２に接続され得る。多視点幾何学的解析モジュール３０２は、立体写真測量を使用して、鳥検出および追跡モジュール３０１から受信したビデオ入力データにおいて検出および追跡される鳥の３次元（３Ｄ）座標を推定するように構成され得る。立体写真測量およびエピポーラ幾何学および３Ｄ姿勢推定などの関連技術は当該技術分野において周知であり、本明細書では詳細に説明しないが、図６を参照して以下に簡単な説明を行う。幾何学的解析モジュールからの出力は、幾何学的特徴抽出モジュール３０３に提供される。このモジュールは、例えば鳥の高度、速度、飛行パターン、羽ばたき周波数、およびサイズなどの特徴を抽出する。これらの特徴のいくつかは、例えば高度および飛行パターンなど、幾何学的解析モジュール３０２によって決定された３Ｄ座標から直接導出され得る。他の特徴は、これを他の情報と組み合わせなければならない場合がある。サイズは、例えば、（例えば、カメラの３Ｄ座標および既知の位置に基づいて）カメラからの距離と、検出および追跡モジュール３０１によって生成された境界ボックスのサイズとに基づいて決定され得る。境界ボックスの生成については、以下にさらに詳細に説明する。いくつかの実施形態では、羽ばたき周波数は、３Ｄ座標の変動のみから決定され得る。他の実施形態では、例えばフーリエ解析を使用することによって、境界ボックス内のデータの画像解析が実行されてもよい。本発明は、この例で言及された特徴に限定されず、いくつかの実施形態では他の特徴も考慮され得る。
【0041】
鳥検出および追跡モジュール３０１からの注釈付きビデオデータはまた、畳み込みニューラルネットワーク（ＣＮＮ）３０４に提供される。このＣＮＮ３０４は、種が知られている鳥のビデオデータについて訓練され得る。ＣＮＮ３０４は、各境界ボックス（すなわち、いくつかの検出された鳥を含み得るビデオ画像内の各鳥）を別々の画像として解析する。訓練中、ＣＮＮ３０４は、特徴を識別することを学習する。これらの特徴は、ＣＮＮ３０４からの出力として配信される。
【0042】
幾何学的特徴抽出モジュール３０３によって検出された特徴をＣＮＮ３０４によって検出された特徴と組み合わせるために、これらは、結合モデルニューラルネットワーク３０５において結合される。これは、幾何学的特徴抽出モジュール３０３およびＣＮＮ３０４からの出力を入力とし、観察された鳥がそれぞれの種のものである確率の推定値である出力を生成する浅層ニューラルネットワーク（ＳＮＮ）３０５であってもよい。
【0043】
畳み込みニューラルネットワークに基づく特徴検出および幾何学的解析に基づく工学的特徴に加えて、種決定への第３の寄与が、ドメイン知識モジュール３０６によって提供される。このモジュールは、特にベイジアン信念ネットワーク（ＢＢＮ）において、影響図表の形態であり得る統計モデルを含む。以下にさらに詳細に説明されるこのモジュールは、鳥類学者が観察された鳥の種を決定する際に依拠し得る知識のタイプに基づく。知識ベースモジュール３０６において考慮すべき情報の正確な種類は、地理的位置、その位置に典型的な鳥の種などに応じて異なり得る。例えば、関連する種の鳥が風に対して異なる挙動を示す場合、現在の風の状況に関する情報は重要である。しかしながら、関連する全ての種の鳥が、風の状態が変化するのと同じように変化する（または全く変化しない）挙動を示す場合、現在の風の状況は予測を改善しない。
【0044】
知識ベースモジュール３０６への入力は、追加のセンサ３０２から収集され得る。これらのセンサは、既に述べたように、システムに直接接続されてもよく、またはこれらのセンサからのデータは、気象サービスなどのオンラインサービスから利用可能であってもよい。関連し得る他のデータは、時刻、時節、比較的最近の過去に観察された鳥（すなわち、システムによって行われた最近の種の決定の履歴）、および羽ばたき周波数、速度、高度、飛行パターンなどの幾何学的特徴抽出モジュールによって抽出された特徴を含む。知識ベースモジュール３０５からの出力は、観察された鳥の種が、システムが認識するように構成されたそれぞれの種のいずれかである確率のセットである。
【0045】
したがって、ドメイン知識モジュール３０６および結合モジュールＳＮＮ３０５からの出力は、最終種決定モジュール３０７によって結合されることができる。結合確率分布を決定するために、いくつかの方法が可能である。１つの可能性は、提供された確率の平均または加重平均を単に計算することである。別の可能性は、ベイジアン法を使用することである。各確率にどの程度の重みを与えるべきかは、条件に応じて決定されることができる。例えば、ビデオ入力の品質が低い（例えば、鳥がカメラから遠く離れているため、境界ボックスはピクセル数が少ない）場合、ニューラルネットワークからの確率の相対的な重みは低減され得て、ネットワークへの入力として使用される値のいくつかが推定値またはデフォルト値である場合、正確な測定値が利用できないため、ＢＢＮの相対的な重みが低減され得る。
【0046】
図３に示す例示的な実施形態に対する変形は、本発明の範囲および精神から逸脱することなく可能である。例えば、いくつかの実施形態は、単一のビデオカメラ１０４のみを含んでもよく、またはいくつかのカメラがシステム内の他のカメラによって完全には重ならない視野を有するため、複数のカメラのうちの１つのみによって捕捉された鳥の検出および種決定を実行することができる。同様に、いくつかの実施形態は、幾何学的特徴抽出モジュール３０３からの幾何学的特徴の入力なしに種決定を直接実行するためにＣＮＮ３０４を使用してもよい。そのような実施形態では、結合モデルニューラルネットワーク３０５がなくてもよく、抽出された幾何学的特徴は、ドメイン知識モジュール３０６にのみ配信される。換言すれば、幾何学的特徴は、いくつかの実施形態から完全に省略されてもよく、いくつかの実施形態では、それらはドメイン知識モジュール３０６によってのみ使用され、いくつかの実施形態では、結合モデルニューラルネットワーク３０５によってのみ使用され、いくつかの実施形態では、幾何学的特徴は両方によって使用される。
【0047】
ここで、本発明の実施形態、例えば図３のシステムにおける情報および関連するデータ処理のフローを示す図４を参照する。この図の列は、図３のモジュールにほぼ対応する。このフローの説明は、必要に応じて逐次的に行われるが、情報のフローは連続的であってもよく、処理は並列的であってもよいことに留意されたい。以下のモジュールによって処理され得る前に、必要に応じて１つのモジュールからの出力が利用可能でなければならないという事実を除いて、処理は、別様に、並列に、非同期に、または以下の説明とは異なる順序で実行され得る。
【0048】
図表の第１の列では、データが収集される。プロセス４０１は、例えば追加のセンサモジュール３０２、オンラインサービス、および内部クロックおよびテーブルから環境パラメータを取得する。プロセス４０２は、カメラ１０４からビデオを捕捉する。次いで、捕捉されたビデオは、プロセス４０３においてオブジェクト検出および追跡の対象となる。この処理は、エッジコンピュータ１０６によって実行されてもよく、以下にさらに詳細に説明される。このプロセスからの出力は、注釈付きビデオ画像である。特に、検出されたオブジェクト（鳥）は、境界ボックスによって囲まれ得る。オブジェクト検出および追跡プロセス４０３からの出力は、並列に動作し得る２つの異なるプロセスに転送される。プロセス４０４において、幾何学的特徴が抽出される。このプロセスは、モジュール３０２によって実行される多視点幾何学的解析およびモジュール３０３によって実行される幾何学的特徴抽出を表す。出力は、上述したように、高度、速度、羽ばたき周波数、飛行パターンなどの設計パラメータである。
【0049】
オブジェクト検出および追跡プロセス４０３からの入力を受信する他の分岐は、畳み込みニューラルネットワーク３０４によって実行される特徴抽出プロセス４０５である。
【0050】
プロセス４０４における幾何学的特徴の抽出の結果およびＣＮＮ特徴抽出プロセス４０５からの出力は、両者からの出力に基づいて結合モデルを生成するためのプロセス４０６への入力として供給される。このプロセスへの入力は、必ずしもプロセス４０４によって抽出された全ての特徴を含む必要はないことに留意されたい。本発明の実施形態では、プロセス４０６は、ＣＮＮおよび幾何学的特徴から確率を入力として受信し、修正確率分布を出力として配信する浅層ニューラルネットワーク３０５を利用する。既に述べたように、いくつかの実施形態は、知識ベースモジュール３０６にのみ幾何学的特徴を配信してもよく、その場合、ＣＮＮ３０４からの学習された特徴と幾何学的特徴抽出モジュール３０３からの人工特徴とを組み合わせる必要はなく、プロセス４０６は省略されることができる。
【0051】
プロセス４０１からの環境パラメータ、および任意に、プロセス４０４によって抽出された幾何学的特徴のいくつかは、ドメイン知識モジュール３０６によって実行され得る知識ベースプロセス４０７への入力として使用される。プロセス４０７のプロセス３０３からの幾何学的特徴を使用しないこと、いくつか、または全て使用することは、本発明の原理と一致する。プロセス４０６およびプロセス４０７によって使用される幾何学ベースの特徴は、プロセス４０４からの出力のサブセットであってもよく、これらのサブセットは、同一であってもよく、重なっていてもよく、または異なっていてもよい。
【0052】
図３を参照して上述したように、プロセス４０７は、ベイジアン信念ネットワークまたは条件付き確率のいくつかの同様の表現を利用するモジュールによって実行され得る。これについて、以下にさらに詳細に説明する。
【0053】
知識ベースプロセス４０７からの出力は、入力として配信されたパラメータを考慮して、観察された鳥がそれぞれの種に属する確率を表す確率分布である。換言すれば、この段階では、２つの確率分布が生成されている。一方は、ビデオ入力および幾何学的特徴からニューラルネットワークによって生成され、他方は、環境パラメータおよび幾何学的特徴に基づいてベイジアン信念ネットワークによって生成される。ここで、プロセス４０８において２つの分布を組み合わせ、プロセス４０９によって最終出力を生成することによって、種の決定を行うことができる。最終出力は、最も高い確率を有する種であってもよく、他の種について決定された確率に基づく信頼度の指標を含んでもよい。例えば、最も可能性の高い（したがって決定された種）が５５％の確率を有し、２番目に可能性の高い種が４０％の確率を有する場合、信頼度は、２つの最も可能性の高い種のそれぞれの確率が８０％および７％である場合よりも低くなり得る。信頼度はまた、ＢＢＮへの入力が正確且つ最近の測定値であるか、または不確実な推定値もしくはデフォルト値であるかによって調整され得る。２つのプロセスによって生成された確率分布が類似している場合、これは信頼度を同様に強化し得るが、２つのプロセスからの非常に異なる確率は、信頼度を低下させることがある。
【0054】
ここで図５を参照すると、鳥検出および追跡モジュール３０１によって実行される鳥検出および追跡がさらに詳細に説明される。既に説明したように、オブジェクト検出および追跡は、カメラ１０４に接続された１つまたは複数のコンピュータ１０６によるエッジコンピューティングによって実行されてもよく、その場合、鳥検出および追跡モジュール３０１は、コンピュータの処理ハードウェアと組み合わせて１つまたは複数のコンピュータ１０６にインストールされた適切なソフトウェアの組み合わせになる。しかしながら、例えばクラウドサービスとして、ネットワーク１１４上の１つまたは複数のコンピュータに実装された鳥検出および追跡モジュール３０１を用いて、オブジェクト検出および追跡を遠隔で実行することは、本発明の原理と一致する。しかしながら、これらのプロセスをエッジコンピューティングとして、すなわちビデオ画像を捕捉するカメラの近くで実行することには利点があり得る。例えば、フレームがビデオカメラ１０４によって捕捉された写真５０１全体のサイズを表す場合、この画像５０１は、関連情報のない多くの背景を含む。全ての背景は、一様な色になるように設定することによって圧縮されてもよく、背景が全体的に除外されて関連するオブジェクト、すなわち鳥を含む部分のみが送信されてもよい。これは、かなりの帯域幅を節約し得る。
【0055】
捕捉されたビデオ画像５０１は、検出された各鳥２０１の周囲に境界ボックスが挿入される点で注釈付けされる。各境界ボックスは、識別基準に関連付けられ得る。図５では、これは、参照符号２０１．０１、２０１．０２などとして示されている。オブジェクトを検出および追跡するためのプロセスは、ニューラルネットワーク（通常、上述したＣＮＮ３０４およびＳＮＮ３０５と同じニューラルネットワークではないが、これも可能である）を使用して実装され得る。オブジェクト検出およびオブジェクト追跡を目的としたニューラルネットワークの訓練は、当該技術分野において周知である。利用可能な解決策は、ＤａｒｋＮｅｔフレームワークにおいて記述されたアルゴリズムであるＹＯＬＯｖ３を含む。ＤａｒｋＮｅｔは、ＣおよびＣＵＤＡにおいて記述されたオープンソースのニューラルネットワークフレームワークである。ＹＯＬＯｖ３は、本発明にかかるシステムにおいて鳥の検出および追跡を実装するために使用され得る。上述したように、いくつかの実施形態では、オブジェクト検出および追跡は、種決定を実行するように訓練された同じニューラルネットワーク３０４によって実行されてもよく、これは、ニューラルネットワーク３０４が、鳥検出および追跡モジュール３０１も具現化する１つの大きなモデルを包含することを意味する。これらの実施形態では、オブジェクト検出および追跡モジュール３０１は、ニューラルネットワーク３０４の能力の一部として表され、多視点幾何学的解析モジュール３０２に提供される検出および追跡情報は、ニューラルネットワーク３０４からの出力として提供される。これらの実施形態では、ニューラルネットワークは、ＣＮＮよりも複雑なアーキテクチャを有してもよく、より正確には人工ニューラルネットワーク、またはＡＮＮ３０４と呼ばれることがある。本明細書に記載された例示的な実施形態は、別個の検出および追跡モジュール３０１およびＣＮＮ３０４を含むが、これは、検出および追跡モジュール３０１の機能を含むＡＮＮ３０４を有する実施形態を含むように一般化され得る。これは図面に明示的に示されていないが、当業者によって容易に理解されよう。
【0056】
各境界ボックスは、画像内の位置を有する。この情報は、それぞれのカメラ１０４の既知の位置および視野と同様に、画像内の位置は、特定の方向におけるカメラ１０４からの線を定義する。図６に示すように、多視点幾何学的解析モジュール３０２は、いくつかのカメラ１０４Ａ、１０４Ｂからの入力を使用し、いくつかの画像に存在するオブジェクトをそのような線の交点として識別し得る。図６において、鳥２０１は、カメラ１０４Ａによって捕捉された画像５０１Ａ内の６０６に位置し、カメラ１０４Ｂによって捕捉された画像５０１Ｂ内の位置６０７に位置する。鳥２０１の位置の３次元座標は、カメラ１０４Ａ、１０４Ｂの既知の位置と画像内の鳥２０１の位置６０６、６０７とに基づいて計算されることができる。カメラ１０４Ａ、１０４Ｂが互いの視野内にある場合、それらはそれぞれ位置６０３および６０４において互いの画像内に存在し、これが使用されて位置決定をさらに較正することができる。
【0057】
観察された鳥の決定された位置が使用されて、飛行高度などの変数またはパラメータを提供することができる。一定期間にわたる複数のフレームにわたって同じ鳥を追跡することにより、速度、加速度、垂直運動、およびこれらの組み合わせなどの追加の変数を決定することが可能になる。曲率などの飛行軌道からのより高度な幾何学的特徴がパラメータ化され、変数として使用されてもよい。
【0058】
ただ１つのカメラ１０４を有する実施形態、または重なり合わない視野のためにただ１つのカメラからの画像内で検出される鳥に関連する幾何学的特徴を抽出する機能を有する実施形態では、立体写真測量またはエピポーラ幾何学などの多視点幾何学解析を使用することは不可能である。したがって、カメラ１０４に対する検出された鳥２０１の位置は、ただ１つの画像内の境界ボックスの位置に基づき得るが、距離推定または距離探索のための他の方法と組み合わせられ得る。そのような方法は、写真、コンピュータビジョンおよび他の技術分野から知られており、追加のニューラルネットワークの使用を含み得る。羽ばたき周波数の検出は、いくつかのカメラと同じ方法で実行され得る。
【0059】
幾何学的特徴抽出は、多視点幾何学的解析モジュール３０２（１つのカメラのみの場合には多視点ではない）と幾何学的特徴抽出モジュール３０３の２つのモジュールによって実行されるものとして説明した。これは、これらのモジュールのうちの第１のモジュールが主に、３Ｄ位置を決定するために三角測量（または方向および距離推定）などの方法を使用する一方で、後者は、主に、決定された位置に基づいて特徴抽出を実行するためである。これは、２つのモジュールが別々のソフトウェアモジュールまたは異なるソフトウェアアプリケーションとして実装されてもよく、それらが異なるコンピュータ上で実行されてもよいことを意味する。しかしながら、２つのモジュールを単一のコンピュータに実装することは、同じソフトウェアパッケージ、ソフトウェアライブラリ、またはソフトウェアアプリケーションに含まれる機能であっても、本発明の原理と一致する。
【0060】
ここで図７を参照すると、ドメイン知識モジュール３０６がさらに詳細に説明される。ドメイン知識モジュール３０６は、訓練された鳥類学者が、彼または彼女が観察しているものを決定するときに依拠し得る様々なパラメータを入力として取る。既に上述したように、これがどのパラメータであるかは、どの鳥種がある地域で優勢であるか、どの環境パラメータが異なる方法で異なる鳥種に影響を及ぼすか、およびどのパラメータを確実に得ることができるかに応じて、システムごとに異なり得る。例えば、主にワシとカモメとを区別するように設計されたシステムでは、これらの種が同じ方法でそれらの挙動を適合させるパラメータは、２つの種において異なる挙動を引き起こすパラメータよりも関心が低い。例えば、特定のタイプの気象（例えば、気温または降水量に基づく）が、一方の種を巣作りしたままにし、他方の種を活発にする場合、関連する気象パラメータは、それぞれのタイプの鳥を観察する確率に影響を及ぼす。逆に、両方の種が年間を通して等しく活発である場合、季節は、確率を決定するための特に価値のあるパラメータではない。
【0061】
関連する統計にアクセスできる熟練した鳥類学者は、様々なパラメータが影響図表においてまたは何らかの他の統計モデルに関してどのように関連するかを表すことができる。この文脈に特に適している可能性があり、この例示的な実施形態において使用される影響図表のタイプは、ベイジアン信念ネットワーク（またはベイジアンネットワーク）である。ベイジアン信念ネットワークは、変数のセットおよびそれらの条件付き依存性を表すグラフィカルモデルである。ネットワークは、有向非巡回グラフであり、ノードは変数を表し、矢印（エッジ）は条件付き依存性を表す。ノードへの入力は、ノードの親からの出力として与えられる値のセットであり、出力は、ノードによって表される変数の確率または確率分布である。
【0062】
ベイジアン信念ネットワークの設計は、関係および条件付き確率に関する知識に基づいており、図７は、そのようなネットワークの背後にある原理を説明することを意図している。この例は例示を目的として開発されたものであり、必ずしも実際の環境で有用であろうネットワークを表すものではないことに留意されたい。例えば、色はその依存性のために変数として含まれるが、作業設備での色の観察は、様々な理由で実用的ではないと考えられるかもしれない。
【0063】
変数のいくつかは独立しており、直接観察されることしかできない。これらの変数は親を有さず、図７に示す例では、季節７０１、気温７０２、時刻７０３を含む。気温７０２は、実際には、季節７０１と時刻７０３との両方に条件付きで依存し得るが、気温が直接観察可能であり、観察された気温を考慮して特定の季節または時刻の確率を推定する必要も、既知の季節または時刻を考慮して気温の確率を推定する必要もないという事実は、これらの依存関係がモデルに含まれなくてもよい。
【0064】
観察された鳥が特定の種７０４である確率は、季節７０１、気温７０２、および時刻７０３に依存し得る。したがって、種７０４の条件付き確率表が確立されることができる。これは全ての変数が離散的（例えば、図７の例では、例えば夏（冬）、氷点上（氷点下）、および昼（夜）の値である真および偽、または夏、秋、冬、春などの限られた数の離散値のみをとることができる）である場合に最も簡単であるが、ベイジアン信念ネットワークが連続変数に対して作成されることもできることに留意されたい。これは当該技術分野において周知であり、これ以上詳細には説明しない。
【0065】
いくつかの追加の変数は、所与の種７０４に依存し得る。図７の例では、変数色７０５、飛行高度７０６、飛行パターン７０７、羽ばたき周波数７０８が含まれている。さらに、色７０５も季節に依存する。色と季節との間の依存性は、必ずしも沖合風力発電基地に有用なものではなく、一部の鳥が季節にわたって羽毛の色を変える山岳地帯で潜在的に有用であり得る。
【0066】
関連領域における鳥の一般的な種に関する統計、それらの移動パターン、様々な気象条件に対する行動応答、ならびに様々な種についての飛行パターン、高度および羽ばたき周波数に関する知識に基づいて、条件付き確率の表が構築されることができる。どの変数を含めるか、およびどの確率を与えるかは、おそらく、統計と、鳥類学者が提供することができる他の知識との組み合わせに基づく。変数が離散的であるか、連続的であるが離散化されることができる（例えば、閾値よりも上または下）か、またはモデル内で連続的であるべきかどうかについても同じことが当てはまる。
【0067】
以下の表は、例示のみを目的として含まれているが、条件表がどのように見えるかを示している。
【表1】
【表2】
【0068】
この例は、例示を目的として発明された確率のみを含み、特定の実際の環境を表すものではない。第１の表が例示するものは、季節、気温、および時刻の様々な可能な組み合わせを考えると、観察された鳥がワシまたはカモメのいずれかである確率は、示された通りであり得る。２番目の表は、観察された鳥が、それぞれ、それがカモメまたはワシであれば、２００メートルの高度の上または下を飛行しているかどうかの確率を与える。全ての変数について同様の表が確立されることができる。グラフおよび関連する条件付き確率表に基づいて、観察変数に基づいて未観察変数の確率を確立することが可能になる。このような条件付き確率は、両方向において確立されることができることに留意されたい。それらは、親変数の観察を所与として子ノードの確率を確立することに限定されない。例えば、上記の例では、鳥が２００メートルを超えて飛行していると観察された場合、鳥が２００メートル未満で観察された場合よりも、鳥がワシであり、カモメではない確率がはるかに高い。どれだけの可能性が高いかは、観察された鳥がそもそもワシである確率に依存し、これもやはりネットワーク内の他の変数に依存する。
【0069】
したがって、できるだけ多くの変数の観察を与えると、観察されない変数の確率は、それに応じて変更されることができる。観察変数が与えられた更新確率は、事後確率と呼ばれることがある。
【0070】
ベイジアン信念ネットワークは、ドメイン知識モジュール３０６にプログラムされ、幾何学的特徴抽出モジュール３０３（例えば、高度、羽ばたき周波数、飛行パターン）および追加のセンサモジュール３０２（例えば、気温、季節、時刻）から受信した観察変数に基づいて推定確率を自動的に生成することができる。ドメイン知識モジュール３０６は、単一のコンピュータ上、いくつかのコンピュータ上、またはクラウドサービス上でソフトウェアとハードウェアの組み合わせとして実装されてもよい。
【0071】
既に述べたように、どの変数またはパラメータを正確に含めるかは、特定のシステムが設置されているエリア内の条件に依存し得る。
【0072】
種検出が、おそらくは信頼度およびドメイン知識モジュール３０６によって使用される変数のいくつかなどの追加のデータと組み合わせて、所与の観察が特定の種に属する鳥であると決定した後、出力は、データベース１１０に記憶され得る。集約データが使用されて統計を作成し得て、現在、履歴、および統計情報の全ては、ネットワーク１１４に接続されてデータベース１１０へのアクセスを許可されているユーザコンピュータ１１２にアクセス可能にされ得る。
【0073】
データは、将来の動作を計画するために、また、例えば風力発電基地の音声抑止または一時的な停止を起動することによって抑止および削減を開始するために使用され得る。そのような手段は、データベースにおいて利用可能な情報にアクセスする人によって手動で起動されてもよく、またはコンピュータ１１２は、データベース１１０において利用可能なデータを継続的に監視するか、またはシステムから直接受信し、所定の条件に基づいて抑止または削減手段を自動的に起動するように構成され得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】