特許 6921095 航空画像を収集及び分析するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6921095

(24)【登録日】2021年7月29日

(45)【発行日】2021年8月25日

(54)【発明の名称】航空画像を収集及び分析するための方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210812BHJP

   G06T 7/90 20170101ALI20210812BHJP

   G01N 21/27 20060101ALI20210812BHJP

【ＦＩ】

   G06T7/00 640

   G06T7/90 C

   G01N21/27 A

【請求項の数】8

【全頁数】25

(21)【出願番号】特願2018-543475(P2018-543475)

(86)(22)【出願日】2016年11月8日

(65)【公表番号】特表2018-534714(P2018-534714A)

(43)【公表日】2018年11月22日

(86)【国際出願番号】IL2016051205

(87)【国際公開番号】WO2017077543

(87)【国際公開日】20170511

【審査請求日】2019年10月24日

(31)【優先権主張番号】62/252,513

(32)【優先日】2015年11月8日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】518158329

【氏名又は名称】エーグロウイング リミテッド

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】ドゥヴィール，イラ

(72)【発明者】

【氏名】ラヴィノヴィッツ バツ，ニッツアン

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０００−１９４８３３（ＪＰ，Ａ）

【文献】 特開２０１２−０８８８７６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／００−２１／０１

Ｇ０１Ｎ ２１／１７−２１／６１

Ｇ０６Ｔ １／００− １／４０

Ｇ０６Ｔ ３／００− ９／４０

(57)【特許請求の範囲】

【請求項1】

マルチスペクトル画像の収集及び分析のための方法であって、前記方法が、
予め選択された解像度で予め定義された調査パラメータに従ってマルチスペクトル航空画像を取り込むことと、
取り込まれた画像の大規模ブロブパーティショニングを用いて事前分析をリアルタイム又はほぼリアルタイムで自動的に行うことと、
前記予め定義された調査パラメータに従って前記分析した画像データにおけるイレギュラリティを検出し、これに対応する出力を提供することと、
前記検出されたイレギュラリティにＧＰＳデータを関連付けることと、
前記出力から、第２段階の前記予め選択された解像度よりも高い解像度での画像収集及び小規模ブロブパーティショニングを用いる分析を行うかどうかを判断することと、
前記関連付けられたＧＰＳデータを用いて前記予め選択された解像度よりも高い解像度で前記検出されたイレギュラリティのうちの少なくとも１つのさらなるマルチスペクトル画像を取り込むように画像収集デバイスを誘導することと、
前記さらなるマルチスペクトル画像の小規模ブロブパーティショニングを用いる分析をリアルタイム又はほぼリアルタイムで行うことと、
を含む、方法。

【請求項2】

前記判断するステップが自動的に行われる、請求項１に記載の方法。

【請求項3】

前記誘導するステップが前記画像収集デバイスを自動的に誘導することを含む、請求項１に記載の方法。

【請求項4】

前記判断するステップが、
予め定義された範囲のパラメータ値と関連付けられるピクセルが１に設定され、残りのピクセルが０に設定される、画像のバイナリマップを構築することと、
前記バイナリマップをラスタ走査し、走査プロセスに沿ってブロブを見つけ出し、それらにランニング指数を割り当てることにより、前記バイナリマップと関連付けられるすべての可能なブロブの組を構築することと、
ａ．所与の単一ブロブに属するいくつかのピクセルが予め定義された閾値パラメータ超えるとき、又は
ｂ．すべて所与の半径（ブロブの組の重心からの）に限られるブロブの組に属するいくつかのピクセルが予め定義された閾値を超えるとき、
にブロブのグループをイレギュラリティとして定義することと、
を含む、請求項１に記載の方法。

【請求項5】

前記検出されたイレギュラリティのうちの少なくとも１つの形態を既知のオブジェクトの形態と比較することをさらに含む、請求項１に記載の方法。

【請求項6】

前記マルチスペクトル航空画像が、可視画像及びＮＩＲ画像を含む群から選択される少なくとも２つの画像を含む、請求項１〜５のいずれか一項に記載の方法。

【請求項7】

マルチスペクトル画像の収集及び分析のためのシステムであって、前記システムが、
少なくとも１つのマルチスペクトル画像取り込みデバイスと、
前記画像取り込みデバイスに結合されるプロセッサであって、
前記プロセッサは、予め定義された調査パラメータに従ってブロブパーティショニングにより取り込まれた画像を自動的に分析し、前記予め定義された調査パラメータ内に入る各画像上のイレギュラリティに対応する出力を提供するべく、ブロブパーティショニングモジュールを含む画像処理モジュールを動作させ、
前記ブロブパーティショニングモジュールは、大規模ブロブパーティショニングと小規模ブロブパーティショニングとの両方を実施することができる、プロセッサと、
前記イレギュラリティの地理的場所の表示を提供するように適合及び構成された地理的場所インジケータと、
を備え、
前記プロセッサが、前記出力に応答して前記イレギュラリティの画像を取り込むべく前記少なくとも１つのマルチスペクトル画像取り込みデバイスのうちの１つを前記表示された地理的場所へ誘導するかどうかを自動的に判断するように構成される、システム。

【請求項8】

前記プロセッサが、データ及び命令を交換するためにユーザと双方向通信する、請求項７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０１５年１１月８日に出願された米国特許仮出願第６２／２５２，５１３号の利益を主張するものである。

【0002】

本発明は、一般に、画像収集及び分析に関し、特に、航空画像の収集及び分析に関する。

【背景技術】

【0003】

航空リモートセンシングが過去１０年間で急速に発展しつつある。リモートセンシングは、様々な目的で、中でも農業及び他の環境の監視目的で用いられている。ドローン、ホバークラフト、及び多くの他のタイプのＵＡＶなどの軽量航空機の急速な発展により、超軽量及び軽量の有人航空機の手頃なコストに加えて、画像収集を含むリモートセンシングが発展しており、小規模組織及び農業従事者でも入手可能になっている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

航空機は、遠隔的に制御及び管理することができる。都市又は畑の上を飛んでいるときに、リモートセンシングの目的で画像を取り込むことができる。自動操縦装置を搭載した有人航空機と同様に、無人航空機の飛行ミッションは、ミッションの目的に応じて特定のルートを予め計画することができ、また、必要であればリアルタイムで変更することができる。

【0005】

他の目的のための多くのリモートセンシングツールと同様の、農業リモートセンシング測定のための主な媒体であるＮＤＶＩ（正規化差植生指数）ソフトウェア及びツールは、組織及び農業従事者が環境及び畑／作物の状態を監視するのを支援する。ＮＤＶＩ植生指数（正規化差植生指数）の測度は、典型的には必ずしもそうである必要はないが宇宙プラットフォーム又は航空機からの、リモートセンシング測定値を分析し、観察対象が生きている緑の植生を含むか否かを評価するのに用いることができる。ＮＤＶＩ及び他のマルチスペクトル及びハイパースペクトル分析ツールは、適正に用いられ、適切な画像収集機器に基づくときには、例えば、海中のクラゲの群れ及びイワシの群の存在、浅い地中の軍事的地雷、地上の金属物体の存在、植生のストレス及び活力、乾燥／湿潤領域、森林の健康及び病気、害虫及び家畜の存在などを示すことができる。ＮＤＶＩ分析及び同様のツールの結果的に得られる出力は、単純なグラフィカルインジケータ（例えば、ビットマップ画像）として提示することができる。

【0006】

しかしながら、ＮＤＶＩ及びすべての他のツールの分析は、普通はオフラインで（ドローン／飛行機／衛星による収集の後に）行われ、様々な色で画像の異なる領域を提示する結果的に得られる画像又は画像の組（正射写真）が、著しい遅延後に農業従事者／ユーザに提示される。加えて、一般人／農業従事者は、普通は専門家ではなく、ビットマップに何が提示されているかを十分に理解するのに必要な分析を行うことはできないため、一般人／農業従事者にとって、これらのツールの出力画像は大した価値はない。さらに、分析結果に基づくほとんどの場合に、ユーザは、表示されたイレギュラリティの正体を突き止めるためにより近くで見るべく畑に出向く。画像を分析し、レポートを農業従事者に送信するサービスが存在するが、普通は、これらのレポートは、医師がＸ線写真を分析するのと類似した方法で画像を調べる人間の専門家によって作成され、このような分析は、画像の収集の１日又は数日後に送信され、前述のように、多くの場合に、さらなるより詳細な探究を必要とする。

【0007】

リモートセンシングの典型的な農業による使用は、このような需要の良い例として役立つことができる。農業従事者が、彼の作物におけるコナジラミ又はアブラムシの存在を適時に検出するべく調査をすることを望み、コナジラミとアブラムシとの両方のサイズがほんの１ｍｍ〜２ｍｍであり得る場合、それらを探して作物を隅から隅までスクリーニングすることはできないことは明らかである。しかしながら、畑の特定の領域にいくつかの識別されない害虫又は病気がついている可能性があることを示す、より低解像度の画像（視覚画像、ハイパースペクトル画像、又はマルチスペクトル画像）での明らかな変化が存在することがある。残念なことに、最良の衛星画像（ＧｅｏＥｙｅ−１など）は、１ピクセル／４０ｃｍであり、これはこのような害虫の早期検出に十分であるにはほど遠い。例えば、地面よりも３メートル上から２５ｍｍレンズで撮る航空ドローンイメージングは、１．６×２．４ｍ（３．８４平方メートル）の長方形領域をカバーすることができる。１０メガピクセルのカメラを用いると、これは２６ピクセル／ｃｍ^２を意味する。このような詳細画像は、コナジラミの識別を可能にし得るが、このような解像度での数百エーカーの画像の取得は、過大なリソースを必要とすることになり、プロセスを実用的ではないものにするであろう。

【0008】

したがって、より良好なリモートセンシングを可能にするだけでなく、多くの場合に遅延したアドバイスは役に立たない可能性があり、遅い分析のダメージは不可逆的であり得るので、エンドユーザ（組織／農業従事者）に即時に又は短時間で分析結果及びアドバイスを提供することを可能にする、自動分析のためのインテリジェントな方法及び決定支援システムが必要とされている。

【0009】

未知の形状のオブジェクトの収集された画像を分析し、オブジェクトを識別するべくそれらをデータベースにある形状と比較するための既知の画像処理コンピュータプログラムが存在する。ディープニューラルネットワーク手法に基づく画像分類方法は、この目的のために最も一般的に用いられる方法の１つである。

【0010】

コンピュータ画像分析では、デジタル画像における周囲領域に比べて輝度又は色などの特性が異なる領域を検出するためのブロブ検出方法が知られている。平たく言えば、ブロブは、いくつかの特性が一定又はほぼ一定の画像の領域であり、ブロブにおけるすべての点は、ある意味互いに類似していると考えることができる。ブロブパーティショニング方法論では、各デジタル画像は、グレーレベルの輝度、つまり２５６レベルの輝度からなる。画像における各ピクセルは、これらのレベルのうちの１つと関連付けられる。ブロブパーティショニング手法は、同じ輝度の隣接するピクセルをグループ化し、それらをディスプレイ上で個別のオブジェクト又はブロブとして表す。つまり、各ブロブのサイズは、含まれるピクセルの数によって定められる。

【課題を解決するための手段】

【0011】

本発明によれば、好ましくはリアルタイム又はほぼリアルタイムでのマルチスペクトル画像データの収集及び分析を可能にする自動分析のための方法及び決定支援システムが提供される。特に、方法は、最初の画像収集と、最初の画像におけるイレギュラリティを調べるために選択された基準に従って、第２の画像収集及び数十ピクセル／ブロブをグループ化する小規模のブロブパーティショニングに進むかどうかを判断するべく、最初の分析のための数百から最高数千ピクセル／ブロブの大きさの大規模ブロブパーティショニングとを含む。

【0012】

本発明によれば、マルチスペクトル画像を収集及び分析するための方法であって、予め選択された解像度で予め定義された調査パラメータに従って事前マルチスペクトル航空画像を取り込むことと、取り込まれた画像の大規模ブロブパーティショニングを用いて現場で又は畑内の場所で事前分析をリアルタイム又はほぼリアルタイムで自動的に行うことと、予め定義された調査パラメータ内のイレギュラリティを検出し、これに対応する出力を提供することと、事前分析の出力から、第２段階の予め選択された解像度よりも高い解像度での画像収集及び分析を行うかどうかを判断することを含む、方法が提供される。

【0013】

本発明の実施形態によれば、方法は、検出されたイレギュラリティにＧＰＳデータを関連付けることと、関連付けられたＧＰＳデータを用いて予め選択された解像度よりも高い解像度で検出されたイレギュラリティのうちの少なくとも１つのさらなる画像を取り込むようにリアルタイム又はほぼリアルタイムで画像収集デバイスを誘導することと、取り込まれた画像の小規模ブロブパーティショニングを用いる分析をリアルタイム又はほぼリアルタイムで行うことをさらに含む。

【0014】

本発明によれば、マルチスペクトル画像を収集及び分析するためのシステムであって、少なくとも１つのマルチスペクトル画像取り込みデバイスと、画像取り込みデバイスに結合されるプロセッサと、プロセッサは、予め定義された調査パラメータに従ってブロブパーティショニングにより取り込まれた画像を自動的に分析し、前記予め定義された調査パラメータ内に入る各画像上のイレギュラリティに対応する出力を提供するべく、ブロブパーティショニングモジュールを含む画像処理モジュールを動作させ、ブロブパーティショニングモジュールは、大規模ブロブパーティショニングと小規模ブロブパーティショニングとの両方を実施することができ、イレギュラリティの地理的場所の表示を提供するように適合及び構成された地理的場所インジケータと、を含み、プロセッサが、出力に応答してイレギュラリティの画像を取り込むべくマルチスペクトル画像取り込みデバイスのうちの１つを表示された地理的場所へ誘導するかどうかを自動的に判断するように構成される、システムがさらに提供される。

【0015】

本発明によれば、予め定義されたオブジェクトパラメータに従って高解像度マルチスペクトル画像を分析することと、予め定義されたオブジェクトパラメータ内のパラメータが見つかるときに、ブロブを識別するべくこのようなパラメータを含む画像上でブロブパーティショニングを行うことと、予め定義されたオブジェクトパラメータを有するオブジェクトを識別するべくこれらのブロブに限られるオブジェクトを予め定義された参照パラメータと比較することとを含む、分析及びオブジェクト識別のための方法も提供される。

【0016】

本発明は、図面と併せて行われる以下の詳細な説明からさらに理解及び認識されるであろう。

【図面の簡単な説明】

【0017】

【図1a】本発明の一実施形態に係る畑の可視画像及びＮＩＲ画像を得るべく適切なフィルタを用いる大農園の上を飛んでいるＵＡＶからの画像ショットの対を示す図である。

【図1b】可視画像上に重ね合わされた選択されたＮＤＶＩ値と関連付けられる図１ａのピクセルを示す図である。

【図1c】このピクセルの組から導出された図１ｂからの３４個の最大ブロブの組を示す図である。

【図2a】所与の大農園の可視画像及びＮＩＲ画像の対を示す図である。

【図2b】図２ａの画像から導出された選択された範囲のＮＤＶＩ値と関連付けられるピクセルを示す図である。

【図2c】図２ｂからの最高密度値を有する多角形と関連付けられる点の組を示す図である。

【図3a】本発明の一実施形態に係る検出が宣言される方法を例示する図である。

【図3b】本発明の一実施形態に係る検出が宣言される方法を例示する図である。

【図4a】その色が白色に「近い」距離に限られる小さいブロブの抽出から結果的に得られる検出されたＳＭＳ害虫の組を示す図である。

【図4b】その色が白色に「近い」距離に限られる小さいブロブの抽出から結果的に得られる検出されたＳＭＳ害虫の組を示す図である。

【図5a】ＳＭＳ害虫の存在のフラグをたてる高い相関を例示する図である。

【図5b】ＳＭＳ害虫の存在のフラグをたてる高い相関を例示する図である。

【図6a】相関測度が予め設計された閾値を超えるときに害虫検出のフラグをたてることを例示する図である。

【図6b】相関測度が予め設計された閾値を超えるときに害虫検出のフラグをたてることを例示する図である。

【図6c】相関測度が予め設計された閾値を超えるときに害虫検出のフラグをたてることを例示する図である。

【図7a】オリジナルのＣＭＳ害虫を例示する図である。

【図7b】オリジナルの害虫の最大の３つのブロブのピクセルの投影から結果的に得られるバイナリ画像を例示する図である。

【図7c】処理後の害虫の結果的に得られる境界を例示する図である。

【図8a】ブロブパーティションＣＭＳベースの検出方法を例示する図である。

【図8b】ブロブパーティションＣＭＳベースの検出方法を例示する図である。

【図9a】ミカンハモグリガの典型的な潜孔を示す図である。

【図9b】図９ａの画像の境界を示す図である。

【図9c】図９ａの画像の計算されたコーナー点を示す図である。

【図10】枯れと関連付けられる植物の色を強くするための色操作の使用を例示する図である。

【図11】本発明の実施形態に従って構築され、動作可能な、システムのブロック図である。

【発明を実施するための形態】

【0018】

本発明は、より良好なリモートセンシングを提供し、且つエンドユーザ（組織／農業従事者）に強化された画像収集、分析結果、及びアドバイスを提供することになる、画像収集及び分析のための発明的な方法及び決定支援システムを提供する。特に、方法は、マルチスペクトル画像の１段階又は２段階の収集及び分析を可能にし、少なくとも第１段階の広い領域にわたる低解像度での分析がリアルタイム又はほぼリアルタイムで行われる。この分析の結果から、第２段階のより小さい領域上の高解像度のマルチスペクトル画像の収集及び分析に進むか否かの判断がなされる。分析は、その場所で、すなわち、各画像又はフレームの収集時に地理的表示を後付けして行うことができ、又は分析は、より広い領域のジオタグ付きの正射写真に対して行うことができる。本発明の目的上、各収集された画像のほぼリアルタイムでの分析、特に、その場所での（畑での）分析は、収集セッション後に数秒を超えないこと（５秒以下）を意味し、数１０ヘクタール以上の畑をカバーするジオタグ付きの正射写真の作成及び分析に関しては、ほぼリアルタイムとは、収集後数分（１５分以下）を意味する。プロセッサを搭載していることにより、マルチスペクトル画像を取り込む航空機は、リアルタイムでの個々の取り込まれたフレームの分析及び関心ある領域の識別を可能にする。現在の発明によれば、取り込まれた画像が無線ネットワーク経由で地上の処理プラットフォーム（例えば、コンピュータ）に伝送される場合にも、このようなほぼリアルタイム又はリアルタイムでの分析を行うことが可能である。

【0019】

本発明によれば、イレギュラリティ又は関心領域を識別するために、大規模のブロブパーティショニングを用いて低解像度画像の分析が行われる。第２段階の分析は、例えば害虫の検出及び識別のために、高解像度画像の収集結果を分析するときに小規模のブロブパーティショニングを使用する。特に、本発明は、可視範囲内の画像だけでなくマルチスペクトルデータの収集及び分析を使用する。本発明の一部の実施形態によれば、第２段階の収集及び分析を行うかどうかについての判断は自動的になされる。

【0020】

このような自動決定支援システムは、収集プロセスの管理を支援しながら、収集された画像を分析することになり、事前に取り込まれた画像の最初の分析に基づいて、選択された地理的領域のより詳細な画像の収集を可能にし、したがって、より広い領域にわたって収集することが実際的ではない解像度での調査される領域内の関心ある点の検査を可能にする。他のタスクのなかで、強化された画像収集は、特定の所望の範囲のＮＤＶＩ値又は他の測度などの、調査の依頼人により前もって定義される特定の必要とされる特性を有する領域を正確に線引きすることに関係する。

【0021】

本発明は、さらなる効率的な視覚及びハイパースペクトル又はマルチスペクトル自動航空画像収集及び分析のための方法を提供することにより、所望のＮＤＶＩ又は他の植生指数に基づく値又は任意の他の選択されたパラメータと関連付けられる領域を自動的に線引きするための効率的なソリューションを提供する。これは、その関連付けられた値が必要とされるＮＤＶＩ又は他のパラメータ範囲に限られるブロブの正確な検出を分析中に可能にするのに十分な解像度での「低解像度収集」と称する画像の収集により達成される。これは、典型的には、何らかの種類の（例えば、最適なＮＤＶＩ値よりも平均して１５％〜２０％低いＮＤＶＩ値で顕在化される場合の）ストレス状態にある植生を示すブロブを自動的に探索することにより行われる。ストレスは、乾燥、活力、害虫、及び病気などの植生状態及び健康に関する様々な問題を示すこともできる。

【0022】

画像収集デバイスは、広いスペクトルバンドにわたるマルチスペクトル画像を収集するように構成することができることが分かるであろう。代替的に又は加えて、画像収集デバイスは、調査で捜されているオブジェクトに応じて選択される複数の予め選択されたバンド又は色チャンネルにおける画像を収集するように構成することができる。いずれの場合にも、マルチスペクトル画像の分析は、調査で捜されているオブジェクトに応じて選択される収集された色チャンネルを用いて行われることになる。

【0023】

好ましくは、低解像度収集デバイスは、好ましくはＮＡＤＩＲジンバルを用いる、低歪みカメラを用いる。これは、垂直ビューを固定することを可能にし、したがって、カメラの角度に起因する歪みを最小にする。代替的に、他の適切な低解像度収集デバイスを用いることができる。好ましくは、画像収集デバイスは、自動デジタル校正装置を搭載し、したがって、色チャンネルの複雑な位置合わせの必要なしに、個々に取り込まれた画像の処理を可能にし、画像のモーフィング及び歪み補正などの前処理の必要性を回避する。適切な画像取り込み装置の例は、２０１５年１１月２６日に提出された出願人の係属中の米国特許出願ＵＳＳＮ６２／２６０，２７２で説明される。

【0024】

現在の発明は、その独特な画像収集及びファイルタイプにより、収集された画像の速い、さらにはリアルタイムでの分析を可能にする。マルチスペクトル画像収集は、好ましくは、ファイルタイプ（ＪＰＥＧ、ＲＡＷ、ＴＩＦＦ、又は任意の他のイメージファイルフォーマットなど）を用いて行われるべきであり、一方、マルチスペクトルチャンネル（青色、緑色、赤色、レッドエッジ、ＮＩＲ、これらのすべて又はいくつか）は、複数のチャンネル画像としてサイドバイサイド（ｓｉｄｅ ｂｙ ｓｉｄｅ）で保存される。これは、別々の領域へ分割される単一のセンサを用いる（上記引用の画像取り込みの特許出願で説明される場合の）複数のレンズの使用を通じて最も効率よく行うことができるが、本発明はこれらの例に限定されない。このようなカメラ（複数のレンズと単一のセンサを有する）を用いて、異なるＲＧＢ（赤色・緑色・青色）チャンネル及びＮＩＲ（近赤外）チャンネルを別々に保存することができる。したがって、例えば、赤色チャンネルをセンサの左側で取り込むことができ、一方、近赤外チャンネルをセンサの右側で取り込むことができる。また、異なる範囲の緑色及び青色をセンサの異なる領域上で取り込むことができ、一方、すべてのチャンネルが、その後、単一のファイルに保存される。このような取り込みプロセスは、単一のセンサと共に２つのレンズを用いて最高６つの示差的なチャンネルの簡単な分割を可能にする。どの側が、赤色、緑色、及び青色のシェードの最高３つのチャンネルを最適に含んでもよい。このようなファイル構造は、簡単且つ迅速なチャンネル分離を可能にする。異なる赤色タイプ（６５０ｎｍ又は７１０ｎｍ）が８５０ｎｍチャンネルとサイドバイサイドに保存され、同じ様態で異なる狭い青色チャンネル及び緑色チャンネルを有することができるので、チャンネルをＲＧＢに分割することと、画像を２つに分けること（２つのレンズが用いられる場合）は、すべての異なるチャンネルを生み出すことになる。このようなファイルフォーマットは、ＪＰＧ、ＢＭＰ、ＰＮＧ、ＴＩＦＦなどの任意の標準ＲＧＢフォーマットファイルとすることができ、一方、これらのファイルは、３つのバンド又は３つのバンドとガンマチャンネルに制限される。現在用いられている重要な植生指数は、関心あるブロブを正確に検出するのに２つよりも多いバンドを用いるので（赤色バンド、青色バンド、及びＮＩＲバンドを使用する、ＡＲＶＩ（Ａｔｍｏｓｐｈｅｒｉｃａｌｌｙ Ｒｅｓｉｓｔａｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ）など）、このようなサイドバイサイドの分離は、関心あるブロブの正しい識別のために極めて重要である。

【0025】

本発明は、デジタル画像における周囲領域に比べて輝度又は色などの特性が異なる領域を検出するのにブロブ検出方法を用いる。このような領域又はイレギュラリティは、さらなる調査を必要とする問題が起こりうる領域を示す。調査される領域内の予め定義されたパラメータと関連付けられるブロブの検出は、画像収集ミッションの第２のステップである高解像度ステップをガイドする。このようなガイダンスは、これらのブロブにＧＰＳデータを関連付け、ほぼリアルタイム、リアルタイム、又は処理後のいずれかで関心ある点（イレギュラリティ）のさらなる非常に詳細な（より高解像度の）画像をとるべくＵＡＶ／ドローン／ホバークラフト／超軽量機などに搭載された画像取り込みデバイスを誘導することにより達成することができる。このような詳細な画像の収集は、同じ航空機及び取り込みデバイスにより、又は別の取り込みデバイスを用いる同じ航空機により、又はより高解像度の取り込みデバイスを有する別の航空機により、又は取り込みデバイスを有する地上車両により行うことができる。

【0026】

非常に詳細な画像（ＶＩＳ画像、ハイパースペクトル画像、又はマルチスペクトル画像）が収集されると、収集された画像を分析し、即時に又は短期間に又は長期間に、農業従事者がどのような措置を講じる必要があるかを決めるのを支援することが可能である。この第２段階の分析はまた、ブロブパーティショニング、典型的には小規模ブロブパーティショニングを用いて行われる。

【0027】

言い換えれば、現在の発明は、リモートセンシング装置を用いる全自動決定支援システムをもたらすために、最初に低解像度画像、次に高解像度画像の自動分析を適用する。低解像度画像は、高い高度及び／又は低解像度カメラ及び／又は短い焦点距離の航空画像の収集の結果であり得る。より低い解像度は、処理するべきより少ないデータを提供するため、低解像度走査は、はるかにより速く、より効率的である。低高度収集、及び／又は高解像度カメラ、及び／又は長焦点距離（ズーム）、又はさらには地上からの画像の収集を通じて、高解像度の詳細画像を収集することができる。

【0028】

本発明によれば、画像取り込みデバイスを効率よく使用し、リアルタイム又はほぼリアルタイムで可能な環境／畑の速い実用的な走査を行いながら、高解像度画像において関心あるブロブ上に「焦点を合わせ」、必要とされる調査に応じてそれらの性質をできる限り正確に識別するために、画像収集プロセスの各ステップに関して異なる方法が用いられる。農業に向けて、例えば、現在の発明は、害虫、病気、及び植生活性度、及び作物の他の態様を識別するべく自動体系学を実施する。

【0029】

特定の調査の目的に応じて、関心あるブロブが前もって定義されることを明らかにすることは重要である。例えば、地雷が見つけ出されるべき場合、適切な分析（ＮＤＶＩ又は任意の他の植生指数に基づくメトリック又は予め選択されたパラメータを用いる）後のそれらのグラフィック表現を表すピクセルは、関心ピクセルとして定義されることになる。例えば、コットンキャノピーが見つけ出されるべき場合、白いコットンボールを表すピクセルが関心ピクセル及びブロブとして定義されることになる。

【0030】

現在の発明に係る１つの可能な実施形態の第１のステップは、やや低解像度のマルチスペクトル画像の航空収集を含む。このような低解像度は、１ピクセル／１００平方センチメートル（１０ｃｍ×１０ｃｍ）、又はさらには１ピクセル／平方メートル、又は必要とされる調査のためのリモートセンシングに適切であることが年月をかけて分かってきた衛星により取り込まれる解像度と類似した任意の他の解像度とすることもできる。言い換えれば、例えば、農業調査がコットンキャノピーに焦点を当てる場合、画像収集は、焦点距離５０ｍｍのカメラを用いて数百メートルの高度から行うことができることが既に知られている（種々のＵＳ ＤＯＡ公報に記載されている）。このような場合、４スペクトルバンド（赤色、緑色、青色、及び近赤外）のマルチスペクトルカメラは、ＮＤＶＩ提示に必要とされる画像を収集できることが知られている。

【0031】

現在の発明に係るこの農業リモートセンシング例の第２のステップは、ＮＤＶＩ（及び／又はこれに基づくツールのうちの１つ）に従う分析を含む。分析の結果として得られる値は、１つの色の綿で覆われた領域と別の色の綿で覆われていない領域とを提示する画像として提示することができる。同じ原理は、乾燥した又は不健全な植生又は雑草が１つの色に「ペイント」されることになり、健全な植生が別の色に「ペイント」されて現れることになる、ほとんどの農業調査にあてはまる。これらの着色されたピクセルは、分析の結果をユーザフレンドリーな様態で単に表しているだけであり、自動分析は、これらのピクセルに付加される値を用いる。

【0032】

現在の発明に係る第３のステップは、画像分析中に予め定義されたパラメータ、例えば、ＮＤＶＩ値（又は任意の他の農業植生指数メトリック）と関連付けられるピクセルをブロブへ自動集約することを含む。このようなブロブの作成は、必要とされる調査に依存する一様量子化動作を伴う。いくつかの調査（コナジラミの検出など）では、非常に少ないピクセルを無視することはできず、小さいブロブでさえも有意であり、一方、他の調査（ツナ群の検出など）では、大きいブロブだけが重要である。ＮＤＶＩは実際には合成画像である、すなわち、各ピクセルは、任意のこのようなブロブ作成の前に、赤色チャンネル及びＮＩＲチャンネルからとられた計算値を有するため、ＮＤＶＩマップは、収集された画像の重要な特徴を最適に保つ連続するブロブの作成を可能にする進歩したノイズ除去動作を受けてよい。

【0033】

この事前分析は、例えば、イレギュラリティが観察される場合、且つそれらの程度又はサイズが予め選択された閾値を超える場合に、システムプロセッサによって、第２段階の画像収集及び分析が必要とされるかどうかを判断するのに用いられる。必要とされない場合、調査が終了し、この情報が調査の依頼人に送信される。他方では、第２段階が正当と判断される場合、プロセッサは、後述するように自動的に進むか、又は調査の依頼人に通知し、手動命令を待つ。代替的に、第２の収集ステップに進むかどうかを判定するために、ブロブパーティショニング後の画像の分析を手動で（人間により視覚的に）達成することができる。

【0034】

自動収集及び分析の場合、第４のステップは、調査の焦点が当てられるイレギュラリティ（害虫がはびこっている畑、漏水など）を表示しているブロブへのＧＰＳデータの付加を含む。ＧＰＳデータは、様々な方法で画像に付加することができる。いくつかのカメラは、それらと一体化された組み込みＧＰＳセンサを有する。他の場合には、カメラは、（オペレーティングスマートフォン又はカメラに取り付けられたオートパイロット／処理プラットフォームからのＧＰＳデータを付加することができる、ＳｏｎｙのＱＸ１のレンズのようなカメラ及びＯｌｙｍｐｕｓ Ａｉｒ Ａ０１カメラと同様に）オペレーティングスマートフォンにより無線で作動される。より良好な精度に起因する現在の発明に係る好ましいソリューションは、普通は航空機の頂部上に位置決めされ、オートパイロットに又は直接カメラに（カメラにより支持される場合）接続される、航空機のＧＰＳセンサからのＧＰＳデータを付加することである。画像の取り込み時間とＧＰＳデータの取り込み時間との同期は、航空機が速く移動することができるので重要である。各フレームは、これと関連付けられるＧＰＳデータを有することができ、又はより広い領域の正射写真にジオタグをつけることができることが分かるであろう。

【0035】

別の最も正確な方法は、収集された画像の正射写真を作成し、これを正確なマップにあてはめることによる。このようなマッチングは、遅く、やや重い計算を必要とするが、画像を収集しながら、レンズの歪み、衛星信号の欠如、及び航空機の角度に起因するバイアス及び偏差を克服する。

【0036】

現在の発明に係る第５のステップは、関心あるブロブによって表される領域の非常に詳細な画像の収集の自動準備を含む。好ましくはマルチスペクトル又はハイパースペクトルカメラである画像収集デバイス（例えば、エアボーン又はグラウンドボーンカメラ）は、これらのブロブの地理的場所へ、これらの場所の詳細画像を取り込むべく送り届られる。非常に詳細な画像を収集するためのいくつかの可能な方法は、作物よりも数フィート／メートル上方を飛ぶ又は最も近い可能な距離から画像を収集するべく地上ロボット及び／又は人間を送り届ける、低高度ホバークラフト又はヘリコプターを用いることである。別の方法は、より長いズームの焦点距離を有するカメラを用いることである。しかしながら、この方法は、ハイパースペクトル又はマルチスペクトルの非常に詳細な画像が必要とされる場合、かなりコストが高くつき、非能率的である。このような関心あるブロブの綿密調査は、例えば、前述のように１０メガピクセルでの０．８ｍ×１．２ｍの矩形の画像の収集を意味することもあるので、ＧＰＳデータの精度は重要である。

【0037】

いくつかの調査（ツナ群の検出など）では、単一の画像でのブロブのＧＰＳデータは十分ではない場合があり、ブロブのＧＰＳデータ変化のさらなる分析により、いくつかの連続する画像に基づいて軌道が予測される必要があることに留意されたい。処理及び収集時間と共に計算されるこのような分析は、システムが、静的ではない必要とされる関心あるブロブを追跡し、このようなブロブの詳細画像をそれらの予測される場所で収集することを可能にするであろう。

【0038】

現在の発明に係る第６のステップは、調査結果の自動体系学及び識別を含む。体系学又は体系生物学は、本発明の目的上、とりわけ、生物の分類、それらの識別のためのキー、及びそれらの分布のデータを説明及び提供することを含む。このステップはやや複雑なステップであり、それ自体がいくつかのサブステップを含む。任意の様態で取り込まれた高解像度画像を分析するために、前述の自動画像収集方法及びシステムによってだけでなく、後述するオブジェクトの自動体系学及び識別を使用できることが分かるであろう。

【0039】

第１に、収集された画像が調査タイプに従って分析される。例えば、緑色の葉の上の緑色アブラムシを識別することは、収集された画像が視覚スペクトルのみの場合、コナジラミを識別することよりもさらに難しい。しかしながら、緑色アブラムシは近赤外スペクトルをクロロフィルが反射するのと同じようには反射しないので、緑色の葉の上の緑色アブラムシのＮＩＲ画像の追加は、アブラムシの緑色の擬態を除去する。

【0040】

第２に、疑わしいオブジェクト（アブラムシ、緑色アブラムシ、蠕虫、バッタなど）の存在が見つかると、典型的には各フラグメントの質量中心を中心とした、数ピクセルの長さの矩形正方形を描くことにより、このようなオブジェクトを含んでいる画像のフラグメントが抽出される。好ましくは、各フラグメントは、より良好な分類及び識別を可能にするために、最小限の背景「ノイズ」を伴う単一のオブジェクトを含む。疑わしいオブジェクトは、好ましくは、調査のタイプに従って参照害虫データベースを含むリモートサーバを用いることにより最初に分類される。例えば農業調査の害虫／病気を分類するためのより好ましい方法は、場所、作物の種類、及びその特定のタイプの作物に該当する可能性のある害虫／病気のバンクへの参照を含むことになる。しかしながら、収集プラットフォームにおいて自動体系学を行うことも可能である。この場合、収集プラットフォームは、これをプラットフォームの処理メモリに存在する参照害虫画像の小さいデータセットと比較することにより害虫を識別することができる内部プログラムを搭載することになる。第７のステップは、疑わしい（それらが前のステップで分類された場合には分類された）オブジェクトの識別を含む。

【0041】

このステップでのオブジェクトを識別するための基礎にあるアイデアは、収集された画像の、限られたサイズのサブ画像への適正なパーティショニングは、収集された詳細な画像に疑わしいオブジェクトが存在するならば、高い確率で、確実に、それらは限られたサイズのサブ画像内で見つかる可能性が高いということと関連付けられる。

【0042】

限られたサイズのサブ画像のサイズは、調査タイプに従って設定され、画像サイズを調査の焦点が当てられるオブジェクトを表すと思われるブロブの画像サイズにマッチさせる。ブロブを含むこのような限られたサイズのサブ画像の組が準備されると、このサブ画像の組内のオブジェクトを識別するプロセスは、これらのサブ画像の組を識別のためにリモートサーバに送信することによって、又は地域識別コードをアクティブ化することによりスポット上のオブジェクトを識別することによって達成することができる。

【0043】

種々の画像パーティショニング方法及び対応する検出方法がこの発明で詳述される。一般に、単純な構造を有するオブジェクトと複雑な構造を有するオブジェクトとの２つのタイプのオブジェクトが探索される。いくつかの特定の画像パーティションに基づく方法は、各タイプに合わせられる。

【0044】

現在の発明に係る第８のステップは、分析の結果を受取人（調査を依頼した人又はサービスプロバイダ）に送信することを含む。結果は、調査結果の可能な識別を含み、それらはまた、例えば、（調査に応じて）害虫を駆除する又は火を消す又は古い地雷の周りに垣を巡らし、警告の掲示をするために講じられる必要がある措置に関するアドバイスを含んでよい。結果は、例えば、処理プラットフォームがセルラー接続（例えば、３Ｇ又はＬＴＥ）を搭載するスマートフォンであるときに、クラウド（インターネット）から又はさらには航空機から画像の小さいフラグメントと共に送信することができる。現在の発明のいくつかの可能な実施形態では、画像のフラクション、場所、及びユーザへのアドバイスは、マルチメディアメッセージングサービス（ＭＭＳ）を通じて、又はＭｅｓｓｅｎｇｅｒ、ＷｈａｔｓＡｐｐ、Ｓｋｙｐｅなどのインスタントメッセージングサービス（ＩＭ）を通じて送信される。

【0045】

例示的な農業調査のステップのうちのいくつかの詳細な説明
特定のＮＤＶＩ（及び同様のメトリクス）値と関連付けられる領域の識別
好ましいプロセスは以下のステップを含むことになる：
１．効率的な範囲（好ましくは数十メートル〜数百メートル及びさらにそれ以上の高度）からの視覚及び／又はハイパースペクトル又はマルチスペクトル画像を取り込むステップ。
２．所望の調査（例えば、乾燥、植生活性度、害虫、病気など）に従って画像を分析するステップ。
３．大規模ブロブパーティショニングによってより詳細な検査を要求する、画像における関心ある領域を定義するステップ。
４．関心ある領域に正確なＧＰＳデータを付加するステップ。
５．画像取り込みデバイスを有する同じ航空機又は別の航空機をこれらの関心ある領域へ自動的に誘導し、これを調査タイプに従って詳細な（より高解像度の）画像をとるべく誘導するステップ。典型的には、高解像度収集を行うべくプラットフォームを誘導するための基準は、最適なＮＤＶＩ値よりも１０％又は２０％低いＮＤＶＩ値と関連付けられるブロブの存在、すなわち、「植生ストレス」の表示であろう。

【0046】

ここでの全体的な目的は、航空機から、比較的低解像度の画像から、特定のＮＤＶＩ（又はいくつかの他のツール）値と関連付けられる関心ある領域を自動的に検出することである。このような関心ある領域は、典型的には、植生のストレス／活力、湿った領域、水で覆われた領域、成熟した作物、植生活性度などを示してよい。ＮＤＶＩ（又は他の植生指数に基づく）マップは実際には合成画像であるため、これは、極めて大量のノイズを伴う。したがって、前処理ノイズ除去動作が行われてよい。この発明では、好ましくは、ＮＤＶＩ画像のキー特徴を保つ、進歩したノイズ除去アルゴリズムが使用される。（例えば、「Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ Ｆｉｌｔｅｒ」，Ｃｈａｍｂｏｌｌｅ ２００４参照）。代替的に、任意の他の適切なノイズ除去アルゴリズムを使用することができる。

【0047】

このような領域の自動検出は、好ましくはピクセルの構成可能な数及び密度に基づいて必要とされる調査（例えば、ＮＤＶＩ又はＥＶＩ又は任意の同様のメトリック）のために正常値からの偏差を示すブロブピクセルへ「集約」することにより実行することができる。

【0048】

ＮＤＶＩメトリックを用いるプロセスの１つの可能な実施形態は以下の通りである：
計算のための入力は、マルチスペクトルエアボーンカメラによって収集される場合の−１から１の範囲のＮＤＶＩ値のマトリクスである。式ＮＤＶＩ＝（ＮＩＲ−ＶＩＳ＿ＲＥＤ）／（ＮＩＲ＋ＶＩＳ＿ＲＥＤ）を用いて、ＮＤＶＩ値を生成するのにＮＩＲバンド及びＶＩＳ＿ＲＥＤバンドが用いられる。このようなＮＩＲバンド及びＶＩＳ＿ＲＥＤバンドは、２０ｎｍ〜７０ｎｍの狭いバンドとすることもでき、バンドの中心は６５０ｎｍ及び８５０ｎｍである。

【0049】

本発明の１つのこのような可能な実施形態では、ＮＤＶＩマップに進歩したノイズ除去動作を適用した後で、或る範囲の必要とされるＮＤＶＩ値を有するブロブが探索される。必要とされるＮＤＶＩ値と関連付けられるピクセルが、以下の３つのステップ手順を通じてブロブを定義するべく「集約される」：
ステップ１．関心ある領域が、既知の範囲のＮＤＶＩ値又は他の予め定義されたパラメータ値と関連付けられると仮定すると、アルゴリズムは、該当する範囲のＮＤＶＩ値と関連付けられる該当するピクセルが１に設定され、残りのピクセルが０に設定される、ＮＤＶＩ画像のバイナリマップを構築する。
ステップ２．ステップ１から導出されたバイナリマップと関連付けられるすべての可能なブロブ（クラスタ）の組が、例えば、クラスタラベリングアルゴリズム又は別の適切なアルゴリズムを用いて構築される。このアルゴリズムは、「Ｈｏｓｈｅｎ Ｋｏｐｅｌｍａｎ」クラスタラベリングアルゴリズム（１９７５）に基づいている。基本的に、この発明で用いられるＨｏｓｈｅｎ Ｋｏｐｅｌｍａｎアルゴリズムは、バイナリマップをラスタ走査し、ワンパスで、走査プロセスに沿ってすべてのブロブを見つけ出し、それらにランニング指数を割り当てる。
隣接するピクセルのしらみつぶし探索のための様々な方法などのブロブの構築のための他の技術も使用することができるが、それらは計算負荷を招く。
ステップ３．ブロブの所与のグループをイレギュラリティ又は「必要とされるＮＤＶＩ値に属する関心ある領域」として定義するための決定基準は、以下のように定義される：
１．所与の単一ブロブに属するピクセルの数が所与の閾値パラメータを超える場合。
２．すべて所与の半径（上記のブロブの組の重心からの）に限られるブロブの組に属するピクセルの数が所与の閾値を超える。

【0050】

図１ａ、図１ｂ、及び図１ｃは、手順がどのように働くかを例示する。図１ａは、畑の可視画像及びＮＩＲ画像を得るべく適切なフィルタを用いる大農園の上を飛んでいるＵＡＶからの画像ショットの対を示す。図１ｂは、可視画像上に重ね合わされた−０．３〜−０．１の範囲（赤色に着色される）（関心ある予め定義された範囲）のＮＤＶＩ値と関連付けられるピクセルを示す。これらのピクセルは、畑における湿った領域をマークする。図１ｃは、前述のアルゴリズムを用いて自動的に計算されたこのピクセルの組から導出された３４個の最大ブロブの組を示す（各ブロブは、ランダムに着色され、２００を超えるいくつかのピクセルを含む）。

【0051】

この発明の別の実施形態では、予め選択されたＮＤＶＩ値と関連付けられる領域の検出は、以下の手順により実行される。

【0052】

必要とされるＮＤＶＩ値と関連付けられるピクセルのバイナリマップは、等しい面積を有する多角形へパーティショニングされ、各多角形の密度が計算される。次いで、大きい密度を有する多角形が、必要とされるＮＤＶＩ値と関連付けられる領域の中心を表すために選出される。

【0053】

図２ａ、図２ｂ、及び図２ｃは、この手順がどのように働くかを示す。図２ａは、所与の大農園の可視画像及びＮＩＲ画像の対を示す。図２ｂは、図２ａの画像から導出された０．７５〜０．９の範囲（関心ある予め定義された範囲）のＮＤＶＩ値と関連付けられるピクセルを示す。図２ｃは、最高密度値を有する多角形（実際にはサイズ４ｘ４のブロック）と関連付けられる点の組（白色でマークされる）を示す。左の画像の赤色点は、そのＮＤＶＩ値が０．７５から０．９までの間の範囲であるすべてのピクセルの組を描画する。

【0054】

前述の方法は、図１１に概略的に例示されるマルチスペクトル画像を収集及び分析するためのシステム１０により実施することができる。システム１０は、少なくとも１つのマルチスペクトル画像取り込みデバイス１２と、画像取り込みデバイス１２に結合されるプロセッサ１４を含む。好ましくは、プロセッサは、データ及び命令を交換するためにユーザ２０と双方向通信する。プロセッサは、予め定義された調査パラメータに従ってブロブパーティショニングにより取り込まれた画像を自動的に分析し、予め定義された調査パラメータ内に入る各画像上のイレギュラリティに対応する出力を提供するべく、ブロブパーティショニングモジュール１８を含む画像処理モジュール１６を動作させる。前述のように、この出力は、プロセッサ１４が用いることができ、又はユーザ２０に提供することができる。ブロブパーティショニングモジュール１８は、大規模ブロブパーティショニングと小規模ブロブパーティショニングとの両方を実施することができる。システムは、イレギュラリティの地理的場所の表示を提供するように適合及び構成された地理的場所インジケータ２２をさらに含む。地理的場所インジケータ２２は、この実施形態では別個のユニットとして例示されるが、本発明の他の実施形態によれば、これは画像取り込みデバイス１２の一部とすることができる。プロセッサはさらに、出力に応答してイレギュラリティの画像を取り込むべくマルチスペクトル画像取り込みデバイスのうちの１つを表示された地理的場所へ誘導するかどうかを自動的に判断するように構成される。

【0055】

本発明はまた、マルチスペクトル画像におけるオブジェクトを識別するための方法に関する。方法は、予め定義されたオブジェクトパラメータに従って高解像度マルチスペクトル画像を分析することと、予め定義されたオブジェクトパラメータ内のパラメータが見つかるときに、ブロブを識別するべくこのようなパラメータを含む画像上でブロブパーティショニングを行うことを含む。これらのブロブに限られるオブジェクトが、予め定義されたオブジェクトパラメータを有するオブジェクトを識別するべく予め定義された参照パラメータと比較される。一部の実施形態によれば、オブジェクトは、比較する前に分類される。この方法のいくつかの限定ではない使用例は、以下の通りである。

【0056】

単純な形態のオブジェクトの自動識別
識別のために選択されるいくつかのオブジェクトは、典型的には小さい染みの形状の、非常に単純な形態（形状及び構造）（以下、「ＳＭＳ」、すなわち、単純な形態学的構造（Ｓｉｍｐｌｅ Ｍｏｒｐｈｏｌｏｇｙ Ｓｔｒｕｃｔｕｒｅ）を有するという特性をもつ。ＳＭＳオブジェクトを検出するための１つの有用な手法は、非常に小さいブロブの組（１〜１５ピクセル）を計算し、各小さいブロブの周りの小さい画像を抽出し、この画像における選択されたオブジェクトを探索することを伴う。典型的には、このような探索は、小さいブロブと参照パターンとの間の内部パターンマッチングプログラムをアクティブ化することを含むことになる。

【0057】

ＳＭＳオブジェクトを検出する１つの重要な実装は、小さい害虫の検出への適用である。害虫のＳＭＳ画像は、典型的に「小さい染み」の形状を呈し、その境界は、楕円形状により近似することができる。

【0058】

感染した領域内のＳＭＳ害虫のコンピュータ化された識別は、以下の観察上の仮定に基づいている：
ａ．ＳＭＳの画像は、幾何学的に有意であり、楕円状の形状をもち、普通は、ＳＭＳ害虫のその周囲に対する色のコントラストは非常にシャープである。
ｂ．感染していない植物との比較における高濃度の「染み」、すなわちＳＭＳ害虫を含む感染した植物の視覚形態学。したがって、感染した植物は、適切な画像処理ツールでの「染みの濃度」の比較により、感染していない植物から区別することもできる。
現在の発明は、前述の観察上の仮定を効果的なアルゴリズムに変換することに基づくＳＭＳ害虫の自動検出のための方法を採用する。

【0059】

これらの観察の１つのアルゴリズムの実施形態では、収集された画像（可視画像又はＮＩＲ画像又はＮＤＶＩ画像、又はＣＭＹＫ（シアン、マゼンタ、イエロー、及びブラック）のような任意の種類のチャンネル分離における）は、最初にグレーレベル画像に変換され、次いで、グレーレベルのブロブベースのパーティショニングを受ける。画質に応じて、効果的なブロブパーティショニングは、典型的には、一様量子化動作を伴うことになる。グレーレベルの３２値は、普通はほとんどの用途に十分である。グレーレベル値のそれぞれのバイナリマップは、前述のＨｏｓｈｅｎ−Ｋｏｐｅｌｍａｎクラスタラベリングアルゴリズムに従属し、最終的に、すべてのグレーレベル値からなるすべての可能なブロブの組が作成され、記憶される。

【0060】

この計算されたブロブの組から、ピクセルの小さい閾値数よりも小さいサイズを有する（典型的には、限定はされないが１０ピクセルよりも小さいサイズを有する）小さいブロブだけが抽出される。

【0061】

画像は、いくつかの等しいサイズのサブ画像にパーティショニングされる。各サブ画像において、前述の方法によって作成された小さいブロブの数がカウントされる。サブ画像の所与のパーセンテージの小さいブロブの数が予め定義された校正された閾値を超える場合に、ＳＭＳ害虫の存在の検出が宣言される。このような閾値設定は、農薬散布ポリシーにマッチするように設定することができる。

【0062】

この発明の別のアルゴリズムの実施形態では、画像は、グレーレベル画像に変換され、前述したのと同じ方法を用いてグレーレベルのブロブパーティショニングを受ける。パーティショニングされたブロブの組から、非常に小さいサイズを有する（典型的には、限定はされないが１０ピクセル未満のサイズを有する）ブロブが選択され、それらの重心が登録される。

【0063】

各登録された重心の周りのすべてのサブ画像（典型的には、限定はされないが５０ピクセル未満に設定された半径長さを有する）が抽出され、相関演算子又は予めプログラムされたディープニューラルネットワーク分類器関数を用いて、メモリに存在する、典型的には楕円形の形状を有するＳＭＳ害虫の参照画像と比較される。相関が予め設定された閾値を超える及び／又は分類成功のフラグが立てられる場合に、検出が宣言される。図３ａ及び図３ｂは、この方法がどのように働くかを実証する。２つのグレーレベル画像は、感染した綿畑を描画する。図３ａの画像上に重ね合わされた赤色点の組は、前述の方法により計算される場合のそのピクセルの数が５０未満であるすべての小さいブロブの重心を示す。この例では、グレーレベル画像は３２レベルに低減されている。これらの点のそれぞれの周りの１６ｘ１６ピクセルサイズの小さい画像が抽出され、相関演算子を用いて参照画像に対してマッチングがなされる。図３ｂの画像上に重ね合わされた赤色点の組は、相関演算子が見つかるすべてのサブ画像を示す。

【0064】

分析の別のアルゴリズムの実施形態では、小さいブロブの選択は、照会されるＳＭＳ害虫を典型的に特徴付ける基準色に近い距離内にある色を有するブロブの組に限られる。現在の発明では、２つの所与のＲＧＢ色間の距離は、以下のように定義される：
Ｘ１＝｛Ｒ１，Ｇ１，Ｂ１｝及びＸ２＝｛Ｒ２，Ｇ２，Ｂ２｝の場合、
距離［Ｘ１，Ｘ２］＝Ｍａｘ｛Ａｂｓ［Ｒ１−Ｒ２］，Ａｂｓ［Ｇ１−Ｇ２］，Ａｂｓ［Ｂ１−Ｂ２］｝。

【0065】

図４ａ及び図４ｂは、この手順が働く方法を示す。図４ａは、ＳＭＳ害虫の組（白色）を含む葉を示す。図４ｂは、上記で定義された意味においてその色が白色に「近い」距離に限られる小さいブロブ（この例では、４０未満の色度）を抽出することから得られる検出されたＳＭＳ害虫の組（図４ａの画像上に重ね合わされた紫色点で表示される）を示す。害虫をディスプレイに表示するために選択された色は、それ自体には意味はなく、表示は、任意の選択された色とすることができることが分かるであろう。

【0066】

分析の別のアルゴリズムの実施形態では、ＳＭＳ害虫の検出は、以下の方法を用いて実行される。可視画像の収集されたグレーレベル画像は、行方向及び列方向をインターレースする演算子を形成することにより、いくつかの、例えば４つの非常に類似した重ならない画像にパーティショニングされ、結果的に、そのユニオンがオリジナルの画像に正確にわたる４つのサブ画像を形成する。本明細書では、オリジナルのグレーレベル画像は、Ｘとしてマークされ、Ｘ１、Ｘ２、Ｘ３、及びＸ４は、インターレースする演算子の適用に起因して結果的に得られるサブ画像であると仮定される。

【0067】

画像Ａ（「Ｘの加速画像」（ａｃｃｅｌｅｒａｔｉｏｎ ｉｍａｇｅ ｏｆ Ｘ）をＡ＝（Ｘ１＋Ｘ４−２^＊Ｘ３）として定義することは、結果的に、コントラストを強調させる画像Ａを生じることになる。Ａから最高輝度値を有する予め選択された数のピクセルの組を抽出することは、ＳＭＳ害虫を含むことの非常に高い確率を有するピクセルの組をもたらすということである。高い計算値のピクセルの組の周りの小さいサブ画像が抽出され、それらの内容がメモリに存在するＳＭＳ害虫の参照画像と比較される。高い相関は、ＳＭＳ害虫の存在のフラグを立てることになる。図５ａ及び図５ｂは、このアイデアを例示する。図５ａは、ＳＭＳ害虫を含む感染した葉を示し、図５ｂは、図５ａ上に重ね合わされた赤色点の組を示す。赤色点は、そのために相関器がそれらの対応する抽出された小さいサブ画像をＳＭＳ害虫を含むとして識別した、前述の方法によって作成された点である。

【0068】

上記のアルゴリズムのアイデアの別の実施形態では、ＳＭＳ害虫の検出は、以下の方法を用いて実行される。グレーレベルの可視画像又はＮＩＲ画像は、エッジ検出演算子を受ける。結果的に得られるエッジ検出された画像から、その強度値が所与の閾値を超えるピクセルの組が選択される。

【0069】

これらのピクセルの周りの小さいサブ画像が抽出され、それらの内容が相関方法を用いて既知の参照画像に対して比較される。相関測度が予め設計された閾値を超える場合に、害虫検出のフラグが立てられる。図６ａ、図６ｂ、及び図６ｃは、このアイデアを実証する。図６ａは、ＳＭＳ害虫を含む葉（白色に着色される）を示し、図６ｂは、図６ａのエッジ検出の適用を示し、図６ｃは、説明した方法に従って図６ｂから該当する点を抽出した結果である、図６ａ上に重ね合わされた点の組（黄色）を示す。

【0070】

上記のアルゴリズムのアイデアの別の実施形態では、ＳＭＳ害虫の検出は、以下の方法を用いて実行される。グレーレベルの可視画像又はＮＩＲ画像は、バイナリ閾値演算を受ける。閾値レベルは、以下のように計算される：非常に高い閾値（ダークフレーム）で始まり、白色点（閾値演算から結果的に得られる）の数が所与のレベルを超える場合に所望の閾値が宣言されるように閾値レベルが徐々に減少される。

【0071】

結果的に得られる画像から、その強度値が上記の所望の閾値を超えるピクセルの組が選択される。これらのピクセルの周りの小さいサブ画像が抽出され、それらの内容が相関方法を用いて既知の参照画像に対して比較される。相関測度が予め設計された閾値を超える場合に、害虫検出のフラグが立てられる。

【0072】

複雑な形態のオブジェクトの自動識別
その識別が必要とされるいくつかのオブジェクトは、複雑な構造（以下、ＣＭＳ）を有するという特性をもつ。ＣＭＳオブジェクトを検出するための一般的手法は、特定の要求されるオブジェクトの形態に応じて、画像を中くらいのサイズを有するブロブにパーティショニングすることを伴う。収集された画像にＣＭＳオブジェクトが存在する場合、典型的にはこれらのやや小さい画像（普通はほんの数十ピクセルに限られる）を、好ましくは、限定はされないがディープニューラルネットワーク手法を用いて識別のためにリモートサーバに伝送することにより、それらはこのような中くらいのサイズのブロブの周囲のいくつかの画像において見つかる可能性が非常に高いということである。別の識別のオプションは、オブジェクトを識別することができる内部コード（後述するものなど）をアクティブ化することである。

【0073】

ここでいくつかのＣＭＳ害虫の識別方法を説明する。

【0074】

ＣＭＳ害虫の例は、ハエ、バッタ、昆虫などである。これらの害虫の構造の観察は、その検出が普通は洗練されたマッチングコードを要求する、非常に複雑な形態を示す。

【0075】

害虫ＣＭＳ検出方法の一実施形態では、収集された画像（随意的に可視画像及び／又はＮＩＲ画像及び／又はＮＤＶＩ画像及び／又は他の植生指数に基づく画像）は、最初に、グレーレベル変換及びヒストグラム平坦化を受ける。画像は、次いで、前述のＨｏｓｈｅｎ Ｋｏｐｅｌｍａｎクラスタラベリング手法を用いるブロブパーティショニングを受ける。

【0076】

中くらいから高い数のピクセルを有するブロブが選択され、所与のレベル（典型的には、限定はされないが３２ピクセル）よりも小さい半径を有するこれらのブロブの重心の周囲のサブ画像が抽出される。

【0077】

選択されたサブ画像のそれぞれは、好ましくは４つのグレーレベル値を用いる、さらなるブロブパーティショニングを受ける。代替的に、異なる数の強度値を使用することができる。計算されたブロブは、それらのピクセルサイズに関してアレンジされる。選択された数の、例えば、最初の３つの大きいブロブが抽出され、それらの関連するピクセルを備えるバイナリ画像が作成される。害虫が上記の抽出されたサブ画像に「取り込まれる」場合、形態の境界を線引きする目的で、大きいブロブを備えるバイナリマップに対して、バイナリダイレート演算子とバイナリエロード演算子との２つの形態学的バイナリ演算子が適用される。最後に、ダイレートされた画像とエロードされた画像との差分が計算され、結果的に害虫形態の境界をおおよそ取り込む画像が得られる。

【0078】

図７ａ、図７ｂ、及び図７ｃは、アルゴリズムがどのように働くかを実証する。図７ａの各画像は、オリジナルのＣＭＳ害虫を示す。図７ｂの各画像は、図７ａの対応する画像の最大の３つのブロブのピクセルの投影から結果的に得られるバイナリ画像を示す。そして図７ｃの各画像は、バイナリエロード演算子及びバイナリダイレート演算子の適用後の図７ａの対応する害虫の結果的に得られる境界を示す。図７ｃの結果的に得られる画像は、次いで、ディープニューラルネットワーク又は予測器及び分類器などの他のマシンビジョン方法を用いる相関手順及び／又は分類手順を用いて類似のタイプの画像、例えば、ＣＭＳ害虫境界と比較される。

【0079】

ブロブパーティションＣＭＳベースの検出方法の別の実施形態では、グレーレベルの可視画像又はＮＩＲ画像又はＮＤＶＩ又は他の植生指数に基づく画像は、ブロブパーティショニング（好ましくは、限定はされないが４つの強度レベル）を受け、例えば５０〜３００ピクセル数の範囲の選択されたピクセルサイズを有するブロブが抽出される。このような各ブロブの周囲の画像が抽出され、ディープニューラルネットワーク手法又は予測器及び分類器などの他のマシンビジョン方法を用いるＣＭＳ害虫の適正なカテゴリへの分類のためにリモートサーバに送信され、害虫の分類のためのトレーニングセットとして用いられた害虫画像の大きいデータセットに対して比較される。図８ａ及び図８ｂは、この概念を例示する。図８ａは、ＣＭＳアブラムシがついた葉を描画し、図８ｂは、そのサイズが１００から２００ピクセルまでの間の範囲であるブロブの組を示す。害虫と抽出されたブロブとのマッチは顕著である。

【0080】

オブジェクトの自動間接識別
或る場合には、特に、自動害虫識別の場合に、害虫の存在は、その周囲に対するその独特の影響により検出することができる。言い換えれば、収集された画像に実際の害虫を取り込むことは難しい又は不可能であり得るが、害虫の存在を植物の状態から推測することができる。多くのこのような状況の中から、２つのこのようなケースが、限定ではない単なる例として以下に提示される。

【0081】

「ミカンハモグリガ（Ｃｉｔｒｕｓ Ｌｅａｆｍｉｎｅｒ）」として知られている害虫は、１つの良い例として役立つことができる。この害虫に帰する「曲がりくねる」潜孔の存在は、普通は、葉の表面に見られる。したがって、このような潜孔の検出は、この害虫の存在を顕在化する。本発明は、この害虫を識別するべく２つのアルゴリズム方法を提示する：
Ａ．前のセクションで説明したように、比較的大きい数（典型的に１００から７００までの間）のピクセルを有するブロブの周りの画像が抽出され、この画像の内容が、ミカンハモグリガを含んでいる種々の参照画像と比較される、複雑な形態構造の自動識別のための方法を用いること。
Ｂ．特定の潜葉性昆虫に合わせた検出アルゴリズムは、以下のように説明される：比較的大きい数のピクセルを有するブロブの画像が抽出される。これらの画像に存在する、可能性のあるオブジェクトの境界が計算される。任意のこのような画像に対して、イメージコーナーフィルタが適用され、計算されたコーナー座標の数がカウントされる。コーナー座標の数が所与の閾値を超える場合に、ミカンハモグリガの検出が宣言される。

【0082】

図９ａ、図９ｂ、及び図９ｃは、このアイデアを実証する。図９ａは、ミカンハモグリガの典型的な潜孔（黄色の丸で囲まれる）を示し、図９ｂは、その境界を示し、図９ｃは、コーナーフィルタの適用から得られる結果的なコーナー点を示す（下の図）。明らかに、潜孔の存在を示す比較的大きい数のこのような点が存在する。

【0083】

オブジェクトのその背景に対する外観は、異なるスペクトルバンドで見たときに異なることが分かるであろう。本発明の実施形態によれば、この事実は、関心ある種々のオブジェクトの分離及び識別を改善するのに用いることができる。例えば、高解像度マルチスペクトル画像は、捜されるオブジェクトの外観を強化する及び画像の残りのオブジェクトから分離するべく最初に色操作を受けてよい。これらの操作は、オリジナルのマルチスペクトル視覚バンドのうちの一部と、ＣＭＹＫ（シアン、マゼンタ、イエロー、キー（ブラック））色空間及び／又はＨＬＳ（Ｈｕｅ Ｌｉｇｈｔｎｅｓｓ Ｓａｔｕｒａｔｉｏｎ）色空間及び／又は任意の他の1つ又は複数の色空間からの一部のチャンネルとを組み合わせることを含むことができる。ＲＧＢ色空間、ＣＭＹＫ色空間、ＨＳＬ色空間、及びもしかすると他の色空間からの個々のバンド間の種々の組み合わせのこの発明でのマルチスペクトルの狭いバンドの使用は、探索されるオブジェクトのその周囲背景からの分離を改善することができる。

【0084】

病気又は他のオブジェクトの外観の示差性が種々の色チャンネル及びマトリクスにおいて検査された後で、この外観を強調する算術計算が選出される。このようなバンドの組み合わせは、画像差分（Ｉｍａｇｅ Ｄｉｆｆｅｒｅｎｃｅ）、加える＜差し引く（Ａｄｄ＜Ｓｕｂｔｒａｃｔ）、最も明るい／最も暗いピクセル（Ｌｉｇｈｔｅｓｔ／Ｄａｒｋｅｓｔ ｐｉｘｅｌｓ）、画像調整などの種々の画像処理ツールを用いて実現することができる。組み合わせは、異なるマトリクスにおけるオブジェクトの外観に応じて、２つ又はそれ以上のチャンネル／マトリクス間とすることができる。これは、ＲＧＢ色空間だけを用いることよりも、背景色からのはるかにより良好なオブジェクト分離を与える。探索されるオブジェクトのさらなる分離は、一般に、マルチスペクトルの特定の６５０ｎｍ赤色スペクトルバンドも組み込むことによって達成することができる。この場合、明白な白色は、オブジェクトの検出を示す。様々な色の組み合わせのクロス検出を行うことは検出を改善し得る。前述のように様々な色の組み合わせを予め選択し、特定の種類の害虫に合わせることができ、したがって、害虫の検出の機会を増加させる。

【0085】

本発明のこれらの実施形態に係る自動間接害虫識別の別の重要な例は、枯れ現象に関連して本明細書で提示される。枯れは、病原体による感染に対応して植物に影響を及ぼす症状を指す。これは典型的には茶色の枯れ葉と関連付けられる。本発明によれば、枯れに関する自動探索は、収集された高解像度マルチスペクトル画像を用いて実行される。収集された画像は、枯れの外観を強化する及び画像の他のオブジェクトから分離するために、前述のように最初に色操作を受ける。ＲＧＢ色空間、ＣＭＹＫ色空間、ＨＳＬ色空間、及びもしかすると他の色空間からの個々の狭いバンド間の種々の組み合わせの使用は、枯れた感染した葉のそれらの周囲背景からの実質的な分離を可能にする。これは、典型的には、葉の緑色部分又は土の茶色である。

【0086】

色操作の成功は、典型的には、普通は２つ（又はそれ以上）の明白な主調色を有する枯れ部分を非常に明瞭に呈する。便宜上、これらは主要色及び二次色と呼ばれる。これらの色値は、行われる特定の色操作に依存する。図１０は、この例を示す。ここでは、色操作は、ＲＧＢチャンネル及び画像のＣＭＹＫ色と関連付けられるマゼンタチャンネルで構成される視覚画像間の画像の差分をとることからなる。中央の葉は、茶色及び紫色の２つの色を明瞭に示す。自動枯れ検出アルゴリズムは、最初に主要色と関連付けられるすべてのピクセルを抽出し、この組に対してブロブパーティショニングを適用する。それらのすぐ近くに二次色に関連するピクセルをもつブロブは、枯れと関連付けられるとして宣言される。

【0087】

この色操作の原理は枯れに関連して上記で例示されているが、これは、異なるタイプの害虫又は病気を探索するか又はまったく異なるオブジェクトを監視するかのいずれにせよ、多くの異なる用途に使用することができることが理解されるであろう。重要なステップは、マルチスペクトル画像を取り込み、ブロブパーティショニング後に、画像の様々な色空間への分割を行い、捜されるオブジェクトを画像の残りから際立たせるべく選択された色チャンネルをクロスすることである。

【0088】

本発明は、上記で農業調査に関して例示されているが、さらなる調査、例えば、魚群又は地雷又は地上の他の表面イレギュラリティの探索のために局所的なイレギュラリティを検出するべく陸上の又は海中の領域を走査する必要がある多くの他の状況にも適用可能であることが理解されるであろう。

【0089】

本発明は、限られた数の実施形態に関して説明されているが、本発明の多くの変形、修正、及び他の適用がなされ得ることが理解されるであろう。本発明は、上記で単なる例として説明されているものに限定されないことがさらに分かるであろう。むしろ、本発明は、以下の請求項によってのみ制限される。

【0090】

参考文献
Ｊ．Ｈｏｓｈｅｎ ａｎｄ Ｒ．Ｋｏｐｅｌｍａｎ（１９７６），”Ｐｅｒｃｏｌａｔｉｏｎ ａｎｄ Ｃｌｕｓｔｅｒ Ｄｉｓｔｒｉｂｕｔｉｏｎ”，Ｐｈｙｓ．Ｒｅｖ．Ｂ．１（１４）：３４３８−３４４５

【0091】

ｈｔｔｐ：//ｊｐｅ．ｏｘｆｏｒｄｊｏｕｒｎａｌｓ．ｏｒｇ／ｃｏｎｔｅｎｔ／１／１／９．ｆｕｌｌ
「Ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｉｍａｇｅｒｙ ｉｎ ｖｅｇｅｔａｔｉｏｎ ｍａｐｐｉｎｇ： ａ ｒｅｖｉｅｗ」

【0092】

リモートセンシング及びスペクトルバンドに関するアメリカ合衆国農務省へのリファレンス

【0093】

ｗｗｗ．ｍｄｐｉ．ｃｏｍ％２Ｆ２０７２−４２９２％２Ｆ６％２Ｆ６％２Ｆ５２５７％２Ｆｐｄｆ＆ｕｓｇ＝ＡＦＱｊＣＮＥｒＱＹＥ２ｉＰＫｆＰＫｗｔＪＹＬｎＸＬＢ０ｊＷＮ５ＫＡ＆ｓｉｇ２＝９ｂＭｂｇＲＸＦＭＮｇｍｑＭＩｒｒ２ＴＷｑＡ
「Ａｎ Ａｉｒｂｏｒｎｅ Ｍｕｌｔｉ− ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ Ｔｗｏ Ｃｏｎｓｕｍｅｒ−Ｇｒａｄｅ Ｃａｍｅｒａｓ ｆｏｒ Ａｇｒｉｃｕｌｔｕｒａｌ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ」

【0094】

「体系生物学（以下簡単に体系学と呼ぶ）は、（ａ）生物の学名を提供する、（ｂ）それらを説明する、（ｃ）それらのコレクションを保存する、（ｄ）生物の分類、それらの識別のためのキー、及びそれらの分布のデータを提供する、（ｅ）それらの進化の歴史を調べる、及び（ｆ）それらの環境適応を考える。”＊＊＊

【0095】

＊＊＊ Ｗｉｋｉｐｅｄｉａ−体系学
ＵＳ ＤＯＡによって説明されるようなＵＡＶ画像は、上述のシナリオでの５０ｍｍのレンズを使用する一方で、前述のシナリオよりも１２．５倍低い解像度である、せいぜい１ピクセル／０．１ｍ（１０ｃｍ）しか使用せず、結果的に、ＤＯＡ研究の最高解像度と比較して５０倍の解像度で３メートルの高度から１００ピクセル以上／平方センチメートル！をもたらすことになる。
この種の解像度での畑のセンシングは、害虫の種類の識別と、さらにはアブラムシとハエとの遠隔区別も可能にする。

【0096】

Ｃｈａｍｂｏｌｌｅ，Ａ．（２００４），”Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｏｔａｌ ｖａｒｉａｔｉｏｎ ｍｉｎｉｍｉｚａｔｉｏｎ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ”，Ｊｏｕｒｎａｌ ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｖｉｓｉｏｎ，２０：８９−９７．

【図1a】

【図1b】

【図1c】

【図2a】

【図2b】

【図2c】

【図4a】

【図4b】

【図5a】

【図5b】

【図6a】

【図6b】

【図6c】

【図7a】

【図7b】

【図7c】

【図8a】

【図8b】

【図9a】

【図9b】

【図9c】

【図10】

【図11】