知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-27
(45)【発行日】2022-08-04
(54)【発明の名称】航空画像からの自動物体検出のための方法およびシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220728BHJP
【ＦＩ】
G06T7/00 640
【請求項の数】
20
【外国語出願】
(21)【出願番号】P 2020088847
(22)【出願日】2020-05-21
(62)【分割の表示】P 2017228695の分割
【原出願日】2017-11-29
(65)【公開番号】P2020144922
(43)【公開日】2020-09-10
【審査請求日】2020-11-25
(31)【優先権主張番号】15/367,975
(32)【優先日】2016-12-02
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517416237
【氏名又は名称】經緯航太科技股▲ふん▼有限公司
【氏名又は名称原語表記】ＧＥＯＳＡＴ Ａｅｒｏｓｐａｃｅ ＆ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｃ．
【住所又は居所原語表記】１２Ｆ．， Ｎｏ．２５３， Ｓｅｃ． ３， Ｄｏｎｇｍｅｎ Ｒｄ．， Ｅａｓｔ Ｄｉｓｔ．， Ｔａｉｎａｎ Ｃｉｔｙ， Ｔａｉｗａｎ
(74)【代理人】
【識別番号】100125450
【弁理士】
【氏名又は名称】河野 広明
(72)【発明者】
【氏名】羅 正方
(72)【発明者】
【氏名】陳 姿秀
(72)【発明者】
【氏名】柯 長榮
(72)【発明者】
【氏名】▲呉▼ 俊毅
【審査官】小池 正彦
(56)【参考文献】
【文献】特開２００３－３４４０４８（ＪＰ，Ａ）
【文献】米国特許第０８６５５０７０（ＵＳ，Ｂ１）
【文献】Alma Mae J. Bernales et al，INTEGRATION OF TEMPLATE MATCHING AND SVM TECHNIQUE FOR COCONUT TREE DETECTION，37th Asian Conference on Remote Sensing (ACRS 2016)，2016年10月21日，https://a-a-r-s.org/proceeding/ACRS2016/ACRS%202016%20Oral%20Papers/TS2/Ab%200509.pdf
【文献】Franz Kurz et al，Near Real Time Processing of DSM from Airborne Digital Camera System for Disaster Monitoring，XXI Congress of the ISPRS，2008年01月31日，https://www.researchgate.net/publication/224989924_Near_Real_Time_Processing_of_DSM_from_Airborne_Digital_Camera_System_for_Disaster_Monitoring
【文献】An Wang et al，Object-based classification using LiDAR-derived metrics and QuickBird imagery，2012 Second International Workshop on Earth Observation and Remote Sensing Applications，IEEE，2012年06月11日，https://ieeexplore.ieee.org/document/6261161
【文献】南本 高望 他３名，都市部における高精度航空画像からの駐車場構造の抽出，電子情報通信学会技術研究報告，一般社団法人電子情報通信学会，2014年03月06日，Ｖｏｌ．１１３ Ｎｏ．４９１
【文献】Deming Kong et al，A real-time method for DSM generation from airborne LiDAR data，IEEE，2013年05月09日，https://ieeexplore.ieee.org/document/6555443
【文献】Roman M. Palenichka et al，Multiscale Isotropic Matched Filtering for Individual Tree Detection in LiDAR Images，IEEE Transactions on Geoscience and Remote Sensing，米国，IEEE，2007年11月19日，Volume: 45, Issue: 12，3944 - 3956，https://ieeexplore.ieee.org/document/4378541
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
実行されると、１つまたは複数のプロセッサに、空撮画像から物体を検出するための動作を実行させる命令を記憶する非一時的コンピュータ可読媒体であって、前記動作は、
一定の領域の数値表層モデル（ＤＳＭ）画像を得ることと、
１つまたは複数の標的物体のＤＳＭ画像を得ることと、
前記領域および前記１つまたは複数の標的物体の前記ＤＳＭ画像に基づいて、前記領域内の前記標的物体を検出することと、
を含み、
前記領域の前記ＤＳＭ画像を得ることは、
無人航空機、ドローン、航空機、ヘリコプタ、バルーン、または衛星によって前記領域の前記ＤＳＭ画像を得ることと、
前記無人航空機、前記ドローン、前記航空機、前記ヘリコプタ、前記バルーン、または前記衛星から前記領域の前記ＤＳＭ画像を受信すること、
前記領域の前記ＤＳＭ画像に対応する該領域のカラー航空画像を得ることと、
前記１つまたは複数の標的物体のカラー航空画像を得ることと、
前記領域の前記カラー航空画像および前記１つまたは複数の標的物体の色に基づいて、前記領域の１つまたは複数の部分領域を、１つまたは複数の標的部分領域として特定することと、
前記１つまたは複数の標的部分領域のコントラストを強調することと、
を含む、
非一時的コンピュータ可読媒体。
【請求項2】
前記標的物体を検出することは、前記領域の強調された前記ＤＳＭ画像および前記１つまたは複数の標的物体の前記ＤＳＭ画像に基づいて、前記標的物体を検出することを含む、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項3】
前記動作は、前記検出された標的物体の１つまたは複数の位置を取得することをさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項4】
前記動作は、前記検出された標的物体の数を計算することをさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項5】
前記動作は、前記１つまたは複数の検出された標的物体において１つまたは複数の領域航空画像を取得することと、分類器を得ることと、前記分類器によって前記１つまたは複数の領域航空画像を分類することと、その分類の結果に基づいて、前記１つまたは複数の領域航空画像の中の前記標的物体を認識することとを含む、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項6】
前記１つまたは複数の領域航空画像は、第１の色空間において取得され、第２の色空間に変換される、請求項５に記載の非一時的コンピュータ可読媒体。
【請求項7】
前記１つまたは複数の領域航空画像を取得することは、第１の色空間において前記１つまたは複数の領域航空画像を取得することと、
前記第１の色空間における前記１つまたは複数の領域航空画像を第２の色空間における１つまたは複数の領域航空画像に変換することとを含む、
請求項５に記載の非一時的コンピュータ可読媒体。
【請求項8】
前記第１の色空間および前記第２の色空間は、ＲＧＢ、グレースケール、ＨＳＩ、Ｌ＊ａ＊ｂ、マルチスペクトル空間、またはそれらの任意の組み合わせを含む、請求項７に記載の非一時的コンピュータ可読媒体。
【請求項9】
前記分類器は、サポートベクタマシン（ＳＶＭ）分類器、人工ニューラルネットワーク（ＡＮＮ）分類器、決定木分類器、ベイズ分類器、またはそれらの任意の組み合わせを含む、請求項５に記載の非一時的コンピュータ可読媒体。
【請求項10】
空撮画像から物体を検出するための方法であって、前記方法を実施する命令を実行する１つもしくは複数の集積回路、１つもしくは複数のフィールドプログラマブルゲートアレイ、１つもしくは複数のプロセッサもしくはコントローラ、またはそれらの任意の組み合わせによって実施され、
前記方法は、
一定の領域の数値表層モデル（ＤＳＭ）画像を得ることと、
１つまたは複数の標的物体のＤＳＭ画像を得ることと、
前記領域および前記１つまたは複数の標的物体の前記ＤＳＭ画像に基づいて、前記領域内の前記標的物体を検出することと、
を含み、
前記領域の前記ＤＳＭ画像を得ることは、
無人航空機、ドローン、航空機、ヘリコプタ、バルーン、または衛星によって前記領域の前記ＤＳＭ画像を得ることと、
前記無人航空機、前記ドローン、前記航空機、前記ヘリコプタ、前記バルーン、または前記衛星から前記領域の前記ＤＳＭ画像を受信すること、
前記領域の前記ＤＳＭ画像に対応する該領域のカラー航空画像を得ることと、
前記１つまたは複数の標的物体のカラー航空画像を得ることと、
前記領域の前記カラー航空画像および前記１つまたは複数の標的物体の色に基づいて、前記領域の１つまたは複数の部分領域を、１つまたは複数の標的部分領域として特定することと、
前記１つまたは複数の標的部分領域のコントラストを強調することと、
を含む、
方法。
【請求項11】
前記標的物体を検出することは、前記領域の強調された前記ＤＳＭ画像および前記１つまたは複数の標的物体の前記ＤＳＭ画像に基づいて、前記標的物体を検出することを含む、請求項１０に記載の方法。
【請求項12】
前記検出された標的物体の１つまたは複数の位置を取得することをさらに含む、請求項１０に記載の方法。
【請求項13】
前記検出された標的物体の数を計算することをさらに含む、請求項１０に記載の方法。
【請求項14】
前記１つまたは複数の検出された標的物体において１つまたは複数の領域航空画像を取得することと、分類器を得ることと、前記分類器によって前記１つまたは複数の領域航空画像を分類することと、その分類の結果に基づいて、前記１つまたは複数の領域航空画像の中の前記標的物体を認識することとを含む、請求項１０に記載の方法。
【請求項15】
前記１つまたは複数の領域航空画像は、第１の色空間において取得され、第２の色空間に変換される、請求項１４に記載の方法。
【請求項16】
前記１つまたは複数の領域航空画像を取得することは、第１の色空間において前記１つまたは複数の領域航空画像を取得することと、
前記第１の色空間における前記１つまたは複数の領域航空画像を第２の色空間における１つまたは複数の領域航空画像に変換することとを含む、
請求項１４に記載の方法。
【請求項17】
前記第１の色空間および前記第２の色空間は、ＲＧＢ、グレースケール、ＨＳＩ、Ｌ＊ａ＊ｂ、マルチスペクトル空間、またはそれらの任意の組み合わせを含む、請求項１６に記載の方法。
【請求項18】
前記分類器は、サポートベクタマシン（ＳＶＭ）分類器、人工ニューラルネットワーク（ＡＮＮ）分類器、決定木分類器、ベイズ分類器、またはそれらの任意の組み合わせを含む、請求項１４に記載の方法。
【請求項19】
空撮画像から物体を検出するためのシステムであって、一定の領域のＤＳＭ画像を得る航空画像ユニットと、
１つまたは複数の標的物体のＤＳＭ画像を得る標的画像ユニットと、
前記領域および前記１つまたは複数の標的物体の前記ＤＳＭ画像に基づいて、前記領域内の前記標的物体を検出する検出ユニットとを備え、
前記領域の前記ＤＳＭ画像を得ることは、
前記領域の前記ＤＳＭ画像に対応する該領域のカラー航空画像を得ることと、
前記１つまたは複数の標的物体のカラー航空画像を得ることと、
前記領域の前記カラー航空画像および前記１つまたは複数の標的物体の色に基づいて、前記領域の１つまたは複数の部分領域を、１つまたは複数の標的部分領域として特定することと、
前記１つまたは複数の標的部分領域のコントラストを強調することと、
を含み、
前記標的物体を検出することは、
前記領域の強調された前記ＤＳＭ画像および前記１つまたは複数の標的物体の前記ＤＳＭ画像に基づいて、前記標的物体を検出することを含む、
システム。
【請求項20】
前記１つまたは複数の検出された標的物体において１つまたは複数の領域航空画像を取得する領域航空画像取得ユニットと、分類器を得ること、前記分類器によって前記１つまたは複数の領域航空画像を分類すること、および、その分類の結果に基づいて、前記１つまたは複数の領域航空画像の中の前記標的物体を認識することを行う分類認識ユニットとをさらに備える、
請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、空撮画像から物体を検出するための方法およびシステムに関し、より詳細には、テンプレートマッチングおよび人工知能によって関心領域の航空画像から物体を検出するための方法およびシステムに関する。
【背景技術】
【0002】
自動物体検出は、画像内の標的物体を見つけて識別するのに役立つ。人間は、画像内の１つまたはいくつかの物体をほとんど努力せずに認識することができる。しかしながら、人間が画像内の相当数の標的物体を見つけて識別することは困難であり得る。画像内の標的物体は、異なるサイズおよびスケールで表示された場合、または、さらには異なる回転角度で表示された場合、異なる視点からは異なって見える場合がある。いくつかのコンピュータ実施方法は、その外観または特徴に基づいて標的物体を検出することができる。しかしながら、これらの物体検出方法の正確度は、換金作物または特定の農業用途のようないくつかの用途には十分ではない可能性がある。
【0003】
関心領域内の潜在的な標的物体の数が増加し、航空画像の解像度が制限される場合、空撮画像からの物体検出はさらに困難になる。大規模な領域に潜在的な標的物体が相当量存在する場合、標的物体を見つけて識別するために人間に頼ることは実行不可能になる。航空画像の解像度を上げることは、物体検出の正確度を高めるのに役立つ可能性がある。しかしながら、同時に、高解像度画像上で物体認識および検出を実行することは計算複雑度を増大させ、特定の用途の実現可能性および効率を制限する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、関心領域の空撮画像から標的物体を迅速かつ精密に検出するための方法およびシステムが必要とされている。開示されている方法およびシステムは、上述した１つまたは複数の問題および／または従来技術の他の問題を克服または改善することを目的とする。
【課題を解決するための手段】
【0005】
本開示の１つの態様は、実行されると、１つまたは複数のプロセッサに、空撮画像から物体を検出するための動作を実行させる命令を記憶する非一時的コンピュータ可読媒体に関する。動作は、一定の領域の数値表層モデル（ＤＳＭ）画像を得ることを含み得る。この動作は、１つまたは複数の標的物体のＤＳＭ画像を得ることをさらに含むことができる。動作は、領域および１つまたは複数の標的物体のＤＳＭ画像に基づいて、領域内の標的物体を検出することをさらに含むことができる。動作は、領域のＤＳＭ画像に対応する領域の航空画像を得ることをさらに含むことができる。動作は、領域の航空画像上の検出された標的物体の１つまたは複数の位置を取得することをさらに含むことができる。動作は、検出された標的物体の１つまたは複数の位置において１つまたは複数の領域航空画像を取得することをさらに含むことができる。この動作は、１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を、１つまたは複数の特徴ベクトルとして抽出することをさらに含むことができる。動作は、複数の訓練データを得ることをさらに含み、訓練データは、標的物体と同じ種類の物体の複数の航空画像を含む。動作はさらに、複数の訓練データに基づいて分類器を訓練することを含むことができる。この動作は、１つまたは複数の特徴ベクトルに従って、訓練された分類器によって１つまたは複数の領域航空画像を分類することをさらに含むことができる。この動作は、分類結果に基づいて、１つまたは複数の領域航空画像の中の標的物体を認識することをさらに含むことができる。動作は、認識された標的物体の１つまたは複数の位置を取得することをさらに含むことができる。動作は、認識された標的物体の数を計算することをさらに含むことができる。
【0006】
本開示の別の態様は、方法を実施する命令を実行する１つもしくは複数の集積回路、１つもしくは複数のフィールドプログラマブルゲートアレイ、１つもしくは複数のプロセッサもしくはコントローラ、またはそれらの任意の組み合わせによって実行される、空撮画像から物体を検出する方法に関する。この方法は、ある領域のＤＳＭ画像を得ることを含むことができる。この方法は、１つまたは複数の標的物体のＤＳＭ画像を得ることをさらに含むことができる。方法は、領域および１つまたは複数の標的物体のＤＳＭ画像に基づいて、領域内の標的物体を検出することをさらに含むことができる。方法は、領域のＤＳＭ画像に対応する領域の航空画像を得ることをさらに含むことができる。方法は、領域の航空画像上の検出された標的物体の１つまたは複数の位置を取得することをさらに含むことができる。方法は、検出された標的物体の１つまたは複数の位置において１つまたは複数の領域航空画像を取得することをさらに含むことができる。この方法は、１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を、１つまたは複数の特徴ベクトルとして抽出することをさらに含むことができる。方法は、複数の訓練データを得ることをさらに含み、訓練データは、標的物体と同じ種類の物体の複数の航空画像を含む。方法はさらに、複数の訓練データに基づいて分類器を訓練することを含むことができる。この方法は、１つまたは複数の特徴ベクトルに従って、訓練された分類器によって１つまたは複数の領域航空画像を分類することをさらに含むことができる。この方法は、分類結果に基づいて、１つまたは複数の領域航空画像の中の標的物体を認識することをさらに含むことができる。方法は、認識された標的物体の１つまたは複数の位置を取得することをさらに含むことができる。方法は、認識された標的物体の数を計算することをさらに含むことができる。
【0007】
本開示のさらに別の態様は、空撮画像から物体を検出するためのシステムに関する。空撮画像から物体を検出するためのシステムは、航空画像ユニット、標的画像ユニット、および検出ユニットを含むことができる。航空画像ユニットは、領域のＤＳＭ画像を得るように構成することができる。標的画像ユニットは、１つまたは複数の標的物体のＤＳＭ画像を得るように構成することができる。検出ユニットは、領域および１つまたは複数の標的物体のＤＳＭ画像に基づいて、領域内の標的物体を検出するように構成することができる。
【0008】
空撮画像から物体を検出するためのシステムは、測位ユニット、領域航空画像ユニット、抽出ユニット、および分類認識ユニットをさらに含むことができる。航空画像ユニットは、領域のＤＳＭ画像に対応する領域の航空画像を得るように構成することができる。測位ユニットは、領域の航空画像上の検出された標的物体の１つまたは複数の位置を取得するように構成することができる。領域航空画像取得ユニットは、検出された標的物体の１つまたは複数の位置において１つまたは複数の領域航空画像を取得するように構成することができる。抽出ユニットは、１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を、１つまたは複数の特徴ベクトルとして抽出するように構成することができる。分類認識ユニットは、複数の訓練データを得るように構成することができ、訓練データは、標的物体と同じ種類の物体の複数の航空画像を含む。分類認識ユニットは、複数の訓練データに基づいて分類器を訓練するようにさらに構成することができる。分類認識ユニットは、１つまたは複数の特徴ベクトルに従って、訓練された分類器によって１つまたは複数の領域航空画像を分類するようにさらに構成することができる。分類認識ユニットは、分類結果に基づいて、１つまたは複数の領域航空画像の中の標的物体を認識するようにさらに構成することができる。分類認識ユニットは、認識された標的物体の１つまたは複数の位置を取得するようにさらに構成することができる。分類認識ユニットは、認識された標的物体の数を計算するようにさらに構成することができる。
【図面の簡単な説明】
【0009】
【図1】開示されている実施形態による自動物体検出のための領域の例示的な航空画像を示す図である。
【0010】
【図2】開示されている実施形態による、空撮画像からの自動物体検出のための例示的な方法を示すフローチャートである。
【0011】
【0012】
【図4】開示されている実施形態による、自動物体検出のための例示的な種類の標的物体の２つの例示的なＤＳＭ画像を示す図である。
【0013】
【0014】
【0015】
【図7】開示されている実施形態による、空撮画像からの自動物体検出のための別の例示的な方法を示すフローチャートである。
【0016】
【0017】
【図9】開示されている実施形態による、自動物体検出のための例示的な分類器を訓練するために利用され得る、複数の例示的な訓練データの図である。
【0018】
【0019】
【0020】
【0021】
【図13】開示されている実施形態による、空撮画像からの自動物体検出のための例示的なシステムのブロック図である。
【発明を実施するための形態】
【0022】
本開示は、概して、空撮画像から物体を検出するための方法およびシステムに関する。物体は、植物、樹木、油ヤシの木、物体、建物、施設、土地、地形学的特徴、またはそれらの任意の組み合わせであり得ることが企図されている。一般に、検出される標的物体には、物体、建物、施設、植物、樹木、動物、およびさらには人間のようなものが含まれ得る。標的物体は、色、形状、および／または外観においていくつかの特徴を有することができる。標的物体のこれらの特徴は、関心領域の画像内の標的物体を検出するために利用することができる。
【0023】
図１は、開示されている実施形態による自動物体検出のための領域の例示的な航空画像の図である。例えば、油ヤシの木が、その領域の航空画像において検出されるべき例示的な標的物体である。これらの油ヤシの木は地面から一定の高さを有する。いくつかの実施形態では、開示されている方法およびシステムは、領域の航空画像内の標的物体の高さ情報に基づいて標的物体を検出することを含むことができる。例えば、ある領域のＤＳＭは、地表およびすべての物体、ならびに、地表およびすべての物体に関連する高さ情報を含むことができる。開示されている方法およびシステムは、関心領域のＤＳＭに含まれる高さ情報を介して標的物体を検出することを含むことができることが企図されている。いくつかの実施形態では、開示されている方法およびシステムは、領域の数値標高モデル（ＤＥＭ）などの高さ情報を含む領域の様々なモデルおよび／または画像の中の標的物体を検出することを含むことができる。
【0024】
いくつかの実施形態では、開示されている方法およびシステムは、１つもしくは複数の光検出および測距（ＬｉＤＡＲ）センサ、リアルタイムＤＳＭセンサ、ＤＳＭを事後生成するためのセンサ、領域の複数の航空画像からの計算、またはそれらの任意の組み合わせを使用することによって、ある領域のＤＳＭ、ＤＥＭ、および／または航空画像を得ることを含むことができる。いくつかの実施形態では、開示されている方法およびシステムは、無人航空機（ＵＡＶ）１００（図１３に示されている）、ドローン、航空機、ヘリコプタ、バルーン、または衛星によって上述のセンサおよび／またはカメラのうちの１つを使用することによって、ある領域のＤＳＭ、ＤＥＭおよび／または航空画像を収集することを含むことができる。いくつかの実施形態では、開示されている方法およびシステムは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、セルラ（例えば、ＧＰＲＳ、ＷＣＤＭＡ（登録商標）、ＨＳＰＡ、ＬＴＥ、またはそれ以降の世代のセルラ通信システム）、および衛星接続などの無線接続、または、ＵＳＢラインもしくは電灯線のような有線接続を通じて、ＵＡＶ１００、ドローン、航空機、ヘリコプタ、バルーン、または衛星から、ある領域のＤＳＭ、ＤＥＭおよび／または航空画像の関連データを受信することをさらに含むことができる。
【0025】
いくつかの実施形態では、開示されている方法およびシステムは、領域の部分の複数のＤＳＭ、ＤＥＭおよび／または航空画像から物体検出のためのある領域のＤＳＭ、ＤＥＭおよび／または航空画像を得ることを含むことができる。例えば、開示されている方法およびシステムは、物体検出のための図１の領域の航空画像を得るために、領域の部分の複数の航空画像を結合またはステッチングすることを含むことができる。開示されている方法およびシステムは、画像アライメントのために、ある画像の画素座標を別の画像の画素座標に関連付ける適切な数学モデルを決定することを含むことができる。開示されている方法およびシステムは、画素対画素の直接の比較と勾配降下とを組み合わせることによって、様々な航空画像対に関する正確なアライメントを推定することをさらに含むことができる。開示されている方法およびシステムは、航空画像の対の間の対応を確立するために、領域の部分の航空画像における特有の特徴を識別およびマッチングすることをさらに含むことができる。開示されている方法およびシステムは、位置合わせされた航空画像のすべてをそれに対してワーピングするかまたは投影的に変換し配置するための最終合成面を決定することをさらに含むことができる。開示されている方法およびシステムは、視差、レンズ歪み、シーン動き、および露出差の存在下であっても、重なり合う航空画像をシームレスに混合することをさらに含むことができる。
【0026】
図２は、開示されている実施形態による、空撮画像からの自動物体検出のための例示的な方法２００を示すフローチャートである。本開示の１つの態様は、実行されると、１つまたは複数のプロセッサに、空撮画像から物体を検出するための図２の例示的な方法２００を実行させる命令を記憶する非一時的コンピュータ可読媒体に関する。コンピュータ可読媒体は、揮発性もしくは不揮発性、磁気、半導体、テープ、光学、取外し可能、取外し不能、もしくは他のタイプのコンピュータ可読媒体またはコンピュータ可読記憶デバイスを含んでもよい。例えば、コンピュータ可読媒体は、開示されているように、コンピュータ命令を記憶されている記憶ユニットまたはメモリモジュールであってもよい。いくつかの実施形態では、コンピュータ可読媒体は、コンピュータ命令が記憶されているディスクまたはフラッシュドライブであってもよい。いくつかの実施形態では、コンピュータ可読媒体は、コンピュータ命令が記憶されているクラウドまたはリモートストレージであってもよく、命令は、実行のために別のデバイスにダウンロードされてもよい。
【0027】
方法２００は、領域のＤＳＭ画像を得るステップ（ステップ２２０）と、標的物体のＤＳＭ画像を得るステップ（ステップ２４０）と、ステップ２２０および２４０における領域および標的物体のＤＳＭ画像に基づいて領域内の標的物体を検出するステップ（ステップ２６０）とを含むことができる。ある領域のＤＳＭにはその領域の高さ情報が含まれていることに留意すべきである。領域の高さ情報を領域のグレースケール画像のグレースケール値として使用することにより、およびその逆により、領域のＤＳＭ画像を得ることができる。したがって、本開示全体を通して適用可能であれば、「ＤＳＭ」および「ＤＳＭ画像」を代替的に使用することができる。
【0028】
ステップ２２０は、関心領域のＤＳＭ画像を得ることを含むことができる。例えば、ステップ２２０のある領域のＤＳＭ画像を得ることは、コンピュータ可読媒体またはコンピュータ可読記憶デバイスから関心領域のＤＳＭ画像にアクセスすることを含むことができる。別の例として、ステップ２２０のある領域のＤＳＭ画像を得ることは、画像入力１２０（これは、開示されているシステムで説明する）のような外部入力から関心領域のＤＳＭ画像を受信するステップを含むことができる。画像入力１２０は、例えば、ＵＡＶ１００、ドローン、航空機、ヘリコプタ、バルーン、または衛星に通信可能に接続されてもよい。言い換えれば、ステップ２２０のある領域のＤＳＭ画像を得ることは、ＵＡＶ１００、ドローン、航空機、ヘリコプタ、バルーン、または衛星から関心領域のＤＳＭ画像を受信することを含むことができる。いくつかの実施形態では、ステップ２２０のある領域のＤＳＭ画像を得ることは、領域の部分の複数のＤＳＭ画像を得ることと、関心領域のＤＳＭ画像を得るために、領域の部分の複数のＤＳＭ画像を結合またはステッチングすることとを含むことができる。例えば、ステップ２２０のある領域のＤＳＭ画像を得ることは、領域の部分の複数のＤＳＭ画像を得ることと、ＤＳＭ画像の対の間の対応を確立するために、複数のＤＳＭ画像内の特有の特徴を識別およびマッチングすることとを含むことができる。ステップ２２０のある領域のＤＳＭ画像を得ることは、関心領域のＤＳＭ画像を得るために、ＤＳＭ画像の対の間の確立された対応に基づいて領域の部分の複数のＤＳＭ画像を混合することをさらに含むことができる。
【0029】
いくつかの実施形態では、ステップ２２０のある領域のＤＳＭ画像を得ることは、ある領域の複数の航空画像を得ることと、領域のＤＳＭ画像を得るために、領域の部分のこれらの航空画像を結合またはステッチングすることと、領域のステッチングされた航空画像を領域のＤＳＭ画像に変換することとを含むことができる。例えば、ステップ２２０のある領域のＤＳＭ画像を得ることは、ある領域の部分の複数の航空画像を受信することと、図１に示す領域の航空画像を得るために、領域の部分の複数の航空画像をステッチングすることとを含むことができる。領域の部分のこれらの航空画像は、領域の部分の複数のＤＳＭと関連付けることができる。換言すれば、領域の部分の複数の航空画像は、領域の部分の複数のＤＳＭに対応することができる。ステップ２２０は、領域の部分の航空画像とＤＳＭとの間の対応に基づいて、図１の領域のステッチングされた航空画像に対応する図３の領域のＤＳＭ画像を得ることを含むことができる。図３は、開示されている実施形態による、自動物体検出のための図１内の領域の例示的な航空画像に対応する、領域の例示的なＤＳＭ画像の図である。
【0030】
いくつかの実施形態では、ステップ２２０の領域のＤＳＭ画像を得ることは、１つもしくは複数のＬｉＤＡＲセンサ、リアルタイムＤＳＭセンサ、ＤＳＭを事後生成するためのセンサ、領域の複数の航空画像からの計算、またはそれらの任意の組み合わせを使用することによって、領域または領域の部分のＤＳＭおよび／または航空画像を収集することを含むことができる。いくつかの実施形態では、ステップ２２０の領域のＤＳＭ画像を得ることは、ＵＡＶ １００、ドローン、航空機、ヘリコプタ、バルーン、または衛星によって上述のセンサおよび／またはカメラのうちの１つを使用することによって、ある領域または領域の部分のＤＳＭおよび／または航空画像を収集することを含むことができる。いくつかの実施形態では、ステップ２２０の領域のＤＳＭ画像を得ることは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、セルラ（例えば、ＧＰＲＳ、ＷＣＤＭＡ（登録商標）、ＨＳＰＡ、ＬＴＥ、またはそれ以降の世代のセルラ通信システム）、および衛星接続などの無線接続、または、ＵＳＢラインもしくは電灯線のような有線接続を通じて、ＵＡＶ１００、ドローン、航空機、ヘリコプタ、バルーン、または衛星から、領域のＤＳＭおよび／または航空画像の収集されているデータを受信することをさらに含むことができる。
【0031】
いくつかの実施形態では、ステップ２２０のある領域のＤＳＭ画像を得るステップは、領域のＤＳＭ画像に対応する領域のカラー航空画像を得ることと、標的物体のカラー航空画像を得ることと、領域のカラー航空画像および標的物体の色に基づいて、領域の１つまたは複数の部分領域を、１つまたは複数の標的部分領域として決定することとをさらに含むことができる。
【0032】
例えば、ステップ２２０のある領域のＤＳＭ画像を得ることは、図３の関心領域のＤＳＭ画像に対応する、図１の領域のＲＧＢ航空画像を得ることをさらに含むことができる。さらに、ステップ２２０のある領域のＤＳＭ画像を得ることは、標的物体である油ヤシの木のＲＧＢ航空画像を得ることをさらに含むことができる。さらに、ステップ２２０のある領域のＤＳＭ画像を得ることは、油ヤシの木の特定の原色として緑色を識別することをさらに含むことができる。さらに、ステップ２２０のある領域のＤＳＭ画像を得ることは、個々のＧ値がその個々のＲ値とＢ値の両方よりも大きいときに、領域の航空画像の画素を、油ヤシの木の可能性のある画素として識別することをさらに含むことができる。たとえば、次の条件付き演算を使用して、画素が油ヤシの木の可能性のある画素として識別されるか否かをチェックすることができる：Ｉｆ（Ｐｉｘｅｌ．Ｇ＞Ｐｉｘｅｌ．Ｒ＆＆Ｐｉｘｅｌ．Ｇ＞Ｐｉｘｅｌ．Ｂ）Ｇｅｔ Ｐｉｘｅｌ。Ｐｉｘｅｌ．Ｒ、Ｐｉｘｅｌ．Ｇ、およびＰｉｘｅｌ．Ｂは、画素の個々のＲ、Ｇ、およびＢレベルを表す。さらに、ステップ２２０のある領域のＤＳＭ画像を得ることは、油ヤシの木の隣接する一定量の可能性のある画素を標的部分領域として識別することをさらに含むことができる。
【0033】
いくつかの実施形態において、ステップ２２０のある領域のＤＳＭ画像を得ることは、標的物体の特定の原色を識別することをさらに含むことができる。例えば、ステップ２２０の標的物体の特定の原色を識別することは、標的物体の航空画像の画素内の個々のＲ、Ｇ、およびＢレベルを比較することと、これらの画素の代表的な原色を決定することとを含むことができる。さらに、ステップ２２０の標的物体の特定の原色を識別することは、これらの画素の代表的な原色の数を計算することと、最大数の画素の代表的な原色を標的物体の特定の原色として識別することとをさらに含むことができる。例えば、ステップ２２０の標的物体の特定の原色を識別することは、緑色が油ヤシの木の航空画像の最大画素数を有する代表的な原色である場合に、緑色を、油ヤシの木の特定の原色として識別することを含むことができる。
【0034】
いくつかの実施形態では、ステップ２２０のある領域のＤＳＭ画像を得ることは、領域のＤＳＭ画像上の１つまたは複数の標的部分領域の画像のコントラストを強調することをさらに含むことができる。例えば、ステップ２２０の標的部分領域のコントラストを強調することは、ヒストグラム等化によって領域の航空画像の識別された標的部分領域に対応する領域のＤＳＭ画像の標的部分領域のコントラストを強調することを含むことができる。例えば、ヒストグラム等化を使用することによって、ステップ２２０のコントラストを強調することは、標的部分領域の画素の確率質量関数を計算することと、グレーレベルに従って累積分布関数（ＣＤＦ）値を計算すること、ＣＤＦ値に（グレーレベル－１）を乗算することと、新しいグレーレベル値を標的部分領域の画素にマッピングすることとを含むことができる。ステップ２２０のコントラストを強調することは、大域的拡張、異方性拡散、非線形ピラミッド技法、マルチスケール形態学的技術、多解像度スプライン、マウンテンクラスタリング、ｒｅｔｉｎｅｘ理論、ウェーブレット変換、カーブレット変換、ｋシグマクリッピング、ファジー理論、遺伝的アルゴリズム、または欲張りアルゴリズムなどの他のアルゴリズムによってコントラストを強調することを含むことができる。
【0035】
ステップ２４０は、標的物体のＤＳＭ画像を得ることを含むことができる。図４は、開示されている実施形態による、自動物体検出のための例示的な種類の標的物体の２つの例示的なＤＳＭ画像を示す。例えば、ステップ２４０の標的物体のＤＳＭ画像を得ることは、コンピュータ可読媒体またはコンピュータ可読記憶デバイスから図４（ａ）の油ヤシの木のＤＳＭ画像にアクセスすることを含むことができる。別の例として、ステップ２４０の標的物体のＤＳＭ画像を得ることは、画像入力１２０（これは、開示されているシステムで説明する）のような外部入力から図４（ａ）の油ヤシの木のＤＳＭ画像を受信することを含むことができる。別の例として、ステップ２４０の標的物体のＤＳＭ画像を得ることは、画像入力１２０などの内部入力から選択信号を受信することを含むことができる。選択信号は、ステップ２２０における領域のＤＳＭ画像の一部を標的物体のＤＳＭ画像として識別することを含むことができる。例えば、選択信号は、ユーザがマウスカーソル、自身の指、またはペンを使用して、表示画面上の領域を選択している間に、ＤＳＭ画像上で油ヤシの木のＤＳＭ画像を囲む領域を、標的物体として識別することを含むことができる。
【0036】
いくつかの実施形態では、ステップ２４０の標的物体のＤＳＭ画像を得るステップは、標的物体の複数のＤＳＭ画像にアクセスまたは受信することと、それらの１つを標的物体のＤＳＭ画像として選択することとを含むことができる。ステップ２４０の標的物体のＤＳＭ画像を選択するステップは、標的物体の形状に基づいて標的物体のＤＳＭ画像を選択するステップを含むことができる。例えば、ステップ２４０の標的物体のＤＳＭ画像を選択するステップは、その形状がほとんどの同じ種類の標的物体と同様であり得る標的物体のＤＳＭ画像を選択するステップを含むことができる。いくつかの実施形態では、ステップ２４０の標的物体のＤＳＭ画像を選択するステップは、標的物体のＤＳＭ画像のコントラストに基づいて標的物体のＤＳＭ画像を選択するステップを含むことができる。例えば、ステップ２４０の標的物体のＤＳＭ画像を選択するステップは、そのコントラストが他よりも良好であり得る標的物体のＤＳＭ画像を選択するステップを含むことができる。いくつかの実施形態では、ステップ２４０の標的物体のＤＳＭ画像を得ることは、標的物体の２つ以上のＤＳＭ画像を得ることを含むことができる。例えば、ステップ２４０の標的物体のＤＳＭ画像を得ることは、標的物体の形状および標的物体のＤＳＭ画像のコントラストにそれぞれ基づいて、標的物体の２つのＤＳＭ画像を得ることを含むことができる。
【0037】
いくつかの実施形態では、ステップ２４０の標的物体のＤＳＭ画像を得ることは、１つもしくは複数のＬｉＤＡＲセンサ、リアルタイムＤＳＭセンサ、ＤＳＭを事後生成するためのセンサ、領域の複数の航空画像からの計算、またはそれらの任意の組み合わせを使用することによって、標的物体の１つまたは複数のＤＳＭおよび／または航空画像を収集することを含むことができる。いくつかの実施形態では、ステップ２４０の標的物体のＤＳＭ画像を得ることは、ＵＡＶ １００、ドローン、航空機、ヘリコプタ、バルーン、または衛星によって上述のセンサおよび／またはカメラのうちの１つを使用することによって、標的物体の１つまたは複数のＤＳＭおよび／または航空画像を収集することを含むことができる。いくつかの実施形態では、ステップ２４０の標的物体のＤＳＭ画像を得ることは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、セルラ（例えば、ＧＰＲＳ、ＷＣＤＭＡ（登録商標）、ＨＳＰＡ、ＬＴＥ、またはそれ以降の世代のセルラ通信システム）、および衛星接続などの無線接続、または、ＵＳＢラインもしくは電灯線のような有線接続を通じて、ＵＡＶ１００、ドローン、航空機、ヘリコプタ、バルーン、または衛星から、標的物体のＤＳＭおよび／または航空画像を受信することをさらに含むことができる。
【0038】
いくつかの実施形態では、ステップ２４０の標的物体のＤＳＭ画像を得ることは、標的物体の１つまたは複数のＤＳＭ画像に対応する標的物体の１つまたは複数の航空画像を得ることと、標的物体の形状および／または標的物体の航空画像のコントラストに基づいて、標的物体の１つまたは複数のＤＳＭ画像を選択することとを含むことができる。
【0039】
ステップ２６０は、ステップ２２０および２４０における領域および標的物体のＤＳＭ画像に基づいて、領域内の標的物体を検出することを含むことができる。いくつかの実施形態では、ステップ２６０の標的物体を検出することは、標的物体のＤＳＭ画像と領域の複数のＤＳＭ部分画像との間の一致率を計算することと、一致率に基づいて、領域の１つまたは複数のＤＳＭ部分画像を標的物体として決定することとを含むことができる。例えば、ステップ２６０の標的物体を検出することは、図４（ａ）の油ヤシの木のＤＳＭ画像と、図３の領域のＤＳＭ画像からの領域の複数のＤＳＭ部分画像との間の一致率を計算することを含むことができる。領域の複数のＤＳＭ部分画像は、油ヤシの木のＤＳＭ画像と同じまたは類似のサイズを有することができる。例えば、領域の複数のＤＳＭ部分画像のサイズは３００×３００画素であってもよく、図４（ａ）の油ヤシの木のＤＳＭ画像は３００×３００画素または同様のサイズであってもよい。例えば、領域の複数のＤＳＭ部分画像は、領域のＤＳＭ画像の１，２，５、または１０画素ごとに３００×３００画素の部分画像を含んでもよい。言い換えれば、ステップ２６０の標的物を検出することは、油ヤシの木のテンプレートＤＳＭ画像（Ｔ）を、その各１，２，５または１０画素をスライドさせることによって領域のＤＳＭ画像（Ｉ）と比較することを含むことができる。例えば、領域のＤＳＭ画像上のスライドの各位置（ｘ，ｙ）に対して、一致率Ｒは次のように計算することができる。
【0040】
【数1】
【0041】
図５は、開示されている実施形態による、自動物体検出のための図３の領域の例示的なＤＳＭ画像と図４の例示的なテンプレート画像との間の一致率の例示的な計算からの一致率の例示的な画像の図である。図５では、位置が明るいほど、その位置が標的物体である可能性が高くなる。例えば、図５の一致率の画像上の明るい点は、関心領域内のヤシの木の位置であってもよい。
【0042】
いくつかの実施形態では、ステップ２６０の一致率を計算することは、二乗差分法、正規化二乗差分法、相互相関法、正規化相互相関法、相関係数法、正規化相関係数法、またはそれらの任意の組み合わせなどの、従来のテンプレートマッチング法に従って一致率を計算することを含むことができる。
【0043】
いくつかの実施形態では、ステップ２６０の領域のＤＳＭ部分画像を標的物体として決定することは、標的物体のテンプレート画像との一致率Ｒｓが、油ヤシの木のテンプレートＤＳＭ画像（Ｔ）の自己一致率の８０％、７０％、または６０％などの一致閾値よりも高い場合に、領域１つまたは複数のＤＳＭ部分画像を油ヤシの木として決定することを含むことができる。
【0044】
いくつかの実施形態では、ステップ２６０の標的物体を検出することは、ステップ２２０および２４０における領域および標的物体のＤＳＭ画像の解像度を低減することと、領域および標的物体の解像度低減ＤＳＭ画像に基づいて領域内の標的物体を検出することとを含むことができる。例えば、ステップ２６０の標的物体を検出することは、図３の領域および図４（ａ）の油ヤシの木のＤＳＭ画像の解像度を元の解像度の０．１倍に低減することを含むことができる。ステップ２６０の標的物体を検出することは、油ヤシの木のＤＳＭ画像と領域の複数の解像度低減ＤＳＭ部分画像との間の一致率を計算することと、一致率に基づいて、領域の１つまたは複数のＤＳＭ部分画像を標的物体として決定することとをさらに含むことができる。
【0045】
いくつかの実施形態では、ステップ２６０の標的物体を検出することは、ステップ２２０における領域のＤＳＭの画像と、ステップ２４０における標的物体の２つ以上の画像とに基づいて、領域内の標的物体を検出することを含むことができる。例えば、ステップ２６０の標的物体を検出することは、図４（ａ）および図４（ｂ）の油ヤシの木の２つのＤＳＭ画像と領域の複数のＤＳＭ部分画像との間の一致率をそれぞれ計算することと、油ヤシの木の２つのＤＳＭ画像からの一致率に基づいて、領域の１つまたは複数のＤＳＭ部分画像を油ヤシの木として決定することとをさらに含むことができる。例えば、ステップ２６０の標的物体を検出することは、ステップ２４０において標的物体の形状に基づいて選択される油ヤシの木のＤＳＭ画像と、領域の複数のＤＳＭ部分画像との間の一致率を計算することを含むことができる。ステップ２６０の標的物体を検出することは、ステップ２４０において標的物体のコントラストに基づいて選択される油ヤシの木の別のＤＳＭ画像と、領域の複数のＤＳＭ部分画像との間の一致率を計算することを含むことができる。ステップ２６０の標的物体を検出することは、標的物体の形状または画像のコントラストのいずれかに基づいて選択される油ヤシの木のテンプレートＤＳＭ画像からの一致率が、一致閾値よりも高いときに、領域の１つまたは複数のＤＳＭ部分画像を油ヤシの木として決定することをさらに含むことができる。別の例として、ステップ２６０の油ヤシの木を決定することは、油ヤシの木の形状および油ヤシの木の画像のコントラストに基づいて選択される油ヤシの木のテンプレートＤＳＭ画像からの両方の一致率が、一致閾値よりも高いときに、領域の１つまたは複数のＤＳＭ部分画像を油ヤシの木として決定することをさらに含むことができる。
【0046】
いくつかの実施形態では、ステップ２６０の領域のＤＳＭ部分画像を標的物体として決定するステップは、以下の２つの基準の一方または両方に基づいて標的物体を決定することを含むことができる。領域の１つまたは複数のＤＳＭ部分画像の一致率は、領域の航空画像上の一定の距離（Ｄ１）内の最大値である。領域の１つまたは複数のＤＳＭ部分画像の高さは、高さ閾値（Ｈ１）だけ、別の距離（Ｄ２）内の最も低い位置の高さよりも高い。例えば、ステップ２６０の油ヤシの木を決定することは、一致率が、油ヤシの木の航空画像の例示的な半径である２メートル（すなわち、Ｄ１＝２メートル）以内の他のものよりも高い場合、１つまたは複数のＤＳＭ部分画像を油ヤシの木として決定することを含むことができる。別の例として、ステップ２６０の油ヤシの木を決定することは、高さが、油ヤシの木と土地の両方が存在し得る個々の領域の例示的な半径である３メートル（すなわちＤ２＝３）以内の最も低い位置の高さよりも、２．５メートルの例示的な高さ閾値（例えば、Ｈ１＝２．５メートル）だけ高いとき、領域の１つまたは複数のＤＳＭ部分画像を油ヤシの木として決定することを含むことができる。上記のＤ１、Ｄ２、およびＨ１パラメータに従って、地面から２．５メートルよりも高い油ヤシの木を検出することができる。これらのファクタは、高さおよび分布に従って、様々な標的物体に対して調整可能であり得る。
【0047】
いくつかの実施形態では、ステップ２６０は、ステップ２２０における領域の強調されたＤＳＭの画像と、標的物体のＤＳＭ画像とに基づいて、領域内の標的物体を検出することを含むことができる。例えば、ステップ２６０の標的物体を検出することは、図４の油ヤシの木の１つまたは２つのＤＳＭ画像と、その標的部分領域がステップ２２０において識別されており、コントラストを強調されている場合がある、領域のコントラスト強調ＤＳＭ画像に基づいて、領域内の油ヤシの木を検出することを含むことができる。
【0048】
いくつかの実施形態において、方法２００は、ステップ２６０において検出された標的物体の１つまたは複数の位置を取得することをさらに含むことができる。例えば、物体の位置を取得することは、図３の領域のＤＳＭ画像上で検出された油ヤシの木の位置を取得することを含むことができる。別の例として、ステップ２９０の標的物体の位置を取得するステップは、領域のＤＳＭ画像と領域の航空画像との間の対応に基づいて、領域の航空画像上で検出された油ヤシの木の位置を取得することを含むことができる。図６は、開示されている実施形態による、図２の自動物体検出のための例示的な方法に従って検出された例示的な標的物体の位置をマークされた領域の例示的な航空画像の図である。図６では、検出された油ヤシの木は、その領域の航空画像内で赤い円でマークされている。
【0049】
いくつかの実施形態において、ステップ２９０は、検出された標的物体の位置を、領域の航空画像または地図上に表示することをさらに含むことができる。例えば、ステップ２９０の検出された標的物を表示することは、１つまたは複数の検出された油ヤシの木の位置を、領域の航空画像上に、図６に示す赤い円として表示することを含むことができる。別の例として、ステップ２９０の検出された標的物体を表示するステップは、領域のＤＳＭ画像上の位置と領域の地図（図示せず）との間の関連または対応に基づいて、１つまたは複数の検出された油ヤシの木の位置を、領域の地図上に表示することを含むことができる。例えば、領域のＤＳＭ画像上の位置は、経度、緯度、および標高のセットと関連付けられてもよい。ステップ２９０は、検出された油ヤシの木の経度、緯度、および標高のセットを得ることと、検出されたヤシの木を、経度、緯度および／または標高のセットに基づいて地図上に表示することとを含むことができる。例えば、ステップ２９０の検出された油ヤシの木を表示することは、検出された油ヤシの木を、経度および緯度のセットに基づいて地理情報システム（ＧＩＳ）マップ上に表示することを含むことができる。別の例として、ステップ２９０の検出された油ヤシの木を表示することは、検出された油ヤシを、経度、緯度、および標高のセットに基づく地図、例えば、３Ｄ ＧＩＳマップ上に表示することとを含むことができる。
【0050】
いくつかの実施形態において、ステップ２９０は、検出された標的物体の数を計算することをさらに含むことができる。例えば、ステップ２９０の検出された標的物を計算することは、図６に示される検出された油ヤシの木を計算することを含むことができる。
【0051】
図７は、開示されている実施形態による、空撮画像からの自動物体検出のための別の例示的な方法７００を示すフローチャートである。方法７００は、ステップ２２０，２４０、および２６０を含むことができ、領域のＤＳＭ画像に対応する領域の航空画像を取得すること（ステップ７１０）と、領域の航空画像上での検出された標的物体の１つまたは複数の位置を取得すること（ステップ７２０）と、検出された標的物体の１つまたは複数の位置において１つまたは複数の領域航空画像を取得すること（ステップ７３０）と、１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を、１つまたは複数の特徴ベクトルとして抽出すること（ステップ７４０）と、複数の訓練データを取得すること（ステップ７５０）と、複数の訓練データに基づいて分類器を訓練すること（ステップ７６０）と、訓練された分類器によって、１つまたは複数の特徴ベクトルに従って１つまたは複数の領域航空画像を分類すること（ステップ７７０）と、分類結果に基づいて１つまたは複数の領域航空画像の中の標的物体を認識すること（ステップ７８０）とをさらに含むことができる。訓練データは、標的物体と同じ種類の物体の複数の航空画像を含むことができる。
【0052】
ステップ７１０は、ステップ２２０における領域のＤＳＭ画像に対応する領域の航空画像を得ることをさらに含むことができる。例えば、ステップ７１０は、図３の関心領域のＤＳＭ画像に対応する、図１の領域のＲＧＢ航空画像を得ることを含むことができる。例えば、ステップ７１０の領域の航空画像を得ることは、コンピュータ可読媒体またはコンピュータ可読記憶デバイスから関心領域の航空画像にアクセスすることを含むことができる。別の例として、ステップ７１０の領域の航空画像を得ることは、画像入力１２０（これは、開示されているシステムで説明する）のような外部入力から領域のＤＳＭ画像を受信することを含むことができる。いくつかの実施形態において、ステップ７１０の領域の航空画像を得ることは、領域の部分の複数の航空画像を得ることと、領域の航空画像を得るために、領域の部分の複数の航空画像をステッチングすることとを含むことができる。例えば、ステップ７１０の領域の航空画像を得ることは、図１の領域の部分の複数の航空画像を得ることと、関心領域の航空画像を得るために、領域の部分の航空画像をステッチングすることとを含むことができる。
【0053】
いくつかの実施形態では、ステップ７１０の領域の航空画像を得ることは、様々な色空間における領域の航空画像を得ることを含むことができる。例えば、ステップ７１０の領域の航空画像を得ることは、ＲＧＢ、グレースケール、ＨＳＩ、Ｌ＊ａ＊ｂ、マルチスペクトル空間、またはそれらの任意の組み合わせのうちの少なくとも１つを含む色空間内の領域の航空画像を得ることを含むことができる。
【0054】
いくつかの実施形態では、ステップ７１０の領域の航空画像を得ることは、１つもしくは複数のＬｉＤＡＲセンサ、リアルタイムＤＳＭセンサ、ＤＳＭを事後生成するためのセンサ、領域の複数の航空画像からの計算、またはそれらの任意の組み合わせを使用することによって、領域または領域の部分の航空画像を収集することを含むことができる。いくつかの実施形態では、ステップ７１０の領域の航空画像を得ることは、ＵＡＶ １００、ドローン、航空機、ヘリコプタ、バルーン、または衛星によって上述のセンサおよび／またはカメラのうちの１つを使用して、ある領域または領域の部分の航空画像を収集することを含むことができる。いくつかの実施形態では、ステップ７１０の領域の航空画像を得ることは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、セルラ（例えば、ＧＰＲＳ、ＷＣＤＭＡ（登録商標）、ＨＳＰＡ、ＬＴＥ、またはそれ以降の世代のセルラ通信システム）、および衛星接続などの無線接続、または、ＵＳＢラインもしくは電灯線のような有線接続を通じて、ＵＡＶ１００、ドローン、航空機、ヘリコプタ、バルーン、または衛星から、領域の航空画像の収集されているデータを受信することをさらに含むことができる。
【0055】
ステップ７２０は、領域の航空画像上の、ステップ２６０における検出された標的物体の１つまたは複数の位置を取得することをさらに含むことができる。例えば、ステップ７２０の検出された標的物体の位置を取得するステップは、図３の領域のＤＳＭ画像上の検出された油ヤシの木の位置を取得することと、領域のＤＳＭ画像と領域の航空画像との間の対応に基づいて、図１の領域の航空画像上の検出された油ヤシの木の位置を取得することとを含むことができる。換言すれば、ステップ７２０の検出された物体の位置を取得することは、図６において、赤い円、すなわち、検出された油ヤシの木の位置を取得することを含むことができる。
【0056】
ステップ７３０は、検出された標的物体の１つまたは複数の位置において１つまたは複数の領域航空画像を取得することを含むことができる。図８は、開示されている実施形態による、図２の自動物体検出のための例示的な方法による、検出された例示的な標的物体の位置をマークされた領域の例示的な航空画像の部分拡大図である。例えば、ステップ７３０の領域航空画像を取得することは、ステップ７２０で取得された位置に基づいて、ステップ７１０における航空の航空画像から、図８の検出された油ヤシの木８０１，８０２，８０３において３００ｘ３００の領域航空画像を取得することを含むことができる。例えば、ステップ７３０の領域航空画像を取得することは、ステップ７２０における検出された位置を３００ｘ３００の領域航空画像の中心として参照することによって、検出された油ヤシの木の３００ｘ３００の領域航空画像を取得することを含むことができる。別の例として、ステップ７３０の領域航空画像を取得することは、ステップ７２０における検出された位置を円の中心として参照することによって、検出された油ヤシの木の円形領域航空画像を取得することを含むことができる。検出された油ヤシの木の円形航空画像の半径は、例えば１５０画素を含んでもよい。検出された標的物体の領域航空画像の形状は、矩形、三角形、または標的物体の形状に類似する他の形状のような他の形状を含んでもよい。
【0057】
いくつかの実施形態では、ステップ７３０の領域航空画像を取得することは、検出された標的物体の位置を原点として使用することによって１つまたは複数の座標を作成することと、これらの原点の周りの１つまたは複数の３００ｘ３００の領域航空画像を取得することとを含むことができる。これらの座標は、取得された領域航空画像を参照するために使用することができる。
【0058】
いくつかの実施形態では、ステップ７３０の領域航空画像を取得することは、様々な色空間における、検出された標的物体の１つまたは複数の位置における１つまたは複数の領域航空画像を取得することを含むことができる。例えば、ステップ７３０の領域航空画像を取得することは、ＲＧＢ、グレースケール、ＨＳＩ、Ｌ＊ａ＊ｂ、マルチスペクトル空間、またはそれらの任意の組合せなどの色空間における、検出された油ヤシの木の１つまたは複数の３００ｘ３００の領域航空画像を取得することを含むことができる。例えば、ステップ７３０の領域航空画像を取得することは、ステップ７１０における、前述の色空間における領域の航空画像から、前述の色空間における検出された油ヤシの木のこれらの領域航空画像を取得することを含むことができる。いくつかの実施形態では、ステップ７３０の領域航空画像を取得することは、色空間における、検出された標的物体の１つまたは複数の領域航空画像を取得することと、その色空間における検出された標的物体の１つまたは複数の領域航空画像を、別の色空間におけるそれらの対応画像に変換することとを含むことができる。例えば、ステップ７３０の領域航空画像を取得することは、検出された油ヤシの木の１つまたは複数のＲＧＢ領域航空画像を取得し、それらをグレースケールの対応画像に変換することを含むことができる。別の例として、ステップ７３０の領域航空画像を取得することは、検出された油ヤシの木の１つまたは複数のＲＧＢ領域航空画像を取得し、それらをＨＳＩにおけるそれらの対応画像に変換することとを含むことができる。
【0059】
ステップ７４０は、１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を、ステップ２６０における検出された標的物体の１つまたは複数の特徴ベクトルとして抽出することを含むことができる。例えば、ステップ７４０のテキスト特徴を抽出することは、ガボールフィルタ、グレーレベル同時生起行列（ＧＬＣＭ）、ローカルバイナリパターン（ＬＢＰ）、勾配方向ヒストグラム（ＨＯＧ）、一次特徴記述、二次特徴記述、またはそれらの任意の組み合わせに基づいて、１つまたは複数のテキスト特徴を抽出することを含むことができる。ステップ７４０の特徴を抽出することは、ステップ７７０における後続の分類を容易にするために、前述の方法によって領域航空画像の有益で非冗長の特徴を抽出することを含むことができる。
【0060】
いくつかの実施形態では、ステップ７４０の１つまたは複数のテキスト特徴を抽出することは、１つの色空間における１つもしくは複数の領域航空画像、および／または、別の色空間における１つもしくは複数の領域航空画像のうちの少なくとも１つから１つまたは複数のテキスト特徴を抽出することを含むことができる。例えば、ステップ７４０の１つまたは複数のテキスト特徴を抽出することは、マルチブロックローカルバイナリパターン（ＭＢ－ＬＢＰ）に基づいて、グレースケールにおける検出された油ヤシの木の１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を抽出することを含むことができる。別の例として、ステップ７４０の１つまたは複数のテキスト特徴を抽出することは、ガボールフィルタに基づいて、ＲＧＢにおける検出された油ヤシの木の１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を抽出することを含むことができる。別の例として、ステップ７４０の１つまたは複数のテキスト特徴を抽出することは、マルチブロックローカルバイナリパターン（ＭＢ－ＬＢＰ）に基づいて、グレースケールとＲＧＢの両方における検出された油ヤシの木の１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を抽出することを含むことができる。例えば、ステップ７４０の１つまたは複数のテキスト特徴を抽出することは、ＧＬＣＭに基づいて、グレースケールにおける検出された油ヤシの木の１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を抽出することと、ＨＯＧに基づいて、Ｌ＊ａ＊ｂにおける検出された油ヤシの木の１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を抽出することとを含むことができる。
【0061】
ステップ７５０は、複数の訓練データを得ることを含むことができる。訓練データは、標的物体と同じ種類の物体の複数の航空画像を含むことができる。図９は、開示されている実施形態による、自動物体検出のための例示的な分類器を訓練するために利用され得る、複数の例示的な訓練データの図である。例えば、ステップ７５０は、図９（ａ）に示される油ヤシの木の複数の航空画像を訓練データとして得ることを含むことができる。いくつかの実施形態において、ステップ７５０は、図９（ｂ）に示される非標的物体の複数の航空画像を訓練データの一部として得ることをさらに含むことができる。例えば、ステップ７５０の訓練データを得ることは、コンピュータ可読媒体またはコンピュータ可読記憶デバイスから訓練データにアクセスすることを含むことができる。別の例として、ステップ７５０の訓練データを得ることは、画像入力１２０（これは、開示されているシステムで説明する）のような外部入力から訓練データを受信することを含むことができる。
【0062】
ステップ７６０は、ステップ７５０における複数の訓練データに基づいて分類器を訓練することを含むことができる。分類器は、パターンマッチングを使用して最も近いマッチを決定する関数である。分類器は、訓練データに従って調整することができる。訓練データは、観測値またはパターンを含んでもよい。例えば、教師あり学習では、各パターンは特定の所定のクラスに属する。クラスは、行わなければならない決定として考えることができる。クラスラベルと組み合わせたすべての観測値は、データセットとして知られている。新しい観測値が受信されると、その観測値は以前の経験に基づいて分類される。例えば、ステップ７６０の分類器を訓練することは、図９に示す油ヤシの木および非標的物体の訓練データによって、サポートベクタマシン（ＳＶＭ）分類器、人工ニューラルネットワーク（ＡＮＮ）分類器、決定木分類器、ベイズ分類器、またはそれらの任意の組み合わせのうちの少なくとも１つを訓練することを含むことができる。別の例として、ステップ７６０の分類器を訓練することは、図９（ａ）の油ヤシの木およびランダムに生成される非標的物体の訓練データによって、サポートベクタマシン（ＳＶＭ）分類器、人工ニューラルネットワーク（ＡＮＮ）分類器、決定木分類器、ベイズ分類器、またはそれらの任意の組み合わせのうちの少なくとも１つを訓練することを含むことができる。
【0063】
ステップ７６０における訓練された分類器によって、ステップ７７０は、ステップ７４０における１つまたは複数の特徴ベクトルに従って、ステップ７３０における１つまたは複数の領域航空画像を分類することをさらに含むことができる。例えば、ステップ７７０の領域航空画像を分類することは、ステップ７６０における訓練されたＳＶＭ分類器によって、ステップ７４０においてガボールフィルタおよびＧＬＣＭによって抽出された１つまたは複数の特徴ベクトルに従って、ステップ７３０における検出された油ヤシの木の１つまたは複数の領域航空画像を分類することを含むことができる。別の例として、ステップ７７０の領域航空画像を分類することは、ステップ７６０における訓練されたＡＮＮ分類器によって、ステップ７４０においてＬＢＰおよびＨＯＧによって抽出された１つまたは複数の特徴ベクトルに従って、ステップ７３０における検出された油ヤシの木の１つまたは複数の領域航空画像を分類することを含むことができる。別の例として、ステップ７７０の領域航空画像を分類することは、ステップ７６０における訓練されたＡＮＮ分類器によって、ステップ７４０においてガボールフィルタ、ＧＬＣＭ、ＬＢＰおよびＨＯＧによって抽出された１つまたは複数の特徴ベクトルに従って、ステップ７３０における検出された油ヤシの木の１つまたは複数の領域航空画像を分類することを含むことができる。方法７００は、前述のテキスト抽出アルゴリズムと分類器との任意の組み合わせを含むことができる。
【0064】
分類器による分類結果は、２種類の結果または複数種類の結果を含むことができる。例えば、ＳＶＭ分類器は、検出された油ヤシの木の領域航空画像がその特徴ベクトルに基づいて図９（ａ）の同じ種類の物体として分類される場合に「０」を出力することができる。ＳＶＭ分類器は、検出された油ヤシの木の領域航空画像がその特徴ベクトルに基づいて図９（ｂ）の同じ種類の物体として分類される場合に「１」を出力することができる。図１０は、開示されている実施形態による、図７の自動物体検出のための例示的な方法による、検出された標的物体の位置において分類結果をマークされた領域の例示的な航空画像の部分拡大図である。位置１００１，１００２，１００３においてピンクの円でマークされた領域航空画像は、標的の油ヤシの木として分類される。位置１０１６，１０１７，１０１８において青の円でマークされた領域航空画像は、非標的物体として分類される。
【0065】
ステップ７８０は、分類結果に基づいて、１つまたは複数の領域航空画像の中の標的物体を認識することをさらに含むことができる。例えば、ステップ７８０の標的物体を認識することは、ステップ７７０における分類結果に基づいて、ステップ７３０における検出された油ヤシの木の１つまたは複数の領域航空画像の中の油ヤシの木を認識することを含むことができる。例えば、図１０の検出された油ヤシの木１００１，１００２，１００３の領域航空画像は、図９（ａ）の物体と同じと分類することができ、それらに対するＳＶＭ分類器からの出力はすべて「０」になり得る。したがって、ステップ７８０の標的物体を認識することは、分類結果「０」に基づいて、検出された油ヤシの木１００１、１００２、１００３の領域航空画像を、標的の油ヤシの木として認識することを含むことができる。例えば、図１０の検出された油ヤシの木１０１６，１０１７，１０１８の領域航空画像は、図９（ａ）の物体と同じと分類することができ、それらに対するＳＶＭ分類器からの出力はすべて「１」になり得る。したがって、ステップ７８０の標的物体を認識することは、分類結果「１」に基づいて、検出された油ヤシの木１０１６、１０１７、１０１８の領域航空画像を、非標的物体として認識することを含むことができる。
【0066】
いくつかの実施形態において、方法７００は、ステップ７８０における認識された標的物体の１つまたは複数の位置を取得するステップ７９０を含むことができる。例えば、ステップ７９０の認識された標的物体の位置を取得することは、領域の航空画像上で認識された油ヤシの木１００１、１００２、１００３の位置を取得することを含むことができる。図１０において、認識された油ヤシの木は、領域の航空画像内でピンクの円によってマークされ、一方で、認識された非標的物体は、図の領域の航空画像内で青の円によってマークされる。ステップ７９０の認識された標的物体の位置を取得することは、領域の航空画像内でピンクの円によってマークされている、認識された油ヤシの木の位置を取得することを含むことができる。
【0067】
いくつかの実施形態において、ステップ７９０は、認識された標的物体の１つまたは複数の位置を、領域の航空画像または地図上に表示することをさらに含むことができる。例えば、ステップ７９０の認識された標的物体を表示することは、領域の航空画像上で、１つまたは複数の認識された油ヤシの木１００１、１００２、１００３の位置を表示することを含むことができる。別の例として、ステップ７９０の認識された標的物体を表示するステップは、領域の航空画像上の位置と領域の地図（図示せず）との間の関連または対応に基づいて、１つまたは複数の認識された油ヤシの木の位置を、領域の地図上に表示することを含むことができる。例えば、領域の航空画像上の位置は、経度、緯度、および標高のセットと関連付けられてもよい。いくつかの実施形態において、ステップ７９０の認識された標的物体を表示することは、認識された油ヤシの木の経度、緯度、および標高のセットを得ることと、認識されたヤシの木を、経度、緯度および／または標高のセットに基づいて地図上に表示することとを含むことができる。例えば、ステップ７９０の認識された油ヤシの木を表示することは、認識された油ヤシの木を、経度および緯度のセットに基づいて地理情報システム（ＧＩＳ）マップ上に表示することを含むことができる。別の例として、ステップ７９０の認識された油ヤシの木を表示することは、認識された油ヤシを、３Ｄ ＧＩＳマップのような、経度、緯度、および標高のセットに基づく地図に表示することとを含むことができる。
【0068】
いくつかの実施形態において、ステップ７９０は、認識された標的物体の数を計算することを含むことができる。例えば、ステップ７９０は、認識された油ヤシの木を計算することを含むことができる。
【0069】
図１１は、開示されている実施形態による、図７の自動物体検出のための例示的な方法による、正確に検出および認識された例示的な標的物体の位置をマークされた領域の例示的な航空画像を示す部分拡大図である。標的物体のグランドトゥルース情報が利用可能な場合には、上述した物体検出方法の正確度を推定することができる。図１１の白い円１１０１，１１０２，１１０３は、例示的な正確に検出され認識された油ヤシの木である。
【0070】
図１２は、開示されている実施形態による、図７の自動物体検出のための例示的な方法による、検出および分類された例示的な標的物体の位置において分類結果をマークされた領域の例示的な航空画像を示す図である。同図では、ピンクの円によってマークされている領域航空画像が標的の油ヤシの木として認識され、青の円によってマークされている領域航空画像が非標的物体として分類されている。一実施形態では、空撮画像からの物体検出の精度および再現率は、それぞれ９０．６％および８３．４％を達成することができ、一方で、ＭＢ－ＬＢＰが特徴抽出に採用され、画像の地表サンプル距離は３センチメートルである。
【0071】
本開示の別の態様は、方法を実施する命令を実行する１つもしくは複数の集積回路、１つもしくは複数のフィールドプログラマブルゲートアレイ、１つもしくは複数のプロセッサもしくはコントローラ、またはそれらの任意の組み合わせによって実行される、空撮画像から物体を検出する方法に関する。この方法には、前述の方法および実施形態のすべてが含まれ得るが、これらに限定されない。いくつかの実施形態では、前述の方法または実施形態における一部のステップは、遠隔でまたは別々に実行されてもよい。いくつかの実施形態では、この方法は、１つまたは複数の分散システムによって実行されてもよい。
【0072】
本開示のさらに別の態様は、空撮画像から物体を検出するためのシステムに関する。図１３は、開示されている実施形態による、空撮画像からの自動物体検出のための例示的なシステム４００のブロック図である。自動異物検出システム４００は、領域のＤＳＭ画像を得るように構成された航空画像ユニット４１０と、標的物体のＤＳＭ画像を得るように構成された標的画像ユニット４２０と、領域および標的物体のＤＳＭ画像に基づいて領域内の標的物体を検出するように構成された検出ユニット４３０とを含むことができる。
【0073】
航空画像ユニット４１０は、集積回路およびフィールドプログラマブルゲートアレイなどの適切なタイプのハードウェア、または、ステップ２２０において上述した動作を実行するように、プロセッサもしくはコントローラ上で実行可能な命令セット、サブルーチン、もしくは関数（すなわち関数プログラム）などのソフトウェアを含むことができる。航空画像ユニット４１０は、領域のＤＳＭ画像を得るように構成することができる。いくつかの実施形態では、航空画像ユニット４１０は、画像入力１２０に通信可能に結合されてもよい。画像入力１２０は、前述の様々な画像入力を航空画像ユニット４１０に提供することができる。例えば、画像入力１２０は、ＵＡＶ１００、ドローン、航空機、ヘリコプタ、バルーン、または衛星からの領域の航空画像、領域のＤＳＭおよび／または領域のＤＥＭを受信し、これらの画像、ＤＳＭ、および／またはＤＥＭを航空画像ユニット４１０に送信することができる。いくつかの実施形態では、航空画像ユニット４１０はまた、検出ユニット４３０にも通信可能に結合されてもよい。航空画像ユニット４１０は、領域のＤＳＭ画像および領域または領域の部分の航空画像を検出ユニット４３０に提供するように構成することができる。いくつかの実施形態では、航空画像ユニット４１０はまた、標的画像ユニット４２０にも通信可能に結合されてもよい。航空画像ユニット４１０は、画像入力１２０から受信した標的画像を標的画像ユニット４２０に送信するように構成することができる。
【0074】
標的画像ユニット４２０は、集積回路およびフィールドプログラマブルゲートアレイなどの適切なタイプのハードウェア、または、ステップ２４０において上述した動作を実行するように、プロセッサもしくはコントローラ上で実行可能な命令セット、サブルーチン、もしくは関数（すなわち関数プログラム）などのソフトウェアを含むことができる。標的画像ユニット４２０は、標的物体のＤＳＭ画像を得るように構成することができる。いくつかの実施形態では、標的画像ユニット４２０はまた、ユーザインターフェース１４０にも通信可能に結合されてもよい。標的画像ユニット４２０は、ユーザインターフェース１４０から標的画像を受信するように構成することができる。いくつかの実施形態では、標的画像ユニット４２０は、ユーザインターフェース１４０から標的画像の選択を受信するように構成することができる。いくつかの実施形態では、標的画像ユニット４２０はまた、検出ユニット４３０にも通信可能に結合されてもよい。標的画像ユニット４２０は、物体検出のために標的画像を検出ユニット４３０に送信するように構成することができる。
【0075】
検出ユニット４３０は、集積回路およびフィールドプログラマブルゲートアレイなどの適切なタイプのハードウェア、または、ステップ２６０において上述した動作を実行するように、プロセッサもしくはコントローラ上で実行可能な命令セット、サブルーチン、もしくは関数（すなわち関数プログラム）などのソフトウェアを含むことができる。検出ユニット４３０は、航空画像ユニット４１０および標的画像ユニット４２０からの領域および標的物体のＤＳＭ画像に基づいて、領域内の標的物体を検出するように構成することができる。いくつかの実施形態では、検出ユニット４３０は、ステップ２９０における前述の動作として、検出された標的物体の１つまたは複数の位置を取得するように構成することができる。いくつかの実施形態では、検出ユニット４３０はまた、ディスプレイ１６０にも通信可能に結合されてもよい。検出ユニット４３０は、ステップ２９０における前述の動作として、領域の航空画像または地図上の検出された標的物体の１つまたは複数の位置を、ディスプレイ１６０上に表示するように構成することができる。いくつかの実施形態では、検出ユニット４３０は、ステップ２９０における前述の動作として、検出された標的物体の数を計算するように構成することができる。いくつかの実施形態では、検出ユニット４３０はまた、出力１８０にも通信可能に結合されてもよい。検出ユニット４３０は、検出された標的物体の計算された数を出力１８０に送信するように構成することができる。
【0076】
いくつかの実施形態では、自動異物検出システム４００は、航空画像ユニット４１０と、標的画像ユニット４２０と、検出ユニット４３０と、測位ユニット４４０と、領域航空画像ユニット４５０と、抽出ユニット４６０と、分類認識ユニット４７０とを含むことができる。
【0077】
航空画像ユニット４１０は、ステップ７１０における前述した動作として、領域のＤＳＭ画像に対応する領域の航空画像を得るようにさらに構成することができる。
【0078】
測位ユニット４４０は、集積回路およびフィールドプログラマブルゲートアレイなどの適切なタイプのハードウェア、または、ステップ７２０において上述した動作を実行するように、プロセッサもしくはコントローラ上で実行可能な命令セット、サブルーチン、もしくは関数（すなわち関数プログラム）などのソフトウェアを含むことができる。測位ユニット４４０は、領域の航空画像上の検出された標的物体の１つまたは複数の位置を取得するように構成することができる。いくつかの実施形態では、測位ユニット４４０は、検出ユニット４３０に通信可能に結合されてもよい。測位ユニット４４０は、検出ユニット４３０から検出された標的物体を受信し、領域の航空画像上の検出された標的物体の１つまたは複数の位置を取得するように構成することができる。いくつかの実施形態では、測位ユニット４４０はまた、領域航空画像ユニット４５０にも通信可能に結合されてもよい。測位ユニット４４０は、検出された標的物体の取得された位置を領域航空画像ユニット４５０に送信するように構成することができる。いくつかの実施形態では、測位ユニット４４０はまた、分類認識ユニット４７０にも通信可能に結合されてもよい。測位ユニット４４０は、検出された標的物体の取得された位置を分類認識ユニット４７０に送信するように構成することができる。
【0079】
領域航空画像ユニット４５０は、集積回路およびフィールドプログラマブルゲートアレイなどの適切なタイプのハードウェア、または、ステップ７３０において上述した動作を実行するように、プロセッサもしくはコントローラ上で実行可能な命令セット、サブルーチン、もしくは関数（すなわち関数プログラム）などのソフトウェアを含むことができる。領域航空画像取得ユニットは、検出された標的物体の１つまたは複数の位置において１つまたは複数の領域航空画像を取得するように構成することができる。いくつかの実施形態では、領域航空画像ユニット４５０はまた、検出ユニット４３０にも通信可能に結合されてもよい。領域航空画像ユニット４５０は、検出された標的物体および／または領域の航空画像を検出ユニット４３０から受信するように構成することができる。いくつかの実施形態では、領域航空画像ユニット４５０はまた、抽出ユニット４６０にも通信可能に結合されてもよい。領域航空画像ユニット４５０は、検出された標的物体の１つまたは複数の位置における取得された領域航空画像を抽出ユニット４６０に送信するように構成することができる。いくつかの実施形態では、領域航空画像ユニット４５０はまた、分類認識ユニット４７０にも通信可能に結合されてもよい。領域航空画像ユニット４５０は、検出された標的物体の１つまたは複数の位置における取得された領域航空画像を分類認識ユニット４７０に送信するように構成することができる。
【0080】
抽出ユニット４６０は、集積回路およびフィールドプログラマブルゲートアレイなどの適切なタイプのハードウェア、または、ステップ７４０において上述した動作を実行するように、プロセッサもしくはコントローラ上で実行可能な命令セット、サブルーチン、もしくは関数（すなわち関数プログラム）などのソフトウェアを含むことができる。抽出ユニット７４０は、１つまたは複数の領域航空画像から１つまたは複数のテキスト特徴を、１つまたは複数の特徴ベクトルとして抽出するように構成することができる。いくつかの実施形態では、抽出ユニット４６０はまた、領域航空画像ユニット４５０にも通信可能に結合されてもよい。抽出ユニット４６０は、検出された標的物体の１つまたは複数の位置における取得された領域航空画像を領域航空画像ユニット４５０から受信するように構成することができる。いくつかの実施形態では、抽出ユニット４６０はまた、ユーザインターフェース１４０にも通信可能に結合されてもよい。抽出ユニット４６０は、ユーザインターフェース１４０からユーザ入力または抽出アルゴリズムの選択を受信するように構成することができる。いくつかの実施形態では、抽出ユニット４６０はまた、分類認識ユニット４７０にも通信可能に結合されてもよい。抽出ユニット４６０は、抽出された１つまたは複数の特徴ベクトルを分類認識ユニット４７０に送信するように構成することができる。
【0081】
分類認識ユニット４７０は、集積回路およびフィールドプログラマブルゲートアレイなどの適切なタイプのハードウェア、または、ステップ７５０、７６０、７７０、および７８０において上述した動作を実行するように、プロセッサもしくはコントローラ上で実行可能な命令セット、サブルーチン、もしくは関数（すなわち関数プログラム）などのソフトウェアを含むことができる。いくつかの実施形態では、分類認識ユニット４７０はまた、ユーザインターフェース１４０にも通信可能に結合されてもよい。分類認識ユニット４７０は、ユーザインターフェース１４０から複数の訓練データを得るように構成することができる。いくつかの実施形態では、分類認識ユニット４７０はまた、測位ユニット４４０にも通信可能に結合されてもよい。分類認識ユニット４７０は、検出された標的物体の取得された位置を測位ユニット４４０から受信するように構成することができる。いくつかの実施形態では、分類認識ユニット４７０はまた、領域航空画像ユニット４５０にも通信可能に結合されてもよい。分類認識ユニット４７０は、検出された標的物体の１つまたは複数の位置における取得された領域航空画像を領域航空画像ユニット４５０から受信するように構成することができる。いくつかの実施形態では、分類認識ユニット４７０はまた、抽出ユニット４６０にも通信可能に結合されてもよい。分類認識ユニット４７０は、抽出された１つまたは複数の特徴ベクトルを抽出ユニット４６０から受信するように構成することができる。
【0082】
分類認識ユニット４７０は、複数の訓練データを得るように構成することができ、訓練データは、標的物体と同じ種類の物体の複数の航空画像を含む。分類認識ユニット４７０は、複数の訓練データに基づいて分類器を訓練するようにさらに構成することができる。分類認識ユニット４７０は、１つまたは複数の特徴ベクトルに従って、訓練された分類器によって１つまたは複数の領域航空画像を分類するようにさらに構成することができる。分類認識ユニット４７０は、分類結果に基づいて、１つまたは複数の領域航空画像の中の標的物体を認識するようにさらに構成することができる。
【0083】
いくつかの実施形態では、分類認識ユニット４７０は、ステップ７９０における前述の動作として、認識された標的物体の１つまたは複数の位置を取得するようにさらに構成することができる。いくつかの実施形態では、分類認識ユニット４７０はまた、ディスプレイ１６０にも通信可能に結合されてもよい。分類認識ユニット４７０は、ステップ７９０における前述の動作として、領域の航空画像または地図上の認識された標的物体の１つまたは複数の位置を、ディスプレイ１６０上に表示するように構成することができる。いくつかの実施形態では、分類認識ユニット４７０は、ステップ７９０における前述の動作として、検出された標的物体の数を計算するように構成することができる。いくつかの実施形態では、分類認識ユニット４７０はまた、出力１８０にも通信可能に結合されてもよい。分類認識ユニット４７０は、認識された標的物体の計算された数を出力１８０に送信するように構成することができる。
【0084】
空撮画像から物体を検出するための開示されている方法およびシステムに対して様々な変更および変形がなされ得ることは、当業者には明らかであろう。本明細書を検討すること、ならびに、空撮画像から物体を検出するための開示されている方法およびシステムを実践することから、他の実施形態が、当業者には明らかであろう。本明細書および実施例は、例示的なものとしてのみ考慮され、真の範囲は、添付の特許請求の範囲およびそれらの均等物によって示されることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
