(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022176171
(43)【公開日】2022-11-25
(54)【発明の名称】航空画像からの航空機分類
(51)【国際特許分類】
G06T 7/00 20170101AFI20221117BHJP
G06V 10/70 20220101ALI20221117BHJP
【FI】
G06T7/00 640
G06T7/00 350B
G06V10/70
【審査請求】有
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022079332
(22)【出願日】2022-05-13
(31)【優先権主張番号】17/321,176
(32)【優先日】2021-05-14
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.UNIX
(71)【出願人】
【識別番号】518172901
【氏名又は名称】オービタル インサイト インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】シャスヴァット ムケシュクマール デサイ
(72)【発明者】
【氏名】カウシィク パトナイク
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096DA03
5L096FA09
5L096FA18
5L096FA64
5L096FA67
5L096KA04
(57)【要約】
【課題】航空機の分類およびサブ分類を決定するためのシステムおよび方法が開示される。
【解決手段】システムは、1つまたは複数の航空機を含む地理的領域の空撮画像を受信する。システムは、空撮画像を機械学習モデルに入力する。システムは、1つまたは複数の航空機のうちの各航空機に対して機械学習モデルから出力を受信する。各航空機に対する出力に基づいて、幾何学的測定値のセットを決定する。システムは、幾何学的測定値のセットを、幾何学的測定値の複数の既知のセットと比較する。比較に基づいて、システムは、幾何学的測定値の複数の既知のセットから幾何学的測定値の既知のセットを識別する。既知のセットは、データベースによって、サブ分類にマッピングされる。システムは、サブ分類を出力する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
実行されると、1つまたは複数のプロセッサーに動作を行わせるエンコードされた命令を有するメモリーを含む非一時的なコンピューター読取り可能媒体であって、前記命令は、
1つまたは複数の航空機を含む地理的領域の空撮画像を受信し、
機械学習モデルに前記空撮画像を入力し、
前記機械学習モデルから出力として、前記1つまたは複数の航空機のうちの各航空機に対して、
前記航空機に対応するバウンディングポリゴン、
分類、および
複数のキーポイント
を受信し、
前記機械学習モデルの前記出力に基づいて、前記1つまたは複数の航空機のうちの各航空機に対して、
前記航空機に対応する幾何学的測定値のセットを決定し、
幾何学的測定値の前記セットを、前記航空機分類に対応する幾何学的測定値の複数の既知のセットと比較し、
前記比較に基づいて、幾何学的測定値の前記複数の既知のセットから幾何学的測定値の既知のセットを識別し、前記既知のセットは、データベースによってサブ分類にマッピングされ、
前記サブ分類を出力する
ための命令を含むことを特徴とする非一時的なコンピューター読取り可能媒体。
【請求項2】
前記機械学習モデルは、少なくとも1つの航空機を含むラベル付き画像と、前記ラベル付き画像における各航空機に対して、前記航空機に対応する少なくとも1つのバウンディングポリゴンと、分類を示すラベルとを含む訓練データを用いて訓練されることを特徴とする請求項1に記載の非一時的なコンピューター読取り可能媒体。
【請求項3】
前記訓練データは、前記ラベル付き画像の複数の回転を含むように増大させられることを特徴とする請求項2に記載の非一時的なコンピューター読取り可能媒体。
【請求項4】
前記訓練データは、前記ラベル付き画像の複数の調整を含むように増大させられることを特徴とする請求項2に記載の非一時的なコンピューター読取り可能媒体。
【請求項5】
前記ラベル付き画像の前記複数の調整は、強度調整、コントラスト調整、およびジッタ調整のうちの1つまたは複数を含むことを特徴とする請求項4に記載の非一時的なコンピューター読取り可能媒体。
【請求項6】
前記命令は、
前記機械学習モデルが前記空撮画像に対する出力を提供することを失敗することに応答して、前記機械学習モデルが失敗したことをユーザーにアラートし、
前記空撮画像にラベルを付ける、前記ユーザーからのラベルインストラクションを受信し、
前記ラベル付けされる空撮画像を用いて前記機械学習モデルを再訓練する
ための命令をさらに含むことを特徴とする請求項2に記載の非一時的なコンピューター読取り可能媒体。
【請求項7】
幾何学的測定値の前記既知のセットのうちの前記幾何学的測定値は、幾何学的測定値の前記セットのうちの予め決められたしきい値の前記幾何学的測定値内にあることを特徴とする請求項1に記載の非一時的なコンピューター読取り可能媒体。
【請求項8】
幾何学的測定値の前記複数の既知のセットのうちの幾何学的測定値の各既知のセットは、複数の候補の幾何学的測定値を含み、前記命令は、
幾何学的測定値の前記既知のセットを分析して、幾何学的測定値の前記セットと比較されるときに前記複数の候補の幾何学的測定値のうちのどの候補の幾何学的測定値が前記サブ分類を一意的に識別するかを決定する
ための命令をさらに含むことを特徴とする請求項1に記載の非一時的なコンピューター読取り可能媒体。
【請求項9】
前記複数のキーポイントは、機首キーポイント、機尾キーポイント、右翼キーポイント、左翼キーポイント、および中央キーポイントを含み、幾何学的測定値の前記セットは、前記航空機の長さ、翼幅、およびスイープ角度を含み、前記サブ分類は、前記航空機の製造元およびモデルを含むことを特徴とする請求項1に記載の非一時的なコンピューター読取り可能媒体。
【請求項10】
幾何学的測定値の前記セットを決定する前記命令は、
三角形の頂点として、前記機尾キーポイントと、前記中央キーポイントと、前記右翼キーポイントまたは前記左翼キーポイントのうちの1つとにより前記三角形を形成することと、
幾何学的測定値の前記セットに基づいて、前記中央キーポイントに対応する前記頂点における前記三角形の角度に対する測定値を決定することであって、前記スイープ角度は、前記角度に三角関数的に関係される、ことと
によって前記航空機の前記スイープ角度を算出する
ための命令をさらに含むことを特徴とする請求項9に記載の非一時的なコンピューター読取り可能媒体。
【請求項11】
エンコードされた命令を有するメモリーと、
前記命令を実行すると、
1つまたは複数の航空機を含む地理的領域の空撮画像を受信することと、
機械学習モデルに前記空撮画像を入力することと、
前記機械学習モデルから出力として、前記1つまたは複数の航空機のうちの各航空機に対して、
前記航空機に対応するバウンディングポリゴン、
分類、および
複数のキーポイント
を受信することと、
前記機械学習モデルの前記出力に基づいて、前記1つまたは複数の航空機のうちの各航空機に対して、
前記航空機に対応する幾何学的測定値のセットを決定することと、
幾何学的測定値の前記セットを、前記航空機分類に対応する幾何学的測定値の複数の既知のセットと比較することと、
前記比較に基づいて、幾何学的測定値の前記複数の既知のセットから幾何学的測定値の既知のセットを識別することであって、前記既知のセットは、データベースによってサブ分類にマッピングされる、ことと、
前記サブ分類を出力することと
を含む動作を行わせられる1つまたは複数のプロセッサーと
を備えたことを特徴とするシステム。
【請求項12】
前記機械学習モデルは、少なくとも1つの航空機を含むラベル付き画像と、前記ラベル付き画像における各航空機に対して、前記航空機に対応する少なくとも1つのバウンディングポリゴンと、分類を示すラベルとを含む訓練データを用いて訓練されることを特徴とする請求項11に記載のシステム。
【請求項13】
前記訓練データは、前記ラベル付き画像の複数の回転を含むように増大させられることを特徴とする請求項12に記載のシステム。
【請求項14】
前記訓練データは、前記ラベル付き画像の複数の調整を含むように増大させられることを特徴とする請求項12に記載のシステム。
【請求項15】
前記1つまたは複数のプロセッサーは、
前記機械学習モデルが前記空撮画像に対する出力を提供することを失敗することに応答して、前記機械学習モデルが失敗したことをユーザーにアラートすることと、
前記空撮画像にラベルを付ける、前記ユーザーからのラベルインストラクションを受信することと、
前記ラベル付けされる空撮画像を用いて前記機械学習モデルを再訓練することと
をさらに含む動作を行わせられることを特徴とする請求項12に記載のシステム。
【請求項16】
幾何学的測定値の前記既知のセットのうちの前記幾何学的測定値は、幾何学的測定値の前記セットのうちの予め決められたしきい値の前記幾何学的測定値内にあることを特徴とする請求項11に記載のシステム。
【請求項17】
幾何学的測定値の前記複数の既知のセットのうちの幾何学的測定値の各既知のセットは、複数の候補の幾何学的測定値を含み、前記1つまたは複数のプロセッサーは、
幾何学的測定値の前記既知のセットを分析して、幾何学的測定値の前記セットと比較されるときに前記複数の候補の幾何学的測定値のうちのどの候補の幾何学的測定値が前記サブ分類を一意的に識別するかを決定すること
をさらに含む動作を行わせられることを特徴とする請求項11に記載のシステム。
【請求項18】
前記複数のキーポイントは、機首キーポイント、機尾キーポイント、右翼キーポイント、左翼キーポイント、および中央キーポイントを含み、幾何学的測定値の前記セットは、前記航空機の長さ、翼幅、およびスイープ角度を含み、前記サブ分類は、前記航空機の製造元およびモデルを含むことを特徴とする請求項11に記載のシステム。
【請求項19】
前記1つまたは複数のプロセッサーは、幾何学的測定値の前記セットを決定するための前記命令を実行すると、
三角形の頂点として、前記機尾キーポイントと、前記中央キーポイントと、前記右翼キーポイントまたは前記左翼キーポイントのうちの1つとにより前記三角形を形成することと、
幾何学的測定値の前記セットに基づいて、前記中央キーポイントに対応する前記頂点における前記三角形の角度に対する測定値を決定することであって、前記スイープ角度は、前記角度に三角関数的に関係される、ことと
によって前記航空機の前記スイープ角度を算出すること
を含む動作をさらに行わせられることを特徴とする請求項18に記載のシステム。
【請求項20】
1つまたは複数の航空機を含む地理的領域の空撮画像を受信することと、
機械学習モデルに前記空撮画像を入力することと、
前記機械学習モデルから出力として、前記1つまたは複数の航空機のうちの各航空機に対して、
前記航空機に対応するバウンディングポリゴン、
分類、および
複数のキーポイント
を受信することと、
前記機械学習モデルの前記出力に基づいて、前記1つまたは複数の航空機のうちの各航空機に対して、
前記航空機に対応する幾何学的測定値のセットを決定することと、
幾何学的測定値の前記セットを、前記航空機分類に対応する幾何学的測定値の複数の既知のセットと比較することと、
前記比較に基づいて、幾何学的測定値の前記複数の既知のセットから幾何学的測定値の既知のセットを識別することであって、前記既知のセットは、データベースによってサブ分類にマッピングされる、ことと、
前記サブ分類を出力することと
を備えることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、航空画像(aerial imagery)を処理することに関し、特に、航空画像からの航空機分類に関する。
【背景技術】
【0002】
航空画像から乗り物(航空機、自動車、トラック、ボート、船、他のタイプの乗り物等)を分類できる能力は、多くのシナリオにおいて価値のあるリソースであり得る。例えば、どのタイプの航空機が、特定のロケーション、たとえば空港、飛行場、基地、または航空母艦上などに位置されるかを決定することは、検出および/または監視活動の助けとなることがある。
【0003】
航空画像から乗り物を分類するのに用いられる従来の手順は、乗り物を手動により分類すること、および/または乗り物を分類する既存の人工知能(AI)の手順を利用することを含むことがある。手動分類は、引き受ける個人にとって、骨の折れる仕事であり、時間のかかる仕事である。数十から数百の乗り物が、単一の空撮画像(aerial image)に捉えられることがあり(例えば、空港の画像は、数百の航空機を含むことがある)、個人が画像の中の各乗り物を分析し分類することは、数時間、もしかすると数日を必要とすることが可能である。加えて、個人は、1つの乗り物を別の乗り物と区別することがあるサイズ、形状、および/または色が、乗り物がとても小さく現れる空撮画像において見分けることが困難であるので、類似して見える乗り物を見分ける特殊化された訓練を要するだろう。例えば、乗り物、たとえば航空機などは、5メートルの空間分解能を有する空撮画像において、数ピクセルだけ(例えば、縦5ピクセル横2ピクセル)により描かれることがある。空撮画像に捉えられた乗り物を手動により分類するために、個人は、各乗り物を、数百を超える異なった分類とサブ分類(sub-classification)の組み合わせとに分類するために、空撮画像においてとても細かい細部を識別するように訓練されなければならないだろう。加えて、多くの場合、手動分類は、航空画像の良くない画質、および/または照明の違い、地形の違い、航空画像における季節の違いのために、誤りのあることが可能である。
【0004】
既存のAIの手順は、捉えた画像に現れる乗り物がいかに小さいか、および/またはいかに良くない画質かのために、空撮画像に捉えられた乗り物を自動的に分類するのには不十分である。乗り物は、画像の中のいくつかのまたはすべての乗り物をわかりにくくする画像における小さいサイズ、および/または良くない画質のために、見分けることができないことが可能である。ゆえに、AIモデルは、誤りのある分類を出力する、または画像に捉えられた乗り物を分類できないことがある。加えて、著しく大きなトレーニングセットは、画像に捉えられる与えられた乗り物に対する多くの可能性がある分類のために、AIモデルを十分に学習させる必要がある。大きなトレーニングセットを生成するコスト(時間、かね、リソース等)は、あらゆる利点にまさることが可能である。
【0005】
既存の技術は、広範囲にわたる航空画像の中の乗り物を、正確におよび能率的なやり方において分類するのには不十分である。ゆえに、既存の技術を用いることによる乗り物の分類は、誤りのあることがある、および/または、分類から導出される価値あるインテリジェンスに対して決定されるのには遅すぎることがある。
【発明の概要】
【0006】
航空画像に捉えられた乗り物の分類を自動化するためのシステムおよび処理が、本明細書に開示される。例示的な態様では、システムおよび処理は、衛星画像(航空画像)に捉えられる航空機(乗り物)を迅速に正確に分類する。空撮画像に捉えられる各乗り物に関する(例えば、各航空機に関する)意味のある情報を識別して提供する機械学習モデルを含む、技術的な改良が本明細書に開示される。さらに、情報は、ヒューリスティックベースのアプローチを介してシステムによって分析されて、各乗り物に対して幾何学的測定値(geometric measurements)のセットを決定する。幾何学的測定値のセットは、データベースに格納された幾何学的測定値の既知のセットと比較される。比較は、各乗り物の一意的なサブ分類(例えば、製造元およびモデル)を提供する。例示的な態様によって開示されるのは、航空イメージングデバイス(aerial imaging device)からの空撮画像を分析して、画像における各乗り物を分類するためのコンピュータープログラム製品(例えば、1つまたは複数のプロセッサーによって実行可能な命令を格納する非一時的なコンピューター読取り可能記録媒体)、方法、および/またはシステムである。
【0007】
1つの例示的な態様では、1つまたは複数の航空機を含む地理的領域の空撮画像を受信する航空機分類システムが開示される。さらに、航空機分類システムは、空撮画像を機械学習モデルに入力する。1つまたは複数の航空機のうちの各航空機に対して、航空機分類システムは、機械学習モデルからの出力を受信する。出力は、航空機に対応するバウンディングポリゴン(bounding polygon)、分類、および複数のキーポイントを含む。1つまたは複数の航空機の各航空機に対して、および機械学習モデルの出力に基づいて、航空機分類システムは、航空機に対応する幾何学的測定値のセットを決定し、幾何学的測定値のセットを、分類に対応する幾何学的測定値の複数の既知のセットと比較し、比較に基づいて、幾何学的測定値の複数の既知のセットから幾何学的測定値の既知のセットを識別する。既知のセットは、データベースによって、サブ分類にマッピングされる。航空機分類システムは、サブ分類を出力する。
【0008】
開示される態様は、詳細な説明、添付の特許請求の範囲、および添付の図面(または線描)からよりただちに明らかになる利点および特徴がある。図面の簡単な導入は以下である。
【図面の簡単な説明】
【0009】
【
図1】一態様に係る航空機を分類するための例示的なシステムを示す図である。
【
図2】一態様に係る航空機分類システムのブロック図である。
【
図3】一態様に係る
図2の機械学習モデルのためのデータフロー図を示す図である。
【
図4】マシン読取り可能媒体から命令を読み、プロセッサーまたはコントローラーにおいて実行することができる例示的なマシンの構成要素を例示するブロック図である。
【
図5】一態様に係る航空機分類システムを用いて航空機を分類するための処理を例示するフロー図である。
【発明を実施するための形態】
【0010】
図面(FIG.)および後に続く説明は、例示のみとして、望ましい態様に関係がある。後に続く議論から、本明細書に開示される構造および方法の代替態様は、特許請求の範囲の原則から逸脱することなく利用されることがある実行可能な代替としてただちに認められるだろうということは特筆されるだろう。
【0011】
ところで、参照は、添付の図面に例示されている、いくつかの態様、例に対して詳細になされるだろう。実際に使用できるときはどこでも、類似したまたは同様の参照符号は、図面において用いられることがあり、類似したまたは同様の機能性を示すことがあるということが特筆される。図面は、説明の目的のためにのみ、開示されたシステム(または方法)の態様を描く。当業者であれば、後に続く説明から、本明細書に例示される構造および方法の代替態様が、本明細書に説明される原理から逸脱することなく、利用されることがあることをただちに認めるだろう。
【0012】
例示的なシステム環境
図(FIG.)1は、態様に係る航空機を分類するための例示的なシステムを示す図である。
図1に示される例示的なシステム環境は、航空イメージングデバイス110と、1つまたは複数の航空機105を含む地理的領域115と、空撮画像データストア130、航空機データストア140、および航空機分類アナライザー150を有する航空機分類システム120とを含むことがある。
【0013】
航空イメージングデバイス110は、地理的領域115の1つまたは複数の空撮画像を捉える。例えば、航空イメージングデバイス110は、特定の時間に静止画像を捉えることがある、または一定期間にわたって一連の画像を捉えることがある。いくつかの態様では、航空イメージングデバイス110は、可視光を捉えることがある。加えてまたは代わりに、航空イメージングデバイス110は、非可視光(例えば、赤外光)を捉えることがある、ただし、オプションとして、非可視光は、(例えば、放射強度に対応するヒートマップを用いて)画像に変換されることがある。航空イメージングデバイス110は、衛星、飛行機、気球、ドローン、または地理的領域115の上からの眺めを提供する他のデバイスに関連付けられたどんなイメージングデバイスでもあり得る。航空イメージングデバイス110は、地理的領域115おいて、1つまたは複数の航空機105の1つまたは複数の空撮画像を捉える。1つまたは複数の航空機105は、静止している、または動いていることがある。捉えた画像は、種々の空間分解能の画像であり得る。航空イメージングデバイス110は、空撮画像データストア130に格納するために、捉えた画像を航空機分類システム120に送信する。捉えた画像は、1つまたは複数の航空機105のほかに種々の他の物体を含むことがある。例えば、画像は、他の乗り物(例えば、車、トラック等)、建物、動物、および/または、人を含むことがある。
【0014】
航空機105は、飛行の性能があるどんな乗り物でもあり得る。航空機105の例は、飛行機、気球、ヘリコプター、飛行船、グライダー、パラモーター等を含む。航空機105、たとえば飛行機などは、フォワードススイープ(forward-sweep)翼またはバックスイープ(back-sweep)翼を含むことがある。航空イメージングデバイス110によって捉えられた空撮画像は、航空機105をいくつでも含むことがある。航空機105は、分類およびサブ分類により各航空機105を分類にすることによって、見分けることができることがある。航空機105に対する分類は、航空機のタイプに対応することがある。例えば、航空機105に対する分類は、爆撃機、戦闘機、ヘリコプター、小型航空機、大型の民間用、および大型の軍用を含むことがある。航空機105に対するサブ分類は、航空機のモデルに対応することがある、または航空機の製造元およびモデルに対応することがある。例えば、航空機105に対するモデルは、航空機の名称、ならびに/または製造業の名称および製造年に対応することがあり、航空機の製造元は、航空機の製造業者に対応することがある。サブ分類は、例えば、LOCKHEED MARTIN(登録商標) F-16、B-52、BOEING 737(登録商標)等であり得る。空撮画像に捉えられる各航空機105に対する分類およびサブ分類は、以下にさらに詳細に説明されている航空機分類システム120によって決定される。
【0015】
地理的領域115は、表面上の領域であり、領域内のすべての遮断されていない特徴(自然および人工)を含む。航空機105の遮断されていない特徴は、航空機105が識別可能であるように、航空イメージングデバイス110に見える(例えば、航空イメージングデバイス110の視野内に)十分な特徴を提供する。例えば、航空機105の半分は、飛行機の格納庫の下に位置され(格納庫によって遮断される)、残りの半分は、飛行機の格納庫の外に位置される(格納庫によって遮断されない)。地理的領域115内の遮断されていない特徴は、飛行機の格納庫の外に位置され、航空イメージングデバイス110に見える航空機105の半分を含む。地理的領域115の定義は、例えば、アプリケーションプログラミングインターフェース(API)またはグラフィカルユーザーインターフェース(GUI)を用いることによって、リクエスタ、たとえばユーザーまたはサードパーティエンティティ(third-party entity)などにより、航空機分類システム130に提供されることがある。地理的領域115は、表面上の閉じた境界によって定義されることがある。閉じた境界自体は、地理的座標、たとえば経度および緯度の指標などを用いて示されることがある、種々の連結された地理的マーカーを用いて定義されることがある。代わりに、地理的領域115は、閉じた境界を説明するベクトルのセットによって定義されることがある。ときには、地理的領域115は、複数の閉じた境界を用いて定義されることがあり、各閉じた境界は、上述された方法のうちの1つを用いて定義される。別の態様では、地理的領域115は、地図学的な指標、すなわち、地表上の境界のある領域の、一般的に、慣例的に、行政的に、または法的に合意された指標を用いて定義される。例えば、今述べた地図学の指標は、絶対または百分率にて地図学の指標から定義されることがある、地図学の指標を越える(または範囲内の)、許容誤差の領域を加えてまたは引いて、ポイントオブインタレスト、ランドマーク、住所、郵便番号、市/町/村、大都市圏、地方、州/郡、空港、飛行場、街区、自治体として認可されていない領域、地図学的なの指標を囲む地域などを含むことがある。いくつかの態様では、地図学的な指標を囲む地域は、デフォルトの量(例えば、指標の周りのデフォルトの半径)によって定義されることがある。いくつかの態様では、地図学的な指標を囲む地域は、リクエスタによって定義された値に基づいて算出されることがある。例えば、地図学的な指標が住所であり、リクエスタにより定義される値が1マイルである場合、地図学的な指標を囲む地域は、住所を中心とした半径1マイルである。
【0016】
地理的領域115は、情報、たとえば地理的領域115内に位置される各航空機105に対するサブ分類などが、リクエスタに対してポイントオブインタレストである地理的なロケーションを表す。例えば、リクエスタは、本発明の一部として、航空機105に対して分類およびサブ分類を決定することのメカニズムに基づいて、監視目的のために特定のロケーション(例えば、飛行場、空港、軍事基地、航空母艦等)に、以前にまたは現在、位置される航空機が何かを決定することに興味をもっていることがある。別の例では、リクエスタは、空港に、以前にまたは現在、位置される航空機105に対するサブ分類決定に基づいて、空港に対する移動に関する情報(例えば、移動統計)を決定することに興味をもっていることがある。
【0017】
地理的領域115は、上に説明されている、説明の目的のために
図1において点線の長方形によって仕切られているように示されるが、いろいろな方法を用いて定義されることがあり、示されている長方形のボックスに対応しないことがある。今述べたことは、図で示してまたは逐語的に、示されることがある。
【0018】
捉えられる空撮画像(複数可)の送信に加えて、航空イメージングデバイス110は、空撮画像データストア130における格納のために、空撮画像(複数可)に捉えられる地理的領域115に対するロケーション情報を航空機分類システム120に送信する。いくつかの態様では、航空イメージングデバイス110は、たとえば、捉えられた画像の時刻(例えば、ローカルタイムまたは世界時/GMT)、画像キャプチャにおけるデバイス110の地理空間的なおよび/または地理的なロケーション、画像キャプチャの間の表面法線に関するデバイス110の角度、画像の空間分解能、GSD(ground sample distance)など、それ自体に関するメタデータを空撮画像データストア130に送信することがある。地理空間的なおよび/または地理的なロケーションは、地理的座標、例えば、緯度、経度、または他の方法、たとえば上に説明されている地理的領域115を定義するのに用いられるものなどを用いて示されることがある。現在時刻は、様々なレベルの正確度、例えば、ミリ秒、秒、分、または日のレベルの正確度において表示されることがある。例えば、現在時刻は、Unixの時刻フォーマットを用いて64ビットの整数において示されることがある。
【0019】
航空機分類システム120は、各航空機105に対してサブ分類を決定することによって、空撮画像に捉えられる1つまたは複数の航空機105を分類する。一態様では、航空機分類システム120は、空撮画像データストア130、航空機データストア140、および航空機分類アナライザー150を含む。種々の態様では、航空機分類システム120は、より少ないまたは追加の構成要素を含むことがある。
【0020】
いくつかの態様では、航空機分類システム120は、航空イメージングデバイス110が特定の地理的領域115の1つまたは複数の空撮画像を捉えることを求めることがある。航空機分類システム120は、空撮画像、空撮画像に捉えられる地理的領域に対するロケーション情報、および/または空撮画像を捉えられた航空イメージングデバイス110に関するメタデータを、航空イメージングデバイス110に求め、今述べた情報を空撮画像データストア130に格納する。いくつかの態様では、航空機分類システム120は、今述べた情報を周期的に(例えば、毎日、毎週、毎月、四半期ごと等)求める。
【0021】
空撮画像データストア130は、航空イメージングデバイス110から受信したデータを格納する。データは、捉えられた空撮画像、各画像に捉えられた地理的領域115に関するロケーション情報、および/またはデバイス110のメタデータを含むことがある。例えば、空撮画像データストア130の中の各エントリは、捉えられた空撮画像と、空撮画像に捉えられた地理的領域115に対して対応するロケーション情報と、画像を捉えたデバイス110に対応する航空イメージングデバイス110のメタデータとを含むことがある。空撮画像データストア130は、複数のラベル付き空撮画像(labeled aerial image)を含む追加のデータを格納する。ラベル付き空撮画像は、訓練データとして用いられることがある。複数のラベル付き空撮画像は、航空機分類アナライザー150によって、またはサードパーティエンティティによって、提供されることがある。どんなデータでも、空撮画像データストア130に無期限に格納されることがある、または特定の時間量(例えば、1年間、2年間等)に対して格納されることがある。
【0022】
航空機データストア140は、航空機分類情報を格納する。航空機分類情報は、空撮画像に捉えられた各航空機105に対してサブ分類を決定するために、航空機分類アナライザー150によって用いられることがある。情報は、分類、サブ分類、および幾何学的測定値の既知のセットを含む航空機に関する属性を含むことがある。幾何学的測定値の既知のセットは、たとえば種々の長さの測定、幅の測定、および角度の測定など、航空機を説明する種々の幾何学的測定値を含むことがある。航空機データストア140の中の情報のうちのいくつかまたはすべては、サードパーティエンティティ(例えば、軍事データベース、商業的に利用可能なデータベース等)から検索されることがある。どんなデータでも、航空機データストア140に無期限に格納されることがある、または特定の時間量(例えば、1年間、2年間等)に対して格納されることがある。
【0023】
航空機分類アナライザー150は、空撮画像に捉えられる航空機105を分類する。いくつかの態様では、航空機分類アナライザー150は、受信され、空撮画像データストア130に格納されたすべての捉えられた空撮画像を自動的に分類する。いくつかの態様では、航空機分類アナライザー150は、特定の地理的領域115に関連付けられた(例えば、リクエスタによって指定されている)すべての捉えられた空撮画像を自動的に分類する。いくつかの態様では、航空機分類アナライザー150は、ある空撮画像(例えば、リクエスタによって指定されている特定の時間(複数可)に捉えられる特定の地理的領域115の空撮画像)を分類する。
【0024】
空撮画像に捉えられる航空機105を分類するために、航空機分類アナライザー150は、空撮画像データストア130に捉えられる空撮画像を求める。例えば、航空機分類システム120のユーザーは、特定の地理的領域115について捉えられた画像が航空機分類アナライザー150によって分析されることを求めることがある。ユーザーは、地理的領域115を指定する地理的座標を提供することがあり、いくつかの態様では、捉えられる空撮画像を求めるときの関心のある特定のキャプチャ時間を提供することがある。航空機分類アナライザー150は、ユーザーによって提供された基準を満たす空撮画像データストア130から空撮画像を受信する。いくつかの態様では、航空機分類アナライザー150は、ユーザー指定の基準(例えば、座標および/または時間)を満たす、空撮画像データストア130からの2つ以上の空撮画像を受信することがある。今述べた態様では、航空機分類アナライザー150は、再検討および承認のために、空撮画像をユーザーに提供することがある。例えば、ユーザーは、航空機分類アナライザー150によってさらに処理される空撮画像を選択する。空撮画像に加えて、航空機分類アナライザー150は、対応する空撮画像を捉えられた航空イメージングデバイス110に関する対応するメタデータを含む空撮画像に関して他の関連情報をユーザーに提供することがある。いくつかの態様では、航空機分類アナライザー150は、再検討および承認のためにユーザーに画像を与える前に、空撮画像の種々の前処理を行うことがある。例えば、航空機分類アナライザー150は、地理的領域115の2つの空撮画像をパンシャープン(pansharpen)して、地理的領域の単一の高分解能カラー画像を作成することがあり、空撮画像にオルソレクチフィケーション(orthorectification)を行うことがあり、空撮画像に存在する雲量(例えば、画像の総面積と比較した雲量領域の百分率)の量を決定すること等がある。
【0025】
航空機分類アナライザー150は、提供されたまたはユーザー選択された空撮画像を、機械学習モデルを介して分析して、画像に存在する各航空機105を識別する。航空機分類アナライザー150は、機械学習モデルからの出力に基づいて、空撮画像に存在する各航空機105に対する幾何学的測定値のセットを決定し、各航空機105に対する幾何学的測定値のセットを、航空機データストア140に格納された幾何学的測定値の既知のセットと比較して、各航空機105に対してサブ分類を決定する。航空機分類アナライザー150に関する追加の詳細は、
図2を参照して以下に説明される。
【0026】
航空機分類システム120を用いることによって、リクエスタは、空撮画像内に識別される各航空機105に対するモデル(例えば、サブ分類)を、より正確に決定することが可能である。今述べたデータは、特定の地理的領域115に対して、どのモデルの航空機105が存在するか、どのモデルの航空機105が特定の時間に存在したかに関して、特定のモデルの航空機105がどれぐらい存在するか、特定のモデルの航空機105が特定の時間にどれぐらい存在したか、および/または特定のモデルの航空機105が時間期間にわたって(例えば、数時間、数日間等にわたって)どれぐらい存在したかに関する価値ある情報を決定するのに用いられることがある。さらに、今述べた情報は、求めている関係者によって、監視、シッピング、および/または輸送および移動に関係した追加情報を決定するために利用されることがある。
【0027】
別の例示的な態様(図示せず)では、システムは、空撮画像に捉えられる他の乗り物を分類することがある。例えば、システムは、自動車(例えば、車、トラック等)を分類することがある。別の例では、システムは、船舶(例えば、ボート、船等)を分類することがある。別の例では、システムは、航空機、自動車、および船舶を分類することがある。自動車を分類するどんなシステムに対してでも、自動車データストアが含まれることがある。自動車データストアは、自動車分類情報、たとえば、自動車に対する分類、サブ分類、および幾何学的測定値の既知のセットなどを格納する。例えば、分類は、たとえば、トラック、ジープ、セダン、コンパクト、SUV等の自動車のタイプを説明することがあり、サブ分類は、たとえば、HONDA CIVIC(登録商標)、TOYOTA CAMRY(登録商標)等の自動車に対する製造元およびモデルであることがあり、幾何学的測定値の既知のセットは、自動車の種々の長さおよび幅を含むことがある。船舶を分類するどんなシステムに対してでも、船舶データストアが含まれることがある。船舶データストアは、船舶分類情報、たとえば、船舶に対する分類、サブ分類、および幾何学的測定値の既知のセットなどを格納する。例えば、分類は、たとえば、モーターボート、双胴船、クルーザー、駆逐艦等の船舶のタイプを説明することがあり、サブ分類は、Farrier Marine F-45、OCEANCO(登録商標) Jubilee、Gulf Craft Majesty 122、INGALLS SHIPBUILDING Ticonderoga等の船舶に対する製造元およびモデルであることがあり、幾何学的測定値の既知のセットは、船舶の種々の長さおよび幅を含むことがある。
【0028】
乗り物分類アナライザーは、空撮画像データストア130から空撮画像を受信し、画像に存在する各乗り物(例えば、自動車、船舶、航空機等)を識別する機械学習モデルを介して、提供された空撮画像を分析する。乗り物分類アナライザーは、機械学習モデルからの出力に基づいて、空撮画像に存在する各乗り物に対する幾何学的測定値のセットを決定し、各乗り物に対する幾何学的測定値のセットを、自動車データストア、船舶データストア、および/または航空機データストア140に格納された幾何学的測定値の既知のセットと比較して、各乗り物に対してサブ分類を決定する。どの乗り物が、特定の地理的領域115、たとえば、建物、駐車場、工場、ドック、港、または他のロケーションなどに位置されるか、および/または以前に位置されたかに対してサブ分類を決定することは、監視、追跡すること、シッピングに関する情報を決定すること、移動に関する情報を決定すること、輸送に関する情報を決定すること等の助けとなることがある。
【0029】
例示的な航空機分類システム
図2は、態様に係る航空機分類システムのブロック図である。
図2に描かれている、航空機分類システム120は、
図1に描かれた特徴を含み、航空機分類アナライザー150は、機械学習モデル210、測定決定エンジン220、サブ分類決定エンジン230、および通信エンジン240を含む。
図2に描かれたモデル、エンジン、およびデータストアは、単に典型であり、より少ないまたは追加の構成要素が、本明細書に説明される機能性を達成するのに用いられることがある。さらにその上、航空機分類システム120およびその構成要素は、データネットワークによって連結された複数のサーバーおよび/またはデバイスを使って分散されることがある。
【0030】
航空機分類システム120は、空撮画像を機械学習モデル210に入力し、機械学習モデル210の出力に基づいて各航空機に対応する幾何学的測定値のセットを決定し、各航空機に対してサブ分類(例えば、製造元およびモデル)を決定することによって、空撮画像(例えば、衛星画像)に捉えられる1つまたは複数の航空機を分類する。サブ分類は、航空機分類システム120のユーザーに、(例えば、アプリケーションプログラミングインターフェース(API)またはグラフィカルユーザーインターフェース(GUI)を介して)出力される。示されている、航空機分類システム120は、空撮画像データストア130、航空機データストア140、および航空機分類アナライザー150を含む。航空機分類アナライザー150は、機械学習モデル210、測定決定エンジン220、サブ分類決定エンジン230、および通信エンジン240を含む。種々の態様では、航空機分類システム120および/または航空機分類アナライザー150は、
図2に示されていないより少ないまたは追加の構成要素を含むことがある。例えば、航空機分類アナライザー150は、機械学習モデル210に画像を入力する前に、空撮画像をフィルタリングするフィルタリングエンジンを含むことがある。上に説明されている、フィルタリングエンジンは、空撮画像のパンシャープン、オルソレクチフィケーション、または空撮画像に存在する雲量に関する分析を行うことがある。いくつかの態様では、航空機分類システム120および/または航空機分類アナライザー150の機能は、説明されるのとは異なるやり方にて構成要素間に分散されることがある。
【0031】
上に説明されている、航空機分類アナライザー150は、航空機分類システム120の動作を制御する。例えば、航空機分類アナライザー150は、空撮画像データストア130から空撮画像を受信し、機械学習モデル210に画像を入力する。いくつかの態様では、航空機分類システム120のユーザーは、分析するために、航空機分類アナライザー150に命令して、空撮画像データストア130から特定の空撮画像を求めさせることがある。例えば、ユーザーは、座標をまたは他のタイプのロケーション識別子を航空機分類アナライザー150に提供することによって、特定の地理的領域115の空撮画像を求めることがある。別の例では、ユーザーは、特定の時間に捉えられた特定の地理的領域115の空撮画像を求めることがある。別の例では、ユーザーは、特定の地理的領域115の複数の空撮画像のうちのどの空撮画像が、航空機分類アナライザー150によってさらに処理されることになるかを再検討し選択することがある。航空機分類アナライザー150は、空撮画像データストア130からの受信された空撮画像またはユーザー選択された空撮画像を分析し、空撮画像に捉えられた各航空機に対するサブ分類をユーザーに提供する。
【0032】
空撮画像の分析を行うために、航空機分類アナライザー150の機械学習モデル210は、入力として空撮画像を受信し、画像の中の各航空機に対して、バウンディングポリゴン、分類、および複数のキーポイントを出力する。バウンディングポリゴンは、空撮画像において航空機を取り囲む2次元の形状である。分類は、航空機のタイプを説明する。分類は、爆撃機、戦闘機、ヘリコプター、小型航空機、大型の民間用、大型の軍用を含むことがある。複数のキーポイントは、航空機のある部位を指定する。各キーポイントは、空撮画像のピクセルロケーション(例えば、x座標およびy座標)における空撮画像に位置される。例えば、キーポイントは、画像座標(100,100)において位置されることがある。いくつかの態様では、複数のキーポイントは、5つのキーポイントを含むことがある。キーポイントは、機首キーポイント、中央キーポイント、左翼キーポイント、右翼キーポイント、および機尾キーポイントを含むことがある。例えば、機首キーポイントは、航空機の機首を含む航空機のピクセルロケーションに位置される。いくつかの態様では、機械学習モデル210は、空撮画像に含まれる各航空機に対して、バウンディングポリゴン、分類、および複数のキーポイントを有する入力空撮画像(input aerial image)を出力する。例えば、各航空機に対するバウンディングポリゴン、分類、および複数のキーポイントは、元の空撮画像の上にかぶせるまたは元の空撮画像に含められることがある。本態様は、
図3においてさらに詳細に説明される。
【0033】
機械学習モデル210は、画像内のどのピクセルが航空機に対応するかを予測するために訓練される。例えば、機械学習モデル210は、既知のオブジェクト認識技法を用いて、空撮画像に捉えられる物体(例えば、航空機、建物等)を識別することがある。画像内のどのピクセルが航空機に対応するかを予測することによって、機械学習モデル210は、それらのピクセルに対応するバウンディングポリゴン、分類、および複数のキーポイントを決定することが可能である。機械学習モデル210は、ラベル付き空撮画像を含む訓練データを用いて訓練されることがある。訓練データは、空撮画像データストア130に格納されることがある。各ラベル付き空撮画像は、少なくとも1つの航空機を含む。ラベル付き画像(labeled image)の中の各航空機に対して、ラベル付き画像は、対応するバウンディングポリゴンと、分類を示すラベルとを少なくとも含む。いくつかの態様では、さらに、ラベル付き空撮画像は、各航空機に対して複数のキーポイントを含むことがある。ラベル付き空撮画像における複数のキーポイントは、どのキーポイントが、機首キーポイント、中央キーポイント、左翼キーポイント、右翼キーポイント、および機尾キーポイントであるかを指定することがある。いくつかの態様では、訓練データは、航空機の各分類に対して(例えば、百のオーダーの)複数のラベル付き画像を含む。
【0034】
機械学習モデル210の訓練の間、訓練データは、ラベル付き画像の複数の回転、および/またはラベル付き画像の複数の調整を含むように増大させられることがある。複数の回転は、機械学習モデル210が、訓練されて、画像の中の平面における航空機の向きにかかわらず、どのピクセルが航空機に対応するかを識別するように、ラベル付き画像を平面において回転させることがある。複数の調整は、ラベル付き画像の画質を増大させることがある。例えば、複数の調整は、強度調整、コントラスト調整、および/または、ジッタ調整を含むことがある。強度調整は、ラベル付き画像内のいくつかまたはすべてのピクセルを明るくするまたは暗くする。コントラスト調整は、ラベル付き画像内のいくつかまたはすべてのピクセルの色における違いを増加させるまたは減少させる。ジッタ調整は、いくつかまたはすべてのピクセルを隣接したピクセルと取り換える(例えば、第1のピクセルは、第1のピクセルの指定された半径内にある隣接したピクセルと取り換えられる)。訓練データの中のラベル付き画像の強度、コントラスト、および/またはジッタを調整することによって、機械学習モデル210は、空撮画像に捉えられることがあるどんな照明の違いにも、どんな地形の違いにも、どんな天候の違いにも、および/またはどんな季節の違いにもかかわらず、どのピクセルが航空機に対応するかを識別するように訓練される。
【0035】
機械学習モデル210の動作の間、機械学習モデル210は、入力として、航空機分類アナライザー150のフィルタリングエンジンによってフィルタリングされた空撮画像を受信することがある。フィルタリングエンジンは、空撮画像にフィルタを適用して、画像の空間分解能を特定の空間分解能であるように調整することがある。特定の空間分解能は、機械学習モデル210が訓練された空間分解能である(例えば、訓練データは、単独の特定の空間分解能のラベル付き空撮画像を含んでいた)。例えば、フィルタリングエンジンは、フィルタを適用して、画像の空間分解能をピクセルごとに0.5mであるように(特定の空間分解能)調整することがある。別の態様では、フィルタエンジンは、特定の空間分解能でない空撮画像、または少なくともしきい値の空間分解能でない空撮画像をフィルタすることがある。例えば、フィルタリングエンジンは、機械学習モデル210に入力される前の空撮画像(複数可)を監視し、フィルタリングエンジンが、ピクセルごとに少なくとも0.5m(しきい値空間分解能)でない画像を決定するならば、フィルタリングエンジンは、画像を機械学習モデル210に入力しない。
【0036】
機械学習モデル210は、入力空撮画像に対して、各航空機が画像においてどこに位置されるかを識別し、識別された各航空機を取り囲むバウンディングポリゴンを決定する。機械学習モデル210は、ニューラルネットワーク、深層学習モデル、畳み込みニューラルネットワーク等であり得る。いくつかの態様では、機械学習モデル210は、複数のキーポイントを識別するバウンディングポリゴン内の画像の領域に、既知の画像処理技法を利用することがある。キーポイントは、空撮画像の航空機のピクセルロケーションに位置され、複数のキーポイントは、バウンディングポリゴン内に含まれるだろう。
【0037】
いくつかの態様では、機械学習モデル210は、空撮画像に出力を提供することに失敗することがある。例えば、機械学習モデル210は、出力の信頼に対応する確率を出力することがある。空港分類アナライザー150は、確率をしきい値確率と比較することがある。しきい値確率は、ユーザーによって指定されることがある、またはシステムのデフォルト値であり得る。確率がしきい値確率未満であるならば、通信エンジン240を介して航空機分類アナライザー150は、機械学習モデル210が失敗したという、ユーザーへのアラートを提供することがある。別の例では、機械学習モデル210は、航空機に対して、バウンディングポリゴンに対応する確率、分類に対応する確率、および複数のキーポイントに対応する確率を出力することがある。各確率は、対応するしきい値の確率と比較されることがある。確率のうちのいずれか1つがその対応するしきい値確率未満であるならば、通信エンジン240を介して航空機分類アナライザー150は、機械学習モデル210が失敗したという、ならびに、バウンディングポリゴン、分類、および/または複数のキーポイントのうちのどれが具体的に失敗したかの、ユーザーへのアラートを提供することがある。いくつかの態様では、ユーザーは、通信エンジン240を介して、空撮画像に手動によりラベル付けすることがある。機械学習モデル210は、ユーザーからラベルインストラクション(label instruction)を受信し、手動によりラベル付けされた空撮画像を用いて機械学習モデル210を再訓練することがある。例えば、手動によりラベル付き空撮画像は、訓練データに追加され、空撮画像データストア130に格納される。
【0038】
測定決定エンジン220は、機械学習モデル210からの出力に基づいて、空撮画像の中の各航空機に対して幾何学的測定値のセットを決定する。例えば、測定決定エンジン220は、機械学習モデル210からの出力を受信し、航空機に対応する複数のキーポイントを分析する。測定決定エンジン220は、航空機に対応する複数のキーポイントと、空撮画像の空間分解能とに基づいて、航空機に対して幾何学的測定値のセットを決定する。幾何学的測定値のセットは、航空機に対して、実世界の幾何学的測定値に対応することがある。いくつかの態様では、幾何学的測定値のセットは、航空機の長さ、航空機の翼幅、および航空機のスイープ角度(sweep angle)のうちの1つまたは複数を含むことがある。いくつかの態様では、幾何学的測定値のセットは、追加の測定、たとえば、翼の幅、機尾の幅、航空機の中央から機首までの長さ、航空機の中央から機尾までの長さ、および/または航空機を説明する他の適切な幾何学的測定値などを含むことがある。
【0039】
測定決定エンジン220は、航空機の機首キーポイントと機尾キーポイントとの間の距離を決定し、距離に空撮画像の空間分解能を乗じることによって、航空機の長さを算出することがある。同様に、測定決定エンジン220は、右翼キーポイントと左翼キーポイントとの間の距離を決定し、距離に空間分解能を乗じることによって、航空機の翼幅を算出することがある。測定決定エンジン220は、機尾キーポイントと、中央キーポイントと、右翼キーポイントまたは左翼キーポイントのうちの1つとによって、三角形の頂点として、三角形を形成することによって、航空機に対して、スイープ角度(例えば、後退スイープ角度(backward sweep angle))を決定することがある。測定決定エンジン220は、中央キーポイントに対応する頂点における三角形の角度に対して測定値を算出する。測定決定エンジン220は、三角形に余弦法則を適用することによって角度を決定する。その角度は、スイープ角度と三角関数的に関係される。例えば、スイープ角度は、90度引くその角度である。
【0040】
例示的な実装では、測定決定エンジン220は、機械学習モデル210から、画像に存在する航空機に対する複数のキーポイントにより覆われた入力された空撮画像と、航空機に対する戦闘機の分類とを、出力として受信する。機首キーポイントはピクセル座標(100,100)に位置され、中央キーポイントはピクセル座標(85,90)に位置され、左翼キーポイントはピクセル座標(75,95)に位置され、右翼キーポイントはピクセル座標(90,70)に位置され、機尾キーポイントはピクセル座標(70,75)に位置される。入力された空撮画像に対する空間分解能は、ピクセルごとに0.5mである。測定決定エンジン220は、航空機の長さ、翼幅、および航空機に対するスイープ角度を算出する。測定決定エンジン220は、19.5mである長さと、14.5mである翼幅と、およそ31度であるスイープ角度とを決定する。
【0041】
いくつかの態様では、測定決定エンジン220は、機械学習モデル210から出力を受信し、翼のタイプを決定する。例えば、測定決定エンジン220は、複数のキーポイントのピクセルロケーションによって決まる、フォワードスイープかバックスイープかのいずれかである左翼(または右翼)のタイプを決定する。別の例では、測定決定エンジン220は、複数のキーポイントに基づいて尾翼のタイプを決定する。今述べた例では、機械学習モデル210によって識別される複数のキーポイントは、航空機の尾翼の種々の先端を指定する追加のキーポイントを含むことがある。
【0042】
サブ分類決定エンジン230は、空撮画像において機械学習モデル210によって識別された各航空機に対して、サブ分類を決定する。いくつかの態様では、サブ分類決定エンジン230は、ヒューリスティックアプローチを利用して、各航空機に対してサブ分類を決定する。いくつかの態様では、サブ分類は、航空機のモデルに対応することがある。他の態様では、サブ分類は、航空機に対する製造元およびモデルに対応することがある。製造元は、航空機の製造業者であり、モデルは、航空機の名称、ならびに/または製造業の名称および製造年である。例えば、製造元およびモデルは、General Dynamics F-16であり得るのに対して、モデルは、F-16である。サブ分類決定エンジン230は、航空機に対して測定決定エンジン220によって決定された幾何学的測定値のセットと、機械学習モデル210によって決定された航空機に対する分類とを、航空機データストア140に格納された幾何学的測定値の既知のセットと比較することがある。
【0043】
上に説明されている、幾何学的測定値の既知のセットは、航空機データストア140によって分類およびサブ分類にマッピングされることがある。航空機データストア140は、空港分類アナライザー150を制御する同一のエンティティによって制御されることがある、または別のエンティティ(例えば、サードパーティエンティティ)によって制御されることがある。上記のように、幾何学的測定値の既知のセットのうちの幾何学的測定値は、航空機を説明する種々の長さ、幅、および角度の測定値を含むことがある。ゆえに、幾何学的測定値の既知のセットは、複数の候補の幾何学的測定値(例えば、翼幅、機尾の幅、機尾の長さ、航空機の長さ、翼の幅、スイープ角度等)を含む。サブ分類決定エンジン230は、航空機データストア140に格納された幾何学的測定値の既知のセットを分析して、測定決定エンジン220によって決定された幾何学的測定値のセットと比較されるとき、複数の候補の幾何学的測定値のうちのどの候補の幾何学的測定値がサブ分類を一意的に識別するかを決定することがある。例えば、サブ分類決定エンジン230は、幾何学的測定値の既知のセットのうちの航空機の長さ、翼の幅、および中央から機尾までの長さについての候補の幾何学的測定値が、測定決定エンジン220によって決定されているセットの幾何学的測定値の対応する幾何学的測定値と比較されることを決定することがある。今述べた幾何学的測定値を比較することによって、サブ分類決定エンジン230は、捉えた画像の中の各航空機に対してサブ分類を一意的に識別するだろう。別の例では、サブ分類決定エンジン230は、幾何学的測定値の既知のセットのうちの航空機の長さ、翼幅、およびスイープ角度についての候補の幾何学的測定値が、測定決定エンジン220によって決定されているセットの幾何学的測定値の対応する幾何学的測定値と比較されることを決定することがある。前と同じように、今述べた幾何学的測定値を比較することによって、サブ分類決定エンジン230は、捉えた画像の中の各航空機に対してサブ分類を一意的に識別するだろう。
【0044】
サブ分類決定エンジン230は、機械学習モデル210によって決定された分類に基づいて、幾何学的測定値のセット(例えば、航空機の長さ、翼幅、およびスイープ角度)を、幾何学的測定値の複数の既知のセットと比較する。いくつかの態様では、サブ分類決定エンジン230は、幾何学的測定値のどの既知のセットが、幾何学的測定値のセットのうちの予め決められたしきい値の幾何学的測定値内にある幾何学的測定値を含むかを決定する。予め決められたしきい値は、ユーザーによって提供されることがある、またはデフォルト値であり得る。しきい値は、たとえば、±5m、±10m、±5%、±10%、±15%等の与えられた値より上のまたはより下の与えられた許容誤差であり得る。
【0045】
上述した例示的な実装に対して、サブ分類決定エンジン230は、幾何学的測定値のセット(すなわち、19.5mの長さ、14.5mの翼幅、およびおよそ31度のスイープ角度)を、戦闘機の分類に対応する航空機データストア140に格納された幾何学的測定値の複数の既知のセットと比較する。サブ分類決定エンジン230は、Sukhoi Su-35のサブ分類が、幾何学的測定値のセットのうちの予め決められたしきい値内の幾何学的測定値を含むと決定する。
【0046】
通信エンジン240は、システムの種々のコンポーネントおよびユーザーからの通信を、ならびに/またはシステムの種々のコンポーネントおよびユーザーへの通信を制御する。例えば、通信エンジン240は、ユーザーによって操作されるクライアントデバイスにAPIおよび/またはGUIを提供することがある。ユーザーは、ユーザー指定の空撮画像に行われる航空機分類のリクエストを入力することがある。通信エンジン240は、APIまたはGUIを介して、空撮画像に存在する航空機のサブ分類(複数可)をユーザーに出力することがある。例えば、通信エンジン240は、元の空撮画像をユーザーに、各航空機に対応するサブ分類を含む、情報を提供する各航空機に対するラベルを付けて与えることがある。いくつかの態様では、さらに、各航空機に対するラベルは、分類、幾何学的測定値のセット、画像の中の各航空機を一意的に識別する数値および/またはアルファベットの参照識別子、またはそれらのどんな組み合わせでも含むことがある。さらに、ラベルは、サブ分類、分類、幾何学的測定値のセット、またはそれらのどんな組み合わせにでも関する信頼情報を含むことがある。さらに、通信エンジン240は、対応する数値および/またはアルファベットの参照識別子ならびに他のラベル情報によって、空撮画像に捉えられた各航空機をリストアップするレポートをユーザーに提供することがある。加えて、レポートは、捉えられた空撮画像に存在する航空機の各サブ分類のつけ札(tally)を、および/または航空機のサブ分類の製造しているメタデータを含むことがある。いくつかの態様では、さらに、レポートは、幾何学的測定値の既知のセットを有するどのサブ分類が、幾何学的測定値のセットのうちの予め決められたしきい値の幾何学的測定値内になかったが、幾何学的測定値のセットのうちの2番目の予め決められたしきい値の幾何学的測定値内にあったかに関する情報を含むことがある。2番目の予め決められたしきい値は、予め決められたしきい値よりも大きい。さらに、通信エンジン240は、航空機の各サブ分類のグラフィック(例えば、ストック画像)を提供することが可能である。
【0047】
加えてまたは代わりに、通信エンジン240は、機械学習モデル210、測定決定エンジン220、およびサブ分類エンジン230からの出力のいずれかまたはすべてを、行われることになるさらなる分析のために別のエンティティまたはシステムに提供することがある。例えば、別のシステムは、同一の地理的領域に対する、時間期間にわたる一連の空撮画像に分析を行うことがある。今述べた分析は、数時間、数日、数週間、数ヶ月の推移にわたってロケーションに存在する航空機について、何機か、どの分類か、およびどのサブ分類かに関する情報を提供することがある。
【0048】
いくつかの態様(図示せず)では、乗り物分類アナライザーは、乗り物分類システムの動作を制御することがある。上に説明されている、乗り物分類システムは、航空画像に捉えられる自動車、航空機、および/または船舶を分類することがある。乗り物分類システムは、空港分類システムと同様のやり方にて動作することがある。機械学習モデルは、画像の中の自動車、航空機、船舶を識別し、識別された各乗り物に対してバウンディングポリゴン、分類、および複数のキーポイントを出力することがある。測定決定エンジンは、各乗り物に対して複数のキーポイントを分析し、各乗り物に対して幾何学的測定値のセットを決定することがある。各乗り物に対して、サブ分類決定エンジンは、測定決定エンジンによって決定されている幾何学的測定のセットを、航空機データストア140、自動車データストア、および/または船舶データストアに格納された分類情報と比較して、乗り物に対してサブ分類を決定することがある。
【0049】
機械学習モデルのためのデータフロー
図3は、態様に係る
図2の機械学習モデルのためのデータフロー図を示す図である。
【0050】
機械学習モデル210の訓練の間、航空機分類システム120は、機械学習モデル210に訓練データ310のセットを供給することがある。上に説明されている、訓練データ310は、航空機の各分類に対して、複数のラベル付き空撮画像を含むことがある。各ラベル付き画像は、少なくとも1つの航空機を含み、ラベル付き画像の中の各航空機は、分類およびバウンディングポリゴンを含むことがある。いくつかの態様では、さらに、ラベル付き画像は、各航空機に対して、航空機に対応する複数のキーポイントを含むことがある。
【0051】
機械学習モデル210の動作の間、空撮画像は、入力画像320として航空機分類システム120の機械学習モデル210に供給されることがある。入力画像320は、1つまたは複数の航空機105を含む。機械学習モデル210は、入力画像320に捉えられる各航空機105に対して、バウンディングポリゴン335を出力する。加えて、機械学習モデル210は、分類340(例えば、航空機のタイプを識別するラベル)と、複数のキーポイント337(例えば、機首キーポイント337A、中央キーポイント337B、左翼キーポイント337C、右翼キーポイント337D、および機尾キーポイント337E)と、を出力する。いくつかの態様では、機械学習モデル210は、1つまたは複数の航空機105を有する入力画像320と、各航空機105を取り囲んでいるバウンディングポリゴン335と、各航空機105に対するラベルのかたちの分類340と、各バウンディングポリゴン335内に含まれる複数のキーポイント337とを含む、出力画像330を出力する。出力画像330は、さらなる解析のために、測定決定エンジン220に、およびサブ分類決定エンジン230に提供されることがある。いくつかの態様では、出力画像330は、航空機分類システム120のユーザーに(例えば、通信エンジン240を介して)与えられることがある。
【0052】
例示的なマシンアーキテクチャ
図4は、マシン読取り可能媒体から命令を読み、プロセッサー(またはコントローラー)において実行することができる例示的なマシンの構成要素を例示するブロック図である。具体的には、
図4は、マシンに、本明細書に説明される手順(または処理)のうちのいずれか1つまたは複数を行わせるためのプログラムコード(例えば、ソフトウェア)が実行されることがあるコンピューターシステム400の例示的はかたちにおけるマシンの図式的な表現を示す。プログラムコードは、1つまたは複数のプロセッサー402によって実行可能な命令424により構成されることがある。代替態様では、マシンは、スタンドアロンデバイスとして動作する、または他のマシンに連結される(例えば、ネットワーク化される)ことがある。ネットワーク展開では、マシンは、サーバークライアントネットワーク環境におけるサーバーマシンもしくはクライアントマシンの性能において、またはピアツーピア(または分散)ネットワーク環境におけるピアマシンとして、動作することがある。命令424は、例えば、
図1、
図2、および
図5に関して本明細書に説明される構成要素および/または処理の機能性に対応することが特筆される。
【0053】
マシンは、サーバーコンピューター、クライアントコンピューター、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、スマートフォン、モノのインターネット(IoT)アプライアンス、ネットワークルータ、スイッチもしくはブリッジ、携帯電話タワー、またはそのマシンによってとられる作動を指定する命令424を(連続的にまたは別のやり方により)実行する性能があるどんなマシンでもあり得る。さらに、単一のマシンのみが例示されているが、用語「マシン」は、本明細書に述べられる手順のうちのいずれか1つまたは複数を行う命令424を個別にまたは共同で実行するマシンのどんな集まりでも含むとも受け取られるべきである。
【0054】
例示的なコンピューターシステム400は、バス408を介して互に通信するように構成される、プロセッサー402(例えば、中央処理装置(CPU)、グラフィックスプロセッサー(GPU)、デジタルシグナルプロセッサ(DSP)、1つまたは複数のカスタムIC(ASIC)、1つまたは複数のRFIC(radio-frequency integrated circuit)、またはこれらのどんな組み合わせでも)、メインメモリー404、およびスタティックメモリー406を含む。コンピューターシステム400は、視覚表示インターフェース410をさらに含むことがある。視覚表示インターフェース410は、画面(またはディスプレイ)にユーザーインタフェースを表示することを可能にするソフトウェアドライバを含むことがある。視覚インターフェース410は、直接的に(例えば、画面に)、または表面、窓などに間接的に(例えば、視覚投影ユニットを介して)、ユーザーインタフェースを表示することがある。述べやすいように、ビジュアルインターフェースは、画面として説明されることがある。視覚表示インターフェース410は、タッチイネーブルスクリーンを含むことがある、またはタッチイネーブルスクリーンと相互作用することがある。さらに、コンピューターシステム400は、英数字入力デバイス412(例えば、キーボードまたはタッチスクリーンキーボード)、カーソル制御デバイス414(例えば、マウス、トラックボール、ジョイスティック、モーションセンサー、または他のポインティング機器)、ストレージユニット416、信号生成デバイス418(例えば、スピーカー)、およびネットワークインターフェースデバイス420も含むことがあり、さらにこれらはバス408を介して通信するようにも構成される。
【0055】
ストレージユニット416は、本明細書に説明される手順または機能のうちのいずれか1つまたは複数を具象化する命令424(例えば、ソフトウェア)を格納されるマシン読取り可能媒体422を含む。さらに、命令424は、コンピューターシステム400による実行中に、完全にまたは少なくとも部分的に、メインメモリー404内にまたはプロセッサー402内に(例えば、プロセッサーのキャッシュメモリ内に)常駐することもあり、さらに、メインメモリー404およびプロセッサー402は、マシン読み取り可能な媒体も構成する。命令424(例えば、ソフトウェア)は、ネットワークインターフェースデバイス420を介して、ネットワーク426を介して送信されるまたは受信されることがある。
【0056】
マシン読取り可能媒体422は、例示的な態様では単一の媒体であるように示されるが、用語「マシン読取り可能媒体」は、命令424を格納することができる単一の媒体または複数の媒体(例えば、集中データベースもしくは分散データベース、または関連するキャッシュおよびサーバー)を含むことを受け取られるだろう。さらに、用語「マシン読取り可能媒体」は、マシンによる実行のための命令424を格納する性能があり、マシンに、本明細書に開示された手順のいずれか1つまたは複数を行わせるどんな媒体でも含むことも受け取られるべきである。用語「マシン読取り可能媒体」は、限定されないが、ソリッドステートメモリー、光学媒体、磁気媒体のかたちにおいてデータリポジトリを含む。
【0057】
例示的な処理フロー
図5は、態様に係る航空機分類システムを用いて航空機を分類するための処理を例示するフロー図である。いくつかの例示的な態様では、処理500は、
図5と連係して説明されるのとは異なるおよび/または追加のステップを有することがある。処理500のステップは、
図5と連係して説明される順とは異なる順において行われることがある。いくつかのステップは、パラレルに実行されることがある。代わりに、ステップのうちのいくつかがパラレルに実行されることがあり、いくつかのステップがシーケンシャルに実行される。代わりに、いくつかのステップは、ステップの実行が、前のステップの実行前に開始されるような、パイプラインのやり方にて実行されることがある。一態様では、処理500(例えば、命令424のセット)は、航空機分類システム120(例えば、プロセッサー402)によって行われる。
【0058】
航空機分類システム120は、1つまたは複数の航空機を含む地理的領域の空撮画像を受信する510。空撮画像は、航空イメージングデバイス(例えば、航空イメージングデバイス110)から受信されることがある。航空機分類システム120は、空撮画像を機械学習モデル(例えば、機械学習モデル210)に入力する520。例えば、空撮画像は、空撮画像データストア130から機械学習モデルに(例えば、バス408を介して)提供されることがある。航空機分類システム120は、機械学習モデルから、各航空機に対する出力(例えば、各航空機に対応するバウンディングポリゴンと、航空機に対する分類と、各航空機に対する複数のキーポイントとを有する出力画像330)を受信する530。
【0059】
各航空機に対して、機械学習モデルの出力に基づいて、航空機分類システム120は、航空機に対応する幾何学的測定値のセットを決定する540。幾何学的測定値のセットは、長さ、翼幅、スイープ角度、および航空機を説明する他の適切な幾何学的測定値が含むことがある。幾何学的測定値のセットは、航空機分類システム120の測定決定エンジン220(例えば、プロセッサー402)によって決定されることがある。例えば、測定決定エンジン220は、複数のキーポイントを分析して、幾何学的測定値のセットを決定する。航空機分類システム120は、幾何学的測定値のセットを、分類に対応する幾何学的測定値の複数の既知のセットと比較する550。比較は、航空機分類システム120のサブ分類決定エンジン230(例えば、プロセッサー402)によって行われることがある。幾何学的測定値の複数の既知のセットは、航空機データストア(例えば、航空機データストア140)に格納されることがある。分類に対応する幾何学的測定値の既知のセットは、航空機データストア140からサブ分類決定エンジン230に(例えば、バス408を介して)提供されることがある。航空機分類システム120は、比較に基づいて、幾何学的測定値の複数の既知のセットから、幾何学的測定値の既知のセットを識別する560。サブ分類決定エンジン230は、既知のセットの幾何学的測定値が、幾何学的測定値のセットのうちの予め決められたしきい値の幾何学的測定値内にあるために、幾何学的測定値の既知のセットを識別することがある。識別された既知のセットは、データベース(例えば、航空機データストア150)によって、サブ分類にマッピングされる。航空機分類システム120は、サブ分類を出力する570。サブ分類は、航空機分類システム120のユーザーに(例えば、グラフィックスディスプレイ410を介して)表示されることがある。
【0060】
追加の考慮事項
有益として、本明細書に説明されるシステムおよび処理は、航空画像(例えば、衛星画像)を用いて地理的領域に位置される乗り物(例えば、航空機)を分類することについて、速さ、正確度、および効率を向上する。例えば、多くの場合、種々の組織および企業は、航空画像に描かれた乗り物を分類するのに手動分類に頼る。多くの場合、1つの空撮画像は、分類のために、数十台、数百台、数千台の乗り物が含むことがある。手動分類の手順は、時間のかかる、労働集約型であり、広範囲にわたるトレーニングを多くの訓練を要し、誤りのある分類を導くことが可能である。加えて、手動手順を用いる分類から学ぶインテリジェンスの価値は、些細であり得る。例えば、分類は、個人によって手動により決定されるのに著しい時間量を必要とすることがあり、分類が行われる時間によって、乗り物は、もはや地理的領域に位置されないことがある。航空機に対して分類を決定するために自動的に分析される航空画像を(例えば、機械学習モデル、およびヒューリスティックベースのアプローチを介して)考慮する航空機分類システムは、費やされる時間(例えば、手動負担)を著しく減らし、結果の正確度を(例えば、人間の入力に頼っていない)大幅に改善し、スループットを向上させることがある。本明細書に説明される航空機分類システムおよび処理は、空撮画像から物体の細かいレベルの分類を行うこと(すなわち、数何百の可能性のリストに基づいて物体を分類すること)についての非常に複雑な手仕事を行い、高速であり正確である処理を自動化する。
【0061】
本明細書の全体を通して、複数のインスタンスが、単一のインスタンスとして説明される構成要素、動作、または構造を実装することがある。1つまたは複数の方法の個々の動作は、別個の動作として例示され、説明されているが、個々の動作の1つまたは複数は、同時に行われることがあり、動作は、例示される順に行われることを必要としない。例示的な構成において別個の構成要素として与えられた構造および機能性は、組み合わされた構造または構成要素として実装されることがある。同様に、単一の構成要素として与えられた構造および機能性は、別々の構成要素として実装されることがある。今述べたおよび他の変形、修正、追加、および改良は、本明細書の主題の範囲内に収まる。
【0062】
ある態様は、例えば、
図1~5により例示され説明されている、論理または多数の構成要素、モジュール、またはメカニズムを含んでいるとして、本明細書に説明される。モジュールは、ソフトウェアモジュール(例えば、マシン読取り可能媒体に具現化されたコード)か、ハードウェアモジュールかのいずれかを構成することがある。ハードウェアモジュールは、ある動作を行うことができる目に見えるユニットであり、あるやり方にて構成されるまたは配列されることがある。例示的な態様では、1つまたは複数のコンピューターシステム(例えば、スタンドアロン、クライアントまたはサーバコンピュータシステム)またはコンピューターシステムの1つまたは複数のハードウェアモジュール(例えば、プロセッサーまたはプロセッサー群)は、本明細書に説明されているある動作を行うように動作するハードウェアモジュールとしてソフトウェア(例えば、アプリケーションまたはアプリケーション部分)によって構成されることがある。
【0063】
種々の態様では、ハードウェアモジュールは、機械的にまたは電子的に実装されることがある。例えば、ハードウェアモジュールは、たとえば、ある動作を行うように恒久的に構成された専用回路またはロジックを(例えば、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)などの専用プロセッサーとして)含むことがある。さらに、ハードウェアモジュールは、ある動作を行うソフトウェアによって一時的に構成されるプログラマブルロジックまたは回路(例えば、汎用プロセッサーまたは他のプログラマブルプロセッサー内に取り囲まれている)を含むこともある。機械的に、専用され恒久的に構成された回路に、または一時的に構成された回路(例えば、ソフトウェアによって構成された)に、ハードウェアモジュールを実装する決定は、費用および時間の対価によって行われることがあることは、理解されるだろう。
【0064】
本明細書に説明される例示的方法の種々の動作は、関連動作を行うように(例えば、ソフトウェアによって)一時的に構成される、または恒久的に構成される1つまたは複数のプロセッサー、例えばプロセッサー402によって、少なくとも部分的に行われることがある。一時的に構成されるか恒久的に構成されるかにかかわらず、上記のプロセッサーは、1つまたは複数の動作または機能を行うように動作するプロセッサー実装モジュールを構成することがある。本明細書に言及されるモジュールは、いくつかの例示的な態様では、プロセッサー実装モジュールを含むことがある。
【0065】
さらに、1つまたは複数のプロセッサーは、「クラウドコンピューティング」環境に、または「SaaS(software as a service)」として、関連動作の遂行をサポートするように動作することもある。例えば、動作の少なくともいくつかは、(プロセッサーを含むマシンの例として)コンピューター群によって行われることがあり、今述べた動作は、ネットワーク(例えば、インターネット)を介して、1つまたは複数の適したインターフェース(例えば、アプリケーションプログラムインターフェース(API))を介してアクセス可能である。
【0066】
動作のうちのいくつかの遂行は、単一のマシン内に常駐するだけでなく、いくつかのマシンにわたって展開される、1つまたは複数のプロセッサーに分散されることがある。いくつかの例示的な態様では、1つまたは複数のプロセッサーまたはプロセッサー実装モジュールは、単一の地理的なロケーションに(例えば、家庭環境、オフィス環境、またはサーバファーム内に)位置されることがある。他の例示的な態様では、1つまたは複数のプロセッサーまたはプロセッサー実装モジュールは、多数の地理的ロケーションに分散されることがある。
【0067】
本明細書のいくつかの部分は、マシンメモリー(例えば、コンピュータメモリー)内のビットまたはバイナリのデジタル信号として格納されたデータにおける動作のアルゴリズムまたは記号的表現に関して与えられる。今述べたアルゴリズムまたは記号的表現は、他の当業者に研究内容を伝達するデータ処理技術の当業者によって用いられる技法の例である。本明細書に用いられている、「アルゴリズム」は、望まれる結果に導く首尾一貫した一連の動作または類似の処理である。本文脈では、アルゴリズムまたは動作は、物理量の物理的な操作を含む。通常、必ずしもではないが、今述べた量は、マシンによって格納される、アクセスされる、転送される、組み合わされる、比較される、ないしは他の方法により操作される性能がある電気信号、磁気信号、または光学信号のかたちとることがある。たとえば、「データ」、「コンテンツ」、「ビット」、「値」、「要素」、「記号」、「文字」、「用語」、「数」、「数字」などの単語を用いて、上記の信号に言及することは、時折、主に一般的な慣習の理由のために便利である。しかしならが、今述べた単語は、単に便利なラベルであり、適した物理量と関連付けられることになる。
【0068】
むしろ具体的に述べられない限り、たとえば、「処理する」、「計算する」、「算出する」、「決定する」、「与える」、「表示する」などの単語を用いた本明細書における議論は、情報を受信する、格納する、送信する、または表示する1つまたは複数のメモリー(例えば、揮発性メモリー、不揮発性メモリー、またはそれらの組み合わせ)、レジスタ、または他のマシンコンポーネント内の物理(電子、磁気、または光学)量として表されるデータを操作するまたは変形させるマシン(例えばコンピューター)の作動または処理を指すことがある。
【0069】
本明細書に用いられている、「一態様」または「ある態様」へのどんな言及でも、態様に関連して説明される特定の要素、特徴、構造、または特性が、少なくとも1つの態様に含まれることを意味する。本明細書の種々の場所にて語句「一態様では」の出現は、必ずしも同じ態様をすべて言及することではない。
【0070】
いくつかの態様は、派生物といっしょに、表現「接続された」および「連結された」を用いて説明されることがある。例えば、いくつかの態様は、2つ以上の要素が直接物理的にまたは電気的に接触されていることを示す用語「接続された」を用いて説明されることがある。しかしながら、さらに、用語「接続された」は、2つ以上の要素が互いに直接接触していないが、依然として、互いに協働するまたは相互作用することを意味することもある。態様は、本文脈に限定されない。
【0071】
本明細書に用いられている、用語「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」またはどんな変形でも、非排他的な包含に及ぶよう意図される。例えば、要素のリスト含む処理、方法、物品、または装置は、必ずしもそれらの要素のみに限定されず、明白にリストアップされない他の要素、または上記の処理、方法、物品、または装置に固有の他の要素を含むことがある。さらに、明白に反対のことが述べられない限り、「または」は、包括的な「または」に言及し、排他的な「または」に言及しない。例えば、条件AまたはBは、次の、Aが真である(または存在する)かつBが偽である(または存在しない)、Aが偽である(または存在しない)かつBが真である(または存在する)、ならびに、AおよびBの両方が真である(または存在する)、のうちのいずれか1つによって満たされる。
【0072】
加えて、「a」または「an」の使用は、本明細書の態様の要素および構成要素を説明するのに利用される。今述べたことは、単に便利なように、請求される発明の一般的な意味を与えるようになされる。今述べた説明は、そうは意味されないことが明白でない限り、1つまたは少なくとも1つおよび単数が複数も含むことを含むように読まれるだろう。
【0073】
本開示を読むとすぐに、当業者は、航空画像を用いて乗り物(例えば、航空機)を分類するシステムに対してさらに代替の構造設計および機能設計を理解するだろう。ゆえに、特定の態様および適用が例示され説明された一方、開示された態様は、本明細書に開示された厳密な構造およびコンポーネントに限定されないことが理解されることである。当業者には明らかだろう、種々の修正、変更および変形は、添付の特許請求の範囲に定義された精神および範囲から逸脱することなく、本明細書に開示される方法および装置の配列、動作、および詳細においてなされることがある。
【符号の説明】
【0074】
105 航空機
110 航空イメージングデバイス
115 地理的領域
120 航空機分類システム
130 空撮画像データストア
140 航空機データストア
150 航空機分類アナライザー
210 機械学習モデル
220 測定決定エンジン
230 サブ分類決定エンジン
240 通信エンジン
【外国語明細書】