ホーム > 特許ランキング > アイサイ オサケユキチュア
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-15
(54)【発明の名称】角度を考慮したオブジェクトの分類
(51)【国際特許分類】
G06T 7/00 20170101AFI20250107BHJP
G06V 10/82 20220101ALI20250107BHJP
G06V 20/13 20220101ALI20250107BHJP
G01S 13/90 20060101ALI20250107BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 640
G06V10/82
G06V20/13
G01S13/90 191
G01S13/90 176
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024536031
(86)(22)【出願日】2022-11-30
(85)【翻訳文提出日】2024-06-14
(86)【国際出願番号】 EP2022083868
(87)【国際公開番号】W WO2023110404
(87)【国際公開日】2023-06-22
(31)【優先権主張番号】2118441.1
(32)【優先日】2021-12-17
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】523132594
【氏名又は名称】アイサイ オサケユキチュア
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100119013
【弁理士】
【氏名又は名称】山崎 一夫
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(72)【発明者】
【氏名】フライバーグ タピオ
(72)【発明者】
【氏名】ラウリラ ペッカ
(72)【発明者】
【氏名】ストロング シェイ
【テーマコード（参考）】
5J070
5L096
【Ｆターム（参考）】
5J070AC02
5J070AD15
5J070AD16
5J070AE07
5J070AF08
5J070AH19
5J070AK13
5J070BE02
5L096AA13
5L096CA02
5L096DA02
5L096FA46
5L096FA67
5L096HA11
5L096MA07
(57)【要約】
画像内のオブジェクトを分類するコンピュータ実装方法であって、前記方法は、前記画像に関連付けられた画像データを受信するステップと、入射角データを受信するステップであって、入射角データは、画像データが検出器によって収集される入射角を示す、前記ステップと、機械学習モデルを使用して、画像内の１つまたは複数のオブジェクトを１つまたは複数のカテゴリのうちの１つに属するものとして分類するステップであって、画像内の１つまたは複数のオブジェクトの分類は、入射角データ、および画像データの１つまたは複数のパラメータのそれぞれの値に基づいて行われる、前記ステップと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
画像内のオブジェクトを分類するコンピュータ実装方法であって、前記画像に関連付けられた画像データを受信するステップと、
入射角データを受信するステップであって、前記入射角データは、画像データが検出器によって収集される入射角を示す、前記ステップと、
機械学習モデルを使用して、前記画像内の１つまたは複数のオブジェクトを１つまたは複数のカテゴリの１つに属するものとして分類するステップであって、前記画像内の１つまたは複数のオブジェクトの分類は、
前記入射角データ、
および前記画像データの１つまたは複数のパラメータの値に基づいて行われる、前記ステップと、を含む、コンピュータ実装方法。
【請求項2】
前記機械学習モデルは、複数のトレーニング画像に関連付けられた画像データを受信するステップと、
前記トレーニング画像ごとに、それぞれの前記トレーニング画像に関連付けられた画像データが検出器によって収集される入射角を示す入射角データを受信するステップと、
前記トレーニング画像ごとに、トレーニングデータパッチを生成するステップであって、トレーニングデータパッチを生成する前記ステップは、
関連付けられた入射角データを関連付けられた画像データに連結することを含む、ことによって画像を分類するようにトレーニングされる、請求項１に記載のコンピュータ実装方法。
【請求項3】
トレーニングデータパッチを生成する前記ステップは、前記関連付けられた入射角データを拡張して角度範囲データを生成するステップであって、前記角度範囲データは、前記入射角データによって示される前記入射角に類似しているものとして前記機械学習モデルが認識されるようにトレーニングされる角度範囲を示す、前記ステップと、
前記角度範囲データを前記関連付けられた画像データに連結するステップと、をさらに含む、請求項２に記載のコンピュータ実装方法。
【請求項4】
トレーニングデータパッチを生成する前記ステップは、連結する前に、前記関連付けられた入射角データおよび／または前記角度範囲データを、前記関連付けられた画像データと同じサイズを有する２次元パッチに投影するステップをさらに含む、請求項２又は３に記載のコンピュータ実装方法。
【請求項5】
前記機械学習モデルは、検出器によってイメージングされた地形の標高モデルに少なくとも部分的に基づいてトレーニングされる、前記請求項のいずれか１項に記載のコンピュータ実装方法。
【請求項6】
前記入射角データは、地球の幾何学的モデルと、前記地球の幾何学的モデルに対する検出器の位置を示す１つまたは複数の状態ベクトルとに基づく局所的入射角モデルから導出される、前記請求項のいずれか１項に記載のコンピュータ実装方法。
【請求項7】
前記地球の幾何学的モデルは楕円形モデルである、請求項６に記載のコンピュータ実装方法。
【請求項8】
前記局所的入射角モデルは、前記入射角と前記画像内の第１方向の距離との間の関係を定義する関数を含む、請求項６又は７に記載のコンピュータ実装方法。
【請求項9】
前記関数は、前記地球の幾何学的モデルと前記検出器の軌跡のモデルとに基づいて決定される多項式である、請求項８に記載のコンピュータ実装方法。
【請求項10】
前記画像内の前記１つまたは複数のオブジェクトを分類する前記ステップは、前記画像の複数の画素のそれぞれを、１つまたは複数のカテゴリのうちの１つに属するものとして分類するステップを含む、前記請求項のいずれか１項に記載のコンピュータ実装方法。
【請求項11】
前記画像内の１つまたは複数のオブジェクトを分類する前記ステップは、前記画像のセクション内の１つまたは複数のオブジェクトを分類するステップを含む、前記請求項のいずれか１項に記載のコンピュータ実装方法。
【請求項12】
前記入射角データは、前記画像データと同時に受信される、前記請求項のいずれか１項に記載のコンピュータ実装方法。
【請求項13】
前記検出器は、地球周回軌道上の衛星に搭載されている、前記請求項のいずれか１項に記載のコンピュータ実装方法。
【請求項14】
前記検出器の位置を示す１つまたは複数の状態ベクトルは、前記衛星の軌道経路のモデルに基づいている、請求項６～９のいずれか１項に従属する請求項１３記載のコンピュータ実装方法。
【請求項15】
前記画像データの１つまたは複数のパラメータは、複数の画素のそれぞれの強度値、
複数の画素のそれぞれのカラーチャネル値、および／または
複数の画素のそれぞれに対する位相情報のうちの１つまたは複数を含む、前記請求項のいずれか１項に記載のコンピュータ実装方法。
【請求項16】
前記画像は合成開口レーダ画像である、前記請求項のいずれか１項に記載のコンピュータ実装方法。
【請求項17】
前記１つまたは複数のカテゴリは、１つまたは複数の地理的特徴を含む、前記請求項のいずれか１項に記載のコンピュータ実装方法。
【請求項18】
前記１つまたは複数の地理的特徴は、水、
氷、
耕地、
森林地帯、および／または
人工構造物のうちの１つまたは複数を含む、請求項１７に記載のコンピュータ実装方法。
【請求項19】
前記機械学習モデルは、人工ニューラルネットワークを含む、前記請求項のいずれか１項に記載のコンピュータ実装方法。
【請求項20】
前記人工ニューラルネットワークは、畳み込みニューラルネットワークである、請求項１９に記載のコンピュータ実装方法。
【請求項21】
請求項１～２０のいずれかに記載の方法を実行するプロセッサを備えるコンピュータ装置。
【請求項22】
コンピュータによって実行されると、請求項１～２０のいずれか１項に記載の方法をコンピュータに実行させるロジックを含む、コンピュータ読み取り可能な媒体。
【請求項23】
コンピュータによって実行されると、請求項１～２０のいずれか１項に記載の方法をコンピュータに実行させる命令を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、画像内のオブジェクト分類方法に関する。特に、本発明は、関連付けられた画像データが収集される入射角に少なくとも部分的に基づいて、画像内のオブジェクトをオブジェクト分類する方法に関する。
【背景技術】
【0002】
多くのイメージングシステムでは、収集されたイメージングデータの定性的および定量的性質は、画像データが収集される入射角に基づいて大幅に変化することができる。例えば、リモートセンシング用に構成されたアクティブレーダーシステムでは、収集された画像データは、検出器で受信されたレーダ後方散乱信号を含む。レーダ後方散乱信号の強度、位相、その他の特性は、画像データが収集される入射角と、レーダ信号によってイメージングされるターゲットの光学特性の両方に大きく依存する。このような光学特性には、反射率、透過率、およびそれ自体が入射角に強く依存するその他の特性が含まれてもよい。
【0003】
衛星ベースのレーダイメージングのコンテストでは、画像データはある範囲の入射角から収集されてもよい。このようなシステムでは、同じイメージングオブジェクトの２つの画像は、各画像に関連付けられたそれぞれの画像データが収集される入射角の違いにより、量的および質的に大きな違いがあってもよい。このような画像データのばらつきは、画像内のオブジェクトや領域を分類しようとする場合など、画像を正確に分析および／または比較しようとする場合、重大な困難を招く可能性がある。
【0004】
本発明者は、上記の考慮に基づいて、請求項に係る発明を考案した。
【0005】
以下に記載される実施形態は、上記した既知の方法の欠点のいずれかまたはすべてを解決する実装に限定されない。
【発明の概要】
【0006】
この概要は、概念の選択を簡略化した形で紹介するために提供されている。これらの概念は、以下の詳細な説明でさらに説明する。本要約は、請求項に係る主題の主要な特徴又は基本的な特徴を識別することを意図しておらず、また、請求項に係る主題の範囲を決定するために使用することを意図していない。発明の実施を容易にする、および／または実質的に類似した技術的効果を達成するために使用される変形および代替的特徴は、本明細書に開示された発明の範囲に属するものとみなされる。
【0007】
一般的には、本開示は、各画像に関連付けられた画像データが収集される各入射角を考慮した画像内のオブジェクトを分類する方法を提供する。
【0008】
本発明は、添付の特許請求の範囲に記載されるように定義される。
【0009】
本発明の第１態様では、画像内のオブジェクトを分類するコンピュータ実装方法であって、前記画像に関連付けられた画像データを受信するステップと、入射角データを受信するステップであって、前記入射角データは、画像データが検出器によって収集される入射角を示す、前記ステップと、機械学習モデルを使用して、前記画像内の１つまたは複数のオブジェクトを１つまたは複数のカテゴリの１つに属するものとして分類するステップであって、前記画像内の１つまたは複数のオブジェクトの分類は、前記入射角データ、および前記画像データの１つまたは複数のパラメータの値に基づいて行われる、前記ステップと、を含む。
【0010】
このように、この方法によるオブジェクトの分類は、画像データが収集される入射角の変化によって引き起こされる画像データの差異に敏感であってもよい。
【0011】
本発明の別の態様では、本明細書に開示される方法のいずれかを実行するように構成されたコンピュータ装置が提供される。
【0012】
本発明の別の態様では、コンピュータによって実行されると、本明細書に開示される方法のいずれかをコンピュータに実行させる命令を含むコンピュータ読み取り可能な記憶媒体が提供される。
【0013】
本発明の他の態様では、コンピュータによって実行されると、コンピュータに本明細書に開示されたいずれかの方法を実行させる指示を含むコンピュータプログラムが提供される。
【0014】
本明細書に記載の方法は、機械読み取り可能な形式のソフトウェアによって、例えば、プログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法のすべてのステップを実行するように適合されたコンピュータプログラムコード手段を含むコンピュータプログラムの形式で、有形記憶媒体上で実行することができ、コンピュータプログラムは、コンピュータ読み取り可能な媒体上で具現化することができる。有形（または非一時的）記憶媒体の例としては、磁気ディスク、サムドライブ、メモリカードなどが挙げられるが、伝播信号は含まれていない。ソフトウェアは、方法ステップを任意の適切な順序でまたは同時に実行することができるように、パラレルプロセッサまたはシリアルプロセッサ上で実行するように適合されていてもよい。
【0015】
このアプリケーションでは、ファームウェアおよびソフトウェアが個別に取引可能な価値のある商品であることを認識している。これは、必要な機能を実行するために、「ダム」または標準的なハードウェア上で演算または制御されるソフトウェアを含むように設計されている。また、所望の機能を実行するためにシリコンチップを設計したり汎用プログラマブルチップを構成したりするＨＤＬ（ハードウェア記述言語）ソフトウェアなど、ハードウェア構成を「記述」したり定義したりするソフトウェアも含まれることを目指している。
【0016】
本明細書に記載された特徴および実施形態は、当業者にとって自明であるように適切に組み合わせることができ、また、そのような組み合わせが不可能であることが明示的に規定されていない限り、または当業者がそのような組み合わせが不可能であることを理解する場合を除いて、本発明のいずれかの態様と組み合わせることができる。
以下、図面を参照して本発明の実施形態を例示的に説明する。
以下、図面を参照して本発明の実施形態を例示的に説明する。
【図面の簡単な説明】
【0017】
【図1】画像内のオブジェクトを分類する方法を示すフローチャートである。
【図2】異なる入射角からイメージングオブジェクトの画像を捕捉する衛星の例を示す。
【図3a】ａ～ｄは、イメージングオブジェクトの表面から反射するイメージング信号のシナリオ例を示している。
【図3b】ａ～ｄは、イメージングオブジェクトの表面から反射するイメージング信号のシナリオ例を示している。
【図3c】ａ～ｄは、イメージングオブジェクトの表面から反射するイメージング信号のシナリオ例を示している。
【図3d】ａ～ｄは、イメージングオブジェクトの表面から反射するイメージング信号のシナリオ例を示している。
【図4】画像データの入射角データおよび１つまたは複数のパラメータに基づいて画像内の１つまたは複数のオブジェクトを分類するためにＣＮＮをトレーニングする方法を示すフローチャートである。
【図6】請求された発明に係る画像内のオブジェクトを分類する方法を示す。
【図7】入射角情報を使用した場合と使用しない場合と比較した、水を識別する際のＣＮＮのパフォーマンスを示す。
【図8】水域と陸域を含むＳＡＲ画像の例を示す。
【図9】入射角情報を持たないＳＡＲ画像を処理した結果を示す。
【図10】入射角情報を含むＳＡＲ画像を処理した結果を示す。 同一又は類似の特徴を表すために、図中で共通の参照番号を使用する。
【発明を実施するための形態】
【0018】
本発明の実施形態は、単なる例として以下に説明される。これらの例は、出願人に現在知られている発明を実践するための最良のモードを表しているが、これを達成する唯一の方法ではないが、説明は、例の機能と、例を構築および運用するためのステップのシーケンスを示している。しかしながら、同じまたは同等の機能およびシーケンスは、異なる例によって実装されてもよい。
【0019】
図１は、画像内のオブジェクトを分類する方法を示すフローチャートである。
【0020】
動作Ｓ１００では、画像に関連付けられた画像データを受信する。
【0021】
入射角データは、検出器により画像データが収集される入射角を示す。
【0022】
いくつかの実施形態では、入射角データを画像データと同時に受信してもよい。言い換えれば、動作Ｓ１００と動作Ｓ１０２とを同時に実行してもよい。
【0023】
このように、入射角データの精度を高め、検出器が画像データを収集する際の入射角データが真に入射角を示してもよい。
【0024】
追加的にまたは代替的に、画像データは、メタデータを含み、メタデータは、画像データが収集された時刻及び／又は日付等の情報、例えば、画像データに関連付けられたタイムスタンプ等を含んでもよい。このような例では、入射角データを受信するには、タイムスタンプに基づく入射角データや、画像データを収集した時刻及び／又は日付に関する他のメタデータを受信することが含まれてもよい。このように、本明細書に開示された方法の利用者にとって便利な時間まで画像の解析を遅らせてもよい。たとえば、ユーザは、検出器によって収集された画像のスタックから処理する画像を選択してもよい。ユーザは、予め記憶された画像データを受信した時刻に関連付けられた入射角データとは対照的に、画像データに関連付けられたメタデータ、例えばタイムスタンプに基づいて入射角データを受信してもよい。この場合、動作Ｓ１００と動作Ｓ１０２は、異なる時間で実行されてもよい。
【0025】
衛星イメージングを含む例において、メタデータは、衛星識別子番号、すなわち、画像データを収集した検出器が複数の衛星のうちどの衛星が搭載されているかの識別子などの情報を含んでいてもよい。この情報は、衛星に搭載されているハードウェアを示してもよい。例えば、衛星を識別することにより、検出器及び／又は衛星自体の特性に関する情報を得てもよい。いくつかの例では、この情報はメタデータに直接含まれていてもよい。
【0026】
いくつかの実施形態では、入射角データは、地球の幾何学的モデルと、地球の幾何学的モデルに対する検出器の位置を示す１つまたは複数の状態ベクトルとに基づく局所的入射角モデルから導出されてもよい。
【0027】
Ｉ入射角データは、困難で高価な正確な入射角の測定を取得する必要がなくても、十分に正確な近似値であってもよい。
【0028】
いくつかの実施形態では、地球の幾何学的モデルは楕円形モデルであってもよい。
【0029】
代替的に、地球の幾何学的モデルは、球状モデルであってもよいし、「実地球」モデルであってもよいし、デジタル標高モデル（ＤＥＭ）に基づいていてもよい。各モデルは、地表の形状の異なるモデルに基づいて、地表上のオブジェクトの高度を決定するための異なるアプローチを提供する。実際には、各幾何学モデルは、形状と高さを決定するための計算コストとモデルの精度との間でバランスをとる。言い換えれば、モデル（「実地球」モデルなど）の複雑さが増すほど、地球の表面の形状をより正確に決定できるが、オブジェクトの標高と正確な座標をモデル化するための計算コストが増加する。対照的に、複雑さの低いモデル（球面モデルなど）は、処理が大幅に速く、安価になるが、地球の形状のモデルが単純化されているため、精度が低くなる。実際には、楕円形モデルは、許容レベルを超えた処理の精度を犠牲にすることなく、幾何モデルに基づく処理に伴う計算コストを低減することで、良好なバランスを提供することを見出した。
【0030】
別の動作Ｓ１０４では、機械学習モデルを使用して、画像内の１つまたは複数のオブジェクトを１つまたは複数のカテゴリのうちの１つに属するものとする。入射角データと、画像データの１つまたは複数のパラメータのそれぞれの値とに基づいて画像内の１つまたは複数のオブジェクトを分類する。
【0031】
Ｉいくつかの実施形態では、画像内の１つまたは複数のオブジェクトを分類することは、画像の複数の画素のそれぞれを１つまたは複数のカテゴリのうちの１つに属するものとして分類することを含んでいてもよい。
【0032】
このように、各画素を１つまたは複数のカテゴリに応じて分類してもよいので、分類における高精細な詳細を実現することができ、検出器が収集した画像の解像度に合致する解像度で分類することができる。
【0033】
いくつかの実施形態では、画像内の１つまたは複数のオブジェクトを分類することは、画像の一部内の１つまたは複数のオブジェクトを分類することを含んでいてもよい。
【0034】
このように、オブジェクトの分類が画像内の標的領域内でのみ実行されるように制限することで、コンピューティングおよび処理リソースを最適化してもよい。画像のこのセクションまたは関心領域は、モデルをトレーニングするために使用される１つまたは複数のパラメータに基づいて、または、方法のユーザによって選択され、機械学習モデルに入力される１つまたは複数のパラメータに基づいて、機械学習モデルによって自動的に決定されてもよい。追加的にまたは代替的に、前記方法のユーザは、前記分類が行われるべきセクションまたは関心領域を手動で選択してもよい。
【0035】
いくつかの実施形態では、画像データの１つまたは複数のパラメータは、複数の画素のそれぞれに対する強度値、複数の画素のそれぞれのカラーチャネル値、及び／又は、複数の画素のそれぞれの位相情報の１つまたは複数を含んでもよい。
【0036】
例えば、複数の画素のそれぞれの強度値は、検出器の各画素で受信されたイメージング信号の強度を示してもよい。強度値は、例えば、グレースケール値が０から２５５までの範囲、つまり２５６グレースケールを許容する８ビット形式で、信号強度を示すグレースケール値に対応してもよい。代替的に、グレースケール値は、例えば４ビット形式で、グレースケール値が０～１５の範囲になるように、または、より大きな形式、例えば１６ビット形式で、グレースケール値が０～６５５３５の範囲になるように、より小さな形式で符号化されてもよい。一般的に、グレースケール値がｎビット形式で符号化されている場合、グレースケール値は、０～２n-1の範囲であり得る。
【0037】
追加的にまたは代替的に、画像データの１つまたは複数のパラメータは、複数の画素のそれぞれのチャネル値を含んでもよい。いくつかの例では、例えばレーダ画像処理の場合、チャネル値は偏波チャネルであってもよく、各チャネルは偏波に応じて異なるレーダ信号に敏感になるように構成されている。例えば、衛星ベースのレーダイメージングシステムを含む多くのレーダイメージングシステムでは、検出器によって収集されたイメージング信号が、１つまたは複数のイメージングオブジェクトから後方散乱されてもよい。後方散乱信号の強度は、入射角やイメージング信号の偏光など、多くの要因に依存していてもよい。加えて、前記逆散乱イメージング信号は、前記入射イメージング信号の偏光とは異なる１つまたは複数の偏光の成分を含んでもよい。
【0038】
このような例では、偏光チャネルは、Ｈ－Ｈチャネル、すなわち、「水平」偏光で送受信されたレーダ信号に対して特に敏感なチャネル；Ｖ－Ｖチャネル、すなわち、「垂直」偏光で送受信されたレーダ信号に特に敏感なチャネル；Ｈ－Ｖチャネル、すなわち、「水平」偏光で送信され、「垂直」偏光で受信されたレーダ信号に特に敏感なチャネル；Ｖ－Ｈチャネル、すなわち、「垂直」偏光で送信され、「水平」偏光で受信されたレーダ信号に特に敏感なチャネルを含んでもよい。追加的にまたは代替的に、偏光チャネルは、円偏光または楕円偏光で送信および／または受信されたレーダ信号、または線形偏光、円偏光および楕円偏光の任意の組み合わせに特に敏感なチャネルを含んでもよい。
【0039】
また、逆散乱信号の強度は、イメージング信号の波長に依存する場合が多い。すべての実用的な用途では、イメージング信号は帯域幅を持つ。言い換えれば、画像信号は完全に単色ではなく、ある範囲の波長を有する信号を含むことになる。このような場合、信号のさまざまな成分の波長に基づいて、受信した信号に変動が生じてもよい。したがって、このような例では、信号波長に対する後方散乱強度の変動に基づいて、チャネル値が情報を符号化してもよい。
【0040】
他の例では、例えば光学系において、イメージング信号の波長が信号の色に対応していてもよい。この場合、波長の範囲は、色の範囲、または混合に相当する。このような場合、チャネル値は、信号波長に対する後方散乱強度の変動に基づいて情報を符号化する複数の画素のカラーチャネル値であってもよい。
【0041】
カラーチャネルは、任意の適切なチャネル方式を使用して分類されてもよい。例えば、カラーチャネルは、ＲＧＢチャネル、ＨＳＬチャネル、ＨＳＶチャネル（別名、ＨＳＢチャネル）などの付加的な構成に基づいていてもよい。追加的に又は代替的に、カラーチャネルは、ＣＭＹＫチャネルなどの減法構成に基づいてもよい。追加的に又は代替的に、カラーチャネルは、ＹＵＶチャネル等のルマ成分及び色度成分に基づいていてもよい。
【0042】
いくつかの例では、１つまたは複数のパラメータは、複数の画素のそれぞれについて位相情報を含んでいてもよい。画素間の相対位相情報は、前記画素間の位相差に基づいて、異なる画素でイメージングされたオブジェクトの相対的な高さまたは向きを示す情報を提供してもよい。オブジェクトの向きは反射面の向きにより後方散乱信号の強度に大きく影響を与える可能性があるため、相対位相情報は、衛星上の検出器などの高速移動検出器によってイメージングされた画像の処理に特に関連していてもよい。
【0043】
位相値は、上述した強度値と別に符号化されてもよい。他の例では、位相値と強度値とを複素データ値、すなわち実部と仮想部を有する複素数として符号化されたデータとして符号化してもよい。各複素データ値の大きさ、または弾性率はそれぞれの強度値に対応し、各複素データ値の引数はそれぞれの位相値に対応してもよい。
【0044】
いくつかの実施形態では、検出器は地球周回軌道上の衛星に搭載されていてもよい。
【0045】
図２は、異なる入射角からイメージングオブジェクト２２２の画像を捕捉する衛星２１０の例を示す。
【0046】
衛星２１０が地球２２０の周りを周回するとき、検出器は、同じイメージングオブジェクト２２２のいくつかの画像を捕捉するように方向付け可能であってもよい。いくつかの例では、衛星２１０全体が回転して検出器の向きを変えてもよい。追加的にまたは代替的に、検出器は、衛星または航空機に合わせて、それが担持されるプラットフォームに対して回転して、検出器の向きを調整してもよい。しかしながら、衛星２１０の動きにより、検出器が画像データを収集する入射角θが変化してもよい。いくつかの例では、連続してイメージングされた画像間で入射角が大きく異なる場合がある。
【0047】
図２に示す例では、衛星２１０が地球２２０の周りの軌道上の３つの例示的な点から画像データを収集するにつれて、入射角が変化する。例えば、衛星が軌道に沿って第１位置にある場合、イメージングオブジェクト２２２から反射されたイメージング信号の入射角は第１入射例である。図２に示す例では、第１入射角は約－３０°である。衛星が軌道に沿って第２の位置にある場合、イメージングオブジェクト２２２から反射されるイメージング信号の入射角は第２の入射角である。図２に示す例では、第２入射角は約１０°である。衛星が軌道に沿って第３の位置にある場合、イメージングオブジェクト２２２から反射されるイメージング信号の入射角は第３の入射角である。図２に示す例では、第３入射角は約＋３０°である。
【0048】
加えて、図２には例示目的で１つのイメージングオブジェクト２２２のみが示されているが、衛星２１０に搭載された検出器によって収集された各画像は、複数のイメージングオブジェクト２２２に関連付けられた画像データを収集してもよい。異なる画像のそれぞれ内でイメージングされたイメージングオブジェクト２２２間には完全または部分的な重なりが存在してもよいし、または重なりが全く存在しなくてもよい。言い換えれば、衛星２１０に搭載された検出器によって収集された各画像は、全ての同一のイメージングオブジェクト２２２に関連付けられた画像データを含んでいてもよいし、衛星２１０に搭載された検出器によって収集された各画像は、同一のイメージングオブジェクト２２２の一部及び／又は異なるイメージングオブジェクト２２２に関連付けられた画像データを含んでいてもよいし、衛星２１０に搭載された検出器が収集した各画像は、異なるイメージングオブジェクト２２２に関連付けられた画像データを含んでいてもよい。
【0049】
衛星ベースのイメージングのいくつかの例では、衛星２１０はイメージングオブジェクト２２２の真上を通過しない。言い換えれば、検出器は、衛星の軌道の軌道からオフセットされた画像を捕捉してもよく、すなわち、検出器は、衛星２１０の真下（天底）の領域の画像を捕捉しなくてもよい。加えて、図２に見られるように、入射角は、衛星２１０とイメージングオブジェクト２２２との間のクロストラック角（衛星の進行方向に垂直）と衛星２１０とイメージングオブジェクト２２２との間アロングトラック角との組み合わせであってもよい。
【0050】
衛星２１０の軌道周期は、６時間以下、１２時間以下、１８時間以下、２４時間以下、３６時間以下、４８時間以下、７２時間以下であってもよい。
【0051】
いくつかの実施形態では、検出器の位置を示す１つまたは複数の状態ベクトル（入射角データが少なくとも一部に基づく）は、衛星２１０の軌道経路のモデルに基づいていてもよい。
【0052】
画像データが検出器によって収集されたときの衛星２１０の位置の正確なＧＰＳ測定を必要とせずに、入射角データを決定することが可能であってもよい。その代わりに、十分に正確な初期化座標が提供されると、衛星の将来の軌道を衛星の軌道の寿命にわたってモデル化してもよい。例えば、地球２２０を中心とする衛星２１０軌道の半長軸の半径が、衛星２１０の位置と、衛星２１０の所定時点における速度との座標とともに提供される場合、衛星２１０の軌道のモデルを決定することが可能であってもよい。このモデルは、例えば、ケプラー軌道モデルまたは類似のものに基づいてもよい。加えて、例えば衛星２１０がその軌道経路を変更する操縦を受ける場合、衛星軌道のモデルを（定期的におよび／または必要に応じて）更新することが可能である。
【0053】
いくつかの実施形態では、画像は合成開口レーダ画像であってもよい。
【0054】
合成開口レーダ（ＳＡＲ）画像は、一般的に、レーダイメージング信号を送信し、その後、１つまたは複数のイメージングオブジェクト２２２から反射および／または散乱された検出器で受信した後方散乱信号を検出して記録することに基づいている。後方散乱信号の強度は、画像データが収集される入射角θに依存する。また、後方散乱強度は、イメージング信号の波長、各イメージングオブジェクト２２２の反射率、透過率、各イメージングオブジェクト２２２の向きなどの他の要因に依存してもよい。これらの要因のそれぞれを考慮することは、イメージングオブジェクトを１つまたは複数のカテゴリに応じて正確に分類するために重要である。後方散乱信号の強度に影響を与える主要な要因の１つとして、分類の精度を向上させるために入射角を考慮することが非常に重要である。
【0055】
いくつかの実施形態では、１つまたは複数のカテゴリは、１つまたは複数の地理的特徴を含んでもよい。
【0056】
いくつかの実施形態では、１つまたは複数の地理的特徴は、水、氷、耕地、森林地帯、および／または人工構造物の１つまたは複数を含んでもよい。
【0057】
衛星ベースのイメージングまたは航空イメージングのコンテストでは、検出器は地理的環境の画像を捕捉してもよい。これらの画像は、環境、学術、軍事、その他の目的でイメージングされてもよい。これらの画像がＳＡＲイメージング技術に基づいている場合、収集された画像データは地理的環境内のさまざまな地理的特徴から反射された後方散乱信号に基づいていてもよい。後方散乱信号の強度は、信号が反射された地理的特徴の性質に強く依存していてもよい。
【0058】
図３ａは、滑らかなイメージングオブジェクトの表面からイメージング信号が反射するシナリオを示している。
【0059】
レーダ信号が比較的滑らかな表面から反射する場合、図３ａに見られるように、表面は鏡のように作用し、信号は表面から鏡面反射されてもよい。鏡面反射が強い場合、後方散乱は最小限になるため、イメージング検出器によって収集される後方散乱信号の強度は非常に低くなる。
【0060】
図３ｂは、粗いイメージングオブジェクトの表面から反射したイメージング信号のシナリオを示す。
【0061】
滑らかな表面の鏡面反射とは対照的に、レーダ信号が比較的粗い表面から反射する場合、その表面により、信号は表面から拡散反射することになる。信号が拡散反射すると、図３ｂに見られるように、信号は全方向に反射される。この反射はほぼ等方性であってもよいし、比較的異方性であってもよい。たとえば、「粗い」と「滑らかな」の中間である表面は、一般的に鏡面状にレーダ信号を反射してもよいが、拡散要素が含まれる。このように、反射信号の角スペクトルは、中心軸が鏡面反射の線に沿った円錐に似ていてもよい。この円錐の半角は、反射面の粗さとともに増加する。
【0062】
図３ｃは、上で論じたように、その表面粗さが「粗い」と「滑らか」の中間であるイメージングオブジェクトの表面から反射するイメージング信号のシナリオを示す。
【0063】
レーダ反射のコンテストでは、「滑らかな」および「粗い」という用語は、表面の滑らかさと表面粗さを指す。表面の滑らかさまたは粗さは、たとえばレイリー基準の観点から定量化してもよい。例えば、表面の表面粗さ、ｄは、基準面からの平均平方根粗さ高さ、すなわち、表面の平均位置を定義する面からのオブジェクト表面の平均平方根ずれとして決定されてもよい。比較的粗い表面は、比較的滑らかな表面よりも表面粗さの値が高くなる。波長λの画像信号が入射角θで表面に入射する場合、次の場合、表面は滑らかであると見なされてもよい。
【0064】
【数1】
【0065】
代替的に、次の場合、表面は粗いとみなされてもよい。
【0066】
【数2】
【0067】
代替的に、次の場合、表面は粗い表面と滑らかな表面の中間であるとみなされてもよい。
【0068】
【数3】
【0069】
したがって、表面の相対的な滑らかさまたは粗さは、表面の特性だけでなく、イメージング（レーダ）信号の波長および入射角にも依存することは明らかである。
【0070】
例えば、地形が水である場合、表面粗さの程度は、水面がどの程度相対的に静止しているかに依存する。たとえば、検出器が比較的穏やかな海の画像を捕捉した場合、有効表面は比較的滑らかになるため、レーダ信号が水面から鏡面反射することになる。したがって、つまり、検出器が浅い入射角よりも真上に近いとき、つまり、検出器がイメージング面に対して地平線上に近いとき、穏やかな水からの後方散乱信号強度は、急な入射角でより強くなる。これに対し、検出器が荒れた海の画像を捕捉すると、有効表面はより粗くなり、それによって強い後方散乱信号が捕捉される入射角の範囲が広がる。
【0071】
同様に、地形が氷である場合、レーダイメージング用の氷の表面は滑らかであるため、レーダは鏡面反射することになる。
【0072】
対照的に、地理的特徴が森林地帯である場合、表面の粗さ（木のてっぺんによって引き起こされる）により、拡散反射の度合いが大きいため、反射レーダ信号はほぼ等方性となる。したがって、森林地帯の後方散乱信号の強度は、入射角にわずかに依存する。
【0073】
地理的特徴が耕地である場合、平らな土地に作物が存在することによって引き起こされる表面の粗さは、主に鏡面反射が支配するが、反射信号の角度スペクトルを円錐に広げる拡散反射要素を含む反射レーダ信号をもたらしてもよい。言い換えれば、イメージング信号がレーダ信号である場合、耕作可能な土地は、上で論じたように、粗い表面と滑らかな表面との中間である表面を表してもよい。
【0074】
図３ｄは、例えば建物などの人工構造物からコーナー反射を受けるイメージング信号のシナリオを示す。
【0075】
地理的特徴が人工構造物である場合、特殊な場合の鏡面反射が発生してもよい。人工構造物は通常、その表面に対して垂直な壁（またはその他の垂直要素）を使用して構築される。これは、入射レーダ信号がいわゆるコーナー反射を受け得ることを意味し、つまり、レーダ信号が互いに垂直な２つの滑らかな表面から反射すると、信号は２回反射され（各表面から１回ずつ）、検出器に向かって反射されて戻る。このような場合、検出器で収集される反射レーダ信号の強度は非常に高く、粗い表面からの後方散乱信号から収集される拡散反射信号よりも高くなる。
【0076】
機械学習モデルは、オブジェクトの特徴（表面粗さなど）と入射角との間の関係、およびその関係が検出器によって受信される信号にどのように影響するかを理解するようにトレーニングしてもよい。これにより、上述したように、入射角を示す入射角データと、画像データの１つまたは複数のパラメータの値、例えば画像の画素毎に収集された信号強度とに基づいて、イメージングオブジェクト２２２をより正確に分類するように機械学習モデルをトレーニングしてもよい。
【0077】
いくつかの例では、イメージングオブジェクト２２２をより正確に分類できるようにするために、複数の異なる入射角からイメージングオブジェクト２２２の画像を捕捉することが必要な場合がある。例えば、比較的浅い角度、比較的急な角度、および浅い角度と急な角度の間の中間角度のそれぞれから見たイメージングオブジェクト２２２の画像が利用可能である場合、より正確な分類が達成可能となってもよい。入射角の範囲にわたる信号強度の強度により、より正確な分類が可能になってもよい。
【0078】
純粋に説明目的で、「荒い」水、「穏やかな」水、氷、耕地、森林地、および人工建造物を分類するためのルックアップテーブルの例は、以下には、「浅い」入射角、「急な」入射角、および浅い入射角と急な入射角の間の角度である「中間」入射角に含まれる。以下の表は定性的なものであり、機械学習モデルがトレーニング中に学習するロジックの一部を説明する目的で含まれていることに注意すべきである。
【0079】
【表1】
【0080】
上記の表１から分かるように、いくつかのグラフィック特徴は、画像検出器によって収集された信号強度と入射角との間で非常に類似した関係を示す場合がある。このような場合、機械学習モデルは、例えば荒い水と森林地や穏やかな水と氷とを区別できるように、コンテキスト情報を機械学習モデルに提供するイメージングオブジェクト２２２のＧＰＳ座標などのメタデータに基づいてさらにトレーニングされてもよい。
【0081】
図４は、画像データの入射角データおよび１つまたは複数のパラメータに基づいて画像内の１つまたは複数のオブジェクトを分類するためにＣＮＮをトレーニングする方法を示す。
【0082】
動作Ｓ４００において、機械学習モデルは、複数のトレーニング画像に対応付けられた画像データを受信する。
【0083】
入射角データは、図１に示す方法で受信した入射角データについて、上述した入射角モデルと同様にしてもよい。
【0084】
さらに動作Ｓ４０４～Ｓ４１２において、受信したトレーニング画像ごとにトレーニングデータパッチが生成される。動作Ｓ４０６に示すように、所定のトレーニング画像に対するトレーニングパッチを生成することは、所定のトレーニング画像に関連付けられた入射角データと所定のトレーニング画像に関連付けられた画像データとを連結することを含んでもよい。
【0085】
言い換えれば、前記機械学習モデルは、複数のトレーニング画像に関連付けられた画像データを受信するステップと、前記トレーニング画像ごとに、それぞれの前記トレーニング画像に関連付けられた画像データが検出器によって収集される入射角を示す入射角データを受信するステップと、前記トレーニング画像ごとに、トレーニングデータパッチを生成するステップであって、トレーニングデータパッチを生成する前記ステップは、関連付けられた入射角データを関連付けられた画像データに連結することを含む、ことによって画像を分類するようにトレーニングされる。
【0086】
このようにして、機械学習モデルは、画像データの定量的および／または定性的な性質がどのように入射角データとリンクされ、関連付けられたかを学習することができる。言い換えれば、機械学習モデルがこれらの各データセットを個別に処理する方法を学習するのではなく、モデルは２つのデータセットがどのように相互にリンクされ、相互に変化して最終的な全体的なイメージを生成するかを学習するように制約される。
【0087】
別の動作Ｓ４０８では、受信した入射角データは、トレーニング画像毎に拡張され、トレーニング画像毎に角度範囲データを生成する。
【0088】
別の動作Ｓ４１２では、各トレーニング画像について、トレーニングデータパッチの生成の一部として、関連付けられた角度範囲データが関連付けられた画像データに連結される。
【0089】
言い換えれば、いくつかの実施形態では、トレーニングデータパッチを生成することは、前記関連付けられた入射角データを拡張して角度範囲データを生成することであって、前記角度範囲データは、前記入射角データによって示される前記入射角に類似しているものとして前記機械学習モデルが認識されるようにトレーニングされる角度範囲を示す、ことと、前記角度範囲データを前記関連付けられた画像データに連結することと、をさらに含む。
【0090】
入射角データを角度範囲データに増加させることにより、機械学習モデルのトレーニングをより堅牢にすることができる。特に、この拡張により、機械学習モデルが偽陽性結論を学習するのを防ぐことができる。例えば、トレーニングデータが入射角２１．７９°で収集された画像を水の画像と判定したデータであると、今後２１．７９°でイメージングされた画像を水の画像と誤って知ることができる。入射角データを増加して角度範囲データを生成することで、機械学習モデルがこのような偽陽性結論を学習するリスクが大幅に軽減され、トレーニングされた機械学習モデルをより堅牢で信頼性の高いモデルにする。
【0091】
入射角データの各入射角値について、入射角データを増加させるには、入射角値について分布する各入射角範囲を生成することが含まれていてもよい。入射角の範囲は入射角値の両側に均一に分布してもよい。例えば、入射角値の両側方が０．０５度以上、入射角値の両側方が０．１度以上、入射角値の両側方が０．２５度以上、入射角値の両側方が０．５度以上、入射角値の両側方が１度以上であってもよい。
【0092】
入射角値ごとに入射角の範囲が均一に分布しなくてもよい。言い換えれば、範囲内の角度を定める分布は、不均一であってもよい。例えば、入射角値について対称な分布であってもよいし、正規分布であってもよい。他の例では、入射角値について非対称であってもよい。例えば、入射角値より大きい角度や入射角値より小さい角度のいずれかに偏ってもよい。
【0093】
一例において、入射角の範囲は、標準偏差が０．２５度以下の正規分布で分布してもよい。このような例では、入射角の範囲内の角度値の９５％が入射角値の両側０．５度以下となる。
【0094】
別の動作Ｓ４０４では、トレーニング画像毎に、関連付けられた入射角データを関連付けられた画像データと連結する前に、関連付けられた画像データと同じサイズの２次元パッチに投影する。
【0095】
同様に、他の動作Ｓ４１０では、トレーニング画像毎に、関連画像データと連結する前に、関連画像データと同じサイズの２次元パッチに関連角度範囲データを投影する。
【0096】
言い換えれば、いくつかの実施形態では、トレーニングデータパッチを生成することは、連結する前に、関連付けられた入射角度データ及び／又は角度範囲データを関連付けられた画像データと同じサイズの２次元パッチに投影することをさらに含んでもよい。
【0097】
このように、入射角データ、角度範囲データ、および画像データをすべて１つのトレーニングパッチに組み合わせてもよく、このトレーニングパッチは、たとえば、畳み込みニューラルネットワークに渡すことができ。この畳み込みニューラルネットワークでは、ＣＮＮによって実行される畳み込み演算により、機械学習モデルをトレーニングして３つのデータセット間の関係と相互リンクを認識できる。
【0098】
図５は、機械学習モデルをトレーニングするためのトレーニングデータセットを生成するために、入射角データがどのように拡張されるかを示す概略図である。
【0099】
いくつかの実施形態では、局所的入射角モデルは、入射角と画像内の第１方向の距離との関係を定義する関数５０２を備えていてもよい。
【0100】
検出器が衛星２１０に搭載されている例等、各画像は、主方向と互いに直交する２つの方向を有する座標系に基づいていてもよい。例えば、検出器が衛星２１０に搭載されている場合、画像に沿った第１方向が衛星の距離方向に対応してもよい。衛星によるイメージングの場合、距離方向は衛星の動きに直交する方向に対応し、すなわち、距離方向は衛星の軌道を横切る「クロストラック」にある。第２の方向は、第１方向と直交し、衛星の方位方向に対応する。衛星ベースのイメージングのコンテストでは、方位方向は衛星の軌道と平行な「アロングトラック」方向にある。
【0101】
画像内の１方向の距離のみに基づいて、画像の画素のそれぞれの入射角を決定することで、入射角を決定するための演算コストを大幅に低減してもよい。
【0102】
いくつかの実施形態では、関数５０２は、地球の幾何学的モデルと検出器の軌跡のモデルとに基づいて決定される多項式であってもよい。
【0103】
いくつかの実施形態では、多項式は立方多項式であってもよい。
【0104】
他の例においては、直線関数、二次、四次、五次、又は高次の多項式であってもよい。関数を多項式とすることにより、例えば三角関数に対して、多項式を決定する演算コストを低減してもよい。これは、多項式関数は一般に、三角関数、双曲線関数、指数関数、あるいは決定するために準無限のテイラー展開やマクローリン展開が必要なその他の関数よりも、計算に必要な項が大幅に少ないためである（たとえば、三角関数、双曲線関数、または指数関数を正確に計算するには、数百または数千の項を計算する必要がある場合がある）。
【0105】
実際には、３次関数が特に適していることが判明する可能性があり、なぜなら、これらを使用すると、高次多項式に存在する場合よりも「ねじれ」が少なく、勾配の変動を２次関数や線形関数よりも細かく制御できる、比較的滑らかな関数を定義できるからである。
【0106】
角度の範囲は、「元」入射角を最も入射可能な角度とし、その範囲の端部の入射角を最も入射可能な角度とするように分布関数によって定義されてもよい。分布関数は対称であってもよく、たとえば、分布はほぼ正規分布であってもよい。代替的に、分布関数は「元の」入射角に関して非対称である可能性がある。たとえば、分布はほぼベータ分布であってもよい。
【0107】
拡張関数５０４は、図４に関連して上述したように、それぞれのトレーニング画像に関連付けられた画像データと同じサイズの二次元パッチ５０６に投影してもよい。この２次元パッチ５０６は、関連付けられた画像データと連結してトレーニングデータパッチを生成してもよい。
【0108】
次に、複数のトレーニングデータパッチをコンパイルして、機械学習モデルをトレーニングするトレーニングデータセット５０８を形成してもよい。
【0109】
いくつかの実施形態では、機械学習モデルは、少なくとも一部、検出器によってイメージングされた地形の標高モデルに基づいてトレーニングされてもよい。
【0110】
このようにして、機械学習モデルは、標高モデルからの情報を含むトレーニングデータに基づいてトレーニングされ得、その結果、機械学習モデルとユーザの両方が、検出器によってイメージングされた地形の全体的なシーン幾何学的形状を認識することができる。この認識は、さらに、前記分類オブジェクト、前記入射角データ、および、いくつかの例では、地球および／または検出器の表面に対する１つまたは複数の分類オブジェクトの全体的な向きの決定に基づいていてもよい。
【0111】
いくつかの実施形態では、機械学習モデルは、人工ニューラルネットワークを含んでいてもよい。
【0112】
いくつかの実施形態では、人工ニューラルネットワークは畳み込みニューラルネットワークであってもよい。
【0113】
図６は、画像データの入射角データおよび１つまたは複数のパラメータに基づいて、画像内の１つまたは複数のオブジェクトを１つまたは複数のカテゴリのうちの１つに属するものとして分類するために使用され得る畳み込みニューラルネットワーク（ＣＮＮ）６００の概略図を示す。
【0114】
畳み込みニューラルネットワーク（ＣＮＮ）は、隣接する画素を畳み込み、ＣＮＮが誤って学習する原因となるアーティファクトを除去することによって画像を分析する能力のため、本明細書で説明される方法のコンテキストにおいて特に有用であってもよい。特に、ここで説明する機械学習モデルをトレーニングする場合と同様に（以下で説明するように）、ＣＮＮは、分析および／または処理のために複数のデータセットを単一の要因（または要因数の減少）に畳み込む能力のために、分析対象のデータ、またはネットワークがトレーニングされるデータが様々なデータ型の連結を含むデータパッチを含むシステムに特に適している。
【0115】
図６に示す例示例では、ＣＮＮ ６００は、この例６では、複数の入力データセット６１０を受信してもよい。これらの入力データセットは、図６に示すデータリンク（直線で示される）に従って、ノード６２０のセットに入力される。ノード６２０は、ＣＮＮ ６００の第１層を構成する。いくつかの例では、入力６１０と同じ数のノード６２０が存在してもよい。ノード６２０の第１の層は、受信した入力６１０を、ＣＮＮ ６００の第２の層を形成するより少数のノード６３０に畳み込む。図６に示す例では、ＣＮＮ ６００の第１層に６つのノード６２０があり、ＣＮＮ ６００の第２層に５つのノード６３０がある。
【0116】
一部の例では、ＣＮＮ ６００の畳み込み層がさらに存在してもよい。例えば、図６に示す例では、ＣＮＮ ６００の第２層の（５つの）ノード６３０が、ＣＮＮ ６００の第３層を形成するより少ない数（４つ）のノード６４０にデータを畳み込む。ＣＮＮ ６００の第３層のこれら（４つ）のノード６４０は、ＣＮＮ ６００の第４層を形成するさらに少ない数（３つ）のノード６５０にデータを畳み込む。
【0117】
いくつかの例では、データが所望の数のノードに畳み込まれた後（この場合は３）、畳み込まれたデータは、例えばフィードフォワードネットワークと同様に動作するニューラルネットワークのさらに層に供給される。図６に示される例では、畳み込みデータは、ＣＮＮの第４層の（３つの）ノード６５０から、ＣＮＮ ６００の第５層を定義する（４つの）フィードフォワードノード６６０のセットに渡される。いくつかの例では、ＣＮＮ ６００の第５層の（４つの）フィードフォワードノード６６０は、ＣＮＮ ６００の第６層、またはそれ以上の層の少なくとも１つのさらなるセットの（４つの）フィードフォワードノード６７０にデータを順伝播する。最後に、データは、（４つの）フィードフォワードノード６７０の最終（第６）層から複数の出力ポイント６８０（この例では３つ）に出力されてもよい。
【0118】
一例では、ＳＡＲ 画像内の水を検出するためにＣＮＮが開発された。ＣＮＮの例は、６４のフィルタを介して供給され、カーネルサイズの３ｘ３の６４の出力チャネルをもたらす２つの入力チャネルを備えた２Ｄ畳み込み入力層を備えている。ＣＮＮは、Ｓｗｉｓｈ関数を使用してネットワークが複雑な画像内の水を認識することを学習できるようにする活性化層も備えている。整流リニアユニット（ＲｅＬＵ）関数などの他の関数も使用できる可能性がある。例では、正規化層は４つのグループを使用してグループ正規化を利用する。バッチ正規化、層正規化、インスタンス正規化などの他の正規化方法も使用できる可能性がある。
【0119】
上記のＣＮＮを使用して、同じ画像と入射角でトレーニングされたまったく同じモデルが、入射角データも提供された場合にＳＡＲ画像の水などの特徴をよりよく検出できる例を示す実験を実施した。このテストは、水を含む領域をセグメント化するようにトレーニングされたセマンティックセグメンテーションＣＮＮオートエンコーダで実行された。このモデルには約４，０００万の学習可能なパラメータがあり、加重クロスエントロピーの一種である焦点損失を使用してトレーニングされた。トレーニングデータセットは、フィンランド、エスポーのＩＣＥＹＥ Ｏｙが運用するＸバンドＳＡＲ衛星によって取得された５４３枚のＳＡＲ画像から取得された２２５，０００個の５１２ｘ５１２画素パッチで構成されている。検証セットは ２５，０００ の同様のパッチで構成されていた。検証セットはトレーニング中にモデルに表示されることはない。
【0120】
適切な場所で水を正確に検出することにより、モデルが検証セットをどの程度うまく模倣できるかを確認するために２つの実験が実行された。この場合、水が特徴として選択された。これは、ＳＡＲ画像が低入射角からイメージングされた場合、ＳＡＲ画像に強い非線形性が生じる可能性があるためである。どちらの実験でも、モデルは同じトレーニングセットと同じランダムシードを使用して水をセグメント化するようにトレーニングされた。１つの実験では、モデルには画像の検証セットが与えられたが、入射角の情報は与えられなかった。２つ目の実験では、検証画像データと関連付けられた入射角情報の両方をモデルに提供した。
【0121】
図７は、時間に対する検証損失をプロットすることにより、両方の実験のパフォーマンスを示す。検証損失は、モデルが検証セットをどの程度うまく模倣できるかを示す尺度である。トレース７０１は、実験１の検証損失を示し、検証画像はモデルに提供されるが、各画像に関連付けられた入射角データは提供されない。トレース７０２は、実験２の検証損失を示し、モデルには検証画像に関連付けられた入射角情報の両方が提供されている。実験２は、入射角情報を提供するとＣＮＮの性能が良くなることを示した。トレース７０２から、すべてのタイムステップで約１０～２０％改善され、トレーニング終了後は２５％の優位性（０．０２８対０．０３５）で終了することがわかった。実験１が早期停止基準に達したとき、トレーニングの損失が頭打ちになったため、トレーニングは終了した。
【0122】
図８は、ベイウッド湖周辺のフロリダの西海岸からイメージングされたＳＡＲ画像８００を示す。この画像には多数の水の特徴がある。８０１で示されるエリアは海岸線付近の海である。海に加えて、画像内には、ベイウッド湖８０２、ハンターズ湖８０３、および画像の上部中央に示される一連の小さな湖８０４など、多数の小さな湖がある。エリア８０５はさらに沖合の水を表す。ここの画像は、約１６度の比較的低い中心入射角でイメージングされている。ＩＣＥＹＥ衛星によって得られたＳＡＲ画像のようないくつかの例では、この角度付近で強いコントラストの反転がある可能性がある。水の表面がかなり粗い場合（風や波によって乱された場合など）を除き、２０°以上の入射角からイメージングすると、水は通常暗く見える。しかしながら、図８の画像８００のような２０°未満の入射角からイメージングされた画像の場合、明るい領域で示されるように、水は比較的明るく見える可能性がある。この特定の画像は、明るい色にもかかわらず水で覆われている領域を正確に識別するために、モデルがこのコントラストの変化を解析できるかどうかを確認するために選択された。
【0123】
図９は、入射角データなしで図８の画像８００が提示され、どの領域が水で覆われているかを決定するように求められたＣＮＮによって処理された後の画像９００を示す。画像９００は、特定の画素が水であるＣＮＮによって決定される確率を表し、明るい白色は画素を水として分類する確率が高いことを意味し、暗い領域はその領域が水である確率が低いことを表す。画像９００では、ＣＮＮは、海岸近くエリア８０１が水であることをかなりうまく識別している。しかしながら、ベイウッド湖８０２、ハンターズ湖８０３、および小さな湖８０４はすべて非常に暗いように見える。つまり、これらのエリアがＣＮＮによって割り当てられたように水である可能性はまだ非常に低いことを意味する。
【0124】
図１０は、同じＣＮＮによって生成された、特定の画素および領域が水である確率を伴う画像１０００を示すが、今回は、画像８００がイメージングされた入射角（～１６°）を知ることができるという利点がある。図９と図１０を比較すると、どちらのモデルも海岸近くの海洋８０１が水であることをうまく識別しており、画像１０００はおそらく画像９００よりもそれらの領域が水である確率がわずかに高い（明るい白）ことを示している。画像９００と１０００は両方とも、さらに沖合の外洋域（エリア８０５など）の特定に関して同様の問題を示しているように見える。これは、海岸からさらに離れた水域の風や波の乱れによる可能性がある。しかし、画像１０００は、入射角を知るという利点を持つＣＮＮが、海岸の内陸部にある小さな湖を識別するのにはるかに優れていることを示している。ベイウッド湖８０２、ハンターズ湖８０３、および小さな湖８０４は、画像９００ではすべて非常に暗く見えるが、画像１０００では非常に明るく見える。これは、ＣＮＮがこれらの湖が水である可能性がはるかに高いと割り当てたことを示している（もちろん、それはそうである。）。したがって、一例として、入射角データでトレーニングされ、特定の画像の入射角データを提供したＣＮＮは、まだ完璧ではないが、同じ入射角情報を提供していないＣＮＮよりも、特定の特徴を持つ領域を分割することが著しく優れた仕事をすることができることを示すことができる。
【0125】
明確にするために、上記の説明では、単一のユーザを参照して本発明の実施形態を説明した。実際には、システムは、複数のユーザによって共有されてもよく、また、多くのユーザによって同時に共有されてもよいことが理解されるべきである。
【0126】
上記実施形態は、全自動であってもよい。いくつかの例では、システムのユーザまたはオペレータは、実行すべき方法のいくつかのステップを手動で指示することができる。
【0127】
本発明に記載された実施形態では、システムは、あらゆる形態のコンピューティングおよび／または電子デバイスとして実装されてもよい。そのようなデバイスは、マイクロプロセッサ、コントローラ、またはルーティング情報を収集および記録するためにデバイスの演算を制御するコンピュータ実装可能命令を処理する任意の他の適切なタイプのプロセッサとしてもよい１つまたは複数のプロセッサを含んでもよい。いくつかの例では、例えばシステムオンチップアーキテクチャを使用する場合、プロセッサは、（ソフトウェアまたはファームウェアではなく）ハードウェアで方法の一部を実装する１つまたは複数の固定機能ブロック（アクセラレータとも呼ばれる）を含んでもよい。オペレーティングシステムまたは任意の他の適切なプラットフォームソフトウェアを含むプラットフォームソフトウェアは、用途ソフトウェアがデバイス上で実行されることを可能にするために、コンピューティングベースのデバイスにおいて提供され得る。
【0128】
本明細書に記載された様々な機能は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせで実装されてもよい。ソフトウェアで実装される場合、これらの機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶され、またはコンピュータ可読媒体上で送信され得る。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体を含んでもよい。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータのような情報を記憶するために、任意の方法または技術で実装される揮発性または不揮発性、取り外し可能または取り外し不可能な媒体を含んでもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な記憶媒体とすることができる。限定ではなく例として、そのようなコンピュータ読み取り可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他の記憶デバイス、ＣＤ-ＲＯＭまたは他の光記憶ディスク、磁気ディスク記憶デバイスまたは他の磁気記憶デバイス、または所望のプログラムコードを命令またはデータ構造の形式で搬送または記憶するために使用され、コンピュータによってアクセス可能な任意の他の媒体を含むことができる。ここで使用される光ディスクおよびディスクには、光ディスク（ＣＤ）、レーザーディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、およびブルーレイディスク（ＢＤ）が含まれる。また、伝播された信号は、コンピュータ読み取り可能な記憶媒体の範囲内には含まれない。コンピュータ可読媒体はまた、ある位置から別の位置へのコンピュータプログラムの送信を容易にする任意の媒体を含む通信媒体を含む。接続は、例えば、通信媒体であってもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などの無線技術を使用してウェブサイト、サーバ、または他の遠隔ソースから送信される場合、通信媒体の定義に含まれる。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【0129】
代替的にまたは追加的に、本明細書で説明される機能は、少なくとも部分的に１つまたは複数のハードウェア論理コンポーネントによって実行されてもよい。例えば、限定されるわけではないが、使用可能なハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラム特定用途向け集積回路（ＡＳＩＣ）、プログラム特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑なプログラマブルロジックデバイス（ＣＰＬＤ）などである。
【0130】
図示は単一のシステムであるが、コンピューティングデバイスは分散システムであり得ることを理解されたい。これにより、例えば、いくつかのデバイスは、ネットワーク接続を介して通信することができ、コンピューティングデバイスによって実行されるものとして説明されているタスクを共同で実行することができる。
【0131】
図示はローカルデバイスであるが、コンピューティングデバイスは、ネットワークまたは他の通信リンクを介して（例えば、通信インターフェースを使用して）遠隔地に配置され、アクセスされてもよいことを理解されたい。
【0132】
本明細書では、「コンピュータ」という用語は、命令の実行を可能にする処理能力を有する任意のデバイスを指す。当業者であれば、このような処理能力は、多くの異なるデバイスに組み込まれ、したがって、「コンピュータ」という用語は、ＰＣ、サーバ、携帯電話、携帯情報端末、および多くの他のデバイスを含むことを認識するであろう。
【0133】
当業者は、プログラム命令を記憶する記憶デバイスがネットワーク上に分散されていてもよいことを認識するであろう。例えば、遠隔コンピュータは、ソフトウェアとして記述されたプロセスの例を記憶することができる。ローカルコンピュータまたは端末コンピュータは、リモートコンピュータにアクセスし、ソフトウェアの一部または全部をダウンロードしてプログラムを実行することができる。代替的に、ローカルコンピュータは、必要に応じてソフトウェア断片をダウンロードしてもよく、またはローカル端末でいくつかのソフトウェア命令を実行してもよく、リモートコンピュータ（またはコンピュータネットワーク）でいくつかのソフトウェア命令を実行してもよい。当業者はまた、当業者に知られている従来技術を利用することによって、ソフトウェア命令のすべてまたは一部が、ＤＳＰ、プログラマブルロジックアレイなどの専用回路によって実行されてもよいことを認識するであろう。
【0134】
上記の利点および優位性は、１つの実施形態に関連してもよいし、いくつかの実施形態に関連してもよいことを理解されたい。複数の実施形態は、言及された問題のいずれか又は全てを解決するもの、又は言及された利点と長所を有するものに限定されるものではない。変形は、本発明の範囲内に含まれるものとみなされるべきである。
【0135】
「ある」項目への参照は、これらの項目の１つまたは複数を意味する。用語「含む」は、識別された方法ステップまたは要素を含むことを意味するためにここで使用されるが、これらのステップまたは要素は排他的リストを含まず、方法またはデバイスは追加のステップまたは要素を含んでもよい。
【0136】
本明細書で使用されるように、用語「コンポーネント」および「システム」は、プロセッサによって実行されると特定の機能を実行させるコンピュータ実装可能命令で構成されたコンピュータ読み取り可能なデータストアを含むことを意図している。コンピュータ実行可能命令は、ルーチン、関数などを含んでもよい。また、コンポーネントまたはシステムは、単一のデバイス上に配置されてもよく、または複数のデバイス上に分散されてもよいことが理解されるべきである。
【0137】
さらに、本明細書で使用されるように、用語「例示的な」は、「何かの例示または例として」を意味することを意図している。
【0138】
さらに、「包含」という用語が詳細な説明または特許請求の範囲内で使用される程度については、「包含」という用語が特許請求の範囲内で過渡的な用語として解釈されるので、この用語は「包含」という用語と同様の包含性を有することを意図している。
【0139】
さらに、本明細書に記載の演算は、１つまたは複数のプロセッサによって実装され、および／または１つまたは複数のコンピュータ可読媒体上に記憶され得るコンピュータ実装可能命令を含んでもよい。コンピュータ実行可能命令は、ルーチン、サブルーチン、プログラム、実行スレッドなどを含んでもよい。さらに、これらの方法の動作の結果は、コンピュータ読み取り可能な媒体に記憶され、ディスプレイデバイスに表示され、および／または同様である。
【0140】
本明細書に記載の方法のステップの順序は例示的であるが、これらのステップは任意の適切な順序で実行されてもよいし、適切な場合には同時に実行されてもよい。さらに、ステップは、本明細書に記載された主題の範囲から逸脱することなく、任意の方法に追加または置換されてもよく、または単一のステップは任意の方法から削除されてもよい。上記のいずれかの実装形態の態様は、求められた効果を失うことなく、さらなる実装形態を形成するために、説明された他のいずれかの実装形態の態様と組み合わされてもよい。
【0141】
上記した内容は、１つまたは複数の実施形態の一例を含む。もちろん、上記の態様を説明する目的のために、上記のデバイスまたは方法のそれぞれの考えられる修正および変更を説明することは不可能であるが、当業者は、様々な態様の多くのさらなる修正および配置が可能であることを認識するであろう。したがって、記載された態様は、添付の特許請求の範囲内に含まれるすべてのそのような変更、修正、および変更を含むことが意図されている。
【図1】
【図2】
【図3a】
【図3b】
【図3c】
【図3d】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2024-06-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像内のオブジェクトを分類するコンピュータ実装方法であって、前記画像に関連付けられた画像データを受信するステップと、
入射角データを受信するステップであって、前記入射角データは、画像データが検出器によって収集される入射角を示す、前記ステップと、
機械学習モデルを使用して、前記画像内の１つまたは複数のオブジェクトを１つまたは複数のカテゴリの１つに属するものとして分類するステップであって、前記画像内の１つまたは複数のオブジェクトの分類は、
前記入射角データ、
および前記画像データの１つまたは複数のパラメータの値に基づいて行われる、前記ステップと、を含み、
前記機械学習モデルは、
複数のトレーニング画像に関連付けられた画像データを受信するステップと、
前記トレーニング画像ごとに、それぞれの前記トレーニング画像に関連付けられた画像データが検出器によって収集される入射角を示す入射角データを受信するステップと、
前記トレーニング画像ごとに、トレーニングデータパッチを生成するステップであって、トレーニングデータパッチを生成する前記ステップは、
前記関連付けられた入射角データを拡張して角度範囲データを生成するステップであって、前記角度範囲データは、前記入射角データによって示される前記入射角に類似しているものとして前記機械学習モデルが認識されるようにトレーニングされる角度範囲を示す、前記ステップと、
前記角度範囲データを前記関連付けられた画像データに連結するステップと、を含む、ことによって画像を分類するようにトレーニングされる、コンピュータ実装方法。
【請求項2】
トレーニングデータパッチを生成する前記ステップは、連結する前に、前記関連付けられた入射角データおよび／または前記角度範囲データを、前記関連付けられた画像データと同じサイズを有する２次元パッチに投影するステップをさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記機械学習モデルは、検出器によってイメージングされた地形の標高モデルに少なくとも部分的に基づいてトレーニングされる、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記入射角データは、地球の幾何学的モデルと、前記地球の幾何学的モデルに対する検出器の位置を示す１つまたは複数の状態ベクトルとに基づく局所的入射角モデルから導出される、請求項１に記載のコンピュータ実装方法。
【請求項5】
前記地球の幾何学的モデルは楕円形モデルである、請求項４に記載のコンピュータ実装方法。
【請求項6】
前記局所的入射角モデルは、前記入射角と前記画像内の第１方向の距離との間の関係を定義する関数を含む、請求項４又は５に記載のコンピュータ実装方法。
【請求項7】
前記関数は、前記地球の幾何学的モデルと前記検出器の軌跡のモデルとに基づいて決定される多項式である、請求項６に記載のコンピュータ実装方法。
【請求項8】
前記画像内の前記１つまたは複数のオブジェクトを分類する前記ステップは、前記画像の複数の画素のそれぞれを、１つまたは複数のカテゴリのうちの１つに属するものとして分類するステップを含む、請求項１に記載のコンピュータ実装方法。
【請求項9】
前記画像内の１つまたは複数のオブジェクトを分類する前記ステップは、前記画像のセクション内の１つまたは複数のオブジェクトを分類するステップを含む、請求項１に記載のコンピュータ実装方法。
【請求項10】
前記入射角データは、前記画像データと同時に受信される、請求項１に記載のコンピュータ実装方法。
【請求項11】
前記検出器は、地球周回軌道上の衛星に搭載されている、請求項１に記載のコンピュータ実装方法。
【請求項12】
前記検出器の位置を示す１つまたは複数の状態ベクトルは、前記衛星の軌道経路のモデルに基づいている、請求項４～５のいずれか１項に従属する請求項１１記載のコンピュータ実装方法。
【請求項13】
前記画像データの１つまたは複数のパラメータは、複数の画素のそれぞれの強度値、
複数の画素のそれぞれのカラーチャネル値、および／または
複数の画素のそれぞれに対する位相情報のうちの１つまたは複数を含む、請求項１に記載のコンピュータ実装方法。
【請求項14】
前記画像は合成開口レーダ画像である、請求項１に記載のコンピュータ実装方法。
【請求項15】
前記１つまたは複数のカテゴリは、１つまたは複数の地理的特徴を含む、請求項１に記載のコンピュータ実装方法。
【請求項16】
前記１つまたは複数の地理的特徴は、水、
氷、
耕地、
森林地帯、および／または
人工構造物のうちの１つまたは複数を含む、請求項１５に記載のコンピュータ実装方法。
【請求項17】
前記機械学習モデルは、人工ニューラルネットワークを含む、請求項１に記載のコンピュータ実装方法。
【請求項18】
前記人工ニューラルネットワークは、畳み込みニューラルネットワークである、請求項１７に記載のコンピュータ実装方法。
【請求項19】
請求項１に記載の方法を実行するプロセッサを備えるコンピュータ装置。
【請求項20】
コンピュータによって実行されると、請求項１に記載の方法をコンピュータに実行させるロジックを含む、コンピュータ読み取り可能な媒体。
【請求項21】
コンピュータによって実行されると、請求項１に記載の方法をコンピュータに実行させる命令を含む、コンピュータプログラム。
【国際調査報告】