特表 2024-532187 画像差異識別

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-05

(54)【発明の名称】画像差異識別

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240829BHJP

   G06T 7/00 20170101ALI20240829BHJP

   G06T 7/174 20170101ALI20240829BHJP

   G06N 3/0464 20230101ALI20240829BHJP

   G06N 3/0442 20230101ALI20240829BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G06T7/00 640

G06T7/174

G06N3/0464

G06N3/0442

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024510293

(86)(22)【出願日】2022-08-09

(85)【翻訳文提出日】2024-02-19

(86)【国際出願番号】 EP2022072363

(87)【国際公開番号】W WO2023020896

(87)【国際公開日】2023-02-23

(31)【優先権主張番号】2111906.0

(32)【優先日】2021-08-19

(33)【優先権主張国・地域又は機関】GB

(81)【指定国・地域】

(71)【出願人】

【識別番号】523132594

【氏名又は名称】アイサイ オサケユキチュア

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】フライバーグ タピオ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096AA09

5L096BA08

5L096BA18

5L096CA18

5L096DA01

5L096FA19

5L096FA59

5L096GA40

5L096HA09

5L096HA11

5L096KA04

(57)【要約】

複数の画像にわたる１つまたは複数の変化を識別するための計算機実施方法であって、前記方法は、畳み込みニューラルネットワーク、ＣＮＮ、エンコーダにおいて、複数の画像の各々の画素に関連付けられたデータを含むＣＮＮ入力データを受信することと、ＣＮＮエンコーダを介してＣＮＮ入力データを伝播して複数の特徴マップを生成することであって、各特徴マップは、特徴分類スキームに従って複数の画像のそれぞれの画像の各画素の特徴分類を含み、特徴分類スキームは、複数の分類を含み、訓練データに基づいてＣＮＮエンコーダによって生成される、ＣｏｎｖＬＳＴＭネットワークにおいて、ＣｏｎｖＬＳＴＭエンコーダによって生成された複数の特徴マップを含むＣｏｎｖＬＳＴＭ入力データを受信することと、ＣｏｎｖＬＳＴＭネットワークを介してＣｏｎｖＬＳＴＭ入力データを伝播して変化マップを生成することであって、変化マップは、複数の画像にわたる１つまたは複数の変化を示す変化データを含む、計算機実施方法。

【特許請求の範囲】

【請求項1】

複数の画像にわたる１つまたは複数の変化を識別するための計算機実施方法であって、
畳み込みニューラルネットワーク、CNN、エンコーダにおいて、複数の画像の各々の各画素に関連するデータを含むCNN入力データを受信することと、
前記ＣＮＮエンコーダを介して前記ＣＮＮ入力データを伝播して複数の特徴マップを生成することであって、各特徴マップは、特徴分類スキームに従って前記複数の画像のそれぞれの画像の各画素の特徴分類を含み、前記特徴分類スキームは、訓練データに基づいて前記ＣＮＮエンコーダによって生成される、前記伝播することと、
ＣｏｎｖＬＳＴＭネットワークにおいて、前記ＣＮＮエンコーダによって生成された前記複数の特徴マップを含むＣｏｎｖＬＳＴＭ入力データを受信することと、
前記ＣｏｎｖＬＳＴＭネットワークを介して前記ＣｏｎｖＬＳＴＭ入力データを伝播して変化マップを生成することであって、前記変化マップは、前記複数の画像にわたる１つまたは複数の変化を示す変化データを含む、前記伝播することと、
を含む、方法。

【請求項2】

前記変化データは、前記複数の画像にわたる前記１つ以上の変化の程度を示す定量的データを含む、請求項１に記載の計算機実施方法。

【請求項3】

前記変化データは、前記複数の画像の選択された画像の各画素の変化分類を含み、前記選択された画像の所与の画素について、前記画素の前記変化分類は、前記画素の前記特徴分類が、前記複数の画像の別の画像の対応する画素の前記特徴分類と同じであるか、または異なるかを示す、請求項１または２に記載の計算機実施方法。

【請求項4】

前記変化分類は、バイナリ分類である、請求項３に記載の計算機実施方法。

【請求項5】

前記ＣＮＮエンコーダの入力と前記ＣｏｎｖＬＳＴＭネットワークの入力との間のスキップ接続を提供することと、
前記スキップ接続を介して前記ＣＮＮ入力データのコピーを前記ＣｏｎｖＬＳＴＭネットワークの前記入力に伝播することと、
前記ＣＮＮ入力データの前記コピー内の前記複数の画像のそれぞれに関連付けられた前記データを、前記ＣＮＮエンコーダによって生成されたそのそれぞれの特徴マップと畳み込み、前記ＣｏｎｖＬＳＴＭ入力データを生成することと、
をさらに含む、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項6】

前記ＣＮＮ入力データは、前記複数の画像のそれぞれの前記画素のそれぞれに関連付けられた１つまたは複数の振幅値を示す振幅データを含む、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項7】

前記特徴分類スキームは、識別されたオブジェクトを第１の特徴分類または第２の特徴分類のいずれかに属するものとして分類するように構成されたバイナリ分類スキームである、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項8】

前記ニューラルネットワークを訓練するために使用される前記訓練データは、前記第１の特徴分類及び前記第２の特徴分類の両方を表すデータを含み、前記訓練データ内の前記第１の特徴分類を表す前記データは、前記第２の特徴分類を表す前記データに対して疎ら、請求項７に記載の計算機実施方法。

【請求項9】

前記特徴分類スキームは、前記ＣＮＮエンコーダを訓練することによって生成され、前記ＣＮＮエンコーダを訓練することは、
前記第２の特徴分類の前記データ及び前記ＣＮＮエンコーダの前記出力に基づいて予備マップを生成するように前記ＣＮＮエンコーダを事前に訓練することと、
前記第１の特徴分類の前記データ及び前記ＣｏｎｖＬＳＴＭネットワークの前記出力に基づいて前記ＣＮＮエンコーダ及び前記ＣｏｎｖＬＳＴＭネットワークの両方を訓練することによって前記計算ネットワークを訓練することであって、前記訓練されたＣＮＮエンコーダは、前記特徴分類スキームに従って前記複数の特徴マップを生成するように構成され、前記訓練されたＣｏｎｖＬＳＴＭネットワークは、変化マップを生成するように構成される、前記訓練されたＣＮＮエンコーダを事前に訓練することと、
を含む、請求項８に記載の計算機実施方法。

【請求項10】

前記ＣＮＮエンコーダを介して前記ＣＮＮ入力データを伝播して前記複数の特徴マップを生成することは、前記ＣＮＮ入力データを圧縮することを含む、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項11】

前記ＣＮＮ入力データは、前記複数の画像の各画像の各画素のそれぞれの位相値を示す位相データをさらに含み、そのそれぞれの特徴マップによる各画像の各画素の前記特徴分類は、前記位相データに少なくとも部分的に基づいている、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項12】

前記ＣｏｎｖＬＳＴＭ入力データは、前記複数の画像の各画像の各画素のそれぞれの位相値を示す位相データをさらに含み、前記ＣｏｎｖＬＳＴＭネットワークを介して前記ＣｏｎｖＬＳＴＭ入力データを伝播することは、
前記位相データを前記複数の特徴マップと畳み込み、前記変化マップを生成することと、を含む、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項13】

前記複数の画像のそれぞれは、それぞれ異なる時間に撮像された共通のターゲットの画像であり、前記複数の画像にわたる前記１つ以上の差異を識別することは、前記対象の経時的な１つ以上の変化を識別することと同等である、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項14】

前記複数の画像が連続画像を含み、前記方法が、
前記ＣｏｎｖＬＳＴＭネットワークを介して前記ＣｏｎｖＬＳＴＭ入力データを伝播し、前記連続する画像のそれぞれにそれぞれ関連付けられた前記ＣｏｎｖＬＳＴＭ入力データを、それぞれ先行する画像に関連付けられた前記ＣｏｎｖＬＳＴＭ入力データと畳み込み、連続する変化マップを生成することであって、各連続する変化マップは、前記複数の画像のうちの１つと連続する画像との間の変化を表す、前記伝播することと、をさらに含む、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項15】

前記複数の画像のそれぞれが、前記他の画像のそれぞれと一貫している、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項16】

前記複数の画像のそれぞれが、１０平方キロメートル以上、５０平方キロメートル以上、１００平方キロメートル以上、１０００平方キロメートル以上、５０００平方キロメートル以上、または１０００平方キロメートル以上の面積の画像である、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項17】

前記変化マップは、５０メートル以下、１０メートル以下、５メートル以下、または１メートル以下のサイズの空間特徴を分解するように構成される、請求項１４に記載の計算機実施方法。

【請求項18】

前記複数の画像のそれぞれが地理的地域の画像であり、前記特徴分類スキームが、
そのように分類された画素が所定の地理的特徴の存在を表すことを示す第１の特徴分類と、
そのように分類された画素が前記所定の地理的特徴の不在を表すことを示す第２の特徴分類と、
前記方法は、
前記複数の画像にわたる前記識別された差異に基づいて、前記所定の地理的特徴の前記存在／非存在が変化する地域を識別することと、をさらに含む、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項19】

前記第１の特徴分類は、そのように分類された画素が森林地帯を表すことを示す森林分類であり、
前記第２の特徴分類は、そのように分類された画素が森林化されていない土地を表すことを示す非森林分類であり、
前記方法は、
前記複数の画像にわたる前記識別された差異に基づいて、森林地帯の周りの森林伐採面積のサイズの変化を識別することと、をさらに含む、請求項１８に記載の方法。

【請求項20】

前記複数の画像のそれぞれが、合成開口レーダイメージングによって生成される、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項21】

前記複数の画像のそれぞれは、衛星によって取得されたデータから生成されたものである、先行請求項のいずれか一項に記載の計算機実施方法。

【請求項22】

前記画像のそれぞれが、低地球軌道の衛星によって取得されたデータから生成される、請求項２１に記載の計算機実施方法。

【請求項23】

前記先行請求項のいずれか一項に記載の方法を実施することによって、複数の画像にわたる１つまたは複数の変化を識別するように構成された計算システムであって、前記システムは、
畳み込みニューラルネットワーク、ＣＮＮ、エンコーダであって、前記ＣＮＮエンコーダは、
前記ＣＮＮエンコーダの入力において、前記複数の画像に関連付けられた前記データを含むＣＮＮ入力データを受信し、
前記ＣＮＮエンコーダを介して前記ＣＮＮ入力データを伝播して、複数の特徴マップを生成することであって、各特徴マップは、特徴分類スキームに従って、前記複数の画像のそれぞれの画像の各画素の特徴分類を含み、前記特徴分類スキームは、複数の分類を含み、訓練データに基づいて前記ＣＮＮエンコーダによって生成される、前記伝播するように構成される、
ＣｏｎｖＬＳＴＭネットワークと、
前記ＣＮＮエンコーダと前記ＣｏｎｖＬＳＴＭネットワークとの間のデータ接続リンクであって、前記ＣｏｎｖＬＳＴＭネットワークは、
前記ＣｏｎｖＬＳＴＭネットワークの入力において、前記データ接続リンクを介して、前記ＣＮＮエンコーダによって生成された前記複数の特徴マップを含むＣｏｎｖＬＳＴＭ入力データを受信し、
前記ＣｏｎｖＬＳＴＭネットワークを介して前記ＣｏｎｖＬＳＴＭ入力データを伝播して変化マップを生成することであって、前記変化マップは、前記複数の画像にわたる１つまたは複数の変化を示す変化データを含む、ように構成される
を含む、計算システム。

【請求項24】

前記計算システムが、前記ＣＮＮエンコーダの前記入力と前記ＣｏｎｖＬＳＴＭネットワークの前記入力との間のスキップ接続をさらに備え、前記システムは、
前記スキップ接続を介して前記ＣＮＮ入力データのコピーを前記ＣｏｎｖＬＳＴＭネットワークの前記入力に伝播させ、
前記ＣＮＮ入力データの前記コピー内の前記複数の画像のそれぞれを、前記ＣＮＮエンコーダによって生成されたそのそれぞれの特徴マップと畳み込み、前記ＣｏｎｖＬＳＴＭ入力を生成するように構成される、をさらに含む、請求項２３に記載の計算システム。

【請求項25】

請求項２３または２４に記載の前記計算ネットワークを訓練する方法であって、前記方法は
第１および第２の特徴分類をそれぞれ表すデータを含む訓練データを提供することと、
前記第２の特徴分類及び前記ＣＮＮエンコーダの前記出力を表す前記データに基づいて前記ＣＮＮエンコーダを事前訓練して、予備マップを生成することと、前記第１の特徴分類及び前記ＣｏｎｖＬＳＴＭネットワークの前記出力を表す前記データに基づいて前記ＣＮＮエンコーダ及び前記ＣｏｎｖＬＳＴＭネットワークの両方を訓練することであって、前記訓練されたＣＮＮエンコーダは、前記特徴分類スキームに従って前記複数の特徴マップを生成するように構成され、前記訓練されたＣｏｎｖＬＳＴＭネットワークは、変化マップを生成するように構成される、ことと、を含む、方法。

【請求項26】

前記第１の特徴分類を表す前記データは、前記第２の特徴分類を表す前記データに対して疎らである、請求項２５に記載の方法。

【請求項27】

前記計算ネットワークを訓練する前記ステップの間に、前記ＣＮＮエンコーダの重みは、前記事前訓練されたＣＮＮエンコーダ及び前記訓練されたＣＮＮエンコーダが同一の重みで構成されるように凍結される、請求項２５または２６に記載の方法。

【請求項28】

前記計算ネットワークを訓練するステップの間に、前記ＣＮＮエンコーダの重みは、前記事前訓練されたＣＮＮエンコーダ及び前記訓練されたＣＮＮエンコーダが異なる重みで構成され得るように凍結解除される、請求項２５または２６に記載の方法。

【請求項29】

請求項１～２２または２５～２８のいずれか一項に記載の方法を実行するように構成されたプロセッサを備える装置。

【請求項30】

プログラムが計算機によって実行されるとき、前記計算機に請求項１～２２または２５～２８のいずれか一項に記載の方法を実行させる命令を含む計算機プログラム製品。

【請求項31】

計算機によって実行されると、前記計算機に請求項１～２２または２５～２８のいずれか一項に記載の方法を実行させる命令を含む、計算機可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の画像にわたる差異を識別することに関する。１つの可能な実施形態では、本発明のいくつかの実施形態は、前記ターゲットまたは環境の複数の画像間の差異を識別することによって、ターゲットまたは環境における経時的な変化を識別するために使用され得る。

【背景技術】

【0002】

画像分析の多くの分野では、単独で画像を分析するだけでなく、複数の類似またはリンクされた画像にわたって差異を識別して、各画像を単純に個別に分析することからは入手できない追加情報を取得することが望ましい。例えば、異なる時間ステップでキャプチャされた同じ対象の一連の画像の変化を識別することは、画像の対象が経時的にどのように変化するかについての情報を画像の所有者に提供し得る。これは、多くの技術分野で応用を見出すことができ、そのうちの１つは、１つ以上の衛星によって取得されたデータから生成された画像の環境分析である。他のコンテキストでは、同じの同様の画像は、異なる技術の範囲を使用して収集されてもよく、例えば、画像は、光学画像、レーダ画像、マイクロ波画像、赤外線画像、ＵＶ放射画像、またはＸ線画像のうちの１つ以上をキャプチャするために、異なる波長の撮像信号を使用してキャプチャされてもよい。そのような画像間の差異は、密度、化学組成、屈折率、及び／または吸収及び／または反射係数などのスペクトル特性などの撮像対象の特性に関する情報を提供し得る。

【0003】

複数の画像にわたって差異を識別しようとするとき、考慮すべき2種類の解像度がある。第一に、各画像内の特徴を解像することが望ましい場合があり、これは空間解像度に類似していると見なすことができる。追加的または代替的に、画像間の変動を解像することが望ましく、これは時間的解像度に類似していると見なすことができる。高い空間解像度と高い時間解像度の両方を同時に達成することは、非常に大きなメモリ要件につながる。結果として、高い時空解像度要件を有する複数の画像にわたって差異を識別するための方法は、必要とされるメモリ記憶装置の量及び方法を実施するために必要とされる処理時間の量の両方の観点から、ユーザの計算リソースに過度の負担を課す可能性がある。

【0004】

以下に記載される実施形態は、上記した既知の方法の欠点のいずれかまたはすべてを解決する実施形態に限定されない。

【発明の概要】

【0005】

この概要は、以下の詳細な説明でさらに説明する概念の選択を簡略化した形で説明するために提供されている。本概要は、請求項に係る主題の主要な特徴又は必要な特徴を識別することを意図していない。発明の実施を容易にする、および/または実質的に類似した技術的効果を達成するために使用される変形および代替的特徴は、本明細書に開示された発明の範囲に属するものとみなされる。

【0006】

本発明は、請求項の範囲の添付のセットに記載されるように定義される。

【0007】

一般的な意味で、本開示は、畳み込み長短期メモリ「ＣｏｎｖＬＳＴＭ」ネットワークに接続された畳み込みニューラルネットワーク（ CNN ）エンコーダのシステムを使用して、複数の画像にわたる変化を識別する方法を提供する。このようにして、ここで説明される方法及びシステムは、メモリ要件を低減しながら、個々の画像内の高解像度及び異なる画像間の高解像度の両方で変化を識別する方法を達成する。

【0008】

ＣｏｎｖＬＳＴＭネットワークは当分野ではよく知られており、Xingjian SHIらの『神経情報処理システムの進展（Advances in Neural Information Processing Systems）』28（NIPS 2015）ISBN：9781510825024の降水接近予報のための機械学習手法（A Machine Learning Approach for Precipitation Nowcasting）や、Elsayedらの『科学技術と工学システムの進展（Advances in Science Technology and Engineering Systems）』誌2019年4月の『異なる活性化関数が無監督畳み込みLTMの時空学習に与える影響（Effects of Different Activation Functions for Unsupervised Convolutional LSTM Spatiotemporal Learning）』に例が記載されている。

【0009】

第１の態様では、複数の画像にわたる１つまたは複数の変化を識別するための計算機実施方法が提供され、この方法は、畳み込みニューラルネットワーク（ ＣＮＮ ）エンコーダで、複数の画像の各々の画素に関連付けられたデータを含むＣＮＮ入力データを受信するステップと、ＣＮＮエンコーダを介してＣＮＮ入力データを伝播して複数の特徴マップを生成するステップであって、各特徴マップは、特徴分類スキームに従って複数の画像のそれぞれの画像の各画素の特徴分類を含み、特徴分類スキームは、訓練データに基づいてＣＮＮエンコーダによって生成されるステップと、ＣｏｎｖＬＳＴＭネットワークで、ＣＮＮによって生成された複数の特徴マップを含むＣｏｎｖＬＳＴＭ入力データを受信するステップと、ＣｏｎｖＬＳＴＭネットワークを介してＣｏｎｖＬＳＴＭ入力データを伝播して変化マップを生成するステップであって、変化マップは、複数の画像にわたる１つまたは複数の変化を示す変化データを含むステップとを含む。

【0010】

このようにして、複数の画像にわたる１つまたは複数の変化は、変化マップに基づいて識別され得る。

【0011】

別の態様では、ここで説明される方法のいずれかを実施することによって、複数の画像にわたる１つまたは複数の変化を識別するように構成された計算システムが提供され、システムは、CNNエンコーダの入力で、複数の画像に関連付けられたデータを含むCNN入力データを受信し、CNNエンコーダを介してCNN入力データを伝播して複数の特徴マップを生成するように構成された畳み込みニューラルネットワーク（ CNN ）エンコーダを含み、各特徴マップは、特徴分類スキームに従って、複数の画像のそれぞれの画像の各画素の特徴分類を含み、特徴分類スキームは、複数の分類を含み、訓練データに基づいてCNNエンコーダによって生成され、ＣｏｎｖＬＳＴＭネットワーク、及びＣＮＮエンコーダとＣｏｎｖＬＳＴＭネットワークとの間のデータ接続リンクであって、ＣｏｎｖＬＳＴＭネットワークは、ＣｏｎｖＬＳＴＭネットワークの入力で、データ接続リンクを介して、ＣｏｎｖＬＳＴＭエンコーダによって生成された複数の特徴マップを含むＣｏｎｖＬＳＴＭ入力データを受信し、ＣｏｎｖＬＳＴＭネットワークを介してＣｏｎｖＬＳＴＭ入力データを伝播して変化マップを生成するように構成され、変化マップは、複数の画像にわたる１つまたは複数の変化を示す変化データを含む、を含む。

【0012】

言い換えれば、計算システムは、本明細書で説明される方法のいずれかを実施するように構成され得る。いくつかの実施形態では、計算システムは、１つの計算装置内に含まれ得、例えば、プロセッサによって実行される計算機可読媒体上に計算機実行可能命令として格納される。

【0013】

別の態様では、ここで説明される計算ネットワーク及び／またはシステムのいずれかを訓練する方法が提供される。方法は、それぞれ第１及び第２の特徴分類を表すデータを含む訓練データを提供するステップと、第２の特徴分類を表すデータ及びＣＮＮエンコーダの出力に基づいて予備マップを生成するようにＣＮＮエンコーダを事前訓練するステップと、第１の特徴分類を表すデータ及びＣｏｎｖＬＳＴＭネットワークの出力に基づいてＣＮＮエンコーダ及びＣｏｎｖＬＳＴＭネットワークの両方を訓練するステップとを含み、訓練されたＣＮＮエンコーダは、特徴分類スキームに従って複数の特徴マップを生成するように構成され、訓練されたＣｏｎｖＬＳＴＭネットワークは、変化マップを生成するように構成される。

【0014】

別の態様では、ここで説明される方法のいずれかを実行するように構成されたプロセッサを含む装置が提供される。プロセッサは、本明細書で説明される計算ネットワーク及び／またはシステムのいずれかの構成要素を備え得る。

【0015】

別の態様では、プログラムが計算機によって実行されると、計算機にここで説明される方法のいずれかを実行させる命令を含む計算機プログラム製品が提供される。

【0016】

別の態様では、計算機によって実行されると、計算機にここで説明される方法のいずれかを実行させる命令を含む計算機可読媒体が提供される。

【0017】

ここで説明される方法は、例えば、プログラムが計算機上で実行されているときにここで説明される方法のいずれかのステップを実行するように適合された計算機プログラムコード装置を含む、有形記憶媒体上の機械可読形式のソフトウェアによって実行することができ、計算機プログラムは計算機可読媒体上に具現化することができる。有形（または非一時的）記憶媒体の例としては、磁気ディスク、サムドライブ、メモリカードなどが挙げられるが、伝播信号は含まれていない。ソフトウェアは、方法ステップを任意の適切な順序でまたは同時に実行することができるように、パラレルプロセッサまたはシリアルプロセッサ上で実行するように適合されていてもよい。

【0018】

本アプリでは、ファームウェアおよびソフトウェアが個別に取引可能な価値のある商品であることを認識している。これは、必要な機能を実行するために、「ダム」または標準的なハードウェア上で演算または制御されるソフトウェアを含むように設計されている。また、所望の機能を実行するためにシリコンチップを設計したり汎用プログラマブルチップを構成したりするHDL（ハードウェア記述言語）ソフトウェアなど、ハードウェア構成を「記述」したり定義したりするソフトウェアも含まれることを目指している。

【0019】

本明細書で論じられる特徴及び実施形態は、当業者に明らかであるように、適切に組み合わせられてもよく、そのような組み合わせが不可能であるか、または当業者がそのような組み合わせが自明に不可能であることを理解するであろうことが明示的に提供される場合を除き、の態様のいずれかと組み合わせられてもよい。

【0020】

本発明の実施形態は、例として、以下の図面を参照して説明する。

【図面の簡単な説明】

【0021】

【図1】ＳＡＲ画像データを収集する地球の周りの軌道上の衛星の概略図を示す。

【図2a】本発明のいくつかの実施形態による、複数の画像にわたる差異を識別するように構成された計算システムの概略図を示す。

【図2b】図２ａの計算システムのＣＮＮエンコーダの動作の概略図を示す。

【図2c】図２ａの計算システムのＣｏｎｖＬＳＴＭネットワークの動作の概略図を示す。

【図3】本発明のいくつかの実施形態による、複数の画像にわたる差異を識別する方法を示す。

【図4】本発明のいくつかの実施形態による、図２ａの計算システムを訓練する方法を示す。

【図5】本発明のいくつかの実施形態による、ＳＡＲによって撮像された森林環境における森林伐採の地域を識別する例の結果を示す。

【図6】請求項に係る発明の方法を実行するように構成された計算機を示す。

【0022】

図面全体を通して共通の符号を用いて、類似の特徴を表す。

【発明を実施するための形態】

【0023】

以下、本発明の実施形態を一例として説明する。これらの実施形態は、これを可能にする唯一の方法ではないが、出願人が現在知っている、本発明を実行するための最良のパターンを表す。この説明では、サンプルの機能と、サンプルを構築および操作するための一連の手順について説明する。しかしながら、同じまたは同等の機能およびシーケンスは、異なる例によって実施されてもよい。

【0024】

ここで説明される方法およびシステムは、解像度（すなわち、各画像内の解像度、または画像間の変動の解像度の）の損失を最小限に抑えて、複数の画像にわたる変化を識別する手段を提供する。例えば、ＣＮＮエンコーダを介して各画像の特徴マップを生成することによって、前記方法のメモリ要件は、各画像内の解像度の損失を最小限に抑えて大幅に低減される。これは、ＣＮＮエンコーダが、特徴マップに対して画素ごとにいくつかのデータ値を含み得る画像データを簡素化することが可能であるためである。そのような特徴マップは、各画素に単一の値をエンコードし、各画素にエンコードされた値は、特徴マップによって前記画素に付与された特徴分類を表す。

【0025】

いくつかの実施形態では、変化にエンコードされた変化データは、複数の画像にわたる１つ以上の変化の程度を示す定量的データを含む。以下に説明するように、これにより、ユーザは、変化の存在だけでなく、複数の画像にわたる変化の程度も決定することができる。ＣＮＮエンコーダによる画像データの簡素化のために、この定量的変化分析は、比較的控えめなメモリ及び処理要件で実行することができる。

【0026】

いくつかの実施形態では、変化データは、複数の画像の選択された画像の各画素の変化分類を含み、選択された画像の所与の画素について、前記画素の変化分類は、前記画素の特徴分類が、前記複数の画像の別の画像の対応する画素の特徴分類と同じであるか、または異なるかを示す。いくつかの実施形態では、変化分類は、バイナリ分類、すなわち、変化が発生したかどうかの分類である。変化分類スキームに従ってＣｏｎｖＬＳＴＭによって生成された変化マップをエンコードすることによって、ＣｏｎｖＬＳＴＭのメモリ要件をさらに削減することができる。重要なことに、従来のニューラルネットワークを実施する方法とは対照的に、ここで説明される方法及びシステムは、複数の画像にわたって変化があったかどうかを検出することに焦点を当てており、これらの変化が表示され得るにもかかわらず、前記画像にわたる変化の正確な演変を視覚化して表示しようとすることに依存しない。さらに、変化マップを作成することで、変化識別分析のプロセスが簡素化されます。各画像の各画素に関連する広範な情報を詳述するデータのスタックを生成する代わりに、ここで説明される方法は、複数の画像にわたって各画素の特徴分類の変化が発生したかどうか、及びいくつかの実施形態では、前記変化の程度にかかわらず、画像の１つの各画素について識別するデータセットを単純に生成し得る。

【0027】

実際には、変化の識別問題を定量的な質問（すなわち、画像間でどの程度の変化があるか）から定性的な質問（複数の画像間で変化が生じているかどうか）に減らすことによって、この方法のメモリ要件は大幅に減少し、この方法を実施する計算機は、CNNエンコーダによって生成される複数の特徴マップおよびＣｏｎｖＬＳＴＭによって生成される変化マップにおいて高い解像度を維持することができる。ここで説明される方法は、特徴マップの生成及び変化マップの変化分類スキームからのメモリ節約を利用して、低メモリ及び処理要件で高解像度を提供する方法を活用する。これは、ここで説明される方法及びシステムに提供されるように、ＣＮＮエンコーダをＣｏｎｖＬＳＴＭネットワークと組み合わせる特定の構成なしには達成できないであろう。

【0028】

図１は、ＳＡＲ画像データを収集する地球１２の周りの軌道上のそのような衛星１０の概略図を示す。ここで説明される方法に従って分析される画像データは、地球の周りの低地球軌道（ ＬＯＥ ）に衛星１０によって収集されたＳＡＲ画像データであり得る。

【0029】

衛星１０は、ターゲット、例えば、地球１２上の地域、例えば、北極または南極環境、森林環境、または都市環境、または関心のある任意の他の風景を撮像し得る。衛星１０は、繰り返し軌道にあり、軌道周期ごとに少なくとも１回、同じターゲット環境を画像化する。衛星１０は、地球１２の周りのその軌道の各パスでターゲットを連続的に撮像するとき、連続する各画像を複数の画像を形成するスタックに追加し得る。以下に説明するように、連続する画像が画像のスタックに追加されるたびに、画像全体の変化の識別を適用して、連続する変化マップを生成し、関心のある風景の演変を追跡できるようにすることができる。これは、いくつかの例では、連続する変化マップ及びそれらの経時的な演変を示すビデオまたは一連の画像で表すことができる。

【0030】

上述したように、いくつかの実施形態では、複数の画像のそれぞれは、合成開口レーダイメージング（ ＳＡＲ ）によって生成される。ＳＡＲは、火災からの雲や煙などの不透明な大気構造を「透視」して地球の表面を直接撮像することができるため、衛星ベースの撮像システムでの使用に特に適している１２。

【0031】

ここで説明される方法は、広範囲の画像に適用可能である。特に、本方法は、ＳＡＲ撮像の状況において特に有益な応用を見出す。ＳＡＲは、風景などの画像化された対象の２次元画像及び／または３次元再構成を作成するために使用可能である。

【0032】

上述したように、いくつかの実施形態では、複数の画像の各々は、１つ以上の衛星によって取得されたデータから生成される。

【0033】

衛星画像は、多種多様なターゲット上の画像データを収集する機会を提供する。例えば、衛星ＳＡＲ画像などの衛星によって取得されたデータから生成された画像は、森林地帯、都市環境、北極または南極環境、または他の風景を画像化するために使用され得る。衛星によって取得されたデータから生成された画像にここで説明される方法を適用することによって、前記方法のユーザは、撮像された風景の環境変化の程度を容易に識別することができる。これには、例えば、森林伐採／森林再生、都市化／反都市化、地滑り、浮氷の成長／収縮、及び／または他の環境変化の特定及び検出が含まれ得る。

【0034】

上述したように、いくつかの実施形態では、衛星によって取得されたデータから生成された画像の各々は、低地球軌道上の衛星によって生成される。

【0035】

低地球軌道の衛星は、１時間以下、９０分以下、２時間以下、４時間以下、６時間以下、１２時間以下、１８時間以下、または１日以下の短い軌道周期を有し得る。低地球軌道は、地球の表面から１６０キロメートルから１０００キロメートルの高さにあります。したがって、ＳＡＲに基づく地球ベースの観測衛星の例は、地球上空４５０キロメートルから６５０キロメートルの軌道を有することができる。一例では、衛星１０は、地球の表面上５５０キロメートルの軌道を有し得る。例えば、地球の上空５５０キロメートルの軌道では、衛星は毎秒約7.5キロメートル、すなわち毎時２７,０００キロメートルで効果的に地上を横断しています。この軌道上のほとんどの衛星は、毎秒7～8キロメートルの速度で地球を横断します。低地球軌道内の１つ以上の衛星によって取得されたデータから生成された画像にここで説明される方法を適用することは、高い空間解像度に加えて、撮像された対象における変化の高い時間解像度を達成するための手段を方法のユーザに提供する。これにより、ユーザは、画像化された対象における時空的変化のより正確な検出及び／または識別を得ることができる。

【0036】

いくつかの実施形態では、複数の画像のそれぞれは、複数の画像にわたって１つ以上の差異を識別することは、対象の経時的な変化を識別することと同等であるように、それぞれ異なる時間にキャプチャされた共通のターゲットの画像である。

【0037】

このようにして、複数の画像のうちの単一の画像内の特徴の解像度を空間解像度と見なすことができ、複数の画像にわたる変化の解像度を時間解像度と見なすことができる。ここで説明される方法は、要求される方法を実施する計算機にメモリまたは処理要件の観点から過度の負担を課すことなく、高い時空解像度が達成される撮像対象の時間的変化の検出を可能にする。これにより、ここで説明される方法のいずれかのユーザは、厳格なメモリ、記憶装置、または処理制限を有するデバイス、ネットワーク、またはシステムであっても、良好な空間的および時間的解像度を有する撮像対象の変化を検出および識別することができる。

【0038】

いくつかの実施形態では、複数の画像のそれぞれは、他の画像のそれぞれと一貫している。互いにコヒーレントである２つの画像は、固定関係を有するそれぞれの撮像信号によって収集されている。

【0039】

以下でより詳細に説明するように、位相情報、特に画像間の相対的な位相変化は、各画像のそれぞれの予備グラフまたは特性グラフでエンコードされた情報を超えたさらなる情報を示すことができる。画像がコヒーレントである場合、画像間の位相変化にエンコードされた情報は、コヒーレント変化検出（ＣＣＤ ）、デジタル標高モデル（ＤＥＭ）生成または差動干渉合成開口レーダ画像化（ＩｎＳＡＲ）を含むコヒーレント分析を強化するのに適している。

【0040】

ＣＣＤは、人間の目には見えそうにないコヒーレント画像間の変化を検出する。これは、ＣＣＤの感度が、画像を収集するために使用される光の波長のほんの一部であるためである。例えば、レーダイメージングの状況では、ＣＣＤは、衛星収集画像からセンチメートル程度の変化を解決することができる。合成開口レーダ（ ＳＡＲ ）イメージングの状況において、ＣＣＤは、「裸眼」分析を越える解像度で２つのＳＡＲ画像間のわずかな差異を見る能力をユーザに提供する。

【0041】

ＤＥＭは、2つのコヒーレント画像間の位置の微妙な差異を利用する。次いで、コヒーレント画像の各々の画素に関連付けられた位相情報が比較され、基準面に対する変動が強調表示される。言い換えれば、ＳＡＲ撮像において、位相情報を使用して、基準「ゼロ」高さに対する画像内の特徴の高さを推測することができる。ＤＥＭ生成は、この高さデータを位相アンラッピングを介して位相変動情報から取得して、地域の３次元デジタル標高モデルを形成することを可能にする。

【0042】

ＩｎＳＡＲは、上述したＣＣＤ技術とＤＥＭ技術の組み合わせと考えることができる。特に、ＩｎＳＡＲは、時間の経過とともに高度の非常に微妙な変化の検出を容易にします。１つまたは複数の衛星によって取得されたデータから生成された画像は、ＩｎＳＡＲで分析されて、環境内の１ヶ月間の１ミリメートル程度の変化を検出することができる。これは、ダムや橋の崩壊など、土地の滑りからインフラの崩壊に至るまで、さまざまな危険な状況や新たな状況を特定するために使用できます。

【0043】

いくつかの実施形態では、複数の画像の各々は、１０平方キロ以上、５０平方キロ以上、１００平方キロ以上、１０００平方キロ以上、５０００平方キロ以上、またはより速く、または１００００平方キロ以上の地域の画像であってもよい。

【0044】

例えば、画像の各々は、５キロメートル× ５キロメートルの面積以上、１０キロメートル× １０キロメートルの面積以上、５０キロメートル× ５０キロメートルの面積以上、または１００キロメートル× １００キロメートルの面積以上のものであってもよい。

【0045】

そのような大きな面積の対象サイズであっても、ここで説明される方法は、０．１メートル以下、０．５メートル以下、１メートル以下、５メートル以下、１０メートル以下、または５０メートル以下のサイズの特徴を表す複数の画像にわたる差異の空間解像度を可能にする。

【0046】

衛星によって収集されたデータ、特にＳＡＲ画像に適用される場合など、ここで説明される方法及びシステムは、スペックルパターンを受けた画像に適用される場合に特に有益である。スペックルパターンは、撮像信号の一連のコヒーレント波面のコヒーレントから生じる。この物理的現象は、コヒーレント撮像信号が撮像対象から反射するときに生じる。（回折理論に基づく）信号の多くの反射点のそれぞれは、球面波の源として動作する。撮像装置、例えば衛星１０に戻る複数の球面波は、相互にコヒーレントして、特徴的に「ぼやけた」スペックルパターンを生じる。

【0047】

スペックルパターンを受けた画像を分析することは、そのような画像が、画像内に含まれるオブジェクトを識別するために使用される従来のアルゴリズムに対して「ノイズの多い」ように見えるため、非常に困難であり得る。実際には、スペックルパターンは、画像内の隣接する画素に関連付けられたデータに大きな変動を引き起こし、したがって、単一の画素の情報内容は非常に限られている。以下に説明するように、本明細書に開示される方法及びシステムは、そのようなスペックルパターンによってもたらされる問題を軽減する手段を提供する。

【0048】

図２ａ ～ ｃは、複数の画像にわたって差異を識別するように構成され得る計算システム２００及びその構成部分の動作の概略図を示す。

【0049】

図２ａは、複数の画像２１０にわたって差異を識別するように構成された計算システム２００の概略図を示す。

【0050】

複数の画像２１０に関連付けられたデータは、ＣＮＮエンコーダ２２０に入力され、ＣＮＮ入力データを形成する。ＣＮＮエンコーダの畳み込みニューラルネットワークは、複数の画像２１０に関連付けられたデータがＣＮＮエンコーダ２２０を通して伝播されるにつれて、複数の画像２１０のそれぞれにそれぞれ関連付けられたデータが畳み込まれて複数の特徴マップ２３０を生成するように、複数の畳み込み層を含み得る。各特徴マップは、複数の画像２１０のうちの１つにそれぞれ関連付けられる。

【0051】

いくつかの実施形態では、複数の画像２１０の各々に関連付けられたデータは、複数の画像２１０の各々の各々の画素にそれぞれ関連付けられた１つまたは複数の振幅を示す振幅データを含む。振幅データは、例えば、ＲＧＢ画像内のＲ、Ｇ及びＢチャネルのそれぞれに関連付けられた振幅を示すデータ値、またはＣＭＹＫチャネル内のＣ、Ｍ、Ｙ及びＫチャネルのそれぞれに関連付けられた振幅を示すデータ値、またはグレースケール画像内のグレースケール値を示すデータ値を含み得る。

【0052】

言い換えれば、振幅データは、ＲＧＢ値としてエンコードされ得る。すなわち、Ｒ、Ｇ、及びＢの値のそれぞれ、及び任意選択で明るさのそれぞれを示す、各画素に関連付けられたデータ値が存在し得る。追加的または代替的に、振幅データは、ＣＭＹＫ値としてエンコードされ得る。言い換えれば、Ｃ、Ｍ、Ｙ及びＫの値のそれぞれ、ならびに任意選択で明るさのそれぞれを示す、各画素に関連付けられたデータ値があってもよい。追加的または代替的に、振幅は、グレースケールに従って示され得る。言い換えれば、グレースケールに沿った画素の色合いを示すデータ値があり得る。そのようなデータ値は、８ビットの整数として、または別の適切なフォーマットでエンコードされ得る。

【0053】

いくつかの実施形態では、ＣＮＮ入力データは、複数の画像２１０の各画像のそれぞれの画素のそれぞれの位相値を示す位相データをさらに含み、そのそれぞれの特徴マップ２３０による各画像のそれぞれの画素の特徴分類は、以下でより詳細に説明されるように、少なくとも部分的に、前記位相データに基づいている。

【0054】

それらの間の差異について２つ以上の画像を分析するとき、画像間の相対的な位相変化は、各画像のそれぞれの特徴マップでエンコードされたそれを超えるさらなる情報を示すことができる。例えば、いくつかの例では、画像の各画素に関連付けられた位相値は、前記画素に対応する位置で前記画像を収集／生成するために使用される信号の位相を示し得る。したがって、反射を基にした撮像では、位相値は、画像を生成するために信号が反射されたターゲットの表面と画素撮像検出器との間の距離を示し得る。一方、伝送を基にした撮像では、位相値は、信号が伝送されるターゲットの密度を示し得る。

【0055】

言い換えれば、位相データは、複数の画像２１０のうちの少なくとも１つを生成するために使用される撮像信号の光路長を示すことができる。例えば、図１のＳＡＲ衛星システム１０の状況において、位相データは、地球１２の表面上の撮像されたターゲットの相対的な高さを示す。

【0056】

ＣＮＮエンコーダ２２０は、複数の画像２１０のそれぞれに関連付けられたデータから特徴マップ２３０を生成するように訓練される。特徴マップ２３０のそれぞれは、特徴分類スキームに従って、複数の画像２１０のそれぞれの画像の各画素の特徴分類を含む。特徴分類スキームは、訓練データを用いたその訓練に基づいて、ＣＮＮエンコーダ２２０によって生成される。ＣＮＮエンコーダ２２０の訓練のさらなる説明は、図４に関連して以下に見出すことができる。

【0057】

いくつかの実施形態では、特徴分類スキームは、識別されたオブジェクトを第１の特徴分類または第２の特徴分類のいずれかに属するものとして分類するように構成されたバイナリ分類スキームである。

【0058】

特徴分類スキームをバイナリ分類スキームに簡略化することによって、本明細書に記載される方法のメモリ要件が低減される。特に、バイナリ分類スキームは、特徴マップ２３０のそれぞれが一連のワンホットエンコードプロセスまたは同様のものでエンコードされることを可能にする。

【0059】

いくつかの実施形態では、特徴分類スキームは、森林地帯対非森林地帯、氷地形対非氷地形、居住区対無人地形、都市環境における建物対非建物、土地対水、及び／または任意の他の適切な特徴分類セットの特徴分類を含む。これにより、計算システム２００のユーザは、森林伐採／森林再生、氷（フロア）の成長／収縮、遊牧民の動き、（反）都市化、海岸浸食／開発、および／または適切な特徴分類スキームに基づいて検出、識別、および／または測定され得る任意の他のプロセス。

【0060】

言い換えれば、いくつかの実施形態では、特徴分類スキームの複数の特徴分類は、そのように分類された画素が森林地帯を表すことを示す森林分類と、そのように分類された画素が森林地帯ではない土地を表すことを示す非森林分類とを含み、方法は、複数の画像にわたって識別された差に基づいて森林地帯の周りの森林伐採の地域を識別することをさらに含む。

【0061】

このようにして、方法のユーザにとって関心のある地域の森林伐採または森林再生を追跡することが可能であり得る。これらの地域には、伐採作業や他の森林伐採プロジェクトの影響を受けているアマゾン熱帯雨林などの熱帯雨林が含まれている可能性がある。これらの地域には、森林伐採の影響を受けている他の森林地域も含まれる可能性がある。森林伐採には、伐採プロジェクト（許可されているか許可されていないか）などの人工的な森林伐採が含まれ、火災などの自然な森林伐採手段が含まれる場合がある。例えば、森林伐採の地域を検出および識別するために適用されるここで説明される方法は、カリフォルニア州、オーストラリア、カナダなどの森林のように、山火事によって引き起こされる森林伐採を追跡し得る。

【0062】

さらに、いくつかの実施形態では、特徴分類スキームの複数の特徴分類は、そのように分類された画素が氷によって定義されたまたは氷で覆われた地域を表すことを示す氷分類と、そのように分類された画素が氷のない地域を表すことを示す非氷分類とを含み、方法は、複数の画像にわたって識別された差異に基づいて、北極または南極環境における氷の膨張または後退の地域を時間とともに識別することをさらに含む。

【0063】

このようにして、北極および／または南極の円における浮氷および／または氷河の縮小または成長を追跡することが可能であり得る。これは、例えば、気候変化の影響を追跡する手段として、極地の氷帽および他の氷の環境の状態に関する情報を政府、非政府組織、気候科学者、および／または他のユーザーに提供するために使用され得る。

【0064】

いくつかの実施形態では、特徴分類スキームの複数の特徴分類は、そのように分類された画素が建物を表すことを示す建物分類と、そのように分類された画素が建物ではない特徴を表すことを示す非建物分類とを含み、方法は、複数の画像にわたって識別された差異に基づいて、都市環境内の建設及び／または解体場所を経時的に識別することをさらに含む。

【0065】

このようにして、都市環境の開発または解体を追跡することが可能であり得る。
これにより、本明細書に記載された方法のユーザは、都市の広がり／スプロールを分析する手段を提供することができる。言い換えれば、本明細書に記載の方法をこのコンテキストに適用するユーザは、関心のある地域における都市化および／または反都市化を検出および識別することができるかもしれない。

【0066】

いくつかの実施形態では、特徴分類スキームの複数の特徴分類は、そのように分類された画素が画像化された地域内の居住場所を表すことを示す居住分類と、そのように分類された画素が画像化された地域内の無人の場所を表すことを示す非居住分類とを含み、方法は、複数の画像にわたって識別された差異に基づいて、無人または部分的に居住された環境内の居住場所の建設および／または除去を経時的に識別することをさらに含む。

【0067】

このようにして、彼らの居住地、またはキャンプがいつどこに建てられ、解体されるかを決定することによって、遊牧民、またはそうでなければ移動可能な個人のグループの動きを追跡することが可能であり得る。

【0068】

いくつかの実施形態では、特徴分類スキームの複数の特徴分類は、そのように分類された画素が土地を表すことを示す土地分類と、そのように分類された画素が水域を表すことを示す水分類とを含み、方法は、複数の画像にわたって識別された差異に基づいて、水域によって土地の海岸浸食または同様のものを識別することをさらに含む。

【0069】

このようにして、関心のある地域における海岸浸食の進行を追跡することが可能であり得る。追加的または代替的に、海岸防衛が関心のある地域への海岸防衛の導入後に海岸侵食が減速した程度を確立することによって、海岸侵食の進行を遅らせる海岸防衛の有効性を決定することが可能であり得る。

【0070】

上記の方法は、上記のものに加えて、様々な他の状況で使用することができる。例えば、時空解像度に適用される方法は、丘陵、崖、山における地滑り及び／または地滑りすべり及び／または雪崩の影響を受けやすい他の地域を検出及び識別するために使用され得る。これは、少なくとも部分的に、地面の高さがシフトしたことを示す画像間の位相の変化に基づいてもよい。代替の例では、方法は、複数の画像のそれぞれが同じ対象から同時に撮影されるが、各画像が異なる波長の撮像信号によって撮像される状況に適用され得る。これらの撮像信号は、例えば、限定されないが、光信号、マイクロ波信号、無線信号、赤外線信号、紫外線信号及び／またはＸ線信号であり得る。異なる波長の撮像信号によって生成された複数の画像は、複数の画像にわたって空間及びスペクトル、または空間スペクトルの変動を識別及び／または検出するために、ここで説明される方法に従って分析され得る。空間スペクトル差の識別及び／または検出は、多くの状況で使用され得る。例えば、そのような方法は、太陽または他の太陽活動からのコロナ質量放出の識別に適用可能であり得る。

【0071】

いくつかの実施形態では、計算システム２００は、スキップ接続２４０をさらに備える。スキップ接続は、複数の画像に関連付けられたデータのコピーの伝播経路を提供し、その結果、前記コピーのためのＣＮＮエンコーダ２２０を効果的にスキップすることができる。

【0072】

ＣＮＮエンコーダ２２０の動作において、ＣＮＮは、連続した層を提供することがニューラルネットワークによって実行される動作の数を増加させるように訓練され、したがって、ＣＮＮは、複数の画像のそれぞれから追加情報を推定することができる。これは、状況によっては、訓練が効果的でない場合、特徴マップのエラーにつながる可能性がある。スキップ接続を提供し、そのそれぞれの特徴マップで複数の画像のそれぞれに関連付けられたデータを畳み込むことによって、ＣＮＮエンコーダ２２０の動作を通じて導入された任意のエラーを軽減することができる。これにより、ＣｏｎｖＬＳＴＭネットワーク２６０によって生成された最終的な変化マップの信頼性と精度が向上する。

【0073】

ＣＮＮエンコーダ２２０の出力、すなわち、複数の特徴マップ２３０のそれぞれは、畳み込みユニット２５０によって、複数の画像２１０のそれぞれにそれぞれ関連付けられたデータと畳み込まれる。畳み込みユニット２５０は、複数の画像２１０のそれぞれに関連付けられたデータをそのそれぞれの特徴マップ２３０で畳み込み、ＣｏｎｖＬＳＴＭ入力データ、すなわちＣｏｎｖＬＳＴＭネットワーク２６０に入力されるデータを生成する。ＣｏｎｖＬＳＴＭ入力データは、複数の畳み込みマップと考えられ得る。ＣｏｎｖＬＳＴＭネットワーク２６０は、ＣｏｎｖＬＳＴＭ入力データを畳み込んで単一の変化マップ２７０を生成するように構成された再帰ニューラルネットワークである。言い換えれば、ＣｏｎｖＬＳＴＭネットワーク２６０は、複数の畳み込みマップのそれぞれを互いに畳み込み、変化マップ２７０を生成する。さらに、ＣｏｎｖＬＳＴＭネットワーク２６０は、ＣｏｎｖＬＳＴＭ入力データのそれぞれのマップ内のデータを畳み込む。言い換えれば、ＣｏｎｖＬＳＴＭネットワーク２６０は、マップ間及びマップ内の両方を畳み込むように構成される。例えば、複数の画像２１０のそれぞれがそれぞれ異なる時間に撮像された共通のターゲットの画像を表す例では、ＣｏｎｖＬＳＴＭネットワークは、データを空間的にも時間的にも畳み込むように構成される。変化マップ２７０は、複数の画像２１０のうちの選択された１つの各画素の変化分類を含み得る。各画素のこの変化分類は、前記画素についての特徴マップ分類が、複数の画像２１０のうちの別の画像の対応する画素についての特徴マップ分類と同じであるか、または異なるかを示し得る。追加的または代替的に、変化マップ２７０は、複数の画像にわたる１つまたは複数の変化の程度を示す定量的変化データを含み得る。例えば、ＳＡＲ撮像の状況において、定量的変化データは、複数の画像２１０にわたって各撮像された画素の相対的な高さが変化した程度を示し得る。

【0074】

いくつかの実施形態では、変化分類は、バイナリ分類である。上述したように、バイナリ分類は、ワンホットエンコードまたは同様の迅速なプロセスによって、各画素がそのそれぞれの変化分類でエンコードされることを可能にするため、特に効率的であり得る。

【0075】

いくつかの実施形態では、ＣｏｎｖＬＳＴＭ入力データは、複数の画像２１０の各画像のそれぞれの画素のそれぞれの位相値を示す位相データをさらに含み、ＣｏｎｖＬＳＴＭネットワーク２６０を介してＣｏｎｖＬＳＴＭ入力データを伝播することは、位相データを複数の特徴マップ２３０と畳み込み、変化マップ２７０を生成することを含む。

【0076】

上述したように、位相情報、特に画像間の相対位相変化は、各画像のそれぞれの特徴マップでエンコードされた情報を超えるさらなる情報を示すことができる。位相データを複数の特徴マップ２３０と畳み込んで変化マップ２７０を生成することによって、変化マップ２７０の各画素に関連付けられた変化データを決定する際の位相情報の使用が可能になる。変化データは、任意選択で、変化マップ２７０の各画素に関連付けられた変化分類、及び／または変化マップ２７０の各画素に関連付けられた定量的変化データを含み得る。これは、ＣｏｎｖＬＳＴＭネットワーク２６０の感度を増加させ、ＣｏｎｖＬＳＴＭネットワーク２６０が位相データ内でのみ、または部分的にエンコードされる複数の画像２１０にわたる変化を検出及び識別することを可能にする。

【0077】

図２ｂは、計算システム２００のＣＮＮエンコーダ２２０の動作の概略図を示す。

【0078】

複数の画像２１０の所与の画像２１２について、画像２１２に関連付けられた画像データは、ＣＮＮエンコーダ２２０へのＣＮＮ入力データとして提供される。ＣＮＮ入力データは、上述したように、ＣＮＮエンコーダ２２０の層を通して伝播され、特徴マップ２３２を生成する。図２ｂに示される例では、画像２１２の画素のそれぞれに関連付けられた９つのデータ値がある。ＣＮＮエンコーダ２２０は、画像２１２に関連付けられたデータを畳み込み、各画素に関連付けられた１つのデータ値のみを有する特徴マップ２３２を生成する。図２ｂに示される例では、各画素に関連付けられたデータ値は、バイナリ特徴分類スキームの一部である。例えば、森林の森林伐採を検出する方法の状況では、バイナリ特徴分類スキームは、特徴マップ２３２内の「１」の値が、画像２１２の対応する画素が森林地帯を表すことを示し、一方、特徴マップ２３２内の「０」の値が、画像２１２の対応する画素が非森林地帯を表すことを示すことであり得る。

【0079】

図２ｂを参照して上述したような方法でのＣＮＮエンコーダの動作は、複数の画像２１０の各画像２１２内の（空間的）解像度の最小限の損失で、複数の画像にわたる変化を検出及び識別するために処理されなければならないデータコンテンツを低減するための手段を提供する。

【0080】

図２ｃは、計算システム２００のＣｏｎｖＬＳＴＭネットワーク２６０の動作の概略図を示す。

【0081】

畳み込みユニット２５０は、複数の画像２１０のそれぞれに関連付けられたデータをそのそれぞれの特徴マップ２３０で畳み込み、ＣｏｎｖＬＳＴＭネットワーク２６０を生成する。例えば、図２ｂの画像２１２は、特徴マップ２３２と畳み込み、それぞれの畳み込みマップを生成する。次いで、畳み込まれたマップのそれぞれは、ＣｏｎｖＬＳＴＭネットワーク２６０を介した伝搬によって繰り返し畳み込まれて、変化マップ２７０を生成する。上記で説明したように、変化マップ２７０は、いくつかの実施形態では、複数の画像２１０にわたる差異の識別、検出及び／または測定を可能にするために、複数の画像２１０の選択された画像の各画素のバイナリ変化分類を含んでもよい。

【0082】

追加的または代替的に、変化マップ２７０は、いくつかの実施形態では、選択された画像と複数の画像２１０のうちの別の１つまたは複数との間の変化の程度を示す、前記選択された画像の各画素に関連付けられた定量的変化データを含み得る。

【0083】

本明細書で説明される計算ネットワークシステムは、各画像内の解像度、または画像間の変動の解像度のいずれかを最小限の解像度損失で複数の画像にわたって変化を識別することができる方法を実施するように構成される。例えば、ＣＮＮエンコーダ２２０を介して各画像について特徴マップ２３０を生成することによって、システムのメモリ要件は、各画像内の解像度の損失が最小限であるだけで大幅に低減される。これは、ＣＮＮエンコーダが、特徴マップに対して画素ごとにいくつかのデータ値を含み得る画像データを簡素化するように構成されるためである。そのような特徴マップは、各画素に単一の値をエンコードし、各画素にエンコードされた値は、特徴マップによって前記画素に付与された特徴分類を表す。さらに、ＣｏｎｖＬＳＴＭネットワーク２６０は、複数の画像にわたる１つまたは複数の変化の程度を示す定量的変化データで変化マップをエンコードするように構成され得る。ＣＮＮエンコーダ２２０による画像データの簡素化のために、この定量的分析は、比較的控えめなメモリ及び処理要件で実行することができる。

【0084】

追加的または代替的に、変化マップ２７０は、任意選択でバイナリの変化分類スキームに従ってエンコードされ得る。このようにして、ＣｏｎｖＬＳＴＭネットワーク２６０のメモリ要件もさらに低減され得る。重要なことに、従来の計算システム及びニューラルネットワークとは対照的に、ここで説明される計算システムは、複数の画像にわたって変化があったかどうかを検出するように構成され、この演変はもちろんいくつかの例で表示され得るが、前記画像にわたって変化の正確な演変を視覚化して表示することに依存しない。さらに、変化マップ２７０を生成することは、変化識別分析のプロセスを簡素化する。各画像の各画素に関連する情報を詳細に示すデータのスタックを生成する代わりに、ここで説明される計算システムは、複数の画像２１０にわたって各画素の特徴分類の変化が発生したかどうかにかかわらず、画像の１つの各画素について識別する各変化マップ２７０についての単一のデータセットを生成するように単に構成される。

【0085】

上述のように、変化識別の問題を定量的な質問から定性的な質問に減らすことによって、ここで説明される方法を実施するためにここで説明されるシステムに必要なメモリ及び処理能力は、システムによって達成され得る変化検出及び／または識別の解像度を損なうことなく、大幅に低減され得る。これは、本明細書で説明される計算ネットワークに提供されるように、ＣＮＮエンコーダ２２０をＣｏｎｖＬＳＴＭネットワーク２６０と組み合わせる特定の構成なしには達成できないであろう。

【0086】

さらに、上述したように、図２に関連して記載されたシステムおよび本明細書に記載された方法は、低地球軌道上の衛星１０によって収集されたデータから生成されたＳＡＲ画像などのスペックルパターンを受けた画像の分析に特に有利である。スペックルの影響を受けた隣接する画素に関連付けられたデータの大きな変動のために、各画素に関連する大量の情報を取得する必要があり得る。このコンテキスト情報は、空間的であっても時間的であってもよい。例えば、時間的なコンテキスト情報は、高周波を使用して同じターゲット上の画像データを繰り返し収集することによって得ることができる。低地球軌道上の衛星の状況では、衛星１０は、それが頭上を通過するときに地球１２上のターゲットを撮像することしかできないため、これは困難であり得る。時間的なコンテキスト情報の代替は、空間的なコンテキスト情報である。空間的なコンテキスト情報は、画像に影響を与える１つまたは複数の斑点の地域のサイズよりもはるかに大きい各画像内の視野をキャプチャすることによって得ることができる。例えば、視野の面積は、画像に影響を与える１つまたは複数のスペックルパターンの面積（複数可）よりも５倍以上、１０倍以上、５０倍以上、または１００倍以上大きくてもよい。そのような視野は、そのような大きな視野を分析することの知覚される計算コストのために、典型的なオブジェクト識別アルゴリズムで使用されるものよりもはるかに大きい。

【0087】

しかしながら、ＣＮＮエンコーダ２２０は、計算システム２００がメモリ効率の良い方法で大きな視野をキャプチャ及び処理することを可能にする。ＳＡＲ撮像システムの状況において、ＣＮＮエンコーダ２２０は、大面積画像２１０をより小さい特徴マップ２３０に圧縮し得る。例えば、複数の画像のそれぞれは、ＣＮＮエンコーダ２２０によって６４ × ６４画素の面積を有するそれぞれの特徴マップ２３０に圧縮される５１２ × ５１２画素の面積を有し得る。これは、６４の面圧係数を表す。当業者は、他の画像サイズ及び他の面圧縮率が可能であることを理解するであろう。しかしながら、状況のために、最先端技術における同等のニューラルネットワークは、典型的には、例えば、２９９ × ２９９画素の面積を有するより小さい面積を有する画像を処理する。このより小さい面積は、高解像度ＳＡＲ画像におけるスペックルの影響を軽減するために、計算ネットワーク２００に対して十分に広い視野を提供しない場合がある。言い換えれば、ＣＮＮエンコーダ２２０は、最先端技術において用いられる同等のニューラルネットワークの画素数の３倍以上を含む画像を処理するように構成される。この大きな視野は、ＣＮＮエンコーダ２２０が、従来のオブジェクト識別アルゴリズムに影響を与えるスペックルパターンの有害な影響に対してロバストである特徴マップを生成することを可能にする。

【0088】

図３は、本発明のいくつかの実施形態による、複数の画像にわたる差異を識別する方法を示す。

【0089】

動作Ｓ３００において、ＣＮＮエンコーダ２２０は、複数の画像２１０に関連付けられたデータを含むＣＮＮ入力データを受信する。

【0090】

動作Ｓ３２０において、ＣＮＮ入力データは、ＣＮＮエンコーダ２２０を通って伝播し、複数の特徴マップ２３０を生成する。複数の特徴マップ２３０のそれぞれは、訓練データに基づいてＣＮＮエンコーダによって生成された特徴分類スキームに従って、複数の画像２１０のそのそれぞれの画像の各画素の特徴分類を含む。

【0091】

いくつかの実施形態では、複数の特徴マップ２３０を生成するためにＣＮＮエンコーダ２２０を介してＣＮＮ入力データを伝搬することは、ＣＮＮ入力データを圧縮することを含む。

【0092】

このようにして、ここで説明される方法のいずれかを実施する計算機のメモリ記憶装置要件は、各画像内の解像度を損なうことなく軽減される。複数の画像２１０の所与の画像について、特徴マップ２３０は、前記画像の各画素についての特徴分類を含み得る。対照的に、原画像データは、画像の画素ごとに複数のデータ値を含み得る。例えば、従来のＲＧＢ画像では、Ｒ、Ｇ及びＢの値のそれぞれ、ならびに任意選択で明るさのそれぞれを示す、各画素に関連付けられたデータ値が存在し得る。あるいは、ＣＭＹＫ画像について、Ｃ、Ｍ、Ｙ、及びＫ値のそれぞれを示す各画素に関連付けられたデータ値、及び任意選択で明るさが存在し得る。いくつかの画像では、画像の彩度を示すさらなるデータ値があり得る。いくつかの画像では、画像の各画素に関連付けられたそれぞれの位相値を示すさらなるデータ値があり得る。特徴マップへの各画像の表現を簡素化することによって、本明細書に記載される方法のいずれかを実施する計算機のメモリ要件が大幅に低減され、それによって、方法がより多種多様な計算機を基にしたシステム上、特に、計算デバイス、システム、及び／またはネットワーク上に厳格で要求の厳しいメモリ要件が存在するシステム上に実施されることを可能にする。

【0093】

いくつかの例では、複数の画像のそれぞれに関連付けられたデータは、複雑なデータとしてエンコードされ得る。言い換えれば、データは、１つまたは複数の複素数としてエンコードされ得る。各複素数は、数量及び偏角を有すると見なされ得る。複素数の数量は振幅値を表し得、複素数の偏角は位相値を表し得る。

【0094】

いくつかの例では、複数の画像のそれぞれに関連付けられたデータは、コンテキストデータを含み得る。これは、任意のタイプのメタデータまたは他のタイプの画像データを含み得る。例えば、メタデータは、タイムスタンプを含み得る。これは、本明細書に開示される方法及びシステムが、時刻によって引き起こされる画像の変動（例えば、昼間及び夜間にキャプチャされた同じターゲットの画像が異なるように見える場合がある）、または季節的変動（例えば、同じターゲットの画像が異なるテクスチャ特性を有する場合があり、夏の月にはより乾燥し、春の月にはより湿っている場合があるなど）に感受性があることを可能にし得るため、有益であり得る。メタデータは、撮像信号の局所的な入射角を示す情報を含み得る。これは、特に、衛星ＳＡＲの状況において、衛星１０の軌道周期が完全に規則的ではない例において、異なる画像間の同じ撮像ターゲットの局所入射角にわずかな差異がある場合がある、有益であり得る。地理的特徴の画像の状況において、メタデータ／画像データは、雨マップなどの気象データを含み得る。これは、撮像ターゲットの湿気が結果として生じるＳＡＲ画像に大きな影響を与える可能性があるため、ＳＡＲ画像に適用される場合に特に有益であり得る。

【0095】

動作Ｓ３２２において、ＣｏｎｖＬＳＴＭネットワーク２６０は、ＣＮＮエンコーダ２２０によって生成された複数の特徴マップを受信する。

【0096】

いくつかの実施形態では、動作Ｓ３３０において、ＣＮＮエンコーダ２２０の入力とＣｏｎｖＬＳＴＭネットワーク２６０の入力との間にスキップ接続２４０が提供される。

【0097】

そのような実施形態では、動作Ｓ３３２において、ＣＮＮ入力データのコピーは、スキップ接続２４０を介してＣｏｎｖＬＳＴＭネットワーク２６０の入力に伝播される。

【0098】

さらに、動作Ｓ３４０において、ＣＮＮ入力データのコピー中の複数の画像２１０のそれぞれに関連するデータと、そのそれぞれの特徴マップ２３０（例えば、ＣＮＮエンコーダ２２０によって生成された）とを畳み込んでＣｏｎｖＬＳＴＭデータを生成する。この動作は、例えば、畳み込みユニット２５０によって行うことができる。

【0099】

言い換えれば、いくつかの実施形態では、方法は、ＣＮＮエンコーダの入力とＣｏｎｖＬＳＴＭネットワークの入力との間のスキップ接続を提供することと、ＣＮＮ入力データのコピーをスキップ接続を介してＣｏｎｖＬＳＴＭネットワークの入力に伝播することと、ＣＮＮ入力データのコピー内の複数の画像の各々をＣＮＮエンコーダによって生成されたそれぞれの特徴マップで畳み込み、ＣｏｎｖＬＳＴＭ入力を生成することと、をさらに含む。

【0100】

動作Ｓ３５０において、ＣｏｎｖＬＳＴＭ入力データは、ＣｏｎｖＬＳＴＭネットワーク２６０を介して伝播され、変化マップ２７０を生成する。変化マップ２７０は、上述のように、任意選択で複数の画像２１０の選択された画像の各画素の任意選択でバイナリ変化分類を含み得、前記画素の変化分類は、前記画素の特徴分類が、前記複数の画像２１０のうちの別の画像の対応する画素の特徴分類と同じであるか、または異なるかを示す。追加的または代替的に、変化マップ２７０は、複数の画像２１０にわたる１つまたは複数の変化の程度を示す定量的変化データを含み得る。

【0101】

最後に、動作Ｓ３６０において、変化マップ２７０に基づいて、複数の画像にわたる１つ以上の変化が識別される。

【0102】

上記のように、図３に示される方法は、様々な状況で適用され得る。例えば、この方法は、森林伐採プロセス、氷（フロア）の成長／縮小、都市化／反都市化、海岸浸食／開発、遊牧民の動き、太陽活動、及び／またはここで説明される方法によって適切に識別することができる任意の他のプロセスの範囲及び進行を識別するために使用することができる。

【0103】

一般的に、複数の画像２１０の各々は、地理的地域の画像であり得、特徴分類スキームは、そのように分類された画素が所定の地理的特徴の存在を表すことを示す第１の特徴分類と、そのように分類された画素が所定の地理的特徴の不在を表すことを示す第２の特徴分類とを含み得、この方法は、複数の画像にわたって識別された差異に基づいて、所定の地理的特徴の存在／不在が変化する地域を識別することをさらに含む。

【0104】

図4は、図2 aに示すように、本発明によるいくつかの方法に従って計算システム200をトレーニングする方法を示している。

【0105】

計算システム２００、特にＣＮＮエンコーダ２２０を訓練するために、ＣＮＮエンコーダは、様々な入力を受信し得る。第１の入力は、訓練データ４０である。訓練データ４０は、２つのカテゴリ４２、４４に分割され得る。第１のカテゴリは、第１の特徴分類を表すデータであり、第２のカテゴリは、第２の特徴分類を表すデータである。

【0106】

いくつかの実施形態では、第１のカテゴリ４２は、第１の特徴分類を表すデータであり、比較的普及的な第２の特徴分類を表す第２のカテゴリ４４と比較的疎らである。例えば、森林伐採を識別する方法の状況では、第1のカテゴリ４２は森林伐採された土地を表し、第2のカテゴリ４４は森林に覆われた土地を表す場合があり、森林伐採のプロセスを識別する森林伐採のほとんどのケースでは、森林伐採されている森林の広大な面積と比較して、森林伐採された土地の比較的普及的でない面積の拡大の検出が必要であることに留意する。

【0107】

言い換えれば、いくつかの実施形態では、ＣＮＮエンコーダ２２０を訓練するために使用される訓練データは、第１の特徴分類及び第２の特徴分類の両方を表すデータを含み、訓練データ内の第１の特徴分類を表すデータは、第２の特徴分類を表すデータと比べて疎ら。例えば、訓練データ内の第１の分類を表すデータの量に対する第２の分類を表すデータの量の比率は、１ ： ５以下、１ ： １０以下、１ ： ５０以下、１ ： １００以下、１ ： ５００以下、または１ ： １０００以下であり得る。

【0108】

本明細書で説明される方法は、少なくとも、方法が、画像内の具体的なオブジェクトまたは特定のオブジェクトを識別するのとは対照的に、複数の画像２１０にわたる変化を検出および識別することを特に指向するという点で、従来の計算アプローチからの方法である。これは、特定の状況、例えば、検出された変化が森林伐採を示す森林地帯の画像において、森林伐採された土地を示すデータが森林伐採された土地を示すデータに対して疎らである訓練データ４０を使用して、複数の画像２１０にわたる変化を検出するようにＣＮＮエンコーダ２２０を訓練することが可能であることを意味する。当業者は、この原理が、画像の非常に普及的な特徴（または複数の特徴）の変化を検出することに向けられた画像分析の多くの形態に等しく適用可能であり、画像全体の変化は、画像の比較的普及的でない特徴（または複数の特徴）への変化であることを認識するであろう。

【0109】

訓練方法への第２の入力は、ＣＮＮエンコーダ４６の出力である。

【0110】

いくつかの実施形態では、動作Ｓ４１０に示されるように、ＣＮＮエンコーダ２２０は、より普及的な第２の特徴分類４４及びＣＮＮエンコーダ出力４６を表すデータに基づいて予備マップを生成するように事前に訓練される。これにより、CNNエンコーダ２２０の大まかな事前訓練が提供され、後の動作の微調整訓練のためのメモリ要件をより少ない計算リソースで達成することができる。予め訓練されたＣＮＮエンコーダ２２０によって生成された予備マップは、任意の適切なマッピングであり得る。例えば、予備マップは、セマンティックマップまたは回帰マップであり得る。

【0111】

訓練方法への第３の入力は、ＣｏｎｖＬＳＴＭネットワーク４８の出力である。

【0112】

動作Ｓ４２０において、全体的なモデルは、ＣＮＮエンコーダ２２０及びＣｏｎｖＬＳＴＭネットワーク２６０の両方を、第１のより疎らな特徴分類及びＣｏｎｖＬＳＴＭネットワーク４８の出力を表すデータに基づいて訓練することによって精練される。動作Ｓ４２０の終了時に、完全に訓練されたＣＮＮエンコーダ２２０は、ＣＮＮエンコーダ２２０が動作Ｓ４１０及びＳ４２０の訓練プロセスを通じて学習する特徴分類スキームに基づいて特徴マップ２３０を生成するように構成される。さらに、動作Ｓ４２０の終わりに、完全に訓練されたＣｏｎｖＬＳＴＭネットワーク２６０は、変化マップを生成するように構成される。図４に示される訓練方法を実施することによって、ＣＮＮエンコーダは、第１の比較的疎らな特徴分類４２を表す大量のデータを必要とせずに、第１の特徴分類と第２の特徴分類の両方を示す画像の特性を学習するように訓練される。この訓練の結果は、訓練データに基づいた特徴分類スキームであり、これに基づいて、ＣＮＮエンコーダ２２０によって生成された各特徴マップ２３０に含まれる特徴分類が基づいている。

【0113】

言い換えれば、いくつかの実施形態では、特徴分類スキームは、ＣＮＮエンコーダ２２０を訓練することによって生成され、ＣＮＮエンコーダ２２０を訓練することは、第２の特徴分類４４のデータ及びＣＮＮエンコーダ４６の出力に基づいて予備マップを生成するようにＣＮＮエンコーダ２２０を事前訓練することと、第１の特徴分類４２のデータ及びＣｏｎｖＬＳＴＭネットワーク４８の出力に基づいてＣＮＮエンコーダ２２０及びＣｏｎｖＬＳＴＭネットワーク２６０の両方を訓練することとを含む。

【0114】

画像に対する変化が画素の総数に対する少量の画素に基づく変化である場合、CNNエンコーダ220は、普及的な第２の特徴分類４４およびＣＮＮエンコーダ４６の出力を有する特徴に基づいて事前訓練され、ＣＮＮエンコーダ２２０に粗い訓練を提供し、ＣＮＮエンコーダ２２０を訓練することによって、ＣｏｎｖＬＳＴＭネットワーク４８の出力および第２の特徴分類よりも比較的普及的ではない第１の（ターゲット）特徴分類４２に基づいてその後に精練することができる。この多段訓練は、全体的な計算ネットワーク２００の訓練の効率を改善する。改善された効率は、多段ロケットに類似することによって考慮することができる。各後続のステージが前のステージへの効果的なブーストを形成するため、多段ロケット発射が単段ロケット発射よりも効率的であるのと同じように、ここで説明される方法のいくつかの実施形態の多段訓練は、事前訓練の第１のステージが、ＣＮＮエンコーダ２２０を、次いで訓練の第２のステージによって所望の精度レベルに精練されるおおよその精度レベルに訓練するため、より効率的である。第２の段階の方法に従って単にＣＮＮエンコーダ２２０を訓練するだけでは、大量の処理能力及び記憶装置を消費し、したがって、望ましくないほど非効率である。

【0115】

いくつかの実施形態では、計算ネットワーク２００を訓練する動作中に、ＣＮＮエンコーダ２２０の重みは、事前訓練されたＣＮＮエンコーダ及び訓練されたＣＮＮエンコーダが同一の重みで構成されるように凍結される。これは、比較的少量の訓練データ、例えば、訓練データの１０００個のサンプル以下、訓練データの１０００個のサンプル以下、訓練データの５００個のサンプル以下、訓練データの１００個のサンプル以下、または訓練データの１０個のサンプル以下が存在する場合に好適であり得る。

【0116】

そのような例では、ＣｏｎｖＬＳＴＭネットワーク２６０が訓練されている間にＣＮＮエンコーダの重みを凍結することは、ＣＮＮエンコーダ２２０が「過剰適合」されることを防止する。これは、疎ら訓練データを用いたニューラルネットワークの訓練における共通の問題である。そのような例では、事前に訓練されたＣＮＮエンコーダによって生成された予備マップは、完全に訓練されたＣＮＮエンコーダ２２０によって生成された特徴マップ２３０と同じ形式である。

【0117】

いくつかの実施形態では、計算ネットワーク２００を訓練する動作中に、ＣＮＮエンコーダ２２０の重みは、事前訓練されたＣＮＮエンコーダ及び訓練されたＣＮＮエンコーダが異なる重みで構成され得るように凍結解除される。これは、比較的大量の訓練データ、例えば、訓練データの１０個のサンプル以上、訓練データの１００個のサンプル以上、訓練データの５００個のサンプル以上、訓練データの１０００個のサンプル以上、または訓練データの１００００個のサンプル以上がある場合に好適であり得る。

【0118】

そのような例では、訓練データの普及のために、ＣＮＮエンコーダの訓練は、過剰適合に対して自然にロバストであり得る。さらに、大量の訓練データが利用可能である場合、ＣＮＮエンコーダの重みが、ＣｏｎｖＬＳＴＭネットワーク２６０のノード及び重みと共に訓練中に協同して調整されることを可能にすることによって、全体的な計算システム２００の精度が改善され得る。そのような例では、完全に訓練されたＣＮＮエンコーダ２２０の重みが、事前訓練されたＣＮＮエンコーダの重みと異なる場合、事前訓練されたＣＮＮエンコーダによって生成された予備マップは、完全に訓練されたＣＮＮエンコーダ２２０によって生成された特徴マップ２３０と同じ形式ではない。

【0119】

上述したように、いくつかの実施形態では、後述するように、連続した画像が画像のスタックに追加されるたびに、画像全体の変化の識別を適用して、連続した変化マップを生成することができるので、関心のある風景の演変を追跡することができる。これは、いくつかの例では、連続する変化マップ及びそれらの経時的な演変を示すビデオまたは一連の画像で表すことができる。

【0120】

言い換えれば、いくつかの実施形態では、複数の画像２１０は、連続する画像を含み、方法は、連続する変化マップ２７０を生成するために、ＣｏｎｖＬＳＴＭネットワーク２６０を介してＣｏｎｖＬＳＴＭ入力データを伝播し、連続する画像のそれぞれにそれぞれ関連付けられたＣｏｎｖＬＳＴＭ入力データを、それぞれ先行する画像に関連付けられたＣｏｎｖＬＳＴＭ入力データと畳み込むことをさらに含み、各連続する変化マップ２７０は、複数の画像２１０のうちの１つと連続する画像との間の変化を表す。

【0121】

図５は、ＳＡＲによって撮像された森林環境における森林伐採の地域を識別するために記載された方法を適用する例の結果を示す。

【0122】

ＳＡＲ画像５０ａ ～ ５０ｎは、ターゲット森林環境を通過する衛星１０によって収集される。地球１２の各繰り返された軌道上で、衛星１０は、森林環境のコヒーレント画像のスタックを作成するために、複数の画像５０に別の画像を追加する。

【0123】

複数の画像５０ａ ～ ５０ｎ及び前記画像に関連付けられたデータは、図２ａの計算システム２００への入力として使用される。ＣＮＮエンコーダ２２０は、画像５０ａ ～ ５０ｎの各々に関連付けられたデータを畳み込み、複数のそれぞれの特徴マップ２３０を生成する。各特徴マップ２３０は、図４に示される方法に従ってＣＮＮエンコーダの訓練に基づいて決定される特徴分類スキームに従って、そのそれぞれの画像の特徴分類を示すデータを含む。図５に示される例では、特徴分類スキームは、森林地帯または非森林地帯のいずれかのバイナリ分類である。複数の特徴マップ２３０及び複数の画像５０ａ ～ ５０ｎの各々に関連付けられたデータのコピーは、畳み込まれ、ＣｏｎｖＬＳＴＭネットワーク２６０を介して伝播されて、変化マップ５２を生成する。図５に示されるように、計算システム２００から返される出力は、画像スタックの最終画像５０ｎ上にオーバーレイされた変化マップ５ ２である。他の例では、変化マップ５２は、複数の画像５０ａ ～ ５０ｎの中の他の画像のいずれかにオーバーレイされてもよく、例えば、変化マップ５２は、第１の画像５０ａにオーバーレイされてもよい。

【0124】

図６は、ここで説明される方法のいずれかを実行するように構成された計算機６０または他の適切な装置を示す。

【0125】

計算機６０は、画像入力インターフェース６１と、メモリ６３と、ＣＮＮエンコーダモジュール６４と、ＣｏｎｖＬＳＴＭネットワークモジュール６５と、画像差出力インターフェース６６と、複数のデータ接続リンク６７ａ ～ ｃと、及びスキップ接続リンク６８とを含むプロセッサ６２とを含む。

【0126】

計算機は、画像入力インターフェース６１で複数の画像２１０に対応する画像データを受信する。複数の画像２１０に関連付けられたデータは、データ接続リンク６７ａを介してプロセッサ６２のＣＮＮエンコーダモジュール６４に送信される。ＣＮＮエンコーダモジュール６４は、図２ａ及び２ｂに示されるように、ＣＮＮエンコーダ２２０として動作するように構成される。ＣＮＮエンコーダモジュール６４の出力、例えば、複数の特徴マップ２３０は、データ接続リンク６７ｂを介してプロセッサ６２のＣｏｎｖＬＳＴＭネットワークモジュール６４に送信される。ＣｏｎｖＬＳＴＭネットワークモジュール６４は、図２ａ及び２ｃに示されるように、ＣｏｎｖＬＳＴＭネットワーク２６０として動作するように構成される。ＣＮＮエンコーダモジュール６４、及び任意選択でＣｏｎｖＬＳＴＭネットワークモジュール６５は、プロセッサ６２のメモリ６３に記憶される訓練データに基づいて訓練されてもよい。

【0127】

いくつかの実施形態では、複数の画像２１０に関連付けられたデータのコピーは、スキップ接続リンク６８を介してＣｏｎｖＬＳＴＭモジュールに送信される。スキップ接続リンク６８は、図２ａに示されるように、スキップ接続２４０を提供するように構成される。

【0128】

ＣｏｎｖＬＳＴＭネットワークモジュール６５の出力、例えば、変化マップ２７０は、データ接続リンク６７ｃを介して画像差出力インターフェース６６に送信される。画像差出力インターフェース６６は、画像入力インターフェース６１で受信された複数の画像２１０間の差異を識別する情報を計算機６０のユーザに提供する。

【0129】

上記の実施形態では、計算システム２００は、サーバ上に実施されてもよい。サーバは、単一サーバまたはサーバネットワークを含んでもよい。いくつかの例では、サーバの機能は、地理的地域に分散されたサーバネットワーク、例えばグローバルに分散されたサーバネットワークによって提供されることができ、ユーザは、ユーザの位置に基づいて、サーバネットワークのうちの適切な1つに接続することができる。

【0130】

明確にするために、上記の説明では、単一のユーザを参照して本発明の実施形態を説明する。実際には、システム２００は、複数のユーザによって共有されてもよく、また、多くのユーザによって同時に共有されてもよいことが理解されるべきである。

【0131】

上記実施形態は、全自動である。いくつかの例では、システムのユーザまたはオペレータは、実行すべき方法のいくつかのステップを手動で指示することができる。

【0132】

本発明に記載された実施形態では、システムは、任意の形態の計算および/または電子デバイスとして実施されてもよい。このようなデバイスは、マイクロプロセッサ、コントローラ、またはルーティング情報を収集および記録するためにデバイスの動作を制御する計算機実行可能命令を処理するための任意の他の適切なタイプのプロセッサであってもよい1つまたは複数のプロセッサを含んでもよい。いくつかの例では、例えばシステム・オン・チップのアーキテクチャを使用する場合、プロセッサは、（ソフトウェアまたはファームウェアではなく）ハードウェアで方法の一部を実施する1つ以上の固定機能ブロック（アクセラレータとも呼ばれる）を含んでもよい。オペレーティングシステムまたは任意の他の適切なプラットフォームソフトウェアを含むプラットフォームソフトウェアは、用途ソフトウェアがデバイス上で実行されることを可能にするために、計算ベースのデバイスにおいて提供され得る。

【0133】

本明細書に記載された様々な機能は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせで実施されてもよい。ソフトウェアで実施される場合、これらの機能は、1つ以上の命令またはコードとして、計算機可読媒体上に記憶され、または計算機可読媒体上で送信され得る。計算機可読媒体は、例えば、計算機可読記憶媒体を含んでもよい。計算機可読記憶媒体は、計算機可読命令、データ構造、プログラムモジュール、または他のデータのような情報を記憶するために、任意の方法または技術で実施される揮発性または不揮発性、取り外し可能または取り外し不可能な媒体を含んでもよい。計算機可読記憶媒体は、計算機によってアクセス可能な任意の利用可能な記憶媒体とすることができる。限定ではなく例として、そのような計算機可読記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリまたは他の記憶デバイス、CD-ROMまたは他の光ディスク記憶デバイス、磁気ディスク記憶デバイスまたは他の磁気記憶デバイス、または所望のプログラムコードを命令またはデータ構造の形式で搬送または記憶するために使用され、計算機によってアクセス可能な任意の他の媒体を含んでもよい。ここで使用される光ディスクおよびディスクには、光ディスク（CD）、レーザーディスク、光ディスク、デジタル多用途ディスク（DVD）、フロッピー（登録商標）ディスク、およびブルーレイディスク（BD）が含まれる。また、伝播された信号は、計算機読み取り可能な記憶媒体の範囲内には含まれない。計算機可読媒体はまた、ある場所から別の場所への計算機プログラムの送信を容易にする任意の媒体を含む通信媒体を含む。接続は、例えば、通信媒体であってもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などの無線技術を用いてウェブサイト、サーバー、または他の遠隔ソースから送信される場合、通信媒体の定義に含まれる。上記の組み合わせもまた、計算機可読媒体の範囲内に含まれるべきである。

【0134】

代替的に、または追加的に、本明細書で説明される機能は、少なくとも部分的に、１つまたは複数のハードウェアロジックコンポーネントによって実行することができる。例えば、限定されるわけではないが、使用可能なハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ（FPGAs）、用途特定用途向け集積回路（ASICs）、用途特定用途向け標準製品（ASSPs）、システムオンチップ（SOC）、複雑プログラマブルロジックデバイス（CPLD）などを含んでもよい。複雑なプログラマブルロジックデバイス（ CPLD ）など

【0135】

図示は単一のシステムであるが、計算デバイス６０は分散システムであり得ることを理解されたい。これにより、例えば、いくつかのデバイスは、ネットワーク接続を介して通信することができ、計算デバイスによって実行されるものとして説明されているタスクを共同で実行することができる。

【0136】

ローカルデバイスとして示されているが、計算デバイス６０は、遠隔地に配置され、ネットワークまたは他の通信リンク（例えば、通信インターフェースを用いて）を介してアクセスされてもよいことを理解されたい。

【0137】

用語「計算機」は、それが命令を実行することができるように処理能力を有する任意のデバイスを指すために本明細書で使用される。当業者であれば、このような処理能力は、多くの異なるデバイスに組み込まれ、したがって、「計算機」という用語は、PC、サーバ、携帯電話、携帯情報端末、および多くの他のデバイスを含むことを認識するであろう。

【0138】

当業者は、プログラム命令を記憶する記憶装置がネットワーク上に分散されていてもよいことを認識するであろう。例えば、リモート計算機は、ソフトウェアとして記述されたプロセスの例を記憶することができる。ローカル計算機または端末計算機は、リモート計算機にアクセスし、ソフトウェアの一部または全部をダウンロードしてプログラムを実行することができる。代替的に、ローカル計算機は、必要に応じてソフトウェア断片をダウンロードしてもよく、またはローカル端末でいくつかのソフトウェア命令を実行してもよく、リモート計算機（または計算機ネットワーク）でいくつかのソフトウェア命令を実行してもよい。当業者はまた、当業者に知られている従来技術を利用することによって、ソフトウェア命令のすべてまたは一部が、DSP、プログラマブルロジックアレイなどの専用回路によって実行されてもよいことを認識するであろう。

【0139】

上記の利点および利点は、1つの実施形態に関連してもよく、またはいくつかの実施形態に関連してもよいことが理解されるべきである。実施形態は、前述の問題のいずれかまたはすべてを解決する実施形態、または前述の利益と利点のいずれかまたはすべてを有する実施形態に限定されない。変異体は本発明の範囲内に含まれると考えられるべきである。

【0140】

「1つの」項目への参照は、それらの項目の1つまたは複数を意味する。用語「含む」は、識別された方法ステップまたは要素を含むことを意味するためにここで使用されるが、これらのステップまたは要素は排他的リストを含まず、方法またはデバイスは追加のステップまたは要素を含んでもよい。

【0141】

本明細書で使用されるように、用語「コンポーネント」および「システム」は、プロセッサによって実行されると特定の機能を実行させる計算機実行可能命令で構成された計算機可読データストアを含むことを意図している。計算機実行可能命令は、ルーチン、関数などを含んでもよい。また、コンポーネントまたはシステムは、単一のデバイス上に配置されてもよく、または複数のデバイス上に分散されてもよいことが理解されるべきである。

【0142】

さらに、本明細書で使用されるように、用語「例示的な」は、「何かの例示または例として」を意味することを意図している。

【0143】

さらに、「包含」という用語が詳細な説明または特許請求の範囲内で使用される程度については、「包含」という用語が特許請求の範囲内で過渡的な用語として解釈されるので、この用語は、「包含」という用語と同様の包含性を有することを意図している。

【0144】

さらに、ここで説明される演算は、1つまたは複数のプロセッサによって実施され、および/または1つまたは複数の計算機可読媒体上に記憶され得る計算機実行可能命令を含んでもよい。計算機実行可能命令は、ルーチン、サブルーチン、プログラム、実行スレッドなどを含んでもよい。さらに、これらの方法の演算の結果は、計算機可読媒体中に記憶され、ディスプレイデバイス上に表示され、および/または同様のデバイス上に表示され得る。

【0145】

ここで説明される方法のステップの順序は例示的であるが、これらのステップは任意の適切な順序で実行されてもよいし、適切な場合には同時に実行されてもよい。さらに、ステップは、本明細書に記載された主題の範囲から逸脱することなく、任意の方法に追加または置換されてもよく、または単一のステップは任意の方法から削除されてもよい。上記のいずれかの実施形態の態様は、求められた効果を失うことなく、さらなる実施形態を形成するために、説明された他のいずれかの実施形態の態様と組み合わされてもよい。

【0146】

上記の好ましい実施形態の説明は、例としてのみ示されており、当業者が様々な修正を加えることができることを理解されたい。上記した内容は、1つ以上の実施形態の一例を含む。もちろん、上記の態様を説明する目的のために、上記のデバイスまたは方法のそれぞれの考えられる修正および変化を説明することは不可能であるが、当業者は、様々な態様の多くのさらなる修正および配置が可能であることを認識するであろう。したがって、記載された態様は、添付の特許請求の範囲内に含まれるすべてのそのような変化、修正、および変化を含むことが意図されている。

【図1】

【図2a】

【図2b】

【図2c】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2024-05-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

複数の画像にわたる１つまたは複数の変化を識別するための計算機実施方法であって、
畳み込みニューラルネットワーク、CNN、エンコーダにおいて、複数の画像の各々の各画素に関連するデータを含むCNN入力データを受信すること（Ｓ３１０）と、
前記ＣＮＮエンコーダ（２２０）を介して前記ＣＮＮ入力データを伝播して複数の特徴マップ（２３０）を生成することであって、各特徴マップは、特徴分類スキームに従って前記複数の画像のそれぞれの画像の各画素の特徴分類を含み、前記特徴分類スキームは、訓練データに基づいて前記ＣＮＮエンコーダ（２２０）によって生成される、前記伝播すること（Ｓ３２０）と、
ＣｏｎｖＬＳＴＭネットワーク（２６０）において、前記ＣＮＮエンコーダによって生成された前記複数の特徴マップを含むＣｏｎｖＬＳＴＭ入力データを受信すること（Ｓ３２２）と、
前記ＣｏｎｖＬＳＴＭネットワークを介して前記ＣｏｎｖＬＳＴＭ入力データを伝播して変化マップ（２７０）を生成することであって、前記変化マップは、前記複数の画像にわたる１つまたは複数の変化を示す変化データを含む、前記伝播すること（Ｓ３５０）と、
を含み、
前記ＣｏｎｖＬＳＴＭ入力データは、
前記ＣＮＮエンコーダ（２２０）の入力と前記ＣｏｎｖＬＳＴＭネットワークの入力との間のスキップ接続（２４０）を提供すること（Ｓ３３０）、
前記スキップ接続（２４０）を介して前記ＣＮＮ入力データのコピーを前記ＣｏｎｖＬＳＴＭネットワークの前記入力に伝播すること（Ｓ３２２）、及び
前記ＣＮＮ入力データの前記コピー内の前記複数の画像のそれぞれに関連付けられた前記データを、前記ＣＮＮエンコーダによって生成されたそのそれぞれの特徴マップと畳み込み、前記ＣｏｎｖＬＳＴＭ入力データを生成すること（Ｓ３４０）、によって生成される、方法。

【請求項2】

前記変化データは、前記複数の画像にわたる前記１つ以上の変化の程度を示す定量的データを含む、請求項１に記載の計算機実施方法。

【請求項3】

前記変化データは、前記複数の画像の選択された画像の各画素の変化分類を含み、前記選択された画像の所与の画素について、前記画素の前記変化分類は、前記画素の前記特徴分類が、前記複数の画像の別の画像の対応する画素の前記特徴分類と同じであるか、または異なるかを示す、請求項１または２に記載の計算機実施方法。

【請求項4】

前記ＣＮＮ入力データは、前記複数の画像のそれぞれの前記画素のそれぞれに関連付けられた１つまたは複数の振幅値を示す振幅データを含む、請求項１に記載の計算機実施方法。

【請求項5】

前記特徴分類スキームは、識別されたオブジェクトを第１の特徴分類または第２の特徴分類のいずれかに属するものとして分類するように構成されたバイナリ分類スキームである、請求項１に記載の計算機実施方法。

【請求項6】

前記ニューラルネットワークを訓練するために使用される前記訓練データは、前記第１の特徴分類及び前記第２の特徴分類の両方を表すデータを含み、前記訓練データ内の前記第１の特徴分類を表す前記データは、前記第２の特徴分類を表す前記データに対して疎らである、請求項５に記載の計算機実施方法。

【請求項7】

前記特徴分類スキームは、前記ＣＮＮエンコーダを訓練することによって生成され、前記ＣＮＮエンコーダ（２２０）を訓練することは、
前記第２の特徴分類の前記データ及び前記ＣＮＮエンコーダの前記出力に基づいて予備マップを生成するように前記ＣＮＮエンコーダを事前に訓練すること（Ｓ４１０）と、
前記第１の特徴分類の前記データ及び前記ＣｏｎｖＬＳＴＭネットワークの前記出力に基づいて前記ＣＮＮエンコーダ及び前記ＣｏｎｖＬＳＴＭネットワークの両方を訓練することによって前記計算ネットワークを訓練することであって、前記訓練されたＣＮＮエンコーダは、前記特徴分類スキームに従って前記複数の特徴マップを生成するように構成され、前記訓練されたＣｏｎｖＬＳＴＭネットワークは、変化マップ（２６０）を生成するように構成される、前記訓練されたＣＮＮエンコーダを事前に訓練すること（Ｓ４２０）と、
を含む、請求項６に記載の計算機実施方法。

【請求項8】

前記ＣＮＮ入力データ及び前記ＣｏｎｖＬＳＴＭ入力データの１つ又は両方は、前記複数の画像の各画像の各画素のそれぞれの位相値を示す位相データをさらに含み、そのそれぞれの特徴マップによる各画像の各画素の前記特徴分類は、前記位相データに少なくとも部分的に基づいているか、及び／又は、
前記ＣｏｎｖＬＳＴＭネットワークを介して前記ＣｏｎｖＬＳＴＭ入力データを伝播することは、前記位相データを前記複数の特徴マップと畳み込み、前記変化マップを生成することと、を含む、請求項１に記載の計算機実施方法。

【請求項9】

前記複数の画像のそれぞれは、それぞれ異なる時間に撮像された共通のターゲットの画像であり、前記複数の画像にわたる前記１つ以上の差異を識別することは、前記対象の経時的な１つ以上の変化を識別することと同等である、請求項１又は２に記載の計算機実施方法。

【請求項10】

前記複数の画像が連続画像を含み、前記方法が、
前記ＣｏｎｖＬＳＴＭネットワーク（２６０）を介して前記ＣｏｎｖＬＳＴＭ入力データを伝播し、前記連続する画像のそれぞれにそれぞれ関連付けられた前記ＣｏｎｖＬＳＴＭ入力データを、それぞれ先行する画像に関連付けられた前記ＣｏｎｖＬＳＴＭ入力データと畳み込み、連続する変化マップ（２７０）を生成することであって、各連続する変化マップは、前記複数の画像のうちの１つと連続する画像との間の変化を表す、前記伝播することと、をさらに含む、請求項１に記載の計算機実施方法。

【請求項11】

前記複数の画像のそれぞれが、前記他の画像のそれぞれと一貫している、請求項１又は２に記載の計算機実施方法。

【請求項12】

前記複数の画像のそれぞれが地理的地域の画像であり、前記特徴分類スキームが、
そのように分類された画素が所定の地理的特徴の存在を表すことを示す第１の特徴分類と、
そのように分類された画素が前記所定の地理的特徴の不在を表すことを示す第２の特徴分類と、
前記方法は、
前記複数の画像にわたる前記識別された差異に基づいて、前記所定の地理的特徴の前記存在／非存在が変化する地域を識別することと、をさらに含み、任意に、
前記第１の特徴分類は、そのように分類された画素が森林地帯を表すことを示す森林分類であり、
前記第２の特徴分類は、そのように分類された画素が森林化されていない土地を表すことを示す非森林分類であり、
前記方法は、
前記複数の画像にわたる前記識別された差異に基づいて、森林地帯の周りの森林伐採面積のサイズの変化を識別することと、をさらに含む、請求項１に記載の方法。

【請求項13】

前記複数の画像のそれぞれが、合成開口レーダイメージングによって生成される、請求項１に記載の計算機実施方法。

【請求項14】

請求項１に記載の方法を実施することによって、複数の画像にわたる１つまたは複数の変化を識別するように構成された計算システムであって、前記システムは、
畳み込みニューラルネットワーク「ＣＮＮ」エンコーダ（２２０）であって、前記ＣＮＮエンコーダ（２２０）は、
前記ＣＮＮエンコーダ（２２０）の入力において、前記複数の画像に関連付けられた前記データを含むＣＮＮ入力データを受信し、
前記ＣＮＮエンコーダ（２２０）を介して前記ＣＮＮ入力データを伝播して（Ｓ３２０）、複数の特徴マップ（２３０）を生成することであって、各特徴マップは、特徴分類スキームに従って、前記複数の画像のそれぞれの画像の各画素の特徴分類を含み、前記特徴分類スキームは、複数の分類を含み、訓練データに基づいて前記ＣＮＮエンコーダによって生成される、前記伝播するように構成される、ＣＮＮエンコーダ（２２０）と、
ＣｏｎｖＬＳＴＭネットワーク（２６０）と、
前記ＣＮＮエンコーダの前記入力と前記ＣｏｎｖＬＳＴＭネットワークの前記入力との間のスキップ接続（２４０）と、を含み、
前記ＣＮＮエンコーダと前記ＣｏｎｖＬＳＴＭネットワークとの間のデータ接続リンクであって、前記ＣｏｎｖＬＳＴＭネットワーク（２６０）は、
前記ＣｏｎｖＬＳＴＭネットワークの入力において、前記データ接続リンクを介して、前記ＣＮＮエンコーダによって生成された前記複数の特徴マップを含むＣｏｎｖＬＳＴＭ入力データを受信し、
前記ＣｏｎｖＬＳＴＭネットワークを介して前記ＣｏｎｖＬＳＴＭ入力データを伝播して変化マップを生成することであって、前記変化マップは、前記複数の画像にわたる１つまたは複数の変化を示す変化データを含む、ように構成され、
前記システムは、
前記スキップ接続を介して前記ＣＮＮ入力データのコピーを前記ＣｏｎｖＬＳＴＭネットワークの前記入力に伝播させ（Ｓ３３２）、
前記ＣＮＮ入力データの前記コピー内の前記複数の画像のそれぞれを、前記ＣＮＮエンコーダによって生成されたそのそれぞれの特徴マップと畳み込む（Ｓ３４０）、ように構成される、計算システム。

【請求項15】

請求項１４に記載の前記計算システムを訓練する方法であって、前記方法は
第１および第２の特徴分類をそれぞれ表すデータを含む訓練データ（４０）を提供することと、
前記第２の特徴分類及び前記ＣＮＮエンコーダの前記出力を表す前記データに基づいて前記ＣＮＮエンコーダを事前訓練して（Ｓ４１０）、予備マップを生成することと、
前記第１の特徴分類及び前記ＣｏｎｖＬＳＴＭネットワークの前記出力を表す前記データに基づいて前記ＣＮＮエンコーダ及び前記ＣｏｎｖＬＳＴＭネットワークの両方を訓練すること（Ｓ４２０）であって、前記訓練されたＣＮＮエンコーダは、前記特徴分類スキームに従って前記複数の特徴マップを生成するように構成され、前記訓練されたＣｏｎｖＬＳＴＭネットワークは、変化マップを生成するように構成される、ことと、を含む、方法。

【請求項16】

前記計算システムの前記訓練の間に、前記ＣＮＮエンコーダの重みは、前記事前訓練されたＣＮＮエンコーダ及び前記訓練されたＣＮＮエンコーダが同一の重みで構成されるように凍結され、及び／又は、
前記計算システムの前記訓練の間に、前記ＣＮＮエンコーダの重みは、前記事前訓練されたＣＮＮエンコーダ及び前記訓練されたＣＮＮエンコーダが異なる重みで構成され得るように凍結解除される、請求項１５に記載の方法。

【請求項17】

計算機によって実行されると、前記計算機に請求項１～１３または１５または１６のいずれか一項に記載の方法を実行させる命令を含む、計算機可読媒体。

【国際調査報告】