特許 7579695 点データをラスターデータに組み合わせる機械学習のための方法、装置、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-30

(45)【発行日】2024-11-08

(54)【発明の名称】点データをラスターデータに組み合わせる機械学習のための方法、装置、及び、プログラム

(51)【国際特許分類】

   G06N 3/045 20230101AFI20241031BHJP

【ＦＩ】

G06N3/045

【請求項の数】 9

(21)【出願番号】P 2020215187

(22)【出願日】2020-12-24

(65)【公開番号】P2021108120

(43)【公開日】2021-07-29

【審査請求日】2023-08-22

(31)【優先権主張番号】16/729406

(32)【優先日】2019-12-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000000099

【氏名又は名称】株式会社ＩＨＩ

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】シュムード，ヨハネス

(72)【発明者】

【氏名】ルー，シーユアン

(72)【発明者】

【氏名】ハーマン，ヘンドリック

(72)【発明者】

【氏名】櫻井 秋久

(72)【発明者】

【氏名】泉山 卓

(72)【発明者】

【氏名】長谷川 正雄

【審査官】真木 健彦

(56)【参考文献】

【文献】特表２０１９－５０４６５９（ＪＰ，Ａ）

【文献】特開２０１９－１２５１１０（ＪＰ，Ａ）

【文献】特開２０１８－０７２９３８（ＪＰ，Ａ）

【文献】Guilin Liu，Image Inpainting for Irregular Holes Using Partial Convolutions ，arXiv:1804.07723v2 [cs.CV] 15 Dec 2018，arXiv，2018年12月15日，P.1-23

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ７／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｆ １７／１７

Ｇ０６Ｑ １０／０４

Ｇ０１Ｗ １／００

(57)【特許請求の範囲】

【請求項1】

点データに基づいて、ラスターデータのフィールド全体にわたって予測を生成するようにコンピュータを操作する方法であって、
部分的に空である、前記点データの行列＜Ｘ_０＞を取得し、
第１畳込ニューラルネットワークを繰り返し適用して、前記点データを空である要素が減る方向に拡張して外挿ラスターデータの行列＜Ｘ_ｎ＞を生成し、
第２畳込ニューラルネットワークによって、前記外挿ラスターデータの行列＜Ｘ_ｎ＞と標準ラスターデータの行列＜Ｘ_ｒ＞と組み合わせて、集約ラスターデータの行列＜Ｘ_ａ＞を生成する、方法。

【請求項2】

請求項１に記載の方法であって、
前記第１畳込ニューラルネットワークは、再帰型畳込ニューラルネットワークである、方法。

【請求項3】

請求項２に記載の方法であって、
前記第１畳込ニューラルネットワークは、ウェイト行列＜Ｗ＞、前記ウェイト行列＜Ｗ＞と同じサイズであって全ての要素が１である壱行列＜Ｏ＞、０又は１の値をとる要素から構成されるマスク行列＜Ｍ_ｉ＞（添字ｉは処理の実行回数を示す、１からｎまでの整数）を有し、
前記マスク行列＜Ｍ_０＞の１である要素の範囲は、前記行列＜Ｘ_０＞のうち空でない部分の範囲と同じであり、
前記処理において、
前記マスク行列＜Ｍ_ｉ－１＞の１である要素の範囲が、行列＜Ｘ_ｉ－１＞のうち空でない部分の範囲と同じとなるよう、前記マスク行列＜Ｍ_ｉ－１＞は設定され、
前記第１畳込ニューラルネットワークは、行列＜Ｘ_ｉ－１＞、前記ウェイト行列＜Ｗ＞、前記壱行列＜Ｏ＞、及び、前記マスク行列＜Ｍ_ｉ－１＞の乗算により行列＜Ｘ_ｉ＞を生成し、
前記マスク行列＜Ｍ_ｎ＞の全ての要素が１となるｎ回目まで、前記処理を繰り返す、方法。

【請求項4】

請求項３に記載の方法であって、
過去のラスターデータ、及び、前記過去のラスターデータに対応する過去の点データの組からなる教師データに基づいて、前記第１畳込ニューラルネットワークの学習を行う、方法。

【請求項5】

請求項１に記載の方法であって、
前記第１畳込ニューラルネットワークは、ｎ個（ｎは１以上の整数）の拡張層から構成され、
ｉ番目（ｉは１からｎまでの整数）の前記拡張層は、ウェイト行列＜Ｗ_ｉ＞、前記ウェイト行列＜Ｗ_ｉ＞と同じサイズであって全ての要素が１である壱行列＜Ｏ_ｉ＞、０又は１の値をとる要素から構成されるマスク行列＜Ｍ_ｉ＞を有し、
前記第１畳込ニューラルネットワークに学習させる際、
前記マスク行列＜Ｍ_ｉ－１＞の１である要素の範囲が、行列＜Ｘ_ｉ－１＞のうち空でない部分の範囲と同じとなるよう、前記マスク行列＜Ｍ_ｉ－１＞は設定され、
ｉ番目の前記拡張層は、行列＜Ｘ_ｉ－１＞、前記ウェイト行列＜Ｗ_ｉ＞、前記壱行列＜Ｏ_ｉ＞、及び、前記マスク行列＜Ｍ_ｉ－１＞の乗算により行列＜Ｘ_ｉ＞を生成し、
前記マスク行列＜Ｍ_ｎ＞の全ての要素が１となるように、ｉ番目の前記拡張層に、前記ウェイト行列＜Ｗ_ｉ＞を学習させる、方法。

【請求項6】

請求項５に記載の方法であって、
前記第１畳込ニューラルネットワークに推論させる際、前記第１畳込ニューラルネットワークは、学習時の前記行列＜Ｘ_０＞のうち空でない部分の範囲と同じ、空でない部分の範囲を有する、入力された前記点データを拡張して、完全に空のないラスターデータを生成する、方法。

【請求項7】

請求項１～６のいずれか一項に記載の方法であって、
前記第１畳込ニューラルネットワークは、人工ニューロンによって実装される、方法。

【請求項8】

点データに基づいて、ラスターデータのフィールド全体にわたって予測を生成するようにコンピュータを操作する方法を実行するための実行可能命令を格納するメモリと、
前記メモリに接続され、前記実行可能命令を処理可能な少なくとも１つ以上のプロセッサと、を有する装置であって、
前記方法は、
部分的に空である、前記点データの行列＜Ｘ_０＞を取得し、
第１畳込ニューラルネットワークを繰り返し適用して、前記点データを空である要素が減る方向に拡張して外挿ラスターデータの行列＜Ｘ_ｎ＞を生成し、
第２畳込ニューラルネットワークによって、前記外挿ラスターデータの行列＜Ｘ_ｎ＞と標準ラスターデータの行列＜Ｘ_ｒ＞と組み合わせて、集約ラスターデータの行列＜Ｘ_ａ＞を生成する、装置。

【請求項9】

点データに基づいて、ラスターデータのフィールド全体にわたって予測を生成するようにコンピュータを操作する方法を実行するための実行可能な命令を備えるプログラムであって、
前記方法は、
部分的に空である、前記点データの行列＜Ｘ_０＞を取得し、
第１畳込ニューラルネットワークを繰り返し適用して、前記点データを空である要素が減る方向に拡張して外挿ラスターデータの行列＜Ｘ_ｎ＞を生成し、
第２畳込ニューラルネットワークによって、前記外挿ラスターデータの行列＜Ｘ_ｎ＞と標準ラスターデータの行列＜Ｘ_ｒ＞と組み合わせて、集約ラスターデータの行列＜Ｘ_ａ＞を生成する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、点データをラスターデータに組み合わせる機械学習のための方法、装置、及び、プログラムに関する。

【背景技術】

【0002】

測定、予測、またはその他のプロセスから生じるかどうかに関わらず、データはいくつかのタイプの空間依存性を有し得る。

【0003】

空間依存性を有するデータの例としては、観測所での測定によって得られるデータや、多くの車両に取り付けられている外気温センサなどの移動センサによって得られる、空間（又は時間）の特定のポイントに対応するデータが挙げられる。国勢調査における観測値は、通常、地域（例えば、郡の人口や特定の郵便番号の平均収入）を表し、空間依存性を有する。ドローン、衛星または平面によって撮影された画像は、隣接するピクセルのラスターからなり、各ピクセルは、通常、ピクセルの中心の点に対応し（技術的には、この値はピクセル全体の集約にも対応しうる）、空間依存性を有する。

【0004】

上述した３つのデータの例は、それぞれ、「点データ」、「ポリゴン」、「ラスターデータ」と呼ばれる（「点データ」は、厳密には「ポリゴン」の下位概念である）。これらの形式のデータを処理する場合、多くの場合、それらを共同で処理することが望ましい。特に、点データ（または一般的なポリゴン）を、元の観測にデータが含まれていなかった領域の値も含むラスターデータに変換することがしばしば行われる。

【0005】

たとえば、近接する３つの観測所のデータがあれば、それらの観測を組み合わせて中央の値を推測することができる。このような推測を行う一般的な方法として、クリンギング手法だけでなく、単純な最近傍、双線形などの補間が知られている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

クリギングは、補間された値が事前の共分散によって支配されるガウス過程によってモデル化される補間の方法である。事前の分布に関する適切な仮定の下で、クリギングは中間値の線形不偏予測を提供する。つまり、クリギングは、事前の分布に基づいて最も可能性の高い値に近い補間を生成する。しかしながら、クリギングは、事前の分布に線形依存する補間を生成し、補間されたデータに冗長性を導入する傾向があるという課題を有する。

【0007】

本開示は上述の状況を鑑みて成されたものである。即ち、本開示は、事前の分布に線形依存せず、さらに、補間されたデータに冗長性を導入することなく点データをラスターデータに変換することができる方法、装置、及び、プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示に係る、点データをラスターデータに組み合わせる機械学習のための方法は、部分的に空である、点データの行列＜Ｘ_０＞を取得し、第１畳込ニューラルネットワークによって点データを拡張して外挿ラスターデータの行列＜Ｘ_ｎ＞を生成する。そして、第２畳込ニューラルネットワークによって、外挿ラスターデータの行列＜Ｘ_ｎ＞と標準ラスターデータの行列＜Ｘ_ｒ＞と組み合わせて、集約ラスターデータの行列＜Ｘ_ａ＞を生成する。

【0009】

上記第１畳込ニューラルネットワークは、再帰型畳込ニューラルネットワークであってもよい。

【0010】

上記第１畳込ニューラルネットワークは、ウェイト行列＜Ｗ＞、壱行列＜Ｏ＞、マスク行列＜Ｍ_ｉ＞（添字ｉは処理の実行回数を示す、１からｎまでの整数）を有するものであってもよい。ここで、壱行列＜Ｏ＞は、ウェイト行列＜Ｗ＞と同じサイズであって全ての要素が１である。マスク行列＜Ｍ_ｉ＞は、０又は１の値をとる要素から構成される。マスク行列＜Ｍ_０＞の１である要素の範囲は、行列＜Ｘ_０＞のうち空でない部分の範囲と同じである。処理において、マスク行列＜Ｍ_ｉ－１＞の１である要素の範囲が、行列＜Ｘ_ｉ－１＞のうち空でない部分の範囲と同じとなるよう、マスク行列＜Ｍ_ｉ－１＞は設定されるものであってもよい。第１畳込ニューラルネットワークは、行列＜Ｘ_ｉ－１＞、ウェイト行列＜Ｗ＞、壱行列＜Ｏ＞、及び、マスク行列＜Ｍ_ｉ－１＞の乗算により行列＜Ｘ_ｉ＞を生成するものであってもよい。マスク行列＜Ｍ_ｎ＞の全ての要素が１となるｎ回目まで、処理を繰り返すものであってもよい。

【0011】

過去のラスターデータ、及び、過去のラスターデータに対応する過去の点データの組からなる教師データに基づいて、上記第１畳込ニューラルネットワークの学習を行うものであってもよい。

【0012】

上記第１畳込ニューラルネットワークは、ｎ個（ｎは１以上の整数）の拡張層から構成されるものであってもよい。ここで、ｉ番目（ｉは１からｎまでの整数）の拡張層は、ウェイト行列＜Ｗ_ｉ＞、ウェイト行列＜Ｗ_ｉ＞と同じサイズであって全ての要素が１である壱行列＜Ｏ_ｉ＞、０又は１の値をとる要素から構成されるマスク行列＜Ｍ_ｉ＞を有するものであってもよい。そして、第１畳込ニューラルネットワークに学習させる際、マスク行列＜Ｍ_ｉ－１＞の１である要素の範囲が、行列＜Ｘ_ｉ－１＞のうち空でない部分の範囲と同じとなるよう、マスク行列＜Ｍ_ｉ－１＞は設定されるものであってもよい。ｉ番目の拡張層は、行列＜Ｘ_ｉ－１＞、ウェイト行列＜Ｗ_ｉ＞、壱行列＜Ｏ_ｉ＞、及び、マスク行列＜Ｍ_ｉ－１＞の乗算により行列＜Ｘ_ｉ＞を生成するものであってもよい。マスク行列＜Ｍ_ｎ＞の全ての要素が１となるように、ｉ番目の拡張層に、ウェイト行列＜Ｗ_ｉ＞を学習させるものであってもよい。

【0013】

上記第１畳込ニューラルネットワークに推論させる際、第１畳込ニューラルネットワークは、入力された点データを拡張して、完全に空のないラスターデータを生成するものであってもよい。ここで、入力された点データは、学習時の行列＜Ｘ_０＞のうち空でない部分の範囲と同じ、空でない部分の範囲を有するものであってもよい。

【0014】

上記第１畳込ニューラルネットワークは、人工ニューロンによって実装されるものであってもよい。

【0015】

本開示に係る、点データをラスターデータに組み合わせる機械学習のための装置は、メモリと、少なくとも１つ以上のプロセッサとを有する。ここで、メモリは、点データに基づいてラスターデータのフィールド全体にわたって予測を生成するようにコンピュータを操作する方法を実行するための実行可能命令を格納する。プロセッサは、メモリに接続され、実行可能命令を処理可能である。上記方法によれば、部分的に空である、点データの行列＜Ｘ_０＞を取得し、第１畳込ニューラルネットワークによって点データを拡張して外挿ラスターデータの行列＜Ｘ_ｎ＞を生成する。そして、第２畳込ニューラルネットワークによって、外挿ラスターデータの行列＜Ｘ_ｎ＞と標準ラスターデータの行列＜Ｘ_ｒ＞と組み合わせて、集約ラスターデータの行列＜Ｘ_ａ＞を生成する。

【0016】

本開示に係る、点データをラスターデータに組み合わせる機械学習のためのプログラムは、部分的に空である、点データの行列＜Ｘ_０＞を取得し、第１畳込ニューラルネットワークによって点データを拡張して外挿ラスターデータの行列＜Ｘ_ｎ＞を生成する。そして、第２畳込ニューラルネットワークによって、外挿ラスターデータの行列＜Ｘ_ｎ＞と標準ラスターデータの行列＜Ｘ_ｒ＞と組み合わせて、集約ラスターデータの行列＜Ｘ_ａ＞を生成する。

【発明の効果】

【0017】

本開示によれば、事前の分布に線形依存せず、さらに、補間されたデータに冗長性を導入することなく点データをラスターデータに変換することができる。

【図面の簡単な説明】

【0018】

【図1】点データによって部分的に満たされたグリッドを示す図である。

【図2】ラスターデータによって満たされたグリッドを示す図である。

【図3】畳込フィルタ層による逆畳み込みの動作によって補間された点データによって満たされるグリッドの系列を示す図である。

【図4】点データを拡張してグリッドを満たすために用いる第１のニューラルネットワークの構成を示す図である。

【図5】点データからラスターデータを得るための拡張ネットワークの詳細を示す図である。

【図6】点データを拡張してグリッドを満たすために用いる第１の計算式を示す図である。

【図7】点データを拡張してグリッドを満たすために用いる第２のニューラルネットワークの構成を示す図である。

【図8】点データからラスターデータを得るために用いる拡張層の詳細を示す図である。

【図9】点データを拡張してグリッドを満たすために用いる第２の計算式を示す図である。

【図10】点データを拡張してグリッドを満たす方法のフローチャートを示す図である。

【発明を実施するための形態】

【0019】

以下、いくつかの例示的な実施形態について、図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複する説明を省略する。

【0020】

フィールドの変数の予測は、グリッド内の点における変数の値の系列を測定し、時間が変数として組み込まれた方程式を適用して、点データによって部分的に満たされたグリッドから時間方向に外挿して予測を行うことで実現されてきた。フィールドの変数の内挿・外挿は、グリッドを満たす点の間で内挿・外挿を行うことで実現されてきた。

【0021】

図１は、点データによって部分的に満たされたグリッド１００を示す図である。図１では、点データのあるグリッドは「＋」記号でマークされ、濃い色で網掛けされている。点データは、任意の位置、時間における測定値によって得られる。ここで、点データを取得するセンサとしては、衛星、飛行機、自動車、携帯電話などに搭載されたセンサなどが挙げられる。フィールドの予測を生成するために予測された点の間の補間には、例えば「クリギング」など、種々の方法が使われてきた。

【0022】

フィールドの変数を取得する方法としては、例えば、レーザ、レーダ、Ｘ線、超音波などの散乱技術を用いて、グリッド全体にわたって、グリッドの各点での変数を直接取得する方法がある。時間方向の外挿によって予測を行うために、取得されたフィールドの変数に対して、時間を変数として有する方程式が適用される。

【0023】

図２は、現場での測定または、衛星、ドローン、または数値予報システムの出力などの変数の予測によって完全にラスターデータ（フィールドのデータ）によって満たされたグリッド２００を示す図である。完全に値で満たされたグリッドに対して方程式を適用する場合には、グリッドの点同士の間での補間を行う必要はない。

【0024】

散乱技法によって得られるフィールドの変数の値は、各点での直接測定によって得られる値ほど正確ではないことがある。本開示によれば、点データをラスターデータと結合することが可能となり、点データをラスターデータと結合して得られる結合後のデータセットへのフィールドの方程式を適用することができる。このような方法は、点データに基づいてクリギングを行って補間を行う方法よりも優れた方法であり、グリッドを満たすために点データをラスターデータ化、又は、拡張することによって達成される。点データの優れた拡張は、ニューラルネットワーク、特に畳込フィルタ層を点データに適用することによって達成される。

【0025】

ニューラルネットワークは、１つ以上の機械学習アルゴリズムを実現するために協働するように構成された複数のコンピュータプロセッサを含む。実装にあたってコンピュータプロセッサ間の通信は同期でも非同期でもよい。コンピュータプロセッサにより、軸索とシナプスでつながっている数千から数百万のニューロンの動作がシミュレートされる。

【0026】

ニューロン間の連結は、連結されたユニットの活性化状態に及ぼす影響に関して、強制的、抑制的、または中立的のいずれかの状態を取りうる。各ユニットは、そのすべての入力の値を一緒に結合する合計関数を有する。信号が他のニューロンに伝播する前に限界を超えなければならないように、各ユニットには、活性化関数（例えば、シグモイド関数、正規化線形関数、ソフトマックス関数など）が存在する。活性化関数は、閾値関数または制限関数とも呼ばれる。ニューラルネットワークは、教師付き機械学習、教師なし機械学習、または半教師付き機械学習を実行することができる。

【0027】

例えば、ニューラルネットワークは、データが入力される入力層、出力値が出力される出力層、入力層と出力層の間に設けられる少なくとも１層以上の隠れ層とを含み、入力層、隠れ層、出力層の順番に信号が伝搬する。入力層、隠れ層、出力層の各層は、１つ以上のユニットから構成される。層間のユニット同士が結合しており、各ユニットは活性化関数を有する。ユニットへの複数の入力に基づいて重み付きの合計が算出され、合計値を変数とする活性化関数の値が、ユニットの出力となる。

【0028】

畳込フィルタ層は、ニューラルネットワークの特徴の一種であり、畳込フィルタ層の各ユニットは、入力層の選択された部分のみをサンプリングする。畳込フィルタ層は、限られたサンプリングが視神経束内のニューロンの性能を模倣するので、コンピュータビジョンまたは画像処理に関連する用途にしばしば使用される。

【0029】

畳込フィルタ層による畳込み動作（順方向の動作）により、複雑な画像をダウンサンプリングして、単純化された画像を生成、又は、画像の分類を行う用途に使用可能である。また、畳込フィルタ層による逆畳込み動作（逆方向の動作）により、畳込フィルタ層は、単純化された画像、又は、画像の分類をアップサンプリングして、より複雑な画像を生成する用途に使用可能である。

【0030】

図３は、畳込フィルタ層による逆畳み込みの動作によって補間された点データによって満たされるグリッドの系列を示す図である。最初に、図３（ａ）に示すように、測定点での点データがグリッドに配置される。図３（ａ）では、点データのあるグリッドには「＋」記号が付与され、濃い色で網掛けされている。なお、データを含まないグリッドには「０」記号が付与され、網掛けされていない。

【0031】

図３（ａ）に示すグリッドのデータに対して、畳込フィルタ層による逆畳み込みを行うことにより、図３（ｂ）に示すグリッドのデータ（外挿ラスターデータ）を得る。図３（ｂ）に示すグリッドのデータに対して、畳込フィルタ層による逆畳み込みを行うことにより、図３（ｃ）に示すグリッドのデータ（外挿ラスターデータ）を得る。図３（ｃ）に示すグリッドのデータに対して、畳込フィルタ層による逆畳み込みを行うことにより、図３（ｄ）に示すグリッドのデータ（外挿ラスターデータ）を得る。

【0032】

このように、学習済の畳込フィルタ層による逆畳み込み（拡張処理）を行うことにより、学習済の畳込フィルタ層は、グリッド全体にわたってセンサデータをいくつかのステップで拡張する。

【0033】

なお、過去のラスターデータ、及び、過去のラスターデータに対応する過去の点データの組からなる教師データに基づいて、畳込フィルタ層に学習を行わせることにより、事前に学習済の畳込フィルタ層を用意してあるものとする。

【0034】

畳込フィルタ層による学習の対象となる目的関数は、畳込フィルタ層に入力または出力される、「ラスターデータ」と「点データ」の対応関係を表す任意の関数である。誤差逆伝搬法により、図５の拡張ネットワークで使用されるウェイト行列も確実に訓練可能である。

【0035】

したがって、拡張処理を繰り返すことにより、図３（ａ）に示す点データ３００に基づいて、図３（ｂ）に示すラスターデータ３０２、図３（ｂ）に示すラスターデータ３０４、図３（ｄ）に示すラスターデータ３０６を得ることができる。その結果、グリッド全体をデータによって満たすことができる。すなわち、点データをラスターデータに変換して、点データをラスター化することができる。

【0036】

このように、拡張処理を用いて点データをラスターデータに変換すると、標準的なラスターデータ（標準ラスターデータ）と同様に点データを取り扱うことができる。その結果、標準的な畳込みニューラルネットワークへの異なる入力チャンネルからのデータと同様に、ラスター化した点データを取り扱うことができる。例えば、畳込みニューラルネットワークは、「赤」、「緑」、「青」といった波長のデータ（標準的なラスターデータ）を入力チャンネルとして有する場合を考える。この畳込みニューラルネットワークは、その他の入力チャンネルとして、「赤外線」、「紫外線」といった波長のデータ（点データ）を入力チャンネルとして有することも可能である。

【0037】

図４～６の実施例では、同じウェイト行列を有する畳込フィルタ層が繰り返し適用される。一方、図７～９の実施例では、最大でｎ個の畳込フィルタ層が適用される。ｎ個の畳込フィルタ層の間では、異なるウェイト行列が使用されうる。

【0038】

畳込フィルタ層によって達成される拡張は、点データをラスタライズするが、グリッド化されたデータにおける線形依存性および冗長性を回避することができる。畳み込みフィルタは加算演算を利用しており、加算はデータが利用可能な点の数によって重み付けされる。

【0039】

［第１のニューラルネットワーク］
図４は、点データ＜Ｘ_０＞を拡張してグリッドを満たすために用いる第１のニューラルネットワーク４００の構成を示す図である。点データ＜Ｘ_０＞は、グリッド化されて拡張ネットワーク５００に入力される。拡張ネットワーク５００は、ウェイト行列＜Ｗ＞によって定義される畳込フィルタ層による逆畳み込みを繰り替えし適用することにより、点データを拡張して外挿ラスターデータ＜Ｘ_ｎ＞を生成する。

【0040】

ウェイト行列＜Ｗ＞によって定義される畳込フィルタ層は、過去のラスターデータ、及び、過去のラスターデータに対応する過去の点データの組からなる教師データに基づいて、既に訓練されているものとする。なお、過去のラスターデータは、測定値、予測値、またはその両方を含むことができることに留意されたい。

【0041】

そして、外挿ラスターデータ＜Ｘ_ｎ＞は、標準ラスターデータ＜Ｘ_ｒ＞（通常の手法により得られる標準的なラスターデータ）とともに、畳込ニューラルネットワーク４０２に入力される。畳込ニューラルネットワーク４０２は、外挿ラスターデータ＜Ｘ_ｎ＞、点データ＜Ｘ_０＞、及び、標準ラスターデータ＜Ｘ_ｒ＞を組み込んだ集約ラスターデータ＜Ｘ_ａ＞を出力する。

【0042】

この手順は、「イメージインペインティング」問題で使用される手法に似通っている。参考として、Ｌｉｕ ｅｔ ａｌ．， “Ｉｍａｇｅ Ｉｎｐａｉｎｔｉｎｇ ｆｏｒ Ｉｒｒｅｇｕｌａｒ Ｈｏｌｅｓ Ｕｓｉｎｇ Ｐａｒｔｉａｌ Ｃｏｎｖｏｌｕｔｉｏｎｓ” ２０１３年１２月 （ｓｅｃｔｉｏｎ ３．１）が挙げられる。「イメージインペインティング」問題におけるピクセルの一部分が欠落した画像を対象とする代わりに、本開示では、疎データを対象としていると仮定することができる。このように、欠落した小さな領域を埋める代わりに、ランダムな点データを拡張して点データが得られた領域の周囲の範囲の改善を行う。

【0043】

また、拡張は一般的な測定セットで動作する。つまり、センサ測定値のセット（温度など）が単一のバンドを構成する場合があるが、この方法は、空間と時間のさまざまな場所で記録されるパラメータの任意のセットに適用することが可能である。

【0044】

例えば、画像データについては、異なるバンドにおける値は、一般的に相関している。「イメージインペインティング」問題では、すべてのバンドの値が同じ位置で欠落している。しかし、データは通常、異なるバンド間で無関係であってもよく、異なるバンドにおける欠落個所は、互いに無関係であってもよい。したがって、本開示の方法は、異なるデータソースが異なる位置でデータを欠いている場合にも適用可能である（この場合、データソース／入力レイヤーごとに１つのマスクを使用することになる）。この場合は、すべてのレイヤーの同じ場所でピクセルの欠落が生じている「イメージインペインティング」問題とは異なる。

【0045】

拡張のために使用されるマスク＜Ｍ＞は、空間内の位置だけでなく、問題の入力にも依存する。例えば、ｎ次元空間に複数の入力バンドが定義されている状況を想定する。入力データの空間は２次元又は３次元になる場合がある。これらの入力は、ｎ＋１次元のテンソル＜Ｘ_０＞内に配置されることになる。ここで、余剰の１次元は入力される異なるバンドを互いに区別するためのパラメータの次元である。この場合、マスク＜Ｍ＞もｎ＋１次元のテンソルとなる。

【0046】

すべてのレイヤーの同じ場所でデータの欠落が生じている場合には、バンドを互いに区別する必要がないため、マスク＜Ｍ＞は単にｎ次元のテンソルとなる。

【0047】

図５は、点データからラスターデータを得るための拡張ネットワーク５００の詳細を示す図である。拡張ネットワーク５００には、点データ３０８又は点データ＜Ｘ_０＞（グリッド化された点データ）が入力される。

【0048】

拡張ネットワーク５００は、再帰型畳込ニューラルネットワーク（ＲＣＮＮ）として実装されるものであってもよい。再帰型畳込ニューラルネットワークは、ウェイト行列＜Ｗ＞、マスク行列＜Ｍ_ｉ＞（添字ｉは、拡張ネットワーク５００による処理の実行回数を示す）、壱行列＜Ｏ＞を有する。マスク行列＜Ｍ_ｉ＞は、０又は１の値をとる要素から構成される。壱行列＜Ｏ＞は、ウェイト行列＜Ｗ＞と同じサイズであって全ての要素が１である。

【0049】

なお、マスク行列＜Ｍ_０＞の１である要素の範囲は、行列＜Ｘ_０＞のうち空でない部分の範囲と同じである。処理の間、マスク行列＜Ｍ_ｉ－１＞の１である要素の範囲は、行列＜Ｘ_ｉ－１＞のうち空でない部分の範囲と同じとなるよう、マスク行列＜Ｍ_ｉ－１＞は設定される。

【0050】

拡張ネットワーク５００は、第１乗算器５０２及び第２乗算器５０４を備える。第１乗算器５０２は、行列＜Ｘ_０＞又は行列＜Ｘ_ｉ－１＞に対して、ウェイト行列＜Ｗ＞を乗算して、仮ラスターデータ＜Ｐ_ｉ＞を算出する。第２乗算器５０４は、マスク行列＜Ｍ_ｉ－１＞に対して壱行列＜Ｏ＞を乗算して、点ウェイト＜Ｖ_ｉ＞を算出する。

【0051】

第１乗算器５０２が行列＜Ｘ_０＞又は行列＜Ｘ_ｉ－１＞のいずれに対して乗算を行うかは、拡張ネットワーク５００の処理の実行回数に依存する。拡張ネットワーク５００の実行が１回目であれば、行列＜Ｘ_０＞に対して乗算が行われ、拡張ネットワーク５００の実行が２回目以降であれば、行列＜Ｘ_ｉ－１＞に対して乗算が行われる。

【0052】

拡張ネットワーク５００は、仮ラスターデータ＜Ｐ_ｉ＞と点ウェイト＜Ｖ_ｉ＞に基づいて、行列＜Ｘ_ｉ＞を得る。ここで、行列＜Ｘ_ｉ＞の要素の値は、仮ラスターデータ＜Ｐ_ｉ＞の要素の値を点ウェイト＜Ｖ_ｉ＞の要素の値で除算することで算出される。なお、点ウェイト＜Ｖ_ｉ＞の要素の値が０である場合には、行列＜Ｘ_ｉ＞の要素の値は０に設定される。

【0053】

さらに、拡張ネットワーク５００は、点ウェイト＜Ｖ_ｉ＞に基づいて、マスク行列＜Ｍ_ｉ＞を得る。ここで、点ウェイト＜Ｖ_ｉ＞の要素の値が０である場合には、マスク行列＜Ｍ_ｉ＞の要素の値は０に設定され、点ウェイト＜Ｖ_ｉ＞の要素の値が０でない場合には、マスク行列＜Ｍ_ｉ＞の要素の値は１に設定される。

【0054】

拡張ネットワーク５００は、マスク行列＜Ｍ_ｉ＞の全ての要素が１となるまで、上述した処理を繰り返す。マスク行列＜Ｍ_ｉ＞の全ての要素が１となる場合の添字ｉの値をｎで表すと、添字ｉは１からｎまでの整数をとる。

【0055】

図６は、点データを拡張してグリッドを満たすために用いる第１の計算式を示す図である。図６において、＜ｇ＞、又は、＜Ｘ_０＞は、測定点での点データ＜Ｘ_０＞の行列である。＜Ｗ＞は、拡張ネットワーク５００によって保持されているウェイト行列＜Ｗ＞である。＜Ｘ_ｉ＞は、点データ＜Ｘ_０＞に対して拡張ネットワーク５００によって処理を反復実行することにより得られる、外挿ラスターデータの行列＜Ｘ_ｉ＞である。

【0056】

なお、拡張ネットワーク５００によって保持されているウェイト行列＜Ｗ＞に依存して、処理の結果には非等方性などの特徴が表れる場合がある。つまり、ウェイト行列＜Ｗ＞は、ラスター内の特定の方向を優先して補間を行う処理を表現することができる。

【0057】

［第２のニューラルネットワーク］
図７は、点データ＜Ｘ_０＞を拡張してグリッドを満たすために用いる第２のニューラルネットワーク７００の構成を示す図である。点データ＜Ｘ_０＞は、グリッド化されて拡張層に入力される。ｉ番目の拡張層は、ウェイト行列＜Ｗ_ｉ＞によって定義される畳込フィルタ層による逆畳み込みを順次適用することにより、点データを拡張して外挿ラスターデータ＜Ｘ_ｉ＞を生成する。ここで、１番前からｎ番目までの拡張層の全体が、第１畳込ニューラルネットワークを構成する。

【0058】

ウェイト行列＜Ｗ_ｉ＞によって定義される畳込フィルタ層は、過去のラスターデータ、及び、過去のラスターデータに対応する過去の点データの組からなる教師データに基づいて、既に訓練されているものとする。なお、過去のラスターデータは、測定値、予測値、またはその両方を含むことができることに留意されたい。

【0059】

そして、外挿ラスターデータ＜Ｘ_ｎ＞は、標準ラスターデータ＜Ｘ_ｒ＞（通常の手法により得られる標準的なラスターデータ）とともに、畳込ニューラルネットワーク７０２に入力される。畳込ニューラルネットワーク７０２は、外挿ラスターデータ＜Ｘ_ｎ＞、点データ＜Ｘ_０＞、及び、標準ラスターデータ＜Ｘ_ｒ＞を組み込んだ集約ラスターデータ＜Ｘ_ａ＞を出力する。

【0060】

図８は、点データからラスターデータを得るために用いる拡張層の詳細を示す図である。ｉ番目の拡張層には、データ＜Ｘ_ｉ－１＞が入力され、ｉ番目の拡張層からは、データ＜Ｘ_ｉ＞が出力される。すなわち、１番目の拡張層には、点データ３０８又は点データ＜Ｘ_０＞（グリッド化された点データ）が入力され、１番目の拡張層からは、外挿ラスターデータ＜Ｘ_１＞が出力される。ｉ番目の拡張層には、外挿ラスターデータ＜Ｘ_ｉ＞が入力され、ｉ番目の拡張層からは、外挿ラスターデータ＜Ｘ_ｉ＞が出力される。

【0061】

ｉ番目の拡張層は、ウェイト行列＜Ｗ_ｉ＞、マスク行列＜Ｍ_ｉ＞、壱行列＜Ｏ_ｉ＞を有する。マスク行列＜Ｍ_ｉ＞は、０又は１の値をとる要素から構成される。壱行列＜Ｏ_ｉ＞は、ウェイト行列＜Ｗ_ｉ＞と同じサイズであって全ての要素が１である。

【0062】

なお、マスク行列＜Ｍ_０＞の１である要素の範囲は、行列＜Ｘ_０＞のうち空でない部分の範囲と同じである。マスク行列＜Ｍ_ｉ－１＞の１である要素の範囲は、行列＜Ｘ_ｉ－１＞のうち空でない部分の範囲と同じとなるよう、マスク行列＜Ｍ_ｉ－１＞は設定される。

【0063】

ｉ番目の拡張層は、第３乗算器８０２及び第４乗算器８０４を備える。第３乗算器８０２は、行列＜Ｘ_ｉ－１＞に対して、ウェイト行列＜Ｗ_ｉ＞を乗算して、仮ラスターデータ＜Ｐ_ｉ＞を算出する。第４乗算器８０４は、マスク行列＜Ｍ_ｉ－１＞に対して壱行列＜Ｏ_ｉ＞を乗算して、点ウェイト＜Ｖ_ｉ＞を算出する。

【0064】

ｉ番目の拡張層は、仮ラスターデータ＜Ｐ_ｉ＞と点ウェイト＜Ｖ_ｉ＞に基づいて、行列＜Ｘ_ｉ＞を得る。ここで、行列＜Ｘ_ｉ＞の要素の値は、仮ラスターデータ＜Ｐ_ｉ＞の要素の値を点ウェイト＜Ｖ_ｉ＞の要素の値で除算することで算出される。なお、点ウェイト＜Ｖ_ｉ＞の要素の値が０である場合には、行列＜Ｘ_ｉ＞の要素の値は０に設定される。

【0065】

さらに、ｉ番目の拡張層は、点ウェイト＜Ｖ_ｉ＞に基づいて、マスク行列＜Ｍ_ｉ＞を得る。ここで、点ウェイト＜Ｖ_ｉ＞の要素の値が０である場合には、マスク行列＜Ｍ_ｉ＞の要素の値は０に設定され、点ウェイト＜Ｖ_ｉ＞の要素の値が０でない場合には、マスク行列＜Ｍ_ｉ＞の要素の値は１に設定される。

【0066】

図９は、点データを拡張してグリッドを満たすために用いる第２の計算式を示す図である。図９において、＜ｇ＞、又は、＜Ｘ_０＞は、測定点での点データ＜Ｘ_０＞の行列である。＜Ｗ_ｉ＞は、ｉ番目の拡張層によって保持されているウェイト行列＜Ｗ_ｉ＞である。＜Ｘ_ｉ＞は、データの行列＜Ｘ_ｉ－１＞に対してｉ番目の拡張層によって処理を実行することにより得られる、外挿ラスターデータの行列＜Ｘ_ｉ＞である。

【0067】

なお、ｉ番目の拡張層によって保持されているウェイト行列＜Ｗ_ｉ＞に依存して、処理の結果には非等方性などの特徴が表れる場合がある。つまり、ウェイト行列＜Ｗ_ｉ＞は、ラスター内の特定の方向を優先して補間を行う処理を表現することができる。

【0068】

［処理手順］
図１０は、点データを拡張してグリッドを満たす方法のフローチャートを示す図である。本開示に係る、点データを拡張してグリッドを満たす方法によれば、まず最初に、ステップＳ１００２において、部分的に空である、点データの行列＜Ｘ_０＞が取得される。

【0069】

ステップＳ１００４において、第１畳込ニューラルネットワークによって点データを拡張して外挿ラスターデータの行列＜Ｘｎ＞が生成される。

【0070】

そして、ステップＳ１００６において、第２畳込ニューラルネットワークによって、外挿ラスターデータの行列＜Ｘ_ｎ＞と標準ラスターデータの行列＜Ｘ_ｒ＞とが組み合わされて、集約ラスターデータの行列＜Ｘ_ａ＞が生成される。

【0071】

［実施形態による効果］
以上詳細に説明したように、本開示に係る方法は、部分的に空である、点データの行列＜Ｘ_０＞を取得し、第１畳込ニューラルネットワークによって点データを拡張して外挿ラスターデータの行列＜Ｘ_ｎ＞を生成する。そして、第２畳込ニューラルネットワークによって、外挿ラスターデータの行列＜Ｘ_ｎ＞と標準ラスターデータの行列＜Ｘ_ｒ＞と組み合わせて、集約ラスターデータの行列＜Ｘ_ａ＞を生成する。これによって、点データに基づいて、ラスターデータのフィールド全体にわたって予測を生成するようにコンピュータを操作する。

【0072】

これにより、事前の分布に線形依存せず、さらに、補間されたデータに冗長性を導入することなく点データをラスターデータに変換することができる。さらに言えば、標準ラスターデータと同様に点データを取り扱うことができる。

【0073】

上記第１畳込ニューラルネットワークは、再帰型畳込ニューラルネットワークであってもよい。これにより、データを含まないグリッドに対して、点データに基づいてラスターデータを生成することができる。さらに言えば、データを含まないグリッドに対する補間方法をユーザが決定する場合と比較して、事前の分布に線形依存せず、さらに、補間されたデータに冗長性を導入することなく点データをラスターデータに変換できる。

【0074】

上記第１畳込ニューラルネットワークは、ウェイト行列＜Ｗ＞、壱行列＜Ｏ＞、マスク行列＜Ｍ_ｉ＞（添字ｉは処理の実行回数を示す、１からｎまでの整数）を有するものであってもよい。ここで、壱行列＜Ｏ＞は、ウェイト行列＜Ｗ＞と同じサイズであって全ての要素が１である。マスク行列＜Ｍ_ｉ＞は、０又は１の値をとる要素から構成される。マスク行列＜Ｍ_０＞の１である要素の範囲は、行列＜Ｘ_０＞のうち空でない部分の範囲と同じである。処理において、マスク行列＜Ｍ_ｉ－１＞の１である要素の範囲が、行列＜Ｘ_ｉ－１＞のうち空でない部分の範囲と同じとなるよう、マスク行列＜Ｍ_ｉ－１＞は設定されるものであってもよい。第１畳込ニューラルネットワークは、行列＜Ｘ_ｉ－１＞、ウェイト行列＜Ｗ＞、壱行列＜Ｏ＞、及び、マスク行列＜Ｍ_ｉ－１＞の乗算により行列＜Ｘ_ｉ＞を生成するものであってもよい。マスク行列＜Ｍ_ｎ＞の全ての要素が１となるｎ回目まで、処理を繰り返すものであってもよい。

【0075】

これにより、データを含まないグリッドがなくなるまで反復して処理が継続され、確実に、データを含まないグリッドに対して、点データに基づいてラスターデータを生成することができる。

【0076】

過去のラスターデータ、及び、過去のラスターデータに対応する過去の点データの組からなる教師データに基づいて、上記第１畳込ニューラルネットワークの学習を行うものであってもよい。これにより、過去のラスターデータと過去の点データの間にある関係性が、第１畳込ニューラルネットワークに学習される。その結果、データを含まないグリッドに対する補間方法をユーザが決定する場合と比較して、事前の分布に線形依存せず、さらに、補間されたデータに冗長性を導入することなく点データをラスターデータに変換できる。

【0077】

上記第１畳込ニューラルネットワークは、ｎ個（ｎは１以上の整数）の拡張層から構成されるものであってもよい。ここで、ｉ番目（ｉは１からｎまでの整数）の拡張層は、ウェイト行列＜Ｗ_ｉ＞、ウェイト行列＜Ｗ_ｉ＞と同じサイズであって全ての要素が１である壱行列＜Ｏ_ｉ＞、０又は１の値をとる要素から構成されるマスク行列＜Ｍ_ｉ＞を有するものであってもよい。そして、第１畳込ニューラルネットワークに学習させる際、マスク行列＜Ｍ_ｉ－１＞の１である要素の範囲が、行列＜Ｘ_ｉ－１＞のうち空でない部分の範囲と同じとなるよう、マスク行列＜Ｍ_ｉ－１＞は設定されるものであってもよい。ｉ番目の拡張層は、行列＜Ｘ_ｉ－１＞、ウェイト行列＜Ｗ_ｉ＞、壱行列＜Ｏ_ｉ＞、及び、マスク行列＜Ｍ_ｉ－１＞の乗算により行列＜Ｘ_ｉ＞を生成するものであってもよい。マスク行列＜Ｍ_ｎ＞の全ての要素が１となるように、ｉ番目の拡張層に、ウェイト行列＜Ｗ_ｉ＞を学習させるものであってもよい。

【0078】

これにより、データを含まないグリッドに対して、点データに基づいてラスターデータを生成することができる。さらに言えば、データを含まないグリッドに対する補間方法をユーザが決定する場合と比較して、事前の分布に線形依存せず、さらに、補間されたデータに冗長性を導入することなく点データをラスターデータに変換できる。さらには、ウェイト行列＜Ｗ_ｉ＞の自由度の数だけ、ラスターデータと点データの間にある関係性を表現する幅が広がり、より正確に、補間されたデータに冗長性を導入することなく点データをラスターデータに変換できる。

【0079】

上記第１畳込ニューラルネットワークに推論させる際、第１畳込ニューラルネットワークは、入力された点データを拡張して、完全に空のないラスターデータを生成するものであってもよい。ここで、入力された点データは、学習時の行列＜Ｘ_０＞のうち空でない部分の範囲と同じ、空でない部分の範囲を有するものであってもよい。これにより、データを含まないグリッドがなくなるまで反復して処理が継続され、確実に、データを含まないグリッドに対して、点データに基づいてラスターデータを生成することができる。

【0080】

上記第１畳込ニューラルネットワークは、人工ニューロンによって実装されるものであってもよい。これにより、軸索とシナプスでつながっている数千から数百万のニューロンの動作がシミュレートされ、効果的にラスターデータと点データの間にある関係性を表現することができる。

【0081】

本開示に係る装置は、メモリと、少なくとも１つ以上のプロセッサとを有する。ここで、メモリは、上述した方法を実行するための実行可能命令を格納する。プロセッサは、メモリに接続され、実行可能命令を処理可能である。

【0082】

本開示に係るプログラムは、上述した方法を実行するための実行可能な命令を備える。なお、本開示に係るプログラムは、コンピュータによって読み書き可能な記録媒体に格納されるものであってもよい。

【0083】

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサ、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置、又は、記載された機能を実行するよう配置された回路構成要素なども含まれる。

【0084】

いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正または変形をすることが可能である。上記実施形態のすべての構成要素、及び請求の範囲に記載されたすべての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。

【符号の説明】

【0085】

４０２，７０２ 畳込ニューラルネットワーク（第２畳込ニューラルネットワーク）
５００ 拡張ネットワーク（第１畳込ニューラルネットワーク）
８０１ 拡張層

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】