ホーム > 特許ランキング > 国立大学法人東京工業大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024049645
(43)【公開日】2024-04-10
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G16Z 99/00 20190101AFI20240403BHJP
G06Q 10/04 20230101ALI20240403BHJP
G06N 20/00 20190101ALI20240403BHJP
【ＦＩ】
G16Z99/00
G06Q10/04
G06N20/00 130
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022155991
(22)【出願日】2022-09-29
(71)【出願人】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】大西 領
(72)【発明者】
【氏名】安田 勇輝
【テーマコード（参考）】
5L010
5L049
【Ｆターム（参考）】
5L010AA04
5L049AA04
5L049DD01
(57)【要約】
【課題】環境の状態の予測を精度よく効率的に行うことが可能な情報処理装置を提供する。
【解決手段】構造変換部３０は、時空間上の状態を観測して得られた観測データの構造を、格子データの構造の観測データに変換する。潜在時空間写像部４０は、格子データに変換された観測データ及び予測データについて、第１の実時空間から潜在時空間に写像を行う。非線形変換部５０は、潜在時空間において、写像が行われた観測データ及び予測データに対して非線形変換を行う。高解像度解析データ取得部６０は、非線形変換が施された観測データ及び予測データについて、潜在時空間から第２の実時空間に写像を行って、高解像度解析データを取得する。
【選択図】図４
【解決手段】構造変換部３０は、時空間上の状態を観測して得られた観測データの構造を、格子データの構造の観測データに変換する。潜在時空間写像部４０は、格子データに変換された観測データ及び予測データについて、第１の実時空間から潜在時空間に写像を行う。非線形変換部５０は、潜在時空間において、写像が行われた観測データ及び予測データに対して非線形変換を行う。高解像度解析データ取得部６０は、非線形変換が施された観測データ及び予測データについて、潜在時空間から第２の実時空間に写像を行って、高解像度解析データを取得する。
【選択図】図４
【特許請求の範囲】
【請求項1】
時空間上の状態を観測して得られたデータである観測データの構造を、時空間上において所定間隔で配置された格子点上で定義される数値を示す格子データの構造の観測データに変換する構造変換部と、
前記格子データに変換された観測データと、シミュレーションによって得られた時空間上の格子データであり少なくとも前記観測データの時刻及び当該時刻よりも過去を含む時間における予測データとについて、第１の実時空間から前記第１の実時空間よりも要素数が少ない潜在時空間に写像を行う潜在時空間写像部と、
前記潜在時空間において、写像が行われた前記観測データ及び前記予測データに対して非線形変換を行う非線形変換部と、
前記非線形変換が施された前記観測データ及び前記予測データについて、前記潜在時空間から前記潜在時空間よりも要素数が多く第１の実時空間よりも高解像度である第２の実時空間に写像を行うことにより、時空間上の格子データであり前記予測データよりも時空間上で高解像度である高解像度解析データを取得する高解像度解析データ取得部と、
を有し、
前記潜在時空間写像部及び前記非線形変換部によって、前記観測データと前記予測データとのデータ同化が行われる、
情報処理装置。
前記格子データに変換された観測データと、シミュレーションによって得られた時空間上の格子データであり少なくとも前記観測データの時刻及び当該時刻よりも過去を含む時間における予測データとについて、第１の実時空間から前記第１の実時空間よりも要素数が少ない潜在時空間に写像を行う潜在時空間写像部と、
前記潜在時空間において、写像が行われた前記観測データ及び前記予測データに対して非線形変換を行う非線形変換部と、
前記非線形変換が施された前記観測データ及び前記予測データについて、前記潜在時空間から前記潜在時空間よりも要素数が多く第１の実時空間よりも高解像度である第２の実時空間に写像を行うことにより、時空間上の格子データであり前記予測データよりも時空間上で高解像度である高解像度解析データを取得する高解像度解析データ取得部と、
を有し、
前記潜在時空間写像部及び前記非線形変換部によって、前記観測データと前記予測データとのデータ同化が行われる、
情報処理装置。
【請求項2】
前記高解像度解析データを用いて前記高解像度解析データよりも時空間上で低解像度の低解像度解析データを算出する低解像度解析データ算出部、
をさらに有する請求項１に記載の情報処理装置。
をさらに有する請求項１に記載の情報処理装置。
【請求項3】
前記非線形変換部は、前記潜在時空間に写像されたデータに対してデータ配列の変形を行うことにより時間方向に超解像を行う、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
前記高解像度解析データ取得部は、前記潜在時空間において時間方向に超解像が行なわれたデータに対して、時間方向の各時刻について独立して、空間方向に超解像を行うことによって、前記高解像度解析データを取得する、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記予測データは、前記観測データの時刻及び当該時刻よりも過去及び未来を含む時間における予測データであり、
前記高解像度解析データ取得部は、前記観測データの時刻の過去及び未来を含む時間における高解像度解析データを取得する、
請求項１に記載の情報処理装置。
前記高解像度解析データ取得部は、前記観測データの時刻の過去及び未来を含む時間における高解像度解析データを取得する、
請求項１に記載の情報処理装置。
【請求項6】
前記構造変換部、前記潜在時空間写像部、前記非線形変換部及び前記高解像度解析データ取得部は、機械学習のアルゴリズムによって学習された学習済みモデルによって、実現される、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項7】
前記構造変換部、前記潜在時空間写像部、前記非線形変換部及び前記高解像度解析データ取得部は、前記予測データよりも時空間上で高解像度のデータを教師データとする教師あり学習によって学習された学習済みモデルによって、実現される、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記構造変換部、前記潜在時空間写像部、前記非線形変換部及び前記高解像度解析データ取得部は、損失関数を減少させるようにして教師なし学習によって学習された学習済みモデルによって、実現される、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項9】
時空間上の状態を観測して得られたデータである観測データの構造を、時空間上において所定間隔で配置された格子点上で定義される数値を示す格子データの構造の観測データに変換し、
前記格子データに変換された観測データと、シミュレーションによって得られた時空間上の格子データであり少なくとも前記観測データの時刻及び当該時刻よりも過去を含む時間における予測データとについて、第１の実時空間から前記第１の実時空間よりも要素数が少ない潜在時空間に写像を行い、
前記潜在時空間において、写像が行われた前記観測データ及び前記予測データに対して非線形変換を行い、
前記非線形変換が施された前記観測データ及び前記予測データについて、前記潜在時空間から前記潜在時空間よりも要素数が多く第１の実時空間よりも高解像度である第２の実時空間に写像を行うことにより、時空間上の格子データであり前記予測データよりも時空間上で高解像度である高解像度解析データを取得し、
前記第１の実時空間から前記潜在時空間に写像を行うこと、及び、前記潜在時空間において前記観測データ及び前記予測データに対して非線形変換を行うことによって、前記観測データと前記予測データとのデータ同化が行われる、
情報処理方法。
前記格子データに変換された観測データと、シミュレーションによって得られた時空間上の格子データであり少なくとも前記観測データの時刻及び当該時刻よりも過去を含む時間における予測データとについて、第１の実時空間から前記第１の実時空間よりも要素数が少ない潜在時空間に写像を行い、
前記潜在時空間において、写像が行われた前記観測データ及び前記予測データに対して非線形変換を行い、
前記非線形変換が施された前記観測データ及び前記予測データについて、前記潜在時空間から前記潜在時空間よりも要素数が多く第１の実時空間よりも高解像度である第２の実時空間に写像を行うことにより、時空間上の格子データであり前記予測データよりも時空間上で高解像度である高解像度解析データを取得し、
前記第１の実時空間から前記潜在時空間に写像を行うこと、及び、前記潜在時空間において前記観測データ及び前記予測データに対して非線形変換を行うことによって、前記観測データと前記予測データとのデータ同化が行われる、
情報処理方法。
【請求項10】
時空間上の状態を観測して得られたデータである観測データの構造を、時空間上において所定間隔で配置された格子点上で定義される数値を示す格子データの構造の観測データに変換する処理と、
前記格子データに変換された観測データと、シミュレーションによって得られた時空間上の格子データであり少なくとも前記観測データの時刻及び当該時刻よりも過去を含む時間における予測データとについて、第１の実時空間から前記第１の実時空間よりも要素数が少ない潜在時空間に写像を行う処理と、
前記潜在時空間において、写像が行われた前記観測データ及び前記予測データに対して非線形変換を行う処理と、
前記非線形変換が施された前記観測データ及び前記予測データについて、前記潜在時空間から前記潜在時空間よりも要素数が多く第１の実時空間よりも高解像度である第２の実時空間に写像を行うことにより、時空間上の格子データであり前記予測データよりも時空間上で高解像度である高解像度解析データを取得する処理と、
をコンピュータに実行させ、
前記第１の実時空間から前記潜在時空間に写像を行う処理、及び、前記潜在時空間において前記観測データ及び前記予測データに対して非線形変換を行う処理によって、前記観測データと前記予測データとのデータ同化が行われる、
プログラム。
前記格子データに変換された観測データと、シミュレーションによって得られた時空間上の格子データであり少なくとも前記観測データの時刻及び当該時刻よりも過去を含む時間における予測データとについて、第１の実時空間から前記第１の実時空間よりも要素数が少ない潜在時空間に写像を行う処理と、
前記潜在時空間において、写像が行われた前記観測データ及び前記予測データに対して非線形変換を行う処理と、
前記非線形変換が施された前記観測データ及び前記予測データについて、前記潜在時空間から前記潜在時空間よりも要素数が多く第１の実時空間よりも高解像度である第２の実時空間に写像を行うことにより、時空間上の格子データであり前記予測データよりも時空間上で高解像度である高解像度解析データを取得する処理と、
をコンピュータに実行させ、
前記第１の実時空間から前記潜在時空間に写像を行う処理、及び、前記潜在時空間において前記観測データ及び前記予測データに対して非線形変換を行う処理によって、前記観測データと前記予測データとのデータ同化が行われる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
例えば、気象予測又は海象予測等の分野では、シミュレーション等によって、環境の状態を精度よく且つ効率よく予測することが求められる。同様に、装置内の環境の状態を効率よく予測することも求められる。予測の精度を向上させる手法として、解像度の増加（超解像）及びデータ同化がある。この技術に関連し、非特許文献１は、超解像データ同化（Super-resolution data assimilation：ＳＲＤＡ）の技術を開示する。また、非特許文献２～非特許文献５は、本開示に関する技術を開示する。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Sebastien Barthelemy, et al、「Super-resolution data assimilation」、Ocean Dynamics 72, 661-678 (2022)、https://doi.org/10.1007/s10236-022-01523-x
【非特許文献2】Bin Li, et al、「3D-ReConstnet: A Single-View 3D-Object Point Cloud Reconstruction Network」、IEEE Access、2020、https://ieeexplore.ieee.org/documedo/9086481?source=authoralert
【非特許文献3】Ashish Vaswani, et al、「Attention is all you need」、Advances in neural information processing systems、2017、https://arxiv.org/abs/1706.03762
【非特許文献4】Zhicheng Geng, et al、「RSTT: Real-time Spatial Temporal Transformer for Space-Time Video Super-Resolution」、Computer Vision and Pattern Recognition、27 Mar 2022、https://arxiv.org/abs/2203.14186
【非特許文献5】Wenzhe Shi, et al、「Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network」、Computer Vision and Pattern Recognition、2016、https://arxiv.org/abs/1609.05158
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献１にかかる技術では、超解像の手法とデータ同化の手法とを単純に組み合わせただけである。そのため、非特許文献１では、アンサンブル計算によりデータ同化を行っている。ここで、アンサンブル計算では、様々な似た状況をシミュレートする必要がある。したがって、非特許文献１にかかる技術では、精度よく予測を行おうとすると、計算コストが増大するおそれがある。よって、非特許文献１にかかる技術では、精度よく効率的に予測を行うことができないおそれがある。
【0005】
本開示は、環境の状態の予測を精度よく効率的に行うことが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示にかかる情報処理装置は、時空間上の状態を観測して得られたデータである観測データの構造を、時空間上において所定間隔で配置された格子点上で定義される数値を示す格子データの構造の観測データに変換する構造変換部と、前記格子データに変換された観測データと、シミュレーションによって得られた時空間上の格子データであり少なくとも前記観測データの時刻及び当該時刻よりも過去を含む時間における予測データとについて、第１の実時空間から前記第１の実時空間よりも要素数が少ない潜在時空間に写像を行う潜在時空間写像部と、前記潜在時空間において、写像が行われた前記観測データ及び前記予測データに対して非線形変換を行う非線形変換部と、前記非線形変換が施された前記観測データ及び前記予測データについて、前記潜在時空間から前記潜在時空間よりも要素数が多く第１の実時空間よりも高解像度である第２の実時空間に写像を行うことにより、時空間上の格子データであり前記予測データよりも時空間上で高解像度である高解像度解析データを取得する高解像度解析データ取得部と、を有し、前記潜在時空間写像部及び前記非線形変換部によって、前記観測データと前記予測データとのデータ同化が行われる。
【0007】
本開示にかかる情報処理方法は、時空間上の状態を観測して得られたデータである観測データの構造を、時空間上において所定間隔で配置された格子点上で定義される数値を示す格子データの構造の観測データに変換し、前記格子データに変換された観測データと、シミュレーションによって得られた時空間上の格子データであり少なくとも前記観測データの時刻及び当該時刻よりも過去を含む時間における予測データとについて、第１の実時空間から前記第１の実時空間よりも要素数が少ない潜在時空間に写像を行い、前記潜在時空間において、写像が行われた前記観測データ及び前記予測データに対して非線形変換を行い、前記非線形変換が施された前記観測データ及び前記予測データについて、前記潜在時空間から前記潜在時空間よりも要素数が多く第１の実時空間よりも高解像度である第２の実時空間に写像を行うことにより、時空間上の格子データであり前記予測データよりも時空間上で高解像度である高解像度解析データを取得し、前記第１の実時空間から前記潜在時空間に写像を行うこと、及び、前記潜在時空間において前記観測データ及び前記予測データに対して非線形変換を行うことによって、前記観測データと前記予測データとのデータ同化が行われる。
【0008】
本開示にかかるプログラムは、時空間上の状態を観測して得られたデータである観測データの構造を、時空間上において所定間隔で配置された格子点上で定義される数値を示す格子データの構造の観測データに変換する処理と、前記格子データに変換された観測データと、シミュレーションによって得られた時空間上の格子データであり少なくとも前記観測データの時刻及び当該時刻よりも過去を含む時間における予測データとについて、第１の実時空間から前記第１の実時空間よりも要素数が少ない潜在時空間に写像を行う処理と、前記潜在時空間において、写像が行われた前記観測データ及び前記予測データに対して非線形変換を行う処理と、前記非線形変換が施された前記観測データ及び前記予測データについて、前記潜在時空間から前記潜在時空間よりも要素数が多く第１の実時空間よりも高解像度である第２の実時空間に写像を行うことにより、時空間上の格子データであり前記予測データよりも時空間上で高解像度である高解像度解析データを取得する処理と、をコンピュータに実行させ、前記第１の実時空間から前記潜在時空間に写像を行う処理、及び、前記潜在時空間において前記観測データ及び前記予測データに対して非線形変換を行う処理によって、前記観測データと前記予測データとのデータ同化が行われる。
【発明の効果】
【0009】
本開示によれば、環境の状態の予測を精度よく効率的に行うことが可能な情報処理装置、情報処理方法及びプログラムを提供できる。
【図面の簡単な説明】
【0010】
【図1】計算の解像度及び格子データを説明するための図である。
【図2】計算の解像度及び格子データを説明するための図である。
【図3】超解像シミュレーション方法を説明するための図である。
【図4】本実施の形態にかかる情報処理装置の構成を示す図である。
【図5】本実施の形態にかかる情報処理装置によって実行される情報処理方法を示すフローチャートである。
【図6】実施の形態１にかかる情報処理装置の構成を示す図である。
【図7】比較例にかかる技術を説明するための図である。
【図8】実施の形態１にかかる超解像及びデータ同化を説明するための図である。
【図9】実施の形態１にかかる実験結果と比較例にかかる実験結果とを比較した図である。
【図10】実施の形態１にかかる構成要素を変分ベイズ法により学習する方法を説明するための図である。
【図11】各実施形態に係る装置およびシステムを実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。
【発明を実施するための形態】
【0011】
（実施の形態の概要）
実施の形態の説明に先立って、本実施の形態の概要について説明する。なお、以下、本実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。また、以下の説明において、使用されるインデックス（英文字等）は、本明細書全体で共通のものとは限らない。
実施の形態の説明に先立って、本実施の形態の概要について説明する。なお、以下、本実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。また、以下の説明において、使用されるインデックス（英文字等）は、本明細書全体で共通のものとは限らない。
【0012】
例えば、気象予測（気象予測シミュレーション）の分野では、微気象予測が適用されることがある。微気象とは、人工構造物や人間活動の影響を大きく受ける高度１００ｍ程度までの地上付近の気象のことである。微気象予測では、一般的な気象予測と比較し、１００～１０００倍程度の高解像度シミュレーション結果を提供する。微気象予測が提供されるのは主に都市部であるが、適用先を都市に限定するものではない。超高解像度のため、微気象予測には、通常の気象予測では考慮されないようなビルを過ぎる流れやビルからの排熱を組み込むことができる。すなわち、より現実に近い大気の流れを微気象予測はシミュレートできる。近未来の微気象予測では、市街地等の環境に配置されたセンサ及びカメラ、ドローン、スマートフォン等から観測データを取得して、これらの観測データを用いて予測を行うことになると考えられる、このような予測を精度よく行うためには、計算の解像度を高くすることが必要となる。
【0013】
図１及び図２は、計算の解像度及び格子データを説明するための図である。図１は、３次元計算メッシュＧ１を示す。３次元計算メッシュＧ１は、Ｘ軸，Ｙ軸，Ｚ軸の３次元座標空間で定義される３次元空間に対応する格子で表されている。この格子の間隔が短いほど、空間方向の計算の解像度は高解像度となる。逆に、格子の間隔が長いほど、空間方向の計算の解像度が低解像度となる。
【0014】
図２は、４次元計算メッシュＧ２を示す。４次元計算メッシュＧ２は、３次元計算メッシュＧ１が時間方向（Ｔ軸で示す）、つまり時系列上に配置されるようにして、構成される。ここで、時間間隔（サンプリング周期；図２ではＴ１とＴ２の間の間隔）が短いほど、時間方向の計算の解像度は高解像度となる。逆に、時間間隔が長いほど、時間方向の計算の解像度が低解像度となる。なお、本実施の形態において、「時空間」は、３次元の空間と１次元の時間とで定義される４次元の時空間として説明するが、時空間の次元は、４次元に限定されない。
【0015】
ここで、４次元計算メッシュＧ２における物理量等の数値を示すデータは、４次元の時空間上の格子データとみなすことができる。格子データは、時空間上において所定間隔で配置された格子点上で定義される物理量（速度等）等の数値を示す。つまり、３次元空間（３次元計算メッシュＧ１）の各点にその点の状態を示す数値（物理量等）が存在し、４次元計算メッシュＧ２で示すように、その各点の数値が、１次元の時間方向に変化する。この３次元空間の各点の時間方向の変化が、格子データで示されている。この場合、格子データは、その物理量等の数値を示す４次元のデータ配列（数値配列）で表され得る。データ配列における要素（element）の数を、要素数という。また、データ配列は、物理量ごとに設けられ得る。また、格子データは、構造化された構造化データということもできる。また、後述するニューラルネットワークで格子データを扱う場合、格子データは、人間が理解できる物理量を示してもよいし、人間が理解できない数値を示してもよい。つまり、格子データは、時空間上において所定間隔で配置された格子点上で定義される数値を示す構造を有する。
【0016】
一方、計算の解像度を高くして微気象予測シミュレーションを行うと、扱うデータ量が増大するので、計算コストが多大となる。したがって、低解像度（ＬＲ：Low Resolution）のシミュレーション結果に対して超解像（ＳＲ：Super Resolution）を行うことによって、高解像度（ＨＲ：High Resolution）の計算結果を得ることが考えられる。
【0017】
図３は、超解像シミュレーション方法を説明するための図である。超解像シミュレーションシステムは、低解像度シミュレーションを行って得られた低解像度の予測結果に対して、超解像器で超解像を行う。これにより、高解像度の予測結果が得られる。超解像器は、予め、高解像度シミュレーションで得られた高解像度結果を用いて、深層学習（ニューラルネットワーク）により学習する。つまり、超解像器は、予め、大量の高解像度結果を教師データとして、教師あり学習を行うことによって、学習される。このような構成によって、運用時には、低解像度シミュレーションを行うことで高解像度の予測結果を得ることができるので、計算コストを抑制することができる。
【0018】
また、予測シミュレーションの精度を向上させるために、観測データと予測結果とについてデータ同化を行うことが考えられる。データ同化手法の１つであるアンサンブル・カルマンフィルタでは、アンサンブル計算によって多数の似た状況をシミュレートし、予測結果のばらつきから、その誤差を見積もる。そして、この誤差の大小に基づき、予測結果を観測データに近づける度合いを決定する。データ同化を行うことにより、予測結果を観測データに近づけることができるので、予測結果の精度を向上させることが可能となる。ここで、上述したように、非特許文献１の技術では、超解像の手法とデータ同化の手法とを単純に組み合わせている。つまり、非特許文献１では、超解像とデータ同化とを独立して行っている。このような手法では、アンサンブル計算によりデータ同化を行う必要がある。したがって、計算コストが増大する。
【0019】
これに対し、本実施の形態では、以下に説明するように、格子データの時系列データを使用して、超解像とデータ同化とが同時に実行される。これにより、アンサンブル計算を行うことが不要となる。したがって、本実施の形態では、精度よく効率的に予測を行うことが可能となる。
【0020】
図４は、本実施の形態にかかる情報処理装置１０の構成を示す図である。情報処理装置１０は、例えばコンピュータである。情報処理装置１０は、シミュレーション部２０と、観測データ取得部２２と、予測データ取得部２４と、構造変換部３０と、潜在時空間写像部４０と、非線形変換部５０と、高解像度解析データ取得部６０と、低解像度解析データ算出部７０とを有する。これらの構成要素は、後述するハードウェア構成によって実現され得る。これらの構成要素の機能については後述する。
【0021】
図５は、本実施の形態にかかる情報処理装置１０によって実行される情報処理方法を示すフローチャートである。シミュレーション部２０は、環境の状態のシミュレーションを行う（ステップＳ２０）。具体的には、シミュレーション部２０は、上述したような低解像度のシミュレーションを行う。さらに具体的には、シミュレーション部２０は、時間方向及び空間方向について低解像度のシミュレーションを行う。
【0022】
観測データ取得部２２は、１種類以上の観測データを取得する（ステップＳ２２）。観測データは、時空間上の状態を観測して得られたデータである。観測データは、例えば、環境に配置されたセンサ及びカメラ、ドローン、スマートフォン等から取得され得る。ここで、観測データの構造は、格子データの構造である必要はない。また、もし観測データの構造が格子データの構造の場合、その解像度は任意であり、低解像度であっても高解像度であってもよい。観測データの詳細については後述する。
【0023】
予測データ取得部２４は、予測データを取得する（ステップＳ２４）。具体的には、予測データ取得部２４は、シミュレーション部２０によるシミュレーション結果である予測データを取得する。ここで、予測データは、状態の時間的な変化を示す時系列データである。また、予測データは、シミュレーションによって得られた時空間上の格子データである。予測データは、少なくとも観測データの時刻及び当該時刻よりも過去を含む時間（時系列）における予測データである。ここで、「観測データの時刻」とは、全ての観測データにおける最も後の時刻（基準時刻）を含む。予測データの詳細については後述する。
【0024】
構造変換部３０は、観測データの構造を変換する（ステップＳ３０）。具体的には、構造変換部３０は、観測データの構造を、格子データの構造の観測データに変換する。さらに具体的には、構造変換部３０は、時空間上の状態を観測して得られたデータである観測データの構造を、時空間上において所定間隔で配置された格子点上で定義される数値を示す格子データの構造の観測データに変換する。構造変換部３０の機能の詳細については後述する。
【0025】
潜在時空間写像部４０は、観測データ及び予測データについて、潜在時空間に写像を行う（ステップＳ４０）。具体的には、潜在時空間写像部４０は、Ｓ３０の処理で格子データに変換された観測データ及びＳ２４の処理で得られた予測データについて、第１の実時空間から潜在時空間に写像を行う。後述するように、潜在時空間写像部４０（Ｓ４０の処理）によって、観測データと予測データとのデータ同化が行われる。
【0026】
ここで、潜在時空間は、第１の実時空間よりも要素数が少ない時空間である。言い換えると、潜在時空間は、第１の実時空間よりも低解像度である時空間である。したがって、潜在時空間におけるデータ配列の要素数は、第１の実時空間におけるデータ配列の要素数よりも少ない。そして、潜在時空間上のデータは、観測データ及び予測データについて、時間及び空間の情報を圧縮した数値配列で構成され得る。なお、潜在時空間は、時間（時系列）の概念を含む潜在空間ということもできる。また、潜在時空間では、次元が区別されない。つまり、潜在時空間では、時間と空間とを区別せず、３次元空間の次元も区別しない。また、第１の実時空間は、予測データが得られる環境に対応する時空間である。
【0027】
また、潜在時空間写像部４０は、上述した潜在時空間への写像によって、観測データ（格子データに変換された観測データ）が潜在時空間に写像されたデータ、及び、予測データが潜在時空間に写像された（射影された）データを取得できる。潜在時空間写像部４０は、格子データに変換された観測データを使用して、予測データを潜在時空間に写像してもよい。したがって、「予測データが潜在時空間に写像されたデータ」は、観測データを潜在時空間に写像して得られたデータも含み得る。一方、潜在時空間写像部４０は、観測データを写像する際には、観測データ単体を潜在時空間に写像する。
【0028】
格子データに変換された観測データを使用して予測データを写像することにより、観測データと予測データとのデータ同化が行われる。つまり、格子データに変換された観測データと予測データとを潜在時空間に写像する際に、これらが混合（融合）され得る。言い換えると、潜在時空間において、格子データに変換された観測データが予測データに取り込まれる。潜在時空間写像部４０のより詳細な機能については後述する。
【0029】
非線形変換部５０は、潜在時空間おいて非線形変換を行う（ステップＳ５０）。具体的には、非線形変換部５０は、潜在時空間において、写像が行われた観測データ及び予測データに対して非線形変換を行う。さらに具体的には、非線形変換部５０は、潜在時空間に写像された観測データと予測データとを融合して、潜在時空間におけるデータ（潜在時空間データ；融合データ）を取得してもよい。したがって、非線形変換部５０（Ｓ５０の処理）によって、観測データと予測データとのデータ同化が行われる。また、非線形変換部５０は、非線形変換を繰り返して、潜在時空間に写像された潜在時空間データの数値の分布を不連続にしてもよい。また、非線形変換部５０は、非線形変換により、潜在時空間に写像された潜在時空間データの数値の分布を複雑に又は単純にしてもよい。この場合、非線形変換部５０は、適切に超解像が行われるように、非線形変換を行ってもよい。なお、非線形変換部５０は、数値の分布を変化させる場合に、要素数を変化させなくてもよい。なお、要素数を増加させることにより、超解像が行われ得る。非線形変換部５０のより詳細な機能については後述する。
【0030】
高解像度解析データ取得部６０は、高解像度解析データを取得する（ステップＳ６０）。具体的には、高解像度解析データ取得部６０は、非線形変換が施された観測データ及び予測データについて、潜在時空間から第２の実時空間に写像を行う。これにより、高解像度解析データ取得部６０は、高解像度解析データを取得する。つまり、高解像度解析データは、時間方向及び空間方向に超解像が施された解析データである。
【0031】
ここで、第２の実時空間は、潜在時空間よりも要素数が多く第１の実時空間よりも高解像度である実時空間である。したがって、第２の実時空間は、高解像度空間（ＨＲ空間）であると言える。また、高解像度解析データ（ＨＲ解析データ）は、時空間上の格子データである。また、高解像度解析データは、予測データよりも時空間上で高解像度であるデータである。また、高解像度解析データは、観測データの時刻の過去及び未来を含む時間（時系列）における時系列データであってもよい。すなわち、観測データの時刻（基準時刻）に対して、入力された予測データが未来にわたり存在する場合、高解像度解析データは、同様の未来の時刻を含む解析データである。つまり、予測データは、観測データの時刻及び当該時刻よりも過去及び未来を含む時間における予測データであってもよい。この場合、高解像度解析データ取得部６０は、観測データの時刻の過去及び未来を含む時間における高解像度解析データを取得してもよい。高解像度解析データ取得部６０のより詳細な機能については後述する。
【0032】
低解像度解析データ算出部７０は、低解像度解析データを算出する（ステップＳ７０）。具体的には、低解像度解析データ算出部７０は、高解像度解析データを用いて低解像度解析データを算出する。ここで、低解像度解析データ（ＬＲ解析データ）は、高解像度解析データよりも時空間上で低解像度の解析データである。さらに具体的には、低解像度解析データ算出部７０は、高解像度解析データに対して代数補間等の算術操作（数学的手法）を施すことによって、低解像度解析データを算出する。低解像度解析データ算出部７０のより詳細な機能については後述する。
【0033】
シミュレーション部２０は、低解像度解析データを入力として、次のタイミングのシミュレーションを行う（Ｓ２０）。これにより、図５に示した処理フローが繰り返される。
【0034】
上述したように、本実施の形態にかかる情報処理装置１０は、時空間における観測データ及び時空間における低解像度の予測データに対してデータ同化及び超解像を行うことにより、高解像度解析データを取得するように構成されている。そして、情報処理装置１０は、高解像度解析データを取得する際に、潜在時空間において処理を行うように構成されている。したがって、環境の状態の予測を精度よく効率的に行うことが可能となる。
【0035】
また、本実施の形態にかかる情報処理装置１０は、低解像度解析データを算出するように構成されている。これにより、低解像度のシミュレーションを継続して行うことが可能となる。したがって、効率的にシミュレーションを行うことが可能となる。
【0036】
また、非線形変換部５０は、潜在時空間に写像されたデータに対してデータ配列の変形を行うことにより時間方向に超解像を行ってもよい。この場合、高解像度解析データ取得部６０は、潜在時空間において時間方向に超解像が行なわれたデータに対して、時間方向の各時刻について独立して、空間方向に超解像を行うことによって、高解像度解析データを取得してもよい。これにより、さらに効率的に処理を行うことが可能となる。詳しくは後述する。
【0037】
また、構造変換部３０、潜在時空間写像部４０、非線形変換部５０及び高解像度解析データ取得部６０は、機械学習のアルゴリズムによって学習された学習済みモデルによって、実現されてもよい。この場合、構造変換部３０、潜在時空間写像部４０、非線形変換部５０及び高解像度解析データ取得部６０は、予測データよりも時空間上で高解像度のデータを教師データとする教師あり学習によって学習された学習済みモデルによって、実現されてもよい。あるいは、構造変換部３０、潜在時空間写像部４０、非線形変換部５０及び高解像度解析データ取得部６０は、損失関数を減少させるようにして教師なし学習によって学習された学習済みモデルによって、実現されてもよい。これにより、格子データでない観測データと低解像度の予測データとを用いて、効率的に、高解像度解析データを取得することが可能となる。詳しくは後述する。
【0038】
（実施の形態１）
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0039】
＜情報処理装置＞
図６は、実施の形態１にかかる情報処理装置１００の構成を示す図である。情報処理装置１００は、例えばコンピュータである。情報処理装置１００は、学習処理部１１０と、シミュレーション部１２０と、観測データ取得部１２２と、予測データ取得部１２４と、構造変換部１３０と、潜在時空間写像部１４０と、非線形変換部１５０と、高解像度解析データ取得部１６０と、低解像度解析データ算出部１７０とを有する。これらの構成要素は、後述するハードウェア構成によって実現され得る。
図６は、実施の形態１にかかる情報処理装置１００の構成を示す図である。情報処理装置１００は、例えばコンピュータである。情報処理装置１００は、学習処理部１１０と、シミュレーション部１２０と、観測データ取得部１２２と、予測データ取得部１２４と、構造変換部１３０と、潜在時空間写像部１４０と、非線形変換部１５０と、高解像度解析データ取得部１６０と、低解像度解析データ算出部１７０とを有する。これらの構成要素は、後述するハードウェア構成によって実現され得る。
【0040】
学習処理部１１０は、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０についてニューラルネットワーク等の機械学習を行う。これにより、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０は、学習済みモデルとして、それぞれの機能を実現できるようになる。
【0041】
ここで、学習処理部１１０は、機械学習を行う際に、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を別個に学習しないで、これらを纏めて学習してもよい。具体的には、学習処理部１１０は、エンドツーエンド（end-to-end）深層学習の手法によって、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を一気通貫に学習する。つまり、学習処理部１１０は、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０のそれぞれの機能をニューラルネットワークの層とみなして機械学習を行う。言い換えると、学習処理部１１０は、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を１つのニューラルネットワークとして、機械学習を行う。なお、事前学習については、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０のそれぞれで別個に行われてもよい。
【0042】
学習処理部１１０は、教師あり学習を行ってもよいし、教師なし学習を行ってもよい。教師あり学習を行う場合、学習処理部１１０は、例えば、高精度且つ高解像度の時系列気象データを教師データとして、学習を行ってもよい。学習処理部１１０の処理の詳細については後述する。なお、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０は、学習処理部１１０による機械学習によって学習された学習済みモデルとして実現されることに限定されない。
【0043】
シミュレーション部１２０は、上述したシミュレーション部２０に対応する。シミュレーション部１２０は、時間方向及び空間方向について低解像度のシミュレーションを行う。シミュレーション部１２０は、入力された初期状態を用いて、低解像度の予測データ（シミュレーションデータ）を生成する。
【0044】
低解像度の予測データ（ＬＲ予測シミュレーションデータ）は、時空間における格子点上で定義されるデジタルデータである。つまり、予測データは、時空間上で定義される格子データである。言い換えると、予測データは、格子構造で定義されるデータ配列を有する。つまり、時空間上の格子データである予測データは、空間方向及び時間方向に所定の間隔の格子点それぞれについて、データ配列を有する。図２に示した４次元計算メッシュＧ２において、時間軸方向に格子点が並んでおり、４次元計算メッシュＧ２における３次元計算メッシュＧ１において、空間３軸方向に格子点が並んでいる。予測データの格子データは、この各格子点上で数値を持つ。格子点の間隔は等間隔でも非等間隔でもよい。なお、シミュレーション部１２０は低解像度のシミュレーションを行うので、得られる予測データの格子データは、高解像度の格子データと比較して、時間方向の間隔及び空間方向の間隔が平均して長い。
【0045】
例えば、予測データが、４次元の時空間におけるデータ配列Ａｈｉｊｋで定義されるとする。添え字ｈは時間方向（ｔ方向）に対応し、添え字ｉは３次元空間のＸ軸方向に対応し、添え字ｊは３次元空間のＹ軸方向に対応し、添え字ｋは３次元空間のＺ軸方向に対応する。このとき、データ配列Ａｈｉｊｋの添え字ｈ，ｉ，ｊ，ｋは整数値をとる。この整数値の組（ｈ，ｉ，ｊ，ｋ）の１つに対して、４次元計算メッシュＧ２の格子点の１つが対応する。これにより、格子点上の数値Ａｈｉｊｋを一意に指定することができる。このように、予測データは、４次元空間における各次元の方向について整数の添え字を持つデータ配列Ａｈｉｊｋで定義される。
【0046】
ここで、データ配列Ａｈｉｊｋにおいて、時間方向の要素がＨ個であるとする。つまり添え字ｈがＨ個の値を取るとする。同様に、Ｘ軸方向の要素がＩ個、つまり添え字ｉがＩ個の値を取るとする。また、Ｙ軸方向の要素がＪ個、つまり添え字ｊがＪ個の値を取るとする。また、Ｚ軸方向の要素がＫ個、つまり添え字ｋがＫ個の値を取るとする。この場合、データ配列Ａｈｉｊｋの要素数はＨ＊Ｉ＊Ｊ＊Ｋとなる。Ｈ＝Ｉ＝Ｊ＝Ｋ＝１０とすると、データ配列Ａｈｉｊｋの要素数は１０４となる。
【0047】
予測データは、時系列における過去の時間のデータを含む。また、予測データは、時系列における未来の時間のデータを含んでもよい。また、上述したように、予測データは、後述する観測データの時刻（基準時刻）を含む時間のデータである。
【0048】
予測データは、物理方程式に基づいて大気等の環境の状態を予測するのに必要な物理変数（物理量）を示すデータを含む。気象予測シミュレーションの場合、上記の物理方程式は、例えば、流体のナヴィエ・ストークス方程式又は熱力学方程式等である。また、物理量は、例えば、空気の速度、圧力、温度、水蒸気の混合比、雲粒の粒子数密度などである。これらの物理量ごとに、上述した４次元のデータ配列が設けられ得る。データ配列は、各物理量の、物理学における「場」を表しているともいえる。
【0049】
また、本実施の形態において、予測データ（ＬＲシミュレーション結果）は、単一シナリオによって得られることに留意されたい。つまり、予測データは、ある唯一の初期状態からシミュレーション（物理シミュレーション）を行った際に得られる、唯一（単一）のシミュレーション結果である。これに対し、非特許文献１にかかるデータ同化では、アンサンブル計算を行うために、様々な似た状況についてシミュレーションを行う。つまり、非特許文献１においては、複数のシナリオにより予測シミュレーションを行っている。
【0050】
予測データ取得部１２４は、上述した予測データ取得部２４に対応する。予測データ取得部１２４は、シミュレーション部１２０から、上述した予測データ（低解像度の物理シミュレーション予測結果）を取得する。予測データは、以下の式（１）で表される。
・・・（１）
【数1】
【0051】
ここで、ｘｔ
Ｌは、予測データの全ての物理量からなるベクトル場である。すなわち、ｘは、ある時刻ｔにおける３次元空間の各格子点における値の組（ベクトル）を示すベクトル場である。そして、式（１）は、時刻ｔ＝０から時刻ｔ＝ｎの全ての物理量のベクトル場の集合を示す。言い換えると、式（１）は、予測データに関する４次元時空間のデータ配列（数値配列）の全てを示す。また、添え字Ｌは、空間方向に低解像度であることを示す。また、ｔは、予測データのタイムスタンプを示す。ｔは、時間間隔が長い間隔のタイムスタンプを示す。つまり、ｔは、時間方向に低解像度である（つまり時間間隔が長い）ことを示す。つまり、式（１）は、４次元時空間における格子数が少ない（要素数が少ない；低解像度の）データであることを表している。
【0052】
観測データ取得部１２２は、上述した観測データ取得部２２に対応する。観測データ取得部１２２は、観測データ取得部２２と同様に、環境に配置されたセンサ及びカメラ、ドローン、スマートフォン等から、観測データを取得する。観測データは、以下の式（２）で表される。
・・・（２）
【数2】
【0053】
式（２）は、時刻τにおける、ある状態を示す数値（観測値）ｏからなるデジタルデータの集合を示す。ここで、τは、観測データのタイムスタンプを示す。τの時間間隔は、等間隔でなくてもよい。また、ｏは、物理量を示してもよいし、物理量を示さなくてもよい。つまり、ｏは、非物理量の数値を示してもよい。
【0054】
なお、観測データは、格子データであってもよい。あるいは、観測データは、格子データである必要はない。つまり、観測データは、構造化されていない非構造化データ（非格子データ）であってもよい。非構造化データである観測データでは、時間情報及び空間情報に観測値が対応付けられているが、その時間及び空間それぞれの間隔に規則性がない。つまり、非構造化データである観測データは、空間メッシュ構造を有しない。したがって、観測データは、ランダムな時間及び空間における観測値を示してもよい。
【0055】
また、観測データは、様々な雑多な質の異なるデータを含み得る。観測データは、画像データ、音データ、ポイントデータ、又はログデータであってもよい。また、観測データは、大気の状態を表す物理量の値の集合、又は、それらの物理量を推定可能なデジタルデータであってもよい。例えば、観測データは、アメダスの観測値を示してもよい。この場合、観測値は、様々な場所の温度、湿度又は風速等を示し得る。また、観測データは、物体（建物等）の放射輝度を示してもよい。これにより、その物体の近傍の位置及び観測された時間における温度を推定することができる。また、観測データは、ドローン等の空中を浮遊する飛行体の加速度ログを示してもよい。これにより、その飛行体の位置及び観測された時間における、風速又は乱流散逸率を推定することができる。また、観測データは、空を撮影した画像を示してもよい。これにより、撮影された位置及び時間における雲量又は降水量を推定することができる。また、観測データは、ある地点（コンビニエンスストア等）における冷菓（アイスクリーム、シャーベット、アイスキャンデー、かき氷等）の売り上げを示してもよい。これにより、その地域の局所的な温度を推定することができる。すなわち、冷菓の売り上げが高いほど、その地域の温度が高いと推定され得る。
【0056】
また、十分精度が高いシミュレーションが実行される場合、そのシミュレーション結果は、現実の状態を良好に表しているといえる。したがって、十分精度が高いシミュレーションの結果を、現実をよく表す観測結果であるとして、観測データとみなしてもよい。なお、設定次第では、例えば、微気象シミュレーションのように、ビルの形状及びビルから出る排熱までも取り込んだ「現実に近い実験」を行うことができる。このようなシミュレーションは、誤差が十分小さいため、現実をよく表す観測結果、つまり観測データとみなし得る。
【0057】
また、観測データが観測される時空間の解像度は、高解像度であってもよいし、低解像度であってもよい。観測データが衛星データ又はレーダーデータを示す場合、これらは線（１次元）観測又は面（２次元）観測によって得られる。また、観測データがドップラーライダ（ＬｉＤＡＲ：Light Detection And Ranging）によって得られるデータである場合、これは３次元観測によって得られる。これらの場合、空間解像度（及び観測の時間間隔）によって、観測データの解像度が低解像度であるか高解像度であるかを、決定することができる。
【0058】
また、観測データがアメダスデータに対応する場合、これは点（０次元）観測によって得られる。この場合であっても、以下のようにして、解像度を定義することができる。すなわち、点観測であっても、その観測値がどの程度の規模の状態を代表するかを示す代表スケールがある。代表スケールが大きい観測データの場合、低解像度の観測データとみなし得る。代表スケールが小さい観測データの場合、高解像度の観測データとみなし得る。例えば、通常の気象モデルでは、水平１ｋｍ～１０ｋｍを代表するような、空間解像度の粗い観測値を観測している。そのため、観測においては、遮蔽物などが近くにない場所、草地上、直射日光が当たらないなど、人工排熱の影響を受けない、などの厳しい条件が課されている。このような観測データは、低解像度の観測データといえる。一方、微気象モデルでは、人工排熱の影響を受けるような、水平１ｍ～５ｍを代表するような、空間解像度が細かい観測値を観測できる。微気象モデルでは、このような観測データが大気に与える影響を考慮して、シミュレーションを行うことができる。このような観測データは、高解像度の観測データであるといえる。
【0059】
なお、高解像度の観測データと低解像度の予測データは、空間方向の解像度及び時間方向の解像度が大きく異なる。したがって、データ同化を行う場合、高解像度の観測データを、低解像度の予測データに合わせて時空間方向に平均化する必要がある。したがって、通常は、高解像度の観測データと低解像度の予測データとに対して直接データ同化を行うことは困難であることに、留意されたい。これに対し、本実施の形態では、任意の観測データと低解像度の予測データとに対して、データ同化を行うことができる。
【0060】
構造変換部１３０は、上述した構造変換部３０に対応する。構造変換部１３０は、構造化器としての機能を有する。構造変換部１３０は、既存の構造化器によって実現されてもよい。構造変換部１３０は、非構造化データ（非格子データ）である観測データを、格子データの構造の観測データに変換する。つまり、構造変換部１３０は、観測データをグリッドデータ化する。構造変換部１３０は、観測データを、高解像度の時空間における格子データの各格子点上のデータに変換する。言い換えると、構造変換部１３０は、観測値を、格子上で定義される物理量へ変換する。なお、観測データが変換されて得られる格子データは、予測データの格子データよりも要素数が多い（つまり高解像度の）格子データに対応してもよい。
【0061】
構造変換部１３０で実現される構造化器を表す関数をｓ（）とすると、構造変換部１３０の機能は、以下の式（３）で表される。式（３）の左辺が、構造変換部１３０の出力データに対応する。なお、構造変換部１３０（構造化器）に入力される観測データは、格子データであってもよい。また、構造化器に入力される観測データは、物理量を示してもよいし物理量以外の数値を示してもよい。
・・・（３）
【数3】
【0062】
ここで、ｏＴ
Ｈは、観測データの全ての観測値からなるベクトル場である。すなわち、ｏは、ある時刻Ｔにおける３次元空間の各格子点における値の組（ベクトル）を示すベクトル場である。そして、式（３）の左辺は、時刻Ｔ＝０から時刻Ｔ＝Ｎの全ての観測値（物理量等）のベクトル場の集合を示す。言い換えると、式（３）の左辺は、観測データ（物理量等）に対応する４次元時空間のデータ配列（数値配列）の全てを示す。また、添え字Ｈは、空間方向に高解像度であることを示す。また、Ｔは、観測データのタイムスタンプを示す。Ｔは、時間間隔が短い間隔のタイムスタンプを示す。つまり、Ｔは、時間方向に高解像度である（つまり時間間隔が短い）ことを示す。つまり、式（３）の左辺は、４次元時空間における格子数が多い（要素数が多い；高解像度の）データであることを表している。
【0063】
構造変換部１３０の構造化器は、ニューラルネットワーク等の、機械学習によって学習された学習済みモデルによって実現されてもよい。この場合、構造変換部１３０は、線形射影演算子、全結合層、又はグラフ畳み込みネットワークで実現されてもよい（後述する潜在時空間写像部１４０、非線形変換部１５０、高解像度解析データ取得部１６０についても同様）。この場合、構造変換部１３０は、学習処理部１１０によって学習される。例えば、構造化器は、非特許文献２で示される技術によって、実現されてもよい。上述したように、エンドツーエンド（end-to-end）深層学習の手法によって、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０が、一気通貫に学習される。そして、構造変換部１３０（構造化器）は、観測データを、本実施の形態にかかる超解像データ同化を行うために適切なグリッドデータへ変換するように、学習される。
【0064】
また、構造化器は、機械学習によって学習された学習済みモデルで実現されなくてもよい。この場合、構造変換部１３０は、観測データの時刻及び位置情報を読み取り、時空間において所定間隔で配置された格子点のうち、読み取られた時刻及び位置情報に最も近い格子点に、観測データを射影してもよい。また、この場合、構造変換部１３０は、観測データが射影されない格子点については、欠損値を代入してもよい。
【0065】
なお、構造変換部１３０に入力される観測データが非物理量を示すデータである場合であっても、構造変換部１３０は、その観測データに対応する物理量等の数値を示す格子データを出力し得る。例えば、構造変換部１３０に入力される観測データが、各地点の各時刻における冷菓の売り上げを示すデータである場合、構造変換部１３０は、各地点における各時刻の気温を示す格子データを出力し得る。また、構造変換部１３０は、様々な複数の観測データを入力としてもよい。この場合、構造変換部１３０は、複数の観測データに対応する物理量等の数値を示す格子データを出力し得る。例えば、構造変換部１３０に入力される観測データが、各地点の各時刻におけるドローンの加速度及び冷菓の売り上げである場合、構造変換部１３０は、各地点の各時刻における風速及び気温を示す格子データを出力し得る。また、構造変換部１３０は、入力される観測データに対応する、人間が理解可能な物理量を示す格子データを出力することに限られない。構造変換部１３０は、人間が理解できない（つまりニューラルネットワークのみが理解可能な）数値配列に対応する格子データを出力してもよい。言い換えると、構造変換部１３０は、時空間上において所定間隔で配置された格子点上で定義される数値を示す格子データ（数値配列）を出力する。また、観測データが画像データ（カメラデータ）である場合、構造変換部１３０（又は別の構成要素）は、前処理として、物体認識やピクセルセグメンテーションを利用した処理を行ってもよい。そして、この前処理のために、事前学習済みのニューラルネットワーク等を利用してもよい。そして、構造変換部１３０は、このような前処理が施されたデータに対して、上述した構造の変換処理を行ってもよい。
【0066】
上述したように、構造変換部１３０は、非格子データ又は格子データであり、物理量又は非物理量の観測値を示す観測データを入力とする。そして、構造変換部１３０は、環境の状態（例えば大気状態）を示す物理量（温度又は風速等）に関する４次元時空間のデータ配列（数値配列）の格子データを出力する。構造変換部１３０は、このような構成により、既存のデータ同化手法では扱えない、非物理量や非格子データの観測データを非線形変換し、データ同化が可能な数値配列の観測データに変換することができる。
【0067】
潜在時空間写像部１４０は、上述した潜在時空間写像部４０に対応する。潜在時空間写像部１４０は、エンコーダとしての機能を有する。潜在時空間写像部１４０は、既存のエンコーダによって実現されてもよい。潜在時空間写像部１４０は、第１の実時空間における観測データ及び予測データについて、潜在時空間に写像を行う。潜在時空間写像部１４０は、各時刻について、４次元の時空間上に構造化された観測データと、予測データとを、潜在時空間のデータに変換する。つまり、潜在時空間写像部１４０では、各時刻の入力に対し、各時刻の出力が独立に計算される。
【0068】
潜在時空間写像部１４０で実現されるエンコーダを表す関数をｅｘ（），ｅｏ（）とすると、潜在時空間写像部１４０の機能は、以下の式（４）及び式（５）で表される。ここで、ｅｘ（）は、予測データｘを潜在時空間に写像するための関数である。ｅｏ（）は、観測データｏを潜在時空間に写像するための関数である。これにより、各時刻ｔにおいて、観測データｏ及び予測データｘが、それぞれ潜在時空間に写像される。
・・・（４）
・・・（５）
【数4】
【数5】
【0069】
これにより、潜在時空間写像部１４０は、以下の式（６）で表される、潜在時空間のデータを得る。式（６）は、時刻ｔ＝０からｔ＝ｎまでの各時刻における潜在時空間のデータの集合を示す。
・・・（６）
【数6】
【0070】
ここで、式（４）は、格子データに変換された観測データｏｔを使用して、予測データｘｔ
Ｌを潜在時空間に写像することによって、写像データｐｔが得られることを示している。写像データｐｔは、低解像度予測データに対応する、潜在時空間における数値配列を示す。ここで、潜在時空間写像部１４０は、観測データに対して前処理と本処理とを行うようにしてもよい。例えば、前処理として、潜在時空間写像部１４０は、入力された観測データｏＴ
Ｈを、予測データの時空間における格子構造に合わせた構造の観測データｏｔに変換してもよい。ｏｔは、格子データに変換された観測データｏＴの時間または空間ステップを粗くして、低解像度の予測データの時空間上の格子構造に合わせることによって得られる。そして、例えば本処理として、潜在時空間写像部１４０は、変換されたｏｔを低解像度の予測データに反映させる同時刻データ同化により、予測データに対応する写像データｐｔを取得してもよい。
【0071】
また、式（５）は、格子データに変換された観測データｏｔを潜在時空間に写像することによって、写像データｑｔが得られることを示している。写像データｑｔは、観測データに対応する、潜在時空間における数値配列を示す。潜在時空間写像部４０は、観測データを写像する際には、観測データ単体を潜在時空間に写像する。
【0072】
ここで、式（４）～式（６）において添え字がｔであることからも分かるように、潜在時空間写像部１４０の処理においては、潜在時空間写像部１４０の内部において、時間方向の解像度（時間ステップｔ）は、予測データの解像度に合わせている。一方、空間方向の解像度は、予測データの解像度よりも小さい。つまり、上述したように、潜在時空間における写像データの数値配列の要素数は、予測データの数値配列の要素数よりも少ない。したがって、潜在時空間写像部１４０は、観測データ及び予測データの数値配列の要素数の削減（位相空間での次元圧縮）を行う。
【0073】
また、式（４）～式（６）は、観測データと予測データとが潜在時空間において融合されていることを示している。つまり、式（６）は、観測データと予測データとが潜在時空間において融合されたデータ（融合データ）を示している。したがって、潜在時空間写像部１４０によって、観測データと予測データとに対してデータ同化が行われるといえる。
【0074】
潜在時空間写像部１４０（エンコーダ）は、ニューラルネットワーク等の、機械学習によって学習された学習済みモデルによって実現されてもよい。例えば、潜在時空間写像部１４０は、畳み込みとプーリングとを使用して、非線形変換を行いつつ、要素数の削減を行ってもよい。また、ニューラルネットワークは、物理的な対称性を反映したニューラルネットワークであってもよい。空間並進対称性を反映するために、畳み込みニューラルネットワークを採用してもよい。また、空間回転対称性を反映するために、群・畳み込みニューラルネットワークを採用してもよい。また、リラベリング対称性を反映するために、ヴィジョン・トランスフォーマー又はグラフ畳み込みニューラルネットワークを採用してもよい。これにより、既存のデータ同化手法とは異なり、物理的な対称性を考慮した変換が可能となる。このことは、後述する高解像度解析データ取得部１６０のデコータにおいても同様である。
【0075】
上述したように、潜在時空間写像部１４０は、４次元時空間におけるデータ配列の組である、低解像度の予測データと、格子データに変換された観測データとを入力とする。そして、潜在時空間写像部１４０は、要素数が少ない潜在時空間上の写像データを出力する。潜在時空間写像部１４０は、このような構成により、非線形変換部１５０及び高解像度解析データ取得部１６０における処理効率を向上させることができる。すなわち、数値配列における要素数が削減されるので、処理対象のデータ量が低減される。したがって、計算資源の処理量が抑制される。
【0076】
非線形変換部１５０は、上述した非線形変換部５０に対応する。非線形変換部１５０は、時系列変換器としての機能を有する。非線形変換部１５０は、既存の時系列変換器によって実現されてもよい。非線形変換部１５０は、潜在時空間において、写像が行われた観測データ及び予測データに対して非線形変換を行う。さらに具体的には、非線形変換部１５０は、時系列について非線形変換を行って、潜在時空間に写像された観測データと予測データが融合されたデータを生成してもよい。そして、実施の形態１にかかる非線形変換部１５０は、融合されたデータについて、時間方向に超解像を行ってもよい。ここで、上述したように、潜在時空間では、実時空間よりも要素数が削減されている。したがって、処理対象のデータ量が抑制されるので、効率的に、時間方向に超解像を行うことができる。
【0077】
非線形変換部１５０で実現される時系列変換器を表す関数をＦ（）とすると、非線形変換部１５０の機能は、以下の式（７）で表される。式（７）の左辺が、非線形変換部１５０の出力データに対応する。上述したように、添え字Ｔは時間方向に高解像度であることを示している。また、ｒＴは、時刻Ｔにおける、潜在時空間に写像された観測データと予測データとがデータ同化によって融合されたデータ（融合データ）を示す。そして、式（７）の左辺は、時刻Ｔ＝０から時刻Ｔ＝Ｎの融合データの集合を示す。言い換えると、式（７）の左辺は、融合データに対応する４次元時空間のデータ配列（数値配列）を示す。
・・・（７）
【数7】
【0078】
上述したように、式（７）は、観測データと予測データとが潜在時空間において融合されていることを示している。つまり、式（７）の左辺は、観測データと予測データとが潜在時空間において融合されたデータ（融合データ）を示している。したがって、非線形変換部１５０によって、観測データと予測データとに対してデータ同化が行われるといえる。
【0079】
非線形変換部１５０の時系列変換器は、ニューラルネットワーク等の、機械学習によって学習された学習済みモデルによって実現されてもよい。この場合、非線形変換部１５０は、アテンション機構を利用したニューラルネットワークによって実現されてもよい。また、非線形変換部１５０の時系列変換器は、例えば、非特許文献３に記載されたトランスフォーマ（Transformer）という技術を用いて、非線形変換を行ってもよい。
【0080】
また、非線形変換部１５０は、時空間方向の情報を利用して、予測誤差を陰に計算してもよい。つまり、非線形変換部１５０は、空間パターンの時間変化から、誤差をニューラルネットワークの内部で計算してもよい。言い換えると、非線形変換部１５０は、時空間パターンのマッチングを行い、正解データに対する誤差の大小を判別することによって、予測誤差を算出してもよい。そして、非線形変換部１５０は、予測誤差を重みとして予測データと観測データとについてデータ同化が行われるようなニューラルネットワークによって、実現されてもよい。これにより、アンサンブルを必要としない効率的な計算により、予測データと観測データとについてデータ同化が行われ得る。
【0081】
また、非線形変換部１５０の時系列変換器は、線形変換（例えばアファイン変換）とＲｅＬＵ（Rectified Linear Unit）等による非線形変換とを繰り返し実行してもよい。この処理を実行する過程において、非線形変換部１５０は、例えば非特許文献４の技術を用いて、時間ステップを細かくするように、データ配列を変形してもよい。非線形変換部１５０は、潜在時空間における複数の要素を時間方向の要素と空間方向の要素との２つに分割し、時間方向の要素数を増加させてもよい。例えば、時間方向の要素がＨ’個、Ｘ軸方向の要素がＩ’個、Ｙ軸方向の要素がＪ’個、Ｚ軸方向の要素がＫ’個であるとする。この場合、非線形変換部１５０は、４次元配列Ｈ’×Ｉ’×Ｊ’×Ｋ’を、２次元配列Ｈ’×Ｍに変形する。なお、Ｍは空間方向の要素数であり、Ｍ＝Ｉ’×Ｊ’×Ｋ’である。そして、非線形変換部１５０は、この配列を、２Ｈ’×Ｍ／２の配列に変形してもよい。これにより、時間方向の要素数が２倍に増加し、時間ステップが１／２となる。したがって、潜在時空間に写像されたデータに対して、時間方向に超解像が行われることとなる。このようにして、非線形変換部１５０は、潜在時空間に写像されたデータに対してデータ配列の変形を行うことにより時間方向に超解像を行ってもよい。
【0082】
上述したように、非線形変換部１５０は、潜在時空間における観測データ及び予測データに対応する数値配列（データ配列）の組を入力とする。そして、非線形変換部１５０は、時間方向に超解像が行われた、潜在時空間上の時系列データを出力してもよい。この、時間方向に超解像が行われた潜在時空間上の時系列データの時間方向の解像度は、予測データの時間方向の解像度よりも高い。これにより、非線形変換部１５０は、要素数が小さい（つまり位相空間において低次元の）潜在時空間において時間方向に超解像を行うので、計算量を削減でき、したがって、処理コストを低減できる。したがって、計算効率を高くすることができる。
【0083】
また、非線形変換部１５０の時系列変換器によって、時間方向の超解像が行われる。上述したように、潜在時空間では数値配列の要素数が少ないため、必要なメモリ量が節約されるので、長い時系列を扱うことができる。これにより、時間方向の超解像を効率よく行うことが可能となる。そして、非線形変換部１５０の処理によって、時間方向の超解像を行いつつ、観測データと予測データとのデータ同化を行うことができる。したがって、効率的に、データ同化と時間方向の超解像とを行うことが可能となる。
【0084】
高解像度解析データ取得部１６０は、上述した高解像度解析データ取得部６０に対応する。高解像度解析データ取得部１６０は、デコーダとしての機能を有する。高解像度解析データ取得部１６０は、既存のデコータによって実現されてもよい。高解像度解析データ取得部１６０は、非線形変換が施された観測データ及び予測データについて、潜在時空間から第２の実時空間に写像を行う。高解像度解析データ取得部１６０は、各時刻について、非線形変換部１５０の処理によって得られたデータについて、潜在時空間から第２の時空間に写像を行う。これにより、高解像度解析データ取得部１６０は、非線形変換部１５０の処理によって得られたデータについて、空間方向に超解像を行う。これにより、高解像度解析データ取得部１６０は、各時刻について、潜在時空間におけるデータを、高解像度解析データに変換する。つまり、高解像度解析データ取得部１６０では、各時刻の入力に対し、各時刻の出力が独立に計算される。
【0085】
このようにして、高解像度解析データ取得部１６０は、高解像度解析データＤａ１を取得する。上述したように、高解像度解析データＤａ１は、予測データよりも時空間上で高解像度であるデータである。また、高解像度解析データＤａ１は、入力された予測データの時刻範囲に応じ、観測データの時刻の過去及び未来を含む時間（時系列）における解析データであってもよい。したがって、高解像度解析データＤａ１は、観測データの時刻（基準時刻）に対して時間方向に外挿（時間外挿）がなされた解析データとなり得る。
【0086】
高解像度解析データ取得部１６０で実現されるデコータを表す関数をｄ（）とすると、高解像度解析データ取得部１６０の機能は、以下の式（８）で表される。ｄ（）は、時刻Ｔに関する融合データｒＴを潜在時空間から第２の実時空間に写像するための関数である。これにより、各時刻Ｔにおいて、観測データと予測データとがデータ同化によって融合された融合データが、高解像度の第２の実時空間に写像される。これにより、非線形変換部１５０によって時間方向に超解像がなされた融合データについて、空間方向の超解像が行われる。
・・・（８）
【数8】
【0087】
これにより、高解像度解析データ取得部１６０は、以下の式（９）で表される、第２の実時空間のデータを得る。式（９）は、時刻Ｔ＝０からＴ＝Ｎまでの各時刻における高解像度解析データｙの集合を示す。式（９）が、高解像度解析データ取得部１６０の出力データである高解像度解析データＤａ１に対応する。式（９）で示される高解像度解析データは、高解像度の格子上の時系列データである。高解像度解析データＤａ１は、過去、現在、及び未来のデータを含み得る。
・・・（９）
【数9】
【0088】
ここで、ｙＴ
Ｈは、高解像度解析データの全ての物理量からなるベクトル場である。すなわち、ｙは、ある時刻Ｔにおける３次元空間の各格子点における値の組（ベクトル）を示すベクトル場である。そして、式（９）は、時刻Ｔ＝０から時刻Ｔ＝Ｎの全ての物理量のベクトル場の集合を示す。言い換えると、式（９）は、高解像度解析データに関する４次元時空間のデータ配列（数値配列）の全てを示す。また、添え字Ｈは、空間方向に高解像度であることを示す。また、Ｔは、高解像度解析データのタイムスタンプを示す。Ｔは、時間間隔が短い間隔のタイムスタンプを示す。つまり、Ｔは、時間方向に高解像度である（つまり時間間隔が短い）ことを示す。つまり、式（９）は、４次元時空間における格子数が多い（要素数が多い；高解像度の）データであることを表している。
【0089】
高解像度解析データ取得部１６０のデコータは、ニューラルネットワーク等の、機械学習によって学習された学習済みモデルによって実現されてもよい。例えば、高解像度解析データ取得部１６０に関するニューラルネットワークは、物理的な対称性を反映したニューラルネットであってもよい。これにより、既存のデータ同化手法とは異なり、物理的な対称性を考慮した変換が可能となる。また、高解像度解析データ取得部１６０は、ニューラルネットワークにより、観測データの時刻（基準時刻）に対して時間方向に外挿（時間外挿）がなされた、高解像度解析データを生成してもよい。すなわち、高解像度解析データ取得部１６０のニューラルネットワークは、予測データよりも時空間上で高解像度かつ高精度の時系列データを教師データとして、基準時刻に対して時間外挿がなされた高解像度解析データを出力するように、学習され得る。
【0090】
また、高解像度解析データ取得部１６０のデコータは、線形変換と非線形変換（例えばＲｅＬＵ）とを繰り返し実行して、空間方向の解像度を増加させてもよい。この処理を実行する過程において、高解像度解析データ取得部１６０は、例えば非特許文献５に示されたＰｉｘｅｌ Ｓｈｕｆｆｌｅという技術を用いて、空間方向の解像度を増加させるように、データ配列（数値配列）を変形してもよい。このとき、例えば、融合データが、時間方向の要素数をｎとし、空間方向の要素数をｍとする数値配列であるとする。この場合、高解像度解析データ取得部１６０は、ｎ×ｍの配列を、ｎ／２×２ｍの配列に変形してもよい。これにより、空間方向の要素数が２倍に増加する（ｍ→２ｍ）ので、空間方向の解像度が２倍になる。
【0091】
上述したように、高解像度解析データ取得部１６０は、融合データに対応する、潜在時空間上の時系列データである数値配列（データ配列）を入力とする。そして、高解像度解析データ取得部１６０は、要素数が多い第２の実時空間における高解像度の格子上の時系列データである、４次元数値配列を出力する。高解像度解析データ取得部１６０は、このような構成により、データ同化及び時間方向に超解像が行われた融合データについて、効率的に、実時空間における空間方向の超解像を行うことができる。
【0092】
すなわち、高解像度解析データ取得部１６０は、各時刻の潜在時空間における数値配列（融合データ）を、独立に処理する。これにより、高解像度解析データ取得部１６０における処理では、時間方向の情報を参照することなく、空間方向の超解像を行うことができる。したがって、高解像度解析データ取得部１６０における処理では、必要な計算資源（メモリ量等）が節約されるので、効率的に、３次元空間の超解像を行うことが可能となる。したがって、効率的に、時間方向及び空間方向に超解像がなされた高解像度解析データを得ることが可能となる。また、予測データが、観測データの時刻及び当該時刻よりも過去及び未来を含む時間における予測データである場合、高解像度解析データ取得部１６０は、観測データの時刻の過去及び未来を含む時間における高解像度解析データを取得し得る。これにより、高解像度の解析データを提供すると同時に、時間外挿が実施された未来予測情報も提供することができる。したがって、より付加価値の高いサービスを提供することが可能となる。
【0093】
また、時間方向及び空間方向に超解像がなされた高解像度解析データが得られることによって、以下のように、低解像度の予測シミュレーションを補うことができる。すなわち、実用上、気象・海象予測等の予測シミュレーションの解像度は、時間方向及び空間方向に不足することが多い。例えば、水産養殖業において、水温が上昇すると魚の活性度が上がるため、魚に餌を与えすぎると、酸素不足で魚が斃死するおそれがある。したがって、水産養殖業者は、給餌量の調整のために、水温上昇のタイミングを知りたいことがある。しかしながら、現在の海洋予報の場合、平面方向の解像度は、１０ｋｍ程度と、比較的低解像である。この程度の解像度の予測シミュレーションでは、その水産養殖業者の生け簀付近の水温を精度よく予測できないおそれがある。各水産養殖業者の生け簀の水温を精度よく予測するためには、少なくとも１ｋｍ、可能なら１００ｍ程度の、細かい解像度（高解像度）が必要である。これに対し、本実施の形態では、時間方向及び空間方向に超解像がなされた高解像度解析データを取得できるので、ピンポイントでの気象・海象予測が知りたい業者に、精度よく、情報を提供することができる。
【0094】
低解像度解析データ算出部１７０は、上述した低解像度解析データ算出部７０に対応する。低解像度解析データ算出部１７０は、高解像度解析データＤａ１を用いて、低解像度解析データＤａ２を算出する。なお、低解像度解析データＤａ２の解像度は、予測データの解像度と対応していてもよい。低解像度解析データＤａ２は、高解像度解析データＤａ１よりも低解像度のデータ配列を有する格子データである。また、低解像度解析データＤａ２は、ある時刻におけるスナップショットデータであってもよい。
【0095】
具体的には、低解像度解析データ算出部１７０は、予め定められた関数ｆ（ｙ）を用いて、その関数ｆに、上述した高解像度解析データｙを入力することによって、低解像度解析データＤａ２を算出する。関数ｆは、例えば、代数補間を表す関数であってもよい。関数ｆは、線形補間等の代数的な補間操作を行う関数であってもよい。また、関数ｆは、線形補間法、バイキュービック法又はランチョス法で定義される関数であってもよい。例えば、低解像度解析データ算出部１７０は、高解像度解析データをリサイズ（低解像度化）することによって、高解像度解析データＤａ１から、低解像度解析データＤａ２を算出することができる。具体的には、低解像度解析データ算出部１７０は、格子データの各格子点に対応する値を局所的に多項式で補間して、格子データを拡大又は縮小する。これにより、低解像度解析データＤａ２が算出される。
【0096】
上述したように、低解像度解析データＤａ２は、シミュレーション部１２０に入力されることによって、次のタイミングの予測シミュレーションを行うために利用される。また、低解像度解析データＤａ２は、物理方程式を数値的に解いて未来の予測を得ることに利用されてもよい。これにより、予測シミュレーションの状態の時間発展を行うことができる。この場合、低解像度解析データＤａ２は、現在の時刻の状態を示してもよい。
【0097】
実施の形態１にかかる情報処理装置１００は、上述したように、要素数が削減された潜在時空間においてデータ同化及び超解像を行うように構成されている。これにより、計算で扱う要素数つまりデータ量を削減して処理を行うことができるので、データ同化及び超解像を効率よく行うことが可能となる。したがって、効率的に、非物理量を示す観測データ、及び、時間・空間方向に不規則な観測データを、予測データに対して同化することが可能となる。また、上述したように、学習処理部１１０において、エンドツーエンド学習の手法によって、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を一気通貫に学習する場合、多くの計算資源が必要となる。したがって、上述したように潜在時空間で処理を行うことにより処理対象のデータ量を削減することによって、このような学習を効率的に行うことが可能となる。
【0098】
また、実施の形態１にかかる情報処理装置１００は、非線形変換部１５０で時間方向の超解像を行い、高解像度解析データ取得部１６０で空間方向の超解像を行うように構成されている。これにより、効率的に、時間方向及び空間方向の超解像を行うことが可能となる。すなわち、時間方向及び空間方向の両者について同時に超解像を行うためには、多くのメモリ量及び計算時間が必要となる。特に、学習段階では、誤差を逆伝播させるため、計算グラフ及び勾配値の記憶が必要である。したがって、膨大なメモリ量及び計算時間が必要となる。これに対し、実施の形態１にかかる情報処理装置１００においては、非線形変換部１５０では、要素数の少ない潜在時空間上で、時間方向に超解像を行うため時間方向の次元を、効率的に参照する。一方、高解像度解析データ取得部１６０では、各時刻のスナップショットを処理するため、時間方向の次元を考慮する必要がない。さらに、各時刻のスナップショットを処理するため、これらのスナップショットを同時に処理することができる。したがって、必要な計算資源を抑制することが可能となる。
【0099】
＜比較例との比較＞
次に、非特許文献１にかかる比較例と、実施の形態１にかかる技術とを比較する。
上述したように、非特許文献１の技術では、超解像の手法とデータ同化の手法とを単純に組み合わせている。つまり、非特許文献１では、超解像とデータ同化とを独立して行っている。
次に、非特許文献１にかかる比較例と、実施の形態１にかかる技術とを比較する。
上述したように、非特許文献１の技術では、超解像の手法とデータ同化の手法とを単純に組み合わせている。つまり、非特許文献１では、超解像とデータ同化とを独立して行っている。
【0100】
図７は、比較例にかかる技術を説明するための図である。図７は、比較例として、非特許文献１にかかる技術を説明している。比較例では、白丸のドットで示すように、アンサンブル計算により、様々な状況について、物理シミュレーションが実行される。そして、黒丸のドットで示すように、時刻ｔ１における観測データがあるとする。この場合、白色の三角のドットで示すように、その時刻ｔ１における物理シミュレーション結果を使用して超解像が行われ、高解像度予測が行われる。この超解像は、アンサンブル計算結果、すなわち各状況のそれぞれに対し、その時刻ｔ１において独立に行われる。そして、その時刻ｔ１において、高解像度アンサンブル予測結果と観測データとについてデータ同化が行われ、黒色の三角のドットで示すように、最終出力として、観測データが同化された高解像度の予測データが得られる。このように、比較例では、アンサンブル計算を利用している。また、比較例では、ある瞬間での超解像が、同じ瞬間でのデータ同化と独立して行われる。そして、データ同化は、高解像度の空間で行われる。
【0101】
図８は、実施の形態１にかかる超解像及びデータ同化を説明するための図である。実施の形態１では、単一シナリオを利用する。つまり、唯一の初期状態から物理シミュレーションを行って、白丸のドットで示すように、時系列上において唯一のシミュレーション結果を得る。図８では、時刻ｔ１，ｔ２，ｔ３，ｔ４に対応する、時系列データである物理シミュレーション結果（予測データ）を得る。そして、ある時刻で超解像を行うのではなく、黒丸のドットで示す観測データと時系列データである予測データとを入力として、要素数が削減された潜在時空間において、超解像とデータ同化とを同時に行う。これにより、黒色の三角のドットで示すように、時系列データである高解像度データが得られる。また、図８に示すように、高解像度データでは、物理シミュレーションと比較して、時間方向に高解像度となっている。このように、実施の形態１では、比較例と異なり、シミュレーションにおいてアンサンブル計算を行っていない。また、実施の形態１では、比較例と異なり、潜在時空間において、超解像とデータ同化とを同時に行う。また、実施の形態１では、比較例と異なり、時系列情報を利用し、超解像及びデータ同化を行う。
【0102】
図９は、実施の形態１にかかる実験結果と比較例にかかる実験結果とを比較した図である。図９は、渦度場ωの平均絶対誤差ＭＡＥ（Mean Absolute Error）の時系列を示す図である。グラフＡは、データ同化及び超解像を両方とも行わない場合を示す。グラフＢは、比較例の場合を示す。グラフＣは、実施の形態１の場合を示す。図９に示すように、実施の形態１の場合では、誤差が最小となっている。したがって、実施の形態１にかかる技術により、高精度の予測が実現できている。
【0103】
また、比較例にかかる実験結果では、１つの実験あたりの計算時間は、３２０秒であった。これに対し、実施の形態１にかかる実験結果では、１つの実験あたりの計算時間は、６１秒である。このように、実施の形態１にかかる技術により、比較例と比較して、大幅に計算時間の短縮を実現できている。
【0104】
＜学習方法＞
次に、実施の形態１にかかる情報処理装置１００の学習処理部１１０による学習方法について説明する。上述したように、学習処理部１１０は、エンドツーエンド学習の手法によって、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を一気通貫に学習する。つまり、学習処理部１１０は、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を、これらを各層とする１つのニューラルネットワークとして学習してもよい。言い換えると、学習処理部１１０は、観測データ及び予測データを入力として、適切な高解像度解析データが出力されるように、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を、纏めて学習する。
次に、実施の形態１にかかる情報処理装置１００の学習処理部１１０による学習方法について説明する。上述したように、学習処理部１１０は、エンドツーエンド学習の手法によって、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を一気通貫に学習する。つまり、学習処理部１１０は、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を、これらを各層とする１つのニューラルネットワークとして学習してもよい。言い換えると、学習処理部１１０は、観測データ及び予測データを入力として、適切な高解像度解析データが出力されるように、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を、纏めて学習する。
【0105】
まず、第１の学習方法について説明する。第１の学習方法は、教師あり学習である。教師データ（正解データ）は、例えば、高精度かつ高解像度のデータである。気象予測を行うシステムの場合、教師データは、例えば、高精度かつ高解像度の気象データである。つまり、教師データは、高精度かつ高解像度の大気の物理変数の時系列データである。教師データは、例えば、速度場、温度場、密度場等の時系列データ（４次元の数値配列）である。また、超高解像度の微気象シミュレーション結果を教師データとしてもよい。学習処理部１１０は、上述した予測データと観測データとを入力とし、上述した教師データを用いて、誤差逆伝播法により、教師データと最終出力（高解像度解析データ）との間の誤差の勾配方向にニューラルネットワークのパラメータ（重み等）を更新する。学習処理部１１０は、このような処理を繰り返すことによって、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０を構成するニューラルネットワークを学習する。
【0106】
次に、第２の学習方法について説明する。第２の学習方法は、教師なし学習である。上述した教師あり学習では、教師データとして、例えば、高精度かつ高解像度な大気の物理変数の時系列データが必要である。しかしながら、このようなデータを入手することは困難である可能性がある。これに対し、教師なし学習では、このような教師データが不要である。教師なし学習は、例えば変分ベイズ法によって行われてもよい。また、教師なし学習は、敵対的学習によって行われてもよい。以下、変分ベイズ法による学習方法について説明する。
【0107】
変分ベイズ法は、近似法の一種であり、真の確率分布ｐを簡単な確率分布ｑで近似する。そして、ｑのパラメータをＫＬダイバージェンスの最小化などで推定する。変分ベイズ法は、大気等の環境の状態の真の物理変数を隠れ状態とし、この隠れ状態に基づいて、インプットの観測値または低解像度予測値を与える確率モデルである。
【0108】
変分ベイズ法の実現例の１つとして、対数尤度ｌｎ（ｐ（ｏ｜ｘ））の下界を導入し、この下界を最大化する。対数尤度ｌｎ（ｐ（ｏ｜ｘ））は、イェンセンの不等式を利用して、以下の式（１０）のように変形できる。ここで、ｏは観測データ、ｘは低解像度予測データに対応する。式（１０）の変形の途中で、隠れ変数ｙが導入される。この隠れ変数が、式（９）で示される高解像度解析データＤａ１に対応する。結果として、隠れ変数ｙを観測データｏと低解像度予測ｘとから推定することを可能にする損失関数を導出できる。
・・・（１０）
【数10】
【0109】
式（１０）において、観測値ｏは、低解像度又は高解像度の観測データに対応する。ｏは、上述した式（２）（又は式（３）の左辺）に対応する。また、隠れ変数ｙは、高解像度解析データＤａ１に対応する。なお、観測値ｏは、高い精度の予測データであってもよい。変数ｘは入力された低解像度の予測データ（式（１））に対応する。また、この確率モデルは、認識モデルと生成モデルとで構成される。そして、認識モデル（隠れ変数を算出する部分）が、情報処理装置１００における、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０（エンコーダ・デコータモデル）に対応する。生成モデルについては後述する。
【0110】
式（１０）における第４式（最右辺；変形の最終形）は、対数尤度の下界である変分下界（ＶＬＢ：Variational Lower Bound）に対応する。変分下界の第１項Ｅｑ［ｐ（ｏ│ｘ，ｙ）］は、再構成誤差を示し、観測データｏの対数尤度に対応する。変分下界の第２項ＫＬ（ｑ（ｙ｜ｘ，ｏ）｜ｐ（ｙ｜ｘ））は、ＫＬダイバージェンスを示す。ＫＬダイバージェンスは、分布ｑと分布ｐとの間の距離に対応する指標である。
【0111】
学習処理部１１０は、式（１０）の第４式で示される変分下界を最大化する（大きくする）ように、誤差逆伝播法及び勾配降下法によりモデルパラメータ（ニューラルネットワークのパラメータ）を更新して、学習を行う。この変分下界は、訓練誤差に対応する。変分下界を最大化することは、機械学習における損失関数を最小化することに対応する。言い換えると、変分下界を大きくすることは、機械学習における損失関数を減少させることに対応する。このとき、再構成誤差とＫＬダイバージェンスとがバランスを取るように、学習が進む。この、再構成誤差とＫＬダイバージェンスとがバランスを取ることは、データ同化における、観測データと予測データとを融合することに対応する。
【0112】
なお、変分下界の最大化には、最小分散推定の一般化という側面があることが新たに分かった。すなわち、観測値ｏ及び予測データｘをそれぞれの誤差を重みとして平均する（重み付き平均を行う）ことで、高解像度解析データｙを推定することができる。言い換えると、一般的に観測値の方が予測データよりも正確なので、観測値の重みを予測データの重みよりも大きくして平均化することで、解析データを推定することができる。
【0113】
図１０は、実施の形態１にかかる構成要素を変分ベイズ法により学習する方法を説明するための図である。変分ベイズ法による学習を行う場合、学習処理部１１０は、サンプラー１１２と、観測データ生成部１１４とを有する。サンプラー１１２及び観測データ生成部１１４は、観測値（疑似観測データＤａ３）を生成する生成モデルとみなされ得る。この生成モデルにより、再構成誤差Ｅｑ［ｐ（ｏ│ｘ，ｙ）］が算出され得る。具体的には、観測データ生成部１１４により、ｐ（ｏ｜ｘ，ｙ）が算出される。ｐ（ｏ｜ｘ，ｙ）は、予測データｘ及び高解像度解析データｙが定まっている状態での疑似観測データｏの分布を示す。
【0114】
一方、上述したように、構造変換部１３０、潜在時空間写像部１４０、非線形変換部１５０及び高解像度解析データ取得部１６０は、認識モデルとみなされ得る。この認識モデルによって、ＫＬダイバージェンスが算出され得る。具体的には、認識モデルにより、ＫＬダイバージェンスにおけるｑ（ｙ｜ｘ，ｏ）が算出される。ｑ（ｙ｜ｘ，ｏ）は、予測データｘ及び観測データｏを入力としたときの高解像度解析データｙの分布を示す。なお、ｐ（ｙ｜ｘ）は、事前分布であり、適当に仮定することによって、あるいは、事前学習によって、得られる。
【0115】
サンプラー１１２は、学習により生成された高解像度解析データに対応する確率分布のサンプリングを行う。これにより、サンプラー１１２は、ニューラルネットワークから確率分布（確率モデル）への置き換えを行うこととなる。すなわち、ニューラルネットワークは、通常、決定論的な出力を行うので、確率分布などのランダムな出力を行うことは困難である。そこで、サンプラー１１２は、ガウス分布からサンプルされる乱数と、ニューラルネットワークからの出力（高解像度解析データ）とを組み合わせて、擬似的に確率分布を表現することを行う（re-parametrization trick）。これにより、高解像度解析データの誤差推定が可能となる。具体的には、以下の式（１１）のようにして、疑似的に確率分布が表現される。なお、μ及びσは、ニューラルネットワークによって与えられる決定的な変数であり、εは、ガウス分布からサンプルされる乱数である。
・・・（１１）
【数11】
【0116】
具体的には、サンプラー１１２は、高解像度解析データ取得部１６０から高解像度解析データＤａ１（式（１０）のｙに対応）を受け入れる。サンプラー１１２は、ガウス分布から乱数をサンプリングし、高解像度解析データにノイズを付加する。これにより、ニューラルネットワークから与えられる高解像度解析データにランダム性が加わるため、確率分布からサンプルした値と見なせるデータを取得できる。したがって、高解像度解析データを確率分布として表現できるようになる。つまり、サンプラー１１２は、高解像度解析データを確率分布で表現した場合のサンプリングデータを取得する。そして、サンプラー１１２は、高解像度解析データのサンプリングデータを、観測データ生成部１１４に出力する。なお、より複雑な確率分布を表現する場合、つまり、ノイズがガウス分布よりも複雑な分布から発生するようにする場合、混合分布又は正規化流（normalizing flows）などを利用してもよい。この場合、ガウス分布等の単純な確率分布に従う確率変数に対して非線形変換を重ねることで、複雑な分布を得ることができる。
【0117】
観測データ生成部１１４は、サンプラー１１２で生成された高解像度解析データのサンプリングデータを用いて、疑似観測データＤａ３を生成する。つまり、観測データ生成部１１４は、高解像度解析データのサンプリングデータを、疑似観測データＤａ３に変換する。観測データ生成部１１４は、時空間方向に欠損のない疑似観測データＤａ３を生成し得る。観測データ生成部１１４は、予め機械学習によって学習されたニューラルネットワークによって実現されてもよい。観測データ生成部１１４は、物理的な対称性を反映したニューラルネットワークによって実現されてもよい。疑似観測データＤａ３が生成されることによって、教師なし学習を実現することができる。
【0118】
具体的には、観測データ生成部１１４は、上述した構造化器（構造変換部１３０）で行われる処理の逆の処理を行うようにして、疑似観測データＤａ３を生成してもよい。つまり、観測データ生成部１１４は、構造化器と実質的に同様の技術によって、疑似観測データＤａ３を生成してもよい。さらに具体的には、観測データ生成部１１４は、格子データである高解像度解析データのサンプリングデータから、任意の時間及び位置にある格子点のデータをピックアップして、そのデータに対して線形変換及び非線形変換を繰り返す。これにより、観測データ生成部１１４は、観測データ取得部１２２で取得されるような観測データｏの形式と実質的に同様の形式の疑似観測データＤａ３を取得する。したがって、疑似観測データＤａ３は、非格子データであってもよい。また、疑似観測データＤａ３は、非物理量の数値を示してもよい。
【0119】
上述したように、変分ベイズ法を適用した学習処理部１１０は、高解像度解析データＤａ１から、疑似観測データＤａ３を生成する。ここで、式（１０）の第４式で表される変分下界では、推論される高解像度解析データｙは、隠れ状態である。この隠れ状態は、変分ベイズ法の枠組みでは、最終出力ではないことに留意されたい。変分ベイズ法では、学習段階では、擬似観測データＤａ３が最終出力である。そして、高解像度解析データｙは隠れ状態であるので、学習段階で、高解像度解析データｙに対応する正解データを準備する必要がない。したがって、教師あり学習で必要である高精度かつ高解像度の気象データを準備することが、不要となる。
【0120】
（ハードウェア構成例）
上述した各実施形態に係る装置およびシステムを、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、各実施形態に係る装置（情報処理装置）は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現されてもよい。また、各実施形態に係る装置は、専用の装置として実現されてもよいし、汎用の情報処理装置で実現されてもよい。
上述した各実施形態に係る装置およびシステムを、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、各実施形態に係る装置（情報処理装置）は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現されてもよい。また、各実施形態に係る装置は、専用の装置として実現されてもよいし、汎用の情報処理装置で実現されてもよい。
【0121】
図１１は、各実施形態に係る装置およびシステムを実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。計算処理装置１０００は、ＣＰＵ１００１、揮発性記憶装置１００２、ディスク１００３、不揮発性記録媒体１００４、及び、通信ＩＦ１００７（ＩＦ：Interface）を有する。したがって、各実施形態に係る装置は、ＣＰＵ１００１、揮発性記憶装置１００２、ディスク１００３、不揮発性記録媒体１００４、及び、通信ＩＦ１００７を有しているといえる。計算処理装置１０００は、入力装置１００５及び出力装置１００６に接続可能であってもよい。計算処理装置１０００は、入力装置１００５及び出力装置１００６を備えていてもよい。また、計算処理装置１０００は、通信ＩＦ１００７を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。
【0122】
不揮発性記録媒体１００４は、コンピュータが読み取り可能な、たとえば、コンパクトディスク（Compact Disc)、デジタルバーサタイルディスク（Digital Versatile Disc）である。また、不揮発性記録媒体１００４は、ＵＳＢ（Universal Serial Bus）メモリ、ソリッドステートドライブ（Solid State Drive）等であってもよい。不揮発性記録媒体１００４は、電源を供給しなくても係るプログラムを保持し、持ち運びを可能にする。なお、不揮発性記録媒体１００４は、上述した媒体に限定されない。また、不揮発性記録媒体１００４の代わりに、通信ＩＦ１００７及び通信ネットワークを介して、係るプログラムが供給されてもよい。
【0123】
揮発性記憶装置１００２は、コンピュータが読み取り可能であって、一時的にデータを記憶することができる。揮発性記憶装置１００２は、ＤＲＡＭ（dynamic random Access memory）、ＳＲＡＭ（static random Access memory）等のメモリ等である。
【0124】
すなわち、ＣＰＵ１００１は、ディスク１００３に格納されているソフトウェアプログラム（コンピュータ・プログラム：以下、単に「プログラム」と称する）を、実行する際に揮発性記憶装置１００２にコピーし、演算処理を実行する。ＣＰＵ１００１は、プログラムの実行に必要なデータを揮発性記憶装置１００２から読み取る。表示が必要な場合、ＣＰＵ１００１は、出力装置１００６に出力結果を表示する。外部からプログラムを入力する場合、ＣＰＵ１００１は、入力装置１００５からプログラムを取得する。ＣＰＵ１００１は、上述した図４，図６，１０に示される各構成要素の機能（処理）に対応するプログラムを解釈し実行する。ＣＰＵ１００１は、上述した各実施形態において説明した処理を実行する。言い換えると、上述した図４，図６，１０に示される各構成要素の機能は、ディスク１００３又は揮発性記憶装置１００２に格納されたプログラムを、ＣＰＵ１００１が実行することによって実現され得る。
【0125】
すなわち、各実施形態は、上述したプログラムによっても成し得ると捉えることができる。さらに、上述したプログラムが記録されたコンピュータが読み取り可能な不揮発性の記録媒体によっても、上述した各実施形態は成し得ると捉えることができる。
【0126】
（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおいて、各処理（ステップ）の順序は、適宜、変更可能である。また、複数ある処理（ステップ）のうちの１つ以上は、省略されてもよい。例えば、図５のフローチャートにおいて、Ｓ２２の処理は、Ｓ２０の処理の前で実行されてもよい。また、Ｓ２４の処理は、Ｓ２２の処理の前で実行されてもよい。また、Ｓ７０の処理は省略されてもよい。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおいて、各処理（ステップ）の順序は、適宜、変更可能である。また、複数ある処理（ステップ）のうちの１つ以上は、省略されてもよい。例えば、図５のフローチャートにおいて、Ｓ２２の処理は、Ｓ２０の処理の前で実行されてもよい。また、Ｓ２４の処理は、Ｓ２２の処理の前で実行されてもよい。また、Ｓ７０の処理は省略されてもよい。
【0127】
また、上述した実施の形態では、気象予測を行う場合について説明したが、本実施の形態は、気象予測を行う場合に限られない。本実施の形態は、格子データを利用する任意の予測シミュレーションに適用可能である。例えば、本実施の形態は、海洋予測にも適用可能である。また、本実施の形態は、宇宙物理シミュレーションにも適用可能である。
【0128】
また、本実施の形態において、「時空間」の次元は、３次元空間と１次元の時間とで構成される４次元に限定されない。「時空間」の次元は、２次元空間と１次元の時間とで構成される３次元であってもよい。あるいは、「時空間」の次元は、１０次元等の、４次元よりも大きな次元であってもよい。
【0129】
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disk（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【符号の説明】
【0130】
１０ 情報処理装置
２０ シミュレーション部
２２ 観測データ取得部
２４ 予測データ取得部
３０ 構造変換部
４０ 潜在時空間写像部
５０ 非線形変換部
６０ 高解像度解析データ取得部
７０ 低解像度解析データ算出部
１００ 情報処理装置
１１０ 学習処理部
１１２ サンプラー
１１４ 観測データ生成部
１２０ シミュレーション部
１２２ 観測データ取得部
１２４ 予測データ取得部
１３０ 構造変換部
１４０ 潜在時空間写像部
１５０ 非線形変換部
１６０ 高解像度解析データ取得部
１７０ 低解像度解析データ算出部
２０ シミュレーション部
２２ 観測データ取得部
２４ 予測データ取得部
３０ 構造変換部
４０ 潜在時空間写像部
５０ 非線形変換部
６０ 高解像度解析データ取得部
７０ 低解像度解析データ算出部
１００ 情報処理装置
１１０ 学習処理部
１１２ サンプラー
１１４ 観測データ生成部
１２０ シミュレーション部
１２２ 観測データ取得部
１２４ 予測データ取得部
１３０ 構造変換部
１４０ 潜在時空間写像部
１５０ 非線形変換部
１６０ 高解像度解析データ取得部
１７０ 低解像度解析データ算出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】