知財求人 - 知財ポータルサイト「IP Force」
▶ 中国科学院分子細胞科学卓越創新中心の特許一覧 ▶ 中山大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-07
(45)【発行日】2023-12-15
(54)【発明の名称】短期時系列予測に向けた予期的学習方法及びシステム
(51)【国際特許分類】
G06N 3/08 20230101AFI20231208BHJP
【ＦＩ】
G06N3/08
【請求項の数】
6
(21)【出願番号】P 2022517518
(86)(22)【出願日】2020-08-28
(65)【公表番号】
(43)【公表日】2022-11-21
(86)【国際出願番号】 CN2020112070
(87)【国際公開番号】W WO2021052140
(87)【国際公開日】2021-03-25
【審査請求日】2022-04-21
(31)【優先権主張番号】201910876022.7
(32)【優先日】2019-09-17
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520304664
【氏名又は名称】中国科学院分子細胞科学卓越創新中心
【氏名又は名称原語表記】ＣＥＮＴＥＲ ＦＯＲ ＥＸＣＥＬＬＥＮＣＥ ＩＮ ＭＯＬＥＣＵＬＡＲ ＣＥＬＬ ＳＣＩＥＮＣＥ， ＣＨＩＮＥＳＥ ＡＣＡＤＥＭＹ ＯＦ ＳＣＩＥＮＣＥ
【住所又は居所原語表記】Ｂｕｉｌｄｉｎｇ ３５， ３２０ Ｙｕｅ Ｙａｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ Ｓｈａｎｇｈａｉ ２０００３１ Ｃｈｉｎａ
(73)【特許権者】
【識別番号】503168289
【氏名又は名称】中山大学
【氏名又は名称原語表記】ＳＵＮ ＹＡＴ－ＳＥＮ ＵＮＩＶＥＲＳＩＴＹ
【住所又は居所原語表記】１３５ Ｘｉｎｇａｎｇ Ｘｉ Ｒｏａｄ， Ｈａｉｚｈｕ Ｄｉｓｔｒｉｃｔ， Ｇｕａｎｇｚｈｏｕ， Ｇｕａｎｇｄｏｎｇ ５１０２７５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】陳 洛南
(72)【発明者】
【氏名】陳 川
【審査官】石坂 知樹
(56)【参考文献】
【文献】特開２０１７－０９１２７８（ＪＰ，Ａ）
【文献】特開２０１４－２１１８２７（ＪＰ，Ａ）
【文献】中国特許出願公開第１０９７８４４７３（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０８
(57)【特許請求の範囲】
【請求項1】
コンピュータにより実行される短期時系列予測に向けた予期的学習方法であって、前記予測的学習方法は、時系列データから予測用の変数を一つ選んでxと記し、訓練セットdataとしてデータセットから時間ステップがttrainであるデータセグメントを選んで、対応するx[0：ttrain]をラベルセットとすることにより、未来の時間ステップがtpredictionである変数x[ttrain：ttrain+tprediction]を予測するステップ１と、現在予測したポイントx[ttrain+num]を処理するように次のステップのサイクルを実行し、numは今回予測した変数の添字を表し、numの初期値を0とするステップ２と、
二つのニューラルネットワーク
損失関数=自身訓練時の平均二乗誤差+α*（output1とoutput2の平均二乗誤差）となり、
その中、αはハイパーパラメータであるステップ３と、
ニューラルネットワーク
時系列予測タスクの予測結果を表す、長さがtpredictionである予測値x[ttrain：ttrain+tprediction]を得て、予測が終了するステップ５と、
を備えたことを特徴とする短期時系列予測に向けた予期的学習方法。
【請求項2】
データセットは合成データセットと実データセットを備えたことを特徴とする請求項１に記載の短期時系列予測に向けた予期的学習方法。
【請求項3】
当該二つのニューラルネットワーク
【請求項4】
時系列データから予測用の変数を1つ選んでxと記し、訓練セットdataとしてデータセットから時間ステップがttrainであるデータセグメントを選んで、対応するx[0：ttrain]をラベルセットとすることにより、未来の時間ステップがtpredictionである変数x[ttrain：ttrain+tprediction]を予測し、現在予測したポイントx[ttrain+num]を処理するように次のステップのサイクルを実行し、numは今回予測した変数の添字を表し、numの初期値を0とする前処理モジュールと、二つのニューラルネットワーク
損失関数=自身訓練時の平均二乗誤差+α*（output1とoutput2の平均二乗誤差）となり、
その中、αはハイパーパラメータであるニューラルネットワーク訓練モジュールと、
ニューラルネットワーク
を備えたことを特徴とする短期時系列予測に向けた予期的学習システム。
【請求項5】
データセットは合成データセットと実データセットを備えた請求項４に記載の短期時系列予測に向けた予期的学習システム。
【請求項6】
当該二つのニューラルネットワーク
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、時系列予測分野に関して、特に、短期時系列予測に向けた予期的学習方法及びシステムに関する。
【背景技術】
【0002】
時系列データの未来値を予測することは、特に高次元の変数を持つ少数のサンプルしか利用できない場合に挑戦的な作業である。実際に、これらのデータは、統計情報が少ないため予測不可能であると考えられる。しかし、このようなデータは多くの分野（物理学、経済学、生物学、医学など）で広く利用されているため、予測の正確性と信頼性が高く要求されている。この方面での任意な革新的な進展にも幅広い意味がある。
既存の時系列予測方法、例えばARIMA、ロバスト回帰、指数平滑化などの統計的方法、長短記憶ネットワークなどの機械学習の方法は、いずれも長期計測に十分な時系列を必要とする。しかし、情報が不足しているため、短期的な時系列を予測する効果的な方法は一つもない。また、短期高次元時系列は様々な分野で注目されているが、短期高次元時系列の予測はめったに研究されていない。
これにより、短期高次元時系列の予測問題をどのように解決するかが、現在業界で早急に解決しなければならない問題となっている。
既存の時系列予測方法、例えばARIMA、ロバスト回帰、指数平滑化などの統計的方法、長短記憶ネットワークなどの機械学習の方法は、いずれも長期計測に十分な時系列を必要とする。しかし、情報が不足しているため、短期的な時系列を予測する効果的な方法は一つもない。また、短期高次元時系列は様々な分野で注目されているが、短期高次元時系列の予測はめったに研究されていない。
これにより、短期高次元時系列の予測問題をどのように解決するかが、現在業界で早急に解決しなければならない問題となっている。
【発明の概要】
【0003】
以下は、これらの態様の基本的な理解を提供するために、1つまたは複数の態様の簡単な概要が与えられる。この概要は、考えられているすべての方面を完全に要約したものではなく、すべての方面の重要性や決定的な要素を特定することを意図しているわけではなく、いずれもしくはすべての方面の範囲を定義しようとしているわけでもない。その唯一の目的は、後述するより詳細な説明のために、簡略化された形で1つまたは複数の態様のいくつかの概念を与えることである。
本発明は、上記課題を解決するために、短期高次元時系列の予測問題を解決することができ、短期高次元データの正確な多段階予測を実現する短期時系列予測に向けた予期的学習方法及びシステムを提供することを目的とする。実験により、この方法は実際のデータ予測において驚くべき予測正確率を持つことが証明された。
本発明の技術的手段は、短期時系列予測に向けた予期的学習方法を開示することであり、時系列データから予測用の変数を一つ選んでxと記し、訓練セットdataとしてデータセットから時間ステップがttrainであるデータセグメントを選んで、対応するx[0：ttrain]をラベルセットとすることにより、未来の時間ステップがtpredictionである変数x[ttrain：ttrain+tprediction]を予測するステップ１と、現在予測したポイントx[ttrain+num]を処理するように次のステップのサイクルを実行し、numは今回予測した変数の添字を表し、numの初期値を0とするステップ２と、
二つのニューラルネットワークΦ1＋ｎｕｍとΦ２＋ｎｕｍは訓練セットとラベルセットにより訓練され、その中、ニューラルネットワークΦ1＋ｎｕｍの訓練セットtrain1がdata[1：ttrain-1]であり、ニューラルネットワークΦ２＋ｎｕｍの訓練セットtrain2がdata[0：ttrain-2]であり、当該二つのニューラルネットワークのラベルセットlabelはいずれもx[2+num：ttrain]であることにより、ニューラルネットワークΦ1＋ｎｕｍの訓練の出力がoutput1、Φ２＋ｎｕｍの訓練の出力がoutput2であることが得られ、当該二つのニューラルネットワークの損失関数はいずれも損失関数=自身訓練時の平均二乗誤差+α*（output1とoutput2の平均二乗誤差）となり、その中、αはハイパーパラメータであるステップ３と、ニューラルネットワークΦ1＋ｎｕｍの予測セットがdata[ttrain-1：]であり、ニューラルネットワークΦ２＋ｎｕｍの予測セットがdata[ttrain-2：]であり、ステップ３で訓練された二つのニューラルネットワークによりそれぞれ当該二つの予測セット上で予測が行われることでそれぞれ予測結果xprediction1とxprediction2を得て、最終的に平均値をとることで今回の予測結果x[ttrain+num]=（xprediction1+xprediction2）/2を得ることになり、今回の予測結果を訓練セットのラベルx[0：ttrain]の末尾に加えてx[0：ttrain+num+1]を得て、また、x[0：ttrain+num+1]を次回の訓練過程中のラベルとし、さらにnum=num+1としnum=tprediction-1になるまでステップ３とステップ４のサイクル処理を繰り返した後、サイクルを飛び出すステップ４、時系列予測タスクの予測結果を表す、長さがtpredictionである予測値x[ttrain：ttrain+tprediction]を得て、予測が終了するステップ５と、を備えた方法である。
本発明の短期時系列予測に向けた予期的学習方法による一つの実施例として、データセットは合成データセットと実データセットを備える。
本発明の短期時系列予測に向けた予期的学習方法による一つの実施例として、当該二つのニューラルネットワークモデルΦ1＋ｎｕｍとΦ２＋ｎｕｍは多層シンプルニューラルネットワークモデルであり、入力層にはサンプリング処理のための層が一つ設けられている。
また、本発明は短期時系列予測に向けた予期的学習方法を開示し、時系列データから予測用の変数を1つ選んでxと記し、訓練セットdataとしてデータセットから時間ステップがttrainであるデータセグメントを選んで、対応するx[0：ttrain]をラベルセットとすることにより、未来の時間ステップがtpredictionである変数x[ttrain：ttrain+tprediction]を予測し、現在予測したポイントx[ttrain+num]を処理するように次のステップのサイクルを実行し、numは今回予測した変数の添字を表し、numの初期値を0とする前処理モジュールと、二つのニューラルネットワークΦ1＋ｎｕｍとΦ２＋ｎｕｍが訓練セットとラベルセットにより訓練され、ニューラルネットワーク1+numの訓練セットtrain1がdata[1：ttrain-1]であり、ニューラルネットワーク2+numの訓練セットtrain2がdata[0：ttrain-2]であり、当該二つのニューラルネットワークのラベルセットlabelはいずれもx[2+num：ttrain]であることにより、ニューラルネットワーク1+numの訓練の出力がoutput1、2+numの訓練の出力がoutput2であることが得られ、当該二つのニューラルネットワークの損失関数はいずれも損失関数=自身訓練時の平均二乗誤差+α*（output1とoutput2の平均二乗誤差）となり、その中、αはハイパーパラメータであるニューラルネットワーク訓練モジュールと、ニューラルネットワーク1+numの予測セットがdata[ttrain-1：]であり、ニューラルネットワーク2+numの予測セットがdata[ttrain-2：]であり、ニューラルネットワーク訓練モジュールで訓練された二つのニューラルネットワークによりそれぞれ当該二つの予測セット上で予測が行われることでそれぞれ予測結果xprediction1とxprediction2を得て、最終的に平均値をとることで今回の予測結果x[ttrain+num]=（xprediction1+xprediction2）/2を得ることになり、今回の予測結果を訓練セットのラベルx[0：ttrain]の末尾に加えてx[0：ttrain+num+1]を得て、また、x[0：ttrain+num+1]を次回の訓練過程中のラベルとし、さらにnum=num+1としnum=tprediction-1になるまでニューラルネットワーク訓練モジュールと予測処理モジュールのサイクル処理を繰り返した後、サイクルを飛び出すことにより、時系列予測タスクの予測結果を表す、長さがtpredictionである予測値x[ttrain：ttrain+tprediction]を得て、予測が終了する予測モジュールと、を備えたことを特徴とするシステムである。
本発明の短期時系列予測に向けた予期的学習システムによる一つの実施例として、データセットは合成データセットと実データセットを備える。
本発明の短期時系列予測に向けた予期的学習システムによる一つの実施例として、当該二つのニューラルネットワークモデルΦ1＋ｎｕｍとΦ２＋ｎｕｍは多層シンプルニューラルネットワークモデルであり、入力層にはサンプリング処理のための層が一つ設けられている。
本発明は従来技術よりも、取得した時系列データから予測用の変数を選択し、訓練した二つのニューラルネットワークモデルに基づいて短期時系列予測に向けた予期的学習を行い、最終的に選択した予測変数の予測が必要な部分を出力するといった有益な効果がある
先行技術に比べて、本発明は以下の技術的効果を実現することができる。
（1）本発明は、予測学習マシン（ALM）と呼ばれる新型なモデルレス機械学習または予測学習ニューラルネットワークを初めて提案して、短期であるが高次元データの正確な多段階予測を実現し、実際のデータ予測において驚くべき正確率を持つ。ほぼすべての状況を体験するために大量のデータが必要とする現在の統計ベースの機械学習方法と比較すると、ALMは非線形ダイナミクスに基づいて、埋め込みグラフを学習することにより、測定されたすべての高次元変数の情報を任意の目的変数のダイナミクスに変換することで、動的な機械学習や「知能」予期学習に新しい道（人工知能の新しいパラダイム）を切り開く。
（2）ALMの高性能は、合成データセット（時変結合のローレンツ系）、およびミクロからマクロレベルまでの現実世界のデータセット（遺伝子表現データ、プランクトンデータ、気象データ、株価指数データ、交通データ、台風データ、衛星雲図データなど）で検証されている。実験により証明されたように，ALMの性能は最近の文献で提案されたいかなる優れた方法よりも明らかに優れている（ニューラルネットワークまたは深層学習方法を含む利用可能なすべての１２種類の方法を比較する）。
本発明は、上記課題を解決するために、短期高次元時系列の予測問題を解決することができ、短期高次元データの正確な多段階予測を実現する短期時系列予測に向けた予期的学習方法及びシステムを提供することを目的とする。実験により、この方法は実際のデータ予測において驚くべき予測正確率を持つことが証明された。
本発明の技術的手段は、短期時系列予測に向けた予期的学習方法を開示することであり、時系列データから予測用の変数を一つ選んでxと記し、訓練セットdataとしてデータセットから時間ステップがttrainであるデータセグメントを選んで、対応するx[0：ttrain]をラベルセットとすることにより、未来の時間ステップがtpredictionである変数x[ttrain：ttrain+tprediction]を予測するステップ１と、現在予測したポイントx[ttrain+num]を処理するように次のステップのサイクルを実行し、numは今回予測した変数の添字を表し、numの初期値を0とするステップ２と、
二つのニューラルネットワークΦ1＋ｎｕｍとΦ２＋ｎｕｍは訓練セットとラベルセットにより訓練され、その中、ニューラルネットワークΦ1＋ｎｕｍの訓練セットtrain1がdata[1：ttrain-1]であり、ニューラルネットワークΦ２＋ｎｕｍの訓練セットtrain2がdata[0：ttrain-2]であり、当該二つのニューラルネットワークのラベルセットlabelはいずれもx[2+num：ttrain]であることにより、ニューラルネットワークΦ1＋ｎｕｍの訓練の出力がoutput1、Φ２＋ｎｕｍの訓練の出力がoutput2であることが得られ、当該二つのニューラルネットワークの損失関数はいずれも損失関数=自身訓練時の平均二乗誤差+α*（output1とoutput2の平均二乗誤差）となり、その中、αはハイパーパラメータであるステップ３と、ニューラルネットワークΦ1＋ｎｕｍの予測セットがdata[ttrain-1：]であり、ニューラルネットワークΦ２＋ｎｕｍの予測セットがdata[ttrain-2：]であり、ステップ３で訓練された二つのニューラルネットワークによりそれぞれ当該二つの予測セット上で予測が行われることでそれぞれ予測結果xprediction1とxprediction2を得て、最終的に平均値をとることで今回の予測結果x[ttrain+num]=（xprediction1+xprediction2）/2を得ることになり、今回の予測結果を訓練セットのラベルx[0：ttrain]の末尾に加えてx[0：ttrain+num+1]を得て、また、x[0：ttrain+num+1]を次回の訓練過程中のラベルとし、さらにnum=num+1としnum=tprediction-1になるまでステップ３とステップ４のサイクル処理を繰り返した後、サイクルを飛び出すステップ４、時系列予測タスクの予測結果を表す、長さがtpredictionである予測値x[ttrain：ttrain+tprediction]を得て、予測が終了するステップ５と、を備えた方法である。
本発明の短期時系列予測に向けた予期的学習方法による一つの実施例として、データセットは合成データセットと実データセットを備える。
本発明の短期時系列予測に向けた予期的学習方法による一つの実施例として、当該二つのニューラルネットワークモデルΦ1＋ｎｕｍとΦ２＋ｎｕｍは多層シンプルニューラルネットワークモデルであり、入力層にはサンプリング処理のための層が一つ設けられている。
また、本発明は短期時系列予測に向けた予期的学習方法を開示し、時系列データから予測用の変数を1つ選んでxと記し、訓練セットdataとしてデータセットから時間ステップがttrainであるデータセグメントを選んで、対応するx[0：ttrain]をラベルセットとすることにより、未来の時間ステップがtpredictionである変数x[ttrain：ttrain+tprediction]を予測し、現在予測したポイントx[ttrain+num]を処理するように次のステップのサイクルを実行し、numは今回予測した変数の添字を表し、numの初期値を0とする前処理モジュールと、二つのニューラルネットワークΦ1＋ｎｕｍとΦ２＋ｎｕｍが訓練セットとラベルセットにより訓練され、ニューラルネットワーク1+numの訓練セットtrain1がdata[1：ttrain-1]であり、ニューラルネットワーク2+numの訓練セットtrain2がdata[0：ttrain-2]であり、当該二つのニューラルネットワークのラベルセットlabelはいずれもx[2+num：ttrain]であることにより、ニューラルネットワーク1+numの訓練の出力がoutput1、2+numの訓練の出力がoutput2であることが得られ、当該二つのニューラルネットワークの損失関数はいずれも損失関数=自身訓練時の平均二乗誤差+α*（output1とoutput2の平均二乗誤差）となり、その中、αはハイパーパラメータであるニューラルネットワーク訓練モジュールと、ニューラルネットワーク1+numの予測セットがdata[ttrain-1：]であり、ニューラルネットワーク2+numの予測セットがdata[ttrain-2：]であり、ニューラルネットワーク訓練モジュールで訓練された二つのニューラルネットワークによりそれぞれ当該二つの予測セット上で予測が行われることでそれぞれ予測結果xprediction1とxprediction2を得て、最終的に平均値をとることで今回の予測結果x[ttrain+num]=（xprediction1+xprediction2）/2を得ることになり、今回の予測結果を訓練セットのラベルx[0：ttrain]の末尾に加えてx[0：ttrain+num+1]を得て、また、x[0：ttrain+num+1]を次回の訓練過程中のラベルとし、さらにnum=num+1としnum=tprediction-1になるまでニューラルネットワーク訓練モジュールと予測処理モジュールのサイクル処理を繰り返した後、サイクルを飛び出すことにより、時系列予測タスクの予測結果を表す、長さがtpredictionである予測値x[ttrain：ttrain+tprediction]を得て、予測が終了する予測モジュールと、を備えたことを特徴とするシステムである。
本発明の短期時系列予測に向けた予期的学習システムによる一つの実施例として、データセットは合成データセットと実データセットを備える。
本発明の短期時系列予測に向けた予期的学習システムによる一つの実施例として、当該二つのニューラルネットワークモデルΦ1＋ｎｕｍとΦ２＋ｎｕｍは多層シンプルニューラルネットワークモデルであり、入力層にはサンプリング処理のための層が一つ設けられている。
本発明は従来技術よりも、取得した時系列データから予測用の変数を選択し、訓練した二つのニューラルネットワークモデルに基づいて短期時系列予測に向けた予期的学習を行い、最終的に選択した予測変数の予測が必要な部分を出力するといった有益な効果がある
先行技術に比べて、本発明は以下の技術的効果を実現することができる。
（1）本発明は、予測学習マシン（ALM）と呼ばれる新型なモデルレス機械学習または予測学習ニューラルネットワークを初めて提案して、短期であるが高次元データの正確な多段階予測を実現し、実際のデータ予測において驚くべき正確率を持つ。ほぼすべての状況を体験するために大量のデータが必要とする現在の統計ベースの機械学習方法と比較すると、ALMは非線形ダイナミクスに基づいて、埋め込みグラフを学習することにより、測定されたすべての高次元変数の情報を任意の目的変数のダイナミクスに変換することで、動的な機械学習や「知能」予期学習に新しい道（人工知能の新しいパラダイム）を切り開く。
（2）ALMの高性能は、合成データセット（時変結合のローレンツ系）、およびミクロからマクロレベルまでの現実世界のデータセット（遺伝子表現データ、プランクトンデータ、気象データ、株価指数データ、交通データ、台風データ、衛星雲図データなど）で検証されている。実験により証明されたように，ALMの性能は最近の文献で提案されたいかなる優れた方法よりも明らかに優れている（ニューラルネットワークまたは深層学習方法を含む利用可能なすべての１２種類の方法を比較する）。
【図面の簡単な説明】
【0004】
本発明の上述した特徴および利点は、以下の添付の図面と共に本開示の実施形態の詳細を説明した後、より良く理解される。添付の図面において、各構成要素は必ずしも比例して描かれているとは限らず、類似の関連特性又は特徴を有する構成要素は、同一又は類似の添付の図面の符号を有することが可能である。
【図1】本発明の短期時系列予測に向けた予期的学習方法の一つの実施例のフローチャートを示す。
【図2】本発明の短期時系列予測に向けた予期的学習方法の一つの実施例の原理図を示す。
【発明を実施するための形態】
【0005】
以下、添付の図面および具体的な実施例を参照し、本発明について詳細に説明する。なお、添付の図面および具体的な実施例を参照し、説明された各態様は、例示的なものにすぎず、本発明の保護範囲を限定するものと理解されてはならない。
図１には、本発明の短期時系列予測に向けた予期的学習方法の一つの実施例のフローチャートを示している。図1を参照し、本実施例の予期的学習方法の具体的な実施手順について以下のように詳しく説明する。
ステップS１：取得した時系列データからランダム的に予測用の変数を一つ選んでxと記す。ここで、時系列データ（即ち時間シリーズデータ）とは、同一の統一指標が時間の順で記録されたデータの列である。
さらに、訓練セットdataとしてデータセットの全体から時間ステップがttrainであるデータセグメントを選んで、対応するx[0：ttrain]をラベルセットとし、未来の時間ステップがtpredictionである変数x[ttrain：ttrain+tprediction]を予測する。その中、本発明で使用されたデータセットは合成データセットと実データセットを備える。その中、合成データセットは時変結合のローレンツ系であり、ローレンツ系の定義により生成される。実データセットは、生活における各分野の実際の時系列データから得られたものである。例えば、ラット遺伝子データセット、プランクトンデータセット、地上オゾンレベルデータセットなどである。
ステップS２：num=0とし、当該変数は今回予測した変数の添字を表し、num=0は今回予測した点がx[ttrain+num]、すなわちx[ttrain+0]であることを表す。
ステップS３：二つのニューラルネットワークは訓練セットとラベルセットにより訓練され、Φ1＋ｎｕｍとΦ２＋ｎｕｍと簡単に称する。その中、ニューラルネットワークΦ1＋ｎｕｍの訓練セットtrain1がdata[1：ttrain-1]であり、ニューラルネットワークΦ２＋ｎｕｍの訓練セットtrain2がdata[0：ttrain-2]であり、両者のラベルセットlabelはいずれもx[2+num：ttrain：]であることにより、ニューラルネットワークΦ1＋ｎｕｍの訓練の出力がoutput1、Φ２＋ｎｕｍの訓練の出力がoutput2であることが得られ、両者の損失関数はいずれも損失関数=自身訓練時の平均二乗誤差+α*（output1とoutput2の平均二乗誤差）となり、その中、αはハイパーパラメータである。
本実施例の当該二つのニューラルネットワークモデルΦ1＋ｎｕｍとΦ２＋ｎｕｍは多層シンプルニューラルネットワークモデルであり、入力層にはサンプリング処理として一つのdropout層が必要となり、そのほかのネットワーク部分は必要に応じて自由可能に定義されることができる。ニューラルネットワークにおけるハイパーパラメータαは、必要に応じて適切に調整される。
ステップS４：Φ1＋ｎｕｍの予測セットがdata[ttrain-1：]であり、Φ２＋ｎｕｍの予測セットがdata[ttrain-2：]であり、上記訓練された二つのニューラルネットワークによりそれぞれ当該二つの予測セット上で予測が行われることでそれぞれ予測結果xprediction1とxprediction2を得て、最終的に平均値をとることでALM（Anticipated Learning Machine：予期学習機械）今回の予測結果x[ttrain+num]=（xprediction1+xprediction2）/2を得ることになる。得られた予測結果を訓練セットのラベルx[0：ttrain]の末尾に加えて、x[0：ttrain+num+1]を得て、それを次回の訓練過程中のラベルとする。num=num+1とし、num=tprediction-1になるまでステップS3を繰り返す。
ステップS５： numが0からtprediction-1までサイクルしていく過程で、ALMモデルは本実施例の時系列予測タスクの予測結果を表す、長さがtpredictionである予測値x[ttrain：ttrain+tprediction]を得て予測が終了し、この結果と実際の結果を対比することでモデルの予測効果を得ることができる。
図2には、本発明の短期時系列予測に向けた予期的学習システムの一つの実施例の原理図を示している。図2を参照すると、本実施例の予期的学習システムは、前処理モジュール、ニューラルネットワーク訓練モジュール、予測モジュールから構成される。
前処理モジュールは、時系列データから予測用の変数を1つ選んでxと記し、訓練セットdataとしてデータセットから時間ステップがttrainであるデータセグメントを選んで、対応するx[0：ttrain]をラベルセットとすることにより、未来の時間ステップがtpredictionである変数x[ttrain：ttrain+tprediction]を予測し、現在予測したポイントx[ttrain+num]を処理するように次のステップのサイクルを実行し、numは今回予測した変数の添字を表し、numの初期値を0とするように配置されている。
ニューラルネットワーク訓練モジュールは、二つのニューラルネットワークΦ1＋ｎｕｍとΦ２＋ｎｕｍが訓練セットとラベルセットにより訓練され、ニューラルネットワークΦ1＋ｎｕｍの訓練セットtrain1がdata[1：ttrain-1]であり、ニューラルネットワークΦ２＋ｎｕｍの訓練セットtrain2がdata[0：ttrain-2]であり、当該二つのニューラルネットワークのラベルセットlabelはいずれもx[2+num：ttrain]であることにより、ニューラルネットワークΦ1＋ｎｕｍの訓練の出力がoutput1、Φ２＋ｎｕｍの訓練の出力がoutput2であることが得られ、当該二つのニューラルネットワークの損失関数はいずれも
損失関数=自身訓練時の平均二乗誤差+α*（output1とoutput2の平均二乗誤差）となり、その中、αはハイパーパラメータであるように配置されている。
予測モジュールは、ニューラルネットワークΦ1＋ｎｕｍの予測セットがdata[ttrain-1：]であり、ニューラルネットワークΦ２＋ｎｕｍの予測セットがdata[ttrain-2：]であり、ニューラルネットワーク訓練モジュールで訓練された二つのニューラルネットワークによりそれぞれ当該二つの予測セット上で予測が行われることでそれぞれ予測結果xprediction1とxprediction2を得て、最終的に平均値をとることで今回の予測結果x[ttrain+num]=（xprediction1+xprediction2）/2を得ることになり、今回の予測結果を訓練セットのラベルx[0：ttrain]の末尾に加えてx[0：ttrain+num+1]を得て、また、x[0：ttrain+num+1]を次回の訓練過程中のラベルとし、さらにnum=num+1としnum=tprediction-1になるまでニューラルネットワーク訓練モジュールと予測処理モジュールのサイクル処理を繰り返した後、サイクルを飛び出すことにより、時系列予測タスクの予測結果を表す、長さがtpredictionである予測値x[ttrain：ttrain+tprediction]を得て、予測が終了するように配置されている。
説明を簡単にするために、上記の方法を一連の動作として図示して説明したが、これらの方法は、1または複数の実施例にしたがって、いくつかの動作が、異なる順序で発生すること、および/または、本明細書で図示および説明された、または本明細書で図示および説明されていないが当業者には理解され得る、他の動作と同時に発生することができるので、動作の順序に限定されないことが理解および認識されるべきである。
本明細書で開示された実施例を結合して説明した様々な例示的なロジックブロック、モジュール、電気回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはこれら二つの組み合わせとして実現され得ることを、当業者はさらに理解するであろう。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、電子回路、およびステップは、それらの機能性の形で一般的に説明されてきた。そのような機能性がハードウェアとして実現されるかソフトウェアとして実現されるかは、具体的なアプリケーションおよび全体的なシステムに加えた設計制約に依存する当業者は、特定のアプリケーションごとに異なる様態で説明された機能性を実現することができるが、そのような実現決定は、本発明の範囲から逸脱する結果をもたらすと解釈されるべきではない。
本明細書に開示された実施例を結合して説明された様々な例示的なロジックブロック、モジュールおよび電子回路は、汎用プロセッサ、デジタル信号プロセッサ（DSP）、専門の集積回路（ASIC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）または他のプログラマブル・ロジック・デバイス、ディスクリート・ゲートまたはトランジスタ・ロジック、ディスクリート・ハードウェア・コンポーネント、または本明細書に記載された機能を実行するように設計されたそれらの任意の組み合わせによって実現または実行され得る。汎用プロセッサは、マイクロプロセッサであってもよいが、代替案では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサはまた、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアと協働する1つ又は複数のマイクロプロセッサ、またはそのような任意の他の構成のようなコンピューティングデバイスの組み合わせとして実現することができる。
本明細書で開示された実施例を結合して説明された方法またはアルゴリズムのステップは、ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはその2つの組み合わせにおいて直接に表わされてもよい。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD?ROM、または当技術分野で知られている他の任意の形態の記憶媒体中に存在することができる。例示的記憶媒体は、プロセッサが記憶媒体から情報を読み取り、または記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替案では、記憶媒体はプロセッサに統合されてもよい。プロセッサおよび記憶媒体がASIC内に常駐可能である。ASICはユーザ端末に常駐可能である。代替案では、プロセッサおよび記憶媒体は、ユーザ端末内にディスクリート構成要素として常駐可能である。
1つまたは複数の例示的な実施例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実現されてもよい。ソフトウェアにおいてコンピュータプログラム製品として実現される場合、各機能は、1つまたは複数のコマンドまたはコードとしてコンピュータ可読媒体に記憶され、または伝送されることができる。コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体との両方を含み、コンピュータプログラムをある場所から別の場所へ転送する任意の媒体を含む。記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体であってもよい。例として限定することなく、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD?ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、または所望のプログラムコードをコマンドまたはデータ構造の形態で携帯または記憶するために使用されコンピュータによってアクセスされることができる他の任意の媒体を含むことができる。任意の接続もコンピュータ可読媒体と呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（DSL）、または赤外線、無線電、およびマイクロ波のような無線技術を使用して、ウェブサイト、サーバ、または他の遠隔ソースから送信された場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波のような無線技術は、媒体の定義に含まれる。明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（CD）、レーザーディスク、光ディスク、デジタル多用途ディスク（DVD）、フロッピーディスク、およびブルーレイディスクを含み、ディスク（disk）はしばしば磁気的にデータを再生し、ディスク（disc）はレーザーによって光学的にデータを再生する。上記の組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
本開示の先の説明は、当業者であれば誰でも本開示を作成または使用することができるように提供される。本開示の様々な修正は当業者にとって明らかであり、本開示の精神または範囲から逸脱することなく、本明細書で定義された普遍的原理を他の変形に適用することができる。したがって、本開示は、本明細書に記載された例および設計に限定されることを意図しているのではなく、本明細書に開示された原理および新規な特徴と一致する最も広い範囲を付与されるべきである。
図１には、本発明の短期時系列予測に向けた予期的学習方法の一つの実施例のフローチャートを示している。図1を参照し、本実施例の予期的学習方法の具体的な実施手順について以下のように詳しく説明する。
ステップS１：取得した時系列データからランダム的に予測用の変数を一つ選んでxと記す。ここで、時系列データ（即ち時間シリーズデータ）とは、同一の統一指標が時間の順で記録されたデータの列である。
さらに、訓練セットdataとしてデータセットの全体から時間ステップがttrainであるデータセグメントを選んで、対応するx[0：ttrain]をラベルセットとし、未来の時間ステップがtpredictionである変数x[ttrain：ttrain+tprediction]を予測する。その中、本発明で使用されたデータセットは合成データセットと実データセットを備える。その中、合成データセットは時変結合のローレンツ系であり、ローレンツ系の定義により生成される。実データセットは、生活における各分野の実際の時系列データから得られたものである。例えば、ラット遺伝子データセット、プランクトンデータセット、地上オゾンレベルデータセットなどである。
ステップS２：num=0とし、当該変数は今回予測した変数の添字を表し、num=0は今回予測した点がx[ttrain+num]、すなわちx[ttrain+0]であることを表す。
ステップS３：二つのニューラルネットワークは訓練セットとラベルセットにより訓練され、Φ1＋ｎｕｍとΦ２＋ｎｕｍと簡単に称する。その中、ニューラルネットワークΦ1＋ｎｕｍの訓練セットtrain1がdata[1：ttrain-1]であり、ニューラルネットワークΦ２＋ｎｕｍの訓練セットtrain2がdata[0：ttrain-2]であり、両者のラベルセットlabelはいずれもx[2+num：ttrain：]であることにより、ニューラルネットワークΦ1＋ｎｕｍの訓練の出力がoutput1、Φ２＋ｎｕｍの訓練の出力がoutput2であることが得られ、両者の損失関数はいずれも損失関数=自身訓練時の平均二乗誤差+α*（output1とoutput2の平均二乗誤差）となり、その中、αはハイパーパラメータである。
本実施例の当該二つのニューラルネットワークモデルΦ1＋ｎｕｍとΦ２＋ｎｕｍは多層シンプルニューラルネットワークモデルであり、入力層にはサンプリング処理として一つのdropout層が必要となり、そのほかのネットワーク部分は必要に応じて自由可能に定義されることができる。ニューラルネットワークにおけるハイパーパラメータαは、必要に応じて適切に調整される。
ステップS４：Φ1＋ｎｕｍの予測セットがdata[ttrain-1：]であり、Φ２＋ｎｕｍの予測セットがdata[ttrain-2：]であり、上記訓練された二つのニューラルネットワークによりそれぞれ当該二つの予測セット上で予測が行われることでそれぞれ予測結果xprediction1とxprediction2を得て、最終的に平均値をとることでALM（Anticipated Learning Machine：予期学習機械）今回の予測結果x[ttrain+num]=（xprediction1+xprediction2）/2を得ることになる。得られた予測結果を訓練セットのラベルx[0：ttrain]の末尾に加えて、x[0：ttrain+num+1]を得て、それを次回の訓練過程中のラベルとする。num=num+1とし、num=tprediction-1になるまでステップS3を繰り返す。
ステップS５： numが0からtprediction-1までサイクルしていく過程で、ALMモデルは本実施例の時系列予測タスクの予測結果を表す、長さがtpredictionである予測値x[ttrain：ttrain+tprediction]を得て予測が終了し、この結果と実際の結果を対比することでモデルの予測効果を得ることができる。
図2には、本発明の短期時系列予測に向けた予期的学習システムの一つの実施例の原理図を示している。図2を参照すると、本実施例の予期的学習システムは、前処理モジュール、ニューラルネットワーク訓練モジュール、予測モジュールから構成される。
前処理モジュールは、時系列データから予測用の変数を1つ選んでxと記し、訓練セットdataとしてデータセットから時間ステップがttrainであるデータセグメントを選んで、対応するx[0：ttrain]をラベルセットとすることにより、未来の時間ステップがtpredictionである変数x[ttrain：ttrain+tprediction]を予測し、現在予測したポイントx[ttrain+num]を処理するように次のステップのサイクルを実行し、numは今回予測した変数の添字を表し、numの初期値を0とするように配置されている。
ニューラルネットワーク訓練モジュールは、二つのニューラルネットワークΦ1＋ｎｕｍとΦ２＋ｎｕｍが訓練セットとラベルセットにより訓練され、ニューラルネットワークΦ1＋ｎｕｍの訓練セットtrain1がdata[1：ttrain-1]であり、ニューラルネットワークΦ２＋ｎｕｍの訓練セットtrain2がdata[0：ttrain-2]であり、当該二つのニューラルネットワークのラベルセットlabelはいずれもx[2+num：ttrain]であることにより、ニューラルネットワークΦ1＋ｎｕｍの訓練の出力がoutput1、Φ２＋ｎｕｍの訓練の出力がoutput2であることが得られ、当該二つのニューラルネットワークの損失関数はいずれも
損失関数=自身訓練時の平均二乗誤差+α*（output1とoutput2の平均二乗誤差）となり、その中、αはハイパーパラメータであるように配置されている。
予測モジュールは、ニューラルネットワークΦ1＋ｎｕｍの予測セットがdata[ttrain-1：]であり、ニューラルネットワークΦ２＋ｎｕｍの予測セットがdata[ttrain-2：]であり、ニューラルネットワーク訓練モジュールで訓練された二つのニューラルネットワークによりそれぞれ当該二つの予測セット上で予測が行われることでそれぞれ予測結果xprediction1とxprediction2を得て、最終的に平均値をとることで今回の予測結果x[ttrain+num]=（xprediction1+xprediction2）/2を得ることになり、今回の予測結果を訓練セットのラベルx[0：ttrain]の末尾に加えてx[0：ttrain+num+1]を得て、また、x[0：ttrain+num+1]を次回の訓練過程中のラベルとし、さらにnum=num+1としnum=tprediction-1になるまでニューラルネットワーク訓練モジュールと予測処理モジュールのサイクル処理を繰り返した後、サイクルを飛び出すことにより、時系列予測タスクの予測結果を表す、長さがtpredictionである予測値x[ttrain：ttrain+tprediction]を得て、予測が終了するように配置されている。
説明を簡単にするために、上記の方法を一連の動作として図示して説明したが、これらの方法は、1または複数の実施例にしたがって、いくつかの動作が、異なる順序で発生すること、および/または、本明細書で図示および説明された、または本明細書で図示および説明されていないが当業者には理解され得る、他の動作と同時に発生することができるので、動作の順序に限定されないことが理解および認識されるべきである。
本明細書で開示された実施例を結合して説明した様々な例示的なロジックブロック、モジュール、電気回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはこれら二つの組み合わせとして実現され得ることを、当業者はさらに理解するであろう。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、電子回路、およびステップは、それらの機能性の形で一般的に説明されてきた。そのような機能性がハードウェアとして実現されるかソフトウェアとして実現されるかは、具体的なアプリケーションおよび全体的なシステムに加えた設計制約に依存する当業者は、特定のアプリケーションごとに異なる様態で説明された機能性を実現することができるが、そのような実現決定は、本発明の範囲から逸脱する結果をもたらすと解釈されるべきではない。
本明細書に開示された実施例を結合して説明された様々な例示的なロジックブロック、モジュールおよび電子回路は、汎用プロセッサ、デジタル信号プロセッサ（DSP）、専門の集積回路（ASIC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）または他のプログラマブル・ロジック・デバイス、ディスクリート・ゲートまたはトランジスタ・ロジック、ディスクリート・ハードウェア・コンポーネント、または本明細書に記載された機能を実行するように設計されたそれらの任意の組み合わせによって実現または実行され得る。汎用プロセッサは、マイクロプロセッサであってもよいが、代替案では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサはまた、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアと協働する1つ又は複数のマイクロプロセッサ、またはそのような任意の他の構成のようなコンピューティングデバイスの組み合わせとして実現することができる。
本明細書で開示された実施例を結合して説明された方法またはアルゴリズムのステップは、ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはその2つの組み合わせにおいて直接に表わされてもよい。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD?ROM、または当技術分野で知られている他の任意の形態の記憶媒体中に存在することができる。例示的記憶媒体は、プロセッサが記憶媒体から情報を読み取り、または記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替案では、記憶媒体はプロセッサに統合されてもよい。プロセッサおよび記憶媒体がASIC内に常駐可能である。ASICはユーザ端末に常駐可能である。代替案では、プロセッサおよび記憶媒体は、ユーザ端末内にディスクリート構成要素として常駐可能である。
1つまたは複数の例示的な実施例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実現されてもよい。ソフトウェアにおいてコンピュータプログラム製品として実現される場合、各機能は、1つまたは複数のコマンドまたはコードとしてコンピュータ可読媒体に記憶され、または伝送されることができる。コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体との両方を含み、コンピュータプログラムをある場所から別の場所へ転送する任意の媒体を含む。記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体であってもよい。例として限定することなく、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD?ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、または所望のプログラムコードをコマンドまたはデータ構造の形態で携帯または記憶するために使用されコンピュータによってアクセスされることができる他の任意の媒体を含むことができる。任意の接続もコンピュータ可読媒体と呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（DSL）、または赤外線、無線電、およびマイクロ波のような無線技術を使用して、ウェブサイト、サーバ、または他の遠隔ソースから送信された場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波のような無線技術は、媒体の定義に含まれる。明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（CD）、レーザーディスク、光ディスク、デジタル多用途ディスク（DVD）、フロッピーディスク、およびブルーレイディスクを含み、ディスク（disk）はしばしば磁気的にデータを再生し、ディスク（disc）はレーザーによって光学的にデータを再生する。上記の組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
本開示の先の説明は、当業者であれば誰でも本開示を作成または使用することができるように提供される。本開示の様々な修正は当業者にとって明らかであり、本開示の精神または範囲から逸脱することなく、本明細書で定義された普遍的原理を他の変形に適用することができる。したがって、本開示は、本明細書に記載された例および設計に限定されることを意図しているのではなく、本明細書に開示された原理および新規な特徴と一致する最も広い範囲を付与されるべきである。
【図1】
【図2】
