IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 杭州電子科技大学の特許一覧

<>
  • 特許-エネルギー時系列データ予測システム 図1
  • 特許-エネルギー時系列データ予測システム 図2
  • 特許-エネルギー時系列データ予測システム 図3
  • 特許-エネルギー時系列データ予測システム 図4
  • 特許-エネルギー時系列データ予測システム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】エネルギー時系列データ予測システム
(51)【国際特許分類】
   G06N 20/00 20190101AFI20240730BHJP
   G06F 18/27 20230101ALI20240730BHJP
   G06N 3/04 20230101ALI20240730BHJP
   G06N 3/0442 20230101ALI20240730BHJP
   G06N 3/045 20230101ALI20240730BHJP
   H02J 3/00 20060101ALI20240730BHJP
   G06F 123/02 20230101ALN20240730BHJP
【FI】
G06N20/00
G06F18/27
G06N3/04 100
G06N3/0442
G06N3/045
H02J3/00 130
G06F123:02
【請求項の数】 5
(21)【出願番号】P 2024042814
(22)【出願日】2024-03-18
【審査請求日】2024-03-22
(31)【優先権主張番号】202310291881.6
(32)【優先日】2023-03-23
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】524104789
【氏名又は名称】杭州電子科技大学
【氏名又は名称原語表記】Hangzhou Dianzi University
【住所又は居所原語表記】No.1158, 2nd Street, Baiyang Street, Qiantang District, Hangzhou City, Zhejiang Province,310018 China
(74)【代理人】
【識別番号】110001841
【氏名又は名称】弁理士法人ATEN
(72)【発明者】
【氏名】孫 笑笑
(72)【発明者】
【氏名】兪 東進
(72)【発明者】
【氏名】李 中陽
(72)【発明者】
【氏名】黄 博イー
(72)【発明者】
【氏名】葉 春毅
【審査官】新井 則和
(56)【参考文献】
【文献】中国特許出願公開第113011628(CN,A)
【文献】国際公開第2019/167656(WO,A1)
【文献】中国特許出願公開第106327028(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 20/00
G06F 18/27
G06N 3/04
G06N 3/0442
G06N 3/045
H02J 3/00
G06F 123/02
(57)【特許請求の範囲】
【請求項1】
複数のエネルギー量監視装置と連携してそれぞれ監視された、エネルギー消費量又はエネルギー発生量であるエネルギー量を予測するために用いられるエネルギー時系列データ予測システムであって、
データオンライン収集モジュールと、
入力系列抽出モジュールと、
エネルギー量予測モジュールと、を含み、
前記データオンライン収集モジュールは、各前記エネルギー量監視装置がモノのインターネットを介してアップロードしたリアルタイムエネルギー量データを受信し、且つ、それを監視装置識別番号と関連付けた後にタイムスタンプ付きの時系列形式で記憶するために用いられ、
前記入力系列抽出モジュールは、受信した予測指令に基づき、固定長さの時間ウィンドウに基づいて各エネルギー量監視装置に記憶された時系列から最新のセグメントのエネルギー量データ系列を抽出し、且つ、抽出された全ての系列セグメントをそれぞれ正規化した後に多変量時系列セグメントに組み合わせるために用いられ、
前記エネルギー量予測モジュールは、受信した予測指令に基づき、前記入力系列抽出モジュールにより生成された多変量時系列セグメントを予めトレーニングされた多変量時系列予測モデルに入力し、各エネルギー量監視装置が未来の指定時間ステップで監視されたエネルギー量予測値を得るために用いられ
前記多変量時系列予測モデルは、セグメントグラフ畳み込みモジュールと、時間膨張畳み込みモジュールと、時間情報補強モジュールとを含み、当該モデルへの入力は多変量時系列セグメントであり、
前記セグメントグラフ畳み込みモジュールは、入力された前記多変量時系列セグメントを時間次元に従ってセグメント化し、セグメント内の系列間のコサイン類似度に基づいてセグメント隣接行列を構築し、さらに多層セグメントグラフ畳み込みを行い、系列間の相関性を抽出し、第一出力信号を得、
前記時間膨張畳み込みモジュールは、前記セグメントグラフ畳み込みモジュールから出力された第一出力信号を多層積層の膨張畳み込み付きのゲートリニアユニットに入力し、さらに各系列内の特徴を抽出して次元縮退を行い、第二出力信号を得、
前記時間情報補強モジュールは、入力された前記多変量時系列セグメントをLSTMネットワークに入力し、LSTMネットワークの各隠れステップの信号を時間に従ってグループ化し、且つ各グループに注意力メカニズムを応用してセグメントコンテキストベクトルを抽出し、前記セグメントコンテキストベクトルに引き続き注意力メカニズムを応用して時間コンテキストベクトルを生成し、最後に前記時間コンテキストベクトルをLSTMネットワーク隠れ層の最後の信号とつなぎ合わせ、且つ、つなぎ合わせの結果を一層の全接続層を経て、第三出力信号を得、
最後に、前記第二出力信号と前記第三出力信号を加算し、逆正規化した後に多変量時系列予測モデルの最終予測出力を得る、ことを特徴とするエネルギー時系列データ予測システム。
【請求項2】
さらにオンライン学習モジュールを含み、各前記エネルギー量監視装置に記憶された時系列から新たに加えられたデータを絶えず抽出し、且つ、それを前記多変量時系列予測モデルのトレーニングサンプルに構築し、且つ、トレーニングサンプルが指定された数に累積し又は前回のモデルトレーニングから指定された時間に達した後、これらのトレーニングサンプルを再利用して前記多変量時系列予測モデルをトレーニングし、前記多変量時系列予測モデルのオンライン学習を実現する、ことを特徴とする請求項1に記載のエネルギー時系列データ予測システム。
【請求項3】
前記入力系列抽出モジュールにおいて、抽出された系列セグメントを正規化するとき、該系列セグメントが位置する全時間系列における最大値をスケール値として正規化する、ことを特徴とする請求項1に記載のエネルギー時系列データ予測システム。
【請求項4】
前記セグメントグラフ畳み込みモジュールにおいて2層グラフ畳み込みを採用して系列間の相関性を抽出し、前記時間膨張畳み込みモジュールにおいて5層の膨張畳み込み付きのゲートリニアユニットを用いて各系列内の特徴を抽出する、ことを特徴とする請求項1に記載のエネルギー時系列データ予測システム。
【請求項5】
前記エネルギー量は、天然ガス流量計量装置で監視して得られた天然ガス流量、電力量計装置で監視して得られた電力使用量、又は太陽光発電所で監視して得られた太陽光発電量である、ことを特徴とする請求項1に記載のエネルギー時系列データ予測システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、時系列データ予測分野に属し、具体的には、エネルギー時系列データ予測システム、プラットフォーム及びスマート端末装置に関する。
【背景技術】
【0002】
近年、モノのインターネット(Internet of Things, IoT)技術の発展に伴い、各種のセンサは、タイミング又はリアルタイムにアップロードする能力を有し、大量の異なるセンサで構成される多変量時系列データを生成する。センサは監視装置とし、監視により生成された系列データは、その背後に監視されたエネルギー装置と高い関連がある。天然ガスメータ、太陽光発電所、電力量計などのエネルギー量監視装置にとって、それは監視によってエネルギー消費量又はエネルギー発生量に関連する時系列データを生成することができ、これらのエネルギー量に関するデータは、いずれも将来の傾向を予測する需要が存在する。
【0003】
エネルギー分野において、センサの間に常に自然の物理的関連がなく、監視された装置の使用規則が動的に変化する可能性があり、且つ高度な時間関連性を有し、予測モデルは、データの特徴に対してモデル化して予測精度を向上させる必要がある。エネルギーデータの予測を実現するのは、一方でエネルギー装置の使用又は生産規則を分析することができ、他方でエネルギー会社にエネルギー調達の参考を提供することができ、コストを低減させ、経済的利益を生成する。
【0004】
エネルギー時系列データは、異なるエネルギー業界に広く存在し、例えば、天然ガス、電力、地熱エネルギー等である。しかしながら、異なるエネルギー量の予測に対し、現在、異なる予測対象に対して普遍性を兼ね備える共通のプラットフォーム及びモデルがない。異なる業界にそれぞれ対応する予測プラットフォームとモデルを構築するのは、一方では、構築の重複を引き起こし、他方では、一部の技術能力が弱いエネルギー業界の発展を制限する。
【0005】
本発明の目的は、従来技術において異なる予測対象に対して普遍性を兼ね備える共通のプラットフォーム及びモデルがない問題を解決し、且つエネルギー時系列データ予測システム、プラットフォーム及びスマート端末装置を提供することである。
【0006】
本発明が採用する具体的な技術的解決手段は、以下のとおりである。
第一態様では、本発明は、エネルギー時系列データ予測システムを提供する。エネルギー時系列データ予測システムは、複数のエネルギー量監視装置と連携してそれぞれ監視されたエネルギー量を予測するために用いられる。上記エネルギー量は、エネルギー消費量又はエネルギー発生量である。エネルギー時系列データ予測システムは、以下のデータオンライン収集モジュール、入力系列抽出モジュール、及びエネルギー量予測モジュールを含む。
データオンライン収集モジュールは、各上記エネルギー量監視装置がモノのインターネットを介してアップロードしたリアルタイムエネルギー量データを受信し、且つそれを監視装置識別番号と関連付けた後にタイムスタンプ付きの時系列形式で記憶するために用いられる。
入力系列抽出モジュールは、受信した予測指令に基づき、固定長さの時間ウィンドウに基づいて各エネルギー量監視装置に記憶された時系列から最新のセグメントのエネルギー量データ系列を抽出し、且つ抽出された全ての系列セグメントをそれぞれ正規化した後に多変量時系列セグメントに組み合わせるために用いられる。
エネルギー量予測モジュールは、受信した予測指令に基づき、上記入力系列抽出モジュールにより生成された多変量時系列セグメントを予めトレーニングされた多変量時系列予測モデルに入力し、各エネルギー量監視装置が未来の指定時間ステップで監視されたエネルギー量予測値を得るために用いられる。
【0007】
上記第一態様の好ましい例として、上記多変量時系列予測モデルは、セグメントグラフ畳み込みモジュールと、時間膨張畳み込みモジュールと、時間情報補強モジュールとを含み、モデルの入力は多変量時系列セグメントであってもよい。上記セグメントグラフ畳み込みモジュールは、入力された多変量時系列セグメントを時間次元に従ってセグメント化し、セグメント内の系列間のコサイン類似度に基づいてセグメント隣接行列を構築し、さらに多層セグメントグラフ畳み込みを行い、系列間の相関性を抽出し、第一出力信号を得る。上記時間膨張畳み込みモジュールは、セグメントグラフ畳み込みモジュールから出力された第一出力信号を多層積層の膨張畳み込み付きのゲートリニアユニット(Gated Linear Unit)に入力し、さらに各系列内の特徴を抽出して次元縮退を行い、第二出力信号を得る。上記時間情報補強モジュールは、入力された多変量時系列セグメントをLSTMネットワークに入力し、LSTMネットワークの各隠れステップの信号を時間に従ってグループ化し、且つ各グループに注意力メカニズムを応用してセグメントコンテキストベクトルを抽出し、続いてセグメントコンテキストベクトルに引き続き注意力メカニズムを応用して時間コンテキストベクトルを生成し、最後に時間コンテキストベクトルをLSTMネットワーク隠れ層の最後の信号とつなぎ合わせ、且つ、つなぎ合わせの結果を一層の全接続層を経て、第三出力信号を得る。最後に、第二出力信号と第三出力信号を加算し、逆正規化した後に多変量時系列予測モデルの最終予測出力を得る。
【0008】
上記第一態様の好ましい例として、さらにオンライン学習モジュールを含み、各エネルギー量監視装置に記憶された時系列から新たに加えられたデータを絶えず抽出し、且つそれを上記多変量時系列予測モデルのトレーニングサンプルに構築し、且つトレーニングサンプルが指定された数に累積し又は前回のモデルトレーニングから指定された時間に達した後、これらのトレーニングサンプルを再利用して上記多変量時系列予測モデルをトレーニングし、上記多変量時系列予測モデルのオンライン学習を実現してもよい。
【0009】
上記第一態様の好ましい例として、上記入力系列抽出モジュールにおいて、抽出された系列セグメントを正規化する時、該系列セグメントが位置する全時間系列における最大値をスケール値として正規化してもよい。
【0010】
上記第一態様の好ましい例として、上記セグメントグラフ畳み込みモジュールにおいて2層グラフ畳み込みを採用して系列間の相関性を抽出する。上記時間膨張畳み込みモジュールにおいて5層の膨張畳み込み付きのゲートリニアユニットを用いて各系列内の特徴を抽出してもよい。
【0011】
上記第一態様の好ましい例として、上記エネルギー量は、天然ガス流量計量装置で監視して得られた天然ガス流量、電力量計装置で監視して得られた電力使用量、又は太陽光発電所で監視して得られた太陽光発電量であってもよい。
【0012】
第二態様では、本発明は、エネルギー時系列データ予測プラットフォームを提供し、該エネルギー時系列データ予測プラットフォームに上記第一態様のいずれかに記載のエネルギー時系列データ予測システムが動作し、且つエネルギー時系列データ予測プラットフォームは、外部にデータアクセス及び指令入力インタフェースを提供する。
【0013】
上記第二態様の好ましい例として、上記予測プラットフォームは、ローカルサーバ又はクラウドプラットフォームであってもよい。
【0014】
第三態様では、本発明はスマート端末装置を提供し、スマート端末装置は上記第二態様の上記エネルギー時系列データ予測プラットフォームと通信接続を確立することができ、且つ上記エネルギー時系列データ予測プラットフォームが提供するインタフェースを介してプラットフォーム内のデータにアクセスし、且つプラットフォームにタスク指令を送信する。
【0015】
上記第三態様の好ましい例として、上記スマート端末装置がプラットフォームに送信するタスク指令は、予測タスクを実行する予測指令、オンライン学習モジュールを呼び出してモデルトレーニングを再び行う再トレーニング指令、予測する必要がある時間ステップを指定する指定指令を含んでもよい。
【0016】
本発明は、従来技術に対して、以下の有益な効果を有する。
1)本発明は、エネルギー量の多変量時系列予測に対し、エネルギー時系列データ予測システムを提供する。該システムにおいてデータオンライン収集モジュールによってリアルタイムなエネルギー量データを収集し、且つ時系列を構築し、続いて予測する必要がある時に入力系列抽出モジュールによって最新の多変量時系列セグメントを抽出し、さらに予めトレーニングされた多変量時系列予測モデルによって予測する。該エネルギー時系列データ予測システムは異なる形式のエネルギー量予測に対していずれも普遍性を有する。
2)本発明のシステムにおいて、深度学習に基づく多変量時系列予測モデルを設計する。
該モデルは、セグメントグラフ畳み込み層を構築することにより、異なる時系列をグラフにおけるノードとし、系列類似度に基づくグラフ構造から隣接ノードの関連情報を学習し、時間膨張畳み込み層によって時系列の内部情報を抽出し、モデルの最終出力は、二段階注意メカニズムに基づく時間情報補強モジュールの出力と結合する。実際のエネルギー量の多変量時系列データセットにおける予測実験により、該モデルは、異なるエネルギー量及び異なる時間ステップの予測を良好に完了することができ、異なる未来時刻のエネルギー量を正確に予測することができる。
3)本発明は、電力、天然ガス等のエネルギーデータに汎用性のプラットフォームを提供することができ、さらに外部に予測サービスを提供する。且つ該プラットフォームは、対応するスマート端末と連携することができ、予測タスクのリアルタイム公開、問い合わせ及び可視化表示を実現する。
【図面の簡単な説明】
【0017】
図1】本発明の一実施例におけるエネルギー時系列データ予測システムのモジュール構成の概略図である。
図2】単層グラフニューラルネットワーク情報の重合過程の概略図である。
図3】多変量時系列予測モデルのネットワーク概略図である。
図4】本発明の他の実施例におけるエネルギー時系列データ予測システムのモジュール構成の概略図である。
図5】本発明の実施例におけるエネルギー量監視装置、エネルギー時系列データ予測プラットフォーム、及びスマート端末装置の関係を示す概略図である。
【発明を実施するための形態】
【0018】
本発明の上述した目的、特徴、及び利点をより明確にわかりやすくするために、本発明の具体的な実施形態について、以下に図面と関連して詳細に説明する。本発明の完全な理解を容易にするために、以下の説明において多くの具体的な詳細を説明する。しかし、本発明は、本明細書に記載されたものとは異なる多くの他の方法で実施することができ、当業者は、本発明の内容に反することなく同様の改良を行うことができ、したがって、本発明は、以下に開示される特定の実施例に限定されない。本発明の各実施例における技術的特徴は、相互に矛盾しないことを前提として、いずれも対応して組み合わせることができる。
【0019】
本発明の説明において、ある要素が別の要素に「接続」されていると考えられる場合、別の要素に直接接続されていてもよく、間接的に接続されていてもよい、すなわち中間要素が存在することで間接的に接続されていてもよいことを理解されたい。逆に、要素が「直接」と呼ばれて別の要素に接続されている場合、中間要素は存在しない。
【0020】
本発明は、エネルギー時系列データ予測システムを提供し、複数のエネルギー量監視装置と合わせてそれぞれ監視されたエネルギー量を予測するために用いられる。図1に示すように、本発明の好適な実施例において、該エネルギー時系列データ予測システムは、データオンライン収集モジュール、入力系列抽出モジュール及びエネルギー量予測モジュールを含む。
【0021】
データオンライン収集モジュールは、各上記エネルギー量監視装置が、モノのインターネットを介してアップロードしたリアルタイムエネルギー量データを受信し、且つそれを監視装置識別番号と関連付けた後にタイムスタンプ付きの時系列形式で記憶するために用いられる。
入力系列抽出モジュールは、受信した予測指令に基づき、固定長さの時間ウィンドウに基づいて各エネルギー量監視装置に記憶された時系列から最新のセグメントのエネルギー量データ系列を抽出し、且つ抽出された全ての系列セグメントをそれぞれ正規化した後に多変量時系列セグメントに組み合わせるために用いられる。
エネルギー量予測モジュールは、受信した予測指令に基づき、上記入力系列抽出モジュールにより生成された多変量時系列セグメントを予めトレーニングされた多変量時系列予測モデルに入力し、各エネルギー量監視装置が未来の指定時間ステップで監視されたエネルギー量予測値を得るために用いられる。
【0022】
本発明において、上記エネルギー時系列データ予測システムは、対象とするエネルギー量の予測対象を限定するものではなく、本発明におけるエネルギー量とは、エネルギー消費量であってもよいし、エネルギー発生量であってもよい。後続の実施例においてエネルギー消費量は、天然ガス使用量又は電力使用量であってもよく、エネルギー発生量は、太陽光発電量であってもよい。そのため、異なるエネルギー量に必要なエネルギー量監視装置も異なり、例えばエネルギー量が天然ガス流量である場合には天然ガス流量計量装置で監視して得ることができ、エネルギー量が電力使用量である場合には電力量計装置で監視して得ることができ、エネルギー量が太陽光発電量である場合には太陽光発電所で監視して得ることができる。しかし、本発明は、上述した3つのエネルギー量以外にも、風力発電データ、オイルエア生産量データ、水力発電量データ、火力発電量データなど、他のエネルギーに関する時系列データにも適用可能である。
【0023】
各エネルギー量監視装置のデータ伝送技術は、遠隔でデータを伝送できる任意のモノのインターネット技術であってもよい。本発明の実施例において、以下のいくつかの種類を採用することができる。
1.Wi-Fi技術:Wi-Fi技術は、ローカルエリアネットワーク無線伝送技術であり、高速で安定したネットワーク接続を提供することができる。機器をWi-Fiネットワークに接続することにより、モノのインターネット機器に対する遠隔制御及びデータ伝送を実現することができ、狭い範囲、高速伝送のシーンに適用する。
2.セルラーネットワーク技術:セルラーネットワーク技術は、移動通信分野の中核技術の一つであり、3G又は4Gネットワークを用いてデータの遠隔伝送を実現し、広いカバレッジ範囲及び高効率で安定した伝送特徴を有する。クロスエリア、遠距離の大流量データ伝送シーンに適用することができる。
3.Zigbee技術:Zigbee技術は、無線低消費電力のモノのインターネット技術であり、ローカルエリアネットワークレベルのデータ伝送を提供することができ、低速、低消費電力伝送を必要とするシーンに適用し、例えばスマートホーム等である。
4.LoRaWAN技術:LoRaWAN技術は、長距離、低消費電力の無線通信技術を採用し、都市、農村等の異なるカバレッジ及び環境条件で遠隔データ伝送及び監視を実現することができる。
【0024】
当然のことながら、上記いくつかのモノのインターネット技術以外に、他の遠隔データ伝送可能なモノのインターネット技術も考えて採用することができ、データ伝送の適時性及び信頼性を満たすことができればよい。
【0025】
上記データオンライン収集モジュールにおいて、受信した各エネルギー量監視装置がモノのインターネットを介してアップロードしたリアルタイムエネルギー量データは、重複しない監視装置の識別番号を唯一の識別とし、データ記憶モジュールに記録し、後続の呼び出しに供する。各エネルギー量監視装置がアップロードしたデータは、同一の時系列に記録することができ、各記録値は、サンプリングのタイムスタンプを付ける必要がある。
【0026】
本発明において、上記入力系列抽出モジュールの作用は、後続の多変量時系列予測モデルの予測に必要な入力データ、すなわち多変量時系列セグメントを抽出することである。
該多変量時系列セグメントの抽出は時間ウィンドウのスライドによって実現することができる。本発明の多変量時系列予測モデルは、複数のエネルギー量監視装置の将来の監視値を同時に予測するために用いられ、そのため各エネルギー量監視装置に対応する時系列にいずれも時間ウィンドウによって最新のセグメントの系列を抽出する必要があり、これらの系列はさらに多変量時系列セグメントを並列に構成する。
【0027】
このように、多変量時系列予測モデルは、本発明が予測機能を実現するキーである。以下は多変量時系列予測モデルの具体的な実現について詳細に説明する。多変量時系列予測タスクにおいて、一つのN次元多変量時系列サンプルは、N個の変数の時間変化によって生成され、各変数は、一つのエネルギー量監視装置に対応することができる。グラフニューラルネットワークでは、モデルは、各変数をグラフ中のノードとみなし、変数間の関連度をグラフ構造中の辺とする。グラフの構造を
【数1】
で表し、VとEは、それぞれノードと辺の集合を表す。グラフの辺の集合Eに対して、
【数2】
は、グラフ中のノードであり、
【数3】
は、ノードuからノードvに向かう辺を示す。ノードuの近傍を
【数4】
と定義する。グラフ全体の接続性は、隣接行列
【数5】
で表され、ノードiとノードjとの間に接続辺が存在する場合、
【数6】
があり、そうでない場合
【数7】
である。隣接行列Aの主対角線は、1であり、各ノードにいずれも1つの自己接続辺があることを示す。グラフニューラルネットワークの主な役割は、各ノードが自身の特徴を保持すると同時にグラフにおける隣接ノードの相互依存関係を学習し、情報を自動的に集約して新たな時系列を生成し、ノードから出力された新たな時系列は、他の時系列の隠蔽情報を含むことである。畳み込み層数の増加に伴い、一つのノードは間接的にその隣接するノードからより広い範囲のノード情報を取得する。図2に示すように、単層グラフニューラルネットワーク情報の重合過程を示す。センタノード(エネルギー量監視装置2)は、近隣ノード(エネルギー量監視装置1、3、4)からの情報を集約し、一つの新たな時系列を出力する。
【0028】
上記理念に基づき、図3に示すように、本発明の実施例において、該多変量時系列予測モデルは、一つのセグメントグラフ畳み込みモジュール、一つの時間膨張畳み込みモジュール、及び一つの時間情報補強モジュールを含む。モデルの入力は、多変量時系列セグメントである。モデルの入力を前述の多変量時系列セグメントと仮定し、多変量時系列セグメントをXと表記すると、3つのモジュールの具体的な実現方式は、以下のとおりである。
【0029】
(1)セグメントグラフ畳み込みモジュールは、入力された多変量時系列セグメントを時間次元に基づいてセグメント化し、セグメント内の系列間のコサイン類似度に基づいてセグメント隣接行列を構築し、さらに多層セグメントグラフ畳み込みを行い、系列間の相関性を抽出し、第一出力信号を得る。具体的には、入力モデルの多変量時系列セグメントXをセグメントグラフ畳み込みモジュールに入力し、最終的なグラフ畳み込み結果
【数8】
を得る。セグメントグラフ畳み込みモジュールにおいて実行されるフローは、下記S11~S14に示すとおりである。
S11では、まず予め設定されたセグメント数のハイパーパラメータPに基づき、入力された多変量時系列セグメントXを時間次元でPセグメントに平均分割し、各セグメントを
【数9】
と表わす。
【数10】
であり、Wは、時間ウィンドウの長さであり、Nは、予測を行う必要があるエネルギー量監視装置の総数である。
S12では、続いて、セグメント
【数11】
内の各エネルギー量監視装置に対応する系列をノードとし、コサイン類似度を用いてセグメント
【数11】
内のノードの隣接度を計算し、セグメント
【数11】
に対応するグラフ隣接行列
【数12】
を得る。
【数13】
における任意のノードiとノードjが同一のセグメント
【数11】
における接続辺の強度は、以下のように表される。
【数14】
ここで、
【数15】
及び
【数16】
はそれぞれセグメント
【数11】
内の第i番目及び第j番目のエネルギー量監視装置に対応する系列を表し、| |はモジュロ演算を表す。
S13では、さらにSoftmax関数を用いて上記グラフ隣接行列
【数13】
を行ごとに正規化し、正規化されたグラフ隣接行列
【数17】
を形成する。そのうち
【数17】
における
【数18】
に対応する隣接度
【数19】
の計算式は以下のとおりである。
【数20】
コサイン類似度の範囲は[-1,1]であるため、その値が1に近いほど、2つのベクトルの方向が近いことを示し、0より小さいと方向が逆であることを示す。そのため、上記モデルは接続辺の強度を計算する時に0を下限として無関節点をフィルタリングし、且つ、Softmax関数を用いて各多変量時系列分割セグメントの類似度行列
【数17】
を行ごとに正規化する。
S14では、最後に各セグメント
【数11】
に対し、得られたセグメント隣接行列
【数17】
に基づいてグラフ畳み込みネットワークにより合計G層グラフ畳み込み計算を行い、最終的なグラフ畳み込み結果
【数8】
を出力する。グラフ畳み込みネットワークにおける第l層のグラフ畳み込み過程は、以下のように表される。
【数21】
ここで
【数22】
は、隣接行列
【数17】
の次数行列であり、
【数23】
は、トレーニング可能なパラメータ行列であり、
【数24】
は、前のグラフ畳み込み層の最終出力が分解された後の第k個のセグメントである。
【数25】
であり、
【数26】
である。
グラフ畳み込みネットワークは、第l層のグラフを畳み込んで得られたセグメント畳み込み結果
【数27】
を時間次元で組換えてつなぎ合わせ、第l層のグラフの畳み込み出力を得る。
【数28】
グラフ畳み込みネットワークは、第l層グラフ畳み込み結果
【数29】
を元に入力された多変量時系列セグメントXと残差接続を行い、第l層グラフ畳み込みの最終出力
【数30】
を得る。残差接続の導入は、勾配の消失を防止し、モデルのトレーニングを容易にするためである。
多層グラフ畳み込みプロセスにより、
【数31】
における各ノードは、近隣ノードから関連情報を収集し、続いて時間膨張畳み込み層に伝達する。
【0030】
(2)時間膨張畳み込みモジュールは、セグメントグラフ畳み込みモジュールから出力された第一出力信号を多層積層の膨張畳み込み付きのゲートリニアユニットに入力し、さらに各系列内の特徴を抽出して次元縮退を行い、第二出力信号を得る。具体的には、上記得られた最終グラフ畳み込み結果
【数8】
を時間膨張畳み込みモジュールに入力し、合計C層の時間膨張畳み込みを行い、時間膨張畳み込みモジュールの最終出力
【数32】
を得る。C層の時間膨張畳み込み層を積み重ね、各層の時間膨張畳み込み層は、膨張畳み込み付きのゲートリニアユニットGLU(Gate Linear Unit)であり、特徴学習部と信号量制御部を含み、各変数の時間変化規則を学習することができ、各畳み込み層は、フィルタと信号閾値の二つの信号経路に分けられる。特徴学習部は、線形加重により信号の隠れ特徴を学習する。信号量制御部は、sigmoid活性化関数を用いて、現在の畳み込み層の次の層への出力信号量を制御する。時間膨張畳み込みモジュールにおける具体的なプロセスは、下記S21~S22に示す。
S21では、C層時間膨張畳み込みを順次実行する、そのうち任意の第l層時間膨張畳み込みのプロセスは、以下のように示す。
【数33】
ここで、
【数34】
である。
【数35】
は、前の膨張畳み込み層の出力であり、
【数36】
は、行列点乗(即ちアダマール積)を表し、
【数37】
は、sigmoid活性化関数を表し、
【数38】
は、膨張畳み込み操作を表し、
【数39】
及び
【数40】
は、それぞれ二部分の畳み込みカーネルの学習可能なパラメータを表し、二部分の畳み込みカーネルの数はMであり、畳み込みカーネルの大きさはC1であり、膨張率はDである。多くの時系列は、相対的に固定されたサンプリング周波数(例えば1時間又は10分間)を有し、且つ異なる時間スケールで周期性を有するため、ここでの膨張畳み込みは膨張率として
【数41】
を用いることができ、それにより畳み込みカーネルの受容野を小さな時間スケールから大きな時間スケールまでよりよくカバーできるようにした(即ち膨張率が
【数42】
であり、サンプリング周波数が1時間である場合、畳み込みカーネルの受容野は、連続数日の同一の時間をカバーする)。
S22では、C層の時間膨張畳み込みがそれぞれ出力した信号
【数43】
を得た後、各層の時間膨張畳み込みが出力した信号
【数43】
に対して重み付け重畳を行い、さらに一層の一般的な畳み込みを用いて信号を予測目標の大きさ(多変量時系列予測モデルの予測出力の大きさ)に処理し、得られた時間膨張畳み込みモジュールの最終出力は以下のとおりである。
【数44】
ここで、
【数45】
は、第c層に畳み込まれた信号
【数43】
を重み付けする際のトレーニング可能な重み行列である。
【数46】
は、通常の畳み込みを表し、畳み込みカーネルの数は、
【数47】
であり、畳み込みカーネルのサイズは、
【数48】
である。
【数49】
は、異なる拡張速度の畳み込み出力を重畳し、異なる受容野の系列情報を捕捉することができる。
【0031】
(3)時間情報補強モジュールは、入力された多元時間序列セグメントをLSTMネットワークに入力し、LSTMネットワークの各隠れステップの信号を時間に従ってグループ化し、且つ各グループに注意力メカニズムを応用してセグメントコンテキストベクトルを抽出し、続いてセグメントコンテキストベクトルに注意力メカニズムを応用して時間コンテキストベクトルを生成し、最後に時間コンテキストベクトルをLSTMネットワーク隠れ層の最後の信号とつなぎ合わせ、且つ、つなぎ合わせの結果を一層の全接続層を経て、第三出力信号を得る。
【0032】
具体的には、入力モデルの多変量時系列セグメントXを時間情報増強モジュールに入力し、時間情報補強信号
【数50】
を得る。時間情報補強モジュールにおいて実行されるフローは、下記S31~S34に示すとおりである。
S31では、まずN個の隠蔽層ユニットを有するLSTMネットワークにより特徴抽出を行い、且つセグメント数のハイパーパラメータPに基づいて長さがWのLSTMネットワーク隠蔽層出力
【数51】
をセグメント化し、Pセグメントのセグメント隠蔽層信号
【数52】
を得る。
【数53】
【数54】
S32では、続いて得られたセグメント隠蔽層信号
【数52】
をトレーニング可能なパラメータ
【数55】
によって重み付けした後に
【数56】
を得て、
【数56】
は、Softmax関数によって計算して対応するセグメント重み値
【数57】
を得て、各セグメント隠蔽層信号
【数52】
と各セグメント重み値
【数57】
によって重み付け加算してセグメントコンテキストベクトル
【数58】
を得る。
【数59】
【数60】
【数61】
S33では、さらにセグメントコンテキストベクトル
【数58】
をトレーニング可能なパラメータ
【数62】
によって重み付けした後に
【数63】
を得て、
【数63】
にS個の時間ステップの隠蔽層信号
【数63】
を含み、
【数64】
はSoftmax関数によって計算して時間ステップ重み値
【数65】
を得て、時間コンテキストベクトル
【数66】
は、各時間ステップの隠蔽層信号
【数64】
と時間ステップ重み値
【数65】
によって重み付けして加算して得る。
【数67】
【数68】
【数69】
S34では、最後に得られた時間コンテキストベクトル
【数66】
をLSTMネットワーク隠蔽層の最後の時間ステップ信号
【数70】
とつなぎ合わせ、一層の全接続層を介して時間情報補強信号を出力する。
【数71】
式において、WA及びbはそれぞれ全接続層の学習可能な重み及びバイアスを表す。
【0033】
(4)最後に第二出力信号と第三出力信号を加算し、逆正規化した後に多変量時系列予測モデルの最終予測出力を得る。
具体的には、時間膨張畳み込みモジュールの最終的な出力
【数49】
と時間情報補強モジュールから出力された時間情報補強信号
【数50】
を加算し、且つ逆正規化した後にネットワークモデルの最終的な予測出力を得る。
【数72】
式において、
【数73】
は、逆正規化係数を表す。
なお、ここでの逆正規化は、入力データが行う正規化に対応するので、各エネルギー量監視装置の予測値に対応する逆正規化係数
【数73】
は、エネルギー量監視装置が記録する対応する時系列最大値である。
【0034】
上記多変量時系列予測モデルにおける一部のハイパーパラメータは、実際に基づいて最適化することができ、本発明の実施例において、時間ウィンドウの長さWは、168を取り、時間ウィンドウのスライドステップsは、1を取る。セグメント数ハイパーパラメータPは、7である。グラフ畳み込みネットワークにおけるグラフ畳み込み層数Gは、2である。時間膨張畳み込みモジュールの時間膨張畳み込み層数Cは、5であり、各層の畳み込みカーネルの数Mは、24であり、畳み込みカーネルの大きさC1は、1×3であり、5層の畳み込みカーネルの膨張率Dは、それぞれ1、3、6、12、24を取る。時間膨張畳み込みモジュールにおいて、最後の層の通常畳み込みの畳み込みカーネル数
【数47】
は、1を取り、畳み込みカーネルのサイズ
【数48】
は、1×76を取る。なお、以上のハイパーパラメータは、本発明の実施例の好ましいパラメータにすぎず、絶対的なものではない。
【0035】
説明すべきものとして、上記多変量時系列予測モデルは、応用前に予めトレーニングを行う必要があり、具体的なトレーニング方式は、従来技術に属する。トレーニングに用いられる損失関数は、平均絶対誤差(MAE)を用いることができる。具体的にトレーニングするとき、多変量時系列予測モデルの最終的な予測出力
【数74】
と入力サンプルの予測目標実際ラベル値Yに対して平均絶対誤差計算を行い、それにより損失関数値Lを得る。
【数75】
Yは、予め正規化されているため、MAE計算を行うには逆正規化を行う必要がある。
【0036】
上記モデルをトレーニングする前に、トレーニングデータセットを予め構築する必要があり、これは従来技術に属する。理解を容易にするために以下に簡単に説明し、そのフローは、以下を参照することができる。
1)ユーザが監視する必要があるN個のエネルギー量監視装置に記録された時系列
【数76】
を取得し、各時系列
【数76】
は、それぞれの最大値をスケール値として最大値正規化を行い、正規化時系列
【数77】
を形成し、全ての正規化時系列
【数77】
から多変量時系列
【数78】
を構成する。
上記最大値正規化は、従来技術に属し、各時系列
【数76】
における最大値を
【数79】
とすると、それをスケール値として各系列
【数76】
に対してそれぞれ最大値正規化を行うことができる。
【数80】
ここで、
【数76】
は、i番目の時系列を表し、
【数77】
は、i番目の最少・最大正規化された後の履歴時系列を表す。
2)固定長さWの時間ウィンドウで多変量時系列
【数76】
上に予め設定されたステップサイズsに従ってスライドし、スライド中に各時間ウィンドウは、多変量時系列
【数81】
からウィンドウ内の多変量時系列セグメント
【数82】
を抽出し、且つ多変量時系列
【数81】
上の時間ウィンドウ後の第h番目の時間ステップに位置する値
【数83】
をモデルの回帰タグとし、モデルのトレーニングデータセットを生成し、データセット中の各サンプルを
【数84】
として表す。
【0037】
上記トレーニングデータセットを得た後にモデルトレーニングに用いることができ、得られた予測損失Lに基づいてモデルのランダム勾配を計算することができ、AdamW最適化器を用いて学習率α、減衰重みβで、ニューラルネットワークモデルの全てのトレーニング可能なパラメータを更新し、このようにトレーニング過程を繰り返し、モデルが収束するまで、モデルをエネルギー予測モジュールに保存する。これにより、実際の予測時に、各エネルギー量監視装置に記録された時系列データから現在の最も近い一つの時間ウィンドウ内の系列セグメントを取得してリアルタイムの多変量時系列セグメントを構成し、リアルタイムの多変量時系列セグメントを正規化した後にエネルギー予測モジュールに記憶されたトレーニングされた多変量時系列予測モデルに入力し、未来の指定時間ステップ時に各エネルギー量監視装置に対応する記録値を予測する。
【0038】
本発明の一実施例において、上記多変量時系列予測モデルが達成できる予測性能を示すために、それを天然ガスデータセット(Nature-gas-1及びNature-gas-2)、太陽データセット(Solar-energy)及び電力データセット(Electricity)でテストする。モデルの性能測定指標を評価するために、相対平方根誤差(Root Relative Squared Error,RSE)と経験相関係数(Empirical Correlation Coefficient,CORR)を選択する。いくつかのデータセットの詳細は、以下のとおりである。
天然ガスデータセット(Nature-gas-1及びNature-gas-2)の、二つのデータセットは、いずれもあるガス会社の事業者の天然ガス流量計データベースから由来する。予め流量計の標準状態積算流量に対して再サンプリング、補間及び差分を行って天然ガス標準状態流量系列を生成する。異なる天然ガスセンサーは、異なるアップロード周波数を有するため、多変量時系列予測モデルが異なるサンプリング周波数での表現を表示するために、それぞれ二つの異なる採用周波数天然ガスデータセットを構築する。そのうち、Natural-gas-1は、2020年7月1日から2021年9月5日までの52個の高周波天然ガス流量系列を含み、サンプリング周波数は、10分間である。Natural-gas-2は、2020年3月9日から2021年9月5日までの118個の低周波天然ガス流量系列を含み、サンプリング周波数は、1Hである。天然ガス業界の特殊性のため、中国春節前後に一部の工商ユーザがガス使用を一時停止した状態になったため、二つのデータセットの2021年2月のデータを削除する。
太陽エネルギーデータセット(Solar-energy)は、アラバマ州からの137太陽光発電所の2006年の太陽生産記録を含み、サンプリング周波数は10分間である。
電力データセット(Electricity)は、UCI機器学習データセットからのものであり、2012年から2014年までの321顧客分の電力使用量が含まれる。元のデータのサンプリング周波数は、15分間であり、ここでそれを1時間当たりの電気使用量データに変換する。
同時に異なる予測ステップでの予測性能のために、本実施例は、多変量時系列予測モデルの予測ステップを4組設置し、すなわちh=3、6、12、24でそれぞれ実験を行い、異なる予測ステップは、時間ウィンドウを入力した後の第h個の時間ステップの値を予測目標とすることを意味する。この多変量時系列予測モデルのテストセットでの実験結果を表1~表4に示す。
表1 モデルのNature-gas-1データセットにおける表現
【表1】
表2 モデルのNature-gas-2データセットにおける表現
【表2】
表3 モデルのSolar-energyデータセットにおける表現
【表3】
表4 モデルのElectricityデータセットにおける表現
【表4】
このように、本発明の多変量時系列予測モデルは、異なるエネルギー量及び異なる時間ステップの予測タスクにおいて良好に表現され、異なる未来時刻のエネルギー量を正確に予測することができる。
【0039】
また、時間の経過とともにエネルギー量の傾向が変化するため、前述のエネルギー予測モジュールに格納されている多変量時系列予測モデルは、常に最新のデータに基づいてオンライン学習を行う必要がある。したがって、本発明の別の実施形態では、上記のエネルギー時系列データ予測システムは、各エネルギー量監視装置が記憶する時系列から新規に追加されたデータを常に抽出し、上記の多変量時系列予測モデルのトレーニングサンプルとして構築するオンライン学習モジュールをさらに含む。トレーニングサンプルが所定の数まで蓄積された後、あるいは前回のモデルトレーニングから所定の時間に達した後、それらのトレーニングサンプルを再利用して多変量時系列予測モデルのトレーニングを行い、多変量時系列予測モデルのオンライン学習を実現する。各トレーニングが終了すると、エネルギー予測モジュールに最新のトレーニングで得られた多変量時系列予測モデルを格納し、実際の予測タスクを行うことができる。
【0040】
注意しなければならないのは、上述のエネルギー時系列データ予測システムの中で、エネルギー予測モジュールの中に初期保存された多変量時系列予測モデルは、オフラインでトレーニングされたものであってもよいし、履歴時系列データをプラットフォームに導入した後に上述のオンライン学習モジュールを呼び出してオンラインで直接トレーニングされたものであってもよいことである。オンライン学習モジュールを呼び出してオンラインで直接トレーニングする方法は、このシステムの利用のハードルをさらに下げることができ、ユーザが自らトレーニングを行うことなく、関連する履歴時系列データを直接プラットフォームに導入することができる。
【0041】
上述のエネルギー時系列データ予測システムにおいて、データオンライン収集モジュールは、リアルタイムで動作するが、入力系列抽出モジュールとエネルギー量予測モジュールは予測指令を受け取ってから動作する。この予測指令は、システム自身が定期的に送信してもよいし、外部のデバイスや端末によってトリガされてもよい。
【0042】
したがって、同じ発明の発想に基づいて、本発明の別の実施例では、上記実施例で説明したエネルギー時系列データ予測システムが動作するエネルギー時系列データ予測プラットフォームが提供され、予測プラットフォームは、外部にデータアクセス及び指令入力インタフェースを提供する。
【0043】
ここでいう予測プラットフォームは、ローカルサーバであってもクラウドプラットフォームであってもよいことに注意が必要である。
【0044】
同じ発明の発想に基づいて、本発明の別の実施例では、上述した実施例におけるエネルギー時系列データ予測プラットフォームとの通信接続を確立し、予測プラットフォームによって提供されるインタフェースを介してプラットフォーム内のデータにアクセスし、プラットフォームにタスク指令を送信することができるスマート端末装置が提供される。
【0045】
該スマート端末装置がプラットフォームに送信するタスク指令は、予測タスクを実行する予測指令と、オンライン学習モジュールを呼び出してモデルトレーニングをやり直す再トレーニング指令と、予測を必要とする時間ステップを指定する指定指令とを含むことができ、具体的には実際の需要に応じて設計することができる。
【0046】
図5に示すように、一つのクラウドプラットフォーム形式の上述したエネルギー時系列データ予測プラットフォーム、エネルギー量モニタリング設備、及びスマート端末装置のデータ伝送形式を示した。ここで、スマート端末装置は、任意のプログラムを実行可能なコンピュータ電子機器であり、具体的には応用シーンに応じて選択することができる。上記のコンピュータ電子機器には、メモリとプロセッサが必要である。メモリは、コンピュータプログラムを記憶する。プロセッサは、前述のコンピュータプログラムを実行する際に、対応するシステムモジュールの機能を実現するためのものである。上述したメモリは、ランダムアクセスメモリ(Random Access Memory,RAM)を用いてもよく、少なくとも1つの磁気ディスクメモリなどの不揮発性メモリ(Non-Volatile Memory,NVM)を用いてもよいことが理解される。また、記憶媒体は、USBメモリ、リムーバブルハードディスク、磁気ディスク又は光ディスクなど、プログラムコードを記憶することができる種々の媒体であってもよい。上記のプロセッサは、中央処理装置(Central Processing Unit)、ネットワーク処理装置(Network Processor)等を含む汎用プロセッサであってもよいことが理解される。また、デジタル信号プロセッサ(Digital SignalProcessing,DSP)、特定用途向け集積回路(Application Specific Integrated Circuit,ASIC)、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array)、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであってもよいが、本発明の実施例の好適な態様として、上記スマート端末装置は、スマートフォン、タブレット、PCであってもよい。
【0047】
なお、上述した実施例が提供するシステム、プラットフォーム、及び端末装置では、各モジュールは、実行される時点で逐次実行されるプログラムモジュールに相当するので、本質的にはデータ処理の流れを実行するものである。説明の便宜及び簡潔さのために、上述したシステムの特定の動作プロセスは、上述した方法の実施例における対応するプロセスを参照することができることを当業者は明確に理解することができ、ここではこれ以上言及しない。本明細書で提供される実施形態では、上記方法及びシステムにおけるステップ又はモジュールの区分は、1つの論理機能的な区分にすぎず、実際に実現される場合には、他の区分方式があってもよく、例えば複数のモジュール又はステップが結合若しくは統合されてもよく、1つのモジュール又はステップが分割されてもよい。
【0048】
上記の実施形態は、本発明のより良い態様に過ぎず、本発明を限定するものではない。当該技術分野の通常の技術者は、本発明の精神及び範囲を逸脱することなく、種々の変更及び変形を行うことができる。したがって、均等置換又は等価変換の方法で得られた技術的解決手段は、すべて本発明の保護範囲に含まれる。
【要約】      (修正有)
【課題】電力、天然ガス等のエネルギーデータに汎用性のプラットフォームを提供し、さらに外部に予測サービスを提供し、且つ、プラットフォームが対応するスマート端末と連携でき、予測タスクのリアルタイム公開、問い合わせ及び可視化表示を実現するエネルギー時系列データ予測システム、プラットフォーム及びスマート端末装置を提供する。
【解決手段】エネルギー時系列データ予測システムは、エネルギー量の多変量時系列予測に対し、データオンライン収集モジュールによってリアルタイムなエネルギー量データを収集し、且つ、時系列を構築し、続いて予測する必要がある時に入力系列抽出モジュールによって最新の多変量時系列セグメントを抽出し、予めトレーニングされた多変量時系列予測モデルによって予測する。
【選択図】図1
図1
図2
図3
図4
図5