知財求人 - 知財ポータルサイト「IP Force」
特許6994812複数のセンサの時系列の計測値群における欠損値を補完するプログラム、装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-16
(45)【発行日】2022-01-14
(54)【発明の名称】複数のセンサの時系列の計測値群における欠損値を補完するプログラム、装置及び方法
(51)【国際特許分類】
G06N 3/04 20060101AFI20220106BHJP
【ＦＩ】
G06N3/04 145
G06N3/04 154
【請求項の数】
14
(21)【出願番号】P 2019082109
(22)【出願日】2019-04-23
(65)【公開番号】P2020181256
(43)【公開日】2020-11-05
【審査請求日】2021-02-16
【早期審査対象出願】
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】小島 亮一
(72)【発明者】
【氏名】吉原 貴仁
【審査官】多胡 滋
(56)【参考文献】
【文献】特開２０１９－１６２４０８（ＪＰ，Ａ）
【文献】特開２０１７－２０７９０４（ＪＰ，Ａ）
【文献】特開２００８－３０４９７０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００
(57)【特許請求の範囲】
【請求項1】
複数のセンサそれぞれから周期tm毎の計測値群を時系列に入力し、潜在表現を出力するエンコーダとしてコンピュータを機能させるプログラムであって、前記エンコーダは、
各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する計測値群生成手段と、
各センサiについて、シフト計測値群ｘi,j毎に時系列直列に接続された各再帰型ニューラルネットワークが、各シフト計測値群ｘi,jと、時系列前段の再帰型ニューラルネットワークの隠れ層ベクトルｈi,jとを入力し、時系列後段へ隠れ層ベクトルｈi,j+1を出力する特徴抽出手段と、
各センサiについて、末端の再帰型ニューラルネットワークｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する潜在表現生成エンジンと
してコンピュータを機能させることを特徴とするプログラム。
【請求項2】
前記潜在表現ｚiを入力し、センサi毎に時系列の計測値群を出力するデコーダによってＶＡＥ(Variational Autoencoder)として機能させ、前記デコーダは、
各センサiについて、前記潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する潜在表現サンプリング手段と、
各センサiについて、サンプリングされた前記シフト計測値群ｘi,jを入力する、前記エンコーダの前記特徴抽出手段の逆処理となる特徴再生手段と、
各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する計測値群再生手段と
してコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
【請求項3】
学習段階によれば、前記エンコーダの前記潜在表現生成エンジンは、目的関数の要素として、
潜在表現ｚiを標準正規分布に近づけると共に、
前記エンコーダに入力された訓練データの単位時間Thの計測値群ｘiと、前記デコーダから出力された訓練データの単位時間Thの計測値群ｘiとの誤差を小さくする
べく学習する
ようにコンピュータを機能させることを特徴とする請求項２に記載のプログラム。
【請求項4】
運用段階によれば、前記エンコーダによれば、無効なセンサiについて、周期tm毎の計測値群に所定値を埋め込み、
前記デコーダによれば、無効なセンサiについて、前記計測値群再生手段から出力された所定期間Tdの計測値群ｘiに補完する
ようにコンピュータを機能させることを特徴とする請求項２又は３に記載のプログラム。
【請求項5】
前記特徴抽出手段における前記再帰型ニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）は、ＧＲＵ(Gated Recurrent Unit)又はＬＳＴＭ(Long Short Term Memory)であるようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
【請求項6】
前記特徴抽出手段は、シフト計測値群ｘi,j毎に、１次元畳み込みニューラルネットワーク（１Ｄ－ＣＮＮ(One Dimensional - Convolutional Neural Network)）を介して、前記再帰型ニューラルネットワークへ入力する
ようにコンピュータを機能させることを特徴とする請求項１から５のいずれか１項に記載のプログラム。
【請求項7】
前記特徴抽出手段における前記１次元畳み込みニューラルネットワークは、３次元フィルタで隣接３要素を畳み込むようにコンピュータを機能させることを特徴とする請求項６に記載のプログラム。
【請求項8】
前記特徴抽出手段における前記１次元畳み込みニューラルネットワークは、複数の１次元畳み込みニューラルネットワークを直列接続したものであるようにコンピュータを機能させることを特徴とする請求項６又は７に記載のプログラム。
【請求項9】
前記エンコーダにおける前記潜在表現生成エンジンは、各センサiにおける前記潜在表現ｚiを、３次元平均ベクトルμと３次元分散共分散行列の対角成分Σ1によって表現するようにコンピュータを機能させることを特徴とする請求項１から８のいずれか１項に記載のプログラム。
【請求項10】
前記センサは、温度センサ、湿度センサ、照度センサ、動きセンサ及び／又は消費電力センサであり、前記時系列の計測値群は、時系列マルチモーダルデータである
ようにコンピュータを機能させることを特徴とする請求項１から９のいずれか１項に記載のプログラム。
【請求項11】
複数のセンサそれぞれから時系列の計測値群を入力し、潜在表現を出力するエンコーダを有する装置であって、前記エンコーダは、
各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する計測値群生成手段と、
各センサiについて、シフト計測値群ｘi,j毎に時系列直列に接続された各再帰型ニューラルネットワークが、各シフト計測値群ｘi,jと、時系列前段の再帰型ニューラルネットワークの隠れ層ベクトルｈi,jとを入力し、時系列後段へ隠れ層ベクトルｈi,j+1を出力する特徴抽出手段と、
各センサiについて、末端の再帰型ニューラルネットワークｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する潜在表現生成エンジンと
を有することを特徴とする装置。
【請求項12】
前記潜在表現ｚiを入力し、センサi毎に時系列の計測値群を出力するデコーダによってＶＡＥとして構成し、前記デコーダは、
各センサiについて、前記潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する潜在表現サンプリング手段と、
各センサiについて、サンプリングされた前記シフト計測値群ｘi,jを入力する、前記エンコーダの前記特徴抽出手段の逆処理となる特徴再生手段と、
各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する計測値群再生手段と
を有することを特徴とする請求項１１に記載の装置。
【請求項13】
複数のセンサそれぞれから時系列の計測値群を入力し、潜在表現を出力する装置のエンコード方法であって、前記装置は、
各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する第１のステップと、
各センサiについて、シフト計測値群ｘi,j毎に時系列直列に接続された各再帰型ニューラルネットワークが、各シフト計測値群ｘi,jと、時系列前段の再帰型ニューラルネットワークの隠れ層ベクトルｈi,jとを入力し、時系列後段へ隠れ層ベクトルｈi,j+1を出力する第２のステップと、
各センサiについて、末端の再帰型ニューラルネットワークｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する第３のステップと
を実行することを特徴とする装置のエンコード方法。
【請求項14】
請求項１３に記載の装置のエンコード方法に続いて実行され、前記潜在表現ｚiを入力し、センサi毎に時系列の計測値群を出力するように、ＶＡＥとして構成した装置のデコード方法であって、各センサiについて、前記潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する第４のステップと、
各センサiについて、サンプリングされた前記シフト計測値群ｘi,jを入力する、第２のステップの逆処理となる第５のステップと、
各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する第６のステップと
してコンピュータを機能させることを特徴とする装置のデコード方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のセンサから出力された時系列の計測値群の中で、欠損値を補完する技術に関する。例えばスマートホームにおけるマルチモーダル(multi-modal)データに適する。
【背景技術】
【0002】
スマートホームとは、ＩｏＴ(Internet of Things)やＡＩ(Artificial Intelligence)の技術を用いて、住人にとってより安全・安心で快適な暮らしを実現するシステムをいう。このシステムは、住宅内に設置された複数のセンサからマルチモーダルデータを収集し、人が知覚可能な室内状態を分析する。
マルチモーダルデータには、時系列データと非時系列データとがある。時系列マルチモーダルデータとは、特徴に時間次元を持ち、周期的（例えば５分間隔）に取得された計測値群である。一方で、非時系列マルチモーダルデータは、特徴に時間次元を持たない。
時系列マルチモーダルデータとしては、例えば以下のようなものがある。
気温（触覚）、湿度（触覚）、照度（視覚）、動き（視覚）、
音声（聴覚）、映像（視覚）、消費電力
マルチモーダルデータには、時系列データと非時系列データとがある。時系列マルチモーダルデータとは、特徴に時間次元を持ち、周期的（例えば５分間隔）に取得された計測値群である。一方で、非時系列マルチモーダルデータは、特徴に時間次元を持たない。
時系列マルチモーダルデータとしては、例えば以下のようなものがある。
気温（触覚）、湿度（触覚）、照度（視覚）、動き（視覚）、
音声（聴覚）、映像（視覚）、消費電力
【0003】
スマートホームに設置されたセンサは、無線によってエッジコンピュータへ、逐次、その計測値を送信する。そのために、例えば以下のような場合に、計測値群からなる時系列マルチモーダルデータを収集できないという問題がある。
センサが、無線状態の劣化によってエッジコンピュータとの間で通信できない
センサが、低消費電力を維持するために、スリープ（無効状態）している
センサが、故障している
このような場合に、できる限り、時系列マルチモーダルデータにおける欠損値を補完する必要がある。
センサが、無線状態の劣化によってエッジコンピュータとの間で通信できない
センサが、低消費電力を維持するために、スリープ（無効状態）している
センサが、故障している
このような場合に、できる限り、時系列マルチモーダルデータにおける欠損値を補完する必要がある。
【0004】
従来、複数の計測器から定期的にデータを収集し、欠損したデータを再取得する技術がある（例えば特許文献１参照）。この技術によれば、欠損したデータの時刻値を起点として連続する所定回数分の再取得するグループを設定し、そのグループ毎に、当該計測器が保持するデータを再取得する。
【0005】
尚、非時系列マルチモーダルデータについては、深層生成モデルを用いて、画像及びテキストの欠損を高品質に補完する技術もある（例えば非特許文献１参照）。但し、この技術によれば、データの時系列変化を補完することはできない。
【先行技術文献】
【特許文献】
【0006】
【文献】ＷＯ２０１８／００３０５３
【非特許文献】
【0007】
【文献】arXiv : 1801.0870, Improving Bi-directional Generation between Different Modalities with Variational Autoencoders、[online]、［平成３１年４月１５日検索］、インターネット＜URL:https://arxiv.org/abs/1801.08702＞
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献１に記載の技術によれば、データの再取得時にも通信環境が改善しなかった場合や、計測器自体がスリープ状態や故障となってる場合、結局、そのデータの欠損を補完することはできない。即ち、この技術は、センサ毎のデータを補完するに過ぎない。
【0009】
これに対し、本願の発明者らは、複数のセンサにおける時系列マルチモーダルデータの関連性の中で、一部のセンサの時系列データの欠損を補完することができないか、と考えた。
【0010】
そこで、本発明は、複数のセンサにおける時系列の計測値群同士の関連性に基づいて、一部のセンサにおける欠損値を補完するプログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明によれば、複数のセンサそれぞれから周期tm毎の計測値群を時系列に入力し、潜在表現を出力するエンコーダとしてコンピュータを機能させるプログラムであって、
エンコーダは、
各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する計測値群生成手段と、
各センサiについて、シフト計測値群ｘi,j毎に時系列直列に接続された各再帰型ニューラルネットワークが、各シフト計測値群ｘi,jと、時系列前段の再帰型ニューラルネットワークの隠れ層ベクトルｈi,jとを入力し、時系列後段へ隠れ層ベクトルｈi,j+1を出力する特徴抽出手段と、
各センサiについて、末端の再帰型ニューラルネットワークｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する潜在表現生成エンジンと
してコンピュータを機能させることを特徴とする。
エンコーダは、
各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する計測値群生成手段と、
各センサiについて、シフト計測値群ｘi,j毎に時系列直列に接続された各再帰型ニューラルネットワークが、各シフト計測値群ｘi,jと、時系列前段の再帰型ニューラルネットワークの隠れ層ベクトルｈi,jとを入力し、時系列後段へ隠れ層ベクトルｈi,j+1を出力する特徴抽出手段と、
各センサiについて、末端の再帰型ニューラルネットワークｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する潜在表現生成エンジンと
してコンピュータを機能させることを特徴とする。
【0012】
本発明のプログラムにおける他の実施形態によれば、
潜在表現ｚiを入力し、センサi毎に時系列の計測値群を出力するデコーダによってＶＡＥ(Variational Autoencoder)として機能させ、
デコーダは、
各センサiについて、潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する潜在表現サンプリング手段と、
各センサiについて、サンプリングされたシフト計測値群ｘi,jを入力する、エンコーダと同一の特徴抽出手段と、
各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する計測値群再生手段と
してコンピュータを機能させることも好ましい。
潜在表現ｚiを入力し、センサi毎に時系列の計測値群を出力するデコーダによってＶＡＥ(Variational Autoencoder)として機能させ、
デコーダは、
各センサiについて、潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する潜在表現サンプリング手段と、
各センサiについて、サンプリングされたシフト計測値群ｘi,jを入力する、エンコーダと同一の特徴抽出手段と、
各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する計測値群再生手段と
してコンピュータを機能させることも好ましい。
【0013】
本発明のプログラムにおける他の実施形態によれば、
学習段階によれば、
エンコーダの潜在表現生成エンジンは、目的関数の要素として、
潜在表現ｚiを標準正規分布に近づけると共に、
エンコーダに入力された訓練データの単位時間Thの計測値群ｘiと、デコーダから出力された訓練データの単位時間Thの計測値群ｘiとの誤差を小さくする
べく学習する
ようにコンピュータを機能させることも好ましい。
学習段階によれば、
エンコーダの潜在表現生成エンジンは、目的関数の要素として、
潜在表現ｚiを標準正規分布に近づけると共に、
エンコーダに入力された訓練データの単位時間Thの計測値群ｘiと、デコーダから出力された訓練データの単位時間Thの計測値群ｘiとの誤差を小さくする
べく学習する
ようにコンピュータを機能させることも好ましい。
【0014】
本発明のプログラムにおける他の実施形態によれば、
運用段階によれば、
エンコーダによれば、無効なセンサiについて、周期tm毎の計測値群に所定値を埋め込み、
デコーダによれば、無効なセンサiについて、計測値群再生手段から出力された所定期間Tdの計測値群ｘiに補完する
ようにコンピュータを機能させることも好ましい。
運用段階によれば、
エンコーダによれば、無効なセンサiについて、周期tm毎の計測値群に所定値を埋め込み、
デコーダによれば、無効なセンサiについて、計測値群再生手段から出力された所定期間Tdの計測値群ｘiに補完する
ようにコンピュータを機能させることも好ましい。
【0015】
本発明のプログラムにおける他の実施形態によれば、
特徴抽出手段における再帰型ニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）は、ＧＲＵ(Gated Recurrent Unit)又はＬＳＴＭ(Long Short Term Memory)である
ようにコンピュータを機能させることも好ましい。
特徴抽出手段における再帰型ニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）は、ＧＲＵ(Gated Recurrent Unit)又はＬＳＴＭ(Long Short Term Memory)である
ようにコンピュータを機能させることも好ましい。
【0016】
本発明のプログラムにおける他の実施形態によれば、
特徴抽出手段は、
シフト計測値群ｘi,j毎に、１次元畳み込みニューラルネットワーク（１Ｄ－ＣＮＮ(One Dimensional - Convolutional Neural Network)）を介して、再帰型ニューラルネットワークへ入力する
ようにコンピュータを機能させることも好ましい。
特徴抽出手段は、
シフト計測値群ｘi,j毎に、１次元畳み込みニューラルネットワーク（１Ｄ－ＣＮＮ(One Dimensional - Convolutional Neural Network)）を介して、再帰型ニューラルネットワークへ入力する
ようにコンピュータを機能させることも好ましい。
【0017】
本発明のプログラムにおける他の実施形態によれば、
特徴抽出手段における１次元畳み込みニューラルネットワークは、３次元フィルタで隣接３要素を畳み込む
ようにコンピュータを機能させることも好ましい。
特徴抽出手段における１次元畳み込みニューラルネットワークは、３次元フィルタで隣接３要素を畳み込む
ようにコンピュータを機能させることも好ましい。
【0018】
本発明のプログラムにおける他の実施形態によれば、
特徴抽出手段における１次元畳み込みニューラルネットワークは、複数の１次元畳み込みニューラルネットワークを直列接続したものである
ようにコンピュータを機能させることも好ましい。
特徴抽出手段における１次元畳み込みニューラルネットワークは、複数の１次元畳み込みニューラルネットワークを直列接続したものである
ようにコンピュータを機能させることも好ましい。
【0019】
本発明のプログラムにおける他の実施形態によれば、
エンコーダにおける潜在表現生成エンジンは、各センサiにおける潜在表現ｚiを、３次元平均ベクトルμと３次元分散共分散行列の対角成分Σ1によって表現する
ようにコンピュータを機能させることも好ましい。
エンコーダにおける潜在表現生成エンジンは、各センサiにおける潜在表現ｚiを、３次元平均ベクトルμと３次元分散共分散行列の対角成分Σ1によって表現する
ようにコンピュータを機能させることも好ましい。
【0021】
本発明のプログラムにおける他の実施形態によれば、
センサは、温度センサ、湿度センサ、照度センサ、動きセンサ及び／又は消費電力センサであり、
時系列の計測値群は、時系列マルチモーダルデータである
ようにコンピュータを機能させることも好ましい。
センサは、温度センサ、湿度センサ、照度センサ、動きセンサ及び／又は消費電力センサであり、
時系列の計測値群は、時系列マルチモーダルデータである
ようにコンピュータを機能させることも好ましい。
【0022】
本発明によれば、複数のセンサそれぞれから時系列の計測値群を入力し、潜在表現を出力するエンコーダを有する装置であって、
エンコーダは、
各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する計測値群生成手段と、
各センサiについて、シフト計測値群ｘi,j毎に時系列直列に接続された各再帰型ニューラルネットワークが、各シフト計測値群ｘi,jと、時系列前段の再帰型ニューラルネットワークの隠れ層ベクトルｈi,jとを入力し、時系列後段へ隠れ層ベクトルｈi,j+1を出力する特徴抽出手段と、
各センサiについて、末端の再帰型ニューラルネットワークｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する潜在表現生成エンジンと
を有することを特徴とする。
エンコーダは、
各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する計測値群生成手段と、
各センサiについて、シフト計測値群ｘi,j毎に時系列直列に接続された各再帰型ニューラルネットワークが、各シフト計測値群ｘi,jと、時系列前段の再帰型ニューラルネットワークの隠れ層ベクトルｈi,jとを入力し、時系列後段へ隠れ層ベクトルｈi,j+1を出力する特徴抽出手段と、
各センサiについて、末端の再帰型ニューラルネットワークｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する潜在表現生成エンジンと
を有することを特徴とする。
【0023】
本発明の装置における他の実施形態によれば、潜在表現ｚiを入力し、センサi毎に時系列の計測値群を出力するデコーダによってＶＡＥとして構成し、
デコーダは、
各センサiについて、潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する潜在表現サンプリング手段と、
各センサiについて、サンプリングされたシフト計測値群ｘi,jを入力する、エンコーダと同一の特徴抽出手段と、
各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する計測値群再生手段と
を有することも好ましい。
デコーダは、
各センサiについて、潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する潜在表現サンプリング手段と、
各センサiについて、サンプリングされたシフト計測値群ｘi,jを入力する、エンコーダと同一の特徴抽出手段と、
各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する計測値群再生手段と
を有することも好ましい。
【0024】
本発明によれば、複数のセンサそれぞれから時系列の計測値群を入力し、潜在表現を出力する装置のエンコード方法であって、
装置は、
各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する第１のステップと、
各センサiについて、シフト計測値群ｘi,j毎に時系列直列に接続された各再帰型ニューラルネットワークが、各シフト計測値群ｘi,jと、時系列前段の再帰型ニューラルネットワークの隠れ層ベクトルｈi,jとを入力し、時系列後段へ隠れ層ベクトルｈi,j+1を出力する第２のステップと、
各センサiについて、末端の再帰型ニューラルネットワークｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する第３のステップと
を実行することを特徴とする。
装置は、
各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する第１のステップと、
各センサiについて、シフト計測値群ｘi,j毎に時系列直列に接続された各再帰型ニューラルネットワークが、各シフト計測値群ｘi,jと、時系列前段の再帰型ニューラルネットワークの隠れ層ベクトルｈi,jとを入力し、時系列後段へ隠れ層ベクトルｈi,j+1を出力する第２のステップと、
各センサiについて、末端の再帰型ニューラルネットワークｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する第３のステップと
を実行することを特徴とする。
【0025】
前述の本発明の装置のエンコード方法に続いて実行され、潜在表現ｚiを入力し、センサi毎に時系列の計測値群を出力するように、ＶＡＥとして構成した装置のデコード方法であって、
各センサiについて、潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する第４のステップと、
各センサiについて、サンプリングされたシフト計測値群ｘi,jを入力する、第２のステップと同一処理の第５のステップと、
各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する第６のステップと
してコンピュータを機能させることを特徴とする。
各センサiについて、潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する第４のステップと、
各センサiについて、サンプリングされたシフト計測値群ｘi,jを入力する、第２のステップと同一処理の第５のステップと、
各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する第６のステップと
してコンピュータを機能させることを特徴とする。
【発明の効果】
【0026】
本発明のプログラム、装置及び方法によれば、複数のセンサにおける時系列の計測値群同士の関連性に基づいて、一部のセンサにおける欠損値を補完することができる。
【図面の簡単な説明】
【0027】
【図1】本発明のオートエンコーダにおける学習段階の機能構成図である。
【図2】本発明におけるエンコーダの機能説明図である。
【図3】本発明における特徴抽出部のＧＲＵの機能構成図である。
【図4】本発明のエンコーダにおける特徴抽出部の機能構成図である。
【図5】本発明の特徴抽出部における畳み込みニューラルネットワークの数値例である。
【図6】本発明のオートエンコーダにおける運用段階の機能構成図である。
【図7】本発明のデコーダにおける特徴再生部の機能構成図である。
【図8】本発明におけるセンサの計測値群の補完を表す説明図である。
【発明を実施するための形態】
【0028】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0029】
本発明は、複数のセンサからの時系列データの特徴を獲得するべく、深層学習モデルのオートエンコーダ（ＶＡＥ(Variational Autoencoder)）として構成したものである。
スマートホームのセンサとしては、例えば温度センサ、湿度センサ、照度センサ、動きセンサ、消費電力センサがある。これらセンサは、周期的に計測値群を出力し続ける。そして、これら計測値群は、時系列マルチモーダルデータとして収集される。
これら時系列マルチモーダルデータは、学習段階では訓練データとして、運用段階では運用データとして、オートエンコーダに入力される。
スマートホームのセンサとしては、例えば温度センサ、湿度センサ、照度センサ、動きセンサ、消費電力センサがある。これらセンサは、周期的に計測値群を出力し続ける。そして、これら計測値群は、時系列マルチモーダルデータとして収集される。
これら時系列マルチモーダルデータは、学習段階では訓練データとして、運用段階では運用データとして、オートエンコーダに入力される。
【0030】
＜＜学習段階＞＞
図１は、本発明のオートエンコーダにおける学習段階の機能構成図である。
図１は、本発明のオートエンコーダにおける学習段階の機能構成図である。
【0031】
図１によれば、オートエンコーダ１は、エンコーダ１１と、デコーダ１２と、学習モデル構築部１３とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【0032】
＜エンコーダ１１＞
エンコーダ１１は、複数のセンサそれぞれから周期tm毎の計測値群（マルチモーダルデータ）を時系列に入力し、潜在表現を出力する。この潜在表現とは、多次元正規分布と仮定したものである。
エンコーダ１１は、複数のセンサそれぞれから周期tm毎の計測値群（マルチモーダルデータ）を時系列に入力し、潜在表現を出力する。この潜在表現とは、多次元正規分布と仮定したものである。
【0033】
各センサiについて、例えば以下のような、所定期間Tdにおける周期tm毎の計測値群ｘiが入力される。
センサi ：気温センサ、湿度センサ、照度センサ、動きセンサ、電力センサ
所定期間Td ：１日（24時間）
周期tm ：5分
この場合、計測値群ｘiは、5分周期で288次元ベクトル（１日分）となる。
センサi ：気温センサ、湿度センサ、照度センサ、動きセンサ、電力センサ
所定期間Td ：１日（24時間）
周期tm ：5分
この場合、計測値群ｘiは、5分周期で288次元ベクトル（１日分）となる。
【0034】
図１によれば、５つのセンサから、以下のような時系列マルチモーダルデータｘ＝(ｘ1, ｘ2, ｘ3, ｘ4, ｘ5)が入力されている。
気温 ｘ1 ＝ (22.6, 22.4, 22.3, 22.3, ..., 24.4, 24.5, 23.4)
湿度 ｘ2 ＝ (62.0, 62.4, 63.3, 62.1, ..., 52.6, 52.5, 52.5)
照度 ｘ3 ＝ (18, 20, 21, 9, ..., 325, 345, 338)
動き ｘ4 ＝ (0, 0.4, 0.2, 1.0, ..., 0.4, 0.2, 0)
消費電力 ｘ5 ＝ (43, 40, 56, 22, ..., 58, 78, 77)
気温 ｘ1 ＝ (22.6, 22.4, 22.3, 22.3, ..., 24.4, 24.5, 23.4)
湿度 ｘ2 ＝ (62.0, 62.4, 63.3, 62.1, ..., 52.6, 52.5, 52.5)
照度 ｘ3 ＝ (18, 20, 21, 9, ..., 325, 345, 338)
動き ｘ4 ＝ (0, 0.4, 0.2, 1.0, ..., 0.4, 0.2, 0)
消費電力 ｘ5 ＝ (43, 40, 56, 22, ..., 58, 78, 77)
【0035】
尚、「動き」センサについては、例えば以下の動きの１分値を、５分毎に平均したものであってもよい。
動きを検知した場合 ：1
動きを検知しない場合：0
例えば、5分中3分で動きを検知していた場合、0.6 (=3/5)となる。
また、5分中5分で動きを検知していた場合、1.0 (=5/5)）となる。
動きを検知した場合 ：1
動きを検知しない場合：0
例えば、5分中3分で動きを検知していた場合、0.6 (=3/5)となる。
また、5分中5分で動きを検知していた場合、1.0 (=5/5)）となる。
【0036】
図１によれば、エンコーダ１１は、計測値群生成部１１１と、特徴抽出部１１２と、潜在表現生成エンジン１１３とを有する。
【0037】
［計測値群生成部１１１］
計測値群生成部１１１は、各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する。
計測値群生成部１１１は、各センサiについて、所定期間Tdにおける周期tm毎の計測値群ｘiを、単位時間Th毎に周期tmずつシフトさせた複数jのシフト計測値群ｘi,jを作成する。
【0038】
図２は、本発明におけるエンコーダの機能説明図である。
【0039】
図２によれば、温度センサにおける時系列の気温の計測値群ｘ1を表す。
ｘ1 ＝ (22.6, 22.4, 22.3, 22.3, ..., 24.4, 24.5, 23.4)
ｘ1(1) ＝00:00の気温22.6度
ｘ1(2) ＝00:05の気温22.4度
ｘ1(3) ＝00:10の気温22.3度
・・・・・
ｘ1(287)＝23:50の気温24.5度
ｘ1(288)＝23:55の気温23.4度
ｘ1 ＝ (22.6, 22.4, 22.3, 22.3, ..., 24.4, 24.5, 23.4)
ｘ1(1) ＝00:00の気温22.6度
ｘ1(2) ＝00:05の気温22.4度
ｘ1(3) ＝00:10の気温22.3度
・・・・・
ｘ1(287)＝23:50の気温24.5度
ｘ1(288)＝23:55の気温23.4度
【0040】
ここから更に、12要素分（＝5分周期で１時間分）の12次元ベクトルを生成する。そして、1要素ずつシフトさせて複数（j＝277）のシフト計測値群ｘi,jを作成する。
ｘ1,1,1＝(22.6, 22.4, 22.3, 22.3, 22.2, 22.5, 22.3, 22.5, 22.5,
22.5, 23.5, 23.0)
ｘ1,2,1＝( 22.4, 22.3, 22.3, 22.2, 22.5, 22.3, 22.5, 22.5,
22.5, 23.5, 23.0, 22.9)
ｘ1,3,1＝( 22.3, 22.3, 22.2, 22.5, 22.3, 22.5, 22.5,
22.5, 23.5, 23.0, 22.9, 22.8)
・・・・・
ｘ1,277,1＝(
24.5, 24.6, 24.5,
24.4, 24.4, 24.7, 24.3, 24.7, 24.6, 24.4, 24.5, 23.4)
ｘ1,1,1は、0:00～0:55の１時間（12要素分）の12次元ベクトルを表す。
ｘ1,277,1は、23:00～23:55の１時間（12要素分）の12次元ベクトルを表す。
ｘ1,1,1＝(22.6, 22.4, 22.3, 22.3, 22.2, 22.5, 22.3, 22.5, 22.5,
22.5, 23.5, 23.0)
ｘ1,2,1＝( 22.4, 22.3, 22.3, 22.2, 22.5, 22.3, 22.5, 22.5,
22.5, 23.5, 23.0, 22.9)
ｘ1,3,1＝( 22.3, 22.3, 22.2, 22.5, 22.3, 22.5, 22.5,
22.5, 23.5, 23.0, 22.9, 22.8)
・・・・・
ｘ1,277,1＝(
24.5, 24.6, 24.5,
24.4, 24.4, 24.7, 24.3, 24.7, 24.6, 24.4, 24.5, 23.4)
ｘ1,1,1は、0:00～0:55の１時間（12要素分）の12次元ベクトルを表す。
ｘ1,277,1は、23:00～23:55の１時間（12要素分）の12次元ベクトルを表す。
【0041】
［特徴抽出部１１２］
特徴抽出部１１２は、各センサiについて、シフト計測値群ｘi,j毎に、時系列直列に接続された複数のＲＮＮ(Recurrent Neural Network)（再帰型ニューラルネットワーク）を有する。
ＲＮＮとは、数値データにおける時系列パターンを認識するニューラルネットワークである。ＲＮＮは、内部に状態を持ち、各時点における入力値及び状態に基づいて、次の状態に遷移させることができる。
特徴抽出部１１２は、各センサiについて、シフト計測値群ｘi,j毎に、時系列直列に接続された複数のＲＮＮ(Recurrent Neural Network)（再帰型ニューラルネットワーク）を有する。
ＲＮＮとは、数値データにおける時系列パターンを認識するニューラルネットワークである。ＲＮＮは、内部に状態を持ち、各時点における入力値及び状態に基づいて、次の状態に遷移させることができる。
【0042】
図２によれば、特徴抽出部１１２は、シフト計測値群ｘi,j毎に、ＲＮＮを有する。そして、各ＲＮＮは、各シフト計測値群ｘi,jと、時系列前段のＲＮＮの隠れ層ベクトルｈi,jとを入力し、時系列後段へ隠れ層ベクトルｈi,j+1を出力する。そのために、図２によれば、RNN1,1～RNN1,277まで、277個のＲＮＮが直列に接続されたものとなる。
【0043】
特徴抽出部１１２のＲＮＮとしては、例えばＧＲＵ(Gated Recurrent Unit)又はＬＳＴＭ(Long Short Term Memory)であってもよい。
【0044】
図３は、本発明における特徴抽出部のＧＲＵの機能構成図である。
【0045】
図３によれば、ＧＲＵは、入力ゲートと忘却ゲートを「更新ゲート」として、１つのゲートに統合したものである。ＬＳＴＭと同様に、忘却・更新ゲートを導入することによって、長いステップ前の計測値の特徴の記憶を維持しやすくする。これは、各時間ステップ間を迂回するショートカットパスが、効率的に生成されることに基づく。これによって、学習中に、誤差を容易に逆伝播することができる。
このように、ＧＲＵは、時系列データについて、誤差が浅い層に伝わらない勾配消失の問題を軽減することができる。
このように、ＧＲＵは、時系列データについて、誤差が浅い層に伝わらない勾配消失の問題を軽減することができる。
【0046】
図４は、本発明のエンコーダにおける特徴抽出部の機能構成図である。
【0047】
図４によれば、特徴抽出部１１２は、シフト計測値群ｘi,j毎に、１次元畳み込みニューラルネットワーク（１Ｄ－ＣＮＮ(One Dimensional - Convolutional Neural Network)）を介して、ＲＮＮへ入力する。１Ｄ－ＣＮＮは、特徴抽出フィルタをして機能するオプション的なものであって、必須の構成要素とするものではない。
ＣＮＮとは、複数のユニットを持つ層が入力段から出力段へ向けて一方向に連結されており、出力層側のユニットが、隣接する入力層側の特定のユニットに結合された畳み込み層を有する順伝播型ネットワークをいう。
ＣＮＮとは、複数のユニットを持つ層が入力段から出力段へ向けて一方向に連結されており、出力層側のユニットが、隣接する入力層側の特定のユニットに結合された畳み込み層を有する順伝播型ネットワークをいう。
【0048】
特徴抽出部１１２における１Ｄ－ＣＮＮは、３次元フィルタで隣接３要素を畳み込むものであってもよい。これは、複数の１Ｄ－ＣＮＮを直列接続したものである。
【0049】
図５は、本発明の特徴抽出部における畳み込みニューラルネットワークの数値例である。
【0050】
図５によれば、例えば図２で生成された時系列の計測値群ｘ1,1,1が、ＣＮＮへ入力されている。
ｘ1,1,1＝(22.6, 22.4, 22.3, 22.3, 22.2, 22.5, 22.3, 22.5, 22.5,
22.5, 23.5, 23.0)
１Ｄ－ＣＮＮは、３次元フィルタ(1/3, 1/3, 1/3)で畳み込む。ここでの畳み込みは、左から順に隣接する3要素に1/3を掛けて足し合わせる。12次元を維持するために足りない要素は、隣接要素でパディングする。
ｘ1,1,1＝(22.6, 22.4, 22.3, 22.3, 22.2, 22.5, 22.3, 22.5, 22.5,
22.5, 23.5, 23.0)
１Ｄ－ＣＮＮは、３次元フィルタ(1/3, 1/3, 1/3)で畳み込む。ここでの畳み込みは、左から順に隣接する3要素に1/3を掛けて足し合わせる。12次元を維持するために足りない要素は、隣接要素でパディングする。
【0051】
具体的には、１層目の１Ｄ－ＣＮＮに、ｘ1,1,1を入力した場合、以下のようになる。
ｘ1,1,2＝(22.6*1/3+22.6*1/3+22.4*1/3, 22.6*1/3+22.4*1/3+22.3*1/3,
22.4*1/3+22.3*1/3+22.3*1/3, 22.3*1/3+22.3*1/3+22.2*1/3,
22.3*1/3+22.2*1/3+22.5*1/3, 22.2*1/3+22.5*1/3+22.3*1/3,
22.5*1/3+22.3*1/3+22.5*1/3, 22.3*1/3+22.5*1/3+22.5*1/3,
22.5*1/3+22.5*1/3+22.5*1/3, 22.5*1/3+22.5*1/3+23.5*1/3,
22.5*1/3+23.5*1/3+23.0*1/3, 23.5*1/3+23.0*1/3+23.0*1/3)
＝(22.5, 22.4, 22.3, 22.3, 22.3, 22.3, 22.4, 22.4, 22.5,
22.8, 23.0, 23.2)
ｘ1,1,2＝(22.6*1/3+22.6*1/3+22.4*1/3, 22.6*1/3+22.4*1/3+22.3*1/3,
22.4*1/3+22.3*1/3+22.3*1/3, 22.3*1/3+22.3*1/3+22.2*1/3,
22.3*1/3+22.2*1/3+22.5*1/3, 22.2*1/3+22.5*1/3+22.3*1/3,
22.5*1/3+22.3*1/3+22.5*1/3, 22.3*1/3+22.5*1/3+22.5*1/3,
22.5*1/3+22.5*1/3+22.5*1/3, 22.5*1/3+22.5*1/3+23.5*1/3,
22.5*1/3+23.5*1/3+23.0*1/3, 23.5*1/3+23.0*1/3+23.0*1/3)
＝(22.5, 22.4, 22.3, 22.3, 22.3, 22.3, 22.4, 22.4, 22.5,
22.8, 23.0, 23.2)
【0052】
次に、２層目の１Ｄ－ＣＮＮに、ｘ1,1,2を入力した場合、１層目と同様の畳み込みによって、以下のように出力する。
ｘ1,1,3＝(22.5, 22.4, 22.3, 22.3, 22.3, 22.3, 22.4, 22.4, 22.6,
22.8, 23.0, 23.1)
ｘ1,1,3＝(22.5, 22.4, 22.3, 22.3, 22.3, 22.3, 22.4, 22.4, 22.6,
22.8, 23.0, 23.1)
【0053】
２層目の１Ｄ－ＣＮＮから出力されたｘ1,1,3は、ＧＲＵ1,1へ入力される。
ここで、ＧＲＵ1,1は、以下のように、ｘ1の時系列的特徴を保持している10次元隠れ層h1,1ベクトルを出力する。
h1,1＝(19.7, 19.4, 21.0, 20.8, 20.0, 20.6, 21.4, 20.3, 21.0, 19.3)
ここで、ＧＲＵ1,1は、以下のように、ｘ1の時系列的特徴を保持している10次元隠れ層h1,1ベクトルを出力する。
h1,1＝(19.7, 19.4, 21.0, 20.8, 20.0, 20.6, 21.4, 20.3, 21.0, 19.3)
【0054】
以上の処理を、ｘ1,2,1、ｘ1,3,1、・・・、ｘ1,277,1ついて同様に実行する。ここで、過去の時系列的特徴を伝えるために、２つ目以降のＧＲＵへの入力は、直前の隠れ層の出力と１Ｄ－ＣＮＮの出力とを結合したものとなる。
【0055】
［潜在表現生成エンジン１１３］
潜在表現生成エンジン１１３は、各センサiについて、末端のＲＮＮｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する。
潜在表現ｚiは、マルチモーダルデータ（各センサiの時系列の計測値群ｘ）に共通して潜在的に存在すると仮定される表現を意味する。
潜在表現生成エンジン１１３は、各センサiについて、末端のＲＮＮｘi,Jから出力された隠れ層ベクトルｈiから、正規化された確率分布の潜在表現ｚiを生成する。
潜在表現ｚiは、マルチモーダルデータ（各センサiの時系列の計測値群ｘ）に共通して潜在的に存在すると仮定される表現を意味する。
【0056】
各センサiにおける潜在表現ｚiは、多次元正規分布の平均ベクトルμと、分散共分散行列の対角成分Σ1とによって表現される。
例えば、潜在表現zが３次元正規分布の場合、最後の隠れ層h1から３次元平均ベクトルμ1と、３次元分散共分散行列の対角成分Σ1とを、以下のように計算する。
μ1＝(-0.17, -0.02, 0.32)
対角成分Σ1＝(0.3, 0.07, 0.12)
z1 ＝ μ1＋ｅ＊Σ1 ＝ (-0.32, 0.04, 0.27)
ｅ～Ｎ（0,1）となる標準正規分布
z～Ｎ(μ, diag(Σ)) diag：対角行列
例えば、潜在表現zが３次元正規分布の場合、最後の隠れ層h1から３次元平均ベクトルμ1と、３次元分散共分散行列の対角成分Σ1とを、以下のように計算する。
μ1＝(-0.17, -0.02, 0.32)
【数1】
z1 ＝ μ1＋ｅ＊Σ1 ＝ (-0.32, 0.04, 0.27)
ｅ～Ｎ（0,1）となる標準正規分布
z～Ｎ(μ, diag(Σ)) diag：対角行列
【0057】
そして、潜在表現生成エンジン１１３は、各センサiについて、例えば以下のような潜在表現ｚiを、デコーダ１２へ出力する。
μ＝(μ1, μ2, μ3, μ4, μ5)
＝((-0.17, -0.02, 0.32), (0.1, 0.67, -0.12), (-0.21, 0.14, -0.11),
(0.22, -0.11, 0.18), (-0.31, 0.22, -0.12))
Σ＝(Σ1, Σ2, Σ3, Σ4, Σ5)
＝((0.3, 0.07, 0.12), (0.39, 0.2, 0.09), (0.4, 0.32, 0.34),
(0.15, 0.23, 0.43), (0.44, 0.22, 0.21))
ｚ＝(z1, z2, z3, z4, z5)
＝((-0.32, 0.04, 0.27), (0.01, 0.12, -0.07), (0.06, -0.02, -0.12),
(0.21, 0.41, 0.33), (0.1, -0.31, -0.11))
μ＝(μ1, μ2, μ3, μ4, μ5)
＝((-0.17, -0.02, 0.32), (0.1, 0.67, -0.12), (-0.21, 0.14, -0.11),
(0.22, -0.11, 0.18), (-0.31, 0.22, -0.12))
Σ＝(Σ1, Σ2, Σ3, Σ4, Σ5)
＝((0.3, 0.07, 0.12), (0.39, 0.2, 0.09), (0.4, 0.32, 0.34),
(0.15, 0.23, 0.43), (0.44, 0.22, 0.21))
ｚ＝(z1, z2, z3, z4, z5)
＝((-0.32, 0.04, 0.27), (0.01, 0.12, -0.07), (0.06, -0.02, -0.12),
(0.21, 0.41, 0.33), (0.1, -0.31, -0.11))
【0058】
＜デコーダ１２＞
デコーダ１２は、潜在表現ｚiを入力し、センサi毎に時系列の計測値群を出力する。
デコーダ１２は、潜在表現サンプリング部１２１と、特徴再生部１２２と、計測値群再生部１２３とを有する。
デコーダ１２は、潜在表現ｚiを入力し、センサi毎に時系列の計測値群を出力する。
デコーダ１２は、潜在表現サンプリング部１２１と、特徴再生部１２２と、計測値群再生部１２３とを有する。
【0059】
［潜在表現サンプリング部１２１］
潜在表現サンプリング部１２１は、各センサiについて、潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する。具体的には、以下のようにサンプリングされた計測値群ｘi,jを、センサi毎に、277個のＧＲＵそれぞれに入力する。
ｘ1,1,1～ｘ1,277,1
ｘ2,1,1～ｘ2,277,1
ｘ3,1,1～ｘ3,277,1
ｘ4,1,1～ｘ4,277,1
ｘ5,1,1～ｘ5,277,1
潜在表現サンプリング部１２１は、各センサiについて、潜在表現ｚiからシフト計測値群ｘi,jをサンプリング的に生成する。具体的には、以下のようにサンプリングされた計測値群ｘi,jを、センサi毎に、277個のＧＲＵそれぞれに入力する。
ｘ1,1,1～ｘ1,277,1
ｘ2,1,1～ｘ2,277,1
ｘ3,1,1～ｘ3,277,1
ｘ4,1,1～ｘ4,277,1
ｘ5,1,1～ｘ5,277,1
【0060】
［特徴再生部１２２］
特徴再生部１２２は、エンコーダ１１の特徴抽出部１１２の逆処理となるものであって、各センサiについて、サンプリングされたシフト計測値群ｘi,jを入力する。
そして、
特徴再生部１２２は、エンコーダ１１の特徴抽出部１１２の逆処理となるものであって、各センサiについて、サンプリングされたシフト計測値群ｘi,jを入力する。
そして、
【0061】
［計測値群再生部１２３］
計測値群再生部１２３は、各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する。
具体的には、５モーダルとして、以下のように計測値群が再生される。
ｙ＝(ｙ1, ｙ2, ｙ3, ｙ4, ｙ5)
＝((22.3, 23.4, 22.0, 20.3, ..., 24.5, 24.4, 23.0),
(60, 61.3, 62.9, 62.3, ..., 51.9, 52.5, 52.5),
(10, 21, 21, 14, ..., 320, 320, 330),
(0, 0.2, 0.2, 1.0, ..., 0.6, 0.6, 0.6),
(40, 41, 42, 50, ..., 54, 70, 80))
計測値群再生部１２３は、各センサiについて、各再帰型ニューラルネットワークの出力層の出力値となる単位時間Thのシフト計測値群ｘi,jから、所定期間Tdにおける周期tm毎の計測値群ｘiを再生する。
具体的には、５モーダルとして、以下のように計測値群が再生される。
ｙ＝(ｙ1, ｙ2, ｙ3, ｙ4, ｙ5)
＝((22.3, 23.4, 22.0, 20.3, ..., 24.5, 24.4, 23.0),
(60, 61.3, 62.9, 62.3, ..., 51.9, 52.5, 52.5),
(10, 21, 21, 14, ..., 320, 320, 330),
(0, 0.2, 0.2, 1.0, ..., 0.6, 0.6, 0.6),
(40, 41, 42, 50, ..., 54, 70, 80))
【0062】
＜学習モデル構築部１３＞
学習モデル構築部１３は、エンコーダ１１の潜在表現生成エンジン１１３を、以下のように目的関数を最大化する。
（１）潜在表現ｚiを標準正規分布に近づける
（２）エンコーダに入力された訓練データの単位時間Thの計測値群ｘiと、デコーダから出力された訓練データの単位時間Thの計測値群ｘiとの誤差を小さくする。
本発明の場合、潜在表現zからどれだけ尤もらしいｘが生成されたかを、対数尤度の期待値Ｅ［logｐ(ｘ|ｚ)］で測る。そして、期待値Ｅが大きいほど好ましい。
学習モデル構築部１３は、エンコーダ１１の潜在表現生成エンジン１１３を、以下のように目的関数を最大化する。
（１）潜在表現ｚiを標準正規分布に近づける
（２）エンコーダに入力された訓練データの単位時間Thの計測値群ｘiと、デコーダから出力された訓練データの単位時間Thの計測値群ｘiとの誤差を小さくする。
本発明の場合、潜在表現zからどれだけ尤もらしいｘが生成されたかを、対数尤度の期待値Ｅ［logｐ(ｘ|ｚ)］で測る。そして、期待値Ｅが大きいほど好ましい。
【0063】
（１）潜在表現zは、標準正規分布に近づくほど小さくなる、以下のようなＫＬダイバージェンスである。
ＤKL(Ｎ(μ,Σ) || Ｎ(0,1))
最大化問題を考えるために、負にして５モーダル分を足し合わせると、以下のようになる。
Ｌ1＝－(ＤKL(Ｎ(μ1,Σ1) || Ｎ(0,1))＋ＤKL(Ｎ(μ2,Σ2) || Ｎ(0,1))
＋ＤKL (Ｎ(μ3,Σ3) || Ｎ(0,1))＋ＤKL(Ｎ(μ4,Σ4) || Ｎ(0,1))
＋ＤKL(Ｎ(μ5,Σ5) || Ｎ(0,1)))
ＤKL(Ｎ(μ,Σ) || Ｎ(0,1))
最大化問題を考えるために、負にして５モーダル分を足し合わせると、以下のようになる。
Ｌ1＝－(ＤKL(Ｎ(μ1,Σ1) || Ｎ(0,1))＋ＤKL(Ｎ(μ2,Σ2) || Ｎ(0,1))
＋ＤKL (Ｎ(μ3,Σ3) || Ｎ(0,1))＋ＤKL(Ｎ(μ4,Σ4) || Ｎ(0,1))
＋ＤKL(Ｎ(μ5,Σ5) || Ｎ(0,1)))
【0064】
（２）再構築誤差についても、５モーダル分を考慮すると、以下のようになる。
Ｌ2＝Ｅ［logｐ(ｘ1｜z)］＋Ｅ［logｐ(ｘ2｜z)］＋Ｅ［logｐ(ｘ3｜z)］
＋Ｅ［logｐ(ｘ4｜z)］＋Ｅ［logｐ(ｘ5｜z)］
Ｌ2＝Ｅ［logｐ(ｘ1｜z)］＋Ｅ［logｐ(ｘ2｜z)］＋Ｅ［logｐ(ｘ3｜z)］
＋Ｅ［logｐ(ｘ4｜z)］＋Ｅ［logｐ(ｘ5｜z)］
【0065】
学習モデル構築部１３における学習は、Ｌ＝Ｌ1＋Ｌ2の最大化問題を誤差逆伝搬で解くことに相当する。その結果、潜在表現ｚのパラメタμ、Σを算出することができる。
【0066】
ＫＬダイバージェンスとは、２つの確率分布ＰとＱの差異を測る尺度である。Ｐ、Ｑ を離散確率分布とするとき、ＰのＱに対するカルバック・ライブラー情報量は、以下のように定義される。
ＤKL（Ｐ||Ｑ）＝∫∞ -∞Ｐ(ｘ)log（ｐ(ｘ)/Ｑ(ｘ)）dｘ
Ｐ(i)、Ｑ(i)：確率分布Ｐ、Ｑに従って選ばれた値がiの時の確率
Ｐ～Ｎ(μ,Σ)、Ｑ～Ｎ(0,1)の場合、確率分布Ｐと標準正規分布の差異を表し、
Ｐが標準正規分布に近いほど小さくなる。
ＤKL（Ｐ||Ｑ）＝∫∞ -∞Ｐ(ｘ)log（ｐ(ｘ)/Ｑ(ｘ)）dｘ
Ｐ(i)、Ｑ(i)：確率分布Ｐ、Ｑに従って選ばれた値がiの時の確率
Ｐ～Ｎ(μ,Σ)、Ｑ～Ｎ(0,1)の場合、確率分布Ｐと標準正規分布の差異を表し、
Ｐが標準正規分布に近いほど小さくなる。
【0067】
前述のμ、Σについては、以下のように、カルバック・ライブラー情報量が算出される。
μ＝(-0.17, -0.02, 0.32)
ＤKL(Ｐ||Ｑ)＝-1/2 Σj=1
3（１＋log(diag(Σ)j
2）－μj
2＋diag(Σ)j
2）
＝4.49
μ＝(-0.17, -0.02, 0.32)
【数2】
＝4.49
【0068】
エンコーダ１１及びデコーダ１２は、潜在表現から、エンコーダに入力された時系列マルチモーダルデータを再生するように学習する。
【0069】
＜＜運用段階＞＞
図６は、本発明のオートエンコーダにおける運用段階の機能構成図である。
図６は、本発明のオートエンコーダにおける運用段階の機能構成図である。
【0070】
運用段階によれば、以下のように機能する。
エンコーダ１１は、無効なセンサiについて、周期tm毎の計測値群に所定値を埋め込む。
デコーダ１２は、無効なセンサiについて、計測値群再生手段から出力された所定期間Tdの計測値群ｘiに補完する。
エンコーダ１１は、無効なセンサiについて、周期tm毎の計測値群に所定値を埋め込む。
デコーダ１２は、無効なセンサiについて、計測値群再生手段から出力された所定期間Tdの計測値群ｘiに補完する。
【0071】
また、エンコーダ１１及びデコーダ１２における運用段階の処理は、非常に軽いものである。そのために、エンコーダ１１に５分計測値が入力される毎に、デコーダ１２から補完された計測値が出力される。
【0072】
図７は、本発明のデコーダにおける特徴再生部の機能構成図である。
【0073】
図７によれば、デコーダ１２の特徴再生部１２２は、前述したエンコーダ１１の特徴抽出部１１２の逆処理となる。
特徴再生部１２２は、各センサiについて、サンプリングされた計測値群ｘi,j,1を、時系列直列に接続された複数のＲＮＮ（例えばＧＲＵ）へ入力する。
そして、各ＲＮＮは、その出力計測値群を、それぞれの１Ｄ－ＣＮＮへ出力する。尚、１Ｄ－ＣＮＮは、特徴抽出フィルタをして機能するオプション的なものであって、必須の構成要素とするものではない。但し、特徴再生部１２２における１Ｄ－ＣＮＮは、特徴抽出部１１２と同じ畳み込みを実行する。
特徴再生部１２２は、各センサiについて、サンプリングされた計測値群ｘi,j,1を、時系列直列に接続された複数のＲＮＮ（例えばＧＲＵ）へ入力する。
そして、各ＲＮＮは、その出力計測値群を、それぞれの１Ｄ－ＣＮＮへ出力する。尚、１Ｄ－ＣＮＮは、特徴抽出フィルタをして機能するオプション的なものであって、必須の構成要素とするものではない。但し、特徴再生部１２２における１Ｄ－ＣＮＮは、特徴抽出部１１２と同じ畳み込みを実行する。
【0074】
図８は、本発明におけるセンサの計測値群の補完を表す説明図である。
【0075】
図８（ａ）によれば、エンコーダ１１に、以下のような時系列モーダルデータが入力されている。
ｘ1＝(20.1, 20.0, 20.0, 20.1, ・・・, 20.1, 20.1, 20.1),
ｘ2＝(63, 64, 64, 68, ・・・, 72, 72, 73)
ｘ3＝(-, -, -, -, ・・・, -, -, -)
ｘ4＝(-, -, -, -, ・・・, -, -, -)
ｘ5＝(32, 32, 34, 54, ・・・, 53, 56, 62)
ここで、温度、湿度、消費電力は計測値が入力されているが、照度及び動きについて計測値が欠損している。このとき、エンコーダ１１の計測値群生成部１１１は、欠損しているマルチモーダルデータの要素を0で埋める。そして、学習済みの特徴抽出部１１２へ入力する。
ｘ1＝(20.1, 20.0, 20.0, 20.1, ・・・, 20.1, 20.1, 20.1),
ｘ2＝(63, 64, 64, 68, ・・・, 72, 72, 73)
ｘ3＝(-, -, -, -, ・・・, -, -, -)
ｘ4＝(-, -, -, -, ・・・, -, -, -)
ｘ5＝(32, 32, 34, 54, ・・・, 53, 56, 62)
ここで、温度、湿度、消費電力は計測値が入力されているが、照度及び動きについて計測値が欠損している。このとき、エンコーダ１１の計測値群生成部１１１は、欠損しているマルチモーダルデータの要素を0で埋める。そして、学習済みの特徴抽出部１１２へ入力する。
【0076】
例えば、スマートホームのシステムとして、家族の外出時を、照度センサ及び動きセンサによって観測しているとする。その場合、照度センサ300ルクス以上で、且つ、動きセンサ0.6以上である、家族が帰宅済みであると判断するとする。
ここで、図７（ａ）によれば、照度センサ及び動きセンサにおける故障等の障害によって、計測値が欠損している。そのために、家族の帰宅も判断できない。
ここで、図７（ａ）によれば、照度センサ及び動きセンサにおける故障等の障害によって、計測値が欠損している。そのために、家族の帰宅も判断できない。
【0077】
これに対し、図８（ｂ）によれば、本発明のデコーダ１２から、補完された時系列モーダルデータが出力されている。
ｙ3＝(19, 20, 20, 340, ・・・, 335, 340, 320)
ｙ4＝(0, 0, 0, 0.6, ・・・, 1, 1, 1)
このように、欠損していた照度及び動きの計測値が、補完される。
ｙ3＝(19, 20, 20, 340, ・・・, 335, 340, 320)
ｙ4＝(0, 0, 0, 0.6, ・・・, 1, 1, 1)
このように、欠損していた照度及び動きの計測値が、補完される。
【0078】
本発明によれば、温度・湿度・消費電力の時系列マルチモーダルデータから、照度・動きの時系列モーダルデータが補完されている。
これによって、照度センサ及び動きセンサにおける故障等の障害が発生し、計測値が欠損していても、直ぐに家族の帰宅を判断することができる。
これによって、照度センサ及び動きセンサにおける故障等の障害が発生し、計測値が欠損していても、直ぐに家族の帰宅を判断することができる。
【0079】
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、複数のセンサにおける時系列の計測値群同士の関連性に基づいて、一部のセンサにおける欠損値を補完することができる。
【0080】
本発明によれば、１つのセンサにける過去の計測値を単に用いるよりも、他のセンサにおける過去の時系列的特徴を用いるために、高い精度で計測値を補完することができる。即ち、欠損していない他の時系列モーダルデータから、欠損した時系列モーダルデータを補完することができる。
特に、欠損した時系列モーダルデータを、改めて再取得する必要もない。時系列マルチモーダルデータの欠損値の補完は、以下のような様々な障害に適用することができる。
・スマートホーム設置のセンサ故障、
・センサ通信先サーバの故障
・電子レンジ使用による電波干渉での無線通信エラー
・センサとサーバ間の通信エラー
また、本発明によれば、モーダル数を増加させることもでき、また、シミュレータとして新たにモーダルデータを生成することもできる。
特に、欠損した時系列モーダルデータを、改めて再取得する必要もない。時系列マルチモーダルデータの欠損値の補完は、以下のような様々な障害に適用することができる。
・スマートホーム設置のセンサ故障、
・センサ通信先サーバの故障
・電子レンジ使用による電波干渉での無線通信エラー
・センサとサーバ間の通信エラー
また、本発明によれば、モーダル数を増加させることもでき、また、シミュレータとして新たにモーダルデータを生成することもできる。
【0081】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0082】
１１ エンコーダ
１１１ 計測値群生成部
１１２ 特徴抽出部
１１３ 潜在表現生成エンジン
１２ デコーダ
１２１ 潜在表現サンプリング部
１２２ 特徴再生部
１２３ 計測値群再生部
１３ 学習モデル構築部
１１１ 計測値群生成部
１１２ 特徴抽出部
１１３ 潜在表現生成エンジン
１２ デコーダ
１２１ 潜在表現サンプリング部
１２２ 特徴再生部
１２３ 計測値群再生部
１３ 学習モデル構築部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】