特許 7102080 未来の潜在表現を予測するエンコーダのプログラム、装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-08

(45)【発行日】2022-07-19

(54)【発明の名称】未来の潜在表現を予測するエンコーダのプログラム、装置及び方法

(51)【国際特許分類】

   G06N 3/08 20060101AFI20220711BHJP

   G06N 3/04 20060101ALI20220711BHJP

【ＦＩ】

G06N3/08

G06N3/04 145

G06N3/04 154

【請求項の数】 16

(21)【出願番号】P 2019177864

(22)【出願日】2019-09-27

(65)【公開番号】P2021056667

(43)【公開日】2021-04-08

【審査請求日】2021-07-16

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】小島 亮一

(72)【発明者】

【氏名】吉原 貴仁

【審査官】多賀 実

(56)【参考文献】

【文献】特開２０１８－１５２００４（ＪＰ，Ａ）

【文献】特表２０１９－５０２２１２（ＪＰ，Ａ）

【文献】芦原 佑太 ほか，「ＣＮＮ型ＡＥとベクトル付加ＬＳＴＭを用いた物体の回転画像の想起モデル」，汎用人工知能研究会 第１回ＳＩＧ－ＡＧＩ研究会 [online]，人工知能学会，2015年12月16日，pp.09-01～09-04，[2017年10月19日 検索], インターネット:<URL:http://www.sig-agi.org/sig-agi/events/sig-agi-01/publications/SIG-AGI-001-09.pdf?attredirects=0&d=1>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

未来の潜在表現を予測するエンコーダとしてコンピュータを機能させるエージェントのプログラムであって、
エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成すると共に、時刻t2（1≦t1＜t2)の信念bt2から、正規化された確率分布の第２の潜在表現zt2を生成する第１の潜在表現生成エンジンと、
第２の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第２の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第２の潜在表現生成エンジンと、
第１の潜在表現生成エンジン及び第２の潜在表現生成エンジンを、第１の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
してコンピュータを機能させることを特徴とするプログラム。

【請求項2】

第１の潜在表現生成エンジン及び第２の潜在表現生成エンジンは、平均ベクトルμと分散共分散行列の対角成分Σによって表現した潜在表現ｚを出力する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。

【請求項3】

エンコーダ側として、
単位時間Thにおける時系列N個の標準化バッチx'tnを入力し、時系列直列に接続されたM個の再帰型ニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）によって学習されたM個の隠れ層ベクトルを、M個の信念btとして出力する時系列特徴抽出手段と
してコンピュータを更に機能させることを特徴とする請求項１又は２に記載のプログラム。

【請求項4】

時系列特徴抽出手段は、再帰型ニューラルネットワークは、ＬＳＴＭ(Long Short Term Memory)又はＧＲＵ(Gated Recurrent Unit)である
ようにコンピュータを機能させることを特徴とする請求項３に記載のプログラム。

【請求項5】

エンコーダ側として、
複数のセンサにおける現在の各計測値の組から、未来の各計測値の組を予測するために、
各センサについて所定期間Tdにおける時系列K個の各計測値の組の群xkから、時系列方向に平均0及び標準偏差1とした標準化バッチx'tnを生成し、単位時間Thにおける時系列N個の標準化バッチx'tnをランダムに選択し、時系列特徴抽出手段へ出力する標準化バッチ生成手段と
してコンピュータを更に機能させることを特徴とする請求項３又は４に記載のプログラム。

【請求項6】

センサにおける時系列の計測値の組の群は、時系列マルチモーダルデータであり、温度、湿度、照度、動き、消費電力及び／又は外出有無である
ようにコンピュータを機能させることを特徴とする請求項５に記載のプログラム。

【請求項7】

デコーダとして、
エンコーダから出力された予測潜在表現z't1からサンプリングした予測サンプル数値群を生成する予測サンプリング手段と、
エンコーダの第２の潜在表現生成エンジンの逆処理であり、予測潜在表現z't1の予測サンプル数値群から、時刻t1の信念b't1を再生する予測信念再生エンジンと
して更に機能させ、
エンコーダに対するデコーダを備えたＶＡＥ(Variational AutoEncoder)としてコンピュータを更に機能させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。

【請求項8】

デコーダ側として、
エンコーダ側の時系列特徴抽出手段の逆処理であり、時刻t1の信念bt'1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t1の標準化バッチy't1を出力する時系列特徴再生手段と
してコンピュータを更に機能させることを特徴とする請求項７に記載のプログラム。

【請求項9】

エンコーダ側の時系列特徴抽出手段と、デコーダ側の時系列特徴再生手段とを、エンコーダ側の時系列特徴抽出手段に入力された時刻t1の標準化バッチx't1と、デコーダ側の時系列特徴再生手段から出力された時刻t1の標準化バッチy't1との差l2を最小化する損失関数となるように学習させるオートエンコーダ学習構築手段と
してコンピュータを更に機能させることを特徴とする請求項８に記載のプログラム。

【請求項10】

エンコーダ側の標準化バッチ生成手段の逆処理であり、時系列特徴再生手段から時刻t1の標準化バッチy't1を入力し、各センサについて時刻t1における各計測値の組の群yt1を再生する標準化バッチ再生手段と
してコンピュータを更に機能させることを特徴とする請求項９に記載のプログラム。

【請求項11】

エンコーダとして、第１の潜在表現生成エンジンから出力された第１の潜在表現zt1と第２の潜在表現zt2との間の相関性に基づく回帰モデルを構築する回帰モデル構築手段と
してコンピュータを更に機能させることを特徴とする請求項１から１０のいずれか１項に記載のプログラム

【請求項12】

エンコーダの運用段階として、
第１の潜在表現生成エンジンは、時刻t1の信念bt1を入力し、第１の潜在表現zt1を出力し、
回帰モデル構築手段は、第１の潜在表現zt1を入力し、当該第１の潜在表現zt1に相関する第２の潜在表現z't2を出力する
ようにコンピュータを更に機能させることを特徴とする請求項１１に記載のプログラム

【請求項13】

エンコーダに対するデコーダを備えたＶＡＥとしてコンピュータを機能させるエージェントのプログラムであって、
複数のセンサにおける現在の各計測値の組から、未来の各計測値の組を予測するために、
エンコーダの学習段階として、
各センサについて所定期間Tdにおける時系列K個の各計測値の組の群xkから、単位時間Thにおける時系列N個のバッチxtnをランダムに選択し、時系列方向に平均0及び標準偏差1とし標準化した時系列N個の標準化バッチx'tnを生成する標準化バッチ生成手段と、
単位時間Thにおける時系列N個の標準化バッチx'tnを入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークによって学習されたM個の隠れ層ベクトルを、M個の信念btとして出力する時系列特徴抽出手段と、
M個の信念btを入力し、時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成すると共に、時刻t2（1≦t1＜t2)の信念bt2から、正規化された確率分布の第２の潜在表現zt2を生成する第１の潜在表現生成エンジンと、
第２の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第２の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第２の潜在表現生成エンジンと、
第１の潜在表現生成エンジン及び第２の潜在表現生成エンジンを、第１の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
して機能させ、
デコーダとして、
エンコーダから出力された予測潜在表現z't1からサンプリングした予測サンプル数値群を生成する予測サンプリング手段と、
エンコーダの第２の潜在表現生成エンジンの逆処理であり、予測潜在表現z't1の予測サンプル数値群から、時刻t1の信念b't1を再生する予測信念再生エンジンと、
エンコーダ側の時系列特徴抽出手段の逆処理であり、時刻t1の信念bt'1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t1の標準化バッチy't1を出力する時系列特徴再生手段と、
エンコーダ側の標準化バッチ生成手段の逆処理であり、時系列特徴再生手段から時刻t1の標準化バッチy't1を入力し、各センサについて時刻t1における各計測値の組の群yt1を再生する標準化バッチ再生手段と
して機能させ、
エンコーダ側の時系列特徴抽出手段と、デコーダ側の時系列特徴再生手段とを、エンコーダ側の時系列特徴抽出手段に入力された時刻t1の標準化バッチx't1と、デコーダ側の時系列特徴再生手段から出力された時刻t1の標準化バッチy't1との差l2を最小化する損失関数となるように学習させるオートエンコーダ学習構築手段と、
第１の潜在表現生成エンジンから出力された第１の潜在表現zt1と、第２の潜在表現生成エンジンから出力された第２の潜在表現z't1との間の相関性に基づく回帰モデルを構築する回帰モデル構築手段と
してコンピュータを機能させることを特徴とするプログラム。

【請求項14】

ＶＡＥの運用段階として、
エンコーダとして、
標準化バッチ生成手段は、時刻t1の各計測値の組の群xt1から、時系列方向に平均0及び標準偏差1とし標準化した標準化バッチx't1を生成し、
時系列特徴抽出手段は、標準化バッチx't1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークによって学習されたM個の隠れ層ベクトルを、M個の信念bt1として出力し、
第１の潜在表現生成エンジンは、M個の信念bt1を入力し、時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成し、
回帰モデル構築手段は、第１の潜在表現zt1から、回帰モデルに基づく予測潜在表現z't2を生成し、
デコーダとして、
予測サンプリング手段は、エンコーダから出力された予測潜在表現z't2からサンプリングした予測サンプル数値群を生成し、
予測信念再生エンジンは、予測潜在表現z't2の予測サンプル数値群から、時刻t2の信念b't2を再生し、
時系列特徴再生手段は、時刻t2の信念bt'2を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t2の標準化バッチy't2を出力し、
標準化バッチ再生手段は、時刻t2の標準化バッチy't2から、各センサについて時刻t2における各計測値の組の群yt2を再生する
ようにコンピュータを機能させることを特徴とする請求項１３に記載のプログラム。

【請求項15】

未来の潜在表現を予測するエンコーダとしてコンピュータを機能させるエージェントの装置であって、
エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成すると共に、時刻t2（1≦t1＜t2)の信念bt2から、正規化された確率分布の第２の潜在表現zt2を生成する第１の潜在表現生成エンジンと、
第２の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第２の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第２の潜在表現生成エンジンと、
第１の潜在表現生成エンジン及び第２の潜在表現生成エンジンを、第１の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
を有することを特徴とする装置。

【請求項16】

未来の潜在表現を予測する装置のエンコード方法であって、
装置は、エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成すると共に、時刻t2（1≦t1＜t2)の信念bt2から、正規化された確率分布の第２の潜在表現zt2を生成する第１のステップと、
第２の潜在表現zt2からサンプリングしたサンプル数値群を生成する第２のステップと、
時刻t1の信念bt1と、第２の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する第３のステップと、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第４のステップと、
第１の潜在表現生成エンジン及び第２の潜在表現生成エンジンを、第１の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させる第５のステップと
を実行することを特徴とするエンコード方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばスマートホームにおけるマルチモーダル(multi-modal)データから、ユーザの行動や状態を推定する技術に関する。

【背景技術】

【0002】

スマートホームとは、ＩｏＴ(Internet of Things)やＡＩ(Artificial Intelligence)の技術を用いて、住人にとってより安全・安心で快適な暮らしを実現するシステムをいう。このシステムは、住宅内に設置された複数のセンサからマルチモーダルデータを収集し、人が知覚可能な室内状態を分析する。
マルチモーダルデータには、時系列データと非時系列データとがある。時系列マルチモーダルデータとは、特徴に時間次元を持ち、周期的（例えば５分間隔）に取得された計測値群である。一方で、非時系列マルチモーダルデータは、特徴に時間次元を持たない。
時系列マルチモーダルデータとしては、例えば以下のようなものがある。
消費電力、照度（視覚）、動き（視覚）、
気温（触覚）、湿度（触覚）、音声（聴覚）、映像（視覚）
スマートホームに設置されたセンサは、無線によってエッジコンピュータへ、逐次、その計測値を送信する。エッジコンピュータは、収集された時系列のマルチモーダルデータから、ユーザの行動や状態を推定しようとする。

【0003】

従来、センサを搭載した複数の端末（スマートフォン、眼鏡型端末、時計型端末など）から取得した瞬間的な２値データ（電源のオンオフなど）を用いて、ユーザの行動（徒歩、電車移動、デスクワークなど）をリアルタイムに推定し、その行動に適したコンテンツを配信する技術がある（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－２１２７９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術によれば、マルチモーダルセンサから取得された現時点の計測値群から、現時点の行動を推定するに過ぎない。また、瞬間的な１時点における計測値群しか用いていないために、時系列特性を考慮することができない。

【0006】

これに対し、本願の発明者らは、複数のセンサにおけるマルチモーダルデータ同士に、時系列の何らかの相関性があるのではないか、と考えた。
特に、時系列の計測値群に対するオートエンコーダの学習エンジンを想定した際に、エンコーダが未来の潜在表現を予測することができれば、デコーダがその潜在表現をサンプリングすることによって、未来の計測値群を予測することができるのではないか、と考えた。

【0007】

そこで、本発明は、複数のセンサにおける時系列の計測値群同士の相関性に基づいて、エンコーダとして未来の潜在表現を予測するプログラム、装置及び方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明によれば、未来の潜在表現を予測するエンコーダとしてコンピュータを機能させるエージェントのプログラムであって、
エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成すると共に、時刻t2（1≦t1＜t2)の信念bt2から、正規化された確率分布の第２の潜在表現zt2を生成する第１の潜在表現生成エンジンと、
第２の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第２の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第２の潜在表現生成エンジンと、
第１の潜在表現生成エンジン及び第２の潜在表現生成エンジンを、第１の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
してコンピュータを機能させることを特徴とする。

【0009】

本発明のプログラムにおける他の実施形態によれば、
第１の潜在表現生成エンジン及び第２の潜在表現生成エンジンは、平均ベクトルμと分散共分散行列の対角成分Σとによって表現した潜在表現zを出力する
ようにコンピュータを機能させることも好ましい。

【0010】

本発明のプログラムにおける他の実施形態によれば、
エンコーダ側として、
単位時間Thにおける時系列N個の標準化バッチx'tnを入力し、時系列直列に接続されたM個の再帰型ニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）によって学習されたM個の隠れ層ベクトルを、M個の信念btとして出力する時系列特徴抽出手段と
してコンピュータを更に機能させることも好ましい。

【0011】

本発明のプログラムにおける他の実施形態によれば、
時系列特徴抽出手段は、再帰型ニューラルネットワークは、ＬＳＴＭ(Long Short Term Memory)又はＧＲＵ(Gated Recurrent Unit)である
ようにコンピュータを機能させることも好ましい。

【0012】

本発明のプログラムにおける他の実施形態によれば、
エンコーダ側として、
複数のセンサにおける現在の各計測値の組から、未来の各計測値の組を予測するために、
各センサについて所定期間Tdにおける時系列K個の各計測値の組の群xkから、時系列方向に平均0及び標準偏差1とした標準化バッチx'tnを生成し、単位時間Thにおける時系列N個の標準化バッチx'tnをランダムに選択し、時系列特徴抽出手段へ出力する標準化バッチ生成手段と
してコンピュータを更に機能させることも好ましい。

【0013】

本発明のプログラムにおける他の実施形態によれば、
センサにおける時系列の計測値の組の群は、時系列マルチモーダルデータであり、温度、湿度、照度、動き、消費電力及び／又は外出有無である
ようにコンピュータを機能させることも好ましい。

【0014】

本発明のプログラムにおける他の実施形態によれば、
デコーダとして、
エンコーダから出力された予測潜在表現z't1からサンプリングした予測サンプル数値群を生成する予測サンプリング手段と、
エンコーダの第２の潜在表現生成エンジンの逆処理であり、予測潜在表現z't1の予測サンプル数値群から、時刻t1の信念b't1を再生する予測信念再生エンジンと
して更に機能させ、
エンコーダに対するデコーダを備えたＶＡＥ(Variational AutoEncoder)としてコンピュータを更に機能させることも好ましい。

【0015】

本発明のプログラムにおける他の実施形態によれば、
デコーダ側として、
エンコーダ側の時系列特徴抽出手段の逆処理であり、時刻t1の信念bt'1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t1の標準化バッチy't1を出力する時系列特徴再生手段と
してコンピュータを更に機能させることも好ましい。

【0016】

本発明のプログラムにおける他の実施形態によれば、
エンコーダ側の時系列特徴抽出手段と、デコーダ側の時系列特徴再生手段とを、エンコーダ側の時系列特徴抽出手段に入力された時刻t1の標準化バッチx't1と、デコーダ側の時系列特徴再生手段から出力された時刻t1の標準化バッチy't1との差l2を最小化する損失関数となるように学習させるオートエンコーダ学習構築手段と
してコンピュータを更に機能させることも好ましい。

【0017】

本発明のプログラムにおける他の実施形態によれば、
エンコーダ側の標準化バッチ生成手段の逆処理であり、時系列特徴再生手段から時刻t1の標準化バッチy't1を入力し、各センサについて時刻t1における各計測値の組の群yt1を再生する標準化バッチ再生手段と
してコンピュータを更に機能させることも好ましい。

【0018】

本発明のプログラムにおける他の実施形態によれば、
エンコーダとして、第１の潜在表現生成エンジンから出力された第１の潜在表現zt1と第２の潜在表現zt2との間の相関性に基づく回帰モデルを構築する回帰モデル構築手段と
してコンピュータを更に機能させることも好ましい。

【0019】

本発明のプログラムにおける他の実施形態によれば、
エンコーダの運用段階として、
第１の潜在表現生成エンジンは、時刻t1の信念bt1を入力し、第１の潜在表現zt1を出力し、
回帰モデル構築手段は、第１の潜在表現zt1を入力し、当該第１の潜在表現zt1に相関する第２の潜在表現z't2を出力する
ようにコンピュータを更に機能させることも好ましい。

【0020】

本発明によれば、エンコーダに対するデコーダを備えたＶＡＥとしてコンピュータを機能させるエージェントのプログラムであって、
複数のセンサにおける現在の各計測値の組から、未来の各計測値の組を予測するために、
エンコーダの学習段階として、
各センサについて所定期間Tdにおける時系列K個の各計測値の組の群xkから、単位時間Thにおける時系列N個のバッチxtnをランダムに選択し、時系列方向に平均0及び標準偏差1とし標準化した時系列N個の標準化バッチx'tnを生成する標準化バッチ生成手段と、
単位時間Thにおける時系列N個の標準化バッチx'tnを入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークによって学習されたM個の隠れ層ベクトルを、M個の信念btとして出力する時系列特徴抽出手段と、
M個の信念btを入力し、時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成すると共に、時刻t2（1≦t1＜t2)の信念bt2から、正規化された確率分布の第２の潜在表現zt2を生成する第１の潜在表現生成エンジンと、
第２の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第２の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第２の潜在表現生成エンジンと、
第１の潜在表現生成エンジン及び第２の潜在表現生成エンジンを、第１の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
して機能させ、
デコーダとして、
エンコーダから出力された予測潜在表現z't1からサンプリングした予測サンプル数値群を生成する予測サンプリング手段と、
エンコーダの第２の潜在表現生成エンジンの逆処理であり、予測潜在表現z't1の予測サンプル数値群から、時刻t1の信念b't1を再生する予測信念再生エンジンと、
エンコーダ側の時系列特徴抽出手段の逆処理であり、時刻t1の信念bt'1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t1の標準化バッチy't1を出力する時系列特徴再生手段と、
エンコーダ側の標準化バッチ生成手段の逆処理であり、時系列特徴再生手段から時刻t1の標準化バッチy't1を入力し、各センサについて時刻t1における各計測値の組の群yt1を再生する標準化バッチ再生手段と
して機能させ、
エンコーダ側の時系列特徴抽出手段と、デコーダ側の時系列特徴再生手段とを、エンコーダ側の時系列特徴抽出手段に入力された時刻t1の標準化バッチx't1と、デコーダ側の時系列特徴再生手段から出力された時刻t1の標準化バッチy't1との差l2を最小化する損失関数となるように学習させるオートエンコーダ学習構築手段と、
第１の潜在表現生成エンジンから出力された第１の潜在表現zt1と、第２の潜在表現生成エンジンから出力された第２の潜在表現z't1との間の相関性に基づく回帰モデルを構築する回帰モデル構築手段と
してコンピュータを機能させることを特徴とする。

【0021】

本発明のプログラムにおける他の実施形態によれば、
ＶＡＥの運用段階として、
エンコーダとして、
標準化バッチ生成手段は、時刻t1の各計測値の組の群xt1から、時系列方向に平均0及び標準偏差1とし標準化した標準化バッチx't1を生成し、
時系列特徴抽出手段は、標準化バッチx't1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークによって学習されたM個の隠れ層ベクトルを、M個の信念bt1として出力し、
第１の潜在表現生成エンジンは、M個の信念bt1を入力し、時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成し、
回帰モデル構築手段は、第１の潜在表現zt1から、回帰モデルに基づく予測潜在表現z't2を生成し、
デコーダとして、
予測サンプリング手段は、エンコーダから出力された予測潜在表現z't2からサンプリングした予測サンプル数値群を生成し、
予測信念再生エンジンは、予測潜在表現z't2の予測サンプル数値群から、時刻t2の信念b't2を再生し、
時系列特徴再生手段は、時刻t2の信念bt'2を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t2の標準化バッチy't2を出力し、
標準化バッチ再生手段は、時刻t2の標準化バッチy't2から、各センサについて時刻t2における各計測値の組の群yt2を再生する
ようにコンピュータを機能させることも好ましい。

【0022】

本発明によれば、未来の潜在表現を予測するエンコーダとしてコンピュータを機能させるエージェントの装置であって、
エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成すると共に、時刻t2（1≦t1＜t2)の信念bt2から、正規化された確率分布の第２の潜在表現zt2を生成する第１の潜在表現生成エンジンと、
第２の潜在表現zt2からサンプリングしたサンプル数値群を生成するサンプリング手段と、
時刻t1の信念bt1と、第２の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する予測数値群生成手段と、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第２の潜在表現生成エンジンと、
第１の潜在表現生成エンジン及び第２の潜在表現生成エンジンを、第１の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させるエンコーダ学習構築手段と
を有することを特徴とする。

【0023】

本発明によれば、未来の潜在表現を予測する装置のエンコード方法であって、
装置は、エンコーダの学習段階として、
M個の信念(belief)btを入力し、時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成すると共に、時刻t2（1≦t1＜t2)の信念bt2から、正規化された確率分布の第２の潜在表現zt2を生成する第１のステップと、
第２の潜在表現zt2からサンプリングしたサンプル数値群を生成する第２のステップと、
時刻t1の信念bt1と、第２の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する第３のステップと、
予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する第４のステップと、
第１の潜在表現生成エンジン及び第２の潜在表現生成エンジンを、第１の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させる第５のステップと
を実行することを特徴とする。

【発明の効果】

【0024】

本発明のプログラム、装置及び方法によれば、複数のセンサにおける時系列の計測値群同士の相関性に基づいて、エンコーダとして未来の潜在表現を予測することができる。

【図面の簡単な説明】

【0025】

【図1】本発明における時系列の計測値群に対するオートエンコーダの学習段階の機能構成図である。

【図2】時系列の計測値からバッチ群を生成する説明図である。

【図3】計測値のバッチ群から時系列特徴のバッチ群を生成する説明図である。

【図4】本発明における時系列のバッチ群に対するオートエンコーダの学習段階の機能構成図である。

【図5】第１の潜在表現生成エンジンの処理の説明図である。

【図6】サンプリング部と、予測数値群生成部と、第２の潜在表現生成エンジンとの処理の説明図である。

【図7】エンコーダ学習構築部の処理の説明図である。

【図8】オートエンコーダ学習構築部の処理の説明図である。

【図9】本発明におけるオートエンコーダの運用段階の機能構成図である。

【発明を実施するための形態】

【0026】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

【0027】

本発明は、＜学習段階＞として、複数のセンサから出力された過去の時系列の計測値群から、時間の「信念(belief)」を学習した深層生成モデルを生成する。
そして、＜運用段階＞として、その深層生成モデルを用いて、現在の計測値群から未来の計測値群を予測する。
また、本発明によれば、時系列の計測値群に対して、再帰型ニューラルネットワークとオートエンコーダとを組合せた学習エンジンを想定する。エンコーダが、未来の潜在表現を予測することができれば、デコーダは、その潜在表現をサンプリングすることによって、未来の計測値群を予測することができる。
尚、時系列の計測値群は、家庭（スマートホーム）毎に取得すべきであって、学習エンジンの学習モデルも、家庭毎に個別に構築される。

【0028】

＜＜学習段階のエンコーダ＞＞
図１は、本発明における時系列の計測値群に対するオートエンコーダの学習段階の機能構成図である。

【0029】

図１によれば、複数のセンサにおける現在の計測値群（各計測値の組、マルチモーダルデータ）から、未来の計測値群を予測する。センサは、周期的に計測値群を出力し続け、これら計測値群は、時系列マルチモーダルデータとして収集される。

【0030】

本発明によれば、深層生成モデルを構築するオートエンコーダ（ＶＡＥ(Variational Autoencoder)）として構成される。
オートエンコーダは、エンコーダ１とデコーダ２とから構成される。エンコーダ１は、入力データから、その潜在表現を推定するものである。デコーダ２は、その潜在表現から、データを再生するものである。

【0031】

学習段階における教師データとして、説明変数及び目的変数は、時点毎に対応付けられた計測値群（組）である。
説明変数は、スマートホームにおける各種センサから出力された計測値とする。
x＝（x1, x2, x3, x4）
x1：消費電力(単位wh) <-電力センサ
x2：照度(単位lux) <-照度センサ
x3：動き(1に近いほど大きな動き) <-動きセンサ
目的変数は、例えば外出有無を表すフラグとする。
x4：外出有無(1：外出、0：在宅） <-行動モーダル

【0032】

エンコーダ１には、各センサについて所定期間Tdにおける時系列K個の各計測値の組の群xkが入力される。
所定期間Td：例えば7日
周期tm ：例えば5分
時系列K個：例えば2016個（＝12コマ×24時間×7日）
計測値組x2は、計測値組x1からみて5分後の３センサモーダル及び行動モーダルの値となる。また、計測値組x3は、計測値組x1からみて10分後の３センサモーダル及び行動モーダルの値となる。
具体的には、４つの時系列モーダルを縦方向に並べた4行2016（＝12コマ×24時間×7日）列の時系列マルチモーダルデータ行列Xが、エンコーダ１に入力される。

【0033】

図１によれば、オートエンコーダは、エンコーダ１側として、標準化バッチ生成部１１と、時系列特徴抽出部１２と、バッチエンコーダ１３とを有する。一方で、デコーダ２側として、バッチデコーダ２３と、時系列特徴再生部２２と、標準化バッチ再生部２１とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、オートエンコーダのエンコード方法及びデコード方法としても理解できる。

【0034】

［標準化バッチ生成部１１］
標準化バッチ生成部１１は、以下の処理を実行する。
（１）時系列K個の各計測値の組の群xk（行列X）から、時系列方向（横方向）に平均0及び標準偏差1とした標準化バッチx'tnを生成する。
（２）単位時間Th（例えば1時間）における時系列N個（例えば12列分）の標準化バッチx'tnをランダムに選択する。

【0035】

図２は、時系列の計測値からバッチ群を生成する説明図である。
図２によれば、単位時間Th（例えば1時間）における時系列N個（例えば12列分）の標準化バッチx'tnを、64個ランダムに選択する。この64個の各時間帯は、重複していてもよい。これら64個の標準化バッチx'tnを、「１バッチ」とする。

【0036】

そして、標準化バッチ生成部１１は、生成した時系列N個の標準化バッチx'tnを、時系列特徴抽出部１２へ出力する。

【0037】

［時系列特徴抽出部１２］
時系列特徴抽出部１２は、単位時間Thにおける時系列N個の標準化バッチx'tnを入力し、時系列直列に接続されたM個の再帰型ニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）によって学習されたM個の隠れ層ベクトルを、M個の「信念bt」として出力する。信念(belief)とは、エージェント（未来の潜在表現を予測するもの）が直接観測できない潜在表現に対して持つ近似的な確率分布をいう。

【0038】

ＲＮＮは、内部に状態を持ち、各時点における入力値及び状態に基づいて、次の状態に遷移させることができる。特に、ＬＳＴＭ(Long Short Term Memory)又はＧＲＵ(Gated Recurrent Unit)は、忘却ゲート及び更新ゲートを導入し、時系列の計測値の特徴の記憶を維持しやすくしている。

【0039】

時系列特徴抽出部１２は、直列に連結された例えば10段のＬＳＴＭを有する。そして、各ＬＳＴＭは、標準化バッチx'tnと、時系列前段のＬＳＴＭの隠れ層ベクトルとを入力し、時系列後段へ隠れ層ベクトルを出力する。ＬＳＴＭは、入力の際に前時刻の出力も再帰的に入力させることで過去の特徴を保持した特徴を出力する。

【0040】

図３は、計測値のバッチ群から時系列特徴のバッチ群を生成する説明図である。

【0041】

図３によれば、ＬＳＴＭから出力された10次元（縦列）の隠れベクトルが表されている。１２列（例えば１時間分）の列ベクトルを、b1～b12で表す。
B1＝(b1 b2 b3 b4 b5 b6 b7 b8 b9 b10 b11 b12)
b1：ある時刻に持つ信念
b2：b1からみて5分後に持つ信念
b3：b1からみて10分後に持つ信念
・・・・・
10個の連結されたＬＳＴＭから出力される隠れベクトルは、過去のＬＳＴＭの出力を再帰的に入力することで記憶したものである。即ち、ＬＳＴＭの各ステップを出力する関数fbを用いて、時刻t+1のbt+1は、fb（bt,xt）によって表される。

【0042】

＜バッチエンコーダ１３＞
バッチエンコーダ１３は、バッチデコーダ２３と対となって、オートエンコーダ（ＶＡＥ）を構成する。オートエンコーダは、入力層、任意の潜在表現をもつ中間層、出力層からなる深層生成モデルとからなり、潜在表現をある分布（多次元正規分布など）に従うと仮定したものである。

【0043】

バッチエンコーダ１３は、時系列のM個の信念btを入力する。ここで、任意の時刻t1の信念bt1と、任意の時刻t2（1≦t1<t2≦12）の信念bt2とについて、時間差学習(Temporal difference learning)をする。
その上で、バッチエンコーダ１３は、時刻t1の信念bt1における潜在表現z't1を出力する。

【0044】

図４は、本発明における時系列のバッチ群に対するオートエンコーダの学習段階の機能構成図である。

【0045】

図４によれば、バッチエンコーダ１３は、第１の潜在表現生成エンジン１３１と、サンプリング部１３２と、予測数値群生成部１３３と、第２の潜在表現生成エンジン１３４と、エンコーダ学習構築部１３５と、回帰モデル構築部１３６とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置のエンコード方法としても理解できる。

【0046】

［第１の潜在表現生成エンジン１３１］
第１の潜在表現生成エンジン１３１は、異なる２時点のt1及びt2（1≦t1<t2≦12）を任意に選択する。そして、２つの潜在表現を生成する。
（１）時刻t1の信念bt1から、正規化された確率分布の第１の潜在表現zt1を生成
（２）時刻t2の信念bt2から、正規化された確率分布の第２の潜在表現zt2を生成

【0047】

潜在表現は、時系列マルチモーダルデータに共通して潜在的に存在すると仮定される表現を意味する。第１の潜在表現生成エンジン１３１は、時系列特徴抽出部１２の各ＬＳＴＭに内在する隠れ層ベクトルから、多次元正規分布と仮定した潜在表現ｚを生成する。

【0048】

図５は、第１の潜在表現生成エンジンの処理の説明図である。

【0049】

潜在表現ｚは、多次元正規分布の平均ベクトルμと、分散共分散行列の対角成分Σとによって表現されたものである。
例えば、10次元の信念bt1から、20次元平均ベクトルμt1と、20次元分散共分散行列の対角成分Σt1と算出する。
潜在表現zt1＝μt1＋ｅ＊Σt1
μt1：平均ベクトル
Σt1：対角成分
ｅ～Ｎ（0,1）となる標準正規分布
log(Σt1)：対角成分の対数
同様に、信念bt2から、20次元平均ベクトルμt2と、20次元分散共分散行列の対角成分Σt2と算出する。
潜在表現zt2＝μt2＋ｅ＊Σt2

【0050】

信念bt1に基づく潜在表現zt1は、エンコーダ学習構築部１３５及び回帰モデル構築部１３６へ出力される。
また、信念bt2に基づく潜在表現zt2は、サンプリング部１３２へ出力される。

【0051】

図６は、サンプリング部と、予測数値群生成部と、第２の潜在表現生成エンジンとの処理の説明図である。

【0052】

［サンプリング部１３２］
サンプリング部１３２は、第２の潜在表現zt2からサンプリングしたサンプル数値群を生成する。これは、平均ベクトルμ及び対角成分Σから、標準正規分布に基づいてサンプリングした数値群である。
図６によれば、サンプリング部１３２は、潜在表現zt2から20次元のサンプリング数値群を出力している。出力されたサンプリング数値群は、予測数値群生成部１３３へ出力される。

【0053】

［予測数値群生成部１３３］
予測数値群生成部１３３は、時刻t1の信念bt1と、第２の潜在表現zt2のサンプル数値群とを合成した予測数値群を生成する。
このサンプル数値群は、10次元の信念bt1と、20次元のサンプル数値群とを単に横方向に並べて連結させたものである。
予測数値群＝10次元の信念bt1＋20次元のサンプル数値群
生成された予測数値群は、第２の潜在表現生成エンジン１３４へ出力される。

【0054】

［第２の潜在表現生成エンジン１３４］
第２の潜在表現生成エンジン１３４は、予測数値群から、正規化された確率分布の予測潜在表現z't1を生成する。第２の潜在表現生成エンジン１３４は、第１の潜在表現生成エンジン１３１と同様に、平均ベクトルμと分散共分散行列の対角成分Σとによって表現した予測潜在表現ｚ't1を出力する。

【0055】

最終的に、エンコーダ１は、予測潜在表現ｚ't1を、デコーダ２へ出力することとなる。

【0056】

［エンコーダ学習構築部１３５］
エンコーダ学習構築部１３５は、第１の潜在表現生成エンジン１３１及び第２の潜在表現生成エンジン１３４を、第１の潜在表現zt1と予測潜在表現z't1との差l1を最小化する損失関数となるように学習させる。

【0057】

図７は、エンコーダ学習構築部の処理の説明図である。

【0058】

エンコーダ学習構築部１３５は、差l1＝｜zt1－z't1｜を最小化するように、誤差逆伝搬によって損失関数を決定する。これは、潜在表現zt1の分布と潜在表現z't1の分布とを近づけることにある。そのために、以下のようなＫＬダイバージェンスを用いる。
Ｄ_KL（z't1 || zt1）

【0059】

ＫＬダイバージェンスとは、２つの確率分布ＰとＱの差異を測る尺度である。Ｐ、Ｑ を離散確率分布とするとき、ＰのＱに対するカルバック・ライブラー情報量は、以下のように定義される。
Ｄ_KL（Ｐ||Ｑ）＝∫^∞ _-∞Ｐ(ｘ)log（ｐ(ｘ)/Ｑ(ｘ)）dｘ
Ｐ(i)、Ｑ(i)：確率分布Ｐ、Ｑに従って選ばれた値がiの時の確率
Ｐ～Ｎ(μ,Σ)、Ｑ～Ｎ(0,1)の場合、確率分布Ｐと標準正規分布の差異を表し、
Ｐが標準正規分布に近いほど小さくなる。

【0060】

［回帰モデル構築部１３６］
回帰モデル構築部１３６は、第１の潜在表現生成エンジン１３１から出力された第１の潜在表現zt1と第２の潜在表現zt2との間の相関性に基づく回帰モデルを構築する。
zt1 <-> zt2
回帰モデルは、運用段階で、時刻t1の潜在表現zt1 から時刻t2の潜在表現zt2を推定するために用いられる。

【0061】

＜＜学習段階のデコーダ２＞＞
図１によれば、デコーダ２は、バッチデコーダ２３と、時系列特徴再生部２２と、標準化バッチ再生部２１とを有する。

【0062】

＜バッチデコーダ２３＞
バッチデコーダ１２は、バッチエンコーダ１３から時刻t1の潜在表現z't1を入力し、時刻t1の信念b't1を出力する。
図４によれば、バッチデコーダ２３は、予測サンプリング部２３１と、予測信念再生エンジン２３２とを有する。
これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置のデコード方法としても理解できる。

【0063】

［予測サンプリング部２３１］
予測サンプリング部２３１は、エンコーダから出力された予測潜在表現z't1からサンプリングした予測サンプル数値群を生成する。これは、バッチエンコーダ１３のサンプリング部１３２と同様のものである。生成された予測サンプリング数値群は、予測信念再生エンジン２３２へ出力される。

【0064】

［予測信念再生エンジン２３２］
予測信念再生エンジン２３２は、エンコーダの第２の潜在表現生成エンジンの逆処理であり、予測潜在表現z't1の予測サンプル数値群から、時刻t1の信念b't1を再生する。再生された時刻t1の信念b't1は、時系列特徴再生部２２へ出力される。

【0065】

［時系列特徴再生部２２］
時系列特徴再生部２２は、エンコーダ１の時系列特徴抽出部１２の逆処理であり、時刻t1の信念bt'1を入力し、時系列直列に接続されたM個の再帰型ニューラルネットワークを用いて、時刻t1の標準化バッチy't1を出力する。

【0066】

［標準化バッチ再生部２１］
標準化バッチ再生部２１は、エンコーダ１の標準化バッチ生成部１１の逆処理であり、時系列特徴再生手段から時刻t1の標準化バッチy't1を入力し、各センサについて時刻t1における各計測値の組の群yt1を再生する。

【0067】

［オートエンコーダ学習構築部３］
オートエンコーダ学習構築部３は、エンコーダ１の時系列特徴抽出部１２と、デコーダ２の時系列特徴再生部２２とに対して、時系列特徴抽出部１２に入力された時刻t1の標準化バッチx't1と、時系列特徴再生部２２から出力された時刻t1の標準化バッチy't1との差l2を最小化する損失関数となるように学習させる。

【0068】

図８は、オートエンコーダ学習構築部の処理の説明図である。

【0069】

オートエンコーダ学習構築部３は、差l2＝｜x't1－y't1｜を最小化するように、誤差逆伝搬によって損失関数を決定する。これは、標準化バッチx't1とy't1とを近づけることにあり、再構築誤差を最小化する。そのために、以下のように、マイナス期待値を最小化するように算出する。
－Ｅ［logｐ(x't1 | z't1)］

【0070】

最終的に、エンコーダ学習構築部１３５と、オートエンコーダ学習構築部３とを用いて、以下のＬ＝l1＋l2の最小化問題を最小化するように、各学習エンジンに対する誤差逆伝搬（バックプロパゲーション）によって学習させる。
Ｌ＝Ｄ_KL（z't1 || zt1）－Ｅ［logｐ(x't1 | z't1)］

【0071】

＜＜運用段階のオートエンコーダ＞＞
図９は、本発明におけるオートエンコーダの運用段階の機能構成図である。

【0072】

運用段階によれば、任意の時刻t1に、計測値群xt1が入力されている。
消費電力：x1t1＝39.44wh
照度 ：x2t1＝106.92lux
動き ：x3t1＝1（大きな動き）
外出有無：0（在宅）

【0073】

＜エンコーダ１＞
標準化バッチ生成部１１は、任意の時刻t1における計測値群xt1を入力し、標準化バッチx't1を出力する。
時系列特徴抽出部１２は、標準化バッチx't1を入力し、再帰ニューラルネットワークにおける時刻t1の信念bt1を出力する。
第１の潜在表現生成エンジン１３１は、時刻t1の信念bt1を入力し、潜在表現zt1を出力する。
回帰モデル構築部１３６は、潜在表現zt1を入力し、回帰モデルに基づく潜在表現zt2を出力する。回帰モデルとして構築しておくことによって、非常に軽い処理で、第１の潜在表現zt1に相関する第２の潜在表現z't2を導出することができる。

【0074】

＜デコーダ２＞
予測サンプリング部２３１は、潜在表現zt2を入力し、予測サンプリング数値群を出力する。
予測信念再生エンジン２３２は、予測サンプリング数値群を入力し、未来の時刻t2における信念b't2を出力する。
時系列特徴再生部２２は、未来の時刻t2における信念b't2を入力し、未来の標準化バッチy't2を出力する。
標準化バッチ再生部２１は、未来の標準化バッチy't2を入力し、未来の計測値群ｙt2を出力する。

【0075】

最終的に、未来の時刻t2について、計測値群yt2が予測される。
消費電力：y1t2＝28.424wh
照度 ：y2t2＝111.76lux
動き ：y3t2＝0.25（比較的小さい動き）
外出有無：1（外出）
即ち、現在の時刻t1に、未来の時刻t2には、ユーザが外出しているであろうことが予測される。

【0076】

以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、複数のセンサにおける時系列の計測値群同士の相関性に基づいて、エンコーダとして未来の潜在表現を予測することができる。

【0077】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0078】

１ エンコーダ
１１ 標準化バッチ生成部
１２ 時系列特徴抽出部
１３ バッチエンコーダ
１３１ 第１の潜在表現生成エンジン
１３２ サンプリング部
１３３ 予測数値群生成部
１３４ 第２の潜在表現生成エンジン
１３５ エンコーダ学習構築部
１３６ 回帰モデル構築部
２ デコーダ
２１ 標準化バッチ再生部
２２ 時系列特徴再生部
２３ バッチデコーダ
２３１ 予測サンプリング部
２３２ 予測信念再生エンジン
３ オートエンコーダ学習構築部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】