知財求人 - 知財ポータルサイト「IP Force」
特開2024-176843ノイズ除去付き予測装置、ノイズ除去付き予測方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176843
(43)【公開日】2024-12-19
(54)【発明の名称】ノイズ除去付き予測装置、ノイズ除去付き予測方法、及びプログラム
(51)【国際特許分類】
G06N 3/0455 20230101AFI20241212BHJP
G06F 18/214 20230101ALI20241212BHJP
G06N 3/09 20230101ALI20241212BHJP
G06F 18/27 20230101ALI20241212BHJP
【ＦＩ】
G06N3/0455
G06F18/214
G06N3/09
G06F18/27
【審査請求】有
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023095673
(22)【出願日】2023-06-09
(11)【特許番号】
(45)【特許公報発行日】2024-02-21
(71)【出願人】
【識別番号】000005234
【氏名又は名称】富士電機株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】金田 龍哉
(72)【発明者】
【氏名】島崎 祐一
(57)【要約】
【課題】予測モデルに入力される説明変数に存在するノイズを除去できる技術を提供すること。
【解決手段】本開示の一態様によるノイズ除去付き予測装置は、１つ以上の説明変数と目的変数とで構成されるデータを取得する第１のデータ取得部と、前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成部と、前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値を少なくとも入力とするデノイジングオートエンコーダを学習する学習部と、前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得部と、前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去部と、前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測部と、を有する。
【選択図】図２
【解決手段】本開示の一態様によるノイズ除去付き予測装置は、１つ以上の説明変数と目的変数とで構成されるデータを取得する第１のデータ取得部と、前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成部と、前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値を少なくとも入力とするデノイジングオートエンコーダを学習する学習部と、前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得部と、前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去部と、前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測部と、を有する。
【選択図】図２
【特許請求の範囲】
【請求項1】
１つ以上の説明変数と目的変数とで構成されるデータを取得する第１のデータ取得部と、
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成部と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値を少なくとも入力とするデノイジングオートエンコーダを学習する学習部と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得部と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去部と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測部と、
を有するノイズ除去付き予測装置。
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成部と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値を少なくとも入力とするデノイジングオートエンコーダを学習する学習部と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得部と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去部と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測部と、
を有するノイズ除去付き予測装置。
【請求項2】
前記デノイジングオートエンコーダは、
前記１つ以上の説明変数の値と、前記目的変数と相関がある変数を表すダミー目的変数の値とを入力とする、請求項１に記載のノイズ除去付き予測装置。
前記１つ以上の説明変数の値と、前記目的変数と相関がある変数を表すダミー目的変数の値とを入力とする、請求項１に記載のノイズ除去付き予測装置。
【請求項3】
前記ダミー目的変数は、
前記１つ以上の説明変数のうちのいずれかの説明変数、又は、前記１つ以上の説明変数の値を入力として前記目的変数の値を予測するモデルの予測値を表す変数、である、請求項２に記載のノイズ除去付き予測装置。
前記１つ以上の説明変数のうちのいずれかの説明変数、又は、前記１つ以上の説明変数の値を入力として前記目的変数の値を予測するモデルの予測値を表す変数、である、請求項２に記載のノイズ除去付き予測装置。
【請求項4】
前記モデルは、物理モデル、単回帰モデル、重回帰モデル、所定の予測アルゴリズムで実現されるモデルのいずれかである、請求項３に記載のノイズ除去付き予測装置。
【請求項5】
１つ以上の説明変数と目的変数とで構成されるデータを取得する第１のデータ取得手順と、
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成手順と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値を少なくとも入力とするデノイジングオートエンコーダを学習する学習手順と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得手順と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去手順と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測手順と、
をコンピュータが実行するノイズ除去付き予測方法。
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成手順と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値を少なくとも入力とするデノイジングオートエンコーダを学習する学習手順と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得手順と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去手順と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測手順と、
をコンピュータが実行するノイズ除去付き予測方法。
【請求項6】
１つ以上の説明変数と目的変数とで構成されるデータを取得する第１のデータ取得手順と、
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成手順と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値を少なくとも入力とするデノイジングオートエンコーダを学習する学習手順と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得手順と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去手順と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測手順と、
をコンピュータに実行させるプログラム。
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成手順と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値を少なくとも入力とするデノイジングオートエンコーダを学習する学習手順と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得手順と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去手順と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測手順と、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ノイズ除去付き予測装置、ノイズ除去付き予測方法、及びプログラムに関する。
【背景技術】
【0002】
ＡＩ（artificial intelligence）等の予測・学習に用いられるデータには予測に関係しない情報が混在していることがあり、ノイズ等と呼ばれる。ＡＩ等の予測・学習に用いられるデータにノイズが混在している場合、予測モデルは、予測に関係しない情報も学習するため予測精度が低下することがある。これに対して、ラベルノイズが存在する状況下でモデルをロバストに訓練できる従来技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０２２－５４８９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、例えば、特許文献１に記載されている従来技術では、ラベル（つまり、目的変数）以外の説明変数にノイズが存在する場合が考慮されていなかった。
【0005】
本開示は、上記の点に鑑みてなされたもので、予測モデルに入力される説明変数に存在するノイズを除去できる技術を提供する。
【課題を解決するための手段】
【0006】
本開示の一態様によるノイズ除去付き予測装置は、１つ以上の説明変数と目的変数とで構成されるデータを取得する第１のデータ取得部と、前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成部と、前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値を少なくとも入力とするデノイジングオートエンコーダを学習する学習部と、前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得部と、前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去部と、前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測部と、を有する。
【発明の効果】
【0007】
予測モデルに入力される説明変数に存在するノイズを除去できる技術が提供される。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係るノイズ除去付き予測装置のハードウェア構成の一例を示す図である。
【図2】本実施形態に係るノイズ除去付き予測装置の機能構成の一例を示す図である。
【図3】ノイズ除去モデルの一例（その１）を示す図である。
【図4】ノイズ除去モデルの一例（その２）を示す図である。
【図5】本実施形態に係るノイズ除去モデル学習処理の一例を示すフローチャートである。
【図6】本実施形態に係るノイズ除去処理の一例を示すフローチャートである。
【図7】「Ａ）ＤＡＥ実施なし」におけるデータ分布の一例を示す図である。
【図8】「Ｃ）ＤＡＥ実施あり（提案法）」におけるデータ分布の一例を示す図である。
【図9】「Ａ）ＤＡＥ実施なし」と「Ｃ）ＤＡＥ実施あり（提案法）」におけるデータ分布の比較例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について説明する。以下の実施形態では、予測モデルに入力される説明変数に存在するノイズを除去した上で、この予測モデルによる予測を行うことができるノイズ除去付き予測装置１０について説明する。以下、予測モデルをｆとする。
【0010】
＜ノイズ除去付き予測装置１０のハードウェア構成例＞
本実施形態に係るノイズ除去付き予測装置１０のハードウェア構成例を図１に示す。図１に示すように、本実施形態に係るノイズ除去付き予測装置１０は、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、ＲＡＭ（Random Access Memory）１０５と、ＲＯＭ（Read Only Memory）１０６と、補助記憶装置１０７と、プロセッサ１０８とを有する。これらの各ハードウェアは、それぞれがバス１０９を介して通信可能に接続される。
本実施形態に係るノイズ除去付き予測装置１０のハードウェア構成例を図１に示す。図１に示すように、本実施形態に係るノイズ除去付き予測装置１０は、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、ＲＡＭ（Random Access Memory）１０５と、ＲＯＭ（Read Only Memory）１０６と、補助記憶装置１０７と、プロセッサ１０８とを有する。これらの各ハードウェアは、それぞれがバス１０９を介して通信可能に接続される。
【0011】
入力装置１０１は、例えば、キーボード、マウス、タッチパネル、物理ボタン等である。表示装置１０２は、例えば、ディスプレイ、表示パネル等である。なお、ノイズ除去付き予測装置１０は、入力装置１０１及び表示装置１０２のうちの少なくとも一方を有していなくてもよい。
【0012】
外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。記録媒体１０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
【0013】
通信Ｉ／Ｆ１０４は、ノイズ除去付き予測装置１０を通信ネットワークに接続するためのインタフェースである。ＲＡＭ１０５は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。補助記憶装置１０７は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の不揮発性の記憶装置である。プロセッサ１０８は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＧＰＵ（General Purpose computing with Graphic Processing Unit）等の各種演算装置である。
【0014】
なお、図１に示すハードウェア構成は一例であって、ノイズ除去付き予測装置１０は、複数の補助記憶装置１０７や複数のプロセッサ１０８を有していてもよいし、図示したハードウェアの一部を有していなくてもよいし、図示したハードウェア以外の種々のハードウェアを有していてもよい。
【0015】
＜ノイズ除去付き予測装置１０の機能構成例＞
本実施形態に係るノイズ除去付き予測装置１０の機能構成例を図２に示す。図２に示すように、本実施形態に係るノイズ除去付き予測装置１０は、第１のデータ取得部２０１と、ノイズ作成部２０２と、学習用データ作成部２０３と、学習部２０４と、第２のデータ取得部２０５と、ノイズ除去部２０６と、予測部２０７とを有する。これら各部は、例えば、ノイズ除去付き予測装置１０にインストールされた１以上のプログラムが、プロセッサ１０８等に実行させる処理により実現される。
本実施形態に係るノイズ除去付き予測装置１０の機能構成例を図２に示す。図２に示すように、本実施形態に係るノイズ除去付き予測装置１０は、第１のデータ取得部２０１と、ノイズ作成部２０２と、学習用データ作成部２０３と、学習部２０４と、第２のデータ取得部２０５と、ノイズ除去部２０６と、予測部２０７とを有する。これら各部は、例えば、ノイズ除去付き予測装置１０にインストールされた１以上のプログラムが、プロセッサ１０８等に実行させる処理により実現される。
【0016】
第１のデータ取得部２０１は、ノイズ除去付き予測装置１０に与えられた第１のデータセットを取得する。第１のデータセットとは、予測モデルに入力される説明変数に存在するノイズを除去するためのノイズ除去モデルの学習に用いられるデータセットのことである。以下、第１のデータセットをＤ１＝｛ｄ（ｉ）｜ｉ＝１，・・・，Ｎ｝とする。ここで、ｄ（ｉ）＝（ｘ１
（ｉ），・・・，ｘｎ
（ｉ），ｙ（ｉ））は第１のデータセットＤ１に含まれるｉ番目のデータ、Ｎは第１のデータセットＤ１に含まれるデータ数を表す。また、ｘ１
（ｉ），・・・，ｘｎ
（ｉ）はｉ番目のデータの説明変数ｘ１，・・・，ｘｎの値をそれぞれ表し、ｙ（ｉ）はｉ番目のデータの目的変数ｙの値を表す。
【0017】
ここで、ノイズ除去モデルはＤＡＥ（Denoising Autoencoder；デノイジングオートエンコーダ）で実現されるモデルであるものとする。ＤＡＥとはノイズ除去のためにオートエンコーダ（自己符号化器）の入力にノイズを加えた状態で学習するものである。以下では、ＤＡＥ（ｘ；θ）＝Ｄ（Ｅ（ｘ；θＥ）；θＤ）と表す。なお、Ｄ（・）はデコーダ、Ｅ（・）はエンコーダ、θはＤＡＥの学習可能パラメータ、θＤはデコーダの学習可能パラメータ、θＥはエンコーダの学習可能パラメータを表す。ただし、各学習パラメータはその表記を省略することがある。なお、ＤＡＥの詳細については、例えば、参考文献１等を参照されたい。
【0018】
ノイズ作成部２０２は、第１のデータセットＤ１に含まれる各データｄ（ｉ）の各説明変数値ｘ１
（ｉ），・・・，ｘｎ
（ｉ）に付与するノイズε１
（ｉ），・・・，εｎ
（ｉ）を作成する。なお、ノイズ作成部２０２は、任意の手法によりノイズε１
（ｉ），・・・，εｎ
（ｉ）を作成すればよい。例えば、ガウス分布や一様分布等に従うランダムな値をサンプリングして或るノイズεｊ'
（ｉ）（ｊ'∈｛１，・・・，ｎ｝）を作成してもよいし、或る説明変数値ｘｊ
（ｉ）を或るノイズεｊ'
（ｉ）（ｊ'∈｛１，・・・，ｎ｝）として作成してもよいし、或る説明変数値ｘｊ
（ｉ）（ｉ＝１，・・・，Ｎ）の統計量（例えば、中央値、平均値、最大値、最小値等）を或るノイズεｊ'
（ｉ）（ｊ'∈｛１，・・・，ｎ｝）として作成してもよい。なお、ε１
（ｉ），・・・，εｎ
（ｉ）のうち一部のノイズが０であってもよい（つまり、ノイズが付与されない説明変数が存在してもよい。）。また、データｄ（ｉ）毎にノイズε１
（ｉ），・・・，εｎ
（ｉ）が作成されてもよいし、すべてのデータｄ（ｉ）で共通のノイズε１，・・・，εｎが作成されてもよい。
【0019】
学習用データ作成部２０３は、第１のデータセットＤ１と、ノイズε１
（ｉ），・・・，εｎ
（ｉ）（ｉ＝１，・・・，Ｎ）とを用いて、各データｄ（ｉ）の各説明変数値ｘ１
（ｉ），・・・，ｘｎ
（ｉ）に対してノイズε１
（ｉ），・・・，εｎ
（ｉ）をそれぞれ付与して学習用データセットＤを作成する。すなわち、学習用データ作成部２０３は、各ｉ＝１，・・・，Ｎに対して、ｘｊ
'（ｉ）←ｘｊ
（ｉ）＋εｊ（ｊ＝１，・・・，ｎ）とノイズを付与して学習用データセットＤ＝｛ｄ'（ｉ）｜ｉ＝１，・・・，Ｎ｝を作成する。ここで、ｄ'（ｉ）＝（ｘ１
'（ｉ），・・・，ｘｎ
'（ｉ），ｙ（ｉ））である。
【0020】
学習部２０４は、第１のデータセットＤ１と学習用データセットＤとを用いて、ノイズ除去モデルＤＡＥ（・）を学習する。ここで、学習部２０４は、以下の学習手法１又は２によりノイズ除去モデルＤＡＥ（・）を学習する。
【0021】
・学習手法１
（ｘ１ '（ｉ），・・・，ｘｎ '（ｉ），ｄｙ（ｉ））をノイズ除去モデルＤＡＥ（・）の入力データ、（ｘ１ （ｉ），・・・，ｘｎ （ｉ），ｙ（ｉ））を教師データとして、ノイズ除去モデルＤＡＥ（・）を学習する。ここで、ｄｙはダミーの目的変数（以下、ダミー目的変数という。）である。ダミー目的変数ｄｙの値としては、例えば、目的変数ｙと相関が高いと考えられる説明変数の値をそのまま用いてもよいし、物理モデルや単回帰、重回帰、その他のアルゴリズムにて作成した予測モデルにより目的変数の値の予測した予測値を用いてもよい。
（ｘ１ '（ｉ），・・・，ｘｎ '（ｉ），ｄｙ（ｉ））をノイズ除去モデルＤＡＥ（・）の入力データ、（ｘ１ （ｉ），・・・，ｘｎ （ｉ），ｙ（ｉ））を教師データとして、ノイズ除去モデルＤＡＥ（・）を学習する。ここで、ｄｙはダミーの目的変数（以下、ダミー目的変数という。）である。ダミー目的変数ｄｙの値としては、例えば、目的変数ｙと相関が高いと考えられる説明変数の値をそのまま用いてもよいし、物理モデルや単回帰、重回帰、その他のアルゴリズムにて作成した予測モデルにより目的変数の値の予測した予測値を用いてもよい。
【0022】
具体例としては、例えば、目的変数ｙが「電力需要」を表し、或る説明変数ｘｊが「気温」を表す場合、「電力需要」と「気温」は相関があると考えられるため、ダミー目的変数値ｄｙ（ｉ）として、説明変数値ｘｊ
（ｉ）又はｘｊ
'（ｉ）を用いることが考えられる。
【0023】
また、例えば、物理モデルや単回帰、重回帰、その他のアルゴリズムにて作成した予測モデルをｙ＝ｇ（ｘ１，・・・，ｘｎ）としたとき、ダミー目的変数値ｄｙ（ｉ）として、ｇ（ｘ１
（ｉ），・・・，ｘｎ
（ｉ））又はｇ（ｘ１
'（ｉ），・・・，ｘｎ
'（ｉ））を用いることが考えられる。
【0024】
エンコーダＥ（・）の出力データを（ｚ１，・・・，ｚｍ）として、学習手法１を用いる場合、ノイズ除去モデルＤＡＥ（・）は、図３に示すＤＡＥで与えられる。なお、出力データの次元数ｍはユーザ等が設定可能なハイパーパラメータである。これ以外にも、例えば、ノイズ除去モデルＤＡＥ（・）の活性化関数、学習の際のミニバッチ数やエポック数等もユーザ等が設定可能なハイパーパラメータである。
【0025】
・学習手法２
（ｘ１ '（ｉ），・・・，ｘｎ '（ｉ））をノイズ除去モデルＤＡＥ（・）の入力データ、（ｘ１ （ｉ），・・・，ｘｎ （ｉ），ｙ（ｉ））を教師データとして、ノイズ除去モデルＤＡＥ（・）を学習する。
（ｘ１ '（ｉ），・・・，ｘｎ '（ｉ））をノイズ除去モデルＤＡＥ（・）の入力データ、（ｘ１ （ｉ），・・・，ｘｎ （ｉ），ｙ（ｉ））を教師データとして、ノイズ除去モデルＤＡＥ（・）を学習する。
【0026】
エンコーダＥ（・）の出力データを（ｚ１，・・・，ｚｍ）として、学習手法２を用いる場合、ノイズ除去モデルＤＡＥ（・）は、図４に示すＤＡＥで与えられる。なお、出力データの次元数ｍはユーザ等が設定可能なハイパーパラメータである。これ以外にも、例えば、ノイズ除去モデルＤＡＥ（・）の活性化関数、学習の際のミニバッチ数やエポック数等もユーザ等が設定可能なハイパーパラメータである。
【0027】
上記の学習手法１及び２はいずれも教師データとして目的変数ｙを用いている。このため、上記の学習手法１及び２によれば、目的変数ｙも考慮したノイズ除去モデルＤＡＥ（・）を得ることが可能となる。
【0028】
第２のデータ取得部２０５は、ノイズ除去付き予測装置１０に与えられた第２のデータセット又は予測対象データを取得する。ここで、第２のデータセットは予測モデルｆの学習時に与えられ、予測対象データは予測モデルｆの予測時（推論時）に与えられる。第２のデータセットとは、予測モデルｆの学習に用いられるデータセットのことである。以下、第２のデータセットをＤ２＝｛ｄ（ｋ）｜ｋ＝１，・・・，Ｋ｝とする。ここで、ｄ（ｋ）＝（ｘ１
（ｋ），・・・，ｘｎ
（ｋ），ｙ（ｋ））は第２のデータセットＤ２に含まれるｋ番目のデータ、Ｋは第２のデータセットＤ２に含まれるデータ数を表す。また、ｘ１
（ｋ），・・・，ｘｎ
（ｋ）はｋ番目のデータの説明変数ｘ１，・・・，ｘｎの値をそれぞれ表し、ｙ（ｋ）はｋ番目のデータの目的変数ｙの値を表す。一方で、予測対象データをｄ（ｐ）＝（ｘ１
（ｐ），・・・，ｘｎ
（ｐ））とする。ここで、ｘ１
（ｐ），・・・，ｘｎ
（ｐ）は予測対象データｄ（ｐ）の説明変数ｘ１，・・・，ｘｎの値をそれぞれ表す。
【0029】
ノイズ除去部２０６は、予測モデルｆの学習時である場合、ノイズ除去モデルＤＡＥ（・）を用いて、第２のデータセットＤ２に含まれる各データｄ（ｋ）の各説明変数値ｘ１
（ｋ），・・・，ｘｎ
（ｋ）のノイズを除去する。すなわち、上記の学習手法１によりノイズ除去モデルＤＡＥ（・）が学習された場合、ノイズ除去部２０６は、各データｄ（ｋ）の各説明変数値ｘ１
（ｋ），・・・，ｘｎ
（ｋ）とダミー目的変数値ｄｙ（ｋ）とをノイズ除去モデルＤＡＥ（・）に入力し、これらの各説明変数値ｘ１
（ｋ），・・・，ｘｎ
（ｋ）のノイズを除去する。一方で、上記の学習手法２によりノイズ除去モデルＤＡＥ（・）が学習された場合、ノイズ除去部２０６は、各データｄ（ｋ）の各説明変数値ｘ１
（ｋ），・・・，ｘｎ
（ｋ）をノイズ除去モデルＤＡＥ（・）に入力し、これらの各説明変数値ｘ１
（ｋ），・・・，ｘｎ
（ｋ）のノイズを除去する。
【0030】
ノイズ除去部２０６は、予測モデルｆの予測時である場合、ノイズ除去モデルＤＡＥ（・）を用いて、予測対象データｄ（ｐ）の各説明変数値ｘ１
（ｐ），・・・，ｘｎ
（ｐ）のノイズを除去する。すなわち、上記の学習手法１によりノイズ除去モデルＤＡＥ（・）が学習された場合、ノイズ除去部２０６は、予測対象データｄ（ｐ）の各説明変数値ｘ１
（ｐ），・・・，ｘｎ
（ｐ）とダミー目的変数値ｄｙ（ｐ）とをノイズ除去モデルＤＡＥ（・）に入力し、これらの各説明変数値ｘ１
（ｐ），・・・，ｘｎ
（ｐ）のノイズを除去する。一方で、上記の学習手法２によりノイズ除去モデルＤＡＥ（・）が学習された場合、ノイズ除去部２０６は、予測対象データｄ（ｐ）の各説明変数値ｘ１
（ｐ），・・・，ｘｎ
（ｐ）をノイズ除去モデルＤＡＥ（・）に入力し、これらの各説明変数値ｘ１
（ｐ），・・・，ｘｎ
（ｐ）のノイズを除去する。
【0031】
予測部２０７は、予測モデルｆの学習時である場合、ノイズ除去後の第２のデータセットＤ２を用いて、予測モデルｆを学習する。例えば、予測部２０７は、ノイズ除去後の各データｄ（ｋ）の各説明変数値ｘ１
（ｋ），・・・，ｘｎ
（ｋ）を予測モデルｆに入力し、目的変数値ｙ（ｋ）を教師データとして当該予測モデルｆを学習する。
【0032】
予測部２０７は、予測モデルｆの予測時である場合、ノイズ除去後の予測対象データｄ（ｐ）の各説明変数値ｘ１
（ｐ），・・・，ｘｎ
（ｐ）を予測モデルｆに入力し、目的変数値ｙの値を予測する。
【0033】
なお、上記では予測モデルｆはノイズ除去後の説明変数値を入力として取るものとしたが、これは一例であって、予測モデルｆの入力はこれに限られるものではない。例えば、予測モデルｆは、ノイズ除去前の説明変数値とノイズ除去後の説明変数値との両方を入力として取るものであってもよい。また、例えば、予測モデルｆは、ノイズ除去前の説明変数値をノイズ除去モデルＤＡＥ（・）に入力したときの隠れ状態（つまり、ｚ１，・・・，ｚｍの値）を入力として取るものであってもよい。
【0034】
＜ノイズ除去モデル学習処理＞
以下、本実施形態に係るノイズ除去モデル学習処理の一例について、図５を参照しながら説明する。なお、以下では予測モデルｆの学習時と予測時（推論時）とを同一のフローチャートを参照しながら説明するが、予測モデルｆの学習時は予測時よりも前に実行される。
以下、本実施形態に係るノイズ除去モデル学習処理の一例について、図５を参照しながら説明する。なお、以下では予測モデルｆの学習時と予測時（推論時）とを同一のフローチャートを参照しながら説明するが、予測モデルｆの学習時は予測時よりも前に実行される。
【0035】
まず、第１のデータ取得部２０１は、ノイズ除去付き予測装置１０に与えられた第１のデータセットＤ１を取得する（ステップＳ１０１）。
【0036】
次に、ノイズ作成部２０２は、第１のデータセットＤ１に含まれる各データｄ（ｉ）の各説明変数値ｘ１
（ｉ），・・・，ｘｎ
（ｉ）に付与するノイズε１
（ｉ），・・・，εｎ
（ｉ）を作成する（ステップＳ１０２）。
【0037】
次に、学習用データ作成部２０３は、第１のデータセットＤ１と、ノイズε１
（ｉ），・・・，εｎ
（ｉ）（ｉ＝１，・・・，Ｎ）とを用いて、各データｄ（ｉ）の各説明変数値ｘ１
（ｉ），・・・，ｘｎ
（ｉ）に対してノイズε１
（ｉ），・・・，εｎ
（ｉ）をそれぞれ付与して学習用データセットＤを作成する（ステップＳ１０３）。これにより、学習用データセットＤ＝｛ｄ'（ｉ）｜ｉ＝１，・・・，Ｎ｝、ｄ'（ｉ）＝（ｘ１
'（ｉ），・・・，ｘｎ
'（ｉ），ｙ（ｉ））が得られる。
【0038】
そして、学習部２０４は、第１のデータセットＤ１と学習用データセットＤとを用いて、上記の学習手法１又は２によりノイズ除去モデルＤＡＥ（・）を学習する（ステップＳ１０４）。なお、ノイズ除去モデルＤＡＥ（・）の学習には既知の教師あり学習の手法を用いればよく、また最適化手法としても既知の手法を用いることができる。例えば、最適化手法としてはＡｄａｍ等を用いることができる。
【0039】
＜ノイズ除去処理＞
以下、本実施形態に係るノイズ除去処理の一例について、図６を参照しながら説明する。
以下、本実施形態に係るノイズ除去処理の一例について、図６を参照しながら説明する。
【0040】
まず、第２のデータ取得部２０５は、予測モデルｆの学習時である場合は第２のデータセットＤ２、予測モデルｆの予測時（推論時）である場合は予測対象データｄ（ｐ）を取得する（ステップＳ２０１）。
【0041】
次に、ノイズ除去部２０６は、予測モデルｆの学習時である場合はノイズ除去モデルＤＡＥ（・）により第２のデータセットＤ２に含まれる各データｄ（ｋ）の各説明変数値ｘ１
（ｋ），・・・，ｘｎ
（ｋ）のノイズを除去し、予測モデルｆの予測時（推論時）である場合はノイズ除去モデルＤＡＥ（・）により予測対象データｄ（ｐ）の各説明変数値ｘ１
（ｐ），・・・，ｘｎ
（ｐ）のノイズを除去する（ステップＳ２０２）。
【0042】
そして、予測部２０７は、予測モデルｆの学習時である場合はノイズ除去後の第２のデータセットＤ２を用いて予測モデルｆを学習し、予測モデルｆの予測時（推論時）である場合はノイズ除去後の予測対象データｄ（ｐ）を用いて目的変数ｙの値を予測する（ステップＳ２０３）。
【0043】
＜実施例及びその評価＞
本実施例では、参考文献２に記載されている或る家庭の消費電力の１分毎の推移を示すデータセットを利用した。このデータセットから２００７年１月１日～２００９年１２月３１日までの１時間毎の平均値を算出し、予測モデルｆの学習用・検証用データとした。以下の表１にデータ項目を示す。
本実施例では、参考文献２に記載されている或る家庭の消費電力の１分毎の推移を示すデータセットを利用した。このデータセットから２００７年１月１日～２００９年１２月３１日までの１時間毎の平均値を算出し、予測モデルｆの学習用・検証用データとした。以下の表１にデータ項目を示す。
【0044】
【表1】
【0045】
また、２００７年１月１日～２００８年１２月３１日の期間のデータを予測モデルｆの学習用データとし、２００９年１月１日～２００９年１２月３１日のデータを予測モデルｆの検証用データとした。このとき、学習用データ、検証用データは最小値が０、最大値が１に正規化した後に使用した。更に、予測モデルｆとしては勾配ブースティングを用いた。
【0046】
比較のために、Ａ）ＤＡＥ実施なし、Ｂ）ＤＡＥ実施あり（ただし、教師データに目的変数なし）、Ｃ）ＤＡＥ実施あり（提案法）を実施した。なお、Ｃが本実施形態で提案した手法である。
【0047】
ＤＡＥを学習する際には、Ａ）及びＣ）では－０．０５～０．０５の範囲を取る一様分布からサンプリングしたノイズを付与し、更にＣ）ではダミー目的変数として現在時刻のGlobal_active_powerを用いた。また、ＤＡＥの入力次元数はＡ）では１０８、Ｃ）では１０９とし、中間層の次元数は７５、活性化関数はｒｅｌｕとして、エポック数５０、ミニバッチ数８０で最適化アルゴリズムとしてＡｄａｍを利用して学習した。
【0048】
以上の条件の下で、Ａ、Ｂ、Ｃそれぞれで学習用データを利用して予測モデルｆを学習した後、検証用データを利用して予測モデルｆの予測精度を算出した。予測精度の指標値としては平均絶対誤差を採用した。このとき、Ａ）では０．３７３、Ｂ）では０．３８８、Ｃ）では０．３６５となり、Ｃ）で最も良い予測精度が達成できた。
【0049】
また、Ｃ）の効果を確認するため、データ分布の一例としてVoltageと目的変数の分布を図７～図９に示す。図７はＡ）ＤＡＥ実施なしのデータ分布、図８はＣ）ＤＡＥ実施あり（提案法）のデータ分布、図９はＡ）ＤＡＥ実施なしのデータ分布とＣ）ＤＡＥ実施あり（提案法）のデータ分布とを重ねたものをそれぞれ表している。図７～図９に示されるように、Ｃ）ＤＡＥ実施あり（提案法）ではデータのばらつきが軽減されていることがわかる。
【0050】
＜まとめ＞
以上のように、本実施形態に係るノイズ除去付き予測装置１０では、目的変数が含まれる教師データを用いて、ＤＡＥをノイズ除去モデルとして学習する。これにより、本実施形態に係るノイズ除去付き予測装置１０では、目的変数との関係も考慮してノイズ除去を行うことが可能なノイズ除去モデルが得られ、その結果、このノイズ除去モデルによるノイズ除去によって予測モデルｆの精度の良い予測を実現することが可能となる。
以上のように、本実施形態に係るノイズ除去付き予測装置１０では、目的変数が含まれる教師データを用いて、ＤＡＥをノイズ除去モデルとして学習する。これにより、本実施形態に係るノイズ除去付き予測装置１０では、目的変数との関係も考慮してノイズ除去を行うことが可能なノイズ除去モデルが得られ、その結果、このノイズ除去モデルによるノイズ除去によって予測モデルｆの精度の良い予測を実現することが可能となる。
【0051】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
【0052】
［参考文献］
参考文献１：Pascal Vincent，Hugo Larochelle，Yoshua Bengio，Pierre-Antoine Manzagol, "Extracting and Composing Robust Features with Denoising Autoencoders". 2008.
参考文献２：Georges Hebrail, Alice Berard, "Individual household electric power consumption Data Set", 2012-08-30.
参考文献１：Pascal Vincent，Hugo Larochelle，Yoshua Bengio，Pierre-Antoine Manzagol, "Extracting and Composing Robust Features with Denoising Autoencoders". 2008.
参考文献２：Georges Hebrail, Alice Berard, "Individual household electric power consumption Data Set", 2012-08-30.
【符号の説明】
【0053】
１０ ノイズ除去付き予測装置
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ ＲＡＭ
１０６ ＲＯＭ
１０７ 補助記憶装置
１０８ プロセッサ
１０９ バス
２０１ 第１のデータ取得部
２０２ ノイズ作成部
２０３ 学習用データ作成部
２０４ 学習部
２０５ 第２のデータ取得部
２０６ ノイズ除去部
２０７ 予測部
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ ＲＡＭ
１０６ ＲＯＭ
１０７ 補助記憶装置
１０８ プロセッサ
１０９ バス
２０１ 第１のデータ取得部
２０２ ノイズ作成部
２０３ 学習用データ作成部
２０４ 学習部
２０５ 第２のデータ取得部
２０６ ノイズ除去部
２０７ 予測部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2023-10-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
１つ以上の説明変数と目的変数とで構成されるデータを取得する第１のデータ取得部と、
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成部と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値と、前記目的変数と相関がある変数を表すダミー目的変数の値とを入力とするデノイジングオートエンコーダを学習する学習部と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得部と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去部と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測部と、
を有するノイズ除去付き予測装置。
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成部と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値と、前記目的変数と相関がある変数を表すダミー目的変数の値とを入力とするデノイジングオートエンコーダを学習する学習部と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得部と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去部と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測部と、
を有するノイズ除去付き予測装置。
【請求項2】
前記ダミー目的変数は、
前記１つ以上の説明変数のうちのいずれかの説明変数、又は、前記１つ以上の説明変数の値を入力として前記目的変数の値を予測するモデルの予測値を表す変数、である、請求項１に記載のノイズ除去付き予測装置。
前記１つ以上の説明変数のうちのいずれかの説明変数、又は、前記１つ以上の説明変数の値を入力として前記目的変数の値を予測するモデルの予測値を表す変数、である、請求項１に記載のノイズ除去付き予測装置。
【請求項3】
前記モデルは、物理モデル、単回帰モデル、重回帰モデル、所定の予測アルゴリズムで実現されるモデルのいずれかである、請求項２に記載のノイズ除去付き予測装置。
【請求項4】
１つ以上の説明変数と目的変数とで構成されるデータを取得する第１のデータ取得手順と、
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成手順と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値と、前記目的変数と相関がある変数を表すダミー目的変数の値とを入力とするデノイジングオートエンコーダを学習する学習手順と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得手順と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去手順と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測手順と、
をコンピュータが実行するノイズ除去付き予測方法。
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成手順と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値と、前記目的変数と相関がある変数を表すダミー目的変数の値とを入力とするデノイジングオートエンコーダを学習する学習手順と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得手順と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去手順と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測手順と、
をコンピュータが実行するノイズ除去付き予測方法。
【請求項5】
１つ以上の説明変数と目的変数とで構成されるデータを取得する第１のデータ取得手順と、
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成手順と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値と、前記目的変数と相関がある変数を表すダミー目的変数の値とを入力とするデノイジングオートエンコーダを学習する学習手順と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得手順と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去手順と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測手順と、
をコンピュータに実行させるプログラム。
前記データに含まれる１つ以上の説明変数のうちの少なくとも一部の説明変数の値に対してノイズを付与して学習用データを作成する学習用データ作成手順と、
前記データを教師データとして、前記学習用データに含まれる１つ以上の説明変数の値と、前記目的変数と相関がある変数を表すダミー目的変数の値とを入力とするデノイジングオートエンコーダを学習する学習手順と、
前記１つ以上の説明変数で構成される予測対象データを取得する第２のデータ取得手順と、
前記学習後のデノイジングオートエンコーダにより前記予測対象データに含まれる１つ以上の説明変数の値からノイズを除去するノイズ除去手順と、
前記ノイズ除去後の予測対象データを用いて、予測モデルにより、前記目的変数の値を予測する予測手順と、
をコンピュータに実行させるプログラム。