ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ 日本電信電話株式会社の特許一覧 ▶ 国立大学法人大阪大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6465440
(24)【登録日】2019年1月18日
(45)【発行日】2019年2月6日
(54)【発明の名称】解析装置、方法、及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20190128BHJP
G06T 7/00 20170101ALI20190128BHJP
【ＦＩ】
G06N99/00 153
G06T7/00 350Z
【請求項の数】11
【全頁数】25
(21)【出願番号】特願2016-36106(P2016-36106)
(22)【出願日】2016年2月26日
(65)【公開番号】特開2017-151904(P2017-151904A)
(43)【公開日】2017年8月31日
【審査請求日】2017年12月20日
【新規性喪失の例外の表示】特許法第３０条第２項適用 平成２７年８月２６日 Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｓｕｍｍｅｒ Ｓｃｈｏｏｌ ２０１５ Ｋｙｏｔｏ（ＭＬＳＳ ２０１５ Ｋｙｏｔｏ）（機械学習サマースクール２０１５京都）にて公開 平成２７年８月２９日発行 Ｖｏｌｕｍｅ ９２８４ ｏｆ ｔｈｅ ｓｅｒｉｅｓ Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ「Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ｉｎ Ｄａｔａｂａｓｅｓ（Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ，ＥＣＭＬ ＰＫＤＤ ２０１５，Ｐｏｒｔｏ，Ｐｏｒｔｕｇａｌ，Ｓｅｐｔｅｍｂｅｒ ７−１１，２０１５，Ｐｒｏｃｅｅｄｉｎｇｓ，Ｐａｒｔ Ｉ）」ｐｐ５７７−５９３ （コンピュータ科学における講義ノートシリーズ 第９２８４巻「データベースにおける機械学習及び知識探究（ポルトガル、ポルト、２０１５年９月７日〜１１日開催、ＥＣＭＬ ＰＫＤＤ ２０１５ 欧州会議 論文集 第Ｉ部）」５７７−５９３頁 にて公開
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(73)【特許権者】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】竹内 孝
(72)【発明者】
【氏名】岩田 具治
(72)【発明者】
【氏名】河原 吉伸
【審査官】
塚田 肇
(56)【参考文献】
【文献】
国際公開第２０１３／１１８２２４（ＷＯ，Ａ１）
【文献】
河原 吉伸ほか，構造正則化学習に基づく代表事例選択，人工知能基本問題研究会資料，２０１４年 ７月２４日，pp.11-14
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｎ ９９／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
観測データｘに対する実数スカラー値ｙを予測する解析装置であって、
観測データｘと実数スカラー値ｙとの組み合わせからなるデータ点の集合である訓練データと、観測データｘからなるテストデータと、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるデータ入力部と、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するパラメータ推定部と、
前記パラメータ推定部によって推定された前記パラメータβに基づいて、前記テストデータに対する実数スカラー値ｙを予測する予測部と、
を含む解析装置。
観測データｘと実数スカラー値ｙとの組み合わせからなるデータ点の集合である訓練データと、観測データｘからなるテストデータと、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるデータ入力部と、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するパラメータ推定部と、
前記パラメータ推定部によって推定された前記パラメータβに基づいて、前記テストデータに対する実数スカラー値ｙを予測する予測部と、
を含む解析装置。
【請求項2】
前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、
前記パラメータ推定部は、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定する請求項１記載の解析装置。
前記パラメータ推定部は、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定する請求項１記載の解析装置。
【請求項3】
前記パラメータ推定部は、
前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定する誤差項パラメータ推定部と、
前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定する正則化項パラメータ推定部と、
前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項とに基づいて、前記パラメータβを推定する高階結合正則化項パラメータ推定部とを含み、
前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行う請求項１に記載の解析装置。
前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定する誤差項パラメータ推定部と、
前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定する正則化項パラメータ推定部と、
前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項とに基づいて、前記パラメータβを推定する高階結合正則化項パラメータ推定部とを含み、
前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行う請求項１に記載の解析装置。
【請求項4】
前記パラメータ推定部は、
前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定する誤差項パラメータ推定部と、
前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定する正則化項パラメータ推定部と、
前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記一般化高階結合正則化項とに基づいて、前記パラメータβを推定する一般化高階結合正則化項パラメータ推定部とを含み、
前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記一般化高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行う請求項２に記載の解析装置。
前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定する誤差項パラメータ推定部と、
前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定する正則化項パラメータ推定部と、
前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記一般化高階結合正則化項とに基づいて、前記パラメータβを推定する一般化高階結合正則化項パラメータ推定部とを含み、
前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記一般化高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行う請求項２に記載の解析装置。
【請求項5】
前記高階結合正則化項パラメータ推定部は、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項に対応して予め定められたｓ／ｔグラフとに基づいて、パラメトリック最大流アルゴリズムに従って、パラメータβを推定する請求項３に記載の解析装置。
【請求項6】
前記一般化高階結合正則化項パラメータ推定部は、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記一般化高階結合正則化項に対応して予め定められたｓ／ｔグラフとに基づいて、パラメトリック最大流アルゴリズムに従って、パラメータβを推定する請求項４に記載の解析装置。
【請求項7】
観測データｘからなるデータ点の集合である訓練データと、観測データｘを解析するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるデータ入力部と、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するパラメータ推定部と、
を含む解析装置。
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するパラメータ推定部と、
を含む解析装置。
【請求項8】
前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、
前記パラメータ推定部は、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定する請求項７記載の解析装置。
前記パラメータ推定部は、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定する請求項７記載の解析装置。
【請求項9】
観測データｘに対する実数スカラー値ｙを予測する解析装置における解析方法であって、
データ入力部が、観測データｘと実数スカラー値ｙとの組み合わせからなるデータ点の集合である訓練データと、観測データｘからなるテストデータと、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるステップと、
パラメータ推定部が、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するステップと、
予測部が、前記パラメータ推定部によって推定された前記パラメータβに基づいて、前記テストデータに対する実数スカラー値ｙを予測するステップと、
を含む解析方法。
データ入力部が、観測データｘと実数スカラー値ｙとの組み合わせからなるデータ点の集合である訓練データと、観測データｘからなるテストデータと、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるステップと、
パラメータ推定部が、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するステップと、
予測部が、前記パラメータ推定部によって推定された前記パラメータβに基づいて、前記テストデータに対する実数スカラー値ｙを予測するステップと、
を含む解析方法。
【請求項10】
前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、
前記パラメータ推定部が推定するステップは、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定する請求項９記載の解析方法。
前記パラメータ推定部が推定するステップは、
前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定する請求項９記載の解析方法。
【請求項11】
コンピュータを、請求項１〜請求項８のいずれか１項に記載の解析装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、解析装置、方法、及びプログラムに係り、特に、正則化技術を利用して、データを解析する解析装置、方法、及びプログラムに関する。
【背景技術】
【0002】
教師あり学習は、観測データと教師データとのペアからなる訓練データが与えられた際に、観測データから教師データを予測するためのパラメータを推定する技術である。パラメータの推定は、観測データから教師データを予測したときの誤差を最小化する問題として定式化されている。推定されたパラメータの性能は、テストデータと呼ばれる訓練データに含まれない未知の観測データから教師データを予測した際の誤差（汎化誤差）によって評価され、汎化誤差が小さいほど性能が良いパラメータとされる。
【0003】
近年、教師あり学習の研究分野では観測データの高次元化に伴い、訓練データが未知の観測データの次元より少ない場合において、推定されたパラメータの汎化誤差が大きくなることにより、推定精度が悪化する問題が注目を集めている。この現象は、過学習という現象に拠る。そこでデータに関して予め得られている事前知識を正則化項として導入し、パラメータの取りうる値を制約し、過学習を回避する正則化技術が研究されている。正則化技術のなかでも、パラメータの持つ構造を利用したものは構造正則化とよばれ、近年盛んに研究されている。
【0004】
非特許文献１では、結合正則化(Fused Lasso)という構造正則化技術が提案されている。結合正則化技術は、あるパラメータと別のパラメータは隣接関係を持つために同一の真値をもつという事前知識を正則化項として導入する。非特許文献１は、結合正則化項の最小化法を提案し、実験からパラメータが隣接関係を持つデータにおいて、構造を用いない正則化技術よりも高い性能を達成すると報告されている。
【0005】
非特許文献２では、結合正則化の隣接関係を任意の隣接関係に拡張した一般化結合正則化(Generalized Fused Lasso)という技術が提案されている。非特許文献２は、一般化結合正則化が離散最適化における劣モジュラ関数のロバシュ拡張と一致することを示し（非特許文献３参照）、さらにその性質を利用することで、非特許文献４及び非特許文献７によって一般化結合正則化項の最小化法を提案した。
【0006】
教師なし学習では、訓練データとテストデータに観測データは含まれるが、教師データが含まれない場合に、データを解析する技術であり、行列分解などの技術が提案されている。教師なし学習においても、データの高次元化に伴い過学習の問題が起きており、この問題を回避するために正則化技術を適応する研究が行われており解析精度の向上が報告されている。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】Tibshirani,R., Saunders,M., Rosset,S., Zhu,J., Knight, K.: Sparsity and smoothness via the fused lasso. Journal of the Royal Statistical Society: Series B (Statistical Methodology) 67(1), 91−108 (2005)
【非特許文献2】Xin,B., Kawahara,Y., Wang,Y., Gao,W. :Efficient generalized fused lasso with its application to the diagnosis of Alzheimer’s disease. In: Proc. of AAAI. pp. 2163−2169 (2014)
【非特許文献3】Fujishige,S.:Submodularfunctionsandoptimization,vol.58.Elsevier(2005)
【非特許文献4】Gallo,G., Grigoriadis,M.D., Tarjan, R.E.: A fast parametric maximum flow algorithm and applications. SIAM Journal on Computing 18(1), 30−55 (1989)
【非特許文献5】Kohli,P., Ladicky,L., Torr,P.H.S. : Robust higher order potentials for enforcing label consistency. International Journal of Computer Vision 82(3), 302−324 (2009)
【非特許文献6】Combettes,P.L. ,Wajs,V.R.: Signal recovery by proximal forward−backward splitting. Multiscale Modeling & Simulation 4(4), 1168−1200 (2005)
【非特許文献7】Nagano,K., Kawahara,Y., Aihara,K.: Size−constrained submodular minimization through minimum norm base. In: Proc. of ICML. pp. 977−984 (2011)
【非特許文献8】Liu,J., Ji,S., Ye,J.: SLEP: Sparse Learning with Efficient Projections. Arizona State University (2009),
【発明の概要】
【発明が解決しようとする課題】
【0008】
パラメータに関する事前知識として、高階の構造、すなわち、あるパラメータの集合は同一のグループに所属する、といった情報を正則化に利用したい場合を想定する。しかし、一般化結合正則化が利用可能な事前知識は隣接関係のみに限定されているため、高階の構造を利用できない。そのためにパラメータがグループ構造を持つデータに対して、十分な性能を得られない場合がある。
【0009】
本発明は、上記問題点を解決するために成されたものであり、グループ構造を持つデータを精度よく解析することができる解析装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するために、第１の発明に係る解析装置は、観測データｘに対する実数スカラー値ｙを予測する解析装置であって、観測データｘと実数スカラー値ｙとの組み合わせからなるデータ点の集合である訓練データと、観測データｘからなるテストデータと、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるデータ入力部と、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するパラメータ推定部と、前記パラメータ推定部によって推定された前記パラメータβに基づいて、前記テストデータに対する実数スカラー値ｙを予測する予測部と、を含んで構成されている。
【0011】
また、第１の発明に係る解析装置において、前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、前記パラメータ推定部は、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するようにしてもよい。
【0012】
また、第１の発明に係る解析装置において、前記パラメータ推定部は、前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定する誤差項パラメータ推定部と、前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定する正則化項パラメータ推定部と、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項とに基づいて、前記パラメータβを推定する高階結合正則化項パラメータ推定部とを含み、前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行うようにしてもよい。
【0013】
また、第１の発明に係る解析装置において、前記パラメータ推定部は、前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定する誤差項パラメータ推定部と、前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定する正則化項パラメータ推定部と、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記一般化高階結合正則化項とに基づいて、前記パラメータβを推定する一般化高階結合正則化項パラメータ推定部とを含み、前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記一般化高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行うようにしてもよい。
【0014】
また、第１の発明に係る解析装置において、前記高階結合パラメータ推定部は、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項に対応して予め定められたｓ／ｔグラフとに基づいて、パラメトリック最大流アルゴリズムに従って、パラメータβを推定するようにしてもよい。
【0015】
また、第１の発明に係る解析装置において、前記一般化高階結合正則化項パラメータ推定部は、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記一般化高階結合正則化項に対応して予め定められたｓ／ｔグラフとに基づいて、パラメトリック最大流アルゴリズムに従って、パラメータβを推定するようにしてもよい。
【0016】
また、第２の発明に係る解析装置は、観測データｘからなるデータ点の集合である訓練データと、観測データｘを解析するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるデータ入力部と、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するパラメータ推定部と、を含んで構成されている。
【0017】
また、第２の発明に係る解析装置において、前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、前記パラメータ推定部は、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するようにしてもよい。
【0018】
第３の発明に係る解析方法は、観測データｘに対する実数スカラー値ｙを予測する解析装置における解析方法であって、データ入力部が、観測データｘと実数スカラー値ｙとの組み合わせからなるデータ点の集合である訓練データと、観測データｘからなるテストデータと、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループへの所属度を表すパラメータ構造データと、前記パラメータβを推定するための損失関数における前記訓練データの前記データ点の各々についての誤差項ｌの勾配∇ｌと、前記損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとを受け付けるステップと、パラメータ推定部が、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、各グループに対し、前記パラメータβにおける、前記グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するステップと、予測部が、前記パラメータ推定部によって推定された前記パラメータβに基づいて、前記テストデータに対する実数スカラー値ｙを予測するステップと、を含んで実行することを特徴とする。
【0019】
また、第３の発明に係る解析方法において、前記パラメータ構造データは、前記パラメータβの次元対の類似度を更に含み、前記パラメータ推定部が推定するステップは、前記訓練データと、前記誤差項ｌの勾配∇ｌと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記訓練データの前記データ点の各々についての前記誤差項ｌと、前記Ｒ個の正則化項Ωｒと、前記高階結合正則化項、及び前記パラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む前記損失関数を最小化するように、前記パラメータβを推定するようにしてもよい。
【0020】
また、第３の発明に係る解析方法において、前記パラメータ推定部が推定するステップは、誤差項パラメータ推定部が、前記誤差項ｌの勾配∇ｌに基づいて、前記パラメータβを推定するステップと、正則化項パラメータ推定部が、前記誤差項パラメータ推定部によって推定された前記パラメータβと、前記Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、前記パラメータβを推定するステップと、高階結合正則化項パラメータ推定部が、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項とに基づいて、前記パラメータβを推定するステップと、を含み、前記誤差項パラメータ推定部による推定、前記正則化項パラメータ推定部による推定、及び前記高階結合正則化項パラメータ推定部による推定を、少なくとも１回ずつ行うようにしてもよい。
【0021】
また、第３の発明に係る解析方法において、前記高階結合パラメータ推定部が推定するステップは、前記正則化項パラメータ推定部によって推定された前記パラメータβと、前記高階結合正則化項に対応して予め定められたｓ／ｔグラフとに基づいて、パラメトリック最大流アルゴリズムに従って、パラメータβを推定するようにしてもよい。
【0022】
第４の発明に係るプログラムは、コンピュータを、第１又は第２の発明に係る解析装置の各部として機能させるためのプログラムである。
【発明の効果】
【0023】
本発明の解析装置、方法、及びプログラムによれば、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、各グループに対し、パラメータβにおける、グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定することにより、グループ構造を持つデータを精度よく解析することができる、という効果が得られる。
【図面の簡単な説明】
【0024】
【図1】本発明の第１の実施の形態に係る解析装置の構成を示すブロック図である。
【図2】ｓ／ｔグラフを構築した場合の一例を示す図である。
【図3】本発明の第１の実施の形態に係る解析装置における解析処理ルーチンを示すフローチャートである。
【図4】本発明の第２の実施の形態に係る解析装置の構成を示すブロック図である。
【図5】ｓ／ｔグラフを構築した場合の一例を示す図である。
【図6】本発明の第３の実施の形態に係る解析装置の構成を示すブロック図である。
【図7】本発明の第４の実施の形態に係る解析装置の構成を示すブロック図である。
【図8】実験例におけるnon-overlapping条件の結果の一例を示す図である。
【図9】実験例におけるoverlapping条件の結果の一例を示す図である。
【図10】実験例における真値、観測値、推定値の一例を示す図である。
【発明を実施するための形態】
【0025】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0026】
＜本発明の実施の形態に係る原理＞
【0027】
まず、本発明の実施の形態における原理を説明する。
【0028】
本発明の実施の形態では、高階結合正則化項の提案および、その最小化法を適用した解析装置を提案する。高階結合正則化項は非特許文献５に記載のロバストＰｎモデルのロバシュ拡張として提案する。さらにロバストＰｎモデルが劣モジュラ関数であることを利用し高階結合正則化項の効率的な最小化法を示す。
【0029】
観測データをＭ次元の実数ベクトルｘ、教師データの実数スカラー値ｙとする。訓練データをＮ個のデータ点の集合｛（ｘｎ，ｙｎ）｝ｎ＝１Ｎ、テストデータはＮ’個のデータ点からなる集合｛（ｘｎ’）｝ｎ’＝１Ｎ’とする。正則化付き教師あり学習の損失関数は、ｄ次元の実数ベクトルβをパラメータとして用いて次の（１）式ように定式化される。
【0030】
【数1】
【0031】
このとき、ｌ（ｘｎ，ｙｎ）はデータ点毎の誤差項、Ω（β）は正則化項である。また、正則化項Ω（β）は
【0032】
【数2】
【0033】
と表される。ただし、Ωｒは、Ｒ個の正則化項であり、λｒは、正則化項Ωｒに対するハイパーパラメータであり、Ωｈｏ（β）は、後述する高階結合正則化項であり、λｈｏは、高階結合正則化項Ωｈｏに対するハイパーパラメータである。
【0034】
正則化付き教師なし学習の損失関数は、ｙｎを用いずに次の（２）式ように定式化される。
【0035】
【数3】
【0036】
正則化付き教師あり学習、及び正則化付き教師なし学習は、次の（３）式に示す、損失関数を最小化するパラメータβ＊を求める問題である。
【0037】
【数4】
【0038】
パラメータβ＊の推定は、誤差項と正則化項の最小化を交互に行う（上記非特許文献６参照）。教師あり学習においては、予測関数ｆ（β＊；ｘｎ’）によって、テストデータの予測値｛（ｙｎ’）｝ｎ’＝１Ｎ’を計算する。
【0039】
本発明の実施の形態では、新たな構造正則化項として、Ω（β）の１つである、高階結合正則化項Ωｈｏ（β）の提案と高階結合正則化項を最小化するパラメータの推定を提案し、機械学習問題に適応する。
【0040】
＜本発明の第１の実施の形態に係る解析装置の構成＞
【0041】
次に、本発明の第１の実施の形態に係る解析装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る解析装置１００は、ＣＰＵと、ＲＡＭと、後述する解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この解析装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【0042】
入力部１０は、訓練データ、テストデータ、パラメータ構造データ、誤差項ｌ、パラメータβを推定するための損失関数における訓練データのデータ点の各々についての誤差項ｌの勾配∇ｌ、誤差項のリプシッツ定数Ｌ、Ｒ個の正則化項Ωｒ（ｒ＝１，…，Ｒ）、損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒ（ｒ＝１，…，Ｒ）、予測関数ｆ、繰り返し演算数Ｐ、ハイパーパラメータα、及びハイパーパラメータγを読み込む。
【0043】
訓練データは、観測データｘと実数スカラー値ｙとの組み合わせからなるＮ個のデータ点の集合｛（ｘｎ，ｙｎ）｝ｎ＝１Ｎである。テストデータは、Ｎ’個の観測データｘの集合｛（ｘｎ）｝ｎ＝１Ｎ’である。
【0044】
パラメータ構造データは、次の（４）式に示す、観測データｘに対する実数スカラー値ｙを予測するためのｄ次元のベクトルであるパラメータβの各次元の、各グループｋへの所属度を表すｃ０ｋ、及びｃ１ｋである。
【0045】
【数5】
【0046】
パラメータ構造データは、Ｋ個のグループｋにおけるｃ０ｋ、及びｃ１ｋであり、ｋにおけるｃ０ｋ、及びｃ１ｋは、グループｋに属するパラメータβの各次元の要素の値が、と、グループｋにおける真値と同じとなる度合いを表している。また、ｇｋはｋ番目のグループに属する、パラメータβの次元の集合である。また、パラメータ構造データは、グループｋにおける真値と同じ値を持つ要素の数を制御するためのパラメータθ０ｋ、θ１ｋ、及びθｍａｘｋを更に含む。
【0047】
演算部２０は、パラメータ推定部３０と、予測部４０とを含んで構成されている。
【0048】
パラメータ推定部３０は、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒと、誤差項のリプシッツ定数Ｌと、ハイパーパラメータα、γとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、各グループｋに対し、パラメータβにおける、グループｋに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定する。
【0049】
パラメータ推定部３０は、具体的には、以下に説明する初期化部３２と、誤差項パラメータ推定部３４と、正則化項パラメータ推定部３６と、高階結合正則化項パラメータ推定部３８と、を含んで構成されている。パラメータ推定部３０では、誤差項パラメータ推定部３４、正則化項パラメータ推定部３６、及び高階結合正則化項パラメータ推定部３８の推定を少なくとも１回ずつ行う。本実施の形態では、入力部１０で受け付けた繰り返し演算数Ｐの回数分の推定を繰り返して得られたパラメータβ＊を予測部４０に出力する。
【0050】
初期化部３２は、パラメータβの初期値β０を一様乱数によって生成する。
【0051】
誤差項パラメータ推定部３４は、誤差項ｌの勾配∇ｌと、誤差項のリプシッツ定数Ｌと、パラメータβの初期値β０又は高階結合正則化項パラメータ推定部３８によって推定されたｐ−１回目のパラメータ推定値βｐ−１に基づいて、パラメータβｐ＾を推定する。ここでは、上記非特許文献６に記載の手法に従って、以下（５）式に示すように、初期値β０、又はｐ−１回目のパラメータ推定値βｐ−１を用いて、誤差項に関する推定値βｐ＾を得る。
【0052】
【数6】
【0053】
正則化項パラメータ推定部３６は、誤差項パラメータ推定部３４によって推定されたパラメータβｐ＾と、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、パラメータβｐ〜を推定する。ここでは、誤差項パラメータ推定部３４で得られたβｐ＾と、１つ目の正則化項Ωｒの各々を最小化する関数∇Ωｒとを用いて、パラメータの推定値βｐ（１）〜を得て、パラメータの推定値βｐ（１）〜と、２つ目の正則化項Ωｒの各々を最小化する関数∇Ωｒとを用いて、パラメータの推定値βｐ（２）〜を得る。同様に、パラメータの推定値βｐ（ｒ−１）〜と、２つ目の正則化項Ωｒの各々を最小化する関数∇Ωｒと用いて、パラメータの推定値βｐ（２）〜を得る。ここでは、βｐ〜（０）＝βｐ＾とし、以下の（６）式に示す操作をＲ回繰り返す。
【0054】
【数7】
【0055】
そして、正則化項パラメータ推定部３６は、Ｒ回繰り返した結果を、βｐ〜＝βｐ〜（Ｒ）とする。
【0056】
高階結合正則化項パラメータ推定部３８は、正則化項パラメータ推定部３６によって推定されたパラメータβｐ〜と、高階結合正則化項Ωｈｏ（β）とに基づいて、パラメータβｐを推定する。
【0057】
具体的には、まず高階結合正則化項を次の（７）式のように定式化する。以下、簡単のためにβ＝βｐ〜とする。
【0058】
【数8】
【0059】
このとき、ｊｓｋ及びｊｔｋは、
【0060】
【数9】
【0061】
である。
【0062】
ここで、高階結合正則化項は、劣モジュラ関数である上記非特許文献５のロバストＰｎモデルのロバシュ拡張に対応する。そこで高階結合正則化項に関するパラメータβの推定は上記非特許文献２と同様に、非特許文献４及び非特許文献７に記載の手法によって行う。
【0063】
次に、高階結合正則化項に関するパラメータβの推定のため、高階結合正則化項Ωｈｏ（β）に対応して定められたｓ／ｔグラフを図２のように構築する。ｓ／ｔグラフにおいて、ｓは始点ノード、ｔは終点ノード、｛ｖ１，…，ｖｄ｝はパラメータβの各次元に対応するノード、Ｕｓ＝｛ｕｓ１，…，ｕｓＫ｝，Ｕｔ＝｛ｕｔ１，…，ｕｔＫ｝はグループｋに対応するハイパーノードである。
【0064】
高階結合正則化項パラメータ推定部３８は、正則化項パラメータ推定部３６によって推定されたパラメータβｐ〜と、ｓ／ｔグラフとに基づいて、上記非特許文献４に記載のパラメトリック最大流アルゴリズムによって、ハイパーパラメータαの値を変化させながら、始点ノードから終点ノードまでのフローが最大となるパスを探索することにより、パラメータβｐを推定する。
【0065】
パラメータ推定部３０は、誤差項パラメータ推定部３４、正則化項パラメータ推定部３６、及び高階結合正則化項パラメータ推定部３８による推定をＰ回繰り返して得られたパラメータの推定値βｐを、上記（３）式によって定式化されたパラメータβ＊として予測部４０に出力する。
【0066】
予測部４０は、パラメータ推定部３０によって推定されたパラメータβ＊と、予測関数ｆとに基づいて、テストデータに対する実数スカラー値ｙを予測する。ここでは、以下（８）式のように、パラメータ推定部３０によって推定されたパラメータβ＊と、予測関数ｆとを用いて、テストデータ｛（ｘｎ）｝ｎ＝１Ｎ’から予測値｛（ｙｎ＾）｝ｎ＝１Ｎ’を計算し、計算結果を出力部５０に出力する。
【0067】
【数10】
【0068】
＜本発明の第１の実施の形態に係る解析装置の作用＞
【0069】
次に、本発明の第１の実施の形態に係る解析装置１００の作用について説明する。入力部１０において訓練データ、テストデータ、パラメータ構造データ、誤差項ｌ、誤差項ｌの勾配∇ｌ、誤差項のリプシッツ定数Ｌ、Ｒ個の正則化項Ωｒ、損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒ、予測関数ｆ、繰り返し演算数Ｐ、ハイパーパラメータα、及びハイパーパラメータγを読み込むと、解析装置１００は、図３に示す解析処理ルーチンを実行する。
【0070】
まず、ステップＳ１００では、ｐ＝１として、ｐ＝０のパラメータβの初期値β０を一様乱数によって生成する。
【0071】
次に、ステップＳ１０２では、誤差項ｌの勾配∇ｌと、誤差項のリプシッツ定数Ｌと、パラメータβの初期値β０又は後述するステップＳ１０６によって推定されたｐ−１回目のパラメータ推定値βｐ−１に基づいて、上記（５）式に従って、パラメータβｐ＾を推定する。
【0072】
ステップＳ１０４では、ステップＳ１０２で推定されたパラメータβｐ＾と、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、上記（６）式に従って、パラメータβｐ〜を推定する。
【0073】
ステップＳ１０６では、ステップＳ１０４で推定されたパラメータβｐ〜と、上記（７）式で定式化された高階結合正則化項Ωｈｏ（β）に対応して定められたｓ／ｔグラフとに基づいて、上記非特許文献４に記載のパラメトリック最大流アルゴリズムによって、ハイパーパラメータαの値を変化させながら、始点ノードから終点ノードまでのフローが最大となるパスを探索することにより、パラメータβｐを推定する。
【0074】
ステップＳ１０８では、ステップＳ１０２〜Ｓ１０６の処理をＰ回繰り返したかを判定し、Ｐ回繰り返していればステップＳ１１２へ移行し、Ｐ回繰り返していなければステップＳ１１０へ移行する。
【0075】
ステップＳ１１０では、ｐ＝ｐ＋１として、ステップＳ１０２へ戻ってステップＳ１０２〜Ｓ１０６の処理を繰り返す。
【0076】
ステップＳ１１２では、ステップＳ１０２〜Ｓ１０８の結果得られたパラメータの推定値βｐを、上記（３）式によって定式化されたパラメータβ＊として予測部４０に出力する。
【0077】
ステップＳ１１４では、ステップＳ１１０で得られたパラメータβ＊と、予測関数ｆとに基づいて、テストデータに対する実数スカラー値ｙを予測し、予測結果を出力部５０に出力して解析処理ルーチンを終了する。
【0078】
以上説明したように、第１の実施の形態に係る解析装置によれば、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、各グループに対し、パラメータβにおける、グループに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定し、パラメータβに基づいて、テストデータに対する実数スカラー値ｙを予測することにより、グループ構造を持つデータを精度よく解析して、テストデータに対する実数スカラー値ｙを予測することができる。
【0079】
＜本発明の第２の実施の形態に係る解析装置の構成＞
【0080】
次に、本発明の第２の実施の形態に係る解析装置の構成について説明する。第２の実施の形態は、一般化高階結合正則化項を含む損失関数を用いる点が第１の実施の形態と異なっている。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【0081】
図４に示すように、本発明の第２の実施の形態に係る解析装置２００は、入力部２１０と、演算部２２０と、出力部５０とを備えている。
【0082】
入力部２１０は、訓練データ、パラメータ構造データ、誤差項ｌ、パラメータβを推定するための損失関数における訓練データのデータ点の各々についての誤差項ｌの勾配∇ｌ、誤差項のリプシッツ定数Ｌ、Ｒ個の正則化項Ωｒ（ｒ＝１，…，Ｒ）、損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒ（ｒ＝１，…，Ｒ）、繰り返し演算数Ｐ、ハイパーパラメータα、及びハイパーパラメータγを読み込む。以下に、各データについて、第１の実施の形態と異なる点を説明する。
【0083】
パラメータ構造データは、上記（４）式に示す、観測データｘを解析するためのｄ次元のベクトルであるパラメータβの各次元の、各グループｋへの所属度を表すｃ０ｋ、及びｃ１ｋである。パラメータ構造データは、更に、パラメータβの次元をノード、次元対に関する類似度をエッジに持つグラフ行列Ｗを含む。
【0084】
【数11】
【0085】
演算部２２０は、パラメータ推定部２３０と予測部４０とを含んで構成されている。
【0086】
パラメータ推定部２３０は、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒと、誤差項のリプシッツ定数Ｌと、ハイパーパラメータα、γとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、高階結合正則化項及びパラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定する。また、パラメータ推定部３０は、初期化部３２と、誤差項パラメータ推定部３４と、正則化項パラメータ推定部３６と、一般化高階結合正則化項パラメータ推定部２３８と、を含んで構成されている。本実施の形態では、パラメータ推定部３０によって、訓練データに含まれる観測データｘを解析するためのパラメータβを推定し、出力部５０に出力する。
【0087】
一般化高階結合正則化項パラメータ推定部２３８は、正則化項パラメータ推定部３６によって推定されたパラメータβｐ〜と、一般化高階結合正則化項ΩGFL（β）とに基づいて、パラメータβｐを推定する。
【0088】
具体的には、まず、一般化結合正則化項をΩGFL、高階結合正則化項をΩHOとし、一般化高階結合正則化項を次のように定式化する。以下、簡単のためにβ＝βｐ〜とする。
【0089】
【数12】
【0090】
非特許文献２より、一般化結合正則化は、劣モジュラ関数であるカット関数のロバシュ拡張に対応する。また、上記第１の実施の形態と同様に、高階結合正則化項は、劣モジュラ関数である非特許文献４のロバストPnモデルのロバシュ拡張に対応する。したがって、一般化高階結合正則化はカット関数とロバストPnモデルの和からなる劣モジュラ関数のロバシュ拡張と一致する。
【0091】
以上から、一般化高階結合正則化項に関するパラメータの推定値は非特許文献２と同様に、非特許文献４と非特許文献７によって行う。
【0092】
この際、s/tグラフを図５のように構築する。グラフにおいて、sは始点ノード、tは終点ノード、｛ｖ１，…，ｖｄ｝はパラメータの各次元に対応するノード、Ｕｓ＝｛ｕｓ１，…，ｕｓＫ｝，Ｕｔ＝｛ｕｔ１，…，ｕｔＫ｝はグループに対応するハイパーノードである。
【0093】
一般化高階結合正則化項パラメータ推定部２３８は、正則化項パラメータ推定部３６によって推定されたパラメータβｐ〜と、ｓ／ｔグラフとに基づいて、上記非特許文献４に記載のパラメトリック最大流アルゴリズムによって、ハイパーパラメータαの値を変化させながら、始点ノードから終点ノードまでのフローが最大となるパスを探索することにより、パラメータβｐを推定する。
【0094】
パラメータ推定部２３０は、誤差項パラメータ推定部３４、正則化項パラメータ推定部３６、及び一般化高階結合正則化項パラメータ推定部２３８による推定をＰ回繰り返して得られたパラメータの推定値βｐを、上記（３）式によって定式化されたパラメータβ＊として予測部４０に出力する。
【0095】
なお、第２の実施の形態に係る解析装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【0096】
以上説明したように、第２の実施の形態に係る解析装置によれば、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、高階結合正則化項及びパラメータβの次元対の類似度を用いて表される一般化結合正則化項を含む一般化高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定し、パラメータβに基づいて、テストデータに対する実数スカラー値ｙを予測することにより、グループ構造を持つデータを精度よく解析して、テストデータに対する実数スカラー値ｙを予測することができる。
【0097】
また、パラメータに関する隣接、高階の事前情報を一般化高階結合正則化項として利用することにより、教師あり学習の定量的な性能向上が可能になる。
【0098】
また、パラメータに関する事前知識として、隣接構造と高階構造の2種類の事前情報を正則化に利用したい場合に、これらの事前知識を利用するための一般化高階結合正則化項を含む損失関数を最小化するように、パラメータβを推定し、パラメータβに基づいて、テストデータに対する実数スカラー値ｙを予測することができる。
【0099】
また、一般化高階結合正則化が劣モジュラ関数のロバシュ拡張であることを利用して、効率的な最小化法により、パラメータβを推定することができる。
【0100】
＜本発明の第３の実施の形態に係る解析装置の構成＞
【0101】
次に、本発明の第３の実施の形態に係る解析装置の構成について説明する。第３の実施の形態は教師データを用いない教師なし学習を行う点が第１の実施の形態と異なっている。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【0102】
図６に示すように、本発明の第３の実施の形態に係る解析装置３００は、ＣＰＵと、ＲＡＭと、後述する解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この解析装置３００は、機能的には図６に示すように入力部３１０と、演算部３２０と、出力部５０とを備えている。
【0103】
入力部３１０は、訓練データ、パラメータ構造データ、誤差項ｌ、パラメータβを推定するための損失関数における訓練データのデータ点の各々についての誤差項ｌの勾配∇ｌ、誤差項のリプシッツ定数Ｌ、Ｒ個の正則化項Ωｒ（ｒ＝１，…，Ｒ）、損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒ（ｒ＝１，…，Ｒ）、繰り返し演算数Ｐ、ハイパーパラメータα、及びハイパーパラメータγを読み込む。以下に、各データについて、第１の実施の形態と異なる点を説明する。
【0104】
訓練データは、観測データｘからなるＮ個のデータ点の集合｛（ｘｎ）｝ｎ＝１Ｎである。本実施の形態は、教師なし学習であるため、実数スカラー値｛（ｙｎ）｝ｎ＝１Ｎを読み込まない。
【0105】
パラメータ構造データは、上記（４）式に示す、観測データｘを解析するためのｄ次元のベクトルであるパラメータβの各次元の、各グループｋへの所属度を表すｃ０ｋ、及びｃ１ｋである。
【0106】
また、本実施の形態では、上記（２）式に示すように、損失関数における誤差項ｌが、第１の実施の形態と異なっている。
【0107】
演算部３２０は、パラメータ推定部３０を含んで構成されている。
【0108】
パラメータ推定部３０は、第１の実施の形態と同様に、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒと、誤差項のリプシッツ定数Ｌと、ハイパーパラメータα、γとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、各グループｋに対し、パラメータβにおける、グループｋに所属する次元間の要素の値の差を用いて表される高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定する。また、パラメータ推定部３０は、第１の実施の形態と同様に、初期化部３２と、誤差項パラメータ推定部３４と、正則化項パラメータ推定部３６と、高階結合正則化項パラメータ推定部３８と、を含んで構成されている。本実施の形態では、パラメータ推定部３０によって、訓練データに含まれる観測データｘを解析するためのパラメータβを推定し、出力部５０に出力する。
【0109】
なお、第３の実施の形態の他の構成及び作用は第１の実施の形態と同様であるため、説明を省略する。
【0110】
＜本発明の第４の実施の形態に係る解析装置の構成＞
【0111】
次に、本発明の第４の実施の形態に係る解析装置の構成について説明する。第４の実施の形態は教師データを用いない教師なし学習を行う点が第２の実施の形態と異なっている。なお、第２の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【0112】
図７に示すように、本発明の第４の実施の形態に係る解析装置４００は、ＣＰＵと、ＲＡＭと、後述する解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この解析装置４００は、機能的には図７に示すように入力部４１０と、演算部４２０と、出力部５０とを備えている。
【0113】
入力部４１０は、訓練データ、パラメータ構造データ、誤差項ｌ、パラメータβを推定するための損失関数における訓練データのデータ点の各々についての誤差項ｌの勾配∇ｌ、誤差項のリプシッツ定数Ｌ、Ｒ個の正則化項Ωｒ（ｒ＝１，…，Ｒ）、損失関数におけるＲ個の正則化項Ωｒの各々を最小化する関数∇Ωｒ（ｒ＝１，…，Ｒ）、繰り返し演算数Ｐ、ハイパーパラメータα、及びハイパーパラメータγを読み込む。以下に、各データについて、第２の実施の形態と異なる点を説明する。
【0114】
訓練データは、観測データｘからなるＮ個のデータ点の集合｛（ｘｎ）｝ｎ＝１Ｎである。本実施の形態は、教師なし学習であるため、実数スカラー値｛（ｙｎ）｝ｎ＝１Ｎを読み込まない。
【0115】
パラメータ構造データは、上記（４）式に示す、観測データｘを解析するためのｄ次元のベクトルであるパラメータβの各次元の、各グループｋへの所属度を表すｃ０ｋ、及びｃ１ｋである。パラメータ構造データは、更に、更に、パラメータβの次元をノード、次元対に関する類似度をエッジに持つグラフ行列Ｗを含む。
【0116】
また、本実施の形態では、上記（２）式に示すように、損失関数における誤差項ｌが、第２の実施の形態と異なっている。
【0117】
演算部４２０は、パラメータ推定部２３０を含んで構成されている。
【0118】
パラメータ推定部２３０は、第２の実施の形態と同様に、訓練データと、誤差項ｌの勾配∇ｌと、Ｒ個の正則化項Ωｒの各々を最小化する関数∇Ωｒと、誤差項のリプシッツ定数Ｌと、ハイパーパラメータα、γとに基づいて、訓練データのデータ点の各々についての誤差項ｌと、Ｒ個の正則化項Ωｒと、一般化高階結合正則化項とを含む損失関数を最小化するように、パラメータβを推定する。また、パラメータ推定部２３０は、第２の実施の形態と同様に、初期化部３２と、誤差項パラメータ推定部３４と、正則化項パラメータ推定部３６と、一般化高階結合正則化項パラメータ推定部２３８と、を含んで構成されている。本実施の形態では、パラメータ推定部３０によって、訓練データに含まれる観測データｘを解析するためのパラメータβを推定し、出力部５０に出力する。
【0119】
なお、第４の実施の形態の他の構成及び作用は第２の実施の形態と同様であるため、説明を省略する。
【0120】
このように、パラメータに関する隣接、高階の事前情報を一般化高階結合正則化項として利用することにより、教師なし学習の定量的な性能向上が可能になる。
【0121】
＜実験例＞
【0122】
本発明の第１の実施の形態に係る手法の効果を示すために、人工的に生成したデータセットと、インターネット上で公開されているデータセットに対して、教師あり学習の１つである線形回帰分析を行い、以下（９）式に示す平均二乗誤差という指標を用いて定量的な性能評価を行う。
【0123】
【数13】
【0124】
人工的に生成したデータでは、データとパラメータの次元はＭ＝ｄ＝１００とし、データを３０，５０，７０，１００，１５０点の条件で生成した。乱数によって生成したｘｎとあらかじめ設計したパラメータの線形和を取り、そこにガウスノイズを加えてｙｎ用を人工的に生成した。１０回の交差検定によってテストデータに対する平均二乗誤差を計測した。比較手法には、ＳＧＬ(非特許文献８)、ＧＦＬ(非特許文献２)、Ｌａｓｓｏ(非特許文献１)、及びＯＬＳ(非特許文献１)を用いた。
【0125】
パラメータの設計には２つの条件を用いた。１つ目の条件をnon-overlappingと呼ぶ。本条件では、パラメータは全体で５つのグループ構造をもち、あるパラメータは1つのグループのみに所属すると定め、グループがオーバラップを持たないようにした。同一グループに所属するパラメータは同一の真値を持つように設定した。２つ目の条件をoverlappingと呼ぶ。本条件では、１つ目の設定と異なり、パラメータのうち２つのグループに所属するものが存在するようにし、グループがオーバラップを持つようにした。２つのグループに所属するパラメータの値は２つのグループのいずれかと同一の真値をもつようにせて値した。他の設定は条件non-overlappingと同様にした。なお、ｃ０,ｉｋ,ｃ１,ｉｋの値は１．０あるいは０．０とし、θ０ｋ, θ１ｋは０．０、θｍａｘｋは１．０とした。
【0126】
Ｎを３０から１５０までの条件で実験を行い、得られたテストデータに対する平均二乗誤差を以下の表１に示す。(a)はnon-overlapping、(b)はoverlappingの条件での結果である。太字は他の手法の平均二乗誤差と統計的に優位な差が有ることを示している。
【0127】
【表1】
【0128】
non−overlapping条件では本発明とGFLが良好な性能を示している。overlapping条件では、本発明によって、テストデータに対する平均二乗誤差の改善が確認された。本発明はNがdよりも小さく過学習が起こる場合(N=70,50,30)でも、良好な性能を示した。これは高階結合正則化項によって過学習を避けられたからである。
【0129】
次に実験から推定されたパラメータ(N=30)を図８及び図９に示す。図中の線はパラメータの真値、白抜き丸は各手法によるパラメータの推定値である。図８のnon−overlapping条件では、本発明とGFLがパラメータの真値と近いパラメータを推定できた。図９のoverlapping条件では、本発明の実施の形態に係る手法のみがパラメータの真値と近いパラメータを推定できた。
【0130】
以上の結果から、本発明の第１の実施の形態に係る手法の性能は、パラメータが単一のグループに所属する場合、及び複数のグループに所属するような場合のいずれにおいても有効であることが示された。
【0131】
次に、インターネット上で公開されているデータセットを用いて実験の結果を示す。本実験では、MovieLens100k、EachMovie、Book−Crossing（http://grouplens.org ）のデータセットを利用し、データセットに含まれるユーザが視聴した映画と本の履歴データから、映画、及び本に与えた評価値を予測する実験を行った。 データセットの要約は次の表２のとおりである。
【0132】
【表2】
【0133】
表３に１０回の交差検定によってテストデータに対する平均二乗誤差を計測した結果を示す。本発明の第１の実施の形態に係る手法は、すべての設定で既存の手法とほぼ同等、あるいは上回る性能を示している。
【0134】
【表3】
【0135】
また、本発明の第１の実施の形態に係る手法の性能は、実世界で記録されたデータに対しても有効であることが示された。
【0136】
次に、本発明の第２の実施の形態に係る手法の効果を示すために、人工的に生成したデータセットと、インターネット上で公開されているデータセットに対して、教師あり学習の１つである線形回帰分析を行い、上記（９）式に示す平均二乗誤差という指標を用いて定量的な性能評価を行う。
【0137】
人工的に生成したデータでは、図１０（ａ）に示す、行と列の次元が50の行列データを生成する。行列を12個（8つの長方形と星、丸、菱型の3図形を作成した）の領域に分割し、各領域内のすべての要素は1から12の整数値のいずれかを取る。この整数値をテストデータとする。次にこの整数値に平均0、分散1のガウス分布からサンプリングしたノイズを加算し、さらに要素の値を乱択により欠損させ、訓練データとする。行列補完では観測データから欠損した要素の真値を推定する問題となる。
【0138】
実験では、行列をベクトル化してあつかう。すなわちパラメータの次元はd=502=2500となる。欠損値の割合をp=0.9, 0.5, 0.7, 0.9の条件で生成した。10回の交差検定によってテストデータに対する平均二乗誤差を計測した。比較手法には、GFL(非特許文献２)、HOFL(第１の実施の形態)、平均値を用いた。
【0139】
なお、wi,j, c0,ik , c1,ikの値は1.0あるいは0.0とし、θ0k, θ1kは0.0、θmaxkは1.0とした。隣接構造には行列データで隣接するパラメータの情報、高階構造には8つの長方形と星形を与えた。つまり、丸と菱型は未知の構造として扱った。実験から得られた推定値と実際の観測値の平均二乗誤差を以下の表に示す。太字は平均二乗誤差が最も低いものを示している。
【0140】
【表4】
【0141】
p=0.1の条件では本発明の第２の実施の形態に係る手法(prop.)とGFLが良好な性能を示している。本発明の第２の実施の形態に係る手法は、その他の欠損値が多く、過学習が起こる場合(p=0.5, 0.7, 0.9)でも、良好な性能を示した。これは一般化高階結合正則化項によって過学習を避けられたからである。
【0142】
次に実験から推定されたパラメータを図１０に示す。図１０（ａ）は、真の行列、図１０（ｂ）は、ランダム欠損してノイズが加えられた観測値、図１０（ｃ）は、本発明の第２の実施の形態に係る手法の推定値、図１０（ｄ）は、一般化結合正則化の推定値、図１０（ｅ）は、高階結合正則化の推定値である。本発明の第２の実施の形態に係る手法が他の手法と比べて真値と近いパラメータを推定できたことが確認できる。
【0143】
以上から、本発明の第２の実施の形態に係る手法の有効性が示された。
【0144】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【0145】
１０、２１０、３１０、４１０ 入力部２０、２２０、３２０、４２０ 演算部
３０、２３０ パラメータ推定部
３２ 初期化部
３４ 誤差項パラメータ推定部
３６ 正則化項パラメータ推定部
３８ 高階結合正則化項パラメータ推定部
２３８ 一般化高階結合正則化項パラメータ推定部
４０ 予測部
５０ 出力部
１００、２００、３００、４００ 解析装置