知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241001BHJP
【ＦＩ】
G06N20/00
【請求項の数】
9
(21)【出願番号】P 2023506631
(86)(22)【出願日】2021-03-18
(86)【国際出願番号】 JP2021011115
(87)【国際公開番号】W WO2022195809
(87)【国際公開日】2022-09-22
【審査請求日】2023-08-31
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】宇野 裕
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１０－２０７０３５（ＪＰ，Ａ）
【文献】特開２０２０－０６２３６９（ＪＰ，Ａ）
【文献】LIU Zhenqiu et al.，Sparse generalized linear model with L0 approximation for feature selection and prediction with big omics data，[オンライン]，2017年12月19日，[検索日 2024.06.13], インターネット：<https://link.springer.com/article/10.1186/s13040-017-0159-z>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する取得手段と、前記取得手段が取得した前記入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する前処理手段と、
前記入力データを参照して前記回帰係数を更新する更新処理を実行する更新手段と、を備えており、
前記更新手段は、下記式（ａ）により与えられる評価関数を参照して前記更新処理を実行する、
【数1】
ことを特徴とする情報処理装置。
【請求項2】
前記更新手段は、前記回帰係数が所定の収束条件を満たすまで、前記入力データを参照して前記更新処理を繰り返し実行する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記入力データは、前記正則化パラメータを含む、ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項4】
前記更新手段は、前記正則化パラメータを係数とするＬ０正則化項を含む、一般化線形回帰モデルの前記評価関数を参照して、前記更新処理を実行する、ことを特徴とする請求項３に記載の情報処理装置。
【請求項5】
各データセットの信頼性に関する情報を取得し、取得した信頼性に関する情報を参照して、前記品質に関する情報を生成する品質情報生成手段を更に備えている、ことを特徴とする請求項１から４の何れか１項に記載の情報処理装置。
【請求項6】
情報処理装置が、説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得すること、
取得した入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化すること、
前記入力データを参照して前記回帰係数を更新する更新処理を実行すること、
を含み、
前記更新処理は、下記式（ａ）により与えられる評価関数を参照して実行される、
【数2】
情報処理方法。
【請求項7】
前記情報処理装置が、前記更新処理を実行することにおいて、前記回帰係数が所定の収束条件を満たすまで、前記入力データを参照して前記更新処理を繰り返し実行する、ことを特徴とする請求項６に記載の情報処理方法。
【請求項8】
前記入力データは、前記正則化パラメータを含む、ことを特徴とする請求項６または７に記載の情報処理方法。
【請求項9】
コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、
説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する取得手段と、
前記取得手段が取得した前記入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する前処理手段と、
前記入力データを参照して前記回帰係数を更新する更新処理を実行する更新手段と、として機能させ、
前記更新手段は、下記式（ａ）により与えられる評価関数を参照して前記更新処理を実行する、
【数3】
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般化線形回帰モデルを推定する情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
従来、線形回帰、または一般化線形回帰等の回帰分析を行う装置が提案されている。また、近年ではビッグデータへの適用時に発生し得る過学習をさけるため、スパースネスの制約を課した回帰モデルの推定が提案されている。
【0003】
例えば特許文献１には、スパースネスの制約を課した一般化線形回帰モデル（以下、「スパース一般化線形回帰モデル」ともいう）が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】日本国特開２０２０－０６２３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
線形回帰または一般化線形回帰の技術において、得られたデータの品質に無視できないバラつきが存在する場合がある。しかしながら、特許文献１に記載の技術では、データの品質にばらつきがある場合には、好適なスパース一般化線形回帰モデルを推定することができない、という問題があった。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、データの品質にばらつきがある場合であっても、好適なスパース一般化線形回帰モデルを推定することが可能な情報処理装置を実現することにある。
【課題を解決するための手段】
【0007】
本発明の一側面に係る情報処理装置は、説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する取得手段と、前記取得手段が取得した前記入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する前処理手段と、前記入力データを参照して前記回帰係数を更新する更新処理を実行する更新手段と、を備える。
【0008】
本発明の一側面に係る情報処理方法は、情報処理装置が、説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得すること、取得した入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化すること、前記入力データを参照して前記回帰係数を更新する更新処理を実行すること、を含む。
【0009】
本発明の一側面に係るプログラムは、コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する取得手段と、前記取得手段が取得した前記入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する前処理手段と、前記入力データを参照して前記回帰係数を更新する更新処理を実行する更新手段と、として機能させる、ことを特徴とする。
【発明の効果】
【0010】
本発明の一態様によれば、データの品質にばらつきがある場合であっても、好適なスパース一般化線形回帰モデルを推定することが可能な情報処理装置を実現することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図2】本発明の例示的実施形態１に係る情報処理方法の流れを示すフロー図である。
【図3】本発明の例示的実施形態２に係る情報処理装置の構成を示すブロック図である。
【図4】本発明の例示的実施形態２に係るデータセットの具体例を示す図である。
【図5】本発明の例示的実施形態２に係る情報処理方法の流れを示すフロー図である。
【図6】本発明の例示的実施形態２に係る前処理の流れを示すフロー図である。
【図7】本発明の例示的実施形態２に係る最適化処理の流れを示すフロー図である。
【図8】本発明の例示的実施形態２に係る更新準備処理の流れを示すフロー図である。
【図9】本発明の例示的実施形態３に係る情報処理装置の構成を示すブロック図である。
【図10】本発明の例示的実施形態１～３に係る情報処理装置として機能するコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【0012】
〔例示的実施形態１〕
本発明の例示的実施形態１について、図面を参照して説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の例示的実施形態１について、図面を参照して説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0013】
＜情報処理装置の構成＞
本例示的実施形態に係る情報処理装置１０の構成について、図１を参照して説明する。図１は、情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、スパースネスの制約を課した一般化線形回帰モデル（スパース一般化線形回帰モデル）を生成する装置である。より具体的に言えば、情報処理装置１０は、スパース一般化線形回帰モデルの回帰係数を推定する装置である。なお、本例示的実施形態において、スパース一般化線形回帰モデルの回帰係数を推定することを、当該モデルを生成すると表現することもあるし、当該モデルを決定すると表現することもある。
本例示的実施形態に係る情報処理装置１０の構成について、図１を参照して説明する。図１は、情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、スパースネスの制約を課した一般化線形回帰モデル（スパース一般化線形回帰モデル）を生成する装置である。より具体的に言えば、情報処理装置１０は、スパース一般化線形回帰モデルの回帰係数を推定する装置である。なお、本例示的実施形態において、スパース一般化線形回帰モデルの回帰係数を推定することを、当該モデルを生成すると表現することもあるし、当該モデルを決定すると表現することもある。
【0014】
情報処理装置１０は、図１に示すように、取得部１１、前処理部１２、および更新部１３を備える。取得部１１は、本例示的実施形態において取得手段を実現する構成である。前処理部１２は、本例示的実施形態において前処理手段を実現する構成である。更新部１３は、本例示的実施形態において更新手段を実現する構成である。
【0015】
取得部１１は、説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する。
【0016】
ここで、各データセットの品質に関する情報の一例としては、各データセットの信頼性を数値として表現したものが挙げられる。一例として、当該数値は、データセットの信頼性が高いほど大きく、データセットの信頼性が低いほど小さい値であってもよい。
【0017】
残差分布の形状に関する情報は、一例として、残差分布の形状を表現する関数である。本例示的実施形態において、残差分布の形状を表現する関数のことを、単に、分布関数と呼ぶこともある。分布関数の具体例は、本例示的実施形態を限定するものではないが、例えば、正規分布、ベルヌーイ分布、ポアソン分布、二項分布、ガウス分布等が挙げられる。本例示的実施形態に係る情報処理装置１０の対象は、上述のように、一般化線形回帰モデルであり、本例示的実施形態で説明する処理は、種々の分布関数一般に対して適用可能である。
【0018】
入力データに含まれるデータおよび情報は、上述したものに限られない。入力データは、他のデータおよび情報を含んでいてもよい。一例として、入力データは、正則化パラメータを含んでもよい。ここで、正規化パラメータとは、一例として、後述する更新部１３が回帰係数を更新する際に参照する評価関数に含まれる正規化項（ペナルティ項などとも呼ぶ）を規定するパラメータである。
【0019】
取得部１１は、入力データの一部または全部を情報処理装置１０が内蔵する記憶装置から読み出すことにより取得してもよく、また、外部記憶装置から読み出すことにより取得してもよい。また、取得部１１は、他の装置から通信部を介して入力データの一部または全部を受信することにより取得してもよい。
【0020】
前処理部１２は、取得部１１が取得した入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパース一般化線形回帰モデルの回帰係数を初期化する。一例として、前処理部１２は、ランダム関数により発生させた乱数を用いて回帰係数を初期化してもよいし、予め定められた初期値を有するように、回帰係数を初期化してもよい。また、前処理部１２は、回帰係数の初期化処理以外にも、回帰係数の更新処理で参照する各種のパラメータを初期化する処理を行ってもよい。
【0021】
更新部１３は、入力データを参照して、前処理部１２が初期化した回帰係数を更新する更新処理を実行する。更新部１３は、一例として、スパース一般化線形回帰モデルの評価関数を参照し、当該評価関数の値が小さくなるよう回帰係数を更新する。
【0022】
更新部１３は、一例として、回帰係数が所定の収束条件を満たすまで、入力データを参照して前記更新処理を繰り返し実行する。所定の収束条件の一例として、更新処理による回帰係数の変化量が閾値以下である、といった条件を挙げられる。ただし、回帰係数の更新処理は、上述した処理に限定されない。
【0023】
【0024】
情報処理方法Ｓ１は、スパース一般化線形回帰モデルを生成する方法であり、図２に示すように、ステップＳ１１～Ｓ１３を含む。
【0025】
（ステップＳ１１）
ステップＳ１１（取得処理）において、取得部１１は、説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する。取得部１１による具体的な処理例については上述したためここでは説明を省略する。
ステップＳ１１（取得処理）において、取得部１１は、説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する。取得部１１による具体的な処理例については上述したためここでは説明を省略する。
【0026】
（ステップＳ１２）
ステップＳ１２（前処理）において、前処理部１２は、取得処理Ｓ１１で取得した入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する。前処理部１２による具体的な処理例については上述したためここでは説明を省略する。
ステップＳ１２（前処理）において、前処理部１２は、取得処理Ｓ１１で取得した入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する。前処理部１２による具体的な処理例については上述したためここでは説明を省略する。
【0027】
（ステップＳ１３）
ステップＳ１３（更新処理）において、更新部１３は、取得処理Ｓ１１で取得した入力データを参照して回帰係数を更新する更新処理を実行する。更新部１３による具体的な処理例については上述したためここでは説明を省略する。
ステップＳ１３（更新処理）において、更新部１３は、取得処理Ｓ１１で取得した入力データを参照して回帰係数を更新する更新処理を実行する。更新部１３による具体的な処理例については上述したためここでは説明を省略する。
【0028】
＜本例示的実施形態の効果＞
以上のように、本例示的実施形態に係る情報処理装置１０は、各データセットの品質に関する情報を含む入力データを参照して回帰係数の初期化および更新を行う。このため、本例示的実施形態に係る情報処理装置１０によれば、データセットの品質にばらつきがある場合であっても、好適なスパース一般化線形回帰モデルを生成することができる。
以上のように、本例示的実施形態に係る情報処理装置１０は、各データセットの品質に関する情報を含む入力データを参照して回帰係数の初期化および更新を行う。このため、本例示的実施形態に係る情報処理装置１０によれば、データセットの品質にばらつきがある場合であっても、好適なスパース一般化線形回帰モデルを生成することができる。
【0029】
〔例示的実施形態２〕
本発明の例示的実施形態２について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。
本発明の例示的実施形態２について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。
【0030】
＜情報処理装置の構成＞
本例示的実施形態に係る情報処理装置１０Ａの構成について、図３を参照して説明する。図３は、情報処理装置１０Ａの構成を示すブロック図である。情報処理装置１０Ａは、スパース一般化線形回帰モデルを生成する装置である。より具体的には、スパース一般化線形回帰モデルの回帰係数を決定する装置である。図３に示すように、情報処理装置１０Ａは、取得部１１Ａ、前処理部１２Ａ、更新部１３Ａ、および出力部１４Ａを備える。なお、図中の矢印はデータの流れの方向を端的に示したものであり、双方向性を排除するものではない。
本例示的実施形態に係る情報処理装置１０Ａの構成について、図３を参照して説明する。図３は、情報処理装置１０Ａの構成を示すブロック図である。情報処理装置１０Ａは、スパース一般化線形回帰モデルを生成する装置である。より具体的には、スパース一般化線形回帰モデルの回帰係数を決定する装置である。図３に示すように、情報処理装置１０Ａは、取得部１１Ａ、前処理部１２Ａ、更新部１３Ａ、および出力部１４Ａを備える。なお、図中の矢印はデータの流れの方向を端的に示したものであり、双方向性を排除するものではない。
【0031】
（取得部）
取得部１１は、説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する。
取得部１１は、説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する。
【0032】
取得部１１Ａが取得する入力データは、スパース一般化線形回帰モデル（以下、単に「回帰モデル」ともいう）を生成するために用いられるデータである。取得部１１Ａが取得する入力データは、説明変数ｘｎ（１≦ｎ≦Ｎ；Ｎはデータセットの数を表す自然数）および目的変数ｙｎからなる複数のデータセットｄｎ、品質情報ｗｎ、分布関数Ａの関数形、並びに、正則化パラメータλを含む。
【0033】
なお、数学的表記法は本例示的実施形態を限定するものではないが、一例として、説明変数ｘｎは、個々のデータセットにおいて、説明変数の数Ｍだけ成分を有するＭ次元ベクトルとして表現される。換言すれば、説明変数ｘｎは、ｎを固定した場合、Ｍ個の成分を有するベクトルとして表現することができ、Ｍの値は、説明変数の数である。このため、説明変数ｘｎを、説明変数ベクトルと表現することもある。また、説明変数ベクトルｘｎを、データセットの数Ｎだけ並べて表現される行列を、説明変数行列Ｘと表現することもある。
なお、上記の内容は本実施形態を限定するものではなく、説明変数ｘｎが、個々のデータセットにおいて、１つの成分を有するスカラーとして表現される場合もある。
なお、上記の内容は本実施形態を限定するものではなく、説明変数ｘｎが、個々のデータセットにおいて、１つの成分を有するスカラーとして表現される場合もある。
【0034】
（データセット）
データセットｄｎは、説明変数ｘｎと目的変数ｙｎのセットである。説明変数は、一例として、対象となる事象の原因を表現する変数と捉えることもできる変数である。説明変数は、他の表現として、独立変数、および、予測変数などと呼ばれることもある。目的変数は、一例として対象となる事象の結果を表現する変数と捉えることもできる変数である。目的変数は、他の表現として、従属変数、および、応答変数などと呼ばれることもある。
データセットｄｎは、説明変数ｘｎと目的変数ｙｎのセットである。説明変数は、一例として、対象となる事象の原因を表現する変数と捉えることもできる変数である。説明変数は、他の表現として、独立変数、および、予測変数などと呼ばれることもある。目的変数は、一例として対象となる事象の結果を表現する変数と捉えることもできる変数である。目的変数は、他の表現として、従属変数、および、応答変数などと呼ばれることもある。
【0035】
（品質情報）
品質情報ｗｎは、各データセットｄｎの品質に関する情報である。品質情報ｗｎは、一例として、各データセットｄｎの信頼性を数値として表現したものが挙げられる。一例として、品質情報ｗｎは、データセットｄｎの信頼性が高いほど大きく、データセットｄｎの信頼性が低いほど小さい値であってもよい。
品質情報ｗｎは、各データセットｄｎの品質に関する情報である。品質情報ｗｎは、一例として、各データセットｄｎの信頼性を数値として表現したものが挙げられる。一例として、品質情報ｗｎは、データセットｄｎの信頼性が高いほど大きく、データセットｄｎの信頼性が低いほど小さい値であってもよい。
【0036】
なお、品質情報ｗｎは、一例として、個々のデータセットにおいて、説明変数の数Ｍだけ成分を有するＭ次元ベクトルとして表現される。換言すれば、品質情報ｗｎは、ｎを固定した場合、Ｍ個の成分を有するベクトルとして表現することができ、Ｍの値は、品質情報の数である。このため、品質情報ｗｎを、品質情報ベクトルと表現することもある。また、品質情報ベクトルｗｎを、データセットの数Ｎだけ並べて表現される行列を、品質情報行列Ｗと表現することもある。なお、上記の内容は本実施形態を限定するものではなく、品質情報ｗｎが、個々のデータセットにおいて、１つの成分を有するスカラーとして表現される場合もある。
【0037】
（分布関数）
分布関数Ａは、残差分布の形状に関する情報であり、一例として、残差分布の形状を表現する関数である。
分布関数Ａは、残差分布の形状に関する情報であり、一例として、残差分布の形状を表現する関数である。
【0038】
例示的実施形態１と同様に、本例示的実施形態において、残差分布の形状を表現する関数のことを、単に、分布関数と呼ぶこともある。分布関数の具体例は、本例示的実施形態を限定するものではないが、例えば、正規分布、ベルヌーイ分布、ポアソン分布、二項分布、ガウス分布等が挙げられる。本例示的実施形態に係る情報処理装置１０の対象は、上述のように、一般化線形回帰モデルであり、本例示的実施形態で説明する処理は、種々の分布関数一般に対して適用可能である。
【0039】
（正則化パラメータ）
正規化パラメータは、一例として、後述する更新部１３Ａが回帰係数を更新する際に参照する評価関数に含まれる正規化項（ペナルティ項などとも呼ぶ）を規定するパラメータである。一例として、正規化パラメータは、上記正規化項の寄与の大きさを表す係数として導入される。
正規化パラメータは、一例として、後述する更新部１３Ａが回帰係数を更新する際に参照する評価関数に含まれる正規化項（ペナルティ項などとも呼ぶ）を規定するパラメータである。一例として、正規化パラメータは、上記正規化項の寄与の大きさを表す係数として導入される。
【0040】
ここで、具体的な正規化項は、一般的には、要求する制約条件に応じて適宜定められる。本例示的実施形態では、正規化項として、スパースネスの制約を表現するものを採用する。スパースネスの制約には種々の表現の仕方があるが、本例示的実施形態では、一例として、Ｌ０正規化項を用いたＬ０スパースネス、および、Ｌ１正規化項を用いたＬ１スパースネスが挙げられる。本例示的実施形態における正規化パラメータは、情報処理装置１０Ａが生成するスパースネス一般化線形回帰モデルの評価関数Ｅに含まれるＬ０正規化項の係数である。
【0041】
本例示的実施形態に係る情報処理装置１０Ａにおいては、入力データが正則化パラメータを含む構成が採用されている。このため、情報処理装置１０Ａによれば、入力データが正則化パラメータを含まない場合に比べて、より好適なスパース一般化線形回帰モデルを生成することができる。
【0042】
（前処理部）
前処理部１２Ａは、取得部１１Ａが取得した入力データに含まれるデータおよび情報を参照し、スパース一般化線形回帰モデルの回帰係数φを初期化する処理等を実行する。前処理部１２Ａは、一例として、説明変数ｘｎ、分布関数Ａの関数形、品質情報ｗｎを参照し、回帰係数φの初期解（初期値）、関数Ａ（θ）の一階微分である一次導関数Ａ'（θ）、関数Ａ（θ）の二階微分である二次導関数Ａ''（θ）、単位行列ＩＭ（Ｍ×Ｍ）、単位行列ＩＮ（Ｎ×Ｎ）、重み行列Ｗを生成する。ここで、単位行列ＩＭ（Ｍ×Ｍ）は、Ｍ行×Ｍ列の単位行列であり、単位行列ＩＮ（Ｎ×Ｎ）は、Ｎ行×Ｎ列の単位行列である。前処理部１２Ａが実行する前処理の詳細については後述する。なお、上述の説明において便宜的に導入したθは関数Ａ、Ａ'、Ａ''を表現するものであり、本例示的実施形態を何ら限定するものではない。
前処理部１２Ａは、取得部１１Ａが取得した入力データに含まれるデータおよび情報を参照し、スパース一般化線形回帰モデルの回帰係数φを初期化する処理等を実行する。前処理部１２Ａは、一例として、説明変数ｘｎ、分布関数Ａの関数形、品質情報ｗｎを参照し、回帰係数φの初期解（初期値）、関数Ａ（θ）の一階微分である一次導関数Ａ'（θ）、関数Ａ（θ）の二階微分である二次導関数Ａ''（θ）、単位行列ＩＭ（Ｍ×Ｍ）、単位行列ＩＮ（Ｎ×Ｎ）、重み行列Ｗを生成する。ここで、単位行列ＩＭ（Ｍ×Ｍ）は、Ｍ行×Ｍ列の単位行列であり、単位行列ＩＮ（Ｎ×Ｎ）は、Ｎ行×Ｎ列の単位行列である。前処理部１２Ａが実行する前処理の詳細については後述する。なお、上述の説明において便宜的に導入したθは関数Ａ、Ａ'、Ａ''を表現するものであり、本例示的実施形態を何ら限定するものではない。
【0043】
（更新部）
更新部１３Ａは、入力データを参照して、前処理部１２が初期化した回帰係数φを更新する更新処理を実行する。更新部１３Ａは、一例として、図３に示すように、更新準備部１３１、回帰係数更新部１３２、および収束判定部１３３を含む。
更新部１３Ａは、入力データを参照して、前処理部１２が初期化した回帰係数φを更新する更新処理を実行する。更新部１３Ａは、一例として、図３に示すように、更新準備部１３１、回帰係数更新部１３２、および収束判定部１３３を含む。
【0044】
更新準備部１３１は、回帰係数φを更新するための準備処理を行う。更新準備部１３１は、一例として、回帰係数φ、関数Ａ'（θ）、関数Ａ''（θ）を参照して、行列Ｄ、ベクトル＾Ｙ、ベクトルＺ、行列Ｖ、を生成する。更新準備部１３１が実行する準備処理の詳細については後述する。ここで、「＾Ｙ」という表記は、通常、「チルダ付きのＹ」として表現される表記を、明細書において使用可能な文字を用いて表現したものである。具体的な表記法は、本実施形態を限定するものではない。
【0045】
回帰係数更新部１３２は、入力データの一部、前処理部１２Ａが生成した各種行列、更新準備部１３１が生成したデータを参照して、回帰係数φを更新する。回帰係数更新部１３２は、具体的には、行列Ｄ、ベクトル＾Ｙ、ベクトルＺ、行列Ｖ、単位行列Ｉ（Ｍ×Ｍ）、単位行列Ｉ（Ｎ×Ｎ）、重み行列Ｗを参照して、回帰係数φを更新する。回帰係数更新部１３２が実行する回帰係数の更新処理については後述する。
【0046】
収束判定部１３３は、回帰係数φが所定の収束条件を満たすまで収束したかを判定する。収束判定部１３３が実行する判定処理の詳細については後述する。
【0047】
（出力部）
出力部１４Ａは、収束判定部１３３が収束したと判定した回帰係数φを出力する。出力部１４Ａは一例として表示パネルを備え、収束判定部１３３が収束したと判定した回帰係数φの値を表示する構成としてもよいし、図示しない記録媒体に、収束判定部１３３が収束したと判定した回帰係数φの値を格納する構成としてもよい。出力部１４Ａが出力した回帰係数φの値は、各種の解析において参照される。
出力部１４Ａは、収束判定部１３３が収束したと判定した回帰係数φを出力する。出力部１４Ａは一例として表示パネルを備え、収束判定部１３３が収束したと判定した回帰係数φの値を表示する構成としてもよいし、図示しない記録媒体に、収束判定部１３３が収束したと判定した回帰係数φの値を格納する構成としてもよい。出力部１４Ａが出力した回帰係数φの値は、各種の解析において参照される。
【0048】
（データセットの具体例）
図４は、例示的実施形態２に係るデータセットｄｎの具体例を示す図である。図４の例では、説明変数ｘｎを示す横軸と目的変数ｙｎを示す縦軸とにより表される座標空間に、複数のドットｄ１１および複数のドットｄ１２が示されている。複数のドットｄ１１および複数のドットｄ１２は、例示的実施形態２に係るデータセットを表す。換言すると、図４に示す複数のドットｄ１１および複数のドットｄ１２の各々が、各々のｎに対応するデータセットｄｎに含まれる説明変数ｘｎと目的変数ｙｎとの組を表している。説明変数ｘｎのより具体的な一例については、後述する例示的実施形態において説明するが、一例として、都市の工場の数であり、目的変数ｙｎは、一例として、測定士が測定した都市の空気中の化学物質暴露量を挙げることができる。ただしこの例は、本例示的実施形態を何ら限定するものではない。
図４は、例示的実施形態２に係るデータセットｄｎの具体例を示す図である。図４の例では、説明変数ｘｎを示す横軸と目的変数ｙｎを示す縦軸とにより表される座標空間に、複数のドットｄ１１および複数のドットｄ１２が示されている。複数のドットｄ１１および複数のドットｄ１２は、例示的実施形態２に係るデータセットを表す。換言すると、図４に示す複数のドットｄ１１および複数のドットｄ１２の各々が、各々のｎに対応するデータセットｄｎに含まれる説明変数ｘｎと目的変数ｙｎとの組を表している。説明変数ｘｎのより具体的な一例については、後述する例示的実施形態において説明するが、一例として、都市の工場の数であり、目的変数ｙｎは、一例として、測定士が測定した都市の空気中の化学物質暴露量を挙げることができる。ただしこの例は、本例示的実施形態を何ら限定するものではない。
【0049】
図４に示すように、データセットには、信頼性が相対的に高いデータセットと、信頼性が相対的に低いデータセットとが含まれる。ドットｄ１１は、信頼性の高いデータセットｄｎを表しており、ドットｄ１２は、信頼性の低いデータセットｄｎを表している。信頼性の高いデータセットｄｎは、一例として、経験の長い測定士の測定結果を示すデータセットである。一方、信頼性の低いデータセットｄｎは、一例として、経験の浅い測定士の測定結果を示すデータセットである。ただし、この例は、本例示的実施形態を何ら限定するものではない。
【0050】
上述したように、回帰モデルの生成処理のために用いるデータセットｄｎの品質には、一般に、バラつきがある。例えば、経験の浅い測定士が測定した場合、測定結果が大きな誤差を含んでいる場合がある。図４の例では、エリアａ１１に位置する２つのドットｄ１２は、他のドットｄ１１、ｄ１２に比べて品質が低い場合がある。
【0051】
本例示的実施形態に係る情報処理装置１０Ａでは、このようなデータセットの品質のバラつきを、品質情報ｗｎによって考慮したうえで、好適なスパース一般化線形回帰モデルを生成することができる。
【0052】
＜情報処理方法の流れ＞
以上のように構成された情報処理装置１０Ａが実行する情報処理方法Ｓ１０Ａの流れについて、図５を参照して説明する。図５は、情報処理方法Ｓ１０Ａの流れを示すフロー図である。図５に示すように、情報処理方法Ｓ１０Ａは、ステップＳ１１Ａ～ステップＳ１４Ａを含む。
以上のように構成された情報処理装置１０Ａが実行する情報処理方法Ｓ１０Ａの流れについて、図５を参照して説明する。図５は、情報処理方法Ｓ１０Ａの流れを示すフロー図である。図５に示すように、情報処理方法Ｓ１０Ａは、ステップＳ１１Ａ～ステップＳ１４Ａを含む。
【0053】
（ステップＳ１１Ａ）
ステップＳ１１Ａにおいて、取得部１１Ａは、入力データを取得する。入力データは、上述のように、説明変数ｘｎおよび目的変数ｙｎからなる複数のデータセットｄｎ、品質情報ｗｎ、分布関数Ａの関数形、並びに、正則化パラメータλ、を含む。
ステップＳ１１Ａにおいて、取得部１１Ａは、入力データを取得する。入力データは、上述のように、説明変数ｘｎおよび目的変数ｙｎからなる複数のデータセットｄｎ、品質情報ｗｎ、分布関数Ａの関数形、並びに、正則化パラメータλ、を含む。
【0054】
（ステップＳ１２Ａ）
ステップＳ１２Ａにおいて、前処理部１２Ａは、取得処理Ｓ１１Ａで取得した入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数φを初期化する。ステップＳ１２Ａの詳細については後述する。
ステップＳ１２Ａにおいて、前処理部１２Ａは、取得処理Ｓ１１Ａで取得した入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数φを初期化する。ステップＳ１２Ａの詳細については後述する。
【0055】
（ステップＳ１３Ａ）
更新処理Ｓ１３Ａにおいて、更新部１３Ａは、取得処理Ｓ１１Ａで取得した入力データを参照して回帰係数φを更新する更新処理を実行する。一例として、更新部１３Ａは、一般化線形回帰モデルの評価関数Ｅを参照して、前記更新処理を実行する。評価関数Ｅは、一例として、正則化パラメータを係数とするＬ０正則化項を含む。更新部１３Ａは、一例として、評価関数Ｅが小さくなるよう回帰係数φを更新する。
更新処理Ｓ１３Ａにおいて、更新部１３Ａは、取得処理Ｓ１１Ａで取得した入力データを参照して回帰係数φを更新する更新処理を実行する。一例として、更新部１３Ａは、一般化線形回帰モデルの評価関数Ｅを参照して、前記更新処理を実行する。評価関数Ｅは、一例として、正則化パラメータを係数とするＬ０正則化項を含む。更新部１３Ａは、一例として、評価関数Ｅが小さくなるよう回帰係数φを更新する。
【0056】
より具体的には、更新部１３Ａは、一例として、下記式（１）により与えられる評価関数Ｅを参照して更新処理を実行する。
【数1】
【0057】
式（１）において、データ数Ｎは、データセットｄｎの総数である。品質情報ｗｎ、分布関数Ａ、説明変数ｘｎ、目的変数ｙｎ、正則化パラメータλは、入力データに含まれる情報またはデータである。Ｔは転置を表す記号である。｜φ｜０は回帰係数φのＬ０ノルムである。
【0058】
ステップＳ１３Ａにおいて、更新部１３Ａは、一例として、ニュートン・ラフソン法の手順に沿って回帰係数φを収束させる。ニュートン・ラフソン法を用いる場合、勾配∇Ｅとヘッセ行列Ｈ（φ）は、一例として、下記式（２）および式（３）により与えられる。
【数2】
【数3】
【0059】
本例示的実施形態に係る情報処理装置１０Ａにおいては、一般化線形回帰モデルの評価関数Ｅであって、正則化パラメータを係数とするＬ０正則化項を含む評価関数Ｅを参照して、更新処理を実行する。このため、情報処理装置１０Ａによれば、正則化パラメータを係数とするＬ０正則化項を含む評価関数を参照しない場合に比べて、より好適なスパース一般化線形回帰モデルを生成することができる。
【0060】
また、本例示的実施形態に係る情報処理装置１０Ａにおいては、上記式（１）により与えられる評価関数Ｅを参照して更新処理を実行する。このため、本例示的実施形態に係る情報処理装置１０Ａによれば、データの品質にばらつきがある場合であっても、好適なスパース一般化線形回帰モデルを生成することができる。
【0061】
（ステップＳ１４Ａ）
ステップＳ１４Ａにおいて、出力部１４Ａは、回帰係数φを出力する。
ステップＳ１４Ａにおいて、出力部１４Ａは、回帰係数φを出力する。
【0062】
（前処理）
図６は、前処理部１２Ａが行う前処理（図５のステップＳ１２Ａの処理）の流れを示すフロー図である。図６に示すように、前処理部１２Ａが行う前処理は、ステップＳ１２１～ステップＳ１２５を含む。なお、一部のステップは並行して、または順序を替えて実行されてもよい。
図６は、前処理部１２Ａが行う前処理（図５のステップＳ１２Ａの処理）の流れを示すフロー図である。図６に示すように、前処理部１２Ａが行う前処理は、ステップＳ１２１～ステップＳ１２５を含む。なお、一部のステップは並行して、または順序を替えて実行されてもよい。
【0063】
（ステップＳ１２１）
ステップＳ１２１において、前処理部１２Ａは、特徴数Ｍとデータ数Ｎをカウントする。ここで、特徴数Ｍとは、ベクトルである変数ｘｎの次元数である。
ステップＳ１２１において、前処理部１２Ａは、特徴数Ｍとデータ数Ｎをカウントする。ここで、特徴数Ｍとは、ベクトルである変数ｘｎの次元数である。
【0064】
（ステップＳ１２２）
ステップＳ１２２において、前処理部１２Ａは、一次導関数Ａ'（θ）と二次導関数Ａ''（θ）とを読み出す。一例として、前処理部１２Ａは、取得部１１Ａが取得した分布関数Ａから一次導関数Ａ'（θ）と二次導関数Ａ''（θ）とを導出する。当該導出処理は、前処理部１２Ａが、数値的な演算によって実行する構成としてもよいし、解析的な演算によって実行する構成としてもよいし、それらの組み合わせによって実行する構成としてもよい。
ステップＳ１２２において、前処理部１２Ａは、一次導関数Ａ'（θ）と二次導関数Ａ''（θ）とを読み出す。一例として、前処理部１２Ａは、取得部１１Ａが取得した分布関数Ａから一次導関数Ａ'（θ）と二次導関数Ａ''（θ）とを導出する。当該導出処理は、前処理部１２Ａが、数値的な演算によって実行する構成としてもよいし、解析的な演算によって実行する構成としてもよいし、それらの組み合わせによって実行する構成としてもよい。
【0065】
（ステップＳ１２３）
ステップＳ１２３において、前処理部１２Ａは、品質情報ｗｎを参照して重み行列Ｗを生成する。重み行列Ｗは、一例として、下記の式（４）により表される。
ステップＳ１２３において、前処理部１２Ａは、品質情報ｗｎを参照して重み行列Ｗを生成する。重み行列Ｗは、一例として、下記の式（４）により表される。
【数4】
【0066】
（ステップＳ１２４）
ステップＳ１２４において、前処理部１２Ａは、回帰係数φを初期化する。前処理部１２Ａは、一例として、ランダム関数により発生させた乱数を用いて回帰係数φを初期化する。
ステップＳ１２４において、前処理部１２Ａは、回帰係数φを初期化する。前処理部１２Ａは、一例として、ランダム関数により発生させた乱数を用いて回帰係数φを初期化する。
【0067】
（ステップＳ１２５）
ステップＳ１２５において、前処理部１２Ａは、単位行列ＩＭ、単位行列ＩＮを生成する。ここで、上述のように、単位行列ＩＭは、Ｍ行×Ｍ列の単位行列であり、単位行列ＩＮは、Ｎ行×Ｎ列の単位行列である。
ステップＳ１２５において、前処理部１２Ａは、単位行列ＩＭ、単位行列ＩＮを生成する。ここで、上述のように、単位行列ＩＭは、Ｍ行×Ｍ列の単位行列であり、単位行列ＩＮは、Ｎ行×Ｎ列の単位行列である。
【0068】
（更新処理）
図７は、更新部１３Ａが行う更新処理（図５のステップＳ１３Ａの処理）の流れを示すフロー図である。図７に示すように、更新部１３Ａが行う更新処理は、ステップＳ１３１～ステップＳ１３３を含む。なお、一部のステップは並行して、または順序を替えて実行されてもよい。
図７は、更新部１３Ａが行う更新処理（図５のステップＳ１３Ａの処理）の流れを示すフロー図である。図７に示すように、更新部１３Ａが行う更新処理は、ステップＳ１３１～ステップＳ１３３を含む。なお、一部のステップは並行して、または順序を替えて実行されてもよい。
【0069】
（ステップＳ１３１）
ステップＳ１３１～Ｓ１３３において、更新部１３Ａは、回帰係数φが所定の収束条件を満たすまで、入力データを参照して更新処理（ステップＳ１３１～Ｓ１３２の処理）を繰り返し実行する。まず、ステップＳ１３１において、更新準備部１３１は、更新準備処理を実行する。更新準備処理については後述する。
ステップＳ１３１～Ｓ１３３において、更新部１３Ａは、回帰係数φが所定の収束条件を満たすまで、入力データを参照して更新処理（ステップＳ１３１～Ｓ１３２の処理）を繰り返し実行する。まず、ステップＳ１３１において、更新準備部１３１は、更新準備処理を実行する。更新準備処理については後述する。
【0070】
（ステップＳ１３２）
ステップＳ１３２において、回帰係数更新部１３２は、回帰係数φを更新する。回帰係数更新部１３２は、例えば、下記の式（５）により回帰係数φを更新する。
ステップＳ１３２において、回帰係数更新部１３２は、回帰係数φを更新する。回帰係数更新部１３２は、例えば、下記の式（５）により回帰係数φを更新する。
【数5】
【0071】
より具体的には、回帰係数更新部１３２は、例えば、下記の式（６ａ）または式（６ｂ）により回帰係数φを更新する構成とすることができる。
【数6】
【数7】
【0072】
式（６ａ）および式（６ｂ）において、正則化パラメータλは、取得部１１Ａが取得した入力データに含まれるパラメータである。単位行列Ｉおよび重み行列Ｗは、前処理部１２Ａが生成する行列である。行列Ｄ、行列ＶおよびベクトルＺは、更新準備部１３１がステップＳ１３１で算出する行列およびベクトルである。行列Ｘは、説明変数ｘｎ（１≦ｎ≦Ｎ）を行列表現したものである。
【0073】
回帰係数更新部１３２は、一例として、データ数Ｎが特徴数Ｍよりも大きいか否かによって、異なるアルゴリズムにより回帰係数φを更新してもよい。一例として、回帰係数更新部１３２は、データ数Ｎが特徴数Ｍ以上である場合、式（６ａ）により回帰係数φを更新し、データ数Ｎが特徴数Ｍ未満である場合、式（６ｂ）により回帰係数φを更新してもよい。
【0074】
（ステップＳ１３３）
ステップＳ１３３において、収束判定部１３３は、回帰係数φが所定の収束条件を満たすかを判定する。収束条件は、一例として、１回の更新処理による回帰係数φの変化量が閾値以下である、といった条件であってもよい。具体的には、例えば、収束条件は、以下の式（７）であってもよい。式（７）において、ηは、更新前の回帰係数であり、φnewは更新後の回帰係数である。εは所定の閾値である。
ステップＳ１３３において、収束判定部１３３は、回帰係数φが所定の収束条件を満たすかを判定する。収束条件は、一例として、１回の更新処理による回帰係数φの変化量が閾値以下である、といった条件であってもよい。具体的には、例えば、収束条件は、以下の式（７）であってもよい。式（７）において、ηは、更新前の回帰係数であり、φnewは更新後の回帰係数である。εは所定の閾値である。
【数8】
【0075】
回帰係数φが収束条件を満たしている場合（ステップＳ１３３；ＹＥＳ）、更新部１３Ａは更新処理を終了する。一方、回帰係数φが収束条件を満たしていない場合（ステップＳ１３３；ＮＯ）、更新部１３ＡはステップＳ１３１の処理に戻る。
【0076】
（更新準備処理）
図８は、更新準備部１３１が行う更新準備処理（図７のステップＳ１３１）の流れを示すフロー図である。図８に示すように、更新準備部１３１が行う更新準備処理は、ステップＳ３１１～Ｓ３１４を含む。なお、一部のステップは並行して、または順序を替えて実行されてもよい。
図８は、更新準備部１３１が行う更新準備処理（図７のステップＳ１３１）の流れを示すフロー図である。図８に示すように、更新準備部１３１が行う更新準備処理は、ステップＳ３１１～Ｓ３１４を含む。なお、一部のステップは並行して、または順序を替えて実行されてもよい。
【0077】
（ステップＳ３１１）
ステップＳ３１１において、更新準備部１３１は、以下の式（８）によりベクトルΘを算出する。ベクトルΘは、ベクトル＾Ｙの算出処理で用いられる。式（８）において、φoldは、更新前の回帰係数である。
Θ＝Ｘφold …（８）
ステップＳ３１１において、更新準備部１３１は、以下の式（８）によりベクトルΘを算出する。ベクトルΘは、ベクトル＾Ｙの算出処理で用いられる。式（８）において、φoldは、更新前の回帰係数である。
Θ＝Ｘφold …（８）
【0078】
（ステップＳ３１２）
ステップＳ３１２において、更新準備部１３１は、行列Ｄおよび行列Ｖを生成する。行列Ｄおよび行列Ｖは、後段の回帰係数φの更新処理で用いられる。行列Ｄ、行列Ｖは、一例として、下記の式（９）により表される。式（９）において、ηｍ（１≦ｍ≦Ｍ）は更新前の回帰係数φoldである。Ｖｎ（１≦ｎ≦Ｎ）は、関数Ａ''（ｘｎφ）である。
ステップＳ３１２において、更新準備部１３１は、行列Ｄおよび行列Ｖを生成する。行列Ｄおよび行列Ｖは、後段の回帰係数φの更新処理で用いられる。行列Ｄ、行列Ｖは、一例として、下記の式（９）により表される。式（９）において、ηｍ（１≦ｍ≦Ｍ）は更新前の回帰係数φoldである。Ｖｎ（１≦ｎ≦Ｎ）は、関数Ａ''（ｘｎφ）である。
【数9】
【0079】
（ステップＳ３１３）
ステップＳ３１３において、更新準備部１３１は、ベクトル＾Ｙを算出する。ベクトル＾Ｙは、一例として、以下の式（１０）で表される。
ここで、A’の引数は、ステップＳ３１１において算出したベクトルΘの各成分である。
ステップＳ３１３において、更新準備部１３１は、ベクトル＾Ｙを算出する。ベクトル＾Ｙは、一例として、以下の式（１０）で表される。
【数10】
【0080】
（ステップＳ３１４）
ステップＳ３１４において、更新準備部１３１は、ベクトルＺを算出する。ベクトルＺは、後段の回帰係数φの更新処理で用いられる。更新準備部１３１は、一例として、以下の式（１１）によりベクトルＺを算出する。式（１１）において、φoldは更新前の回帰係数であり、ベクトル＾Ｙは、更新準備部１３１がステップＳ３１３で算出したベクトルである。
ステップＳ３１４において、更新準備部１３１は、ベクトルＺを算出する。ベクトルＺは、後段の回帰係数φの更新処理で用いられる。更新準備部１３１は、一例として、以下の式（１１）によりベクトルＺを算出する。式（１１）において、φoldは更新前の回帰係数であり、ベクトル＾Ｙは、更新準備部１３１がステップＳ３１３で算出したベクトルである。
【数11】
【0081】
更新準備部１３１は、以上のような処理によって、行列Ｄ、ベクトル＾Ｙ、ベクトルＺ、および行列Ｖを算出し、算出した行列Ｄ、ベクトル＾Ｙ、ベクトルＺ、および行列Ｖを、回帰係数更新部１３２に提供する。そして、回帰係数更新部１３２は、上述した処理によって回帰係数を更新する。
【0082】
（情報処理装置１０Ａの効果）
従来の回帰モデルの生成において、データセットの総数が充分に多い場合は、信頼性の低いデータセットを用いることなく回帰モデルの生成を行うことも考えられる。一方、データセットの総数が少ない場合には、回帰モデルの生成のために信頼性の低いデータセットも使わざるを得ない場合がある。しかしながら、信頼性の低いデータセットを信頼性の高いデータセットと同様に扱うと、信頼性の低いデータセットの誤差が回帰モデルに強く影響し、適切な回帰モデルを生成できない場合があった。
従来の回帰モデルの生成において、データセットの総数が充分に多い場合は、信頼性の低いデータセットを用いることなく回帰モデルの生成を行うことも考えられる。一方、データセットの総数が少ない場合には、回帰モデルの生成のために信頼性の低いデータセットも使わざるを得ない場合がある。しかしながら、信頼性の低いデータセットを信頼性の高いデータセットと同様に扱うと、信頼性の低いデータセットの誤差が回帰モデルに強く影響し、適切な回帰モデルを生成できない場合があった。
【0083】
それに対し本例示的実施形態に係る情報処理装置１０Ａは、各データセットｄｎの品質に関する品質情報ｗｎを参照して回帰係数φの初期化および更新を行う。このため、データセットｄｎの品質にばらつきがある場合であっても、好適なスパース一般化線形回帰モデルを生成し易い。
【0084】
また、本例示的実施形態に係る情報処理装置１０Ａにおいては、回帰係数φが所定の収束条件を満たすまで、入力データを参照して更新処理を繰り返し実行する構成が採用されている。このため、本例示的実施形態に係る情報処理装置１０Ａによれば、例示的実施形態１に係る情報処理装置１０の奏する効果に加えて、より好適なスパース一般化線形回帰モデルを生成できるという効果が得られる。
【0085】
〔例示的実施形態３〕
本発明の例示的実施形態３について、図面を参照して詳細に説明する。なお、例示的実施形態１、２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。
本発明の例示的実施形態３について、図面を参照して詳細に説明する。なお、例示的実施形態１、２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。
【0086】
本例示的実施形態に係る情報処理装置１０Ｂの構成について、図９を参照して説明する。図９は、情報処理装置１０Ｂの構成を示すブロック図である。情報処理装置１０Ｂは、取得部１１Ａ、前処理部１２Ａ、更新部１３Ａに加えて、品質情報生成部１５を備える。なお、図中の矢印はデータの流れの方向を端的に示したものであり、双方向性を排除するものではない。
【0087】
品質情報生成部１５は、各データセットｄｎの信頼性に関する情報を取得し、取得した信頼性に関する情報を参照して、品質に関する情報である品質情報ｗｎを生成する。ここで、信頼性に関する情報は、各データセットｄｎを取得する装置の精度や作業者の熟練度等を示す情報を用いることができる。信頼性に関する情報の具体例は本例示的実施形態を限定するものではないが、信頼性に関する情報は、一例として、測定士の熟練度に関する情報である。また、信頼性に関する情報は、一例として、測定士の測定経験の長さを示す情報であってもよい。この場合、一例として、信頼性に関する情報は、測定士の経験が長いほど大きい値であってもよい。
【0088】
品質情報生成部１５は、一例として、各データセットｄｎの信頼性に関する情報を参照して、信頼性が高いほど品質情報ｗｎの値が大きくなるよう、データセットｄｎのそれぞれについて品質情報ｗｎを生成する。
【0089】
本実施形態によれば、情報処理装置１０Ｂは、各データセットの信頼性を好適に加味したスパース一般化線形回帰モデルを生成することができる。
【0090】
〔ソフトウェアによる実現例〕
情報処理装置１０、１０Ａ、１０Ｂの一部または全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１０、１０Ａ、１０Ｂの一部または全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0091】
後者の場合、情報処理装置１０、１０Ａ、１０Ｂは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１０に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１０、１０Ａ、１０Ｂとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１０、１０Ａ、１０Ｂの各機能が実現される。
【0092】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、または、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、または、これらの組み合わせなどを用いることができる。
【0093】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0094】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、またはプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、または放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0095】
〔応用例〕
上述した情報処理装置１０、１０Ａ、１０Ｂ（以下、「情報処理装置１０等」という）は、各種問題に応用可能である。一例として、情報処理装置１０等は、都市における工場の数を説明変数ｘｎとし、都市における空気中の化学物質曝露量を目的変数ｙｎとする回帰モデルを生成する装置として適用可能である。図４に例示したように、データセットの信頼性は、経験の長い測定士が測定したか経験の浅い測定士が測定したか、または、測定装置の性能等の条件によりバラつきが生じる場合がある。経験の浅い測定士の測定結果であるデータセットの信頼性は低い場合がある。従来の回帰モデルの生成において、データの総数が充分に多い場合は、信頼性の低いデータを用いることなく回帰モデルの生成を行うことも考えられる。一方、データの総数が少ない場合には、回帰モデルの生成のために信頼性の低いデータも使わざるを得ない場合がある。しかしながら、信頼性の低いデータを信頼性の高いデータと同様に扱うと、信頼性の低いデータの誤差が回帰モデルに強く影響し、適切な回帰モデルを生成できない場合があった。
上述した情報処理装置１０、１０Ａ、１０Ｂ（以下、「情報処理装置１０等」という）は、各種問題に応用可能である。一例として、情報処理装置１０等は、都市における工場の数を説明変数ｘｎとし、都市における空気中の化学物質曝露量を目的変数ｙｎとする回帰モデルを生成する装置として適用可能である。図４に例示したように、データセットの信頼性は、経験の長い測定士が測定したか経験の浅い測定士が測定したか、または、測定装置の性能等の条件によりバラつきが生じる場合がある。経験の浅い測定士の測定結果であるデータセットの信頼性は低い場合がある。従来の回帰モデルの生成において、データの総数が充分に多い場合は、信頼性の低いデータを用いることなく回帰モデルの生成を行うことも考えられる。一方、データの総数が少ない場合には、回帰モデルの生成のために信頼性の低いデータも使わざるを得ない場合がある。しかしながら、信頼性の低いデータを信頼性の高いデータと同様に扱うと、信頼性の低いデータの誤差が回帰モデルに強く影響し、適切な回帰モデルを生成できない場合があった。
【0096】
それに対し本例示的実施形態に係る情報処理装置１０等は、各データセットｄｎの品質に関する品質情報ｗｎを参照して回帰係数φの初期化および更新を行う。このため、データセットｄｎの品質にばらつきがある場合であっても、好適なスパース一般化線形回帰モデルを生成し易い。
【0097】
また、情報処理装置１０等は、一例として、震度計の計測値を説明変数ｘｎとし、地震による被害状況を表す情報を目的変数ｙｎとする回帰モデルを生成する装置として適用可能である。震度計の性能や震度計の設置場所によっては、測定結果であるデータセットｄｎの品質が低いものが含まれる場合がある。例えば、震度計の設置場所によっては付近を走行する車により測定結果にノイズが含まれてしまう場合がある。そのような場合であっても、震度計の設置場所等の条件に応じて品質情報ｗｎをデータｄｎごとに設定することにより、情報処理装置１０等が好適な回帰モデルを生成することができる。
【0098】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0099】
〔付記事項２〕
上述した実施形態の一部または全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部または全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0100】
（付記１）
説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する取得手段と、
前記取得手段が取得した前記入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する前処理手段と、
前記入力データを参照して前記回帰係数を更新する更新処理を実行する更新手段と、を備えている、
ことを特徴とする情報処理装置。
説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する取得手段と、
前記取得手段が取得した前記入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する前処理手段と、
前記入力データを参照して前記回帰係数を更新する更新処理を実行する更新手段と、を備えている、
ことを特徴とする情報処理装置。
【0101】
（付記２）
前記更新手段は、前記回帰係数が所定の収束条件を満たすまで、前記入力データを参照して前記更新処理を繰り返し実行する、
ことを特徴とする付記１に記載の情報処理装置。
前記更新手段は、前記回帰係数が所定の収束条件を満たすまで、前記入力データを参照して前記更新処理を繰り返し実行する、
ことを特徴とする付記１に記載の情報処理装置。
【0102】
（付記３）
前記入力データは、正則化パラメータを含む、
ことを特徴とする付記１または２に記載の情報処理装置。
前記入力データは、正則化パラメータを含む、
ことを特徴とする付記１または２に記載の情報処理装置。
【0103】
（付記４）
前記更新手段は、一般化線形回帰モデルの評価関数であって、前記正則化パラメータを係数とするＬ０正則化項を含む評価関数を参照して、前記更新処理を実行する、
ことを特徴とする付記３に記載の情報処理装置。
前記更新手段は、一般化線形回帰モデルの評価関数であって、前記正則化パラメータを係数とするＬ０正則化項を含む評価関数を参照して、前記更新処理を実行する、
ことを特徴とする付記３に記載の情報処理装置。
【0104】
（付記５）
前記更新手段は、下記式（１２）により与えられる前記評価関数を参照して前記更新処理を実行する、
ことを特徴とする付記３または４に記載の情報処理装置。
ここで、Ｎは前記データセットの個数を表す自然数、ｘｎは前記説明変数、φは回帰係数、ｙｎは前記目的変数、ｗｎは前記品質に応じた重み係数、Ａは前記残差分布の形状を表現する関数、Ｔは転置を表す記号、λは正則化パラメータ、｜φ｜０は、回帰係数φのＬ０ノルム、である。
前記更新手段は、下記式（１２）により与えられる前記評価関数を参照して前記更新処理を実行する、
ことを特徴とする付記３または４に記載の情報処理装置。
【数12】
【0105】
（付記６）
各データセットの信頼性に関する情報を取得し、取得した信頼性に関する情報を参照して、前記品質に関する情報を生成する品質情報生成手段を更に備えている、
ことを特徴とする付記１から５の何れか１つに記載の情報処理装置。
各データセットの信頼性に関する情報を取得し、取得した信頼性に関する情報を参照して、前記品質に関する情報を生成する品質情報生成手段を更に備えている、
ことを特徴とする付記１から５の何れか１つに記載の情報処理装置。
【0106】
（付記７）
情報処理装置が、
説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得すること、
取得した入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化すること、
前記入力データを参照して前記回帰係数を更新する更新処理を実行すること、
を含んでいる、ことを特徴とする情報処理方法。
情報処理装置が、
説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得すること、
取得した入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化すること、
前記入力データを参照して前記回帰係数を更新する更新処理を実行すること、
を含んでいる、ことを特徴とする情報処理方法。
【0107】
（付記８）
前記情報処理装置が、前記更新処理を実行することにおいて、前記回帰係数が所定の収束条件を満たすまで、前記入力データを参照して前記更新処理を繰り返し実行する、
ことを特徴とする付記７に記載の情報処理方法。
前記情報処理装置が、前記更新処理を実行することにおいて、前記回帰係数が所定の収束条件を満たすまで、前記入力データを参照して前記更新処理を繰り返し実行する、
ことを特徴とする付記７に記載の情報処理方法。
【0108】
（付記９）
前記入力データは、正則化パラメータを含む、
ことを特徴とする付記７または８に記載の情報処理方法。
前記入力データは、正則化パラメータを含む、
ことを特徴とする付記７または８に記載の情報処理方法。
【0109】
（付記１０）
前記情報処理装置が、前記更新処理を実行することにおいて、一般化線形回帰モデルの評価関数であって、前記正則化パラメータを係数とするＬ０正則化項を含む評価関数を参照して、前記更新処理を実行する、
ことを特徴とする付記９に記載の情報処理方法。
前記情報処理装置が、前記更新処理を実行することにおいて、一般化線形回帰モデルの評価関数であって、前記正則化パラメータを係数とするＬ０正則化項を含む評価関数を参照して、前記更新処理を実行する、
ことを特徴とする付記９に記載の情報処理方法。
【0110】
（付記１１）
前記情報処理装置が、前記更新処理を実行することにおいて、下記式（１３）により与えられる評価関数を参照して前記更新処理を実行する、
ことを特徴とする付記９または１０に記載の情報処理方法。
ここで、Ｎは前記データセットの個数を表す自然数、ｘｎは前記説明変数、φは回帰係数、ｙｎは前記目的変数、ｗｎは前記品質に応じた重み係数、Ａは前記残差分布の形状を表現する関数、Ｔは転置を表す記号、λは正則化パラメータ、｜φ｜０は、回帰係数φのＬ０ノルム、である。
前記情報処理装置が、前記更新処理を実行することにおいて、下記式（１３）により与えられる評価関数を参照して前記更新処理を実行する、
ことを特徴とする付記９または１０に記載の情報処理方法。
【数13】
【0111】
（付記１２）
前記情報処理装置が、各データセットの信頼性に関する情報を取得し、取得した信頼性に関する情報を参照して、前記品質に関する情報を生成すること、を更に含む、
ことを特徴とする付記７から１１の何れか１つに記載の情報処理方法。
前記情報処理装置が、各データセットの信頼性に関する情報を取得し、取得した信頼性に関する情報を参照して、前記品質に関する情報を生成すること、を更に含む、
ことを特徴とする付記７から１１の何れか１つに記載の情報処理方法。
【0112】
（付記１３）
コンピュータを情報処理装置として機能させるプログラムであって、
前記プログラムは、前記コンピュータを、
説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する取得手段と、
前記取得手段が取得した前記入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する前処理手段と、
前記入力データを参照して前記回帰係数を更新する更新処理を実行する更新手段と、として機能させる、
ことを特徴とするプログラム。
コンピュータを情報処理装置として機能させるプログラムであって、
前記プログラムは、前記コンピュータを、
説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する取得手段と、
前記取得手段が取得した前記入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する前処理手段と、
前記入力データを参照して前記回帰係数を更新する更新処理を実行する更新手段と、として機能させる、
ことを特徴とするプログラム。
【0113】
（付記１４）
前記更新手段は、前記回帰係数が所定の収束条件を満たすまで、前記入力データを参照して前記更新処理を繰り返し実行する、
ことを特徴とする付記１３に記載のプログラム。
前記更新手段は、前記回帰係数が所定の収束条件を満たすまで、前記入力データを参照して前記更新処理を繰り返し実行する、
ことを特徴とする付記１３に記載のプログラム。
【0114】
（付記１５）
前記入力データは、正則化パラメータを含む、
ことを特徴とする付記１３または１４に記載のプログラム。
前記入力データは、正則化パラメータを含む、
ことを特徴とする付記１３または１４に記載のプログラム。
【0115】
（付記１６）
前記更新手段は、一般化線形回帰モデルの評価関数であって、前記正則化パラメータを係数とするＬ０正則化項を含む評価関数を参照して、前記更新処理を実行する、
ことを特徴とする付記１６に記載のプログラム。
前記更新手段は、一般化線形回帰モデルの評価関数であって、前記正則化パラメータを係数とするＬ０正則化項を含む評価関数を参照して、前記更新処理を実行する、
ことを特徴とする付記１６に記載のプログラム。
【0116】
（付記１７）
前記更新手段は、下記式（１４）により与えられる評価関数を参照して前記更新処理を実行する、
ことを特徴とする付記１５または１６に記載のプログラム。
ここで、Ｎは前記データセットの個数を表す自然数、ｘｎは前記説明変数、φは回帰係数、ｙｎは前記目的変数、ｗｎは前記品質に応じた重み係数、Ａは前記残差分布の形状を表現する関数、Ｔは転置を表す記号、λは正則化パラメータ、｜φ｜０は、回帰係数φのＬ０ノルム、である。
前記更新手段は、下記式（１４）により与えられる評価関数を参照して前記更新処理を実行する、
ことを特徴とする付記１５または１６に記載のプログラム。
【数14】
【0117】
（付記１８）
各データセットの信頼性に関する情報を取得し、取得した信頼性に関する情報を参照して、前記品質に関する情報を生成する品質情報生成手段を更に備えている、
ことを特徴とする付記１３から１７の何れか１項に記載のプログラム。
各データセットの信頼性に関する情報を取得し、取得した信頼性に関する情報を参照して、前記品質に関する情報を生成する品質情報生成手段を更に備えている、
ことを特徴とする付記１３から１７の何れか１項に記載のプログラム。
【0118】
（付記１９）
付記１３に記載のプログラムが記録された、コンピュータ読み取り可能な記録媒体。
付記１３に記載のプログラムが記録された、コンピュータ読み取り可能な記録媒体。
【0119】
〔付記事項３〕
上述した実施形態の一部または全部は、更に、以下のように表現することもできる。
上述した実施形態の一部または全部は、更に、以下のように表現することもできる。
【0120】
少なくとも１つのプロセッサを備え、前記プロセッサは、
説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する取得処理と、
前記取得手段が取得した前記入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する前処理と、
前記入力データを参照して前記回帰係数を更新する更新処理と、を実行する情報処理装置。
説明変数および目的変数からなる複数のデータセット、各データセットの品質に関する情報、並びに残差分布の形状に関する情報を含む入力データを取得する取得処理と、
前記取得手段が取得した前記入力データに含まれる少なくとも何れかのデータまたは情報を参照し、スパースネスの制約を課した一般化線形回帰モデルの回帰係数を初期化する前処理と、
前記入力データを参照して前記回帰係数を更新する更新処理と、を実行する情報処理装置。
【0121】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記前処理と、前記更新処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0122】
１、１０、１０Ａ、１０Ｂ 情報処理装置
１１、１１Ａ 取得部（取得手段）
１２、１２Ａ 前処理部（前処理手段）
１３、１３Ａ 更新部（更新手段）
１４Ａ 出力部
１５ 品質情報生成部
１３１ 更新準備部
１３２ 回帰係数更新部
１３３ 収束判定部
Ｓ１、Ｓ１０、Ｓ１０Ａ 情報処理方法
１１、１１Ａ 取得部（取得手段）
１２、１２Ａ 前処理部（前処理手段）
１３、１３Ａ 更新部（更新手段）
１４Ａ 出力部
１５ 品質情報生成部
１３１ 更新準備部
１３２ 回帰係数更新部
１３３ 収束判定部
Ｓ１、Ｓ１０、Ｓ１０Ａ 情報処理方法
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】