特許 7114497 変数最適化装置、変数最適化方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-29

(45)【発行日】2022-08-08

(54)【発明の名称】変数最適化装置、変数最適化方法、プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220801BHJP

【ＦＩ】

G06N20/00

【請求項の数】 4

(21)【出願番号】P 2019012794

(22)【出願日】2019-01-29

(65)【公開番号】P2020123008

(43)【公開日】2020-08-13

【審査請求日】2021-04-06

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】518128104

【氏名又は名称】ヴィクトリア ユニバーシティ オブ ウェリントン

【氏名又は名称原語表記】Ｖｉｃｔｏｒｉａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｗｅｌｌｉｎｇｔｏｎ

【住所又は居所原語表記】Ｋｅｌｂｕｒｎ Ｐａｒａｄｅ， Ｋｅｌｂｕｒｎ， Ｗｅｌｌｉｎｇｔｏｎ ６１４０， ＮＥＷ ＺＥＡＬＡＮＤ

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】丹羽 健太

(72)【発明者】

【氏名】ウィリム バスティアン クライン

【審査官】中村 信也

(56)【参考文献】

【文献】特開２０１６－２１２５１０（ＪＰ，Ａ）

【文献】特開２０１７－１７７１１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－３／１２

Ｇ０６Ｎ ７／０８－９９／００

Ｇ０６Ｎ ５／００－７／０６

(57)【特許請求の範囲】

【請求項1】

観測データを入力として、潜在変数xを最適化する最適化部を含む変数最適化装置であって、
f₀(x)を潜在変数xの損失項、y_i (i=1, …, n)を潜在変数xに対する正規化項f_i(x)の係数を表す変数（以下、係数変数という）とし、
前記最適化部は、
係数変数y_iに対する正規化項g_i(y_i) (i=1, …, n)を用いて、次式で定義されるコスト関数L(x, y):R^m×Rⁿ→R∪{-∞, +∞}

【数33】

（ただし、y=[y₁, …, y_n]^T）の最小化問題を解くことにより、潜在変数xと係数変数yを最適化する
変数最適化装置。

【請求項2】

請求項１に記載の変数最適化装置であって、
前記最適化部は、
次式により、潜在変数xを更新する潜在変数更新部と、

【数34】

次式により、係数変数yを更新する係数変数更新部と、

【数35】

を含む変数最適化装置。

【請求項3】

変数最適化装置が、観測データを入力として、潜在変数xを最適化する最適化ステップを実行する変数最適化方法であって、
f₀(x)を潜在変数xの損失項、y_i (i=1, …, n)を潜在変数xに対する正規化項f_i(x)の係数を表す変数（以下、係数変数という）とし、
前記最適化ステップは、
係数変数y_iに対する正規化項g_i(y_i) (i=1, …, n)を用いて、次式で定義されるコスト関数L(x, y):R^m×Rⁿ→R∪{-∞, +∞}

【数39】

（ただし、y=[y₁, …, y_n]^T）の最小化問題を解くことにより、潜在変数xと係数変数yを最適化する
変数最適化方法。

【請求項4】

請求項１または２に記載の変数最適化装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習において最適化の対象となるモデルの潜在変数を最適化する技術に関する。

【背景技術】

【0002】

機械学習を用いて、観測した情報（以下、観測情報という）から所望の情報を得る写像を設計するとき、（１）画像処理、音声認識、自然言語処理など、幅広い分野における個々の問題に適したコスト関数を設計する技術と、（２）当該コスト関数を最小化するように潜在変数を最適化する技術の双方が求められる。このコスト関数は、観測情報やコスト関数に含まれる（最適化すべき）潜在変数の生成過程を考慮して設計される。例えば、非特許文献１にあるように、x∈R^mを最適化すべき潜在変数として、コスト関数は次式のような複数の項の和として表現される。

【0003】

【数1】

【0004】

ここで、f₀は損失項（罰則項ともいう）、f_i(i=1, …, n)は正規化項、γ_i(>0) (i=1, …, n)は事前に与えられた係数である。なお、損失項f₀、正規化項f_i(i=1, …, n)はいずれも閉真凸関数（以下、単に凸関数という）である。

【0005】

そして、例えば、観測情報を入力として、図１に示す最適化アルゴリズムにより潜在変数xを逐次最適化することにより、コスト関数を最小化する潜在変数が得られる。

【先行技術文献】

【非特許文献】

【0006】

【文献】Robert Tibshirani, “Regression Shrinkage and Selection via the Lasso”, Journal of the Royal Statistical Society, Series B (Methodological), Vol.58, No.1, pp.267-288, 1996.

【発明の概要】

【発明が解決しようとする課題】

【0007】

式(1-1)における係数γ_iは、各項の相対的大きさを調整するためパラメータであり、従来、係数γ_iを人手で事前に調整し、図１に示されるような最適化処理を実行していた。しかし、この係数γ_iの調整を慎重にしなければ、所望の結果を得ることができないことが多いという問題があった。また、例えば、音声周波数スペクトログラムや画像の局所領域ごとに異なる係数γ_iを設定する場合のように、調整すべき係数γ_iの数が増えると、人手で調整することが困難になるという問題もある。

【0008】

そこで本発明では、コスト関数の各項の相対的大きさを調整する係数を潜在変数とともに最適化する潜在変数最適化技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様は、観測データを入力として、潜在変数xを最適化する最適化部を含む変数最適化装置であって、f₀(x)を潜在変数xの損失項、y_i (i=1, …, n)を潜在変数xに対する正規化項f_i(x)の係数を表す変数（以下、係数変数という）とし、前記最適化部は、係数変数y_iに対する正規化項g_i(y_i) (i=1, …, n)を用いて、次式で定義されるコスト関数L(x, y):R^m×Rⁿ→R∪{-∞, +∞}

【0010】

【数2】

【0011】

（ただし、y=[y₁, …, y_n]^T）の最小化問題を解くことにより、潜在変数xと係数変数yを最適化する。

【発明の効果】

【0012】

本発明によれば、コスト関数の各項の相対的大きさを調整する係数を事前に調整する必要がなく、潜在変数と同時に最適化することが可能となる。

【図面の簡単な説明】

【0013】

【図1】従来の最適化アルゴリズムの一例を示す図である。

【図2】本願の最適化アルゴリズムの一例を示す図である。

【図3】対数凹分布v(x, y)の一例を示す図である。

【図4】本願のノイズ除去アルゴリズムの一例を示す図である。

【図5】変数最適化装置１００の構成を示すブロック図である。

【図6】変数最適化装置１００の動作を示すフローチャートである。

【図7】最適化部１１０の構成を示すブロック図である。

【図8】最適化部１１０の動作を示すフローチャートである。

【図9】ノイズ除去装置２００の構成を示すブロック図である。

【図10】ノイズ除去装置２００の動作を示すフローチャートである。

【図11】推定信号生成部２１０の構成を示すブロック図である。

【図12】推定信号生成部２１０の動作を示すフローチャートである。

【図13】第１変数更新部２１２の構成を示すブロック図である。

【図14】第１変数更新部２１２の動作を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【0015】

各実施形態の説明に先立って、この明細書における表記方法について説明する。

【0016】

^（キャレット）は上付き添字を表す。例えば、x^{y^z}はy^zがxに対する上付き添字であり、x_y^zはy^zがxに対する下付き添字であることを表す。また、_（アンダースコア）は下付き添字を表す。例えば、x^y_zはy_zがxに対する上付き添字であり、x_{y_z}はy_zがxに対する下付き添字であることを表す。

【0017】

ある文字xに対する^xや~xのような上付き添え字の”^”や”~”は、本来”x”の真上に記載されるべきであるが、明細書の記載表記の制約上、^xや~xと記載しているものである。

【0018】

＜技術的背景＞
本発明の実施形態では、これまで固定のパラメータとして扱ってきた係数γ_iを確率的仮定が課された確率変数として扱う。つまり、本発明の実施形態では、係数γ_iの統計的性質を事前に仮定し、係数γ_iを自動で調整する。したがって、本発明の実施形態では、潜在変数xに加え、係数γ_iも最適化されることとなる。

【0019】

《コスト関数の基本形式》
まず、係数γ_iを確率変数として扱う場合のコスト関数について説明する。以下、係数γ_iを確率変数として扱うので、γ_iと異なる記号を用いて表現することにする。具体的には、正規化項の前にある、コスト関数の各項の相対的大きさを調整する係数をy_i(i=1, …, n)で表し、係数変数と呼ぶことにする。

【0020】

本発明の実施形態では、潜在変数xと係数変数y_i(i=1, …, n)の双方を最適化する。そのために、次式により、コスト関数Lを定義する。

【0021】

【数3】

【0022】

ここで、L(x, y): R^m×Rⁿ→R∪{-∞, +∞}はコスト関数、x∈R^mは潜在変数、y=[y₁, …, y_n]^T∈Rⁿは係数変数、f₀(x)は潜在変数xの損失項、f_i(x) (i=1, …, n)は潜在変数xに対する正規化項、g_i(y_i) (i=1, …, n)は係数変数y_iに対する正規化項である。なお、正規化項g_i(y_i)の定義域は正の領域に制限される。つまり、y_i∈(0, +∞)である。

【0023】

また、損失項f₀(x)、正規化項f_i(x), g_i(y_i) (i=1, …, n)はいずれも凸関数である。このとき、コスト関数L(x, y)は、（１）yを固定したときxに関する凸関数、（２）xを固定したときyに関する凸関数となる。つまり、コスト関数L(x, y)はbi-convex（バイコンベックス）となる。

【0024】

したがって、変数{x, y}のそれぞれを次式のようにL(x, y)を最小化するように逐次的に更新することにより、不動点（つまり、コスト関数を最小化する解）を得る。

【0025】

【数4】

【0026】

式(2-2)に基づく変数{x, y}の最適化アルゴリズムを図２に示す。ここで、Tは繰り返し回数を表す1以上の整数である。図２に示す最適化アルゴリズムは、観測データを入力として、潜在変数xと係数変数yを交互に逐次最適化するものである。

【0027】

式(2-1)と式(1-1)とを比較すると、コスト関数に関して以下の違いがあることがわかる。
（１）式(2-1)では、潜在変数xに対する正規化項に掛かる係数が変数となっている。
（２）式(2-1)では、最適化すべき変数が、潜在変数xと係数変数yの2種類ある。
（３）式(2-1)では、係数変数y_iに対する正規化項g_iが加算されている。この項g_iを導入することは、係数変数y_iに対する確率的仮定を事前に設定することに相当する。

【0028】

《確率モデルと関連したコスト関数の設計》
次に、コスト関数L(x, y)を構成する各項をどのように設計したらよいかの指針について説明する。具体的には、観測データ／変数の生成過程に関する統計的性質を確率分布として表現することで、コスト関数L(x, y)を構成する項を設計する方法について述べる。

【0029】

凸関数に関連する確率分布のクラスとして、対数凹分布がある（参考非特許文献１）。コスト関数の設計に用いる確率分布を対数凹分布に制限すると、解が一意に得られることが保証できる。
（参考非特許文献１：“Log-concave probability and its applications”, [online], ［平成３１年１月２４日検索］, インターネット<URL: http://econ.ucsb.edu/~tedb/Theory/delta.pdf>）

【0030】

コスト関数L(x, y)には2種類の変数{x, y}が含まれるため、その組合せに応じて3種類の対数凹分布が必要になる。具体的には、潜在変数xのみを含む対数凹分布u_i(x) (i=0, …, k、ただし、kは0以上の整数)、潜在変数xと係数変数y_iを含む対数凹分布v_i(x, y_i) (i=1, …, n)、係数変数y_iのみを含む対数凹分布w_i(y_i) (i=1, …, n)である。

【0031】

【数5】

【0032】

ここで、~φ_i(x) (i=0, …, k), φ_i(x) (i=1, …, n), ψ_i(x) (i=1, …, n), ξ_i(y_i) (i=1, …, n)は凸関数である。なお、u_i(x), v_i(x, y_i), w_i(y_i)は確率分布であるので、いずれも正規化されている。すなわち、∫u_i(x)dx=1, ∫v_i(x, y_i)dxdy_i=1, ∫w_i(y_i)dy_i=1が成り立つ。

【0033】

対数凹分布u_i(x), w_i(y_i)については、任意の対数凹分布を利用できるので、~φ_i(x), ξ_i(y_i)として任意の凸関数を用いることができる。一方、対数凹分布v_i(x, y_i)については、任意の対数凹分布を利用できるわけではない。図３に、具体的に利用できる対数凹分布v(x, y)=exp[-(yf(x)+φ(x)+ψ(y))]の例を示す。ここで、Β(θ₁, θ₂)はベータ関数、Γ(θ)はガンマ関数である。図３の表は、v(x, y)が確率密度関数pの形式になるときのy, f(x), φ(x), ψ(y)の組合せを示したものである。なお、表の左から２列目は各変数の台(support)を表す。

【0034】

観測データ／変数の生成過程に関する統計的性質が上記対数凹の確率分布u₀(x), v_i(x, y_i) (i=1, …, n), w_i(y_i) (i=1, …, n)によって与えられると仮定する。このとき、~φ₀(x)を単にφ₀(x)と表すこととすると、尤度関数P(x, y)は次式のようになる。

【0035】

【数6】

【0036】

式(2-6)に現れる項を次式により置き換えると、

【0037】

【数7】

【0038】

式(2-6)は以下のようになる。

【0039】

【数8】

【0040】

式(2-7)は、コスト関数L(x, y)の最小値min_x,yL(x, y)が上記仮定した生成過程の最大対数尤度max_x,ylogP(x, y)と一致することを示す。

【0041】

式(2-3)～式(2-5)で定義される対数凹分布u₀(x), v_i(x, y_i), w_i(y_i)を用いて観測データ／変数の生成過程を表現すると、負の対数尤度-logP(x, y)がコスト関数L(x,y)と一致する。また、式(2-2)は、片方の変数（例えば、y）を固定して、もう片方の変数（例えば、x）に関してコスト関数を最小化する処理を意味する。したがって、当該処理は交互に尤度を最大化する処理に対応する。

【0042】

【数9】

【0043】

《応用事例》
ここでは、LASSOに基づく潜在変数最適化でのコスト関数L(x, y)の設計について説明する。ノイズが混在した観測信号d∈R^mを入力とし、ノイズが除去された推定信号x∈R^mを出力する問題について考える。ここで、対象とする信号は時間領域の音声、静止画像などである。この問題におけるコスト関数を導出するため、いくつかの確率的仮定を置く。以下、各仮定について説明する。

【0044】

（仮定１）：観測信号dと推定信号xの差に関する仮定
観測信号dと推定信号xの差は、次式で与えられる分散σ²のガウス分布に従うものと仮定する。

【0045】

【数10】

【0046】

（仮定２）：推定信号xの取り得る値に関する仮定
推定信号xは範囲c={c_min, c_max}(c_min,<c_max)のある値をとる一様分布に従うものと仮定する。

【0047】

【数11】

【0048】

ここで、x=[x₁, …, x_m]^Tである。

【0049】

（仮定３）：潜在変数である推定信号xの補助変数zに対する確率的仮定
音声のスペクトログラムは、局所領域でスパース性が高いことが知られている。また、画像の隣接要素差分についても局所領域でスパース性が高いことが多い。

【0050】

そこで、音声に対しては、フレームシフトしながら窓掛けして離散フーリエ変換(DFT)した結果を補助変数zとする。また、画像に対しては、隣接するピクセルを差し引いた結果を補助変数zとする。いずれの場合も、潜在変数xに対して所定の行列Dを掛け合わせることで補助変数zが得られる。

【0051】

【数12】

【0052】

ここで、行列Dは観測信号の発生に由来する行列である。

【0053】

音声／画像を局所領域ごとに分割し、合計でn個の局所領域が得られたものとすると、補助変数zもn分割される。これを、{z₁, …, z_n}∈zと表す。なお、分割に際して局所領域は重畳するようにしてもよい。

【0054】

補助変数z_i(i=1, …, n)のスパース性より、補助変数z_iは分散2β_i ²のラプラス分布に従うものと仮定する。

【0055】

【数13】

【0056】

式(2-4)の形式に合うように、次式の置き換えを用いると、

【0057】

【数14】

【0058】

式(2-14)は次式のようになる。

【0059】

【数15】

【0060】

ここで、ラプラス分布の分散β_iに関連するパラメータy_i(i=1, …, n)が係数変数となっている。

【0061】

（仮定４）：係数変数y_iに対する確率的仮定
（仮定３）では、補助変数z_iのスパース性を表現するためにラプラス分布が用いられ、その分散に関連するパラメータy_iは変数として扱われたが、この係数変数y_iもまた対数凹分布で表現される確率分布に従うものと仮定する。

【0062】

ここでは、係数変数y_iに対する確率的仮定の一例として、上限及び下限が制限されたガウス分布を用いることにする。ガウス分布の下限及び上限をζ_i={ζ_min,i, ζ_max,i}(ζ_min,i>0, ζ_max,i>0)、平均をμ_i、分散をρ_i ²とすると、確率分布w_iは以下のようになる。

【0063】

【数16】

【0064】

ここで、erf(・)は誤差関数である。

【0065】

したがって、尤度関数は、次式により与えられる。

【0066】

【数17】

【0067】

（仮定１）～（仮定４）から導出された観測データ／変数の生成過程に関する式(2-9)、式(2-11)、式(2-15)、式(2-18)より、負の対数尤度であるコスト関数L(x, y)は以下で表現される。

【0068】

【数18】

【0069】

したがって、

【0070】

【数19】

【0071】

となる。ここで、潜在変数xとその補助変数zは、線形等式z=Dxにより関連している。

【0072】

《最適化ソルバー》
以下、コスト関数L(x, z, y)の最適化ソルバーについて説明する。変数{x, z, y}を交互に最適化することで、不動点（コスト関数を最小化する解）を得ることを目指す。ここでは、最適化ソルバーとして、従来からある近接点法に基づくアルゴリズムを適用する。

【0073】

まず、コスト関数L(x, z, y)に関して、各変数で劣微分した作用素Tを定義する。

【0074】

【数20】

【0075】

そして、次式により各変数の不動点が得られる。

【0076】

【数21】

【0077】

劣微分作用素Tに関連するリゾルヴェント作用素R_T=(I+αT)^-1(α>0)を用いて、変数{x, z, y}を更新することにする。

【0078】

【数22】

【0079】

コスト関数L(x, z, y)はbi-convex関数であるので、主変数{x, z}と双対変数yを交互に更新することとする。式(2-22)は、以下の2種類の制約付最小化問題の繰り返し演算に還元される。

【0080】

【数23】

【0081】

式(2-23)の問題を解くための一つの方法として交互方向乗数法(ADMM)がある。ADMMに基づいて式(2-23)を解くために、新たな双対変数λを導入する。したがって、最終的には、ADMMに基づく変数最適化アルゴリズム（最適化ソルバー）は{x, z, y, λ}の4種類の変数を逐次更新するアルゴリズムとなる。図４に示す当該アルゴリズムはノイズ除去アルゴリズムである。なお、ε(>0), α(>0), η(>0)は所定の定数、Tは1以上の整数である。

【0082】

ここでは具体的な実験データは示さないが、係数変数y_iに対する確率的仮定が適切なものであれば、当該ノイズ除去アルゴリズムを用いて高精度な信号推定が可能となることが確認された。

【0083】

＜第１実施形態＞
変数最適化装置１００は、観測データを入力として、最適化の対象となるモデルの潜在変数xを最適化する。ここで、モデルとは、入力データを入力とし、出力データを出力とする関数のことである。また、観測データとは、潜在変数の最適化に用いる入力データのことである。

【0084】

変数最適化装置１００は、潜在変数xを最適化する際、f₀(x)を潜在変数xの損失項、y_i (i=1, …, n)を潜在変数xに対する正規化項f_i(x)の係数を表す変数（以下、係数変数という）として、係数変数y_iに対する正規化項g_i(y_i) (i=1, …, n)を用いて次式で定義されるコスト関数L(x, y):R^m×Rⁿ→R∪{-∞, +∞}の最小化問題を解くことにより、潜在変数xと係数変数yを最適化する。

【0085】

【数24】

【0086】

（ただし、y=[y₁, …, y_n]^Tである。）

【0087】

以下、図５～図６を参照して変数最適化装置１００を説明する。図５は、変数最適化装置１００の構成を示すブロック図である。図６は、変数最適化装置１００の動作を示すフローチャートである。図５に示すように変数最適化装置１００は、最適化部１１０と、記録部１９０を含む。記録部１９０は、変数最適化装置１００の処理に必要な情報を適宜記録する構成部である。記録部１９０は、例えば、入力となる観測データ、最適化対象となる潜在変数xや係数変数y_iを記録する。

【0088】

図６に従い変数最適化装置１００の動作について説明する。

【0089】

Ｓ１１０において、最適化部１１０は、観測データを入力として、コスト関数Lの最小化問題を解くことにより潜在変数xと係数変数yを最適化する。

【0090】

以下、図７～図８を参照して最適化部１１０について説明する。図７は、最適化部１１０の構成を示すブロック図である。図８は、最適化部１１０の動作を示すフローチャートである。図７に示すように最適化部１１０は、初期化部１１１、潜在変数更新部１１２と、係数変数更新部１１３と、カウンタ更新部１１４と、終了条件判定部１１５を含む。

【0091】

図８に従い最適化部１１０の動作について説明する。

【0092】

Ｓ１１１において、初期化部１１１は、カウンタtを初期化する。具体的には、t=1とする。また、初期化部１１１は、潜在変数x、係数変数yを初期化する。

【0093】

Ｓ１１２において、潜在変数更新部１１２は、次式により、潜在変数xを更新する。

【0094】

【数25】

【0095】

Ｓ１１３において、係数変数更新部１１３は、次式により、係数変数yを更新する。

【0096】

【数26】

【0097】

Ｓ１１４において、カウンタ更新部１１４は、カウンタtを1だけインクリメントする。具体的には、t←t+1とする。

【0098】

Ｓ１１５において、終了条件判定部１１５は、カウンタtが所定の更新回数T（Tは1以上の整数であり、例えば10万）に達した場合（つまり、t>Tとなり、終了条件が満たされた場合）は、そのときの潜在変数の値xと係数変数の値yを出力して、処理を終了する。それ以外の場合、Ｓ１１２の処理に戻る。つまり、最適化部１１０は、Ｓ１１２～Ｓ１１５の処理を繰り返す。

【0099】

本実施形態の発明によれば、コスト関数の各項の相対的大きさを調整する係数を事前に調整する必要がなく、潜在変数と同時に最適化することが可能となる。つまり、確率モデルのパラメータを除くパラメータ（例えば、係数）については人手で調整する必要がないため、パラメータの人手による調整を可能な限り少なくすることができる。

【0100】

＜第２実施形態＞
ここでは、変数最適化装置１００を観測信号のノイズ除去に適用した例であるノイズ除去装置２００について説明する。ノイズ除去装置２００は、ノイズが混在した観測信号を入力として、ノイズを除去した推定信号を生成する。

【0101】

以下、図９～図１０を参照してノイズ除去装置２００を説明する。図９は、ノイズ除去装置２００の構成を示すブロック図である。図１０は、ノイズ除去装置２００の動作を示すフローチャートである。図９に示すようにノイズ除去装置２００は、推定信号生成部２１０と、記録部２９０を含む。記録部２９０は、ノイズ除去装置２００の処理に必要な情報を適宜記録する構成部である。記録部２９０は、例えば、入力となる観測信号、推定信号を表す潜在変数を記録する。

【0102】

図１０に従いノイズ除去装置２００の動作について説明する。

【0103】

Ｓ２１０において、推定信号生成部２１０は、観測信号を入力として、コスト関数Lの最小化問題を解くことにより、推定信号を表す潜在変数xと補助変数zと係数変数yを最適化して得られた、推定信号を表す潜在変数xをノイズを除去した推定信号として生成する。ここで、x∈R^mはノイズを除去した推定信号表す潜在変数、zはz=Dx（ただし、行列Dは観測信号の発生に由来する行列）を満たす推定信号を表す潜在変数xの補助変数、{z₁, …, z_n}∈zは補助変数zをn分割して得られる補助変数、y_i(i=1, …, n)は補助変数z_iが分散2(1/y_i)²のラプラス分布v_i(z_i, y_i)に従うと仮定したとき得られる係数変数である。また、コスト関数L(x, z, y):R^m×Rⁿ×Rⁿ→R∪{-∞, +∞}は、次式で定義される。

【0104】

【数27】

【0105】

（ただし、y=[y₁, …, y_n]^T、u₀(x|d,σ²)を観測信号dと推定信号を表す潜在変数xの差の分布を表す分散σ²のガウス分布、u₁(x|c)を推定信号を表す潜在変数xの分布を表す範囲cの一様分布、w_i(y_i|ζ_i, μ_i, ρ_i ²)を係数変数y_iの分布を表す下限及び上限ζ_i={ζ_min,i, ζ_max,i}(ζ_min,i>0, ζ_max,i>0)、平均μ_i、分散ρ_i ²のガウス分布とする。）

【0106】

以下、図１１～図１２を参照して推定信号生成部２１０について説明する。図１１は、推定信号生成部２１０の構成を示すブロック図である。図１２は、推定信号生成部２１０の動作を示すフローチャートである。図１１に示すように推定信号生成部２１０は、初期化部２１１、第１変数更新部２１２と、第２変数更新部２１３と、カウンタ更新部２１４と、終了条件判定部２１５を含む。

【0107】

図１２に従い推定信号生成部２１０の動作について説明する。

【0108】

Ｓ２１１において、初期化部２１１は、カウンタtを初期化する。具体的には、t=1とする。また、初期化部１１１は、推定信号を表す潜在変数x、補助変数z、双対変数λ、係数変数yを初期化する。

【0109】

Ｓ２１２において、第１変数更新部２１２は、推定信号を表す潜在変数x、補助変数z、双対変数λを更新する。以下、図１３～図１４を参照して第１変数更新部２１２について説明する。図１３は、第１変数更新部２１２の構成を示すブロック図である。図１４は、第１変数更新部２１２の動作を示すフローチャートである。図１３に示すように第１変数更新部２１２は、潜在変数更新部２１２１と、補助変数更新部２１２２と、双対変数更新部２１２３と、収束条件判定部２１２４を含む。

【0110】

図１４に従い第１変数更新部２１２の動作について説明する。なお、α, ηはそれぞれα>0, η>0を満たす所定の定数である。

【0111】

Ｓ２１２１において、潜在変数更新部２１２１は、次式により、推定信号を表す潜在変数xを更新する。

【0112】

【数28】

【0113】

Ｓ２１２２において、補助変数更新部２１２２は、次式により、補助変数zを更新する。

【0114】

【数29】

【0115】

Ｓ２１２３において、双対変数更新部２１２３は、次式により、双対変数λを更新する。

【0116】

【数30】

【0117】

Ｓ２１２４において、収束条件判定部２１２４は、更新前後の潜在変数xの差を表す||x-x_old||₂ ²が所定の値ε(>0)より大きい間は、Ｓ２１２１～Ｓ２１２４の処理を繰り返す。一方、収束条件判定部２１２４は、||x-x_old||₂ ²が所定の値ε以下となった場合は、潜在変数x、補助変数z、双対変数λを出力し、次の処理ステップ（つまり、Ｓ２１３）に移行する。

【0118】

Ｓ２１３において、第２変数更新部２１３は、次式により、係数変数yを更新する。

【0119】

【数31】

【0120】

Ｓ２１４において、カウンタ更新部２１４は、カウンタtを1だけインクリメントする。具体的には、t←t+1とする。

【0121】

Ｓ２１５において、終了条件判定部２１５は、カウンタtが所定の更新回数T（Tは1以上の整数であり、例えば10万）に達した場合（つまり、t>Tとなり、終了条件が満たされた場合）は、そのときの潜在変数の値xをノイズを除去した推定信号として出力して、処理を終了する。それ以外の場合、Ｓ２１２の処理に戻る。つまり、推定信号生成部２１０は、Ｓ２１２～Ｓ２１５の処理を繰り返す。

【0122】

（変形例）
上記第１変数更新部２１２の代わりに、以下のＳ２１２を実行する第１変数更新部２１２を用いるようにしてもよい。つまり、Ｓ２１２において、第１変数更新部２１２は、次式により、推定信号を表す潜在変数x、補助変数zを更新する。

【0123】

【数32】

【0124】

本実施形態の発明によれば、ノイズが除去された高精度な推定信号を生成することが可能となる。

【0125】

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

【0126】

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

【0127】

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

【0128】

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

【0129】

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

【0130】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

【0131】

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0132】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0133】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

【0134】

上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】