ホーム > 特許ランキング > 国立大学法人横浜国立大学
知財求人 - 知財ポータルサイト「IP Force」
▶ 国立大学法人横浜国立大学の特許一覧 ▶ 地方独立行政法人神奈川県立産業技術総合研究所の特許一覧
特開2024-116008推定装置、推定方法、プログラムおよびニューラルネットワークモデル
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024116008
(43)【公開日】2024-08-27
(54)【発明の名称】推定装置、推定方法、プログラムおよびニューラルネットワークモデル
(51)【国際特許分類】
G06N 3/047 20230101AFI20240820BHJP
【ＦＩ】
G06N3/047
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023021974
(22)【出願日】2023-02-15
(71)【出願人】
【識別番号】504182255
【氏名又は名称】国立大学法人横浜国立大学
(71)【出願人】
【識別番号】317006683
【氏名又は名称】地方独立行政法人神奈川県立産業技術総合研究所
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】島 圭介
(72)【発明者】
【氏名】小宮山 翼
(72)【発明者】
【氏名】迎田 隆幸
(57)【要約】
【課題】時系列の情報を考慮しながら、想定しないクラスに属する事後確率を推定する。
【解決手段】推定装置は、決定ステップと推定ステップとを実行する。決定ステップでは、前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する。推定ステップでは、信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれについての余事象分布の和によって表される混合余事象分布と、クラスごとの混合正規分布とに基づいて、信号が複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する。余事象分布は、正規分布と正規分布に係る係数に基づく二次関数との積によって表される。
【選択図】図４
【解決手段】推定装置は、決定ステップと推定ステップとを実行する。決定ステップでは、前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する。推定ステップでは、信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれについての余事象分布の和によって表される混合余事象分布と、クラスごとの混合正規分布とに基づいて、信号が複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する。余事象分布は、正規分布と正規分布に係る係数に基づく二次関数との積によって表される。
【選択図】図４
【特許請求の範囲】
【請求項1】
時間変化する信号について、前記信号が複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定装置であって、
前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する決定ステップと、
信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれについての、前記正規分布と前記正規分布に係る係数に基づく二次関数との積によって表される余事象分布の和によって表される混合余事象分布と、前記クラスごとの混合正規分布とに基づいて、前記信号が前記複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定ステップと
を実行する推定装置。
前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する決定ステップと、
信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれについての、前記正規分布と前記正規分布に係る係数に基づく二次関数との積によって表される余事象分布の和によって表される混合余事象分布と、前記クラスごとの混合正規分布とに基づいて、前記信号が前記複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定ステップと
を実行する推定装置。
【請求項2】
前記混合正規分布および前記混合余事象分布はニューラルネットワークモデルによって表され、
前記ニューラルネットワークモデルは、
前記信号を表す特徴ベクトルが入力される入力層と、
前記全ての混合正規分布を構成する正規分布それぞれの係数を表す第１パラメータ群を有し、前記特徴ベクトルと前記第１パラメータ群とに基づいて第１中間ベクトルを計算する第１中間層と、
第２中間ベクトルを計算する第２中間層であって、前回の信号に基づいて前記第２中間層より後の層によって生成されたベクトルであるフィードバックベクトルと、前記第１中間ベクトルとに基づいて前記第２中間ベクトルを計算する第２中間層と、
前記第２中間ベクトルに基づいて、前記複数のクラスそれぞれについて、前記信号が前記クラスに属することの尤度を計算する第１出力層と、
前記全ての混合正規分布を構成する正規分布それぞれに係る前記二次関数の係数を表す第２パラメータ群を有し、前記第１中間ベクトルと前記第２パラメータ群とに基づいて第３中間ベクトルを計算する第３中間層と、
前記第３中間ベクトルに基づいて、前記信号が前記複数のクラスの何れにも属しないことの尤度を計算する第２出力層と、
を備え、
前記決定ステップにおいて、前記ニューラルネットワークモデルの前記第２中間層の計算を実行し、
前記推定ステップにおいて、前記第１出力層および前記第２出力層の計算を実行する
請求項１に記載の推定装置。
前記ニューラルネットワークモデルは、
前記信号を表す特徴ベクトルが入力される入力層と、
前記全ての混合正規分布を構成する正規分布それぞれの係数を表す第１パラメータ群を有し、前記特徴ベクトルと前記第１パラメータ群とに基づいて第１中間ベクトルを計算する第１中間層と、
第２中間ベクトルを計算する第２中間層であって、前回の信号に基づいて前記第２中間層より後の層によって生成されたベクトルであるフィードバックベクトルと、前記第１中間ベクトルとに基づいて前記第２中間ベクトルを計算する第２中間層と、
前記第２中間ベクトルに基づいて、前記複数のクラスそれぞれについて、前記信号が前記クラスに属することの尤度を計算する第１出力層と、
前記全ての混合正規分布を構成する正規分布それぞれに係る前記二次関数の係数を表す第２パラメータ群を有し、前記第１中間ベクトルと前記第２パラメータ群とに基づいて第３中間ベクトルを計算する第３中間層と、
前記第３中間ベクトルに基づいて、前記信号が前記複数のクラスの何れにも属しないことの尤度を計算する第２出力層と、
を備え、
前記決定ステップにおいて、前記ニューラルネットワークモデルの前記第２中間層の計算を実行し、
前記推定ステップにおいて、前記第１出力層および前記第２出力層の計算を実行する
請求項１に記載の推定装置。
【請求項3】
時間変化する信号について、前記信号が複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定方法であって、
計算機が、前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する決定ステップと、
前記計算機が、信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれの、前記正規分布と前記正規分布に係る係数に基づく二次関数との積によって表される余事象分布の和によって表される混合余事象分布と、前記クラスごとの混合正規分布とに基づいて、前記信号が前記複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定ステップと
を備える推定方法。
計算機が、前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する決定ステップと、
前記計算機が、信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれの、前記正規分布と前記正規分布に係る係数に基づく二次関数との積によって表される余事象分布の和によって表される混合余事象分布と、前記クラスごとの混合正規分布とに基づいて、前記信号が前記複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定ステップと
を備える推定方法。
【請求項4】
時間変化する信号について、前記信号が複数のクラスのいずれに属するか、またはいずれにも属しないかを計算機に推定させるためのプログラムであって、
前記計算機に、
前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する決定ステップと、
信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれの、前記正規分布と前記正規分布に係る係数に基づく二次関数との積によって表される余事象分布の和によって表される混合余事象分布と、前記クラスごとの混合正規分布とに基づいて、前記信号が前記複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定ステップと
を実行させるためのプログラム。
前記計算機に、
前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する決定ステップと、
信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれの、前記正規分布と前記正規分布に係る係数に基づく二次関数との積によって表される余事象分布の和によって表される混合余事象分布と、前記クラスごとの混合正規分布とに基づいて、前記信号が前記複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定ステップと
を実行させるためのプログラム。
【請求項5】
特徴ベクトルが入力される入力層と、
複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を構成するすべての正規分布それぞれの係数を表す第１パラメータ群を有し、前記特徴ベクトルと前記第１パラメータ群とに基づいて第１中間ベクトルを計算する第１中間層と、
第２中間ベクトルを計算する第２中間層であって、前回の信号に基づいて前記第２中間層より後の層によって生成されたベクトルであるフィードバックベクトルと、前記第１中間ベクトルとに基づいて前記第２中間ベクトルを計算する第２中間層と、
前記第２中間ベクトルに基づいて、複数のクラスそれぞれについて、前記信号が前記クラスに属することの尤度を計算する第１出力層と、
前記全ての混合正規分布を構成する正規分布それぞれに係る前記二次関数の係数を表す第２パラメータ群を有し、前記第１中間ベクトルと前記第２パラメータ群とに基づいて第３中間ベクトルを計算する第３中間層と、
前記第３中間ベクトルに基づいて、前記信号が前記複数のクラスの何れにも属しないことの尤度を計算する第２出力層と、
を備える学習済みのニューラルネットワークモデルであって、
計算機に、
前記特徴ベクトルを前記入力層に入力するステップと、
前回の特徴ベクトルに基づいて前記フィードバックベクトルを計算するステップと、
前記特徴ベクトルと前記第１パラメータ群とに基づいて前記第１中間ベクトルを計算するステップと、
前記フィードバックベクトルと、前記第１中間ベクトルとに基づいて前記第２中間ベクトルを計算するステップと、
前記第２中間ベクトルに基づいて、前記複数のクラスそれぞれの尤度を計算するステップと、
前記第１中間ベクトルと前記第２パラメータ群とに基づいて第３中間ベクトルを計算するステップと、
前記第３中間ベクトルに基づいて、前記信号が前記複数のクラスの何れにも属しないことの尤度を計算するステップと、
を実行させるニューラルネットワークモデル。
複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を構成するすべての正規分布それぞれの係数を表す第１パラメータ群を有し、前記特徴ベクトルと前記第１パラメータ群とに基づいて第１中間ベクトルを計算する第１中間層と、
第２中間ベクトルを計算する第２中間層であって、前回の信号に基づいて前記第２中間層より後の層によって生成されたベクトルであるフィードバックベクトルと、前記第１中間ベクトルとに基づいて前記第２中間ベクトルを計算する第２中間層と、
前記第２中間ベクトルに基づいて、複数のクラスそれぞれについて、前記信号が前記クラスに属することの尤度を計算する第１出力層と、
前記全ての混合正規分布を構成する正規分布それぞれに係る前記二次関数の係数を表す第２パラメータ群を有し、前記第１中間ベクトルと前記第２パラメータ群とに基づいて第３中間ベクトルを計算する第３中間層と、
前記第３中間ベクトルに基づいて、前記信号が前記複数のクラスの何れにも属しないことの尤度を計算する第２出力層と、
を備える学習済みのニューラルネットワークモデルであって、
計算機に、
前記特徴ベクトルを前記入力層に入力するステップと、
前回の特徴ベクトルに基づいて前記フィードバックベクトルを計算するステップと、
前記特徴ベクトルと前記第１パラメータ群とに基づいて前記第１中間ベクトルを計算するステップと、
前記フィードバックベクトルと、前記第１中間ベクトルとに基づいて前記第２中間ベクトルを計算するステップと、
前記第２中間ベクトルに基づいて、前記複数のクラスそれぞれの尤度を計算するステップと、
前記第１中間ベクトルと前記第２パラメータ群とに基づいて第３中間ベクトルを計算するステップと、
前記第３中間ベクトルに基づいて、前記信号が前記複数のクラスの何れにも属しないことの尤度を計算するステップと、
を実行させるニューラルネットワークモデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、推定装置、推定方法、プログラムおよびニューラルネットワークモデルに関する。
【背景技術】
【0002】
特許文献１には、入力信号が予め設定した複数のクラスの何れに属するかを分類する分類器において、想定しないクラスに属する確率を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１４４６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載の手法は、ある１点の信号についてクラスの分類を行う技術である。一方で、一般的に、時系列の信号についてクラスの分類を行う場合、過去の信号に応じてクラスの確率分布を決定する手法が用いられる。このような手法の一例として、隠れマルコフモデルが挙げられる。
本発明の目的は、時系列の情報を考慮して、想定しないクラスに属する事後確率の推定を可能とするための推定装置、推定方法、プログラムおよびニューラルネットワークモデルを提供することにある。
本発明の目的は、時系列の情報を考慮して、想定しないクラスに属する事後確率の推定を可能とするための推定装置、推定方法、プログラムおよびニューラルネットワークモデルを提供することにある。
【課題を解決するための手段】
【0005】
第１の態様によれば、推定装置は、時間変化する信号について、前記信号が複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定装置であって、前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する決定ステップと、信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれについての、前記正規分布と前記正規分布に係る係数に基づく二次関数との積によって表される余事象分布の和によって表される混合余事象分布と、前記クラスごとの混合正規分布とに基づいて、前記信号が前記複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定ステップとを実行する。
【0006】
第２の態様によれば、第１の態様に係る推定装置が、前記混合正規分布および前記混合余事象分布はニューラルネットワークモデルによって表され、前記ニューラルネットワークは、前記信号を表す特徴ベクトルが入力される入力層と、前記全ての混合正規分布を構成する正規分布それぞれの係数を表す第１パラメータ群を有し、前記特徴ベクトルと前記第１パラメータ群とに基づいて第１中間ベクトルを計算する第１中間層と、第２中間ベクトルを計算する第２中間層であって、前回の信号に基づいて前記第２中間層より後の層によって生成されたベクトルであるフィードバックベクトルと、前記第１中間ベクトルとに基づいて前記第２中間ベクトルを計算する第２中間層と、前記第２中間ベクトルに基づいて、前記複数のクラスそれぞれについて、前記信号が前記クラスに属することの尤度を計算する第１出力層と、前記全ての混合正規分布を構成する正規分布それぞれに係る前記二次関数の係数を表す第２パラメータ群を有し、前記第１中間ベクトルと前記第２パラメータ群とに基づいて第３中間ベクトルを計算する第３中間層と、前記第３中間ベクトルに基づいて、前記信号が前記複数のクラスの何れにも属しないことの尤度を計算する第２出力層と、を備え、前記決定ステップにおいて、前記ニューラルネットワークの前記第２中間層の計算を実行し、前記推定ステップにおいて、前記第１出力層および前記第２出力層の計算を実行するものであってよい。
【0007】
第３の態様によれば、推定方法は、時間変化する信号について、前記信号が複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定方法であって、計算機が、前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する決定ステップと、前記計算機が、信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれの、前記正規分布と前記正規分布に係る係数に基づく二次関数との積によって表される余事象分布の和によって表される混合余事象分布と、前記クラスごとの混合正規分布とに基づいて、前記信号が前記複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定ステップとを備える。
【0008】
第４の態様によれば、プログラムは、時間変化する信号について、前記信号が複数のクラスのいずれに属するか、またはいずれにも属しないかを計算機に推定させるためのプログラムであって、前記計算機に、前回の信号に基づいて、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を決定する決定ステップと、信号の変化に応じて取り得る全ての混合正規分布を構成する正規分布それぞれの、前記正規分布と前記正規分布に係る係数に基づく二次関数との積によって表される余事象分布の和によって表される混合余事象分布と、前記クラスごとの混合正規分布とに基づいて、前記信号が前記複数のクラスのいずれに属するか、またはいずれにも属しないかを推定する推定ステップとを実行させる。
【0009】
第５の態様によれば、ニューラルネットワークモデルは、特徴ベクトルが入力される入力層と、複数の正規分布の和によって確率密度を表すクラスごとの混合正規分布を構成するすべての正規分布それぞれの係数を表す第１パラメータ群を有し、前記特徴ベクトルと前記第１パラメータ群とに基づいて第１中間ベクトルを計算する第１中間層と、第２中間ベクトルを計算する第２中間層であって、前回の信号に基づいて前記第２中間層より後の層によって生成されたベクトルであるフィードバックベクトルと、前記第１中間ベクトルとに基づいて前記第２中間ベクトルを計算する第２中間層と、前記第２中間ベクトルに基づいて、前記複数のクラスそれぞれについて、前記信号が前記クラスに属することの尤度を計算する第１出力層と、前記全ての混合正規分布を構成する正規分布それぞれに係る前記二次関数の係数を表す第２パラメータ群を有し、前記第１中間ベクトルと前記第２パラメータ群とに基づいて第３中間ベクトルを計算する第３中間層と、前記第３中間ベクトルに基づいて、前記信号が前記複数のクラスの何れにも属しないことの尤度を計算する第２出力層と、を備える学習済みのニューラルネットワークモデルであって、計算機に、前記特徴ベクトルを前記入力層に入力するステップと、前回の特徴ベクトルに基づいて前記フィードバックベクトルを計算するステップと、前記特徴ベクトルと前記第１パラメータ群とに基づいて前記第１中間ベクトルを計算するステップと、前記フィードバックベクトルと、前記第１中間ベクトルとに基づいて前記第２中間ベクトルを計算するステップと、前記第２中間ベクトルに基づいて、前記複数のクラスそれぞれの尤度を計算するステップと、前記第１中間ベクトルと前記第２パラメータ群とに基づいて第３中間ベクトルを計算するステップと、前記第３中間ベクトルに基づいて、前記信号が前記複数のクラスの何れにも属しないことの尤度を計算するステップと、を実行させる。
【発明の効果】
【0010】
上記態様によれば、入力信号が予め設定した複数のクラスの何れに属するかを分類する分類器において、想定しないクラスに属する確率を推定することができる。
【図面の簡単な説明】
【0011】
【図1】第１の実施形態に係るクラス識別システムの構成を示す概略ブロック図である。
【図2】隠れマルコフモデルを表す模式図である。
【図3】第１の実施形態に係る余事象分布関数の例を示すグラフである。
【図4】第１の実施形態に係る数理モデルの構造を示す図である。
【図5】第１の実施形態に係る学習装置の構成を示す概略ブロック図である。
【図6】第１の実施形態に係る学習装置の動作を示すフローチャートである。
【図7】第１の実施形態に係る識別装置の構成を示す概略ブロック図である。
【図8】第１の実施形態に係る識別装置の動作を示すフローチャートである。
【図9】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0012】
〈第１の実施形態〉
《クラス識別システム１》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係るクラス識別システム１の構成を示す概略ブロック図である。クラス識別システム１は、複数のクラスの中から入力信号が属するクラスを識別するためのシステムである。クラス識別システム１は、学習段階において設定された複数の既知クラスと、当該複数の既知クラスのいずれにも属しないことを示す余事象クラスについて、入力信号の尤度を計算する。
《クラス識別システム１》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係るクラス識別システム１の構成を示す概略ブロック図である。クラス識別システム１は、複数のクラスの中から入力信号が属するクラスを識別するためのシステムである。クラス識別システム１は、学習段階において設定された複数の既知クラスと、当該複数の既知クラスのいずれにも属しないことを示す余事象クラスについて、入力信号の尤度を計算する。
【0013】
クラス識別システム１は、識別装置１０と学習装置２０とを備える。識別装置１０は、学習装置２０によって訓練された学習済みモデルを用いて、入力信号が属するクラスを識別する。学習装置２０は、学習用データセットを用いて数理モデルを訓練する。識別装置１０および学習装置２０は、計算機の一例である。学習済みモデルとは、数理モデルと、訓練によって決定されたパラメータの組み合わせである。
【0014】
《数理モデルについて》
第１の実施形態に係る数理モデルについて説明する。
第１の実施形態に係るクラス識別システム１は、第１の実施形態に係るクラス識別システム１は、隠れマルコフモデル（Hidden Markov Model）によって状態を推定し、状態に応じた混合正規分布モデル（Gaussian Mixture Model：ＧＭＭ）によって既知クラスの分布を表す。また、クラス識別システム１は、以下に示す混合余事象分布モデル（Complementary Gaussian Mixture Model：ＣＧＭＭ）によって余事象クラスの分布を表す。
第１の実施形態に係る数理モデルについて説明する。
第１の実施形態に係るクラス識別システム１は、第１の実施形態に係るクラス識別システム１は、隠れマルコフモデル（Hidden Markov Model）によって状態を推定し、状態に応じた混合正規分布モデル（Gaussian Mixture Model：ＧＭＭ）によって既知クラスの分布を表す。また、クラス識別システム１は、以下に示す混合余事象分布モデル（Complementary Gaussian Mixture Model：ＣＧＭＭ）によって余事象クラスの分布を表す。
【0015】
《既知クラスのＨＭＭ－ＧＭＭ》
図２は、隠れマルコフモデルを表す模式図である。第１の実施形態のクラス識別システム１は、信号源の状態ｋに応じて入力信号が既知クラスｃに属する確率分布が変化する隠れマルコフモデルに従って、既知クラスの確率分布が決定されるものとの仮説に基づく。また隠れマルコフモデルにおいて、信号源の状態ｋは、前回の状態ｋ´によって決定される。
既知クラスの数がＣ個、状態の数がＫｃ個である場合、信号ｘ（ｔ）が与えられたときの既知クラスｃの事後確率ｐ（ｃ｜ｘ（ｔ））は、以下の式（１）によって表される。
図２は、隠れマルコフモデルを表す模式図である。第１の実施形態のクラス識別システム１は、信号源の状態ｋに応じて入力信号が既知クラスｃに属する確率分布が変化する隠れマルコフモデルに従って、既知クラスの確率分布が決定されるものとの仮説に基づく。また隠れマルコフモデルにおいて、信号源の状態ｋは、前回の状態ｋ´によって決定される。
既知クラスの数がＣ個、状態の数がＫｃ個である場合、信号ｘ（ｔ）が与えられたときの既知クラスｃの事後確率ｐ（ｃ｜ｘ（ｔ））は、以下の式（１）によって表される。
【0016】
【数1】
【数2】
【数3】
【0017】
ここで、ξｃ
ｔ（ｋ）は、時刻ｔのときの既知クラスｃの出現確率の状態ｋに係る成分を表す関数である。πｃ
ｋは、初期状態（ｔ＝０における状態）が状態ｋである確率（初期状態確率）を示す。Ａｃ
ｋ´，ｋは、前回の状態ｋ´から状態ｋに遷移する確率（遷移確率）を示す。ｂｃ
ｋは、既知クラスｃの状態ｋにおける出現確率である。
つまり、既知クラスｃの事後確率ｐ（ｃ｜ｘ（ｔ））は、時刻ｔの状態が状態ｋである確率によって重みづけされた、各状態における既知クラスｃの出現確率の和によって表される。そして、時刻ｔの状態が状態ｋである確率は、前回の状態がｋ´である確率によって決定される。
つまり、既知クラスｃの事後確率ｐ（ｃ｜ｘ（ｔ））は、時刻ｔの状態が状態ｋである確率によって重みづけされた、各状態における既知クラスｃの出現確率の和によって表される。そして、時刻ｔの状態が状態ｋである確率は、前回の状態がｋ´である確率によって決定される。
【0018】
既知クラスｃの状態ｋにおける出現確率ｂｃ
ｋは、ＧＭＭにより、以下の式（４）によって表される。
【0019】
【数4】
【数5】
【数6】
【数7】
【0020】
ここで、Ｍｃ，ｋは、ＧＭＭにおいて既知クラスｃを表す状態ｋのときの正規分布コンポーネントの数を示す。また、αｃ，ｋ，ｍは、既知クラスｃの状態ｋのときのｍ番目の正規分布コンポーネントの混合度を示す。
ｇ（ｘ（ｔ）：μ（ｃ，ｋ，ｍ），Σ（ｃ，ｋ，ｍ））は、式（２）で表される正規分布コンポーネントを示す。μ（ｃ，ｋ，ｍ）は、既知クラスｃの状態ｋのときのｍ番目の正規分布コンポーネントの平均値ベクトルを示し、Σ（ｃ，ｋ，ｍ）は、既知クラスｃの状態ｋのときのｍ番目の正規分布コンポーネントの共分散行列を示す。
また、式（２）のｑ（ｘ（ｔ））は、既知クラスｃの状態ｋのときのｍ番目の正規分布コンポーネントにおける信号ｘ（ｔ）の偏差を変数とする二次関数を示す。
ｇ（ｘ（ｔ）：μ（ｃ，ｋ，ｍ），Σ（ｃ，ｋ，ｍ））は、式（２）で表される正規分布コンポーネントを示す。μ（ｃ，ｋ，ｍ）は、既知クラスｃの状態ｋのときのｍ番目の正規分布コンポーネントの平均値ベクトルを示し、Σ（ｃ，ｋ，ｍ）は、既知クラスｃの状態ｋのときのｍ番目の正規分布コンポーネントの共分散行列を示す。
また、式（２）のｑ（ｘ（ｔ））は、既知クラスｃの状態ｋのときのｍ番目の正規分布コンポーネントにおける信号ｘ（ｔ）の偏差を変数とする二次関数を示す。
【0021】
《余事象クラスのＣＧＭＭ》
発明者らは、既知クラスの数がＫ個である場合における余事象クラスを、以下の式（８）として定義した。すなわち、第１の実施形態において、信号ｘ（ｔ）がいずれの既知クラスｃにも属しない確率ｂ０ ｋ（ｘ（ｔ））は、以下の式（８）によって表される。以下、余事象クラスをｃ＝０のクラスとして表す。
発明者らは、既知クラスの数がＫ個である場合における余事象クラスを、以下の式（８）として定義した。すなわち、第１の実施形態において、信号ｘ（ｔ）がいずれの既知クラスｃにも属しない確率ｂ０ ｋ（ｘ（ｔ））は、以下の式（８）によって表される。以下、余事象クラスをｃ＝０のクラスとして表す。
【0022】
【数8】
【数9】
【0023】
関数ｈ（ｘ（ｔ）：μ（ｃ，ｋ，ｍ），Σ（ｃ，ｋ，ｍ））は、式（９）で表される余事象分布を示す。すなわち、余事象分布関数ｈ（ｘ（ｔ）：μ（ｃ，ｋ，ｍ），Σ（ｃ，ｋ，ｍ））は、信号ｘ（ｔ）が既知クラスｃの状態ｋにおけるｍ番目の正規分布コンポーネントに従わない確率を示す。なお、Ｄは、信号ｘ（ｔ）の次元数である。ここで、式（５）で表されるように、正規分布関数が関数ｇ（ｘ（ｔ））で表され、二次関数が関数ｑ（ｘ（ｔ））で表されることから、余事象分布関数ｈ（ｘ（ｔ））は、分散Σを持つ正規分布関数と、当該正規分布関数と軸を同じくする二次関数との積によって表される。
図３は、第１の実施形態に係る余事象分布関数の例を示すグラフである。図３の横軸は信号ｘ（ｔ）の値であり、縦軸は生起確率を示す。図２に示すように、正規分布関数ｇ（ｘ（ｔ））に二次関数ｑ（ｘ（ｔ））を乗算することで、既知クラスｃの状態ｋにおけるｍ番目の正規分布コンポーネントの周りに信号が分布するドーナツ状の分布を表すことができる。以下、軸を同じくする正規分布関数と二次関数ｑ（ｘ（ｔ））の積によって表されるドーナツ状の分布を余事象分布コンポーネントと呼ぶ。
βｋ，ｍは既知クラスｃのｍ番目の正規分布コンポーネントに対応する余事象分布の混合度を示す。
図３は、第１の実施形態に係る余事象分布関数の例を示すグラフである。図３の横軸は信号ｘ（ｔ）の値であり、縦軸は生起確率を示す。図２に示すように、正規分布関数ｇ（ｘ（ｔ））に二次関数ｑ（ｘ（ｔ））を乗算することで、既知クラスｃの状態ｋにおけるｍ番目の正規分布コンポーネントの周りに信号が分布するドーナツ状の分布を表すことができる。以下、軸を同じくする正規分布関数と二次関数ｑ（ｘ（ｔ））の積によって表されるドーナツ状の分布を余事象分布コンポーネントと呼ぶ。
βｋ，ｍは既知クラスｃのｍ番目の正規分布コンポーネントに対応する余事象分布の混合度を示す。
【0024】
《既知クラスおよび余事象クラスのモデル》
これらを総合し、信号ｘ（ｔ）のＫ個の既知クラスおよび１個の余事象クラスにおける生起確率ｐＦ（ｘ（ｔ））は、以下の式（１０）によって表される。このとき、既知クラスおよび余事象クラスの事後確率ｐ´（ｃ｜ｘ（ｔ））は、以下の式（１１）で表される。
これらを総合し、信号ｘ（ｔ）のＫ個の既知クラスおよび１個の余事象クラスにおける生起確率ｐＦ（ｘ（ｔ））は、以下の式（１０）によって表される。このとき、既知クラスおよび余事象クラスの事後確率ｐ´（ｃ｜ｘ（ｔ））は、以下の式（１１）で表される。
【0025】
【数10】
【数11】
【0026】
なお、ｐ（ｃ＝０）は、余事象クラスの事前確率である。したがって、確率（１－ｐ（ｃ＝０））、すなわち余事象クラスの事前確率の補確率は、既知クラスの何れかに属することの事前確率を表す。
これにより、以下の式（１２）に示すパラメータθを求めることで、既知クラスに属さないことを示す余事象クラスを含めたクラス識別を行うことができる。パラメータθは、余事象クラスの事前確率ｐ（ｃ＝０）、初期状態確率πｃ ｋ、遷移確率Ａｃ ｋ´，ｋ、混合度α、混合度β、平均値μ、共分散行列Σ、および重み係数εを含む。
これにより、以下の式（１２）に示すパラメータθを求めることで、既知クラスに属さないことを示す余事象クラスを含めたクラス識別を行うことができる。パラメータθは、余事象クラスの事前確率ｐ（ｃ＝０）、初期状態確率πｃ ｋ、遷移確率Ａｃ ｋ´，ｋ、混合度α、混合度β、平均値μ、共分散行列Σ、および重み係数εを含む。
【0027】
【数12】
【0028】
《対数線形化》
ここで、上記のパラメータθの制約を緩和するため、上記のＧＭＭおよびＣＧＭＭを対数線形化する。ここで、式（６）に示すｑ（ｘ（ｔ））はＧＭＭおよびＣＧＭＭにおいて共通して出現しており、ｑ（ｘ（ｔ））には平均値μが含まれている。したがって、ＧＭＭおよびＣＧＭＭに含まれるｑ（ｘ（ｔ））の値を一致させることで、ＧＭＭおよびＣＧＭＭの軸を一致させることができる。
ｑ（ｘ（ｔ））を展開すると、以下の式（１３）のように表される。
ここで、上記のパラメータθの制約を緩和するため、上記のＧＭＭおよびＣＧＭＭを対数線形化する。ここで、式（６）に示すｑ（ｘ（ｔ））はＧＭＭおよびＣＧＭＭにおいて共通して出現しており、ｑ（ｘ（ｔ））には平均値μが含まれている。したがって、ＧＭＭおよびＣＧＭＭに含まれるｑ（ｘ（ｔ））の値を一致させることで、ＧＭＭおよびＣＧＭＭの軸を一致させることができる。
ｑ（ｘ（ｔ））を展開すると、以下の式（１３）のように表される。
【0029】
【数13】
【数14】
【数15】
【0030】
信号Ｘ（ｔ）は、１、ベクトルｘ（ｔ）の各要素、およびｘ（ｔ）ｘ（ｔ）Ｔの上三角成分の各要素からなるベクトルである。ｘ（ｔ）ｘ（ｔ）Ｔは対象行列であるため、信号Ｘ（ｔ）がｘ（ｔ）ｘ（ｔ）Ｔの上三角成分の要素を持つことで、ｘ（ｔ）ｘ（ｔ）Ｔを表すことができる。ここで、δｉ，ｊは、クロネッカーのδ（ｉ＝ｊのときδｉ，ｊ＝１、ｉ≠ｊのときδｉ，ｊ＝０）を示す。信号Ｘ（ｔ）およびベクトルｗ（ｃ，ｋ，ｍ）の次元数は（１＋Ｄ（Ｄ＋３）／２）である。コンポーネントを式（１３）のように、信号Ｘ（ｔ）と係数ベクトルｗ（ｃ，ｋ，ｍ）の積として表すことで、パラメータの制約を低減することができる。具体的には、係数ベクトルｗ（ｃ，ｋ，ｍ）の制約は、ｘ（ｔ）ｘ（ｔ）Ｔの対角成分に対応する要素の値が０未満であることだけである。ｘ（ｔ）ｘ（ｔ）Ｔの対角成分に対応する要素は、係数ベクトルｗ（ｃ，ｋ，ｍ）のうち（ｄ／２（２Ｄ＋３－ｄ）｜ｄ＝１、…、Ｄ）で表される要素である。
【0031】
ここで、式（４）によれば、既知クラスのＧＭＭを構成する複数の正規分布コンポーネントの対数は、以下の式（１６）のように表される。ｗＮ
（ｃ，ｋ，ｋ´，ｍ）は、対数化した正規分布コンポーネントの定数項である。
【0032】
【数16】
【0033】
また、式（８）によれば、ＣＧＭＭを構成する複数の余事象分布コンポーネント（正規分布関数と二次関数の和）の対数は、以下の式（１７）のように表される。ｗε
（ｃ，ｋ，ｍ）は、対数化した余事象分布コンポーネントの一次関数項の係数である。ｗＣ
（ｃ，ｋ，ｍ）は、対数化した余事象分布コンポーネントの定数項である。
【0034】
【数17】
【0035】
このように、式（１７）によれば、平均値μをＣＧＭＭ関数の係数および定数項に含ませなくすることができる。したがって、式（１７）に示す関数を実現するニューラルネットワークモデルを作成することで、必ず余事象分布コンポーネントにおける正規分布関数と二次関数の軸を一致させることができる。
【0036】
つまり式（１６）、（１７）によれば、式（１８）に示すパラメータθ´を求めることで、既知クラスに属さないことを示す余事象クラスを含めたクラス識別を行うことができる。パラメータθ´は、余事象クラスの事前確率ｐ（ｃ＝０）、重み係数ｗ（ｃ、ｋ、ｍ）、重み係数ｗε
（ｃ、ｋ、ｍ）、定数ｗＮ
（ｃ、ｋ、ｋ´，ｍ）、定数ｗＣ
（ｃ、ｋ，ｍ）を含む。
【0037】
【数18】
【0038】
《数理モデルのネットワーク構造》
以下、式（１６）、（１７）に示される事後確率を表す数理モデルの構成について説明する。図４は、第１の実施形態に係る数理モデルの構造を示す図である。図４に示すように、数理モデル９０は、７層のネットワークである。つまり、数理モデル９０は、第１層９１、第２層９２、第３層９３、第４層９４、第５層９５、第６層９６、第７層９７を備える。数理モデル９０は、第４層９４と第５層９５との間にフィードバックループを有する。
以下、式（１６）、（１７）に示される事後確率を表す数理モデルの構成について説明する。図４は、第１の実施形態に係る数理モデルの構造を示す図である。図４に示すように、数理モデル９０は、７層のネットワークである。つまり、数理モデル９０は、第１層９１、第２層９２、第３層９３、第４層９４、第５層９５、第６層９６、第７層９７を備える。数理モデル９０は、第４層９４と第５層９５との間にフィードバックループを有する。
【0039】
数理モデル９０の第１層９１は、式（１４）による非線形変換により得られたベクトルＸ（ｔ）の入力を受け付ける。ベクトルＸ（ｔ）は、特徴ベクトルの一例である。つまり、第１層９１のノード数は、信号Ｘ（ｔ）の次元数（１＋Ｄ（Ｄ＋３）／２）と等しい。第１層９１の各ノードは、入力された値をそのまま出力する。すなわち、時刻ｔにおける第１層９１のｈ番目のノードの線形変換関数（１）Ｉｈ（ｔ）は、以下の式（１９）に示すとおりであり、時刻ｔにおける第１層９１のｈ番目のノードの活性化関数（１）Ｏｈ（ｔ）は、以下の式（２０）に示すとおりである。
【0040】
【数19】
【数20】
【0041】
数理モデル９０の第２層９２は、Ｃ×Ｋ×Ｍ個のノードを有する。第１の実施形態に係る数理モデル９０では、各クラスについてのＨＭＭに係る状態数が等しい。つまりＫ１＝Ｋ２＝……ＫＣ＝Ｋである。また、第１の実施形態に係る数理モデル９０では、各クラスについてのＧＭＭに係る正規分布の数が等しい。つまりＭ１，１＝Ｍ１，２＝……Ｍｃ，ｋ＝Ｍである。
第２層９２の各ノードは、対数化した正規分布コンポーネントの正規分布の項の指数部、対数化した余事象分布コンポーネントの正規分布項の指数部、対数化した余事象分布コンポーネントの二次関数の項とで共通する二次関数を表す。第２層９２のうち（ｃ，ｋ，ｍ）番目のノードは、第１層９１の出力ベクトル（１）Ｏすなわち信号Ｘの各要素を入力値として受け付ける。（ｃ，ｋ，ｍ）番目のノードは、全結合により入力された第１層９１の出力ベクトル（１）Ｏの各要素と重み係数ｗ（ｃ、ｋ、ｍ）の積の総和を計算し、その計算結果の値を出力する。すなわち、時刻ｔにおける第２層９２の（ｃ，ｋ，ｍ）番目のノードの線形変換関数（２）Ｉｃ，ｋ，ｍ（ｔ）は、以下の式（２１）に示すとおりであり、時刻ｔにおける第２層９２の（ｃ，ｋ，ｍ）番目のノードの活性化関数（２）Ｏｃ、ｋ，ｍ（ｔ）は、以下の式（２２）に示すとおりである。以下、（ｃ，ｋ，ｍ）番目とは、（（ｃ－１）×Ｋ×Ｍ＋（ｋ－１）×Ｍ＋ｍ）番目のことをいう。
第２層９２の各ノードは、対数化した正規分布コンポーネントの正規分布の項の指数部、対数化した余事象分布コンポーネントの正規分布項の指数部、対数化した余事象分布コンポーネントの二次関数の項とで共通する二次関数を表す。第２層９２のうち（ｃ，ｋ，ｍ）番目のノードは、第１層９１の出力ベクトル（１）Ｏすなわち信号Ｘの各要素を入力値として受け付ける。（ｃ，ｋ，ｍ）番目のノードは、全結合により入力された第１層９１の出力ベクトル（１）Ｏの各要素と重み係数ｗ（ｃ、ｋ、ｍ）の積の総和を計算し、その計算結果の値を出力する。すなわち、時刻ｔにおける第２層９２の（ｃ，ｋ，ｍ）番目のノードの線形変換関数（２）Ｉｃ，ｋ，ｍ（ｔ）は、以下の式（２１）に示すとおりであり、時刻ｔにおける第２層９２の（ｃ，ｋ，ｍ）番目のノードの活性化関数（２）Ｏｃ、ｋ，ｍ（ｔ）は、以下の式（２２）に示すとおりである。以下、（ｃ，ｋ，ｍ）番目とは、（（ｃ－１）×Ｋ×Ｍ＋（ｋ－１）×Ｍ＋ｍ）番目のことをいう。
【0042】
【数21】
【数22】
【0043】
数理モデル９０の第３層９３は、（２＋Ｋ）×Ｃ×Ｋ×Ｍ個のノードを有する。第３層９３は、Ｃ×Ｋ２×Ｍ個のノードを有する第１正規分布計算部９３Ａと、Ｃ×Ｋ×Ｍ個のノードを有する第２正規分布計算部９３Ｂと、Ｃ×Ｋ×Ｍ個のノードを有する二次関数計算部９３Ｃとからなる。
【0044】
第１正規分布計算部９３Ａの各ノードは、対数化した正規分布コンポーネントを表す。第１正規分布計算部９３Ａのうちｃ番目のクラスにおける、前回の状態がｋ´かつ現在の状態がｋであるときのｍ番目の正規分布コンポーネントを表すノード（（ｃ，ｋ，ｋ´，ｍ）番目のノード）は、第２層９２のうち対応する出力ベクトル（２）Ｏｃ，ｋ，ｍ（ｔ）の要素を入力値として受け付ける。第１正規分布計算部９３Ａの（ｃ，ｋ，ｋ´，ｍ）番目のノードは、出力ベクトル（２）Ｏｃ，ｋ，ｍ（ｔ）の要素と定数項ｗＮ
（ｃ，ｋ，ｋ´，ｍ）の和を計算し、その計算結果の値を出力する。すなわち、第１正規分布計算部９３Ａの（ｃ，ｋ，ｋ´，ｍ）番目のノードの線形変換関数（３Ａ）Ｉｃ，ｋ，ｋ´，ｍ（ｔ）は、以下の式（２３）に示すとおりであり、第１正規分布計算部９３Ａの（ｃ，ｋ，ｋ´，ｍ）番目のノードの活性化関数（３Ａ）Ｏｃ，ｋ，ｋ´，ｍ（ｔ）は、以下の式（２４）に示すとおりである。
【0045】
【数23】
【数24】
【0046】
第２正規分布計算部９３Ｂの各ノードは、対数化した余事象分布コンポーネントの正規分布項を表す。第２正規分布計算部９３Ｂのうちｃ番目のクラスの状態ｋにおけるｍ番目の余事象分布コンポーネントの正規分布項を表すノード（（ｃ，ｋ，ｍ）番目のノード）は、第２層９２のうち対応する出力ベクトル（２）Ｏｃ，ｋ，ｍ（ｔ）の要素を入力値として受け付ける。第２正規分布計算部９３Ｂの（ｃ，ｋ，ｍ）番目のノードは、出力ベクトル（２）Ｏｃ，ｋ，ｍ（ｔ）の要素と係数ｗε
（ｃ，ｋ，ｍ）の積と定数項ｗＣ
（ｃ，ｋ、ｍ）の和を計算し、その計算結果の値を出力する。すなわち、第２正規分布計算部９３Ｂの（ｃ，ｋ，ｍ）番目のノードの線形変換関数（３Ｂ）Ｉｃ，ｋ，ｍ（ｔ）は、以下の式（２５）に示すとおりであり、第２正規分布計算部９３Ｂの（ｃ，ｋ，ｍ）番目のノードの活性化関数（３Ｂ）Ｏｃ，ｋ，ｍ（ｔ）は、以下の式（２６）に示すとおりである。
【0047】
【数25】
【数26】
【0048】
二次関数計算部９３Ｃの各ノードは、対数化した余事象分布コンポーネントの二次関数項を表す。二次関数計算部９３Ｃのうちｃ番目のクラスの状態ｋにおけるｍ番目の余事象分布コンポーネントの二次関数項を表すノード（（ｃ，ｋ，ｍ）番目のノード）は、第２層９２のうち対応する出力ベクトル（２）Ｏｃ，ｋ，ｍ（ｔ）の要素を入力値として受け付ける。二次関数計算部９３Ｃの（ｃ，ｋ，ｍ）番目のノードは、出力ベクトル（２）Ｏｃ，ｋ，ｍ（ｔ）の要素に－１を乗算し、その計算結果の対数を出力する。すなわち、二次関数計算部９３Ｃの（ｃ，ｋ，ｍ）番目のノードの線形変換関数（３Ｃ）Ｉｃ，ｋ，ｍ（ｔ）は、以下の式（２７）に示すとおりであり、二次関数計算部９３Ｃの（ｃ，ｋ，ｍ）番目のノードの活性化関数（３Ｂ）Ｏｃ，ｋ，ｍ（ｔ）は、以下の式（２８）に示すとおりである。
【0049】
【数27】
【数28】
【0050】
数理モデル９０の第４層９４は、Ｃ×Ｋ×（Ｋ＋Ｍ）個のノードを有する。第４層９４は、Ｃ×Ｋ２個のノードを有するＧＭＭ計算部９４Ａと、Ｃ×Ｋ×Ｍ個のノードを有する余事象分布コンポーネント計算部９４Ｂとからなる。
【0051】
ＧＭＭ計算部９４Ａの（ｃ，ｋ，ｋ´）番目のノードは、前回の状態がｋ´であり今回の状態がｋであるときのクラスｃの確率分布を示すＧＭＭを表す。ＧＭＭ計算部９４Ａのうち（ｃ，ｋ，ｋ´）番目のノードは、第１正規分布計算部９３Ａの（ｃ，ｋ，ｋ´，１）番目から（ｃ，ｋ，ｋ´，Ｍ）番目のノードの出力値と、第５層９５の状態確率計算部９５Ａの（ｃ，ｋ）番目のノードの前回（時刻ｔ－１）の計算結果との入力を受け付け、その積を出力する。すなわち、ＧＭＭ計算部９４Ａの（ｃ，ｋ，ｋ´）番目のノードの線形変換関数（４Ａ）Ｉｃ，ｋ，ｋ´（ｔ）は、以下の式（２９）に示すとおりであり、ＧＭＭ計算部９４Ａの（ｃ，ｋ，ｋ´）番目のノードの活性化関数（４Ａ）Ｏｃ，ｋ，ｋ´（ｔ）は、以下の式（３０）に示すとおりである。つまり、ＧＭＭ計算部９４Ａは、前回の信号ｘ（ｔ－１）に基づいて、クラスごとのＧＭＭを決定する。
【0052】
【数29】
【数30】
【0053】
余事象分布コンポーネント計算部９４Ｂの各ノードは、余事象分布コンポーネントを表す。余事象分布コンポーネント計算部９４Ｂのうち（ｃ，ｋ，ｍ）番目のノードは、第２正規分布計算部９３Ｂの（ｃ，ｋ，ｍ）番目のノードの出力値と二次関数計算部９３Ｃの（ｃ，ｋ，ｍ）番目のノードの出力値を受け付け、当該入力値をネイピア数ｅの指数とする値を出力する。すなわち、余事象分布コンポーネント計算部９４Ｂの（ｃ，ｋ，ｍ）番目のノードの線形変換関数（４Ｂ）Ｉｃ，ｋ，ｍ（ｔ）は、以下の式（３１）に示すとおりであり、余事象分布コンポーネント計算部９４Ｂの（ｃ，ｋ，ｍ）番目のノードの活性化関数（４Ｂ）Ｏｃ，ｋ，ｍ（ｔ）は、以下の式（３２）に示すとおりである。
【0054】
【数31】
【数32】
【0055】
数理モデル９０の第５層９５は、２×Ｃ×Ｋ個のノードを有する。第５層９５は、Ｃ×Ｋ個のノードを有する状態確率計算部９５Ａと、Ｃ×Ｋ個のノードを有するＣＧＭＭ計算部９５Ｂとからなる。
【0056】
状態確率計算部９５Ａの（ｃ，ｋ）番目のノードは、ＧＭＭ計算部９４Ａの（ｃ，ｋ，１）番目から（ｃ，ｋ，Ｋ）番目までのノードの出力値を受け付け、当該入力値の総和を出力する。すなわち、状態確率計算部９５Ａの（ｃ，ｋ）番目のノードの線形変換関数（５Ａ）Ｉｃ，ｋ（ｔ）は、以下の式（３３）に示すとおりであり、状態確率計算部９５Ａの（ｃ，ｋ）番目のノードの活性化関数（５Ａ）Ｏｃ，ｋ（ｔ）は、以下の式（３４）に示すとおりである。
【0057】
【数33】
【数34】
【0058】
ＣＧＭＭ計算部９５Ｂの（ｃ，ｋ）番目のノードは、余事象分布コンポーネント計算部９４Ｂの（ｃ，ｋ，１）番目から（ｃ，ｋ，Ｍ）番目までのノードの出力値を受け付け、当該入力値の総和を出力する。すなわち、ＣＧＭＭ計算部９５Ｂの（ｃ，ｋ）番目のノードの線形変換関数（５Ｂ）Ｉｃ，ｋ（ｔ）は、以下の式（３５）に示すとおりであり、ＣＧＭＭ計算部９５Ｂのノードの活性化関数（５Ｂ）Ｏｃ，ｋ（ｔ）は、以下の式（３６）に示すとおりである。
【0059】
【数35】
【数36】
【0060】
数理モデル９０の第６層９６は、２×Ｃ×Ｋ個のノードを有する。第６層９６は、Ｃ×Ｋ個のノードを有する第１事後確率算出部９６Ａと、Ｃ×Ｋ個のノードを有する第２事後確率算出部９６Ｂとからなる。
【0061】
第１事後確率算出部９６Ａの（ｃ，ｋ）番目のノードは、状態確率計算部９５Ａの（ｃ，ｋ）番目のノードの出力値を受け付け、信号ｘ（ｔ）が状態ｋにおいてクラスｃに属する事後確率を算出する。第１事後確率算出部９６Ａの（ｃ，ｋ）番目のノードの線形変換関数（６Ａ）Ｉｃ，ｋ（ｔ）は、以下の式（３７）に示すとおりであり、状態確率計算部９５Ａの（ｃ，ｋ）番目のノードの活性化関数（６Ａ）Ｏｃ，ｋ（ｔ）は、以下の式（３８）に示すとおりである。
【0062】
【数37】
【数38】
【0063】
第２事後確率算出部９６Ｂの（ｃ，ｋ）番目のノードは、ＣＧＭＭ計算部９５Ｂの（ｃ，ｋ）番目のノードの出力値を受け付け、信号ｘ（ｔ）が状態ｋにおいてクラスｃに属しない事後確率を算出する。第１事後確率算出部９６Ａの（ｃ，ｋ）番目のノードの線形変換関数（６Ｂ）Ｉｃ，ｋ（ｔ）は、以下の式（３９）に示すとおりであり、状態確率計算部９５Ａの（ｃ，ｋ）番目のノードの活性化関数（６Ｂ）Ｏｃ，ｋ（ｔ）は、以下の式（４０）に示すとおりである。
【0064】
【数39】
【数40】
【0065】
数理モデル９０の第７層９７は、Ｃ＋１個のノードを有する。第７層９７は、Ｃ個のノードを有する既知クラス尤度計算部９７Ａと、１個のノードを有する余事象尤度計算部９７Ｂとからなる。
【0066】
既知クラス尤度計算部９７Ａのｃ番目のノードは、第１事後確率算出部９６Ａの第（ｃ，１）番目から第（ｃ，Ｋ）番目までのノードの出力値を受け付け、当該入力値の総和を出力する。すなわち、既知クラス尤度計算部９７Ａのｃ番目のノードの線形変換関数（７Ａ）Ｉｃ（ｔ）は、以下の式（４１）に示すとおりであり、既知クラス尤度計算部９７Ａのｃ番目のノードの活性化関数（７Ａ）Ｏｃ（ｔ）は、以下の式（４２）に示すとおりである。
【0067】
【数41】
【数42】
【0068】
余事象尤度計算部９７Ｂのノードは、第２事後確率算出部９６Ｂの各ノードの出力値を受け付け、当該入力値の総和を出力する。すなわち、余事象尤度計算部９７Ｂのノードの線形変換関数（７Ｂ）Ｉ（ｔ）は、以下の式（４３）に示すとおりであり、既知クラス尤度計算部９７Ａのノードの活性化関数（７Ｂ）Ｏ（ｔ）は、以下の式（４４）に示すとおりである。つまり、余事象尤度計算部９７Ｂは、信号ｘ（ｔ）の変化に応じて取り得る全てのＧＭＭを構成する正規分布それぞれに対応するＣＧＭＭコンポーネントからなるＣＧＭＭに基づいて、信号ｘ（ｔ）が複数のクラスのいずれにも属しない確率を算出する。
【0069】
【数43】
【数44】
【0070】
このように、上述した数理モデル９０により、Ｃ個の既知クラスおよび１個の余事象クラスのそれぞれについての信号ｘ（ｔ）の尤度の計算を表すことができる。
【0071】
《学習装置２０の構成》
ここで、図１に示すクラス識別システム１が備える学習装置２０の構成について説明する。学習装置２０は、数理モデル９０を訓練し、各ノードのパラメータの値を決定する。
図５は、第１の実施形態に係る学習装置２０の構成を示す概略ブロック図である。学習装置２０は、モデル記憶部２１、データセット受付部２２、分割部２３、変換部２４、第１学習部２５、評価部２６、第２学習部２７、出力部２８を備える。
ここで、図１に示すクラス識別システム１が備える学習装置２０の構成について説明する。学習装置２０は、数理モデル９０を訓練し、各ノードのパラメータの値を決定する。
図５は、第１の実施形態に係る学習装置２０の構成を示す概略ブロック図である。学習装置２０は、モデル記憶部２１、データセット受付部２２、分割部２３、変換部２４、第１学習部２５、評価部２６、第２学習部２７、出力部２８を備える。
【0072】
モデル記憶部２１は、数理モデル９０および当該モデルのパラメータθ´の値を記憶する。数理モデル９０のパラメータθ´は、式（１８）に示すように、余事象クラスの事前確率ｐ（ｃ＝０）、重み係数ｗ（ｃ，ｋ、ｍ）、重み係数ｗε
（ｃ，ｋ、ｋ´，ｍ）、定数ｗＮ
（ｃ，ｋ，ｍ）、定数ｗＣ
（ｃ，ｋ，ｍ）を含む。
データセット受付部２２は、数理モデル９０の訓練に用いる複数のデータセットの入力を受け付ける。データセットは、時系列信号ｘを入力サンプルとし、当該時系列信号ｘが属するクラスのラベルの時系列を出力サンプルとする。
データセット受付部２２は、数理モデル９０の訓練に用いる複数のデータセットの入力を受け付ける。データセットは、時系列信号ｘを入力サンプルとし、当該時系列信号ｘが属するクラスのラベルの時系列を出力サンプルとする。
【0073】
分割部２３は、データセット受付部２２が受け付けた複数のデータセットを、学習用データセットと検証用データセットに分割する。例えば、分割部２３は、予め定められた分割割合に基づいてデータセットを分割する。
【0074】
変換部２４は、式（１４）に従って、入力サンプルｘ（ｔ）を非線形変換し、信号Ｘ（ｔ）を得る。
【0075】
第１学習部２５は、学習用データセットに係る時系列信号ｘを用いて、誤差逆伝搬法により、数理モデル９０の重み係数ｗ（ｃ，ｋ，ｍ）、重み係数ｗε
（ｃ、ｋ、ｋ´、ｍ）、定数ｗＮ
（ｃ、ｋ，ｍ）、定数ｗＣ
（ｃ、ｋ，ｍ）の値を更新する。具体的には、入力サンプルｘ（ｔ）を時刻順に数理モデル９０に入力して計算される出力値と、出力サンプルの値とに基づいて、あるサンプルにおける識別誤差を計算する。例えば、第１学習部２５は、以下の式（４５）により、識別誤差を評価するカルバックライブラ情報量Ｊを得る。第１学習部２５は、カルバックライブラ情報量Ｊが最小となるように重み係数ｗ（ｃ，ｋ，ｍ）、重み係数ｗε
（ｃ、ｋ、ｋ´、ｍ）、定数ｗＮ
（ｃ、ｋ，ｍ）、定数ｗＣ
（ｃ、ｋ，ｍ）の値を更新する。第１学習部２５は、カルバックライブラ情報量Ｊが予め定めた目標値以下となるか、学習回数が予め定めた最大数を超えた場合に、パラメータの更新を終了する。なお、事前確率ｐ（ｃ＝０）については、後述の第２学習部２７にて更新するため、他の重み係数の学習段階では、事前確率ｐ（ｃ＝０）に仮の値（例えば、０．０１）を代入しておく。
【0076】
【数45】
【0077】
評価部２６は、第１学習部２５による数理モデル９０の訓練後、検証用データセットを用いて数理モデル９０を評価する。つまり、評価部２６は、数理モデル９０に従って計算をすることで、第１層９１、第２層９２、第３層９３（第１正規分布計算部９３Ａ、第２正規分布計算部９３Ｂ、二次関数計算部９３Ｃ）、第４層９４（ＧＭＭ計算部９４Ａ、余事象分布コンポーネント計算部９４Ｂ）、第５層９５（状態確率計算部９５Ａ、ＣＧＭＭ計算部９５Ｂ）、第６層９６（第１事後確率算出部９６Ａ、第２事後確率算出部９６Ｂ）、第７層９７（既知クラス尤度計算部９７Ａ、余事象尤度計算部９７Ｂ）として機能する。具体的には、評価部２６は、以下の式（４６）を用いて評価値ＰＲｅｃａｌｌを算出する。
【0078】
【数46】
【0079】
ここで、Φｃは、クラスｃの入力サンプルを正しく識別できた数を示す。Ψｃは、クラスｃの入力サンプルを誤って識別した数を示す。
【0080】
第２学習部２７は、評価値ＰＲｅｃａｌｌに基づいて学習処理を終了するか否かを判定し、学習を終了しない場合に、余事象クラスの事前確率ｐ（ｃ＝０）を更新する。具体的には、第２学習部２７は、現在の余事象クラスの事前確率ｐ（ｃ＝０）に、所定の更新量ｐ０を加算することで、余事象クラスの事前確率ｐ（ｃ＝０）を更新する。
第２学習部２７は、評価値ＰＲｅｃａｌｌと、新たな事前確率を適用した場合の評価値との差が所定の終了判定閾値以下である場合に、学習処理を終了すると判定する。
第２学習部２７は、評価値ＰＲｅｃａｌｌと、新たな事前確率を適用した場合の評価値との差が所定の終了判定閾値以下である場合に、学習処理を終了すると判定する。
【0081】
出力部２８は、学習処理を終了した数理モデル９０の学習済みモデルを、識別装置１０に出力する。
【0082】
《学習装置２０の動作》
図６は、第１の実施形態に係る学習装置２０の動作を示すフローチャートである。
学習装置２０のデータセット受付部２２が複数のデータセットの入力を受け付けると（ステップＳ１）、分割部２３は、複数のデータセットを、学習用データセットと検証用データセットに分割する（ステップＳ２）。
図６は、第１の実施形態に係る学習装置２０の動作を示すフローチャートである。
学習装置２０のデータセット受付部２２が複数のデータセットの入力を受け付けると（ステップＳ１）、分割部２３は、複数のデータセットを、学習用データセットと検証用データセットに分割する（ステップＳ２）。
【0083】
変換部２４は、複数の入力サンプルを非線形変換し入力信号を得る（ステップＳ３）。次に、第１学習部２５は、学習用データセットから変換された入力信号を用いて、誤差逆伝搬法により、数理モデル９０のパラメータ（重み係数ｗ（ｃ、ｋ、ｍ）、重み係数ｗε
（ｃ、ｋ、ｋ´、ｍ）、定数ｗＮ
（ｃ，ｋ，ｍ）、定数ｗＣ
（ｃ，ｋ，ｍ））の値を更新する（ステップＳ４）。第１学習部２５は、式（４５）で得られる識別誤差Ｊが目標値以下となったか否か、および学習回数が最大数を超えたか否かを判定する（ステップＳ５）。識別誤差Ｊが目標値より大きく、かつ学習回数が最大数未満である場合（ステップＳ５：ＮＯ）、学習装置２０はステップＳ３に処理を戻す。
【0084】
他方、識別誤差Ｊが目標値以下となった場合、または学習回数が最大数を超えた場合（ステップＳ５：ＹＥＳ）、第１学習部２５は、重み係数の更新を終了する。次に、評価部２６は、検証用データセットから変換された入力信号を用いて数理モデル９０の評価値ＰＲｅｃａｌｌを算出する（ステップＳ６）。第２学習部２７は、ステップＳ６で算出した評価値ＰＲｅｃａｌｌが予め定めた識別率の許容閾値以下となったか否かを判定する（ステップＳ７）。
【0085】
評価値ＰＲｅｃａｌｌが許容閾値より大きい場合場合（ステップＳ７：ＮＯ）、評価部２６は、余事象クラスの事前確率ｐ（ｃ＝０）を更新し、ステップＳ６に処理を戻す（ステップＳ８）。
他方、評価値ＰＲｅｃａｌｌが許容閾値以下となった場合（ステップＳ７：ＹＥＳ）、出力部２８は、学習処理を終了した数理モデル９０の学習済みモデルを、識別装置１０に出力する（ステップＳ９）。
他方、評価値ＰＲｅｃａｌｌが許容閾値以下となった場合（ステップＳ７：ＹＥＳ）、出力部２８は、学習処理を終了した数理モデル９０の学習済みモデルを、識別装置１０に出力する（ステップＳ９）。
【0086】
《識別装置１０の構成》
ここで、図１に示すクラス識別システム１が備える識別装置１０の構成について説明する。識別装置１０は、学習装置２０によって訓練された学習済みの数理モデル９０を用いて、入力データのクラスを識別する。
図７は、第１の実施形態に係る識別装置１０の構成を示す概略ブロック図である。識別装置１０は、モデル取得部１１、モデル記憶部１２、データ入力部１３、変換部１４、識別部１５、出力部１６を備える。
ここで、図１に示すクラス識別システム１が備える識別装置１０の構成について説明する。識別装置１０は、学習装置２０によって訓練された学習済みの数理モデル９０を用いて、入力データのクラスを識別する。
図７は、第１の実施形態に係る識別装置１０の構成を示す概略ブロック図である。識別装置１０は、モデル取得部１１、モデル記憶部１２、データ入力部１３、変換部１４、識別部１５、出力部１６を備える。
【0087】
モデル取得部１１は、学習装置２０から学習済みの数理モデル９０を取得する。モデル取得部１１は、取得した学習済みの数理モデル９０をモデル記憶部１２に記録する。
モデル記憶部１２は、モデル取得部１１が取得した学習済みの数理モデル９０を記憶する。
データ入力部１３は、クラスの識別対象となる入力データの入力を受け付ける。
変換部１４は、式（１４）に従って、入力データｘ（ｔ）を非線形変換し、信号Ｘ（ｔ）を得る。
識別部１５は、変換部１４が変換した信号Ｘ（ｔ）をモデル記憶部１２が記憶する学習済みモデルに入力することで、当該信号Ｘ（ｔ）の複数のクラスの尤度を算出し、当該尤度に基づいて、入力データが属するクラスを評価する。つまり、識別部１５は、数理モデル９０に従って計算をすることで、第１層９１、第２層９２、第３層９３（第１正規分布計算部９３Ａ、第２正規分布計算部９３Ｂ、二次関数計算部９３Ｃ）、第４層９４（ＧＭＭ計算部９４Ａ、余事象分布コンポーネント計算部９４Ｂ）、第５層９５（状態確率計算部９５Ａ、ＣＧＭＭ計算部９５Ｂ）、第６層９６（第１事後確率算出部９６Ａ、第２事後確率算出部９６Ｂ）、第７層９７（既知クラス尤度計算部９７Ａ、余事象尤度計算部９７Ｂ）として機能する。
出力部１６は、識別部１５による評価結果を出力する。
モデル記憶部１２は、モデル取得部１１が取得した学習済みの数理モデル９０を記憶する。
データ入力部１３は、クラスの識別対象となる入力データの入力を受け付ける。
変換部１４は、式（１４）に従って、入力データｘ（ｔ）を非線形変換し、信号Ｘ（ｔ）を得る。
識別部１５は、変換部１４が変換した信号Ｘ（ｔ）をモデル記憶部１２が記憶する学習済みモデルに入力することで、当該信号Ｘ（ｔ）の複数のクラスの尤度を算出し、当該尤度に基づいて、入力データが属するクラスを評価する。つまり、識別部１５は、数理モデル９０に従って計算をすることで、第１層９１、第２層９２、第３層９３（第１正規分布計算部９３Ａ、第２正規分布計算部９３Ｂ、二次関数計算部９３Ｃ）、第４層９４（ＧＭＭ計算部９４Ａ、余事象分布コンポーネント計算部９４Ｂ）、第５層９５（状態確率計算部９５Ａ、ＣＧＭＭ計算部９５Ｂ）、第６層９６（第１事後確率算出部９６Ａ、第２事後確率算出部９６Ｂ）、第７層９７（既知クラス尤度計算部９７Ａ、余事象尤度計算部９７Ｂ）として機能する。
出力部１６は、識別部１５による評価結果を出力する。
【0088】
《識別装置１０の動作》
図８は、第１の実施形態に係る識別装置１０の動作を示すフローチャートである。なお、以下の説明では、学習装置２０による学習済みの数理モデル９０は、モデル記憶部１２に既に記憶されているものとする。
図８は、第１の実施形態に係る識別装置１０の動作を示すフローチャートである。なお、以下の説明では、学習装置２０による学習済みの数理モデル９０は、モデル記憶部１２に既に記憶されているものとする。
【0089】
識別装置１０のデータ入力部１３は、クラスの識別対象となる入力データの入力を受け付ける（ステップＳ１１）。次に、変換部１４は、式（１１）に従って、入力データを非線形変換し、信号を得る（ステップＳ１２）。識別部１５は、ステップＳ１２で変換した信号Ｘ（ｔ）をモデル記憶部１２が記憶する学習済みモデルに入力することで、当該信号Ｘ（ｔ）の複数のクラスの尤度を算出する（ステップＳ１３）。識別部１５は、算出された尤度に基づいて、入力データが属するクラスを評価する（ステップＳ１４）。出力部１６は、識別部１５による評価結果を出力する（ステップＳ１５）。データ入力部１３は、次の入力データがあるか否かを判定する（ステップＳ１６）。次の入力データがある場合（ステップＳ１６：ＹＥＳ）、データ入力部１３はステップＳ１１に処理を戻し、次の時刻の入力データについて評価を継続する。次の入力データがない場合（ステップＳ１６：ＮＯ）、識別装置１０は処理を終了する。
【0090】
《作用・効果》
このように、第１の実施形態に係る数理モデル９０は、ＧＭＭ計算部９４Ａ、既知クラス尤度計算部９７Ａ、余事象尤度計算部９７Ｂを有する。ＧＭＭ計算部９４Ａは、前回の信号に基づいてクラスごとのＧＭＭを決定する。既知クラス尤度計算部９７Ａは、ＧＭＭ計算部９４Ａが表すクラスごとのＧＭＭに基づいて、信号が複数のクラスのいずれに属するかを推定する。余事象尤度計算部９７Ｂは、信号の変化に応じて取り得る全てのＧＭＭを構成する正規分布それぞれについての余事象分布コンポーネントの和によって表される混合余事象分布に基づいて、信号がいずれのクラスにも属しないか否かを推定する。
このように、第１の実施形態によれば、前回の信号に基づいてＧＭＭの分布を変化させながら、クラスに属する確率といずれのクラスにも属しない確率とのそれぞれを計算することができる。
このように、第１の実施形態に係る数理モデル９０は、ＧＭＭ計算部９４Ａ、既知クラス尤度計算部９７Ａ、余事象尤度計算部９７Ｂを有する。ＧＭＭ計算部９４Ａは、前回の信号に基づいてクラスごとのＧＭＭを決定する。既知クラス尤度計算部９７Ａは、ＧＭＭ計算部９４Ａが表すクラスごとのＧＭＭに基づいて、信号が複数のクラスのいずれに属するかを推定する。余事象尤度計算部９７Ｂは、信号の変化に応じて取り得る全てのＧＭＭを構成する正規分布それぞれについての余事象分布コンポーネントの和によって表される混合余事象分布に基づいて、信号がいずれのクラスにも属しないか否かを推定する。
このように、第１の実施形態によれば、前回の信号に基づいてＧＭＭの分布を変化させながら、クラスに属する確率といずれのクラスにも属しない確率とのそれぞれを計算することができる。
【0091】
なお、ＧＭＭを有するＨＭＭにより、時系列を考慮したクラス分類を行うことができる。一方で、いずれのクラスにも属しない信号は、そもそも学習用データセットに含まれないため、いずれのクラスにも属しない信号を出力する状態の遷移を表すＨＭＭを作成することは困難である。これに対し、第１の実施形態に係る数理モデル９０では、信号がいずれのクラスにも属しない確率分布について、状態の変化がなく（状態数が１であり）、ＨＭＭで表現される全ての状態における確率分布の周囲に分布しているものとして、ＣＧＭＭが設計されている。これにより、既知クラスについてはＨＭＭに基づく状態遷移を考慮しながら、信号がいずれのクラスにも属しない確率も求めることができる。
【0092】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
【0093】
上述の実施形態においては、数理モデル９０を用いてクラス識別を行ったが、他の実施形態においては、これに限られない。例えば、他の実施形態においては、生成装置が数理モデル９０を用いて余事象クラスに属するデータを生成してもよい。
また、上述の実施形態においては、クラス識別システム１が機械学習を用いてクラス識別を行うが、これに限られない。例えば、他の実施形態においては、機械学習によらず、数理モデル９０を用いた計算を行ってもよい。
また、上述の実施形態においては、クラス識別システム１が機械学習を用いてクラス識別を行うが、これに限られない。例えば、他の実施形態においては、機械学習によらず、数理モデル９０を用いた計算を行ってもよい。
【0094】
また、上述のクラス識別システム１は、識別装置１０と学習装置２０とを備えるが、これに限られない。例えば、他の実施形態に係るクラス識別システム１は、同一の装置において学習処理と識別処理を行ってもよい。
また、上述のクラス識別システム１は、学習段階のステップＳ２においてデータセットを学習用データセットと検証用データセットとに分割し、検証用データセットを用いて評価値を算出するが、これに限られない。例えば、他の実施形態においては、すべてのデータセットを学習用に用い、同じデータセットを用いて評価値を算出してもよい。
また、上述のクラス識別システム１は、学習段階のステップＳ２においてデータセットを学習用データセットと検証用データセットとに分割し、検証用データセットを用いて評価値を算出するが、これに限られない。例えば、他の実施形態においては、すべてのデータセットを学習用に用い、同じデータセットを用いて評価値を算出してもよい。
【0095】
なお、上述した実施形態に係る数理モデル９０は、ＣＧＭＭを構成する二次関数と正規分布関数とに共通する部分について、第２層９２で先に計算をしてから、二次関数と正規分布関数とをそれぞれ求めることでＣＧＭＭを計算するが、これに限られない。例えば、他の実施形態に係る数理モデル９０は、特許文献１のような手法でＣＧＭＭを計算してもよい。
また、他の実施形態においては、クラス識別システム１はニューラルネットワークでないＧＭＭおよびＣＧＭＭの確率モデルを用いてもよい。この場合も、既知クラスの確率はＨＭＭに基づいて計算し、未知クラスの確率は当該ＨＭＭのすべての状態に係るＧＭＭに基づくＣＧＭＭによって計算される。
また、他の実施形態においては、クラス識別システム１はニューラルネットワークでないＧＭＭおよびＣＧＭＭの確率モデルを用いてもよい。この場合も、既知クラスの確率はＨＭＭに基づいて計算し、未知クラスの確率は当該ＨＭＭのすべての状態に係るＧＭＭに基づくＣＧＭＭによって計算される。
【0096】
〈コンピュータ構成〉
図９は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ１００は、プロセッサ１１０、メインメモリ１３０、ストレージ１５０、インタフェース１７０を備える。
上述の識別装置１０および学習装置２０は、コンピュータ１００に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ１５０に記憶されている。プロセッサ１１０は、プログラムをストレージ１５０から読み出してメインメモリ１３０に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ１１０は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ１３０に確保する。プロセッサ１１０の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。
図９は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ１００は、プロセッサ１１０、メインメモリ１３０、ストレージ１５０、インタフェース１７０を備える。
上述の識別装置１０および学習装置２０は、コンピュータ１００に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ１５０に記憶されている。プロセッサ１１０は、プログラムをストレージ１５０から読み出してメインメモリ１３０に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ１１０は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ１３０に確保する。プロセッサ１１０の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。
【0097】
プログラムは、コンピュータ１００に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ１００は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ１１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。プロセッサ１１０がＦＰＧＡである場合、上述の学習済みの数理モデル９０をハードウェアとして構成させるコンフィグレーションの処理をコンピュータに実行させるためのコンフィグレーションプログラムの実行により、ＦＰＧＡが識別装置１０として機能するように構成される。また、他の実施形態においては、コンピュータ１００は、１または複数のコンピュータ上で仮想化されたものであってもよい。
【0098】
ストレージ１５０の例としては、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ１５０は、コンピュータ１００のバスに直接接続された内部メディアであってもよいし、インタフェース１７０または通信回線を介してコンピュータ１００に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ１００に配信される場合、配信を受けたコンピュータ１００が当該プログラムをメインメモリ１３０に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ１５０は、一時的でない有形の記憶媒体である。
【0099】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ１５０に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【0100】
１…クラス識別システム １０…識別装置 １１…モデル取得部 １２…モデル記憶部 １３…データ入力部 １４…変換部 １５…識別部 １６…出力部 ２０…学習装置 ２１…モデル記憶部 ２２…データセット受付部 ２３…分割部 ２４…変換部 ２５…第１学習部 ２６…評価部 ２７…第２学習部 ２８…出力部 ９０…数理モデル ９１…第１層 ９２…第２層 ９３…第３層 ９３Ａ…第１正規分布計算部 ９３Ｂ…第２正規分布計算部 ９３Ｃ…二次関数計算部 ９４…第４層 ９４Ａ…ＧＭＭ計算部 ９４Ｂ…余事象分布コンポーネント計算部 ９５…第５層 ９５Ａ…状態確率計算部 ９５Ｂ…ＣＧＭＭ計算部 ９６…第６層 ９６Ａ…第１事後確率算出部 ９６Ｂ…第２事後確率算出部 ９７…第７層 ９７Ａ…既知クラス尤度計算部 ９７Ｂ…余事象尤度計算部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】