ホーム > 特許ランキング > 国立大学法人横浜国立大学
知財求人 - 知財ポータルサイト「IP Force」
▶ 国立大学法人横浜国立大学の特許一覧 ▶ 地方独立行政法人神奈川県立産業技術総合研究所の特許一覧
特開2024-116007ニューラルネットワークモデル、計算機、計算方法およびプログラムの生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024116007
(43)【公開日】2024-08-27
(54)【発明の名称】ニューラルネットワークモデル、計算機、計算方法およびプログラムの生成方法
(51)【国際特許分類】
G06N 3/047 20230101AFI20240820BHJP
G06N 3/08 20230101ALI20240820BHJP
【ＦＩ】
G06N3/047
G06N3/08
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023021972
(22)【出願日】2023-02-15
(71)【出願人】
【識別番号】504182255
【氏名又は名称】国立大学法人横浜国立大学
(71)【出願人】
【識別番号】317006683
【氏名又は名称】地方独立行政法人神奈川県立産業技術総合研究所
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】島 圭介
(72)【発明者】
【氏名】迎田 隆幸
(57)【要約】
【課題】正規分布関数と二次関数の軸を一致させた混合余事象分布に基づいて、想定しないクラスに属する確率の推定。
【解決手段】ニューラルネットワークは、入力層と、第１中間層と、第２中間層と、出力層と、を備える。入力層には特徴ベクトルが入力される。第１中間層は、複数のクラスに係る分布を表す複数の正規分布関数の指数部に係る複数の二次関数の係数を表す第１パラメータ群を有し、特徴ベクトルと第１パラメータ群とに基づいて第１中間ベクトルを計算する。第２中間層は、複数の正規分布関数の係数を表す第２パラメータ群を有し、第１中間ベクトルと第２パラメータ群とに基づいて第２中間ベクトルを計算する。出力層は、第１中間ベクトルと第２中間ベクトルとに基づいて、特徴ベクトルが複数のクラスのいずれにも属しないことの尤度である余事象尤度を計算する。
【選択図】図３
【解決手段】ニューラルネットワークは、入力層と、第１中間層と、第２中間層と、出力層と、を備える。入力層には特徴ベクトルが入力される。第１中間層は、複数のクラスに係る分布を表す複数の正規分布関数の指数部に係る複数の二次関数の係数を表す第１パラメータ群を有し、特徴ベクトルと第１パラメータ群とに基づいて第１中間ベクトルを計算する。第２中間層は、複数の正規分布関数の係数を表す第２パラメータ群を有し、第１中間ベクトルと第２パラメータ群とに基づいて第２中間ベクトルを計算する。出力層は、第１中間ベクトルと第２中間ベクトルとに基づいて、特徴ベクトルが複数のクラスのいずれにも属しないことの尤度である余事象尤度を計算する。
【選択図】図３
【特許請求の範囲】
【請求項1】
特徴ベクトルが入力される入力層と、
複数のクラスに係る分布を表す複数の正規分布関数の指数部に係る複数の二次関数の係数を表す第１パラメータ群を有し、前記特徴ベクトルと前記第１パラメータ群とに基づいて第１中間ベクトルを計算する第１中間層と、
前記複数の正規分布関数の係数を表す第２パラメータ群を有し、前記第１中間ベクトルと前記第２パラメータ群とに基づいて第２中間ベクトルを計算する第２中間層と、
前記第１中間ベクトルと前記第２中間ベクトルとに基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を計算する出力層と、
を備える学習済みのニューラルネットワークモデルであって、
計算機に、
前記特徴ベクトルを前記入力層に入力するステップと、
前記特徴ベクトルと前記第１パラメータ群とに基づいて前記第１中間ベクトルを計算するステップと、
前記第１中間ベクトルと前記第２パラメータ群とに基づいて前記第２中間ベクトルを計算するステップと、
前記第１中間ベクトルと前記第２中間ベクトルとに基づいて前記余事象尤度を計算するステップと
を実行させるニューラルネットワークモデル。
複数のクラスに係る分布を表す複数の正規分布関数の指数部に係る複数の二次関数の係数を表す第１パラメータ群を有し、前記特徴ベクトルと前記第１パラメータ群とに基づいて第１中間ベクトルを計算する第１中間層と、
前記複数の正規分布関数の係数を表す第２パラメータ群を有し、前記第１中間ベクトルと前記第２パラメータ群とに基づいて第２中間ベクトルを計算する第２中間層と、
前記第１中間ベクトルと前記第２中間ベクトルとに基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を計算する出力層と、
を備える学習済みのニューラルネットワークモデルであって、
計算機に、
前記特徴ベクトルを前記入力層に入力するステップと、
前記特徴ベクトルと前記第１パラメータ群とに基づいて前記第１中間ベクトルを計算するステップと、
前記第１中間ベクトルと前記第２パラメータ群とに基づいて前記第２中間ベクトルを計算するステップと、
前記第１中間ベクトルと前記第２中間ベクトルとに基づいて前記余事象尤度を計算するステップと
を実行させるニューラルネットワークモデル。
【請求項2】
前記複数のクラスそれぞれに係る分布を表す混合正規分布関数の係数を表す第４パラメータ群を有し、前記第１中間ベクトルと前記第４パラメータ群とに基づいて第４中間ベクトルを計算する第４中間層を備え、
前記出力層は、前記第１中間ベクトルと前記第２中間ベクトルとに基づいて前記余事象尤度を計算し、前記第４中間ベクトルに基づいて、前記複数のクラスそれぞれについて、前記特徴ベクトルが前記クラスに属する尤度であるクラス尤度を計算する
請求項１に記載のニューラルネットワークモデル。
前記出力層は、前記第１中間ベクトルと前記第２中間ベクトルとに基づいて前記余事象尤度を計算し、前記第４中間ベクトルに基づいて、前記複数のクラスそれぞれについて、前記特徴ベクトルが前記クラスに属する尤度であるクラス尤度を計算する
請求項１に記載のニューラルネットワークモデル。
【請求項3】
前記第２パラメータ群は、下限が０かつ上限が１である値域を有する関数によって表される
請求項１に記載のニューラルネットワークモデル。
請求項１に記載のニューラルネットワークモデル。
【請求項4】
前記第１パラメータ群のうち、特徴ベクトルと特徴ベクトルの転置行列との積の対角要素に対応する要素は、下限が－∞かつ上限が０である値域を有する関数によって表される
請求項１に記載のニューラルネットワークモデル。
請求項１に記載のニューラルネットワークモデル。
【請求項5】
請求項１から請求項４の何れか１項に記載のニューラルネットワークモデルを記憶する記憶部と、
特徴ベクトルと、複数のクラスのうち前記特徴ベクトルが属するクラスとの組み合わせからなる学習用データセットを用いて、前記ニューラルネットワークモデルが、前記特徴ベクトルを入力として前記余事象尤度を出力するように学習する学習部と
を備える計算機。
特徴ベクトルと、複数のクラスのうち前記特徴ベクトルが属するクラスとの組み合わせからなる学習用データセットを用いて、前記ニューラルネットワークモデルが、前記特徴ベクトルを入力として前記余事象尤度を出力するように学習する学習部と
を備える計算機。
【請求項6】
請求項１から請求項４の何れか１項に記載のニューラルネットワークモデルを記憶する記憶部と、
前記ニューラルネットワークモデルの前記第１パラメータ群から、前記複数の二次関数の二次の項の係数に係るパラメータを抽出して、前記複数の正規分布関数の分散共分散行列を特定する共分散特定部と、
前記第１パラメータ群から前記複数の正規分布関数の平均値を特定する平均特定部と、
前記分散共分散行列および前記平均値に基づいて、前記複数の正規分布関数と前記複数の二次関数の積によって表される、前記複数のクラスのいずれにも属しない確率を表す余事象分布関数を生成する関数生成部と
を備える計算機。
前記ニューラルネットワークモデルの前記第１パラメータ群から、前記複数の二次関数の二次の項の係数に係るパラメータを抽出して、前記複数の正規分布関数の分散共分散行列を特定する共分散特定部と、
前記第１パラメータ群から前記複数の正規分布関数の平均値を特定する平均特定部と、
前記分散共分散行列および前記平均値に基づいて、前記複数の正規分布関数と前記複数の二次関数の積によって表される、前記複数のクラスのいずれにも属しない確率を表す余事象分布関数を生成する関数生成部と
を備える計算機。
【請求項7】
請求項１から請求項４の何れか１項に記載のニューラルネットワークモデルを用いた計算方法であって、
計算機が、
前記特徴ベクトルを前記ニューラルネットワークモデルの前記入力層に入力するステップと、
前記特徴ベクトルと前記ニューラルネットワークモデルの前記第１パラメータ群とに基づいて前記第１中間ベクトルを計算するステップと、
前記第１中間ベクトルと前記ニューラルネットワークモデルの前記第２パラメータ群とに基づいて前記第２中間ベクトルを計算するステップと、
前記第１中間ベクトルと前記ニューラルネットワークモデルの前記第２中間ベクトルとに基づいて前記余事象尤度を計算するステップと
を実行する計算方法。
計算機が、
前記特徴ベクトルを前記ニューラルネットワークモデルの前記入力層に入力するステップと、
前記特徴ベクトルと前記ニューラルネットワークモデルの前記第１パラメータ群とに基づいて前記第１中間ベクトルを計算するステップと、
前記第１中間ベクトルと前記ニューラルネットワークモデルの前記第２パラメータ群とに基づいて前記第２中間ベクトルを計算するステップと、
前記第１中間ベクトルと前記ニューラルネットワークモデルの前記第２中間ベクトルとに基づいて前記余事象尤度を計算するステップと
を実行する計算方法。
【請求項8】
計算機が、特徴ベクトルと、複数のクラスのうち前記特徴ベクトルが属するクラスとの組み合わせからなる学習用データセットを用いて、請求項１から請求項４の何れか１項に記載のニューラルネットワークモデルが、前記特徴ベクトルを入力として前記余事象尤度を出力するように学習するステップと、
請求項１から請求項４の何れか１項に記載のニューラルネットワークモデルの前記第１パラメータ群から、前記複数の二次関数の二次の項の係数に係るパラメータを抽出して、前記複数の正規分布関数の分散共分散行列を特定するステップと、
前記第１パラメータ群から前記複数の正規分布関数の平均値を特定するステップと、
前記分散共分散行列および前記平均値に基づいて、前記複数の正規分布関数と前記複数の二次関数の積によって表される、前記複数のクラスのいずれにも属しない確率を表す余事象分布関数をコンピュータに計算させるプログラムを生成するステップと
を備えるプログラムの生成方法。
請求項１から請求項４の何れか１項に記載のニューラルネットワークモデルの前記第１パラメータ群から、前記複数の二次関数の二次の項の係数に係るパラメータを抽出して、前記複数の正規分布関数の分散共分散行列を特定するステップと、
前記第１パラメータ群から前記複数の正規分布関数の平均値を特定するステップと、
前記分散共分散行列および前記平均値に基づいて、前記複数の正規分布関数と前記複数の二次関数の積によって表される、前記複数のクラスのいずれにも属しない確率を表す余事象分布関数をコンピュータに計算させるプログラムを生成するステップと
を備えるプログラムの生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワークモデル、計算機、計算方法およびプログラムの生成方法に関する。
【背景技術】
【0002】
特許文献１には、入力信号が予め設定した複数のクラスの何れに属するかを分類する分類器において、想定しないクラスに属する確率を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１４４６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載の手法では、複数の正規分布関数と複数の二次関数の積で表される混合余事象分布関数をニューラルネットワークモデルで表す。このニューラルネットワークモデルの中間層において正規分布関数と二次関数とをそれぞれ計算し、その計算結果の積を求めることで余事象尤度を算出する。
【0005】
理論上、混合余事象分布は、軸を同じくする正規分布関数と二次関数の組によって表される。軸とは極値点を通る説明変数を示す直線である。しかしながら、特許文献１に記載のニューラルネットワークモデルでは正規分布関数と二次関数とをそれぞれ別個に計算しているため、必ずしもその軸が一致するとは限らない。そのため、特許文献１に記載のニューラルネットワークモデルは適切に混合余事象分布を表せない可能性がある。
本発明の目的は、正規分布関数と二次関数の軸を一致させた混合余事象分布に基づいて、想定しないクラスに属する確率の推定を可能とするニューラルネットワークモデル、計算機、計算方法およびプログラムの生成方法を提供することにある。
本発明の目的は、正規分布関数と二次関数の軸を一致させた混合余事象分布に基づいて、想定しないクラスに属する確率の推定を可能とするニューラルネットワークモデル、計算機、計算方法およびプログラムの生成方法を提供することにある。
【課題を解決するための手段】
【0006】
第１の態様によれば、ニューラルネットワークモデルは、特徴ベクトルが入力される入力層と、複数のクラスに係る分布を表す複数の正規分布関数の指数部に係る複数の二次関数の係数を表す第１パラメータ群を有し、前記特徴ベクトルと前記第１パラメータ群とに基づいて第１中間ベクトルを計算する第１中間層と、前記複数の正規分布関数の係数を表す第２パラメータ群を有し、前記第１中間ベクトルと前記第２パラメータ群とに基づいて第２中間ベクトルを計算する第２中間層と、前記第１中間ベクトルと前記第２中間ベクトルとに基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を計算する出力層と、を備える学習済みのニューラルネットワークモデルであって、計算機に、前記特徴ベクトルを前記入力層に入力するステップと、前記特徴ベクトルと前記第１パラメータ群とに基づいて前記第１中間ベクトルを計算するステップと、前記第１中間ベクトルと前記第２パラメータ群とに基づいて前記第２中間ベクトルを計算するステップと、前記第１中間ベクトルと前記第２中間ベクトルとに基づいて前記余事象尤度を計算するステップとを実行させる。
【0007】
第２の態様によれば、第１の態様に係るニューラルネットワークモデルが、前記複数のクラスそれぞれに係る分布を表す混合正規分布関数の係数を表す第４パラメータ群を有し、前記第１中間ベクトルと前記第４パラメータ群とに基づいて第４中間ベクトルを計算する第４中間層を備え、前記出力層は、前記第１中間ベクトルと前記第２中間ベクトルとに基づいて前記余事象尤度を計算し、前記第４中間ベクトルに基づいて、前記複数のクラスそれぞれについて、前記特徴ベクトルが前記クラスに属する尤度であるクラス尤度を計算するものであってよい。
【0008】
第３の態様によれば、第１の態様に係るニューラルネットワークモデルにおいて、前記第２パラメータ群は、下限が０かつ上限が１である値域を有する関数によって表されるものであってよい。
【0009】
第４の態様によれば、第１の態様に係るニューラルネットワークモデルにおいて、前記第１パラメータ群は、下限が－∞かつ上限が０である値域を有する関数によって表されるものであってよい。
【0010】
第５の態様によれば、計算機は、第１から第４の何れかの態様に係るニューラルネットワークモデルを記憶する記憶部と、特徴ベクトルと、複数のクラスのうち前記特徴ベクトルが属するクラスとの組み合わせからなる学習用データセットを用いて、前記ニューラルネットワークモデルが、前記特徴ベクトルを入力として前記余事象尤度を出力するように学習する学習部とを備える。
【0011】
第６の態様によれば、計算機は、第１から第４の何れかの態様に係るニューラルネットワークモデルを記憶する記憶部と、前記ニューラルネットワークモデルの前記第１パラメータ群から、前記複数の二次関数の二次の項の係数に係るパラメータを抽出して、前記複数の正規分布関数の分散共分散行列を特定する共分散特定部と、前記第１パラメータ群から前記複数の正規分布関数の平均値を特定する平均特定部と、前記分散共分散行列および前記平均値に基づいて、前記複数の正規分布関数と前記複数の二次関数の積によって表される、前記複数のクラスのいずれにも属しない確率を表す余事象分布関数を生成する関数生成部とを備える。
【0012】
第７の態様によれば、計算方法は、第１から第４の何れかの態様に係るニューラルネットワークモデルを用いた計算方法であって、計算機が、前記特徴ベクトルを前記ニューラルネットワークモデルの前記入力層に入力するステップと、前記特徴ベクトルと前記ニューラルネットワークモデルの前記第１パラメータ群とに基づいて前記第１中間ベクトルを計算するステップと、前記第１中間ベクトルと前記ニューラルネットワークモデルの前記第２パラメータ群とに基づいて前記第２中間ベクトルを計算するステップと、前記第１中間ベクトルと前記ニューラルネットワークモデルの前記第２中間ベクトルとに基づいて前記余事象尤度を計算するステップとを実行する。
【0013】
第８の態様によれば、プログラムの生成方法は、計算機が、特徴ベクトルと、複数のクラスのうち前記特徴ベクトルが属するクラスとの組み合わせからなる学習用データセットを用いて、第１から第４の何れかの態様に係るニューラルネットワークモデルの前記第１パラメータ群から、前記複数の二次関数の二次の項の係数に係るパラメータを抽出して、前記複数の正規分布関数の分散共分散行列を特定するステップと、前記第１パラメータ群から前記複数の正規分布関数の平均値を特定するステップと、前記分散共分散行列および前記平均値に基づいて、前記複数の正規分布関数と前記複数の二次関数の積によって表される、前記複数のクラスのいずれにも属しない確率を表す余事象分布関数をコンピュータに計算させるプログラムを生成するステップとを備える。
【発明の効果】
【0014】
上記態様によれば、正規分布関数と二次関数の軸を一致させた混合余事象分布に基づいて、想定しないクラスに属する確率を推定することができる。
【図面の簡単な説明】
【0015】
【図1】第１の実施形態に係るクラス識別システムの構成を示す概略ブロック図である。
【図2】第１の実施形態に係る余事象分布関数の例を示すグラフである。
【図3】第１の実施形態に係る数理モデルの構造を示す図である。
【図4】第１の実施形態に係る学習装置の構成を示す概略ブロック図である。
【図5】第１の実施形態に係る学習装置の動作を示すフローチャートである。
【図6】第１の実施形態に係る識別装置の構成を示す概略ブロック図である。
【図7】第１の実施形態に係る識別装置の動作を示すフローチャートである。
【図8】第３の実施形態に係る解析装置の構成を示すブロック図である。
【図9】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0016】
〈第１の実施形態〉
《クラス識別システム１》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係るクラス識別システム１の構成を示す概略ブロック図である。クラス識別システム１は、複数のクラスの中から入力信号が属するクラスを識別するためのシステムである。クラス識別システム１は、学習段階において設定された複数の既知クラスと、当該複数の既知クラスのいずれにも属しないことを示す余事象クラスについて、入力信号の尤度を計算する。
《クラス識別システム１》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係るクラス識別システム１の構成を示す概略ブロック図である。クラス識別システム１は、複数のクラスの中から入力信号が属するクラスを識別するためのシステムである。クラス識別システム１は、学習段階において設定された複数の既知クラスと、当該複数の既知クラスのいずれにも属しないことを示す余事象クラスについて、入力信号の尤度を計算する。
【0017】
クラス識別システム１は、識別装置１０と学習装置２０とを備える。識別装置１０は、学習装置２０によって訓練された学習済みモデルを用いて、入力信号が属するクラスを識別する。学習装置２０は、学習用データセットを用いて数理モデルを訓練する。識別装置１０および学習装置２０は、計算機の一例である。学習済みモデルとは、数理モデルと、訓練によって決定されたパラメータの組み合わせである。
【0018】
《数理モデルについて》
第１の実施形態に係る数理モデルについて説明する。
第１の実施形態に係るクラス識別システム１は、混合正規分布モデル（Gaussian Mixture Model：ＧＭＭ）によって既知クラスの分布を表し、以下に示す混合余事象分布モデル（Complementary Gaussian Mixture Model：ＣＧＭＭ）によって余事象クラスの分布を表す。
第１の実施形態に係る数理モデルについて説明する。
第１の実施形態に係るクラス識別システム１は、混合正規分布モデル（Gaussian Mixture Model：ＧＭＭ）によって既知クラスの分布を表し、以下に示す混合余事象分布モデル（Complementary Gaussian Mixture Model：ＣＧＭＭ）によって余事象クラスの分布を表す。
【0019】
《既知クラスのＧＭＭ》
既知クラスの数がＫ個である場合、各既知クラスは、ＧＭＭにより、以下の式（１）によって表される。すなわち、第１の実施形態において、信号ｘｎの既知クラスｋにおける生起確率ｆ（ｘｎ）は、以下の式（１）によって表される。
既知クラスの数がＫ個である場合、各既知クラスは、ＧＭＭにより、以下の式（１）によって表される。すなわち、第１の実施形態において、信号ｘｎの既知クラスｋにおける生起確率ｆ（ｘｎ）は、以下の式（１）によって表される。
【0020】
【数1】
【数2】
【数3】
【数4】
【0021】
ここで、Ｍｋは、ＧＭＭにおいて既知クラスｋを表す正規分布コンポーネントの数を示す。また、αｋ、ｍは、既知クラスｋのｍ番目の正規分布コンポーネントの混合度を示す。
ｇ（ｘｎ：μ（ｋ，ｍ），Σ（ｋ，ｍ））は、式（２）で表される正規分布コンポーネントを示す。μ（ｋ，ｍ）は、既知クラスｋのｍ番目の正規分布コンポーネントの平均値ベクトルを示し、Σ（ｋ，ｍ）は、既知クラスｋのｍ番目の正規分布コンポーネントの共分散行列を示す。
また、式（２）のｑ（ｘｎ）は、既知クラスｋのｍ番目の正規分布コンポーネントにおける信号ｘｎの偏差を変数とする二次関数を示す。
ｇ（ｘｎ：μ（ｋ，ｍ），Σ（ｋ，ｍ））は、式（２）で表される正規分布コンポーネントを示す。μ（ｋ，ｍ）は、既知クラスｋのｍ番目の正規分布コンポーネントの平均値ベクトルを示し、Σ（ｋ，ｍ）は、既知クラスｋのｍ番目の正規分布コンポーネントの共分散行列を示す。
また、式（２）のｑ（ｘｎ）は、既知クラスｋのｍ番目の正規分布コンポーネントにおける信号ｘｎの偏差を変数とする二次関数を示す。
【0022】
このとき、既知クラスｋの事後確率ｐ（ｋ｜ｘｎ）は、以下の式（５）で表される。
【0023】
【数5】
【0024】
《余事象クラスのＣＧＭＭ》
発明者らは、既知クラスの数がＫ個である場合における余事象クラスを、以下の式（６）として定義した。すなわち、第１の実施形態において、信号ｘｎがいずれの既知クラスｋにも属しない確率ｆｃ（ｘｎ）は、以下の式（６）によって表される。
発明者らは、既知クラスの数がＫ個である場合における余事象クラスを、以下の式（６）として定義した。すなわち、第１の実施形態において、信号ｘｎがいずれの既知クラスｋにも属しない確率ｆｃ（ｘｎ）は、以下の式（６）によって表される。
【0025】
【数6】
【数7】
【0026】
関数ｈ（ｘｎ：μ（ｋ，ｍ），Σ（ｋ，ｍ））は、式（７）で表される余事象分布を示す。すなわち、余事象分布関数ｈ（ｘｎ：μ（ｋ，ｍ），Σ（ｋ，ｍ））は、信号ｘｎが既知クラスｋのｍ番目の正規分布コンポーネントに従わない確率を示す。なお、Ｄは、信号ｘｎの次元数である。ここで、式（３）で表されるように、正規分布関数が関数ｇ（ｘｎ）で表され、二次関数が関数ｑ（ｘｎ）で表されることから、余事象分布関数ｈ（ｘｎ）は、分散Σを持つ正規分布関数と、当該正規分布関数と軸を同じくする二次関数との積によって表される。
図２は、第１の実施形態に係る余事象分布関数の例を示すグラフである。図２の横軸は信号ｘｎの値であり、縦軸は生起確率を示す。図２に示すように、正規分布関数ｇ（ｘ）に二次関数ｑ（ｘ）を乗算することで、既知クラスｋのｍ番目の正規分布コンポーネントの周りに信号が分布するドーナツ状の分布を表すことができる。以下、軸を同じくする正規分布関数と二次関数ｑ（ｘ）の積によって表されるドーナツ状の分布を余事象分布コンポーネントと呼ぶ。
図２は、第１の実施形態に係る余事象分布関数の例を示すグラフである。図２の横軸は信号ｘｎの値であり、縦軸は生起確率を示す。図２に示すように、正規分布関数ｇ（ｘ）に二次関数ｑ（ｘ）を乗算することで、既知クラスｋのｍ番目の正規分布コンポーネントの周りに信号が分布するドーナツ状の分布を表すことができる。以下、軸を同じくする正規分布関数と二次関数ｑ（ｘ）の積によって表されるドーナツ状の分布を余事象分布コンポーネントと呼ぶ。
【0027】
《既知クラスおよび余事象クラスのモデル》
これらを総合し、信号ｘｎのＫ個の既知クラスおよび１個の余事象クラスにおける生起確率Ｆ（ｘｎ）は、以下の式（８）によって表される。以下、余事象クラスをｋ＝０のクラスとして表す。
これらを総合し、信号ｘｎのＫ個の既知クラスおよび１個の余事象クラスにおける生起確率Ｆ（ｘｎ）は、以下の式（８）によって表される。以下、余事象クラスをｋ＝０のクラスとして表す。
【0028】
【数8】
【0029】
ここで、βｋ，ｍは既知クラスｋのｍ番目の正規分布コンポーネントに対応する余事象分布の混合度を示す。またｐ（ｋ＝０）は、余事象クラスの事前確率を示す。
【0030】
このとき、既知クラスおよび余事象クラスの事後確率ｐ´（ｋ｜ｘｎ）は、以下の式（９）で表される。
【0031】
【数9】
【0032】
これにより、以下の式（１０）に示すパラメータθを求めることで、既知クラスに属さないことを示す余事象クラスを含めたクラス識別を行うことができる。パラメータθは、余事象クラスの事前確率ｐ（ｋ＝０）、混合度α、混合度β、平均値μ、共分散行列Σ、および重み係数εを含む。なお、確率（１－ｐ（ｋ＝０））、すなわち余事象クラスの事前確率の補確率は、既知クラスの何れかに属することの事前確率を表す。
【0033】
【数10】
【0034】
《対数線形化》
ここで、上記のパラメータθの制約を緩和するため、上記のＧＭＭおよびＣＧＭＭを対数線形化する。ここで、式（３）に示すｑ（ｘ）はＧＭＭおよびＣＧＭＭにおいて共通して出現しており、ｑ（ｘ）には平均値μが含まれている。したがって、ＧＭＭおよびＣＧＭＭに含まれるｑ（ｘ）の値を一致させることで、ＧＭＭおよびＣＧＭＭの軸を一致させることができる。
ｑ（ｘ）を展開すると、以下の式（１１）のように表される。
ここで、上記のパラメータθの制約を緩和するため、上記のＧＭＭおよびＣＧＭＭを対数線形化する。ここで、式（３）に示すｑ（ｘ）はＧＭＭおよびＣＧＭＭにおいて共通して出現しており、ｑ（ｘ）には平均値μが含まれている。したがって、ＧＭＭおよびＣＧＭＭに含まれるｑ（ｘ）の値を一致させることで、ＧＭＭおよびＣＧＭＭの軸を一致させることができる。
ｑ（ｘ）を展開すると、以下の式（１１）のように表される。
【0035】
【数11】
【数12】
【数13】
【0036】
信号Ｘは、１、ベクトルｘの各要素、およびｘｘＴの上三角成分の各要素からなるベクトルである。ｘｘＴは対象行列であるため、信号ＸがｘｘＴの上三角成分の要素を持つことで、ｘｘＴを表すことができる。ここで、δｉ，ｊは、クロネッカーのδ（ｉ＝ｊのときδｉ，ｊ＝１、ｉ≠ｊのときδｉ，ｊ＝０）を示す。信号Ｘおよびベクトルｗ（ｋ，ｍ）の次元数は（１＋Ｄ（Ｄ＋３）／２）である。コンポーネントを式（１１）のように、信号Ｘと係数ベクトルｗ（ｋ，ｍ）の積として表すことで、パラメータの制約を低減することができる。具体的には、係数ベクトルｗ（ｋ，ｍ）の制約は、ｘｘＴの対角成分に対応する要素の値が０未満であることだけである。ｘｘＴの対角成分に対応する要素は、係数ベクトルｗ（ｋ，ｍ）のうち（ｄ／２（１Ｄ＋３－ｄ）｜ｄ＝１、…、Ｄ）で表される要素である。
【0037】
ここで、式（２）および式（１１）によれば、既知クラスのＧＭＭを構成する複数の正規分布コンポーネントの対数は、以下の式（１４）のように表される。ｗＮ
（ｋ，ｍ）は、対数化した正規分布コンポーネントの定数項である。
【0038】
【数14】
【0039】
また、式（７）および式（１１）によれば、ＣＧＭＭを構成する複数の余事象分布コンポーネント（正規分布関数と二次関数の和）の対数は、以下の式（１５）のように表される。ｗε
（ｋ，ｍ）は、対数化した余事象分布コンポーネントの一次関数項の係数である。ｗＣ
（ｋ，ｍ）は、対数化した余事象分布コンポーネントの定数項である。
【0040】
【数15】
【0041】
このように、式（１５）によれば、平均値μをＣＧＭＭ関数の係数および定数項に含ませなくすることができる。したがって、式（１５）に示す関数を実現するニューラルネットワークモデルを作成することで、必ず余事象分布コンポーネントにおける正規分布関数と二次関数の軸を一致させることができる。
【0042】
式（９）、式（１４）および式（１５）から、Ｘの関数としての事後確率は、以下の式（１６）で表すことができる。
【0043】
【数16】
【数17】
【0044】
つまり式（１６）によれば、式（１８）に示すパラメータθ´を求めることで、既知クラスに属さないことを示す余事象クラスを含めたクラス識別を行うことができる。パラメータθ´は、余事象クラスの事前確率ｐ（ｋ＝０）、重み係数ｗ（ｋ、ｍ）、重み係数ｗε
（ｋ、ｍ）、定数ｗＮ
（ｋ，ｍ）、定数ｗＣ
（ｋ，ｍ）を含む。
【0045】
【数18】
【0046】
《数理モデルのネットワーク構造》
以下、式（１６）に示される事後確率を表す数理モデルの構成について説明する。図３は、第１の実施形態に係る数理モデルの構造を示す図である。図３に示すように、数理モデル９０は、５層のフィードフォワード型ネットワークである。つまり、数理モデル９０は、第１層９１、第２層９２、第３層９３、第４層９４および第５層９５を備える。
以下、式（１６）に示される事後確率を表す数理モデルの構成について説明する。図３は、第１の実施形態に係る数理モデルの構造を示す図である。図３に示すように、数理モデル９０は、５層のフィードフォワード型ネットワークである。つまり、数理モデル９０は、第１層９１、第２層９２、第３層９３、第４層９４および第５層９５を備える。
【0047】
数理モデル９０の第１層９１は、式（１１）による非線形変換により得られたベクトルＸの入力を受け付ける。ベクトルＸは、特徴ベクトルの一例である。つまり、第１層９１のノード数は、信号Ｘの次元数（１＋Ｄ（Ｄ＋３）／２）と等しい。第１層９１の各ノードは、入力された値をそのまま出力する。すなわち、第１層９１のｈ番目のノードの線形変換関数（１）Ｉｈは、以下の式（１９）に示すとおりであり、第１層９１のｈ番目のノードの活性化関数（１）Ｏｈは、以下の式（２０）に示すとおりである。
【0048】
【数19】
【数20】
【0049】
数理モデル９０の第２層９２は、Ｋ×Ｍ個のノードを有する。
第２層９２の各ノードは、対数化した正規分布コンポーネントの正規分布の項の指数部、対数化した余事象分布コンポーネントの正規分布項の指数部、対数化した余事象分布コンポーネントの二次関数の項とで共通する二次関数を表す。第２層９２のうちｋ×ｍ番目のノードは、第１層９１の出力ベクトル（１）Ｏすなわち信号Ｘの各要素を入力値として受け付ける。ｋ×ｍ番目のノードは、全結合により入力された第１層９１の出力ベクトル（１）Ｏの各要素と重み係数ｗ（ｋ、ｍ）の積の総和を計算し、その計算結果の値を出力する。すなわち、第２層９２のｋ×ｍ番目のノードの線形変換関数（２）Ｉｋ，ｍは、以下の式（２１）に示すとおりであり、第２層９２のｋ×ｍ番目のノードの活性化関数（２）Ｏｋ，ｍは、以下の式（２２）に示すとおりである。
第２層９２の各ノードは、対数化した正規分布コンポーネントの正規分布の項の指数部、対数化した余事象分布コンポーネントの正規分布項の指数部、対数化した余事象分布コンポーネントの二次関数の項とで共通する二次関数を表す。第２層９２のうちｋ×ｍ番目のノードは、第１層９１の出力ベクトル（１）Ｏすなわち信号Ｘの各要素を入力値として受け付ける。ｋ×ｍ番目のノードは、全結合により入力された第１層９１の出力ベクトル（１）Ｏの各要素と重み係数ｗ（ｋ、ｍ）の積の総和を計算し、その計算結果の値を出力する。すなわち、第２層９２のｋ×ｍ番目のノードの線形変換関数（２）Ｉｋ，ｍは、以下の式（２１）に示すとおりであり、第２層９２のｋ×ｍ番目のノードの活性化関数（２）Ｏｋ，ｍは、以下の式（２２）に示すとおりである。
【0050】
【数21】
【数22】
【0051】
数理モデル９０の第３層９３は、３×Ｋ×Ｍ個のノードを有する。第３層９３は、Ｋ×Ｍ個のノードを有する第１正規分布計算部９３Ａと、Ｋ×Ｍ個のノードを有する第２正規分布計算部９３Ｂと、Ｋ×Ｍ個のノードを有する二次関数計算部９３Ｃとからなる。
【0052】
第１正規分布計算部９３Ａの各ノードは、対数化した正規分布コンポーネントを表す。第１正規分布計算部９３Ａのうちｋ番目のクラスのｍ番目の正規分布コンポーネントを表すノード（ｋ×ｍ番目のノード）は、第２層９２のうち対応する出力ベクトル（２）Ｏｋ，ｍの要素を入力値として受け付ける。第１正規分布計算部９３Ａのｋ×ｍ番目のノードは、出力ベクトル（２）Ｏｋ，ｍの要素と定数項ｗＮ
（ｋ、ｍ）の和を計算し、その計算結果の値を出力する。すなわち、第１正規分布計算部９３Ａのｋ×ｍ番目のノードの線形変換関数（３Ａ）Ｉｋ，ｍは、以下の式（２３）に示すとおりであり、第１正規分布計算部９３Ａのｋ×ｍ番目のノードの活性化関数（３Ａ）Ｏｋ，ｍは、以下の式（２４）に示すとおりである。
【0053】
【数23】
【数24】
【0054】
第２正規分布計算部９３Ｂの各ノードは、対数化した余事象分布コンポーネントの正規分布項を表す。第２正規分布計算部９３Ｂのうちｋ番目のクラスのｍ番目の余事象分布コンポーネントの正規分布項を表すノード（ｋ×ｍ番目のノード）は、第２層９２のうち対応する出力ベクトル（２）Ｏｋ，ｍの要素を入力値として受け付ける。第２正規分布計算部９３Ｂのｋ×ｍ番目のノードは、出力ベクトル（２）Ｏｋ，ｍの要素と係数ｗε
（ｋ，ｍ）の積と定数項ｗＣ
（ｋ、ｍ）の和を計算し、その計算結果の値を出力する。すなわち、第２正規分布計算部９３Ｂのｋ×ｍ番目のノードの線形変換関数（３Ｂ）Ｉｋ，ｍは、以下の式（２５）に示すとおりであり、第２正規分布計算部９３Ｂのｋ×ｍ番目のノードの活性化関数（３Ｂ）Ｏｋ，ｍは、以下の式（２６）に示すとおりである。
【0055】
【数25】
【数26】
【0056】
二次関数計算部９３Ｃの各ノードは、対数化した余事象分布コンポーネントの二次関数項を表す。二次関数計算部９３Ｃのうちｋ番目のクラスのｍ番目の余事象分布コンポーネントの二次関数項を表すノード（ｋ×ｍ番目のノード）は、第２層９２のうち対応する出力ベクトル（２）Ｏｋ，ｍの要素を入力値として受け付ける。二次関数計算部９３Ｃのｋ×ｍ番目のノードは、出力ベクトル（２）Ｏｋ，ｍの要素に－１を乗算し、その計算結果の対数を出力する。すなわち、二次関数計算部９３Ｃのｋ×ｍ番目のノードの線形変換関数（３Ｃ）Ｉｋ，ｍは、以下の式（２７）に示すとおりであり、二次関数計算部９３Ｃのｋ×ｍ番目のノードの活性化関数（３Ｂ）Ｏｋ，ｍは、以下の式（２８）に示すとおりである。
【0057】
【数27】
【数28】
【0058】
数理モデル９０の第４層９４は、２×Ｋ×Ｍ個のノードを有する。第４層９４は、Ｋ×Ｍ個のノードを有する正規分布コンポーネント計算部９４Ａと、Ｋ×Ｍ個のノードを有する余事象分布コンポーネント計算部９４Ｂとからなる。
【0059】
正規分布コンポーネント計算部９４Ａの各ノードは、正規分布コンポーネントを表す。正規分布コンポーネント計算部９４Ａのうちｋ×ｍ番目のノードは、第１正規分布計算部９３Ａのｋ×ｍ番目のノードの出力値を受け付け、当該入力値をネイピア数ｅの指数とする値を出力する。すなわち、正規分布コンポーネント計算部９４Ａのｋ×ｍ番目のノードの線形変換関数（４Ａ）Ｉｋ，ｍは、以下の式（２９）に示すとおりであり、正規分布コンポーネント計算部９４Ａのｋ×ｍ番目のノードの活性化関数（４Ａ）Ｏｋ，ｍは、以下の式（３０）に示すとおりである。
【0060】
【数29】
【数30】
【0061】
余事象分布コンポーネント計算部９４Ｂの各ノードは、余事象分布コンポーネントを表す。余事象分布コンポーネント計算部９４Ｂのうちｋ×ｍ番目のノードは、第２正規分布計算部９３Ｂのｋ×ｍ番目のノードの出力値と二次関数計算部９３Ｃのｋ×ｍ番目のノードの出力値を受け付け、当該入力値をネイピア数ｅの指数とする値を出力する。すなわち、余事象分布コンポーネント計算部９４Ｂのｋ×ｍ番目のノードの線形変換関数（４Ｂ）Ｉｋ，ｍは、以下の式（３１）に示すとおりであり、余事象分布コンポーネント計算部９４Ｂのｋ×ｍ番目のノードの活性化関数（４Ｂ）Ｏｋ，ｍは、以下の式（３２）に示すとおりである。
【0062】
【数31】
【数32】
【0063】
数理モデル９０の第５層９５は、Ｋ＋１個のノードを有する。第５層９５は、Ｋ個のノードを有する既知クラス尤度計算部９５Ａと、１個のノードを有する余事象尤度計算部９５Ｂとからなる。
【0064】
既知クラス尤度計算部９５Ａのｋ番目のノードは、正規分布コンポーネント計算部９４Ａのｋ番目のコンポーネントに対応する各ノードの出力値を受け付け、当該入力値の総和を出力する。すなわち、既知クラス尤度計算部９５Ａのｋ番目のノードの線形変換関数（５Ａ）Ｉｋは、以下の式（３３）に示すとおりであり、既知クラス尤度計算部９５Ａのｋ番目のノードの活性化関数（５Ａ）Ｏｋは、以下の式（３４）に示すとおりである。
【0065】
【数33】
【数34】
【0066】
余事象尤度計算部９５Ｂのノードは、余事象分布コンポーネント計算部９４Ｂの各ノードの出力値を受け付け、当該入力値の総和を出力する。すなわち、余事象尤度計算部９５Ｂのノードの線形変換関数（５Ｂ）Ｉは、以下の式（３５）に示すとおりであり、既知クラス尤度計算部９５Ａのノードの活性化関数（５Ｂ）Ｏは、以下の式（３６）に示すとおりである。
【0067】
【数35】
【数36】
【0068】
このように、上述した数理モデル９０により、Ｋ個の既知クラスおよび１個の余事象クラスのそれぞれについての信号ｘｎの尤度の計算を表すことができる。
【0069】
《学習装置２０の構成》
ここで、図１に示すクラス識別システム１が備える学習装置２０の構成について説明する。学習装置２０は、数理モデル９０を訓練し、各ノードのパラメータの値を決定する。
図４は、第１の実施形態に係る学習装置２０の構成を示す概略ブロック図である。学習装置２０は、モデル記憶部２１、データセット受付部２２、分割部２３、変換部２４、第１学習部２５、評価部２６、第２学習部２７、出力部２８を備える。
ここで、図１に示すクラス識別システム１が備える学習装置２０の構成について説明する。学習装置２０は、数理モデル９０を訓練し、各ノードのパラメータの値を決定する。
図４は、第１の実施形態に係る学習装置２０の構成を示す概略ブロック図である。学習装置２０は、モデル記憶部２１、データセット受付部２２、分割部２３、変換部２４、第１学習部２５、評価部２６、第２学習部２７、出力部２８を備える。
【0070】
モデル記憶部２１は、数理モデル９０および当該モデルのパラメータθ´の値を記憶する。数理モデル９０のパラメータθ´は、式（１８）に示すように、余事象クラスの事前確率ｐ（ｋ＝０）、重み係数ｗ（ｋ、ｍ）、重み係数ｗε
（ｋ、ｍ）、定数ｗＮ
（ｋ，ｍ）、定数ｗＣ
（ｋ，ｍ）を含む。
データセット受付部２２は、数理モデル９０の訓練に用いる複数のデータセットの入力を受け付ける。データセットは、信号ｘｎを入力サンプルとし、当該信号ｘｎが属するクラスのラベルを出力サンプルとする。
データセット受付部２２は、数理モデル９０の訓練に用いる複数のデータセットの入力を受け付ける。データセットは、信号ｘｎを入力サンプルとし、当該信号ｘｎが属するクラスのラベルを出力サンプルとする。
【0071】
分割部２３は、データセット受付部２２が受け付けた複数のデータセットを、学習用データセットと検証用データセットに分割する。例えば、分割部２３は、予め定められた分割割合に基づいてデータセットを分割する。
【0072】
変換部２４は、式（１２）に従って、入力サンプルｘｎを非線形変換し、信号Ｘｎを得る。
【0073】
第１学習部２５は、Ｎ個の学習用データセットを用いて、誤差逆伝搬法により、数理モデル９０の重み係数ｗ（ｋ、ｍ）、重み係数ｗε
（ｋ、ｍ）、定数ｗＮ
（ｋ，ｍ）、定数ｗＣ
（ｋ，ｍ）の値を更新する。具体的には、入力サンプルを数理モデル９０に入力して計算される出力値と、出力サンプルの値とに基づいて、あるサンプルにおける識別誤差を計算する。例えば、第１学習部２５は、以下の式（３７）により、識別誤差を評価するカルバックライブラ情報量Ｊを得る。第１学習部２５は、カルバックライブラ情報量Ｊが最小となるように重み係数ｗ（ｋ、ｍ）、重み係数ｗε
（ｋ、ｍ）、定数ｗＮ
（ｋ，ｍ）、定数ｗＣ
（ｋ，ｍ）の値を更新する。第１学習部２５は、カルバックライブラ情報量Ｊが予め定めた目標値以下となるか、学習回数が予め定めた最大数を超えた場合に、パラメータの更新を終了する。なお、事前確率ｐ（ｋ＝０）については、後述の第２学習部２７にて更新するため、他の重み係数の学習段階では、事前確率ｐ（ｋ＝０）に仮の値（例えば、０．０１）を代入しておく。
【0074】
【数37】
【0075】
評価部２６は、第１学習部２５による数理モデル９０の訓練後、検証用データセットを用いて数理モデル９０を評価する。つまり、評価部２６は、数理モデル９０に従って計算をすることで、第１層９１、第２層９２、第３層９３（第１正規分布計算部９３Ａ、第２正規分布計算部９３Ｂ、二次関数計算部９３Ｃ）、第４層９４（正規分布コンポーネント計算部９４Ａ、余事象分布コンポーネント計算部９４Ｂ）、第５層９５（既知クラス尤度計算部９５Ａ、余事象尤度計算部９５Ｂ）として機能する。具体的には、評価部２６は、以下の式（３８）を用いて評価値ＰＲｅｃａｌｌを算出する。
【0076】
【数38】
【0077】
ここで、Φｋは、クラスｋの入力サンプルを正しく識別できた数を示す。Ψｋは、クラスｋの入力サンプルを誤って識別した数を示す。
【0078】
第２学習部２７は、評価値ＰＲｅｃａｌｌに基づいて学習処理を終了するか否かを判定し、学習を終了しない場合に、余事象クラスの事前確率ｐ（ｋ＝０）を更新する。具体的には、第２学習部２７は、現在の余事象クラスの事前確率ｐ（ｋ＝０）に、所定の更新量ｐ０を加算することで、余事象クラスの事前確率ｐ（ｋ＝０）を更新する。
第２学習部２７は、評価値ＰＲｅｃａｌｌと、新たな事前確率を適用した場合の評価値との差が所定の終了判定閾値以下である場合に、学習処理を終了すると判定する。
第２学習部２７は、評価値ＰＲｅｃａｌｌと、新たな事前確率を適用した場合の評価値との差が所定の終了判定閾値以下である場合に、学習処理を終了すると判定する。
【0079】
出力部２８は、学習処理を終了した数理モデル９０の学習済みモデルを、識別装置１０に出力する。
【0080】
《学習装置２０の動作》
図５は、第１の実施形態に係る学習装置２０の動作を示すフローチャートである。
学習装置２０のデータセット受付部２２が複数のデータセットの入力を受け付けると（ステップＳ１）、分割部２３は、複数のデータセットを、学習用データセットと検証用データセットに分割する（ステップＳ２）。
図５は、第１の実施形態に係る学習装置２０の動作を示すフローチャートである。
学習装置２０のデータセット受付部２２が複数のデータセットの入力を受け付けると（ステップＳ１）、分割部２３は、複数のデータセットを、学習用データセットと検証用データセットに分割する（ステップＳ２）。
【0081】
変換部２４は、複数の入力サンプルを非線形変換し入力信号を得る（ステップＳ３）。次に、第１学習部２５は、学習用データセットから変換された入力信号を用いて、誤差逆伝搬法により、数理モデル９０のパラメータ（重み係数ｗ（ｋ、ｍ）、重み係数ｗε
（ｋ、ｍ）、定数ｗＮ
（ｋ，ｍ）、定数ｗＣ
（ｋ，ｍ））の値を更新する（ステップＳ４）。第１学習部２５は、式（３７）で得られる識別誤差Ｊが目標値以下となったか否か、および学習回数が最大数を超えたか否かを判定する（ステップＳ５）。識別誤差Ｊが目標値より大きく、かつ学習回数が最大数未満である場合（ステップＳ５：ＮＯ）、学習装置２０はステップＳ３に処理を戻す。
【0082】
他方、識別誤差Ｊが目標値以下となった場合、または学習回数が最大数を超えた場合（ステップＳ５：ＹＥＳ）、第１学習部２５は、重み係数の更新を終了する。次に、評価部２６は、検証用データセットから変換された入力信号を用いて数理モデル９０の評価値ＰＲｅｃａｌｌを算出する（ステップＳ６）。第２学習部２７は、ステップＳ６で算出した評価値ＰＲｅｃａｌｌが予め定めた識別率の許容閾値以下となったか否かを判定する（ステップＳ７）。
【0083】
評価値ＰＲｅｃａｌｌが許容閾値より大きい場合（ステップＳ７：ＮＯ）、評価部２６は、余事象クラスの事前確率ｐ（ｋ＝０）を更新し、ステップＳ６に処理を戻す（ステップＳ８）。
他方、評価値ＰＲｅｃａｌｌが許容閾値以下となった場合（ステップＳ７：ＹＥＳ）、出力部２８は、学習処理を終了した数理モデル９０の学習済みモデルを、識別装置１０に出力する（ステップＳ９）。
他方、評価値ＰＲｅｃａｌｌが許容閾値以下となった場合（ステップＳ７：ＹＥＳ）、出力部２８は、学習処理を終了した数理モデル９０の学習済みモデルを、識別装置１０に出力する（ステップＳ９）。
【0084】
《識別装置１０の構成》
ここで、図１に示すクラス識別システム１が備える識別装置１０の構成について説明する。識別装置１０は、学習装置２０によって訓練された学習済みの数理モデル９０を用いて、入力データのクラスを識別する。
図６は、第１の実施形態に係る識別装置１０の構成を示す概略ブロック図である。識別装置１０は、モデル取得部１１、モデル記憶部１２、データ入力部１３、変換部１４、識別部１５、出力部１６を備える。
ここで、図１に示すクラス識別システム１が備える識別装置１０の構成について説明する。識別装置１０は、学習装置２０によって訓練された学習済みの数理モデル９０を用いて、入力データのクラスを識別する。
図６は、第１の実施形態に係る識別装置１０の構成を示す概略ブロック図である。識別装置１０は、モデル取得部１１、モデル記憶部１２、データ入力部１３、変換部１４、識別部１５、出力部１６を備える。
【0085】
モデル取得部１１は、学習装置２０から学習済みの数理モデル９０を取得する。モデル取得部１１は、取得した学習済みの数理モデル９０をモデル記憶部１２に記録する。
モデル記憶部１２は、モデル取得部１１が取得した学習済みの数理モデル９０を記憶する。
データ入力部１３は、クラスの識別対象となる入力データの入力を受け付ける。
変換部１４は、式（１２）に従って、入力データｘｎを非線形変換し、信号Ｘｎを得る。
識別部１５は、変換部１４が変換した信号Ｘｎをモデル記憶部１２が記憶する学習済みモデルに入力することで、当該信号Ｘｎの複数のクラスの尤度を算出し、当該尤度に基づいて、入力データが属するクラスを評価する。つまり、識別部１５は、数理モデル９０に従って計算をすることで、第１層９１、第２層９２、第３層９３（第１正規分布計算部９３Ａ、第２正規分布計算部９３Ｂ、二次関数計算部９３Ｃ）、第４層９４（正規分布コンポーネント計算部９４Ａ、余事象分布コンポーネント計算部９４Ｂ）、第５層９５（既知クラス尤度計算部９５Ａ、余事象尤度計算部９５Ｂ）として機能する。
出力部１６は、識別部１５による評価結果を出力する。
モデル記憶部１２は、モデル取得部１１が取得した学習済みの数理モデル９０を記憶する。
データ入力部１３は、クラスの識別対象となる入力データの入力を受け付ける。
変換部１４は、式（１２）に従って、入力データｘｎを非線形変換し、信号Ｘｎを得る。
識別部１５は、変換部１４が変換した信号Ｘｎをモデル記憶部１２が記憶する学習済みモデルに入力することで、当該信号Ｘｎの複数のクラスの尤度を算出し、当該尤度に基づいて、入力データが属するクラスを評価する。つまり、識別部１５は、数理モデル９０に従って計算をすることで、第１層９１、第２層９２、第３層９３（第１正規分布計算部９３Ａ、第２正規分布計算部９３Ｂ、二次関数計算部９３Ｃ）、第４層９４（正規分布コンポーネント計算部９４Ａ、余事象分布コンポーネント計算部９４Ｂ）、第５層９５（既知クラス尤度計算部９５Ａ、余事象尤度計算部９５Ｂ）として機能する。
出力部１６は、識別部１５による評価結果を出力する。
【0086】
《識別装置１０の動作》
図７は、第１の実施形態に係る識別装置１０の動作を示すフローチャートである。なお、以下の説明では、学習装置２０による学習済みの数理モデル９０は、モデル記憶部１２に既に記憶されているものとする。
図７は、第１の実施形態に係る識別装置１０の動作を示すフローチャートである。なお、以下の説明では、学習装置２０による学習済みの数理モデル９０は、モデル記憶部１２に既に記憶されているものとする。
【0087】
識別装置１０のデータ入力部１３は、クラスの識別対象となる入力データの入力を受け付ける（ステップＳ１１）。次に、変換部１４は、式（１１）に従って、入力データを非線形変換し、信号を得る（ステップＳ１２）。識別部１５は、ステップＳ１２で変換した信号Ｘｎをモデル記憶部１２が記憶する学習済みモデルに入力することで、当該信号Ｘｎの複数のクラスの尤度を算出する（ステップＳ１３）。識別部１５は、算出された尤度に基づいて、入力データが属するクラスを評価する（ステップＳ１４）。出力部１６は、識別部１５による評価結果を出力する（ステップＳ１５）。
【0088】
《作用・効果》
このように、第１の実施形態に係る数理モデル９０は、第１層９１、第２層９２、第２正規分布計算部９３Ｂを含む第３層９３、余事象尤度計算部９５Ｂを含む第５層９５を備えるニューラルネットワークモデルである。第１層９１には特徴ベクトルＸｎが入力される。第２層９２は、複数のクラスに係る分布を表す複数の正規分布関数の指数部に係る複数の二次関数の係数を表す重み変数ｗ（ｋ，ｍ）を有し、特徴ベクトルＸｎと重み変数ｗ（ｋ，ｍ）とに基づいてベクトル（２）Ｏｋ，ｍを計算する。第２正規分布計算部９３Ｂは、複数の正規分布関数の係数を表す重み変数ｗε （ｋ，ｍ）を有し、ベクトル（２）Ｏｋ，ｍと重み変数ｗε （ｋ，ｍ）とに基づいてベクトル（３Ｂ）Ｏｋ，ｍを計算する。余事象尤度計算部９５Ｂは、ベクトル（２）Ｏｋ，ｍとベクトル（３Ｂ）Ｏｋ，ｍとに基づいて、特徴ベクトルが複数のクラスのいずれにも属しないことの尤度である余事象尤度を計算する。
数理モデル９０は、識別装置１０に特徴ベクトルＸｎを第１層９１に入力するステップと、特徴ベクトルＸｎと重み変数ｗ（ｋ，ｍ）とに基づいてベクトル（２）Ｏｋ，ｍを計算するステップと、ベクトル（２）Ｏｋ，ｍと重み変数ｗε （ｋ，ｍ）とに基づいベクトル（３Ｂ）Ｏｋ，ｍを計算するステップと、ベクトル（２）Ｏｋ，ｍとベクトル（３Ｂ）Ｏｋ，ｍとに基づいて余事象尤度を計算するステップとを実行させる。
このように、第１の実施形態に係る数理モデル９０は、第１層９１、第２層９２、第２正規分布計算部９３Ｂを含む第３層９３、余事象尤度計算部９５Ｂを含む第５層９５を備えるニューラルネットワークモデルである。第１層９１には特徴ベクトルＸｎが入力される。第２層９２は、複数のクラスに係る分布を表す複数の正規分布関数の指数部に係る複数の二次関数の係数を表す重み変数ｗ（ｋ，ｍ）を有し、特徴ベクトルＸｎと重み変数ｗ（ｋ，ｍ）とに基づいてベクトル（２）Ｏｋ，ｍを計算する。第２正規分布計算部９３Ｂは、複数の正規分布関数の係数を表す重み変数ｗε （ｋ，ｍ）を有し、ベクトル（２）Ｏｋ，ｍと重み変数ｗε （ｋ，ｍ）とに基づいてベクトル（３Ｂ）Ｏｋ，ｍを計算する。余事象尤度計算部９５Ｂは、ベクトル（２）Ｏｋ，ｍとベクトル（３Ｂ）Ｏｋ，ｍとに基づいて、特徴ベクトルが複数のクラスのいずれにも属しないことの尤度である余事象尤度を計算する。
数理モデル９０は、識別装置１０に特徴ベクトルＸｎを第１層９１に入力するステップと、特徴ベクトルＸｎと重み変数ｗ（ｋ，ｍ）とに基づいてベクトル（２）Ｏｋ，ｍを計算するステップと、ベクトル（２）Ｏｋ，ｍと重み変数ｗε （ｋ，ｍ）とに基づいベクトル（３Ｂ）Ｏｋ，ｍを計算するステップと、ベクトル（２）Ｏｋ，ｍとベクトル（３Ｂ）Ｏｋ，ｍとに基づいて余事象尤度を計算するステップとを実行させる。
【0089】
このように、数理モデル９０は、第２層９２において、余事象分布コンポーネントに共通する二次関数部分を計算し、その計算結果を用いて余事象分布コンポーネントの正規分布部と二次関数項部とをそれぞれ計算するように構成される。正規分布部と二次関数項部の軸、即ち平均値μは共通する二次関数部分にのみ含まれるため、数理モデル９０を用いて計算される余事象分布コンポーネントは、パラメータθ´によらず常に正規分布部と二次関数項部の軸を同じくする。したがって、第１の実施形態に係る数理モデル９０は正規分布関数と二次関数の軸を一致させた混合余事象分布に基づいて、想定しないクラスに属する確率を推定することができる。
【0090】
〈第２の実施形態〉
第１の実施形態に係るパラメータθ´の重み係数ｗ（ｋ，ｍ）および重み係数ｗε （ｋ，ｍ）はそれぞれ定義域の制約を有する。具体的には、重み係数ｗ（ｋ，ｍ）は、式（３９）に示す制約を有し、重み係数ｗε （ｋ，ｍ）は、式（４０）に示す制約を有する。つまり、重み係数ｗ（ｋ，ｍ）のうちｘｘＴの対角要素に対応するものは０未満である必要があり、重み係数ｗε （ｋ，ｍ）は、０より大きく１より小さい必要がある。
第１の実施形態に係るパラメータθ´の重み係数ｗ（ｋ，ｍ）および重み係数ｗε （ｋ，ｍ）はそれぞれ定義域の制約を有する。具体的には、重み係数ｗ（ｋ，ｍ）は、式（３９）に示す制約を有し、重み係数ｗε （ｋ，ｍ）は、式（４０）に示す制約を有する。つまり、重み係数ｗ（ｋ，ｍ）のうちｘｘＴの対角要素に対応するものは０未満である必要があり、重み係数ｗε （ｋ，ｍ）は、０より大きく１より小さい必要がある。
【0091】
【数39】
【数40】
【0092】
第１の実施形態に係るクラス識別システム１については、学習時にパラメータθ´について制約を逸脱していないかを確認し、制約を逸脱する場合に適宜修正することで演算エラーを回避することができる。これに対し、第２の実施形態に係るクラス識別システム１は、パラメータθ´が制約を逸脱しないように学習を実施する。
【0093】
具体的には、第２の実施形態の数理モデル９０のうち、重み係数ｗｈ
（ｋ，ｍ）に対応するノードについて、ｗｈ
（ｋ，ｍ）を式（４１）に示す指数関数に置き換え、重み係数ｗε
（ｋ，ｍ）に対応するノードについて、ｗε
（ｋ，ｍ）を式（４２）に示すシグモイド関数に置き換える。そして、それぞれ代替パラメータｒｈ
（ｋ，ｍ）およびｒε
（ｋ，ｍ）を学習させる。
【0094】
【数41】
【数42】
【0095】
なお、他の実施形態においては、ｗｈ
（ｋ，ｍ）を表す式は式（４１）に限られず、値域の下限が無く０を上限とする関数であればよい。また、他の実施形態においては、ｗε
（ｋ，ｍ）を表す式は式（４２）に限られず、値域の下限が０であり上限が１である関数であればよい。
【0096】
このように、第２の実施形態によれば、クラス識別システム１は、パラメータθ´の一部の要素を、当該要素の定義域と一致する値域を有する関数に置き換えることで、パラメータθ´の制約を逸脱しないように学習を実施することができる。
【0097】
〈第３の実施形態〉
第１、第２の実施形態によれば、ニューラルネットワークである数理モデル９０を用いてクラスの識別を行うことができる。一方で、数理モデル９０の各パラメータθ´は、対数線形化したＧＭＭおよびＣＧＭＭのパラメータであり、式（１）や式（６）に示すＧＭＭおよびＣＧＭＭのパラメータであるμ（ｋ，ｍ）およびΣ（ｋ，ｍ）ではない。そのため、個別のＧＭＭコンポーネントおよびＣＧＭＭコンポーネントの形状を認識することが困難である。第３の実施形態では、数理モデル９０を解析し、ＧＭＭおよびＣＧＭＭの確率モデルを抽出する。
第１、第２の実施形態によれば、ニューラルネットワークである数理モデル９０を用いてクラスの識別を行うことができる。一方で、数理モデル９０の各パラメータθ´は、対数線形化したＧＭＭおよびＣＧＭＭのパラメータであり、式（１）や式（６）に示すＧＭＭおよびＣＧＭＭのパラメータであるμ（ｋ，ｍ）およびΣ（ｋ，ｍ）ではない。そのため、個別のＧＭＭコンポーネントおよびＣＧＭＭコンポーネントの形状を認識することが困難である。第３の実施形態では、数理モデル９０を解析し、ＧＭＭおよびＣＧＭＭの確率モデルを抽出する。
【0098】
図８は、第３の実施形態に係る解析装置３０の構成を示すブロック図である。
解析装置３０は、モデル取得部３１、モデル記憶部３２、共分散特定部３３、平均特定部３４、関数生成部３５、出力部３６を備える。
解析装置３０は、モデル取得部３１、モデル記憶部３２、共分散特定部３３、平均特定部３４、関数生成部３５、出力部３６を備える。
【0099】
モデル取得部３１は、学習装置２０から学習済みの数理モデル９０を取得する。モデル取得部３１は、取得した学習済みの数理モデル９０をモデル記憶部３２に記録する。
モデル記憶部３２は、モデル取得部３１が取得した学習済みの数理モデル９０を記憶する。
モデル記憶部３２は、モデル取得部３１が取得した学習済みの数理モデル９０を記憶する。
【0100】
共分散特定部３３は、モデル記憶部３２が記憶する数理モデル９０のパラメータθ´のうち、ｘｘＴに対応するパラメータを用いて、分散共分散行列Σ（ｋ，ｍ）を特定する。具体的には、共分散特定部３３は、パラメータθ´のうちｘｘＴに対応する各パラメータに（－２／（２－δｉ，ｊ））を乗算することで、分散共分散行列Σ（ｋ，ｍ）の各要素を得ることができる。
平均特定部３４は、数理モデル９０の第２層９２の出力に基づく勾配法により、平均ベクトルμ（ｋ，ｍ）を特定する。
平均特定部３４は、数理モデル９０の第２層９２の出力に基づく勾配法により、平均ベクトルμ（ｋ，ｍ）を特定する。
【0101】
関数生成部３５は、余事象分布の分散εｋ，ｍ、混合度αｋ，ｍ、βｋ，ｍをそれぞれ算出し、式（１）に示すＧＭＭ関数および式（６）に示すＣＧＭＭ関数を生成する。具体的には、関数生成部３５は、式（４３）に示すｗε
（ｋ，ｍ）の定義に基づいて分散εｋ，ｍを算出する。関数生成部３５は、式（４４）に示すｗＮ
（ｋ，ｍ）の定義に基づいて混合度αｋ，ｍを算出する。関数生成部３５は、式（４５）に示すｗＣ
（ｋ，ｍ）の定義に基づいて混合度βｋ，ｍを算出する。
【0102】
【数43】
【数44】
【数45】
【0103】
関数生成部３５は、特定したパラメータθを用いて、式（１）に示すＧＭＭ関数および式（６）に示すＣＧＭＭ関数から入力データｘのクラスを識別するためのプログラムを生成してもよい。当該プログラムは、入力データｘの入力を受け付けるステップと、特定したパラメータθと式（１）に示すＧＭＭ関数とに基づいて、入力データｘが既知のクラスに属する確率を算出するステップと、特定したパラメータθと式（６）に示すＣＧＭＭ関数とに基づいて、入力データｘが既知のクラスに属しない確率を算出するステップと、計算された確率を出力するステップとを、コンピュータに実行させる。
【0104】
このように、第３の実施形態に係る解析装置３０は、学習済みの数理モデル９０からＧＭＭおよびＣＧＭＭを表す確率モデルを抽出することができる。これにより、解析装置３０は、学習結果の可読性を高めることができる。また解析装置３０は、解析結果に基づいて、ＧＭＭ関数およびＣＧＭＭ関数から入力データのクラスを識別するプログラムを生成することができる。このプログラムは人にとって理解しやすいＧＭＭ関数およびＣＧＭＭ関数で表されるため、人手によるパラメータの調整が容易である。
【0105】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
【0106】
上述の実施形態においては、数理モデル９０を用いてクラス識別を行ったが、他の実施形態においては、これに限られない。例えば、他の実施形態においては、生成装置が数理モデル９０を用いて余事象クラスに属するデータを生成してもよい。
また、上述の実施形態においては、クラス識別システム１が機械学習を用いてクラス識別を行うが、これに限られない。例えば、他の実施形態においては、機械学習によらず、数理モデル９０を用いた計算を行ってもよい。
また、上述の実施形態においては、クラス識別システム１が機械学習を用いてクラス識別を行うが、これに限られない。例えば、他の実施形態においては、機械学習によらず、数理モデル９０を用いた計算を行ってもよい。
【0107】
また、上述のクラス識別システム１は、識別装置１０と学習装置２０とを備えるが、これに限られない。例えば、他の実施形態に係るクラス識別システム１は、同一の装置において学習処理と識別処理を行ってもよい。
また、上述のクラス識別システム１は、学習段階のステップＳ２においてデータセットを学習用データセットと検証用データセットとに分割し、検証用データセットを用いて評価値を算出するが、これに限られない。例えば、他の実施形態においては、すべてのデータセットを学習用に用い、同じデータセットを用いて評価値を算出してもよい。
また、上述のクラス識別システム１は、学習段階のステップＳ２においてデータセットを学習用データセットと検証用データセットとに分割し、検証用データセットを用いて評価値を算出するが、これに限られない。例えば、他の実施形態においては、すべてのデータセットを学習用に用い、同じデータセットを用いて評価値を算出してもよい。
【0108】
〈コンピュータ構成〉
図９は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ１００は、プロセッサ１１０、メインメモリ１３０、ストレージ１５０、インタフェース１７０を備える。
上述の識別装置１０および学習装置２０は、コンピュータ１００に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ１５０に記憶されている。プロセッサ１１０は、プログラムをストレージ１５０から読み出してメインメモリ１３０に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ１１０は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ１３０に確保する。プロセッサ１１０の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。
図９は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ１００は、プロセッサ１１０、メインメモリ１３０、ストレージ１５０、インタフェース１７０を備える。
上述の識別装置１０および学習装置２０は、コンピュータ１００に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ１５０に記憶されている。プロセッサ１１０は、プログラムをストレージ１５０から読み出してメインメモリ１３０に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ１１０は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ１３０に確保する。プロセッサ１１０の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。
【0109】
プログラムは、コンピュータ１００に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ１００は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ１１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。プロセッサ１１０がＦＰＧＡである場合、上述の学習済みの数理モデル９０をハードウェアとして構成させるコンフィグレーションの処理をコンピュータに実行させるためのコンフィグレーションプログラムの実行により、ＦＰＧＡが識別装置１０として機能するように構成される。また、他の実施形態においては、コンピュータ１００は、１または複数のコンピュータ上で仮想化されたものであってもよい。
【0110】
ストレージ１５０の例としては、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ１５０は、コンピュータ１００のバスに直接接続された内部メディアであってもよいし、インタフェース１７０または通信回線を介してコンピュータ１００に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ１００に配信される場合、配信を受けたコンピュータ１００が当該プログラムをメインメモリ１３０に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ１５０は、一時的でない有形の記憶媒体である。
【0111】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ１５０に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【0112】
１…クラス識別システム １０…識別装置 １１…モデル取得部 １２…モデル記憶部 １３…データ入力部 １４…変換部 １５…識別部 １６…出力部 ２０…学習装置 ２１…モデル記憶部 ２２…データセット受付部 ２３…分割部 ２４…変換部 ２５…第１学習部 ２６…評価部 ２７…第２学習部 ２８…出力部 ３０…解析装置 ３１…モデル取得部 ３２…モデル記憶部 ３３…共分散特定部 ３４…平均特定部 ３５…関数生成部 ３６…出力部 ９０…数理モデル ９１…第１層 ９２…第２層 ９３…第３層 ９３Ａ…第１正規分布計算部 ９３Ｂ…第２正規分布計算部 ９３Ｃ…二次関数計算部 ９４…第４層 ９４Ａ…正規分布コンポーネント計算部 ９４Ｂ…余事象分布コンポーネント計算部 ９５…第５層 ９５Ａ…既知クラス尤度計算部 ９５Ｂ…余事象尤度計算部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】