特許 6282711 パターン認識装置、パターン認識方法、及びパターン認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6282711

(24)【登録日】2018年2月2日

(45)【発行日】2018年2月21日

(54)【発明の名称】パターン認識装置、パターン認識方法、及びパターン認識プログラム

(51)【国際特許分類】

   G06K 9/68 20060101AFI20180208BHJP

   G06T 7/00 20170101ALI20180208BHJP

   G10L 15/10 20060101ALI20180208BHJP

【ＦＩ】

   G06K9/68 E

   G06T7/00 350B

   G10L15/10 300F

【請求項の数】11

【全頁数】14

(21)【出願番号】特願2016-208790(P2016-208790)

(22)【出願日】2016年10月25日

(62)【分割の表示】特願2013-20611(P2013-20611)の分割

【原出願日】2013年2月5日

(65)【公開番号】特開2017-27622(P2017-27622A)

(43)【公開日】2017年2月2日

【審査請求日】2016年10月25日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】小野 聡一郎

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１２−１５０６８１（ＪＰ，Ａ）

【文献】 特開２０１１−２８６８２（ＪＰ，Ａ）

【文献】 特開２００９−１２９２５３（ＪＰ，Ａ）

【文献】 特開２００２−２５１５９２（ＪＰ，Ａ）

【文献】 熊木慶介, 外２名，“分離型格子ＨＭＭの構造を用いた隠れ条件付確率場に基づく顔画像認識”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２０１１年１１月１７日，第１１１巻, 第３１７号，p.131-136

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／６８

Ｇ０６Ｔ ７／００

Ｇ１０Ｌ １５／１０

(57)【特許請求の範囲】

【請求項1】

入力パターンから特徴ベクトルを抽出する抽出部と、
前記特徴ベクトルに対する識別関数値を計算する第１計算部と、
前記識別関数値をガウス分布における対数尤度の近似とみなすことにより、所定の変換パラメータを用いた第１演算により前記識別関数値から対数尤度を計算し、得られた対数尤度を用いた第２演算により、前記入力パターンの分類先に相当する認識分類ごとの事後確率を計算する第２計算部と、
前記事後確率に基づき、前記入力パターンを前記認識分類のいずれかに分類する認識部と、を備えることを特徴とするパターン認識装置。

【請求項2】

予め用意しておいたパターン学習の学習データに対して計算された前記事後確率を、前記変換パラメータの関数とみなし、対数を取り、勾配法による第３演算により、前記変換パラメータの更新値を計算して、前記事後確率が増大するように前記変換パラメータを更新する第１更新部をさらに備えることを特徴とする請求項１に記載のパターン認識装置。

【請求項3】

予め用意しておいたパターン学習の学習データに対して計算された前記事後確率を評価し、評価結果に基づき、前記事後確率が増大するように、最近傍決定法による第４演算により前記第１計算部による前記識別関数値の計算に用いるパラメータが登録されている認識辞書の値の更新値を計算して、前記認識辞書を更新する第２更新部をさらに備えることを特徴とする請求項１または２に記載のパターン認識装置。

【請求項4】

前記入力パターンを、前記事後確率が最大となる前記認識分類に分類した前記認識部の認識結果が、適切か否かを検証し、検証結果に基づき、不適切な前記認識結果を破棄する破棄部をさらに備えることを特徴とする請求項１乃至３のいずれか一項に記載のパターン認識装置。

【請求項5】

前記破棄部は、
不適切な前記認識結果を破棄するための破棄指標が、予め定められた閾値以上か否かを判定し、前記破棄指標が前記閾値以上の場合、前記認識結果を破棄することを特徴とする請求項４に記載のパターン認識装置。

【請求項6】

入力パターンから特徴ベクトルを抽出する抽出工程と、
前記特徴ベクトルに対する識別関数値を計算する第１計算工程と、
前記識別関数値をガウス分布における対数尤度の近似とみなすことにより、所定の変換パラメータを用いた第１演算により前記識別関数値から対数尤度を計算し、得られた対数尤度を用いた第２演算により、前記入力パターンの分類先に相当する認識分類ごとの事後確率を計算する第２計算工程と、
前記事後確率に基づき、前記入力パターンを前記認識分類のいずれかに分類する認識工程と、を含むことを特徴とするパターン認識方法。

【請求項7】

予め用意しておいたパターン学習の学習データに対して計算された前記事後確率を、前記変換パラメータの関数とみなし、対数を取り、勾配法による第３演算により、前記変換パラメータの更新値を計算して、前記事後確率が増大するように前記変換パラメータを更新する第１更新工程をさらに含むことを特徴とする請求項６に記載のパターン認識方法。

【請求項8】

予め用意しておいたパターン学習の学習データに対して計算された前記事後確率を評価し、評価結果に基づき、前記事後確率が増大するように、最近傍決定法による第４演算により前記第１計算工程による前記識別関数値の計算に用いるパラメータが登録されている認識辞書の値の更新値を計算して、前記認識辞書を更新する第２更新工程をさらに含むことを特徴とする請求項６または７に記載のパターン認識方法。

【請求項9】

コンピュータに、
入力パターンから特徴ベクトルを抽出する抽出部の機能と、
前記特徴ベクトルに対する識別関数値を計算する第１計算部の機能と、
前記識別関数値をガウス分布における対数尤度の近似とみなすことにより、所定の変換パラメータを用いた第１演算により前記識別関数値から対数尤度を計算し、得られた対数尤度を用いた第２演算により、前記入力パターンの分類先に相当する認識分類ごとの事後確率を計算する第２計算部の機能と、
前記事後確率に基づき、前記入力パターンを前記認識分類のいずれかに分類する認識部の機能と、を実現させるパターン認識プログラム。

【請求項10】

前記コンピュータに、
予め用意しておいたパターン学習の学習データに対して計算された前記事後確率を、前記変換パラメータの関数とみなし、対数を取り、勾配法による第３演算により、前記変換パラメータの更新値を計算して、前記事後確率が増大するように前記変換パラメータを更新する第１更新部の機能をさらに実現させる請求項９に記載のパターン認識プログラム。

【請求項11】

前記コンピュータに、
予め用意しておいたパターン学習の学習データに対して計算された前記事後確率を評価し、評価結果に基づき、前記事後確率が増大するように、最近傍決定法による第４演算により前記第１計算部による前記識別関数値の計算に用いるパラメータが登録されている認識辞書の値の更新値を計算して、前記認識辞書を更新する第２更新部の機能をさらに実現させる請求項９または１０に記載のパターン認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、パターン認識装置、パターン認識方法、及びパターン認識プログラムに関する。

【背景技術】

【0002】

従来から、入力された文字、音声、又は画像などを自動的に分類するパターン認識技術が知られている。このようなパターン認識の分野では、二次形式の形の識別関数が多く用いられている。これらの識別関数には、最近傍決定法及びその実現手段の学習ベクトル量子化、複合類似度及びその派生系である部分空間法、カーネル部分空間法、相互部分空間法、類似ベイズ法（修正二次識別関数）、球面擬似ベイズ法などがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第２７３９９５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来のパターン認識技術は、用いる識別関数が確率的な意味を有していない。そのため、従来のパターン認識技術では、言語モデルによる知識処理などの他の分野との相性が悪く、システム全体の性能が低下する。

【課題を解決するための手段】

【0005】

実施形態に係るパターン認識装置は、入力パターンから特徴ベクトルを抽出する抽出部と、前記特徴ベクトルに対する識別関数値を計算する第１計算部と、前記識別関数値をガウス分布における対数尤度の近似とみなすことにより、所定の変換パラメータを用いた第１演算により前記識別関数値から対数尤度を計算し、得られた対数尤度を用いた第２演算により、前記入力パターンの分類先に相当する認識分類ごとの事後確率を計算する第２計算部と、前記事後確率に基づき、前記入力パターンを前記認識分類のいずれかに分類する認識部と、を備える。

【図面の簡単な説明】

【0006】

【図1】第１の実施形態に係るパターン認識装置の構成例を示す図。

【図2】第１の実施形態に係るパターン認識機能の構成例を示す図。

【図3】第１の実施形態に係るパターン認識時の処理手順例を示すフローチャート。

【発明を実施するための形態】

【0007】

以下に、添付図面を参照して、パターン認識装置、パターン認識方法、及びパターン認識プログラムの実施形態を詳細に説明する。

【0008】

［第１の実施形態］
＜装置構成＞
図１は、本実施形態に係るパターン認識装置１００の構成例を示す図である。図１に示すように、本実施形態に係るパターン認識装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、及びＲＡＭ（Random Access Memory）１０３などを備えている。また、パターン認識装置１００は、外部記憶装置１０４、入力装置１０５、表示装置１０６、及び通信ＩＦ（Interface）１０７などを備えている。本実施形態に係るパターン認識装置１００は、各ハードウェアがバスＢを介して接続されている。

【0009】

ＣＰＵ１０１は、装置全体の制御や搭載機能を実現する演算装置である。ＲＯＭ１０２は、例えば、機能を実現するプログラムや機能設定のデータなどが格納されている不揮発性の半導体メモリである。ＲＡＭ１０３は、プログラムやデータが読み出され一時保持される揮発性の半導体メモリである。よって、ＣＰＵ１０１は、例えば、ＲＯＭ１０２から、プログラムやデータをＲＡＭ１０３上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する。

【0010】

外部記憶装置１０４は、例えば、ＨＤＤ（Hard Disk Drive）やメモリカード（Memory Card）などの不揮発性の記憶装置である。なお、外部記憶装置１０４には、フレキシブルディスク（ＦＤ）、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）などの記録媒体も含まれる。入力装置１０５は、例えば、テンキー、タッチパネル、又はキーボードなどであり、パターン認識装置１００に各操作信号を入力するのに用いられる。表示装置１０６は、例えば、ディスプレイなどであり、パターン認識装置１００による処理結果を表示する。通信ＩＦ１０７は、パターン認識装置１００を所定のデータ伝送路に接続するインタフェースである。これにより、パターン認識装置１００は、通信ＩＦ１０７を介して、他の機器とデータ通信を行うことができる。

【0011】

以上のように、本実施形態では、上記構成により、入力信号を自動分類するパターン認識機能を提供することができる。

【0012】

＜パターン認識機能＞
本実施形態に係るパターン認識機能について説明する。本実施形態に係るパターン認識装置１００は、入力パターンから特徴ベクトルを抽出する。パターン認識装置１００は、特徴ベクトルに対する識別関数の値（以下「識別関数値」という）を計算する。パターン認識装置１００は、確率的な意味を有する確率尺度に変換するための変換パラメータ（以下「尤度変換パラメータ」という）に基づき、識別関数値を事後確率に変換し、入力パターンの分類先に相当する認識分類ごとの事後確率を計算する。パターン認識装置１００は、事後確率に基づき、入力パターンを認識分類のいずれかに分類する。本実施形態に係るパターン認識装置１００は、このようなパターン認識機能を有している。

【0013】

従来のパターン認識技術では、二次形式の形の識別関数が用いられているが、用いる識別関数が確率的な意味を必ずしも有していない。そのため、従来のパターン認識技術では、言語モデルによる知識処理などの他の分野との相性が悪く、システム全体の性能が低下する。

【0014】

そこで、本実施形態に係るパターン認識機能では、上記識別関数が、いずれもガウス分布の対数尤度（尤度の自然対数）の近似とみなせる点に着目し、識別関数一般について統一した取り扱いの方法を提案する。さらに、本実施形態に係るパターン認識機能では、事後確率によって学習指標を与えることで、初期値に依存せず収束を保証し、逐次パターン学習する仕組みを提案する。

【0015】

以下に、本実施形態に係るパターン認識機能の構成とその動作について説明する。図２は、本実施形態に係るパターン認識機能の構成例を示す図である。図２に示すように、本実施形態に係るパターン認識機能は、信号入力部１１、特徴抽出部１２、識別関数計算部（第１計算部）１３、事後確率計算部（第２計算部）１４、認識部１５、及び認識結果破棄部１６などを有している。本実施形態では、これらの各機能部の動作により、パターン認識の基本機能（以上便宜上「基本機能」という）を実現する。また、本実施形態に係るパターン認識機能は、尤度変換パラメータ更新部（第１更新部）１７と辞書更新部（第２更新部）１８などを有している。本実施形態では、これらの各機能部の動作により、認識結果に基づくパターン学習機能（以下便宜上「学習機能」という）を実現する。

【0016】

《基本機能》
信号入力部１１は、認証対象である入力パターンを入力信号として受け付ける。認証対象である入力パターンには、文字、音声、又は画像などがあり、入力信号には、これらのデジタル情報や、これらのデジタル情報に対して所定の信号処理（例えば「２値化」）を施した前処理のデジタル情報などが相当する。

【0017】

特徴抽出部１２は、入力パターンから特徴ベクトルを抽出する。特徴抽出部１２は、信号入力部１１からの入力信号を一定次元の数ベクトルに変換する。特徴抽出部１２は、入力信号に対して、長さや量子化レベルを正規化するなどの前処理を実行し、前処理後の信号値を得る。特徴抽出部１２は、前処理後の信号値に対して、ガウシアンフィルタなどのフィルタ処理やフーリエ変換などの変換処理を実行し、フィルタ／変換処理後の信号値を得る。その結果、特徴抽出部１２は、前処理後の信号値やフィルタ／変換処理後の信号値を成分とするベクトルを出力することで、特徴ベクトルを抽出する。

【0018】

なお、このとき抽出される特徴ベクトルは、すべてノルムが１となるように正規化してもよい。また、特徴抽出部１２は、複数の入力信号それぞれに対して特徴ベクトルを抽出したり、１つの入力信号にランダムに生成したノイズなどの相異なる変動を加えたりするなどして、特徴ベクトルを複数抽出してもよい。また、特徴抽出部１２は、これらの方法によって抽出された特徴ベクトルを、仮の特徴ベクトルとして扱い、後述する正定値カーネルによって再生核ヒルベルト空間上の特徴ベクトルに変換することとしてもよい。

【0019】

識別関数計算部１３は、特徴ベクトルに対する識別関数値を計算する。識別関数計算部１３は、特徴抽出部１２により抽出された特徴ベクトルの認識分類（以下「カテゴリ」という）に対する識別関数値を計算する。

【0020】

例えば、識別関数計算部１３は、最近傍決定法による識別関数を用いて識別関数値ｆ（ｉ）（ｘ）を計算する。このときの識別関数は、例えば、認識辞書保持部９３が保持する認識辞書のプロトタイプ数を各カテゴリに対して１とする場合、入力された特徴ベクトルｘのカテゴリｉに対して、

【数1】

となる。

【0021】

また、識別関数計算部１３は、部分空間法及び複合類似度法による識別関数を用いて識別関数値ｆ（ｉ）（ｘ）を計算してもよい。このときの識別関数は、例えば部分空間法においては、認識辞書保持部９３が保持する認識辞書のカテゴリｉに対応する部分空間の正規直交基底をr１（ｉ） ，・・・，ｒｈ（ｉ）とする場合、

【数2】

また複合類似度法においては前記部分空間の直交補空間の正規直交基底rｈ＋１（ｉ） ，・・・，ｒＤ（ｉ）及び追加のパラメータλ１（ｉ），・・・，λＤ（ｉ）を用いて

【数3】

となる（式中の「・」は標準内積を表す）。なお、入力された特徴ベクトルは、||x||＝１と正規化されているものとする。

【0022】

また、識別関数計算部１３は、同様に相互部分空間法による識別関数を用いて識別関数値ｆ（ｉ）（ｘ）を計算してもよい。このときの識別関数は、例えば、入力された複数の特徴ベクトルｘを主成分分析し、得られた入力部分空間をＷとする場合、

【数4】

となる。

【0023】

また、識別関数計算部１３は、カーネル部分空間法による識別関数を用いて識別関数値ｆ（ｉ）（ｘ）を計算してもよい。このときの識別関数は、例えば、仮の特徴ベクトルをｘ、学習データをｒ１（ｉ），・・・，ｒＮ（ｉ）、それに付随するパラメータをα１（ｉ），・・・，αＮ（ｉ）とする場合、

【数5】

となる。このとき正定値カーネルＫ（・，・）は、仮の特徴ベクトルｘから再生核ヒルベルト空間上への写像を与えており、この写像先を特徴ベクトルｘとして取り扱える。また、上記以外の場合も、識別関数は、一般的に値が小さいほど、カテゴリとの類似性が高くなる実数値の関数として統一的に取り扱うことができる。

【0024】

このように、本実施形態に係る基本機能では、識別関数一般について統一した取り扱い方法を提案する。

【0025】

なお、認識辞書保持部９３は、パターン認識装置１００が備える記憶装置の所定の記憶領域に相当し、認識対象の各カテゴリに対する識別関数のパラメータ（識別関数値ｆ（ｉ）（ｘ）の計算に用いるパラメータ）が登録されている認識辞書を保持している。認識辞書の値は、後述する辞書更新部１８により更新され、学習結果が反映される。また、認識辞書の初期値は、例えば、上記識別関数の種別に従って、予め定めることができる。

【0026】

事後確率計算部１４は、識別関数値ｆ（ｉ）（ｘ）を事後確率に変換し、各カテゴリの事後確率を計算する。事後確率計算部１４は、尤度変換パラメータ保持部９２が保持する尤度変換パラメータに基づき、識別関数計算部１３により計算された識別関数値ｆ（ｉ）（ｘ）をカテゴリごとの事後確率に変換する。なお、尤度変換パラメータ保持部９２は、パターン認識装置１００が備える記憶装置の所定の記憶領域に相当し、確率的な意味を有する確率尺度に変換するための尤度変換パラメータを保持している。尤度変換パラメータは、後述する尤度変換パラメータ更新部１７により更新され、学習結果が反映される。

【0027】

事後確率計算部１４は、尤度変換パラメータ保持部９２が保持する尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））を用いた

【数6】

により、対数尤度ｌ（ｉ）（ｄ）を計算する。なお、式中のｄ（ｉ）は、識別関数計算部１３により計算された識別関数値ｆ（ｉ）（ｘ）であり、全てのカテゴリをまとめてｄ：＝（ｄ（１），・・・，ｄ（ｃ））Ｔと表せる（ｃ：カテゴリ数、Ｔ：転置）。このときの尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））は、カテゴリによらず、一定の値としてもよい。

【0028】

また、事後確率計算部１４は、当該カテゴリ以外の識別関数も考慮して、ｗ（ｉ）をｃ次元ベクトル値とする

【数7】

により、対数尤度ｌ（ｉ）（ｄ）を計算してもよい。

【0029】

上記各識別関数は、全てガウス分布における対数尤度の近似とみなせる。このことから、本実施形態に係る事後確率計算部１４が有する対数尤度ｌ（ｉ）（ｄ）の計算モデルは、一般の識別関数を適切にモデル化したものとみなせる。

【0030】

次に事後確率計算部１４は、計算した対数尤度ｌ（ｉ）（ｄ）を用いた

【数8】

により、事後確率Ｐ（ｉ）（ｄ）を計算する。なお、式中のＬ（ｉ）（ｄ）は、尤度Ｌ（ｄ）＝ｅｘｐ（ｌ（ｉ）（ｄ））である。

【0031】

また、事後確率計算部１４は、各カテゴリの事前確率がｐ（ｉ）の形で与えられる場合、

【数9】

により、事後確率Ｐ（ｉ）（ｄ）を計算してもよい。

【0032】

また、事後確率計算部１４は、入力パターンの分布する空間の次元数がカテゴリごとに異なる可能性を考慮して、対数尤度ｌ（ｉ）（ｄ）を微小領域で近似的に積分した値

【数10】

を用いて、事後確率Ｐ（ｉ）（ｄ）を計算してもよい。なお、式中のＥ（ｉ）はカテゴリｉの分布の次元数を表し、εは微小領域の大きさを表す。これらの値は、予め定められた正の定数である。また、ＶＥ（ｉ）（ε）はＥ（ｉ）次元体積である。また、Ｅ（ｉ），ＶＥ（ｉ）（ε）は、例えば、部分空間法の場合、

【数11】

となる。

【0033】

認識部１５は、事後確率Ｐ（ｉ）（ｄ）に基づき、入力パターンをカテゴリのいずれかに分類し、パターン認識する。認識部１５は、事後確率計算部１４により計算された事後確率Ｐ（ｉ）（ｄ）が最大となるカテゴリｉに、入力パターンを分類する。認識部１５は、入力パターンの分類を認識結果として、認識結果保持部９１に格納する。なお、認識結果保持部９１は、パターン認識装置１００が備える記憶装置の所定の記憶領域に相当する。

【0034】

認識結果破棄部１６は、認識部１５の認識結果（入力パターンの分類結果）が適切か否かを検証し、認識結果が不適切な場合、該当した認識結果を破棄する。このとき認識結果破棄部１６は、事後確率Ｐ（ｉ）（ｄ）が最大となるカテゴリｉが認識結果として適切か否かを検証する。事後確率計算部１４により計算された事後確率Ｐ（ｉ）（ｄ）には、次のような可能性が含まれる。事後確率Ｐ（ｉ）（ｄ）の最大値Ｐｍａｘ（以下「最大事後確率Ｐｍａｘ」という）が十分大きくない場合には、誤った認識結果である可能性が高いと考えられる。また、カテゴリの最大尤度Ｌｍａｘや全カテゴリの尤度を合計した全尤度Ｌａｌｌが小さい場合には、例えば、文字を認識するパターン認識に対して、文字以外（画像など）が入力されるなど、認識対象以外のパターンが誤って入力された可能性が高いと考えられる。なお、最大尤度Ｌｍａｘは、入力パターンがカテゴリに分類された場合に推定される分類条件の尤度の最大値に相当し、全尤度Ｌａｌｌは、推定される分類条件の尤度の合計値に相当する。

【0035】

そこで、本実施形態では、認識結果破棄部１６が、不適切な認識結果を破棄するための指標Ｒ（ｄ）（以下「破棄指標Ｒ（ｄ）」という）が定義された

【数12】

により、認識結果を検証する。なお、式中のａ，ｂ，ｃ，ｄ，ｅ，ｆは予め定められた非負の定数であり、ｌｍａｘ，ｌａｌｌは最大尤度Ｌｍａｘ，全尤度Ｌａｌｌの対数である。

【0036】

認識結果破棄部１６は、検証結果に基づき、不適切な認識結果を破棄する。具体的には、認識結果破棄部１６は、破棄指標Ｒ（ｄ）が、予め定められた閾値以上か否かを判定し、認識結果を検証する。認識結果破棄部１６は、破棄指標Ｒ（ｄ）が閾値以上の場合、不適切な認識結果と判断する。その結果、認識結果破棄部１６は、認識結果保持部９１にアクセスし、該当データを消去することで、不適切な認識結果を破棄する。

【0037】

このように、本実施形態に係る基本機能では、事後確率Ｐ（ｉ）（ｄ）によって入力パターンを認識し、不適切な認識結果を破棄する。これにより、本実施形態に係る基本機能では、確率的な意味を有していない識別関数を用いる従来のパターン認識の問題点（言語モデルによる知識処理などの他の分野との相性の悪さ）を改善することができる。その結果、本実施形態に係る基本機能では、システム全体の性能を向上することができる。

【0038】

《学習機能》
尤度変換パラメータ更新部１７は、事後確率Ｐ（ｉ）（ｄ）を計算する際に用いる尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））を更新する。尤度変換パラメータ更新部１７は、予め用意しておいたパターン学習のデータ（以下「学習データ」という）に対して、

【数13】

で計算された事後確率の値Ｌ（Ｘ）を評価する。なお、ｙｎはｎ番目の学習データが属するカテゴリであり、ｄｎはｎ番目の識別関数値である。

【0039】

尤度変換パラメータ更新部１７は、評価結果に基づき、事後確率の値Ｌ（Ｘ）が増大するように、尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））を更新する。このとき尤度変換パラメータ更新部１７は、尤度変換パラメータ保持部９２にアクセスし、所定の記憶領域に保持された値（ｑ（ｉ），ｗ（ｉ））を、事後確率の値Ｌ（Ｘ）が増大するような値に更新する。

【0040】

また、尤度変換パラメータ更新部１７は、事後確率の値Ｌ（Ｘ）を尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））の関数とみなし、対数を取り、勾配法による

【数14】

【数15】

により、更新値を計算する。なお、δｉｙｎは

【数16】

で定義されるクロネッカーのデルタ記号であり、βは予め定められたパターン学習用の正の係数（以下「学習係数」という）である。また、尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））は、更新を繰り返すことで最適値に収束することから、初期値を無作為に定めてもよい。

【0041】

辞書更新部１８は、認識対象の各カテゴリに対する識別関数のパラメータが登録されている認識辞書を更新する。辞書更新部１８は、予め用意しておいた学習データに対して、認識辞書の値ｒ（ｉ）を評価する。辞書更新部１８は、評価結果に基づき、事後確率の値Ｌ（Ｘ）が増大するように、認識辞書の値ｒ（ｉ）を更新する。このとき辞書更新部１８は、認識辞書保持部９３にアクセスし、所定の記憶領域に保持された値ｒ（ｉ）を、事後確率の値Ｌ（Ｘ）が増大するような値に更新する。このとき辞書更新部１８は、例えば、カテゴリごとのプロトタイプ数１の最近傍決定法による場合、

【数17】

により、更新値を計算する。

【0042】

このように、本実施形態に係る学習機能では、事後確率Ｐ（ｉ）（ｄ）によって学習指標を与え、初期値に依存せず収束を保証するパターン学習を逐次行う。その結果、本実施形態に係る学習機能では、パターン学習にかかる時間を軽減することができる。

【0043】

このような本実施形態に係るパターン認識機能は、パターン認識装置１００において、パターン認識プログラムが実行され、上記各機能部が連携動作することで実現される。

【0044】

本実施形態に係るパターン認識プログラムは、実行環境であるパターン認識装置１００（コンピュータ）が読み取り可能な外部記憶装置１０４に、インストール可能な形式又は実行可能な形式のファイルで記録され提供される。パターン認識プログラムは、上記各機能部を含むモジュール構成となっており、ＣＰＵ１０１が外部記憶装置１０４からプログラムを読み出し実行することで、ＲＡＭ１０３上に各機能部が生成される。なお、パターン認識プログラムの提供方法は、この限りでない。例えば、パターン認識プログラムを、インターネットなどに接続された機器に格納し、通信ＩＦ１０７を介して、ネットワーク経由でダウンロードする方法であってもよい。また、パターン認識プログラムを、ＲＯＭ１０２などに予め組み込んで提供する方法であってもよい。

【0045】

なお、上記には、本実施形態に係るパターン認識機能が、パターン認識プログラム（ソフトウェア）の実行により実現される例を説明したが、この限りでない。例えば、上記各機能部の一部又は全部を、ハードウェアロジック（回路など）の実装により実現してもよい。

【0046】

以下に、本実施形態に係るパターン認識プログラム実行時の処理（各機能部の連携動作）について、フローチャートを用いて説明する。

【0047】

図３は、本実施形態に係るパターン認識時の処理手順例を示すフローチャートである。図３に示すように、本実施形態に係るパターン認識装置１００では、上記各機能部が以下のような処理手順により連携動作する。

【0048】

信号入力部１１は、認証対象である入力パターンの入力信号を受け付ける（ステップＳ１０１）。

【0049】

これを受けて特徴抽出部１２は、入力パターンの入力信号から特徴ベクトルｘを抽出する（ステップＳ１０２）。このとき特徴抽出部１２は、まず、信号入力部１１からの入力信号に対して、長さや量子化レベルを正規化するなどの前処理を実行し、前処理後の信号値を得る。次に特徴抽出部１２は、前処理後の信号値に対して、ガウシアンフィルタなどのフィルタ処理やフーリエ変換などの変換処理を実行し、フィルタ／変換処理後の信号値を得る。その結果、特徴抽出部１２は、前処理後の信号値やフィルタ／変換処理後の信号値を成分とするベクトルを出力することで、特徴ベクトルｘを抽出する。

【0050】

これを受けて識別関数計算部１３は、特徴ベクトルｘに対する識別関数値ｆ（ｉ）（ｘ）を計算する（ステップＳ１０３）。このとき識別関数計算部１３は、最近傍決定法、部分空間法及び複合類似度法、相互部分空間法、カーネル部分空間法などのいずれかの識別関数を用いて、特徴抽出部１２により抽出された特徴ベクトルｘのカテゴリｉに対する識別関数値ｆ（ｉ）（ｘ）を計算する。識別関数計算部１３は、認識辞書保持部９３にアクセスし、認識辞書保持部９３が保持する識別関数のパラメータを用いて、識別関数値ｆ（ｉ）（ｘ）を計算する。

【0051】

これを受けて事後確率計算部１４は、識別関数値ｆ（ｉ）（ｘ）を事後確率に変換し、各カテゴリの事後確率Ｐ（ｉ）（ｄ）を計算する（ステップＳ１０４）。このとき事後確率計算部１４は、尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））に基づき、識別関数計算部１３により計算された識別関数値ｆ（ｉ）（ｘ）をカテゴリごとの事後確率Ｐ（ｉ）（ｄ）に変換する。事後確率計算部１４は、まず、尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））を用いた計算式により、対数尤度ｌ（ｉ）（ｄ）を計算する。事後確率計算部１４は、尤度変換パラメータ保持部９２にアクセスし、尤度変換パラメータ保持部９２が保持する尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））を用いて、対数尤度ｌ（ｉ）（ｄ）を計算する。次に事後確率計算部１４は、計算した対数尤度ｌ（ｉ）（ｄ）を用いた計算式により、事後確率Ｐ（ｉ）（ｄ）を計算する。

【0052】

これを受けて認識部１５は、事後確率Ｐ（ｉ）（ｄ）に基づき、入力パターンをカテゴリのいずれかに分類し、パターン認識する（ステップＳ１０５）。このとき認識部１５は、事後確率計算部１４により計算された事後確率Ｐ（ｉ）（ｄ）が最大となるカテゴリｉに、入力パターンを分類する。その結果、認識部１５は、入力パターンの分類を認識結果として、認識結果保持部９１に格納する。

【0053】

これを受けて認識結果破棄部１６は、事後確率Ｐ（ｉ）（ｄ）が最大となるカテゴリｉが認識結果（入力パターンの分類先）として適切か否かを判定する（ステップＳ１０６）。このとき認識結果破棄部１６は、不適切な認識結果を破棄するための破棄指標Ｒ（ｄ）が閾値以上か否かを判定することで、認識結果が適切か否かを判定する。

【0054】

その結果、認識結果破棄部１６は、破棄指標Ｒ（ｄ）が閾値以上で、適切な認識結果でない（不適切な認識結果）と判定した場合（ステップＳ１０６：ＮＯ）、認識結果保持部９１にアクセスし、該当データを消去することで、不適切な認識結果を破棄する（ステップＳ１０７）。このように、本実施形態に係るパターン認識装置１００は、事後確率Ｐ（ｉ）（ｄ）によって入力パターンを認識し、不適切な認識結果を破棄する。

【0055】

一方、認識結果破棄部１６が、破棄指標Ｒ（ｄ）が閾値未満で、適切な認識結果と判定した場合（ステップＳ１０６：ＹＥＳ）、認識結果は破棄されない。

【0056】

これを受けて尤度変換パラメータ更新部１７は、事後確率Ｐ（ｉ）（ｄ）を計算する際に用いる尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））を更新する（ステップＳ１０８）。このとき尤度変換パラメータ更新部１７は、まず、予め用意しておいた学習データに対して、所定の計算式により計算された事後確率の値Ｌ（Ｘ）を評価する。次に尤度変換パラメータ更新部１７は、評価結果に基づき、事後確率の値Ｌ（Ｘ）が増大するように、尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））を更新する。具体的には、尤度変換パラメータ更新部１７は、尤度変換パラメータ保持部９２にアクセスし、尤度変換パラメータ保持部９２が保持する値（ｑ（ｉ），ｗ（ｉ））を、事後確率の値Ｌ（Ｘ）が増大するような値に更新する。

【0057】

これを受けて辞書更新部１８は、予め定めておいた設定値に基づき、パターン学習を実行するか否かを判定する（ステップＳ１０９）。

【0058】

その結果、辞書更新部１８は、実行する旨の設定に従い、パターン学習を実行すると判定した場合（ステップＳ１０９：ＹＥＳ）、認識辞書を更新する（ステップＳ１１０）。このとき辞書更新部１８は、予め用意しておいた学習データに対して、認識辞書の値ｒ（ｉ）を評価する。次に辞書更新部１８は、評価結果に基づき、事後確率の値Ｌ（Ｘ）が増大するように、認識辞書の値ｒ（ｉ）を更新する。具体的には、辞書更新部１８は、認識辞書保持部９３にアクセスし、認識辞書保持部９３が保持する値ｒ（ｉ）を、事後確率の値Ｌ（Ｘ）が増大するような値に更新する。このように、本実施形態に係るパターン認識装置１００は、事後確率Ｐ（ｉ）（ｄ）によって学習指標を与え、初期値に依存せず収束を保証するパターン学習を逐次行う。

【0059】

なお、辞書更新部１８が、実行しない旨の設定で、パターン学習を実行しないと判定した場合（ステップＳ１０９：ＮＯ）、認識辞書は更新されない。

【0060】

＜まとめ＞
以上のように、本実施形態に係るパターン認識装置１００によれば、特徴抽出部１２が、入力パターンから特徴ベクトルｘを抽出する。次に識別関数計算部１３が、特徴ベクトルｘに対する識別関数値ｆ（ｉ）（ｘ）を計算する。次に事後確率計算部１４が、尤度変換パラメータ（ｑ（ｉ），ｗ（ｉ））に基づき、識別関数値ｆ（ｉ）（ｘ）を事後確率に変換し、カテゴリごとの事後確率Ｐ（ｉ）（ｄ）を計算する。次に認識部１５が、事後確率Ｐ（ｉ）（ｄ）に基づき、入力パターンをカテゴリのいずれかに分類する。

【0061】

これによって、本実施形態に係るパターン認識装置１００では、事後確率Ｐ（ｉ）（ｄ）によって入力パターンが認識され、不適切な認識結果が破棄される。これにより、本実施形態に係るパターン認識装置１００は、確率的な意味を有していない識別関数を用いる従来のパターン認識の問題点（他の分野との相性の悪さ）を改善することができる。具体的には、本実施形態に係るパターン認識装置１００は、確率的な意味を有する事後確率Ｐ（ｉ）（ｄ）を用いてパターン認識を行うことで、複数認識の統合や統合学習が容易となり、認識精度の高精度化が期待でき、システム全体の性能を向上することができる。

【0062】

また、本実施形態に係るパターン認識装置１００では、事後確率Ｐ（ｉ）（ｄ）によって学習指標が与えられ、初期値に依存せず収束が保証されたパターン学習が逐次行われる。これにより、本実施形態に係るパターン認識装置１００は、パターン学習にかかる時間を軽減することができる。

【0063】

なお、上記実施形態では、パターン認識装置１００が備える記憶装置の所定の記憶領域が、認識結果保持部９１、尤度変換パラメータ保持部９２、及び認識辞書保持部９３などに相当する構成例を示したが、この限りでない。認識結果、尤度変換パラメータ、及び認識辞書などは、例えば、記録媒体などのような、パターン認識装置１００が読み取り可能な外部記憶装置１０４の所定の記憶領域に保持されていてもよい。

【0064】

また、上記実施形態では、パターン認識装置１００が、尤度変換パラメータ更新部１７と辞書更新部１８などの学習機能を有する構成例を示したが、この限りでない。学習機能は、パターン認識装置１００と異なる機器が実現してもよい。具体的には、パターン認識装置１００と異なる機器が、尤度変換パラメータ更新部１７と辞書更新部１８などを有する構成であってもよい。この場合、パターン認識装置１００は、通信ＩＦ１０７を介して、尤度変換パラメータ更新部１７と辞書更新部１８などを有する機器とデータ通信を行う。これにより、パターン認識装置１００が実現する基本機能とパターン認識装置１００と異なる機器が実現する学習機能とを連携動作させ、本実施形態に係るパターン認識機能を実現できる。

【0065】

最後に、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0066】

１１ 信号入力部
１２ 特徴抽出部
１３ 識別関数計算部
１４ 事後確率計算部
１５ 認識部
１６ 認識結果破棄部
１７ 尤度変換パラメータ更新部
１８ 辞書更新部
９１ 認識結果保持部
９２ 尤度変換パラメータ保持部
９３ 認識辞書保持部

【図1】

【図2】

【図3】