特許 5936160 パターン認識装置とその学習方法、及びパターン認識学習用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5936160

(24)【登録日】2016年5月20日

(45)【発行日】2016年6月15日

(54)【発明の名称】パターン認識装置とその学習方法、及びパターン認識学習用プログラム

(51)【国際特許分類】

   G06N 99/00 20100101AFI20160602BHJP

   G06F 17/30 20060101ALI20160602BHJP

【ＦＩ】

   G06N99/00 153

   G06F17/30 210D

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2015-2925(P2015-2925)

(22)【出願日】2015年1月9日

【審査請求日】2015年1月9日

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100130029

【弁理士】

【氏名又は名称】永井 道雄

(74)【代理人】

【識別番号】100166338

【弁理士】

【氏名又は名称】関口 正夫

(74)【代理人】

【識別番号】100152054

【弁理士】

【氏名又は名称】仲野 孝雅

(72)【発明者】

【氏名】星野 健

【審査官】 多胡 滋

(56)【参考文献】

【文献】 特開２００９−２８２６３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ９９／００

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部の、設定されたｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する学習手段と、
線形分離されていない学習パターン群に対して、前記ｄ個の要素を（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素に代えて前記学習手段が学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定するように前記学習手段を制御する制御手段と、を備え、
前記制御手段は、前記学習パターン群のすべてが線形分離されるか、又は前記要素の数がＤ個となるまで、前記（ｄ＋ｍ）個の要素にｍ個ずつ増やした要素の数で学習、線形分離、及び識別平面の固定を繰り返し行うように前記学習手段を制御することを特徴とするパターン認識装置。

【請求項2】

前記学習手段の学習及び線形分離はパーセプトロンにより行われることを特徴とする請求項１に記載のパターン認識装置。

【請求項3】

請求項１又は２に記載のパターン認識装置により得られた識別線又は識別平面を用いてパターン認識を行う、パターン認識装置であって、
前記ｄ次元の学習パターンを線形分離し、固定された識別線又は識別平面を用いて、入力パターンが該識別線又は識別平面で分離されている学習パターン群に属するか否かを判断する第１の判断と、前記入力パターンが前記識別線又は識別平面で分離されている学習パターン群に属さないと判断された場合に、前記（ｄ＋ｍ）次元の学習パターンを線形分離し、固定された識別平面を用いて、前記入力パターンが該識別平面で分離されている学習パターン群に属するか否かを判断する第２の判断と、を行う判断手段を備え、
前記入力パターンがいずれかの学習データ群に属すると判断されるまで、前記第２の判断の、前記入力パターンが識別平面で分離されている学習パターン群に属するか否かを判断する処理を繰り返し、繰り返す第２の判断においては、一つ前の第２の判断で用いた要素の数にｍ個増やした要素の数を用いて固定された識別平面で、分離されている学習パターン群に属するか否かを判断するパターン認識装置。

【請求項4】

学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部のｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する第１ステップと、
前記第１ステップで線形分離されていない学習パターン群に対して、Ｄ次元学習パターンの（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素を用いて学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定する第２ステップと、を備え、
前記第２ステップで、前記学習パターン群のすべてが線形分離されるか、前記要素の数がＤ個となるまで、前記第２ステップを繰り返し、繰り返す第２ステップにおいては、一つ前の第２ステップの要素の数よりもｍ個増やした要素の数で学習、線形分離、及び識別平面の固定を行うことを特徴とする、パターン認識装置のパターン認識学習方法。

【請求項5】

前記第１及び第２ステップの学習及び線形分離はパーセプトロンにより行われることを特徴とする請求項４に記載のパターン認識学習方法。

【請求項6】

請求項４又は５に記載のパターン認識学習方法により得られた識別線又は識別平面を用いてパターン認識を行う、パターン認識装置のパターン認識方法であって、
前記第１ステップで固定された識別線又は識別平面を用いて、入力パターンが該識別線又は識別平面で分離されている学習パターン群に属するか否かを判断する第３ステップと、
前記第３ステップで、前記入力パターンが前記識別線又は識別平面で分離されている学習パターン群に属さないと判断された場合に、前記第１ステップ後に行われる初めの第２ステップで固定された識別平面を用いて、入力パターンが該識別平面で分離されている学習パターン群に属するか否かを判断する第４ステップと、を備え、
前記入力パターンがいずれかの学習データ群に属すると判断されるまで、前記第４ステップの、前記入力パターンが識別平面で分離されている学習パターン群に属するか否かを判断する処理を繰り返し、繰り返す第４ステップにおいては、一つ前の第４ステップで用いた要素の数にｍ個増やした要素の数を用いて固定された識別平面で分離されている学習パターン群に属するか否かを判断するパターン認識方法。

【請求項7】

コンピュータに、
学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部のｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する第１手順と、
前記第１手順で線形分離されていない学習パターン群に対して、Ｄ次元学習パターンの（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素を用いて学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定する第２手順と、を実行させ、
前記第２手順で、前記学習パターン群のすべてが線形分離されるか、前記要素の数がＤ個となるまで、前記第２手順を繰り返し、繰り返す第２手順においては、一つ前の第２手順の要素の数よりもｍ個増やした要素の数で学習、線形分離、及び識別平面の固定を実行させるパターン認識学習用プログラム。

【請求項8】

前記第１及び第２手順の学習及び線形分離はパーセプトロンにより行われることを特徴とする請求項７に記載のパターン認識学習用プログラム。

【請求項9】

請求項７又は８に記載のパターン認識学習用プログラムにより得られた識別線又は識別平面を用いてパターン認識を、コンピュータに実行させる、パターン認識学習用プログラムであって、
前記第１手順で固定された識別線又は識別平面を用いて、入力パターンが該識別線又は識別平面で分離されている学習パターン群に属するか否かを判断する第３手順と、
前記第３手順で、前記入力パターンが前記識別線又は識別平面で分離されている学習パターン群に属さないと判断された場合に、前記第１手順後に行われる初めの第２手順で固定された識別平面を用いて、入力パターンが該識別平面で分離されている学習パターン群に属するか否かを判断する第４手順と、コンピュータに実行させ、
前記入力パターンがいずれかの学習データ群に属すると判断されるまで、前記第４手順の前記入力パターンが識別平面で分離されている学習パターン群に属するか否かを判断する処理を繰り返し、繰り返す第４手順においては、一つ前の第４ステップで用いた要素の数にｍ個増やした要素の数を用いて固定された識別平面で分離されている学習パターン群に属するか否かを判断するパターン認識学習用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パターン認識装置とその学習方法、及びパターン認識学習用プログラムに関わり、特に、学習パターンを線形分離するパターン認識装置とその学習方法、及びパターン認識学習用プログラムに関する。

【背景技術】

【0002】

パターン認識手法の一つに、認識対象のパターンを特定の種類のパターンに対応づける識別関数を用いる方法がある。識別関数はパターンの種類毎に識別境界によってパターン空間を分割し、分割された領域に属するパターンが当該種類のパターンに対応する。例えば、対象パターンが２次元パターンの場合には、識別関数が与える識別境界は識別線になり、３次元パターンの場合には、識別関数が与える識別境界は識別平面になり、一般にｎ次元パターンの場合には、識別関数が与える識別境界は識別ｎ次平面（「識別高次平面」ともいう）になる。

【0003】

パターン認識装置は、識別線（３次元以上は識別平面）によって、複数のパターンからなるパターン群を他のパターン群から分離し、空間上にそのパターン群のみが属する領域を作る。そして、新たに未知のパターンを入力すると、その未知のパターンが、分離した領域内に存在するかどうかを確認し、領域内に存在する場合、その未知のパターンは事前に分離したパターン群に属すると識別する。もし、領域外である場合は、別のパターン群に属すると識別する。

【0004】

図１は、２次元平面上で、パターン群Ａをパターン群Ｂとパターン群Ｃから分離する識別線を表す図である。図中の未知パターンは、識別線よりパターン群Ａ側の領域に存在するため、パターン群Ａのパターンであると識別される。

【0005】

パターン認識装置を開示する特許文献としては、特許文献１に、入力されたパターンを所定の複数の類の１つに分類して認識するパターン認識方法において、入力されたパターンを、各類の特徴を強調するように各類に対応した変換パラメータを用いて特徴変換処理を実行することにより各類に対応した複数の特徴空間のベクトルに変換し、変換した複数の特徴空間のベクトルに対してそれぞれ、各類の類似性尺度を示す判別関数を用いて判別関数の値を計算し、計算した複数の判別関数の値に基づいて入力されたパターンが属する類を選択することによりパターン認識を実行し、学習用パターンに基づいて、特徴変換処理の変換パラメータと判別関数とをパターン認識の誤り確率が最小になるように学習させて設定することの記載がある。

【0006】

また、特許文献２には、多次元のデータセットをスケーリングまたは次元を下げる方法が記載され、ｎ次元データセットからサンプル点を選択し、サンプル点を非線形マッピングすることにより、対応するｍ次元の点のセットを得て、次に、対応する点のセットを用いて、システム（例えば、ニューラルネットワーク）をトレーニングし、トレーニングプロセス中または終了時に、システムが、２つの点のセットの間の関係を生成または決定することの記載がある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平８−１０６２９５号公報（要約等）

【特許文献2】特表２００２−５４３５２５号公報（要約等）

【発明の概要】

【発明が解決しようとする課題】

【0008】

従来のパターン認識技術では、全学習パターンを等しい要素数（次元）のパターンとして、学習に用いていたため、その次元の空間で線形分離できない学習パターンの汎化能力は、極めて低いものになってしまうという課題があった。更に、線形分離可能な学習パターンについても、不必要に高い次元の空間で分離することになり、汎化能力が低下するという課題があった。

【0009】

線形分離不能な課題に対しては、学習パターンを非線形に分離するために、中間層を持つニューラルネットワークにバックプロパゲーションを使用して学習を行うことが多く行われたが、バックプロパゲーションは、学習に長時間掛かるにもかかわらず、多くの極小解を持つため、最小値への収束が約束されていないという課題があった。

【0010】

サポートベクターマシン(SVM)も学習パターンを高次元空間へ写像してから線形分離しているが、カーネル関数で写像しているため、写像後に、学習パターン毎の関係性が失われている可能性がある。

【課題を解決するための手段】

【0011】

本発明のパターン認識装置は、学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部の、設定されたｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する学習手段と、線形分離されていない学習パターン群に対して、前記ｄ個の要素を（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素に代えて前記学習手段が学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定するように前記学習手段を制御する制御手段と、を備え、前記制御手段は、前記学習パターン群のすべてが線形分離されるか、又は前記要素の数がＤ個となるまで、前記（ｄ＋ｍ）個の要素にｍ個ずつ増やした要素の数で学習、線形分離、及び識別平面の固定を繰り返し行うように前記学習手段を制御することを特徴とするパターン認識装置である。

【0012】

本発明のパターン認識学習方法は、学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部のｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する第１ステップと、前記第１ステップで線形分離されていない学習パターン群に対して、Ｄ次元学習パターンの（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素を用いて学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定する第２ステップと、を備え、前記第２ステップで、前記学習パターン群のすべてが線形分離されるか、前記要素の数がＤ個となるまで、前記第２ステップを繰り返し、繰り返す第２ステップにおいては、一つ前の第２ステップの要素の数よりもｍ個増やした要素の数で学習、線形分離、及び識別平面の固定を行うことを特徴とする、パターン認識装置のパターン認識学習方法である。

【0013】

本発明のパターン認識学習用プログラムは、コンピュータに、学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部のｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する第１手順と、前記第１手順で線形分離されていない学習パターン群に対して、Ｄ次元学習パターンの（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素を用いて学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定する第２手順と、を実行させ、前記第２手順で、前記学習パターン群のすべてが線形分離されるか、前記要素の数がＤ個となるまで、前記第２手順を繰り返し、繰り返す第２手順においては、一つ前の第２手順の要素の数よりもｍ個増やした要素の数で学習、線形分離、及び識別平面の固定を実行させるパターン認識学習用プログラムである。

【発明の効果】

【0014】

本発明によれば、線形分離可能な学習パターン群を分離し、かつ、未知パターンに対する認識能力（汎化能力）を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】２次元平面上で、パターン群Ａをパターン群Ｂとパターン群Ｃから分離する識別線を表す図である。

【図2】本発明の一実施形態のパターン認識装置の構成を示すブロック図である。

【図3】記憶部の構成を示すブロック図である。

【図4】パーセプトロンによるパターン群の識別平面学習例を示す図である。

【図5】本実施形態のパターン認識装置によりパーセプトロン学習を用いて線形分離された学習パターンを分離する識別平面を固定する処理を示すフローチャートである。

【図6】学習が完了したパーセプトロンに、未知のパターンが入力された場合の認識処理を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態について図面を用いて詳細に説明する。

【0017】

図２は本発明の一実施形態のパターン認識装置の構成を示すブロック図である。パターン認識装置１００は、データ入力部１１０とパターン処理部１２０とデータ出力部１３０と記憶部１４０とを備える。

【0018】

データ入力部１１０は、認識対象のパターン、学習パターン、及び必要に応じて各種パラメータ等のデータを受け取り、必要に応じて記憶部１４０に記憶する。

【0019】

パターン処理部１２０はパターン認識学習部１２２とパターン認識部１２４とを備える。

【0020】

パターン認識学習部１２２は、学習段階において、学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部の、設定されたｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する学習手段となる学習部と、線形分離されていない学習パターン群に対して、ｄ個の要素を（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素に代えて学習部が学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定するように学習部を制御する制御手段となる制御部と、を備え、制御部は、学習パターン群のすべてが線形分離されるか、又は要素の数がＤ個となるまで、（ｄ＋ｍ）個の要素にｍ個ずつ増やした要素の数で学習、線形分離、及び識別平面の固定を繰り返し行うように学習部を制御する。

【0021】

パターン認識部１２４は、データ入力部１１０で受けた入力データとなる認識対象データについて、パターン認識学習部１２２で固定された識別線又は識別平面を用いて、パターン認識を行い、認識結果をデータ出力部１３０に送る。具体的には、パターン認識部１２４は、パターン認識学習部１２２により、ｄ次元の学習パターンを線形分離し、固定された識別線又は識別平面を用いて、入力パターンが識別線又は識別平面で分離されている学習パターン群に属するか否かを判断する第１の判断と、入力パターンが識別線又は識別平面で分離されている学習パターン群に属さないと判断された場合に、（ｄ＋ｍ）次元の学習パターンを線形分離し、固定された識別平面を用いて、入力パターンが識別平面で分離されている学習パターン群に属するか否かを判断する第２の判断と、を行う判断部を備え、入力パターンがいずれかの学習データ群に属すると判断されるまで、第２の判断の、入力パターンが識別平面で分離されている学習パターン群に属するか否かを判断する処理を繰り返し、繰り返す第２の判断においては、一つ前の第２の判断で用いた要素の数にｍ個増やした要素の数を用いて固定された識別平面で分離されている学習パターン群に属するか否かを判断する。

【0022】

データ出力部１３０は、認識結果を表示器（図示せず）等に送る。

【0023】

図３では、パターン処理部１２０がパターン認識部１２４を含んでいるが、パターン認識部１２４を含まない構成とすることもできる。この場合には、パターン認識装置１００は、学習によりパターン認識用の識別線又は識別平面を固定する機能を有するパターン認識学習装置となる。

【0024】

図３に示すように、記憶部１４０は、結合係数記憶部１４１、閾値記憶部１４２、学習パターン記憶部１４３、学習パターン分離次元記憶部１４４、出力データ記憶部１４５、正解信号記憶部１４６を備える。また、記憶部１４０は固定した識別線又は識別平面を記憶するための記憶部（図示せず）を備える構成とし、パターン認識部１２４がパターン認識を実行する際に使用するようにしてもよい。

【0025】

本発明の実施の形態におけるパターン認識装置は、例えば、物体や顔画像を認識するために、画像データが学習データとして記憶されているパーソナルコンピュータ上などに構築することが可能である。この場合、パターン処理部１２０はＣＰＵ、演算に必要なデータを記憶するＲＡＭ、パターン認識学習処理やパターン認識処理を行うためのプログラムを記憶するＲＯＭなどから構成でき、記憶部１４０はＲＡＭ、ＲＯＭなどから構成できる。

【0026】

（動作の説明）
本実施形態では、パターン群を学習する問題において、各学習パターン群を分離する識別関数は、パーセプトロンを用いて学習する。

【0027】

Ｃ個の学習パターン群（学習パターン群）に属するＮ個の学習パターンＩ_ｎ(n=1..N)を学習パターン群毎に分離する課題を例として、パーセプトロンの動作を説明する。ここで、学習パターンＩ_ｎは、数式１の様なＤ次元のベクトルとする。

【0028】

【数1】

【0029】

学習パターン群ｃを分離する識別関数を数式２、３に示す。数式中で、ｗ^(c)はパーセプトロンの結合係数、θ^(c)は閾値、ｕ_n^(c)は活性値、r_n^(c)は出力、Ｔは転置を表す。パーセプトロンは、数式２、３にて出力値を計算し、もし間違った学習パターン群と判定した場合は、数式４、５によって結合係数と閾値を更新し識別平面を学習する。数式中で、ｔ_n^(c)は、教師信号を表し、Ｉ_nが学習パターン群ｃに属する場合は、ｔ_n^(c)＝１、学習パターン群ｃに属さない場合は、ｔ_n^(c) ＝０となる値である。

【0030】

【数2】

【0031】

【数3】

【0032】

【数4】

【0033】

【数5】

【0034】

ここまで説明したパーセプトロンによるパターン群の識別平面学習例として、図４に、２次元平面上のｋとｋ’の２個のパターン群をパーセプトロンで学習し、パターン群ｋを線形分離した状態を示した。パーセプトロンは、識別能力を考慮せずパターン群の分離のみを行うため、図４のように識別平面が学習パターン群ｋの近傍に配置されてしまい、未知パターンを誤認識しやすくなる。

【0035】

本実施形態では、図５のフローチャートに示すように、まず、ステップＳ１０１において、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部のｄ個（ｄ＜Ｄ）の要素のみを用いて（学習パターン次元数（要素数）を初期値ｄとし）、ステップＳ１０２において、パーセプトロンで学習を行い、ｄ次元学習パターンを線形分離する。ここで、分離された学習パターンは、以降の学習パターン群から除き、線形分離された学習データを分離する識別平面を固定する（ステップＳ１０３、Ｓ１０４）。

【0036】

次に、全ての学習パターンが線形分離できたか、又は学習パターンの次元数ｄがＤ個になったかを判断し（ステップＳ１０５）、全ての学習パターンが線形分離できてないか、又は学習パターンの次元数ｄがＤ個になっていない場合は、学習パターン次元数を（ｄ＋１）として（ステップＳ１０６）、まだ線形分離されていないＤ次元の学習パターンの（ｄ＋１）個の要素のみを用いて、残りの学習パターンを線形分離する（ステップＳ１０２）。ここでも、線形分離可能であった学習パターンは、以降の学習パターン群から除き、線形分離された学習データを分離する識別平面を固定する（ステップＳ１０３、Ｓ１０４）。

【0037】

この様な処理（ステップＳ１０２からステップＳ１０６）を全ての学習パターンが線形分離されるか、または、学習パターンの次元数（要素数）ｄがＤ個になるまで繰り返す。

【0038】

ここまでの処理のように、なるべく低次元空間で学習パターンを分離することによって、識別平面が学習パターン群から遠ざかり、汎化能力の高い位置に配置することができる。

【0039】

次に、学習が完了したパーセプトロンに、未知のパターンが入力された場合の認識処理について図６のフローチャートを用いて記述する。

【0040】

まず、ステップＳ２０１において、学習パターン次元数（要素数）を初期値ｄとし、入力された未知パターンが、低次元空間（ここでは、ｄ次元）で先に線形分離された識別平面で認識を実施し（ステップＳ２０２）、識別平面の領域に属しているかどうかを判定する（ステップＳ２０３）。もし、属している場合は、未知パターンが、その識別平面によって分離される学習パターン群に属するものとして、判定し、認識を完了する(ステップＳ２０４)。低次元空間で線形分離されたどの学習パターン群にも属していない場合は、学習パターン次元数を（ｄ＋１）として（ステップＳ２０６）、より高次元空間で線形分離された識別平面の領域に属しているかどうかを確認する。このように、低次元空間で線形分離された識別平面で認識を実施し（ステップＳ２０２）、識別平面から高次元空間で線形分離された識別平面を用いて順に判定することで（ステップＳ２０３）、未知パターンが属する学習パターン群を決定することが出来る。この様な処理（ステップＳ２０２からステップＳ２０６）を学習パターンの次元数（要素数）ｄがＤ個になるまで繰り返す。

【0041】

本実施形態では、まず、要素数の少ない低次元の学習パターンを、パーセプトロンによって学習し、線形分離する。次に、線形分離できなかった学習パターンのみについて、今より高次元の学習パターンとして、パーセプトロンで線形分離する。この方法を繰り返して、線形分離できない学習パターンを徐々に高次元の学習パターンとしていき、全ての学習パターン群を線形分離する。

【0042】

一般的に、低次元空間では、学習パターン間のユークリッド距離が近く、線形分離しにくいが、線形分離できた場合、識別平面が、学習パターンから離れて存在するので、汎化能力が高くなる。逆に、高次元空間では、学習パターン群間のユークリッド距離が遠くなり、線形分離しやすくなるが、識別平面が、学習パターン群の近傍に位置することが多く、汎化能力が低くなる。

【0043】

本実施形態は、パターン認識装置の一手法であるパーセプトロンにおいて、既知のパターンである学習パターンの一部の要素 (座標)を用いた低次元の学習パターンから線形分離を行い、線形分離不能な学習パターン群に対しては、徐々に多くの要素を用いた高次元の学習パターンを用いることによって、線形分離可能な学習パターン群を分離し、かつ、未知パターンに対する認識能力（汎化能力）を向上させている。

【0044】

本実施形態によれば、学習パターンが問題に最適な次元のベクトルでなくても、低次元空間から学習を進めることによって、汎化能力の高い識別平面を得ることが可能となる。また本実施形態は、低次元空間にてパーセプトロン学習を行うことで、結合係数と学習パターンの要素数が少なくなり、計算量が減るので、学習処理を高速化することができる。

【0045】

本実施形態では、識別平面を学習するために、パーセプトロンを用いたが、サポートベクターマシンなど、線形分離するパターン認識装置に適用することも可能である。

【0046】

本実施形態では、学習パターンの次元数（要素数）を＋１個ずつ上げていったが、要素数を＋２個以上増加させることも可能である。

【0047】

本実施形態では、学習パターンの要素数変更方法を示していないが、学習パターンの特徴を良くとらえている要素を抜き出し、低次元の学習パターンとして使用することも可能である。

【0048】

本実施形態では、学習パターンを空間中の点として説明したが、物体の特徴を学習パターンとすることで、物体認識に利用することが可能である。

【0049】

なお、上記のパターン認識学習装置の全部又は一部は、ハードウェア、ソフトウェア又はこれらの組合せにより実現することができる。また、上記のパターン認識学習方法及びパターン認識方法も、ハードウェア、ソフトウェア又はこれらに組合せにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。ハードウェアで構成する場合、図２に示す、データ入力部１１０、パターン処理部１２０、データ出力部１３０の一部又は全部、パターン処理部１２０のパターン認識学習部１２２、パターン認識部１２４を構成する構成部の一部又は全部を、例えば、ＬＳＩ(Large Scale Integrated circuit)、ＡＳＩＣ(Application Specific Integrated Circuit)、ゲートアレイ、ＦＰＧＡ(Field Programmable Gate Array)等の集積回路（ＩＣ）で構成することができる。

【0050】

ソフトウェアで構成する場合、パターン認識装置としてのコンピュータを、プログラムを記憶した、ハードディスク、ＲＯＭ等の記憶部、液晶ディスプレイ等の表示部、演算に必要なデータを記憶するＤＲＡＭ、ＣＰＵ、各部を接続するバスで構成することができる。例えば、図２に示したパターン処理部１２０のパターン認識学習部１２２、パターン認識部１２４を構成する構成部の一部又は全部の動作をプログラムで記述し、このプログラムをＲＯＭ等の記憶部に記憶し、演算に必要な情報をＤＲＡＭに記憶し、ＣＰＵで当該プログラムを動作させることで、本実施の形態に係わるセンター装置の機能をプログラムで実現することができる。

【0051】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0052】

さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

【0053】

上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下の構成には限られない。

【0054】

（付記１）
学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部の、設定されたｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する学習手段と、
線形分離されていない学習パターン群に対して、前記ｄ個の要素を（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素に代えて前記学習手段が学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定するように前記学習手段を制御する制御手段と、を備え、
前記制御手段は、前記学習パターン群のすべてが線形分離されるか、又は前記要素の数がＤ個となるまで、前記（ｄ＋ｍ）個の要素にｍ個ずつ増やした要素の数で学習、線形分離、及び識別平面の固定を繰り返し行うように前記学習手段を制御することを特徴とするパターン認識装置。

【0055】

（付記２）
前記学習手段の学習及び線形分離はパーセプトロン又はサポートベクターマシンにより行われることを特徴とする付記１に記載のパターン認識装置。

【0056】

（付記３）
付記１又は２に記載のパターン認識装置により得られた識別線又は識別平面を用いてパターン認識を行う、パターン認識装置であって、
前記ｄ次元の学習パターンを線形分離し、固定された識別線又は識別平面を用いて、入力パターンが該識別線又は識別平面で分離されている学習パターン群に属するか否かを判断する第１の判断と、前記入力パターンが前記識別線又は識別平面で分離されている学習パターン群に属さないと判断された場合に、前記（ｄ＋ｍ）次元の学習パターンを線形分離し、固定された識別平面を用いて、前記入力パターンが該識別平面で分離されている学習パターン群に属するか否かを判断する第２の判断と、を行う判断手段を備え、
前記入力パターンがいずれかの学習データ群に属すると判断されるまで、前記第２の判断の、前記入力パターンが識別平面で分離されている学習パターン群に属するか否かを判断する処理を繰り返し、繰り返す第２の判断においては、一つ前の第２の判断で用いた要素の数にｍ個増やした要素の数を用いて固定された識別平面で、分離されている学習パターン群に属するか否かを判断するパターン認識装置。

【0057】

（付記４）
学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部のｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する第１ステップと、
前記第１ステップで線形分離されていない学習パターン群に対して、Ｄ次元学習パターンの（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素を用いて学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定する第２ステップと、を備え、
前記第２ステップで、前記学習パターン群のすべてが線形分離されるか、前記要素の数がＤ個となるまで、前記第２ステップを繰り返し、繰り返す第２ステップにおいては、一つ前の第２ステップの要素の数よりもｍ個増やした要素の数で学習、線形分離、及び識別平面の固定を行うことを特徴とする、パターン認識装置のパターン認識学習方法。

【0058】

（付記５）
前記第１及び第２ステップの学習及び線形分離はパーセプトロン又はサポートベクターマシンにより行われることを特徴とする付記４に記載のパターン認識学習方法。

【0059】

（付記６）
付記４又は５に記載のパターン認識学習方法により得られた識別線又は識別平面を用いてパターン認識を行う、パターン認識装置のパターン認識方法であって、
前記第１ステップで固定された識別線又は識別平面を用いて、入力パターンが該識別線又は識別平面で分離されている学習パターン群に属するか否かを判断する第３ステップと、
前記第３ステップで、前記入力パターンが前記識別線又は識別平面で分離されている学習パターン群に属さないと判断された場合に、前記第１ステップ後に行われる初めの第２ステップで固定された識別平面を用いて、入力パターンが該識別平面で分離されている学習パターン群に属するか否かを判断する第４ステップと、を備え、
前記入力パターンがいずれかの学習データ群に属すると判断されるまで、前記第４ステップの、前記入力パターンが識別平面で分離されている学習パターン群に属するか否かを判断する処理を繰り返し、繰り返す第４ステップにおいては、一つ前の第４ステップで用いた要素の数にｍ個増やした要素の数を用いて固定された識別平面で分離されている学習パターン群に属するか否かを判断するパターン認識方法。

【0060】

（付記７）
コンピュータに、
学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部のｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する第１手順と、
前記第１手順で線形分離されていない学習パターン群に対して、Ｄ次元学習パターンの（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素を用いて学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定する第２手順と、を実行させ、
前記第２手順で、前記学習パターン群のすべてが線形分離されるか、前記要素の数がＤ個となるまで、前記第２手順を繰り返し、繰り返す第２手順においては、一つ前の第２手順の要素の数よりもｍ個増やした要素の数で学習、線形分離、及び識別平面の固定を実行させるパターン認識学習用プログラム。

【0061】

（付記８）
前記第１及び第２手順の学習及び線形分離はパーセプトロン又はサポートベクターマシンにより行われることを特徴とする付記７に記載のパターン認識学習用プログラム。

【0062】

（付記９）
付記７又は８に記載のパターン認識学習用プログラムにより得られた識別線又は識別平面を用いてパターン認識を、コンピュータに実行させる、パターン認識学習用プログラムであって、
前記第１手順で固定された識別線又は識別平面を用いて、入力パターンが該識別線又は識別平面で分離されている学習パターン群に属するか否かを判断する第３手順と、
前記第３手順で、前記入力パターンが前記識別線又は識別平面で分離されている学習パターン群に属さないと判断された場合に、前記第１手順後に行われる初めの第２手順で固定された識別平面を用いて、入力パターンが該識別平面で分離されている学習パターン群に属するか否かを判断する第４手順と、コンピュータに実行させ、
前記入力パターンがいずれかの学習データ群に属すると判断されるまで、前記第４手順の前記入力パターンが識別平面で分離されている学習パターン群に属するか否かを判断する処理を繰り返し、繰り返す第４手順においては、一つ前の第４手順で用いた要素の数にｍ個増やした要素の数を用いて固定された識別平面で分離されている学習パターン群に属するか否かを判断するパターン認識学習用プログラム。

【産業上の利用可能性】

【0063】

本発明は、パターン認識装置とその学習方法、及びパターン認識学習用プログラムに用いられ、特に、オブジェクト認識スキャナ付きＰＯＳ、顔認証装置に好適に用いられる。

【符号の説明】

【0064】

１００ パターン認識装置
１１０ データ入力部
１２０ パターン処理部
１２２ パターン認識学習部
１２４ パターン認識部
１３０ データ出力部
１４０ 記憶部

【要約】

【課題】線形分離可能な学習パターン群を分離し、かつ、未知パターンに対する認識能力（汎化能力）を向上させる。
【解決手段】学習パターン群に対して、Ｄ（Ｄは３以上の正の整数）次元学習パターンの一部の、設定されたｄ（ｄはｄ＜Ｄの正の整数）個の要素を用いて学習を行い、ｄ次元の学習パターンを線形分離し、識別線又は識別平面を固定する。線形分離されていない学習パターン群に対して、ｄ個の要素を（ｄ＋ｍ）個（ｍはｄ＋ｍ≦Ｄとなる正の整数）の要素に代えて学習を行い、（ｄ＋ｍ）次元の学習パターンを線形分離し、識別平面を固定する。そして、学習パターン群のすべてが線形分離されるか、又は要素の数がＤ個となるまで、（ｄ＋ｍ）個の要素にｍ個ずつ増やした要素の数で学習、線形分離、及び識別平面の固定を行う。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】