特許 6547280 設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6547280

(24)【登録日】2019年7月5日

(45)【発行日】2019年7月24日

(54)【発明の名称】設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム

(51)【国際特許分類】

   G06N 20/10 20190101AFI20190711BHJP

   G06N 20/00 20190101ALI20190711BHJP

【ＦＩ】

   G06N20/10

   G06N20/00 130

【請求項の数】7

【全頁数】20

(21)【出願番号】特願2014-231395(P2014-231395)

(22)【出願日】2014年11月14日

(65)【公開番号】特開2016-95677(P2016-95677A)

(43)【公開日】2016年5月26日

【審査請求日】2017年10月5日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】松永 和久

【審査官】 多賀 実

(56)【参考文献】

【文献】 久保 純貴 外３名，「野球映像における投手のコンディション推定の高精度化に関する検討」，映像情報メディア学会技術報告，（一社）映像情報メディア学会，２０１３年 ２月１１日，第３７巻，第８号，ｐｐ．１４１−１４６

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／００−９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

分類が既知の複数の学習用情報と、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力する入力手段と、
前記学習用情報と前記試験用情報から各々に対応する特徴ベクトルを取得する取得手段と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、前記学習用情報を分類する複数の分類面を構築する学習手段と、
前記学習手段で構築した複数の分類面のうちの１つを選定して取得手段で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験手段と、
前記試験手段で求めた識別率が最も高い分類面を選択する選択手段と、
前記選択手段により選択された分類面を情報分類装置に設定する設定手段と、
を備える設定装置。

【請求項2】

前記取得手段は、前記学習用情報と前記試験用情報とから、Ｂｏｆ（Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ）により情報の特徴を定量化した特徴ベクトルを取得し、
さらに、取得した特徴ベクトルをＬ２ノルムで正規化を行なう正規化手段を備え、
前記学習手段は、前記正規化手段により正規化された特徴ベクトルを分類するための複数の分類面を構築する、
ことを特徴とする請求項１に記載の設定装置。

【請求項3】

請求項１又は２に記載の設定装置が構築した分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
を備える情報分類装置。

【請求項4】

分類が既知の複数の学習用情報と、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力する入力工程と、
前記学習用情報と前記試験用情報から各々に対応する特徴ベクトルを取得する取得工程と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、前記学習用情報を分類する複数の分類面を構築する学習工程と、
前記学習工程で構築した複数の分類面のうちの１つを選定して取得工程で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験工程と、
前記試験工程で求めた識別率が最も高い分類面を選択する選択工程と、
前記選択工程により選択された分類面を情報分類装置に設定する設定工程と、
を含む設定装置の分類面設定方法。

【請求項5】

請求項４に記載の設定装置の分類面設定方法によって設定された分類面に従って、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類工程、
を含む情報分類装置の情報分類方法。

【請求項6】

コンピュータを、
分類が既知の複数の学習用情報と、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力する入力手段、
前記学習用情報と前記試験用情報から各々に対応する特徴ベクトルを取得する取得手段、
特徴ベクトル間の類似度のべき乗値に基づいて、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、前記学習用情報を分類する複数の分類面を構築する学習手段、
前記学習手段で構築した複数の分類面のうちの１つを選定して取得手段で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験手段、
前記試験手段で求めた識別率が最も高い分類面を選択する選択手段、
前記選択手段により選択された分類面を情報分類装置に設定する設定手段、
として機能させるためのプログラム。

【請求項7】

コンピュータを、
請求項６に記載のプログラムの実行により設定された分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報の分類に用いる分類面を情報分類装置に設定するための設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラムに関する。

【背景技術】

【0002】

指紋や顔等の類似・非類似の分類を行う際に、サポートベクトルマシン（ＳＶＭ：Support Vector Machine）を用いた情報分類装置を使用する。ＳＶＭは、未知の情報をどのように分類すべきかを、既知の学習用情報を用いて情報を分類するための分類面（情報を分類するための分類条件を表す関数）を予め構築しておき、その分類面を用いて未知の情報を分類するものである。ＳＶＭは、線形ＳＶＭと非線形ＳＶＭに大別できるが、情報を特徴空間に写像する技術を用いて情報を分類する非線形ＳＶＭの方がより複雑な情報を正確に分類することができる。

【0003】

非特許文献１は、非線形ＳＶＭに設定する分類面を構築するために用いるカーネルとして、特徴ベクトルの要素の各々をべき乗した関数式を開示している。カーネルは、分類対象の情報から抽出した特徴ベクトルの関係を求める関数式である。非特許文献１は、開示するカーネルを用いることにより、画像の分類精度を上げる技術を開示している。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Sabri Boughorbel、外２名、「GENERALIZED HISTOGRAM INTERSECTION KERNEL FOR IMAGE RECOGNITION」、International Conference on Image Processing (ICIP)、２００５年９月

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１が開示するカーネルは、特徴ベクトルの各要素の値をそれぞれべき乗する計算処理を行っている。べき乗計算の処理は、計算処理の負荷が大きい。したがって、非特許文献１が開示する技術を用いると、特徴ベクトルの要素の数が増加すると処理負荷が大きいべき乗計算処理の回数も増加し、処理負荷が大きくなるという問題があった。
本発明は、上記問題点に鑑みてなされたもので、情報から取得した特徴ベクトルの要素の数が増加してもカーネルのべき乗計算の処理負荷が小さい設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明に係る設定装置は、分類が既知の複数の学習用情報と、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力する入力手段と、前記学習用情報と前記試験用情報から各々に対応する特徴ベクトルを取得する取得手段と、特徴ベクトル間の類似度のべき乗値に基づいて、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、前記学習用情報を分類する複数の分類面を構築する学習手段と、前記学習手段で構築した複数の分類面のうちの１つを選定して取得手段で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験手段と、前記試験手段で求めた識別率が最も高い分類面を選択する選択手段と、前記選択手段により選択された分類面を情報分類装置に設定する設定手段と、を備えることを特徴とする。
また、上記目的を達成するために、本発明に係る情報分類装置は、前記設定装置が構築した分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、特徴ベクトルの要素の数が増加してもカーネルのべき乗計算の処理負荷を小さくすることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態１に係る情報分類装置のブロック図である。

【図2】図１に示す情報分類装置の機能構成図である。

【図3】画像から特徴ベクトルを抽出し、抽出した特徴ベクトルを正規化する処理を説明するための図であり、（ａ）は画像を（縦５マス、横５マス）のブロックに分割した例を示し、（ｂ）は特徴ベクトルの正規化について説明するための図である。

【図4】特徴ベクトルを２値に分類することを説明するための概念図であり、（ａ）は分類面を容易に設定可能な場合、（ｂ）は分類面を容易に設定できない場合を説明する図である。

【図5】カーネルの計算例を説明するための図であり、（ａ）は正規化された学習用画像の特徴ベクトル、（ｂ）は正規化された他の学習用画像の特徴ベクトル、（ｃ）はカーネルの計算例、（ｄ）は（ａ）の棒グラフ、（ｅ）は（ｂ）の棒グラフ、（ｆ）は（ｄ）と（ｅ）の重なり部分、を示す。

【図6】分類面の構築について説明するための図であり、（ａ）は線形分離不可能の場合で有り、（ｂ）は線形分離可能な特徴空間に写像した場合を示す。

【図7】本発明の実施形態１に係る情報分類装置が実行する分類面の設定処理を説明するためのフローチャート図である。

【図8】従来技術に対するべき乗計算の処理負荷削減効果について説明するための図である。

【図9】本発明の実施形態２に係る情報分類装置に分類面を設定する設定装置の機能構成図である。

【図10】本発明の実施形態２に係る情報分類装置の機能構成図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態に係る情報分類装置、情報分類装置の設定方法及びプログラムについて、図面を参照しながら説明する。本実施形態では、情報分類装置を画像情報の分類に適用した場合について説明する。

【0010】

（実施形態１）
本発明の実施形態１に係る情報分類装置のハードウエア構成について、図１を参照しながら説明する。本実施形態１に係る情報分類装置１１は、入力部１２、表示部１３、入出力インタフェース（入出力Ｉ／Ｆ）部１４、記憶部１５、ＲＯＭ（Read Only Memory）１６、ＲＡＭ（Random Access Memory）１７、制御部１８とを備える。
入力部１２は、ユーザによる学習用画像や試験用画像や分類対象画像を特定する指示や情報分類処理に必要なパラメータ等の情報を入力し、キーボード等から構成される。
表示部１３は、入力したパラメータ値や後述する識別率、分類された画像等の各種情報を表示し、液晶ディスプレイ等で構成される。
入出力Ｉ／Ｆ部１４は、外部メモリやパーソナルコンピュータ等とのインタフェース機能を有し、ＵＳＢ（Universal Serial Bus）インタフェース、コンパクトディスクドライブ等から構成される。
記憶部１５は、学習用画像、試験用画像、分類対象画像、過去に解析した画像と後述する画像の特徴ベクトル及び特徴ベクトルの分類に使用した分類面の情報等を記憶し、ハードディスク等で構成される。
ＲＯＭ１６は、画像から特徴ベクトルを抽出するＢｏｆ（Bag-of-Features）プログラムを含む制御部１８が実行する非線形ＳＶＭ処理プログラムを記憶する。
ＲＡＭ１７は、制御部１８のワークエリアとして使用される。

【0011】

制御部１８は、プロセッサ等から構成され、ＲＯＭ１６に記憶された非線形ＳＶＭ処理プログラムをＲＡＭ１７に読み出し、そのプログラムを実行することにより、情報分類装置として機能する。制御部１８は、図２に示すように、機能的には、取得部２１、正規化部２２、学習部２３、試験部２４、選択部２５、設定部２６、分類部２７を備える。

【0012】

取得部２１は、画像の特徴ベクトルを抽出するＢｏｆプログラムをＲＯＭ１６から読み出し、解析対象となる学習用画像群・試験用画像群・分類対象画像群から特徴ベクトルを抽出する。取得部２１は、抽出した特徴ベクトルをＲＡＭ１７に格納する。情報量が多い場合は、記憶部１５に記憶してもよい。

【0013】

特徴ベクトルとは、画像から抽出された特徴を定量化したものである。本実施形態では、画像をブロックに分割して、ブロック内の画素を判定してブロックを構成する色の頻度を特徴ベクトルとして抽出する場合について説明する。すなわち、どの色が何ブロックあるかをカウントして、そのカウント値を特徴ベクトルの要素としている。
理解を容易にするために、（桃色、赤、青、白、黒）の５色にについて、図３（ａ）に示す縦５マス、横５マスのブロックに分割し、どの色が何ブロックに存在するかという頻度を特徴ベクトルの要素として抽出する。図３（ａ）で例示する顔の画像では、（桃色）が２５個のブロック中の１０個のブロックに存在し、（赤）が２個のブロックに存在し、（青）は１個のブロックに、（白）は７個のブロックに、（黒）は５個のブロックに存在しているとする。この色の頻度を特徴ベクトルの要素として抽出したものを図３（ｂ）の２行目に示す。

【0014】

図２に戻って、正規化部２２は、取得部２１で取得した特徴ベクトルをＬ２ノルムで正規化する。Ｌ２ノルムは、特徴ベクトルの各要素の２乗和の平方根である。この正規化は、例えば、画像を分類する際に、対比する画像同士の大きさは異なるが相似形である場合、画像としては類似として分類すべきであるが、比較対象画像の大きさが異なることにより非類似として分類されることを防止する機能を有している。
図３（ｂ）の２行目に記載されている特徴ベクトルの各要素の２乗和は（１７９）であり、その平方根は（１３．３８）である。そして、図３（ｂ）の３行目に、２行目に記載されている特徴ベクトルの各要素を特徴ベクトルの各要素の２乗和の平方根で正規化した特徴ベクトルの各要素を記載している。

【0015】

図２に戻って、学習部２３は、登載されている非線形ＳＶＭを使用して、学習用画像の正規化された特徴ベクトルを分類するための分類面を構築する。学習部２３は、この分類面を、後述する分類誤りの許容度を示す正則化パラメータＣとカーネルのべき乗パラメータαとの組み合わせごとに構築する。正則化パラメータＣとべき乗パラメータαとの組み合わせが、例えば、１００通りある場合には、１００個の分類面を構築する。

【0016】

試験部２４は、学習部２３で構築した分類面を用いて、既知である試験用画像に対応する特徴ベクトルを分類する。そして、試験部２４は、特徴ベクトルが既知のグループ（クラス）に分類された割合を示す識別率を求める。試験部２４は、学習部２３で構築した複数の分類面の各々に対して識別率を求める。
例えば、Ａ氏の試験用画像が１００枚ある場合、１００枚の試験用画像中の何枚がＡ氏として正しく分類されたかを調べて識別率を求める。１００枚中９９枚をＡ氏として分類していれば、識別率は９９％であり、９５枚をＡ氏として分類していれば、識別率は９５％である。試験部２４は、学習部２３で構築した分類面が１００個であれば、１００個の分類面の各々に対して、識別率を求める。

【0017】

選択部２５は、試験部２４で分類面ごとに求めた識別率の中で、最も識別率が高かった分類面を選択する。
設定部２６は、選択部２５で選択した識別率が最も高い分類面を非線形ＳＶＭに設定する。

【0018】

分類部２７は、設定部２６により分類面を設定された非線形ＳＶＭを用いて、どのように分類すべきかが未知である分類対象の画像に対応する特徴ベクトルを分類する。具体的には、ユーザが、分類対象画像群を取得部２１に供給する指示を行い、取得部２１は各分類対象画像の特徴ベクトルを抽出する。正規化部２２は抽出した特徴ベクトルを正規化し、特徴ベクトルを分類部２７に供給する。分類部２７は、非線形ＳＶＭに設定されている分類面を用いて、入力された分類対象画像に対応する特徴ベクトルを分類することにより分類対象画像を分類する。

【0019】

以上で、情報分類装置１１の構成について説明した。次に学習部２３の詳細機能について説明する。本実施形態では、Ａ氏の画像の特徴ベクトルを白丸で表してグループＡに分類し、その他の画像の特徴ベクトルを黒丸で表してグループＢに分類する例について説明する。図４（ａ）に示す例では、白丸で表示された特徴ベクトルが固まって分布し、黒丸で表示された特徴ベクトルも固まって分布しているので、グループＡとグループＢとの間に分類面を容易に構築できる。ところが、図４（ｂ）に示す例では、白丸で表示された特徴ベクトルと黒丸で表示された特徴ベクトルとが入り組んで分布しているので、容易には分類面を構築することはできない。

【0020】

このように分類面を容易に構築できない場合に、学習部２３は、ある程度までは分類誤りを許容して分類面を構築する機能を有している。本実施形態では、この分類誤りを許容する程度を正則化パラメータＣで表している。正則化パラメータＣを大きくすると分類誤りを許容しない分類面を構築し、正則化パラメータＣを小さくすると分類誤りをある程度許容して分類面を構築する。

【0021】

図４（ｂ）に実線で示す分類面は、正則化パラメータＣが大きく、分類誤りを許容しない場合であり、分類面は複雑な形状となっている。分類面が複雑に入り組んでいるため、特徴ベクトルと分類面との距離（分類マージン）は小さくなる傾向にある。これに対して、点線で示す分類面は、正則化パラメータＣが小さく、分類誤りをかなり許容する場合である。分類面は単純な曲線で構築することができ、誤分類になっていない特徴ベクトルと分類面との分類マージンは大きくなる傾向にある。

【0022】

学習部２３は、非線形ＳＶＭの学習機能を用いて分類面を構築する。非線形ＳＶＭでは、図６（ａ）に示すような線形分離不可能な分布である学習用特徴ベクトルｘ_ｉを非線形空間変換を用いて図６（ｂ）に示す線形分離可能なφ（ｘ_ｉ）の特徴空間に変換して分類面を構築する。

【数1】

この分類面を表す識別関数を式（２）で表す。

【数2】

【0023】

学習用画像に対応する特徴ベクトルｘ_ｉは、ｉ＝１〜ｎとする。この特徴ベクトルｘ_ｉをグループ（クラス）Ａとグループ（クラス）Ｂとに分類する。この特徴ベクトルに対して、ｇ（ｘ）が次の条件を満たすように重みベクトルｍとバイアス項ｂを求めれば、分類面を表す識別関数を構築できる。この特徴ベクトルに対して、ｇ（ｘ）が次の条件を満たすように重みベクトルｍとバイアス項ｂを調整する。

【数3】

ここで、学習用画像の特徴ベクトルｘ_ｉに関する教師信号ｙ_ｉを次のように定義する。

【数4】

Ａ氏の画像を分類する場合では、ｘ_ｉがＡ氏の画像である場合はｙ_ｉ＝１であり、ｘ_ｉがＡ氏の画像ではない場合はｙ_ｉ＝−１である。

【0024】

この式（４）を使用して式（３）を書き換えると式（５）となる。

【数5】

学習部２３は、図６（ｂ）に実線で示す分類面（識別関数）から最寄りの点（φ（ｘ_Ａ１），φ（ｘ_Ｂ１））までの距離（分類マージンＬ）を最大化するように重みベクトルｍとバイアス項ｂを求めて分類面を構築する。図６（ｂ）に示す分類マージンＬは、この最寄りの点φ（ｘ_Ａ１）を含み分類面と平行する関数Ｈ１と、点φ（ｘ_Ｂ２）を含み分類面と平行する関数Ｈ２とから求めることができる。

【数6】

【0025】

分類マージンＬは、Ｈ１とＨ２との距離の半分であるので、マージンＬを求めるために両者を引くと、ｙ_ｉｍ（φ（ｘ_Ａ１）−φ（ｘ_Ｂ１））＝２となる。 両辺を重みベクトルの大きさ||ｍ||で割ると、ｙ_ｉ（φ（ｘ_Ａ１）−φ（ｘ_Ｂ１））＝２／||ｍ||となり、分類マージンＬはこの１／２であるので式（７）となる。

【数7】

この分類マージンＬが最大化するために、||ｍ||を最小化すれば良い。この式（７）を等価である式（８）に置き換える。

【数8】

【0026】

式（８）を最大化する問題をラグランジュの未定乗数法で書き換えると式（９）となる。

【数9】

λは、ラグランジュの未定乗数である。これをｍ及びｂで偏微分して０とおくと、

【数10】

【数11】

式（１０）より、

【数12】

ラグランジュ関数ＬｐをＦ（λ）と書き換えて、式（１１）及び式（１２）を代入すると、式（１３）となる。

【数13】

【0027】

式（１３）に式（１２）を代入すると式（１４）となる。

【数14】

ここで、内積部分φ（ｘ_ｉ）φ（ｘ_ｊ）をカーネルｋ（ｘ_ｉ，ｘ_ｊ）で置き換えると、式（１５）となる。

【数15】

【0028】

正則化パラメータＣ≧λ_ｉ≧０の制約条件の下で、このＦ（λ）が最大となる重みベクトルλが求められ、それにより式（１２）の ｍ が決まる。

【0029】

式（１２）を式（２）式に代入し、内積部分φ（ｘ_ｉ）φ（ｘ_ｊ）をカーネルｋ（ｘ_ｉ，ｘ_ｊ）で置き換えると式（１６）となる。

【数16】

式（１６）に、図６（ｂ）に示す分類マージンを決める特徴ベクトルｘ_Ａ１，ｘ_Ｂ１を代入することにより、バイアス項ｂが決まる。

【0030】

以上に説明したようにして、学習部２３は、Ｆ（λ）が最大となる重みベクトルｍとバイアス項ｂを求めて、分類面を表す式（２）を構築する。
学習部２３では、式（１５）（１６）の中のカーネルｋ（ｘ_ｉ，ｘ_ｊ）は関数式（１７）で表されている。

【数17】

式（１７）は、ｉ番目の画像の特徴ベクトルをｘ_ｉ，ｊ番目の画像の特徴ベクトルをｘ_ｊとし、ｘ_ｉとｘ_ｊの対応するｋ番目の要素を比較して、小さい方の要素を選択して累算し、そして、累算結果をα乗することを示している。

【0031】

学習部２３が、カーネルに式（１７）を用いて、５次元の特徴ベクトルから類似度を求める計算例を図５を用いて具体的に説明する。図５の（ａ）は、図３（ｂ）を用いて説明した正規化された５次元の特徴ベクトルｘ_ｉである。類似度を求める他の画像の正規化された特徴ベクトルｘ_ｊは、図５（ｂ）であるとする。図５（ｃ）では、図５（ａ）のベクトル要素と、図５（ｂ）のベクトル要素とを比較して、小さい方のベクトル要素を選択している。まず、特徴ベクトルｘ_ｉとｘ_ｊの最初のベクトル要素ｘ_ｉ１とｘ_ｊ１を比較して、小さい方のｘ_ｊ１（０．００）を選択している。次のベクトル要素ｘ_ｉ２とｘ_ｊ２を比較して、小さい方のｘ_ｉ２（０．１５）を選択している。次のベクトル要素ｘ_ｉ３とｘ_ｊ３を比較して小さい方のｘ_ｉ３（０．０７）を選択し、ｘ_ｉ４とｘ_ｊ４を比較して小さい方のｘ_ｊ４（０．２８）を選択し、ｘ_ｉ５とｘ_ｊ５を比較して小さい方のｘ_ｉ５（０．３７）を選択している。そして、図５（ｃ）の右端は、これらを累算した計算値（０．８７）をα乗した値を表している。図５（ｃ）では、α＝１の場合を例示しているので、（０．８７）がα＝１の場合の式（１７）で求めた値となる。
このように、学習部２３は、カーネルに式（１７）を用いて、５次元の特徴ベクトルｘ_ｉと５次元の特徴ベクトルｘ_ｊとから、ｋ（ｘ_ｉ、ｘ_ｊ）という２つの特徴ベクトル間の類似度を求めている。

【0032】

ところで、図５（ｄ）は、図５（ａ）の特徴ベクトルの正規化された各要素の値を棒グラフで表したものである。図５（ｅ）は、図５（ｂ）の特徴ベクトルの正規化された各要素の値を棒グラフで表したものである。図５（ｆ）は、図５（ｄ）と図５（ｅ）とを重ね合わせて、両者の小さい方を黒くしてある。すなわち、黒い部分が、｛Σｍｉｎ（ｘ_ｉｋ，ｘ_ｊｋ）｝に該当する。この図からわかるように、｛Σｍｉｎ（ｘ_ｉｋ，ｘ_ｊｋ）｝は、特徴ベクトルｘ_ｉと特徴ベクトルｘ_ｊとの共通部分であるので、特徴ベクトル間の類似度（共通度）を表している。特徴ベクトルｘ_ｉと特徴ベクトルｘ_ｊとが近似しているほど重なり部分は増える。

【0033】

学習部２３が処理する式（１７）のべき乗パラメータαは、アルファの値を大きくすると、些細な情報を評価せず、αの値を小さくすると、些細な情報を強調して評価するという機能を有している。
ホクロがある顔について類似分類をする場合で説明すると、べき乗パラメータαを小さくすると、顔全体としては些細な要素であるホクロの存在が強調されて評価することになる。このため、ホクロの有無に関しては正確な分類ができていても、顔全体としてはそっくりな画像でありながらホクロが無い画像は非類似として分類される恐れもある。
学習部２３は、５次元の特徴ベクトルからカーネルに式（１７）を用いて２つの特徴ベクトルｘ_ｉとｘ_ｊとの類似度を求めている。そして、この各特徴ベクトル間の類似度を用いて次元拡張することすることによって特徴ベクトルを容易に分類できるようにしている。
以上で、学習部２３の機能説明を終了する。

【0034】

次に、上記構成を有する情報分類装置１１の動作について説明する。情報分類装置１１が、未知の画像を分類するためには、未知の画像を分類するための分類面をあらかじめ情報分類装置１１に設定しておく必要がある。情報分類装置１１に分類面を設定するためには、分類が既知の学習用画像と分類が既知の試験用画像とを用いて分類面を構築する必要がある。
以下に、情報分類装置１１に分類面を設定するまでの処理の詳細について、図２に示す機能構成図と図７に示すフローチャート図を用いて説明する。図７に示す分類面の設定処理は、ＲＯＭ１６から非線形ＳＶＭ処理プログラムを読み出して、該プログラムの学習用機能をスタートすることにより開始する。

【0035】

まず、ユーザは、入力部１２のキーボードを操作して、記憶部１５に格納されている学習用画像群と試験用画像群を取得部２１に供給する（ステップＳ１）。例えば、不特定多数の画像からＡ氏の画像とその他の画像とを分類する場合では、Ａ氏の画像群と不特定の人の多数の画像群とを学習用画像として、さらに、学習用画像とは異なる画像群を試験用画像として、記憶部１５から取得部２１に供給する。

【0036】

次に、ユーザは、分類誤りの許容度を示す正則化パラメータＣとカーネルのべき乗パラメータαの範囲を設定する（ステップＳ２）。以下の説明では、理解を容易にするために、正則化パラメータＣは、初期値をＣ１、最大値をＣｍ、変更倍率をＣｔとし、Ｃ１＝０．００１、Ｃｍ＝１０、Ｃｔ＝１０とする。また、べき乗パラメータαは、初期値をα１、最大値をαｎ、変更幅をαｓｔｅｐとし、α１＝０．１、αｎ＝２０、αｓｔｅｐ＝０．２とする。
学習部２３は、入力部１２から入力された各パラメータ値をＲＡＭ１７に格納する。あるいは、情報分類装置１１が保有する初期値として、ＲＯＭ１６もしくは記憶部１５に格納しておいてもよい。

【0037】

取得部２１として機能する制御部１８は、ＲＯＭ１６に格納されているＢｏｆプログラムを用いて、供給した学習用画像と試験用画像の各々を５×５のブロックに分割して各ブロックの色を判別し、色の頻度をベクトル要素として画像から特徴ベクトルを抽出し、ＲＡＭ１７に格納する（ステップＳ３）。取得した特徴ベクトルの一例は、図３（ｂ）の２行目に該当する。

【0038】

正規化部２２は、抽出した各特徴ベクトルをそれ自身のＬ２ノルムで正規化する（ステップＳ４）。

【0039】

次に、学習部２３は、ステップＳ２で設定された正則化パラメータＣとべき乗パラメータαとの組み合わせを順次変えながら、学習用画像を分類するための分類面を構築していく。

【0040】

まず、学習部２３は、最初の正則化パラメータＣとべき乗パラメータαとの組み合わせとして、（Ｃ、α）＝（Ｃ１、α１）＝（０．００１、０．１）を設定する（ステップＳ５、ステップＳ６）。
学習部２３は、学習用画像に対応する正規化された特徴ベクトルを、正則化パラメータＣで指定される分類誤りの許容範囲内で分類する分類面を構築する（ステップＳ７）。具体的には、学習部２３は、この分類面を構築する非線形ＳＶＭ処理プログラムの中でカーネルとして式（１７）を使用し、２つの学習用画像の正規化された５次元の特徴ベクトルから類似度を求めて式（１５）に代入する。学習用画像１００枚の中からＡ氏を分類するための分類面を構築する場合には、_１００Ｃ_２＝４９５０回この処理をおこなって、制約条件を満たしながら分類マージンを最大化する重みベクトルｍとバイアス項ｂを求め、Ａ氏を分類する分類面を表す式（２）を構築する。

【0041】

次に、試験部２４は、構築された分類面を用いて、どのように分類すべきかが既知である試験用画像に対応する特徴ベクトルを分類する。ここでは、（Ｃ、α）＝（０．００１、０．１）に対応するステップＳ７で構築した分類面を用いて分類する。具体的には、試験部２４は、学習部２３が構築した重みベクトルｍとバイアス項ｂが確定している分類面を表す式（２）のｘに、試験用画像の正規化された特徴ベクトルを代入する。そして、ｙ＝１であれば、特徴ベクトルをグループＡ（Ａ氏の画像）に分類し、ｙ＝−１であれば特徴ベクトルをグループＢ（Ａ氏の画像ではない）に分類する。この分類を試験用画像が１００枚あれば１００回行う。そして、試験用画像はどのように分類すべきかが既知の画像であるので、試験部２４は、分類された試験用画像に対応する特徴ベクトルが分類されるべきグループに分類された割合を示す識別率（正しく分類された確率）を求め、分類面と対応づけてＲＡＭ１７に格納する（ステップＳ８）。

【0042】

次に、学習部２３は、べき乗パラメータαの次の値について分類面を構築するために、αにαｓｔｅｐ（＝０．２）を加算して、α＝０．３とする（ステップＳ９）。
次に、学習部２３は、べき乗パラメータαが最大値αｎ以下であるかを判別する（ステップＳ１０）。ここでは、まだα＝０．３（＜２０）であるので（ステップＳ１０：Ｙｅｓ）、ステップＳ７の処理およびステップＳ８の処理を行い、２つ目の分類面と識別率とをＲＡＭ１７に格納する。

【0043】

この処理を繰り返し、α＞αｎ（α＞２０）になると（ステップＳ１０：Ｎｏ）、処理はステップＳ１１に移行し、正則化パラメータＣの値を変えるために、Ｃ＝０．００１にＣｔ（＝１０）を掛け、Ｃ＝０．０１とする（ステップＳ１１）。
そして、正則化パラメータＣが最大値Ｃｍ以下（Ｃ≦１０）であるかを判別する（ステップＳ１２）。ここでは、まだ、Ｃ＝０．０１であるので、ステップＳ６に戻る（ステップＳ１２：Ｙｅｓ）。ステップＳ６で、α＝α１に再設定されるので、（Ｃ、α）＝（０．０１、０．１）として、ステップＳ７及びステップＳ８の処理を行い、構築した分類面と対応づけて識別率をＲＡＭ１７に格納する。

【0044】

Ｃ＝０．０１に対して、α＝０．１〜２０までの処理が終了すると（ステップＳ１０：Ｎｏ）、ＣにＣｔを掛け（ステップＳ１１）、正則化パラメータＣが最大値Ｃｍ以下かを判別する（ステップＳ１２）。この処理をＣ＞Ｃｍが成立するまで繰りし、Ｃ＞Ｃｍ（Ｃ＞１０）が成立すると（ステップＳ１２：Ｎｏ）、ステップＳ１３に移行する。

【0045】

選択部２５は、試験部２４で分類面に対応して求めた識別率を降順にソートし、最も高い識別率に対応づけられている分類面を選択する。設定部２６は、情報分類装置１１の分類部２７に実装されている非線形ＳＶＭに選択された分類面を設定し（ステップＳ１３）、情報分類装置１１に対する分類面の設定処理を終了する。以上で情報分類装置１１に分類面を設定する処理は終了した。

【0046】

情報分類装置１１に分類面を設定する処理が終了したので、ユーザは、以上の設定処理が終了した情報分類装置１１を用いて、どのように分類すべきかが未知の画像を分類する。ユーザは、非線形ＳＶＭ処理プログラムの情報分類機能をスタートさせ、入力部１２から分類が未知の分類対象画像を指定し、取得部２１に供給する。取得部２１は未知の分類対象画像に対応する特徴ベクトルを抽出し、正規化部２２は特徴ベクトルを正規化し、分類部２７に供給する。分類部２７は、ステップ１３で分類面を設定された非線形ＳＶＭを用いて、この正規化された未知の分類対象画像に対応する特徴ベクトルを分類する。
具体的には、選択された分類面を表す関数式（２）に、分類対象画像に対応する正規化された特徴ベクトルを代入して、分類対象画像をグループＡかグループＢかに分類する。この例では、Ａ氏を分類するための分類面を設定しているので、Ａ氏の画像群とその他の人の画像群とを分類対象画像群として入力し、その分類対象画像群からＡ氏の画像をグループＡとして分類する。以上で、情報分類装置１１が分類対象画像を分類する説明を終了する。

【0047】

以上説明したように、本実施形態で説明したカーネルに使用する式（１７）のべき乗計算の処理回数は、特徴ベクトルの要素の数が増えても１回のみである。これに対して、非特許文献１が開示する式（１８）のカーネルでは、特徴ベクトルの要素の数Ｋが増えると、べき乗計算の処理回数も増加する。

【数18】

本実施形態に用いるカーネルを用いた場合のべき乗計算の処理回数と、非特許文献１が開示するカーネルを用いた場合のべき乗計算の処理回数とを図８で比較する。本実施形態では、特徴ベクトルの要素数が５の場合で説明したが、人の画像を分類する場合には、目・鼻・口・耳などの色や形状や角度などの様々な情報をベクトル要素としている。分類精度を上げるためには、特徴ベクトルの要素の数を増やす必要がある。このように、特徴ベクトルの要素数が大きくなるほど、式（１７）をカーネルに使用する本実施形態に係る情報分類装置１１のべき乗計算処理の負荷は、従来技術に比べると相対的に著しく軽くなる。

【0048】

また、本実施形態で説明したカーネルに使用する式（１７）はべき乗項を有しているので、式（１７）を用いた分類装置は、従来技術が開示する式（１８）と同じようにべき乗パラメータαを調整することにより分類面を構築する選択肢を増やすことができる。式（１７）を用いた情報分類装置は、このべき乗パラメータによる効果を有しながら、べき乗計算の処理負荷を軽くすることができる。したがって、本実施形態を用いることによって、分類精度が高く、特徴ベクトルの要素の数が増加してもカーネルのべき乗計算の処理負荷が小さい情報分類装置、情報分類装置の設定方法およびプログラムを提供することができる。

【0049】

（実施形態２）
実施形態１では、非線形ＳＶＭの分類面を設定する設定機能と未知の画像を分類する機能とが一体の装置に実装されている場合について説明したが、本発明はこれには限定されない。特徴ベクトル間の類似度のべき乗値をカーネルに用いて分類面を構築する設定装置、および、該設定装置により構築された分類面を用いて情報を分類する情報分類装置であれば、本発明を適用することができる。他の実施形態として、実施形態２では、非線形ＳＶＭの分類面を設定する機能と未知の画像を分類する機能とが別装置に実装されている場合について説明する。
なお、図中同一又は相当する部分には同じ符号を付す。

【0050】

本発明の実施形態に係る非線形ＳＶＭの分類面を設定する設定装置１１Ａの機能構成図を図９に示す。設定装置１１Ａによって分類面を設定された本発明の実施形態に係る情報分類装置１１Ｂの機能構成図を図１０に示す。
設定装置１１Ａと情報識別装置１１Ｂのハード構成については、実施形態１で図１を用いて説明した構成と同じでよい。

【0051】

本実施形態に係る設定装置１１Ａの機能構成について、実施形態１との差を中心に、図９を用いて説明する。
実施形態１に係る情報分類装置１１と実施形態２に係る設定装置１１Ａとの差は、設定装置１１Ａが分類部２７を有しない点である。すなわち、本実施形態２に係る設定装置１１Ａは、識別率が最も高い分類面の選択までを行い、選択した分類面を図１０に示す情報分類装置１１Ｂに設定する。これに伴って、設定装置１１Ａの入力部１２では、どのように分類すべきかが未知である分類対象画像の入力指示は行わない。

【0052】

まず、設定装置１１Ａにおいて分類面を構築する処理を行うために、既知の学習用画像と既知の試験用画像とを取得部２１に供給する。取得部２１は、Ｂｏｆプログラムを用いて学習用画像群と試験用画像群とから特徴ベクトルを抽出して、正規化部２２に供給する。正規化部２２は、特徴ベクトルをＬ２ノルムで正規化する。
学習部２３は、登載されている非線形ＳＶＭのカーネルに式（１７）を用いて、学習用画像の正規化された特徴ベクトルを分類するための分類面を分類マージンが最大になるように構築する。学習部２３は、この分類面を正則化パラメータＣとべき乗パラメータαとの組み合わせごとに構築する。試験部２４は、学習部２３で構築した分類面を用いて、既知である試験用画像に対応する特徴ベクトルを分類する。そして、試験部２４は、学習部２３で構築した複数の分類面の各々に対して識別率を求める。
選択部２５は、試験部２４で分類面ごとに求めた識別率の中で、最も識別率が高かった分類面を選択する。設定部２６は、選択部２５で選択した識別率が最も高い分類面を記憶部１５に格納する。もしくは、入出力Ｉ／Ｆ部１４からＵＳＢメモリ等の記録媒体に選択された分類面に関する情報を出力する。もしくは、設定装置１１Ａの入出力Ｉ／Ｆ部１４と図１０に示す情報分類装置１１Ｂの入出力Ｉ／Ｆ部１４とを接続して、設定装置１１Ａから選択された分類面を情報分類装置１１Ｂに実装されている非線形ＳＶＭに設定してもよい。

【0053】

次に、本実施形態に係る情報分類装置１１Ｂの機能構成について、実施形態１との差を中心に、図１０を用いて説明する。
実施形態１に係る情報分類装置１１と実施形態２に係る情報分類装置１１Ｂとの差は、情報分類装置１１Ｂが、学習部２３、試験部２４、選択部２５、設定部２６を有しない点である。すなわち、本実施形態２に係る情報分類装置１１Ｂは、設定装置１１Ａで選択した分類面を設定された未知の画像を分類する情報分類装置である。

【0054】

まず、ユーザは、入力部１２のキーボードを操作して、記憶部１５に格納されている分類が未知の分類対象画像を取得部２１に供給する。取得部２１は、Ｂｏｆプログラムを用いて分類対象画像から特徴ベクトルを抽出して、正規化部２２に供給する。正規化部２２は、特徴ベクトルをＬ２ノルムで正規化し、分類部２７に供給する。分類部２７は、分類面を設定された非線形ＳＶＭを用いて、分類対象画像に対応する特徴ベクトルを分類する。
具体的には、分類部２７は、設定された分類面を表す関数式（２）に、分類対象画像に対応する正規化された特徴ベクトルを代入して、分類対象画像をグループＡかグループＢかに分類する。この例では、Ａ氏を分類するための分類面を設定しているので、Ａ氏の画像群とその他の人の画像群とを分類対象画像群として入力し、その分類対象画像群からＡ氏の画像をグループＡとして分類する。

【0055】

設定装置１１Ａにおいて、情報分類装置１１Ｂの分類部２７に設定する分類面を選択するまでの処理については、図７に示すフローチャート図と同じである。

【0056】

以上に説明したように、実施形態２では、分類面を設定する機能と未知の情報を分類する機能とを別装置に実装している。したがって、分類面の構築処理を必要としない情報分類装置１１Ｂの処理負荷を軽くできる。また、情報分類装置１１Ｂの記憶部１５やＲＡＭ１７に学習用画像と試験用画像の情報を記憶する必要がないので、メモリ量を削減することができる。このように、情報分類装置１１Ｂの処理負荷を軽くすることにより、情報分類装置１１Ｂを安価に製造することができる。

【0057】

また、実施形態２では、設定装置１１Ａで選択した分類面を記憶媒体等を介して情報分類装置１１Ｂに設定する場合について説明したが、設定装置１１Ａで選択した分類面をインターネット等の通信ネットワーク上のサーバ装置内の記憶部に格納しておき、情報分類装置１１Ｂにダウンロードできるようにしてもよい。
また、実施形態２では、未知の分類対象画像が記憶部１５に格納されているとして説明したが、未知の分類対象画像は、インターネット等の通信ネットワークを介して供給するようにしてもよい。

【0058】

（変形例）
以上の実施形態では、特徴ベクトル間の関係を求めるカーネルとして、特徴ベクトル間の類似度を求める式（１７）を用いる場合について説明した。しかし、類似度を求める式はこれに限定されることはない。例えば、特徴ベクトル間の差分を求める式（１９）を使用することもできる。

【数19】

【0059】

また、類似度を求める式として、特徴ベクトルの比率を求める式、例えば、式（２０）を使用することもできる。

【数20】

式（２０）で求めた計算値は、特徴ベクトルｘｉと特徴ベクトルｘ_ｊとの類似度が高くなるほど１に近づく。

【0060】

このように、特徴ベクトル間の類似度を求める計算式であれば、他の計算式をカーネルとして使用してもよい。

【0061】

なお、実施形態の説明では、本発明に係る情報分類装置を画像の分類装置として使用した場合について説明したが、本発明の用途は画像の分類の他にも様々な情報の分類にも使用できる。例えば、音楽をワルツか否かで分類するとか、長調と短調で分類することもできる。その他の応用でも、情報から特徴ベクトルを抽出して情報分類装置を用いて分類する場合には、本発明を適用できる。

【0062】

また、本実施形態において図７を用いて、正則化パラメータＣとべき乗パラメータαとの１つの組み合わせを設定するごとに、学習工程と試験工程とを行うフローチャートについて説明した。しかし、正則化パラメータＣとべき乗パラメータαとの全ての組み合わせについて学習工程を終了した後に、構築した分類面の全てについて試験工程を行うフローチャートとしてもよい。

【0063】

また、本実施形態で用いたパラメータの値は、発明を説明するための例示であり、実施形態で用いたパラメータ値は発明の権利範囲には影響しない。
また、上述の実施形態では、正則化パラメータＣとべき乗パラメータαとを一定のルールで変化させた場合について説明したが、変更ルールが一定ではない複数のパラメータ値を記憶部１５に格納しておき、それを順次読み出して使用しても良い。例えば、正則化パラメータＣとべき乗パラメータαとをランダムに生成してもよい。また、正則化パラメータＣとべき乗パラメータαとの何れか一方を固定して使用することもできる。

【0064】

また、本発明に係る制御部１８が実現する各種機能は、専用システムによらず、通常のコンピュータシステムを用いても実現可能である。例えば、プログラムをフレキシブルディスクやＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納し、そのプログラムをコンピュータに格納することにより、上記の各部の機能を実現できるコンピュータを構成してもよい。
また、インターネット等の通信ネットワークに接続されたサーバ装置にプログラムを格納しておき、例えば、コンピュータがプログラムをダウンロードをすることができるようにしてもよい。

【0065】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。

【0066】

（付記１）
分類が既知の複数の学習用情報を入力する入力手段と、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得手段と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習手段と、
前記学習手段で構築した分類面を情報分類装置に設定する設定手段と、
を備える設定装置。

【0067】

（付記２）
前記入力手段は、さらに、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力し、
前記取得手段は、前記試験用情報から各々に対応する特徴ベクトルを取得し、
前記学習手段は、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、複数の分類面を構築し、
さらに、前記学習手段で構築した複数の分類面のうちの１つを選定して取得手段で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験手段と、
前記試験手段で求めた識別率が最も高い分類面を選択する選択手段と、
を備えることを特徴とする付記１に記載の設定装置。

【0068】

（付記３）
前記取得手段は、前記学習用情報と前記試験用情報とから、Ｂｏｆ（Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ）により情報の特徴を定量化した特徴ベクトルを取得し、
さらに、取得した特徴ベクトルをＬ２ノルムで正規化を行なう正規化手段を備え、
前記学習手段は、前記正規化手段により正規化された特徴ベクトルを分類するための複数の分類面を構築する、
ことを特徴とする付記２に記載の設定装置。

【0069】

（付記４）
付記１乃至３の何れかに記載の設定装置が構築した分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
を備える情報分類装置。

【0070】

（付記５）
分類が既知の複数の学習用情報を入力する入力工程と、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得工程と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習工程と、
前記学習工程で構築した分類面を情報分類装置に設定する設定工程と、
を含む設定装置の分類面設定方法。

【0071】

（付記６）
付記５に記載の設定装置の分類面設定方法によって設定された分類面に従って、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類工程、
を含む情報分類装置の情報分類方法。

【0072】

（付記７）
コンピュータを、
分類が既知の複数の学習用情報を入力する入力手段、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得手段、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習手段、
前記学習手段で構築した分類面を情報分類装置に設定する設定手段、
として機能させるためのプログラム。

【0073】

（付記８）
コンピュータを、
付記７に記載のプログラムの実行により設定された分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
として機能させるためのプログラム。

【符号の説明】

【0074】

１１…情報分類装置、１１Ａ…設定装置、１１Ｂ…情報分類装置、１２…入力部、１３…表示部、１４…入出力Ｉ／Ｆ、１５…記憶部、１６…ＲＯＭ、１７…ＲＡＭ、１８…制御部、２１…取得部、２２…正規化部、２３…学習部、２４…試験部、２５…選択部、２６…設定部、２７…分類部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】