特許 5765583 多クラス識別器、多クラス識別方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5765583

(24)【登録日】2015年6月26日

(45)【発行日】2015年8月19日

(54)【発明の名称】多クラス識別器、多クラス識別方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20060101AFI20150730BHJP

【ＦＩ】

   G06T7/00 350Z

   G06T7/00 300F

【請求項の数】6

【全頁数】24

(21)【出願番号】特願2012-236440(P2012-236440)

(22)【出願日】2012年10月26日

(65)【公開番号】特開2014-85996(P2014-85996A)

(43)【公開日】2014年5月12日

【審査請求日】2013年10月30日

【前置審査】

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(72)【発明者】

【氏名】松永 和久

(72)【発明者】

【氏名】中込 浩一

(72)【発明者】

【氏名】二瓶 道大

(72)【発明者】

【氏名】広浜 雅行

【審査官】 松浦 功

(56)【参考文献】

【文献】 特開２０１１−２４８６３６（ＪＰ，Ａ）

【文献】 特開２００９−２３０７５１（ＪＰ，Ａ）

【文献】 特開２０１１−０１３７３２（ＪＰ，Ａ）

【文献】 特開２０１２−２０３４２２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０２０８１０６（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００６／０１４６０６２（ＵＳ，Ａ１）

【文献】 福田悠人外２名，対話物体認識のための材質情報の獲得，第１７回画像センシングシンポジウム講演論文集［ＣＤ−ＲＯＭ］，画像センシング技術研究会，２０１１年 ６月 ８日，pp. IS4-19-1〜IS4-19-6

【文献】 大堀隆文外３名，識別順序を考慮した改良型パーセプトロンによるオンライン手書き漢字認識，電気学会論文誌Ｄ，社団法人電気学会，１９９１年１２月２０日，第１１１巻，第１２号，pp.1047 - 1056

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０６Ｋ ９／４６ − ９／８２

Ｇ１０Ｌ １５／００ −１７／２６

Ｇｏｏｇｌｅ Ｓｃｈｏｌａｒ

(57)【特許請求の範囲】

【請求項1】

複数の学習用データからそれぞれ抽出した各１階層目特徴ベクトルを用いて１対Ｎの識別を行なう複数の１階層目識別器を生成する１階層目識別器生成手段と、
前記複数の１階層目識別器それぞれが出力する各スコア値を連結することにより２階層目特徴ベクトルを前記学習用データごとに生成する２階層目特徴ベクトル生成手段と、
前記２階層目特徴ベクトル生成手段により前記学習用データごとに生成された前記２階層目特徴ベクトルを更に学習用データとして用いて１対Ｎの識別を行なう複数の２階層目識別器を生成する２階層目識別器生成手段と、を備え、
データを前記複数の１階層目識別器に入力させることにより該複数の１階層目識別器が出力する前記各スコア値を連結して前記２階層目特徴ベクトルを生成し、該２階層目特徴ベクトルを前記複数の２階層目識別器に入力させることにより最大のスコア値を出力した前記２階層目識別器に対応するクラスを、前記データが表す特徴が属するクラスとして識別する、
ことを特徴とする多クラス識別器。

【請求項2】

前記学習用データは画像であり、
前記１階層目識別器生成手段は、
前記学習用データが示す画像内の各グリッドに対応させて特徴情報を抽出する処理を前記複数の学習用データのそれぞれに対して実行する特徴抽出処理と、
全ての前記学習用データが示す画像内の全ての前記グリッドに対応して抽出された全ての前記特徴情報を複数のクラスタにクラスタリングするクラスタリング処理と、
前記複数の学習用データのそれぞれについて、該学習用データが示す画像内の前記各グリッドに対応して抽出された前記特徴情報ごとに、該特徴情報と前記各クラスタの重心データとの距離をそれぞれ算出し、該算出した距離のうち最小の距離に対応するクラスタを最近傍クラスタとして抽出し、該抽出した最近傍クラスタの重心データを該特徴情報のベクトル量子化値とするベクトル量子化処理と、
前記複数の学習用データのそれぞれについて、該学習用データが示す画像内の前記各グリッドに対応して抽出された前記ベクトル量子化値ごとに該ベクトル量子化値に対応する前記最近傍クラスタのヒストグラム度数を積算する処理を繰り返し実行することにより該学習用データに対応するヒストグラムを生成し、該ヒストグラムのビンごとの各度数値を各要素値とする前記１階層目特徴ベクトルを生成して、該学習用データに付与されている該学習用データが表す特徴のクラスを示すラベルとともに記憶する１階層目特徴ベクトル生成処理と、
前記１階層目特徴ベクトルのうち、前記１つのクラスを示すラベルが付与された第１の１階層目特徴ベクトルのグループと、前記１つのクラス以外のクラスを示すラベルが付与された第２の１階層目特徴ベクトルのグループとに基づいて、前記１つのクラスに属するデータが入力されたときに最大の前記スコア値を出力する前記１つのクラスに対応する１階層目識別器を生成する処理を、前記複数のクラスごとに実行することで、前記各学習用データが表す特徴が前記複数のクラスのそれぞれに属するか否かを個別に識別する複数の１階層目識別器を生成する識別器生成処理と、
を実行することを特徴とする請求項１に記載の多クラス識別器。

【請求項3】

前記特徴情報は色およびテクスチャであり、
前記クラスタリング処理において、前記色および前記テクスチャごとに、個別にクラスタリングを行い、
前記ベクトル量子化処理において、前記色および前記テクスチャごとに、それぞれ前記クラスタリングにより得られる色のクラスタおよびテクスチャのクラスタを用いて個別にベクトル量子化値を抽出し、
前記１階層目特徴ベクトル生成処理において、前記色および前記テクスチャごとに、それぞれ前記色および前記テクスチャごとに抽出した前記ベクトル量子化値を用いて個別に、前記学習用データごとの色のヒストグラムおよびテクスチャのヒストグラムを生成し、該色のヒストグラムのビンごとの各度数値と該テクスチャのヒストグラムのビンごとの各度数値を連結したものを各要素値として前記１階層目特徴ベクトルを生成する、
ことを実行することを特徴とする請求項２に記載の多クラス識別器。

【請求項4】

前記２階層目識別器生成手段は、前記１つのクラスに対応する２階層目識別器を生成する処理において、
前記１つのクラスを示すラベルが付与された学習用データから抽出される第１の前記２階層目特徴ベクトルのグループと、前記１つのクラス以外のクラスを示すラベルが付与された学習用データから抽出される第２の前記２階層目特徴ベクトルのグループとに基づいて、前記１つのクラスに属するデータが入力されたときに最大の前記スコア値を出力する前記１つのクラスに対応する２階層目識別器を生成する、
ことを特徴とする請求項１乃至３の何れか一項に記載の多クラス識別器。

【請求項5】

複数の学習用データからそれぞれ抽出した各１階層目特徴ベクトルを用いて１対Ｎの識別を行なう複数の１階層目識別器を生成する１階層目識別器生成ステップと、
前記複数の１階層目識別器それぞれが出力する各スコア値を連結することにより２階層目特徴ベクトルを前記学習用データごとに生成する２階層目特徴ベクトル生成ステップと、
前記２階層目特徴ベクトル生成ステップにより前記学習用データごとに生成された前記２階層目特徴ベクトルを更に学習用データとして用いて１対Ｎの識別を行なう複数の２階層目識別器を生成する２階層目識別器生成ステップと、
を備え、
データを前記複数の１階層目識別器に入力させることにより該複数の１階層目識別器が出力する前記各スコア値を連結して前記２階層目特徴ベクトルを生成し、該２階層目特徴ベクトルを前記複数の２階層目識別器に入力させることにより最大のスコア値を出力した前記２階層目識別器に対応するクラスを、前記データが表す特徴が属するクラスとして識別することを特徴とする多クラス識別方法。

【請求項6】

多クラス識別器のコンピュータに、
複数の学習用データからそれぞれ抽出した各１階層目特徴ベクトルを用いて１対Ｎの識別を行なう複数の１階層目識別器を生成する１階層目識別器生成機能、
前記複数の１階層目識別器それぞれが出力する各スコア値を連結することにより２階層目特徴ベクトルを前記学習用データごとに生成する２階層目特徴ベクトル生成機能、
前記２階層目特徴ベクトル生成機能により前記学習用データごとに生成された前記２階層目特徴ベクトルを更に学習用データとして用いて１対Ｎの識別を行なう複数の２階層目識別器を生成する２階層目識別器生成機能、
を実行させ、
データを前記複数の１階層目識別器に入力させることにより該複数の１階層目識別器が出力する前記各スコア値を連結して前記２階層目特徴ベクトルを生成し、該２階層目特徴ベクトルを前記複数の２階層目識別器に入力させることにより最大のスコア値を出力した前記２階層目識別器に対応するクラスを、前記データが表す特徴が属するクラスとして識別させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多クラス識別器、多クラス識別方法、及びプログラムに関する。

【背景技術】

【0002】

野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花と葉のディジタル画像より、クラスタリング法を用いて対象物である花と葉の局所特徴を多数抽出し、更にその抽出特徴群をヒストグラム化した情報を特徴量とする単数又は複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている（例えば特許文献１に記載の技術）。

【0003】

ここで入力された花などの画像データに対して画像分類を行うときに、機械学習では、ある種類の画像自身かそれ以外かという２通りの画像分類を行ういわゆる２クラス識別器は容易に実現できる。一方、複数種類の画像の中から各種類の画像を識別する多クラスの画像分類を行うときには、２クラス識別器を組み合わせていわゆる多クラス識別器を構成することが一般に行われる。例えば、花の画像が６種類に分類される場合に、２クラス識別器が６個生成される。各識別器は、それぞれに割り当てられた種類の画像が入力されたときに、それぞれ最大の識別スコア値を出力するように生成される。そして、画像が各識別器に入力されたときに、最も高い識別スコア値を出力した識別器に対応する種類が識別結果とされる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−２０３２４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、例えば花の種の分類において、２クラス識別器を組み合わせて多クラス識別器を構成した場合、各２クラス識別器が出力するスコア値が正規化されていないという問題点を有していた。具体的には、２クラス識別器はスコア値ゼロを境にして符号でその２クラス識別器に対応するクラスに属するか否かの判定を行っている。そのときの識別の確からしさを示すスコア値の絶対値は、その２クラス識別器を生成した学習用データが他のクラスの学習用データとどれだけ分離しているか（分離度）によって変わってくる。そのような２クラス識別器を組み合わせて多クラス識別器を構成すると、識別の難易度が様々である多クラスのデータを識別する各スコア値の絶対値によって決まる識別性能は、各２クラス識別器に与えられる学習用データの質に応じて変わってしまう。このように、２クラス識別器を組み合わせて多クラス識別器を構成した場合に、各クラスの識別性能が均一にならない、すなわち正規化されないという問題点が存在していた。

【0006】

さらに、２クラス識別器を組み合わせて多クラス識別器を構成した場合、各２クラス識別器に十分な数の学習用データを与えないと、各クラスの識別性能が均一にならない。しかしながら、例えば花の種の分類において、全クラスに十分な数の学習用データを与えることは困難であるという問題点を有していた。

【0007】

本発明は、各２クラス識別器が出力するスコア値を統合的に評価することにより識別率の低下を抑制でき、各２クラス識別器のスコア値を正規化できる多クラス識別器を実現することを目的とする。

【課題を解決するための手段】

【0008】

態様の一例では、複数の学習用データからそれぞれ抽出した各１階層目特徴ベクトルを用いて１対Ｎの識別を行なう複数の１階層目識別器を生成する１階層目識別器生成手段と、前記複数の１階層目識別器それぞれが出力する各スコア値を連結することにより２階層目特徴ベクトルを前記学習用データごとに生成する２階層目特徴ベクトル生成手段と、前記２階層目特徴ベクトル生成手段により前記学習用データごとに生成された前記２階層目特徴ベクトルを更に学習用データとして用いて１対Ｎの識別を行なう複数の２階層目識別器を生成する２階層目識別器生成手段と、を備え、データを前記複数の１階層目識別器に入力させることにより該複数の１階層目識別器が出力する前記各スコア値を連結して前記２階層目特徴ベクトルを生成し、該２階層目特徴ベクトルを前記複数の２階層目識別器に入力させることにより最大のスコア値を出力した前記２階層目識別器に対応するクラスを、前記データが表す特徴が属するクラスとして識別する、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、各２クラス識別器が出力するスコア値を統合的に評価することにより識別率の低下を抑制でき、各２クラス識別器のスコア値を正規化できる多クラス識別器を実現することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る多クラス識別器のハードウェア構成例を示すブロック図である。

【図2】本実施形態による多クラス識別器生成処理の全体動作を示すフローチャートである。

【図3】２階層多クラス識別器の構成図である。

【図4】１階層目特徴ベクトルの特徴空間上での分布例を示す模式図である。

【図5】１階層目識別器が出力するスコア値の例を示す図である。

【図6】２階層目特徴ベクトルのデータ構成例を示す図である。

【図7】図２の１階層目識別器生成処理の詳細を示すフローチャートである。

【図8】図７の特徴抽出処理を示すフローチャートである。

【図9】図７のベクトル量子化処理を示すフローチャートである。

【図10】図７の１階層目特徴ベクトル生成処理（ヒストグラム生成処理）を示すフローチャートである。

【図11】図７または図１２の識別器生成処理を示すフローチャートである。

【図12】図２の２階層目識別器生成処理の詳細を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。

【0012】

図１は、本発明の一実施形態に係る多クラス識別器１０１のハードウェア構成例を示すブロック図である。

【0013】

この多クラス識別器１０１は例えば、いわゆるスマートフォンなどの携帯情報端末から花などの撮影画像データを受信して、識別器によってその花などの種類を検索して識別し、その識別結果を携帯情報端末に返す検索システムのコンピュータ上に実現される。

【0014】

多クラス識別器１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４を備える。また、多クラス識別器１０１は、ハードディスク記憶装置やソリッドステートドライブ記憶装置等の外部記憶装置１０５と、通信インタフェース１０６と、キーボード装置又はマウス装置などの入力装置１０７と、ディスプレイ装置などの出力装置１０８を備える。さらに、多クラス識別器１０１は、ＳＤメモリカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリカード、ＣＤ（Ｃｏｎｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの可搬記録媒体１１０をセット可能な可搬記録媒体駆動装置１０９を備える。上述の各機器１０２〜１０９は、バス１１１によって相互に接続される。

【0015】

ＲＯＭ１０３には、後述する図２及び図７から図１２のフローチャートによって示される多クラス識別器生成処理の制御プログラムが記憶されている。ＣＰＵ１０２は、ＲＯＭ１０３から、この制御プログラムを読み出し、ＲＡＭ１０４をワークメモリとして実行する。このハードウェア構成に基づいて動作する多クラス識別器は例えばソフトウェアであり、ＲＯＭ１０３、ＲＡＭ１０４、又は外部記憶装置１０５に記憶される。なお、多クラス識別器生成処理において入力される学習用データは、例えば外部記憶装置１０５、あるいは可搬記録媒体駆動装置１０９にセットされる可搬記録媒体１１０から供給される。

【0016】

多クラス識別器が生成された後は、ＣＰＵ１０２は、ＲＯＭ１０３、ＲＡＭ１０４、又は外部記憶装置１０５に記憶された多クラス識別器のソフトウェアを読み出して実行することにより、多クラス識別器として動作する。或いは、多クラス識別器は、他のコンピュータシステムで実行されてもよい。この多クラス識別器は、例えばいわゆるスマートフォンなどの携帯情報端末からインターネットを経由して通信インタフェース１０６で花の撮影画像データを受信する。そして、多クラス識別器は、その花の種類を検索して識別し、その識別結果を通信インタフェース１０６からインターネットを経由して、携帯情報端末に返す。なお、多クラス識別器は、例えばスマートフォンの搭載アプリケーションとしてスマートフォンに直接提供されてもよい。

【0017】

図２は、図１のハードウェア構成で示される多クラス識別器１０１によって実行される、本実施形態による多クラス識別器生成処理の全体動作を示すフローチャートである。

【0018】

このフローチャートで示される処理は、その詳細を示す図７から図１２までのフローチャートで示される処理とともに、図１において、ＣＰＵ１０２がＲＯＭ１０３に記憶された制御プログラムを実行する処理として実現される。

【0019】

まず、学習用データ収集処理が実行される（図２のステップＳ２０１）。ここでは、例えば図１の外部記憶装置１０５に、学習用データが用意される。学習用データは、識別を行うクラス、例えば花の画像であれば花の種別ごとに用意される。そして、各学習用データには、その学習用データが表す特徴のクラス（例えば花の画像の種別）を示すラベルが付与される。全体として、複数のクラス×複数枚の学習用データが用意される。より具体的には例えば、アサガオ、ヒルガオ、ツユクサ、ヒマワリの４種の花画像について、それぞれ５０枚ずつの画像データが学習用データとして収集される。集められた画像データそれぞれについて、花の名前と関連付けるラベルデータベースが作成される。

【0020】

次に、第１階層目識別器生成処理（１階層目識別器生成手段の機能を実現する）が実行される（図２のステップＳ２０２）。このステップＳ２０２では、複数の学習用データからそれぞれ抽出した各１階層目特徴ベクトルを入力してその各学習用データが表す特徴が複数のクラスのうちの１つのクラスに属するか否かを識別する１階層目識別器を生成する処理が、複数のクラスごとに実行される。この結果、各学習用データが表す特徴が複数のクラスのそれぞれに属するか否かを個別に識別する複数の１階層目識別器が生成される。

【0021】

次に、２階層目識別器生成処理（２階層目識別器生成手段の機能を実現する）が実行される（図２のステップＳ２０３）。このステップＳ２０３では、複数の学習用データごとに、学習用データがステップＳ２０２で生成された各クラスの１階層目識別器に入力される。その結果、各クラスの１階層目識別器が出力する各スコア値が連結されることにより、入力された学習用データに対応する２階層目特徴ベクトルが生成される。学習用データが入力されるごとに２階層目特徴ベクトルが生成される。続いて、各２階層目特徴ベクトルが入力されてその各２階層目特徴ベクトルに対応する各学習用データが表す特徴が複数のクラスのうちの１つのクラスに属するか否かを識別する２階層目識別器を生成する処理が、複数のクラスごとに実行される。この結果、各学習用データが表す特徴が複数のクラスのそれぞれに属するか否かを個別に識別する複数の２階層目識別器が生成される。

【0022】

図３は、図２のフローチャートの制御処理によって生成される２階層多クラス識別器の構成図である。

【0023】

図２のステップＳ２０２で、例えば、ヒルガオｖｓ残りを識別する＃１の１階層目識別器３０２、アサガオｖｓ残りを識別する＃２の１階層目識別器３０２、ツユクサｖｓ残りを識別する＃３の１階層目識別器３０２、およびヒマワリｖｓ残りを識別する＃４の１階層目識別器３０２が、それぞれ生成される。これらの１階層目識別器３０２は、ヒルガオ、アサガオ、ツユクサ、またはヒマワリのいずれかの種類に対応するクラスのラベルが付与された複数の学習用データから、画像的な特徴情報（色、テクスチャ等）に基づいてそれぞれ抽出された各１階層目特徴ベクトル３０１を入力し生成される。

【0024】

この場合、＃１から＃４の各１階層目識別器３０２が出力するスコア値は、各クラスの１階層目識別器３０２を生成した学習用データが他のクラスの学習用データとどれだけ分離しているか（分離度）によって変わってくる。このため、＃１から＃４の各１階層目識別器３０２の識別性能が均一にならず、正規化されていない。

【0025】

この問題を、図４に示される、１階層目特徴ベクトルの特徴空間上での分布例を示す模式図を用いて説明する。図４は、説明をわかりやすくするために１階層目特徴ベクトル３０１が（ｘ１，ｘ２）という２つの要素値からなる２次元ベクトルであると仮定した説明図である。また、ヒマワリの分布は省略してある。

【0026】

図４に示される１階層目特徴ベクトル３０１の特徴空間上での分布例において、例えば、アサガオの分布４０１とヒルガオの分布４０２は特徴空間上での両分布間の距離が小さく、これら２つの花は画像的な特徴が非常に似ている。従って、１階層目特徴ベクトル３０１に基づいて生成されるヒルガオｖｓ残りを識別する＃１の１階層目識別器３０２およびアサガオｖｓ残りを識別する＃２の１階層目識別器３０２は、ともに近いスコア値を出力することが予想される。

【0027】

図５は、図３の＃１から＃４の各１階層目識別器３０２が出力するスコア値の例を示す図である。この例では、アサガオサンプル（学習用データ）が入力されたときの各１階層目識別器３０２が出力するスコア値の例と、ヒルガオサンプル（学習用データ）が入力されたときの各１階層目識別器３０２が出力するスコア値の例が示されている。この例の場合、アサガオサンプルが入力されたときの図３のヒルガオｖｓ残りを識別する＃１の１階層目識別器３０２およびアサガオｖｓ残りを識別する＃２の１階層目識別器３０２の各スコア値は、“０．８±０．５”および“０．９±０．５”というように非常に近い値である。また、ヒルガオサンプルが入力されたときの図３のヒルガオｖｓ残りを識別する＃１の１階層目識別器３０２およびアサガオｖｓ残りを識別する＃２の１階層目識別器３０２の各スコア値も、“０．９±０．５”および“０．８±０．５”というように非常に近い値である。

【0028】

従って、入力データとしてヒルガオの画像データやアサガオの画像データが入力されたときには、相互に識別誤りを起こしやすいことが予想される。

【0029】

一方、図４に示される１階層目特徴ベクトル３０１の特徴空間上での分布例において、例えば、ヒルガオの分布４０２とツユクサの分布４０３は特徴空間上での両分布間の距離が大きく、これら２つの花は画像的な特徴が似ていない。従って、１階層目特徴ベクトル３０１に基づいて生成されるヒルガオｖｓ残りを識別する＃１の１階層目識別器３０２およびツユクサｖｓ残りを識別する＃３の１階層目識別器３０２は、互いに近くないスコア値を出力することが予想される。

【0030】

図５の例において、ヒルガオサンプルが入力されたときの図３のヒルガオｖｓ残りを識別する＃１の１階層目識別器３０２およびツユクサｖｓ残りを識別する＃３の１階層目識別器３０２の各スコア値は、“０．９±０．５”および“−０．５±０．５”というように近くない値である。

【0031】

従って、入力データとしてヒルガオの画像データとツユクサの画像データが入力されたときには、ヒルガオｖｓ残りを識別する＃１の１階層目識別器３０２およびツユクサｖｓ残りを識別する＃３の１階層目識別器３０２は、相互に識別誤りを起こしにくいことが予想される。

【0032】

なお、図４に示される１階層目特徴ベクトル３０１の特徴空間上での分布例において、例えば、アサガオの分布４０１とツユクサの分布４０３は特徴空間上での両分布間の距離が中程度であり、これら２つの花は画像的な特徴が似てるとも似てないともいえない。この場合、図５の例において、アサガオサンプルが入力されたときの図３のアサガオｖｓ残りを識別する＃２の１階層目識別器３０２およびツユクサｖｓ残りを識別する＃３の１階層目識別器３０２の各スコア値は、“０．９±０．５”および“０．５±０．５”というようにやや近い値となる。

【0033】

このように、各１階層目識別器３０２の性能が均一にならないと、入力される花の画像の種類によって、識別誤りを起こしやすかったり起こしにくかったりといった状況が発生してしまい、識別の信頼性が低下してしまう。

【0034】

また、＃１から＃４の各１階層目識別器３０２を生成するのに使用される学習用データの数は同一であるとは限らず、十分なサンプル数が与えられない場合もあるため、＃１から＃４の各１階層目識別器３０２の識別性能は均一ではなくやはり正規化されていないため、識別の信頼性が低下してしまう。

【0035】

そこで、本実施形態ではさらに、図２のステップＳ２０３において、入力された学習用データに対して＃１から＃４の各１階層目識別器３０２が出力する各スコア値が連結されることにより、その学習用データに対応する２階層目特徴ベクトル３０３が生成される。図６は、２階層目特徴ベクトルのデータ構成例を示す図である。＃１から＃４の各１階層目識別器３０２が出力する各スコア値を、Ｘ₁ 、Ｘ₂ 、Ｘ₃ 、およびＸ₄ とする。本実施形態では、２階層目特徴ベクトル３０３として、これら４つのスコア値を各要素値とする４次元の特徴ベクトル（Ｘ₁ ，Ｘ₂ ，Ｘ₃ ，Ｘ₄ ）が生成される。

【0036】

そして、本実施形態では、上記構成を有する２階層目特徴ベクトル３０３を入力として、ヒルガオｖｓ残りを識別する＃１の２階層目識別器３０４、アサガオｖｓ残りを識別する＃２の２階層目識別器３０４、ツユクサｖｓ残りを識別する＃３の２階層目識別器３０４、およびヒマワリｖｓ残りを識別する＃４の２階層目識別器３０４が、それぞれ生成される。

【0037】

この場合、例えば＃１の２階層目識別器３０４が生成される場合、＃１から＃４の各１階層目識別器３０２が出力する各スコア値が評価されることになる。これにより例えば、入力された２階層目特徴ベクトル３０３において、ヒルガオｖｓ残りを識別する＃１の１階層目識別器３０２が出力するスコア値Ｘ₁ が大きく、ツユクサｖｓ残りを識別する＃３の１階層目識別器３０２が出力するスコア値Ｘ₃ が小さい場合に、最大スコア判定３０５において最大のスコア値を出すようなヒルガオｖｓ残りを識別する＃１の２階層目識別器３０４を生成することができる。また、入力された２階層目特徴ベクトル３０３において、アサガオｖｓ残りを識別する＃２の１階層目識別器３０２が出力するスコア値Ｘ₁ が大きく、ツユクサｖｓ残りを識別する＃３の１階層目識別器３０２が出力するスコア値Ｘ₃ もやや大きい場合に、最大スコア判定３０５において最大のスコア値を出すようなアサガオｖｓ残りを識別する＃２の２階層目識別器３０４を生成することができる。

【0038】

このような２階層目識別器３０４において例えば、アサガオサンプルに対応する２階層目特徴ベクトル３０３が入力されると、そのベクトル内のスコア値Ｘ₃ が比較的大きいため、ヒルガオｖｓ残りを識別する＃１の２階層目識別器３０４が出力するスコア値は大きくならない。また例えば、ヒルガオサンプルに対応する２階層目特徴ベクトル３０３が入力されると、そのベクトル内のスコア値Ｘ₃ が小さいため、アサガオｖｓ残りを識別する＃２の２階層目識別器３０４が出力するスコア値は大きくならない。

【0039】

このようにして、本実施形態では、図３に示される＃１から＃４の１階層目識別器３０２と＃１から＃４の２階層目識別器３０４の２階層からなる多クラス識別器によって、＃１から＃４までの各クラスの識別性能を均等にして正規化することが可能となる。

【0040】

図７は、図２の１階層目識別器生成処理の詳細を示すフローチャートである。このフローチャートは、入力されるデータ中の特徴が画像の特徴であって例えば、アサガオ、ヒルガオ、ツユクサ、ヒマワリの４クラスの花画像の特徴の識別を行う１階層目識別器を作成する処理を示している。また、画像の特徴抽出では、ＢＯＦ（Ｂａｇ Ｏｆ Ｆｅａｔｕｒｅｓ）と呼ばれる画像分類において一般的な方式が実行されることにより、各画像から特徴抽出が行われる。

【0041】

まず、特徴抽出処理が実行される（図７のステップＳ７０１）。この処理では、学習用データのそれぞれにおいて、学習用データが示す画像内の各グリッドに対応させて特徴情報を抽出する処理が実行され、その特徴情報が図１のＲＡＭ１０４に記憶される。特徴情報としては例えば、画像内のグリッドに対応させて、色およびテクスチャが抽出される。
次に、クラスタリング処理が実行される（図７のステップＳ７０２）。この処理では、ステップＳ７０１で抽出された、全ての学習用データが示す例えば４種の花の各５０枚の画像内の全てのグリッドに対応する全ての色の特徴情報が、複数（例えば５００個）のクラスタにクラスタリングされる。クラスタリングアルゴリズムとしては例えば、ｋ−ｍｅａｎｓ法が用いられる。テクスチャの特徴情報についても同様に、複数（例えば５００個）のクラスタにクラスタリングされる。

【0042】

次に、ベクトル量子化処理が実行される（図７のステップＳ７０３）。この処理では、学習用データのそれぞれにおいて、次の処理が実行される。ステップＳ７０１にて学習用データが示す画像内の各グリッドに対応して抽出され図１のＲＡＭ１０４に保存されていた各特徴情報ごとに、その特徴情報とステップＳ７０２で算出された各クラスタの重心のＲＧＢデータとの距離がそれぞれ算出される。そして、その算出された距離のうち最小の距離に対応するクラスタが最近傍クラスタとして抽出され、その抽出された最近傍クラスタの重心データがその特徴情報のベクトル量子化値とされる。このベクトル量子化処理は例えば、色およびテクスチャの特徴情報ごとに実行され、それぞれステップＳ７０２でのクラスタリングにより得られる色のクラスタおよびテクスチャのクラスタを用いて個別にベクトル量子化値が抽出される。学習用データ内の各グリッドの色およびテクスチャの特徴情報ごとに抽出された色およびテクスチャの各ベクトル量子化値は、図１のＲＡＭ１０４に記憶される。

【0043】

次に、１階層目特徴ベクトル生成処理（ヒストグラム生成処理）が実行される（図７のステップＳ７０４）。この処理では、複数の学習用データのそれぞれにおいて、学習用データが示す画像内の各グリッドに対応してステップＳ７０３にてＲＡＭ１０４に得たベクトル量子化値ごとに、そのベクトル量子化値に対応する最近傍クラスタのヒストグラム度数を積算する処理が繰り返し実行される。これにより、その学習用データに対応するヒストグラムが生成され、ヒストグラムのビンごとの各度数値を各要素値とする１階層目特徴ベクトル（図３の３０１に対応）が生成されて、その学習用データに付与されているクラスを示すラベルとともに図１のＲＡＭ１０４に記憶される。ヒストグラムの生成においては例えば、色およびテクスチャごとにステップＳ７０３にて抽出されたベクトル量子化値を用いて個別に、色のヒストグラムおよびテクスチャのヒストグラムが生成される。そして、色のヒストグラムのビンごとの各度数値とテクスチャのヒストグラムのビンごとの各度数値を連結したものを各要素値として１階層目特徴ベクトルが生成される。

【0044】

最後に、識別器生成処理が実行される（図７のステップＳ７０５）。ここでは、以下の処理が複数のクラスのそれぞれについて実行される。まず、ステップＳ７０４にてＲＡＭ１０４に得た１階層目特徴ベクトルのうち、１つのクラスを示すラベルが付与された第１の１階層目特徴ベクトルのグループが、ＲＡＭ１０４から読み出される。また、その１つのクラス以外のクラスを示すラベルが付与された第２の１階層目特徴ベクトルのグループが、ＲＡＭ１０４から読み出される。そして、これら１階層目特徴ベクトルの２つのグループに基づいて、その１つのクラスに属するデータが入力されたときに最大のスコア値を出力するその１つのクラスに対応する１階層目識別器が生成される。この処理が、複数のクラスごとに実行されることで、各学習用データが表す特徴が前記複数のクラスのそれぞれに属するか否かを個別に識別する複数の１階層目識別器（図３の３０２（＃１）〜３０２（＃４）に対応）が生成される。

【0045】

以上の識別器の生成処理において、図７のステップＳ７０１からＳ７０４までの一連の処理は、各学習用データに対して１回だけ実行し、その結果を図１のＲＡＭ１０４に保持しておけばよい。そして、ステップＳ７０５の識別器生成処理においては、ＲＡＭ１０４に保持されているステップＳ７０１からＳ７０４までの実行結果を繰り返し読み出して実行することにより、高速に処理を実行することができる。

【0046】

図８は、図７のステップＳ７０１の特徴抽出処理を示すフローチャートである。

【0047】

このフローチャートでは、ステップＳ８０１において、学習用データが図１のＲＡＭ１０４から１枚分ずつ入力されながら、ステップＳ８０４で処理すべき次の学習用データがなくなったと判定されるまで、ステップＳ８０２とＳ８０３の一連の処理が実行される。

【0048】

まず、ステップＳ８０１で１枚分の学習用データが入力された後、その学習用データが示す画像内の最初のグリッドに対応する色およびテクスチャの特徴情報が抽出され、ＲＡＭ１０４に記憶される（図８のステップＳ８０２）。

【0049】

次に、ステップＳ８０３で未処理の次のグリッドがなくなったと判定されるまで、学習用データからグリッドごとにステップＳ８０２の特徴情報の抽出処理が実行される（図８のステップＳ８０２→Ｓ８０３→Ｓ８０２の繰返し処理）。

【0050】

学習用データ上のグリッドごとの全ての特徴情報の抽出処理が完了すると、次の学習用データがあるか否かが判定される（図８のステップＳ８０５）。

【0051】

ステップＳ８０５の判定がＹＥＳならば、ステップＳ８０１の処理に戻って、ステップＳ８０１からＳ８０４の一連の処理が繰り返される。

【0052】

全ての学習用データに対する処理が完了してステップＳ８０５の判定がＮＯになると、図８のフローチャートで示される図７のステップＳ７０１の特徴抽出処理を終了する。

【0053】

図９は、図７のステップＳ７０３のベクトル量子化処理を示すフローチャートである。

【0054】

このフローチャートでは、ステップＳ９０１において、図１のＲＡＭ１０４上で学習用データが１枚分ずつ指定されながら、ステップＳ９０５で指定すべき次の学習用データがなくなったと判定されるまで、ステップＳ９０２からＳ９０４の一連の処理が実行される。

【0055】

ステップＳ９０１でＲＡＭ１０４上の学習用データが指定された後、ステップＳ９０４でＲＡＭ１０４からその学習用データに対応する特徴情報が取得されなくなったと判定されるまで、ステップＳ９０２とＳ９０３の処理が繰り返し実行される。

【0056】

まず、現在の学習用データに対応するグリッドごとの色およびテクスチャの特徴情報が、ＲＡＭ１０４から読み出される（図９のステップＳ９０２）。

【0057】

次に、ステップＳ９０２で読み出された色の特徴情報と図７のステップＳ７０２で算出された色の各クラスタの重心のＲＧＢデータとの距離がそれぞれ算出される。そして、その算出された距離のうち最小の距離に対応する色のクラスタが最近傍クラスタとして抽出され、その抽出した最近傍クラスタの重心データがその色の特徴情報のベクトル量子化値とされる。テクスチャについても同様に、ステップＳ９０２で読み出されたテクスチャの特徴情報と図７のステップＳ７０２で算出されたテクスチャの各クラスタの重心のＲＧＢデータとの距離がそれぞれ算出される。そして、その算出された距離のうち最小の距離に対応するテクスチャのクラスタが最近傍クラスタとして抽出され、その抽出した最近傍クラスタの重心データがそのテクスチャの特徴情報のベクトル量子化値とされる。このようにして、一組の色およびテクスチャの各特徴情報について抽出された各ベクトル量子化値が、ＲＡＭ１０４に記憶される（以上、図９のステップＳ９０３）。

【0058】

次に、現在の学習用データに対応するグリッドごとの次の特徴情報がまだＲＡＭ１０４上にあるか否かが判定される（図９のステップＳ９０４）。

【0059】

ステップＳ９０４の判定がＹＥＳならば、ステップＳ９０２の処理に戻って、次の特徴情報に対して、ステップＳ９０２とＳ９０３の処理が繰り返し実行される。

【0060】

全ての特徴情報に対するベクトル量子化が完了しステップＳ９０４の判定がＮＯとなると、次の学習用データがあるか否かが判定される（図９のステップＳ９０５）。

【0061】

ステップＳ９０５の判定がＹＥＳならば、ステップＳ９０１の処理に戻って、ステップＳ９０１からＳ９０４の一連の処理が繰り返される。

【0062】

全ての学習用データに対するベクトル量子化処理が完了してステップＳ９０５の判定がＮＯになると、図９のフローチャートで示される図７のステップＳ７０３のベクトル量子化処理を終了する。

【0063】

図１０は、図７のステップＳ７０４の１階層目特徴ベクトル生成処理（ヒストグラム生成処理）を示すフローチャートである。

【0064】

このフローチャートでは、ステップＳ１００１において、図１のＲＡＭ１０４上で学習用データが１枚分ずつ指定されながら、ステップＳ１００６で指定すべき次の学習用データがなくなったと判定されるまで、ステップＳ１００２からＳ１００５の一連の処理が実行される。

【0065】

ステップＳ１００１でＲＡＭ１０４上で学習用データが指定された後、ステップＳ１００４でＲＡＭ１０４からその学習用データに対応するベクトル量子化値が取得されなくなったと判定されるまで、ステップＳ１００２とＳ１００３の処理が繰り返し実行される。

【0066】

まず、現在の学習用データに対応するグリッドごとのベクトル量子化値、より具体的には色およびテクスチャの各ベクトル量子化値が、ＲＡＭ１０４から読み出される（図１０のステップＳ１００２）。

【0067】

次に、その読み出されたそのベクトル量子化値に対応する最近傍クラスタのＲＡＭ１０４上に記憶されているヒストグラム度数がプラス１される。より具体的には、色のベクトル量子化値に対応する色の最近傍クラスタのＲＡＭ１０４上に記憶されている色のヒストグラム度数がプラス１される。同様に、テクスチャのベクトル量子化値に対応するテクスチャの最近傍クラスタのＲＡＭ１０４上に記憶されているテクスチャのヒストグラム度数がプラス１される（以上、図１０のステップＳ１００３）。

【0068】

続いて、現在の学習用データに対応するグリッドごとのベクトル量子化値がまだＲＡＭ１０４上にあるか否かが判定される（図１０のステップＳ１００４）。

【0069】

ステップＳ１００４の判定がＹＥＳならば、ステップＳ１００２の処理に戻って、次のベクトル量子化値に対して、ステップＳ１００２とＳ１００３の処理が繰り返し実行される。

【0070】

全てのベクトル量子化値に対するヒストグラムカウントが完了しステップＳ１００４の判定がＮＯとなると、次の処理が実行される。ＲＡＭ１０４に記憶されている全クラスタのヒストグラム度数値を要素値とする１階層目特徴ベクトルが算出される。より具体的には、色のヒストグラムのビンごと（色の全クラスタ）の各度数値とテクスチャのヒストグラムのビンごと（テクスチャの全クラスタ）の各度数値を連結したものを各要素値として、１階層目特徴ベクトルが生成される。このようにして生成された現在の学習用データに対応する１階層目特徴ベクトルがＲＡＭ１０４に記憶される（以上、図１０のステップＳ１００５）。

【0071】

その後、次の学習用データがあるか否かが判定される（図１０のステップＳ１００６）。

【0072】

ステップＳ１００６の判定がＹＥＳならば、ステップＳ１００１の処理に戻って、ステップＳ１００１からＳ１００５の一連の処理が繰り返される。

【0073】

全ての学習用データに対するヒストグラム生成処理が完了してステップＳ１００６の判定がＮＯになると、図１０のフローチャートで示される図７のステップＳ７０４の１階層目特徴ベクトル生成処理（ヒストグラム生成処理）を終了する。

【0074】

図１１は、図７のステップＳ７０５の識別器生成処理を示すフローチャートである。

【0075】

まず、複数のクラスのうち識別すべき１つのクラスを示すカテゴリが指定される（図１１のステップＳ１１０１）。

【0076】

次に、現在のカテゴリに対応する１ｖｓその他識別用のｐｏｓｉｔｉｖｅデータとｎｅｇａｔｉｖｅデータが入力される。例えば、カテゴリが花の種類である場合、その種類に対応してステップＳ１１０１で指定された１つのクラスのラベルが付与されている学習用データがｐｏｓｉｔｉｖｅデータとされる。また、その１つのクラス以外のクラスのラベルが付与されている学習用データが、ｎｅｇａｔｉｖｅデータとされる。そして、ｐｏｓｉｔｉｖｅデータとされた各学習用データに対応する各１階層目特徴ベクトルが図１のＲＡＭ１０４から読み込まれて第１のグループとされる。また、ｎｅｇａｔｉｖｅデータとされた各学習用データに対応する各１階層目特徴ベクトルがＲＡＭ１０４から読み込まれて第２のグループとされる（以上、図１１のステップＳ１１０２）。

【0077】

そして、ステップＳ１１０２で得られた１階層目特徴ベクトルの第１および第２のグループに基づいて、ステップＳ１１０１で指定された識別すべきカテゴリ１つのクラスに属するデータが入力されたときに最大の前記スコア値を出力する前記１つのクラスに対応するように、上記１つのクラスに１階層目識別器における１ｖｓその他識別用パラメータが演算される（以上、図１１のステップＳ１１０３）。

【0078】

具体的には例えば、そのような１階層目識別器において、例えば下記（１）式に示されるような１階層目特徴ベクトルが入力されたとする。ここで、Ｎは、１階層目特徴ベクトルの要素数であり、例えば色のヒストグラムのビン数とテクスチャのヒストグラムのビン数の和の数である。また、ｘ_i （１≦ｉ≦Ｎ）は、例えば色のヒストグラムのビン番号とテクスチャのヒストグラムのビン番号を順に並べたときのｉ番目のビン番号におけるヒストグラム度数である。

【0079】

１階層目特徴ベクトル＝（ｘ₁ ，ｘ₂ ，ｘ₃ ，・・・，ｘ_N ） ・・・（１）

【0080】

下記（２）式のように、（１）式のベクトルの各要素ｘ₁ ，ｘ₂ ，ｘ₃ ，・・・，ｘ_N にそれぞれ個別の重み値ｃ₁ ，ｃ₂ ，ｃ₃ ，・・・，ｃ_N を乗算し、その各乗算結果の総和として、その１階層目識別器に対応するスコア値ｆ（ｘ）を出力する。

【0081】

ｆ（ｘ）＝ｃ₁ ｘ₁ ，＋ｃ₂ ｘ₂ ，＋ｃ₃ ｘ₃ ，＋・・・＋ｃ_N ｘ_N ・・・（２）

【0082】

この場合、ステップＳ１１０３では、上記第１のグループの１階層目特徴ベクトルが上記１階層目識別器に入力されたときに最大のスコア値を出力し、上記第２のグループの１階層目特徴ベクトルが上記１階層目識別器に入力されたときになるべく小さいスコア値を出力するように、上記各重み値ｃ₁ ，ｃ₂ ，ｃ₃ ，・・・，ｃ_N が算出される。

【0083】

この重み値ｃ₁ ，ｃ₂ ，ｃ₃ ，・・・，ｃ_N の算出方法としては例えば、機械学習における線形分類器において用いられる線形判別分析と呼ばれるような公知の手法を採用することができる。

【0084】

１階層目識別器は、このように決定された重み値ｃ₁ ，ｃ₂ ，ｃ₃ ，・・・，ｃ_N を用いて上記（２）式を計算することにより、スコア値を出力する。

【0085】

その後、次のクラスに対応するカテゴリが指定されているか否かが判定される（図１１のステップＳ１１０４）。

【0086】

ステップＳ１１０４の判定がＹＥＳならばステップＳ１１０１の処理に戻って、新たなクラスのカテゴリに対応する１階層目識別器の生成処理が実行される。

【0087】

未処理のクラスに対応するカテゴリがなくなってステップＳ１１０４の判定がＮＯになると、図１１のフローチャートで示される図７のステップＳ７０５の識別器生成処理を終了する。

【0088】

図１２は、図２のステップＳ２０３の２階層目識別器生成処理の詳細を示すフローチャートである。

【0089】

このフローチャートではまず、図１２のステップＳ１２０１において、図１のＲＡＭ１０４上で学習用データが１枚分ずつ指定されながら、ステップＳ１２０３で指定すべき次の学習用データがなくなったと判定されるまで、ステップＳ１２０２の処理が実行される。

【0090】

図１２のステップＳ１２０２では、指定された学習用データが、図２のステップＳ２０２で生成された各クラスの１階層目識別器に入力される。そして、各１階層目識別器から出力される各スコア値を各要素とする２階層目特徴ベクトル（図３の３０３に対応）が生成され、ステップＳ１２０１で指定された学習用データに対応させられてＲＡＭ１０４に記憶される。

【0091】

以上のステップＳ１２０１からＳ１２０３の繰り返し処理によって、ＲＡＭ１０４に記憶されている複数の学習用データのそれぞれについて、各２階層目特徴ベクトルがＲＡＭ１０４に得られる。その後、図１２のステップＳ１２０４において、ＲＡＭ１０４に得られた２階層目特徴ベクトルのうち、１つのクラスを示すラベルが付与された学習用データに対応する第１の２階層目特徴ベクトルのグループが、ＲＡＭ１０４から読み出される。また、その１つのクラス以外のクラスを示すラベルが付与された学習用データに対応する第２の２階層目特徴ベクトルのグループが、ＲＡＭ１０４から読み出される。そして、これら２階層目特徴ベクトルの２つのグループに基づいて、その１つのクラスに属するデータが入力されたときに最大のスコア値を出力するその１つのクラスに対応する２階層目識別器が生成される。この処理が、複数のクラスごとに実行されることで、各学習用データが表す特徴が前記複数のクラスのそれぞれに属するか否かを個別に識別する複数の２階層目識別器（図３の３０４（＃１）から３０４（＃４）に対応）が生成される。

【0092】

上述のステップＳ１２０４の識別器生成処理の詳細は、前述した図７のステップＳ７０５の識別器生成処理の詳細を示す図１１と同様である。この場合に、前述した図１１の説明において、１階層目特徴ベクトルを２階層目特徴ベクトルに読み替え、１階層目識別器を２階層目識別器に読み替えればよい。

【0093】

すなわち、複数のクラスのうち識別すべき１つのクラスを示すカテゴリが指定される（図１１のステップＳ１１０１）。

【0094】

次に、現在のカテゴリに対応する１ｖｓその他識別用のｐｏｓｉｔｉｖｅデータとｎｅｇａｔｉｖｅデータが入力される。例えば、カテゴリが花の種類である場合、その種類に対応してステップＳ１１０１で指定された１つのクラスのラベルが付与されている学習用データがｐｏｓｉｔｉｖｅデータとされる。また、その１つのクラス以外のクラスのラベルが付与されている学習用データが、ｎｅｇａｔｉｖｅデータとされる。そして、ｐｏｓｉｔｉｖｅデータとされた各学習用データに対応して図１２のステップＳ１２０１〜Ｓ１２０３で得られている各２階層目特徴ベクトルが図１のＲＡＭ１０４から読み込まれて第１のグループとされる。また、ｎｅｇａｔｉｖｅデータとされた各学習用データに対応して図１２のステップＳ１２０１〜Ｓ１２０３で得られている各２階層目特徴ベクトルがＲＡＭ１０４から読み込まれて第２のグループとされる（以上、図１１のステップＳ１１０２）。

【0095】

そして、ステップＳ１１０２で得られた２階層目特徴ベクトルの第１および第２のグループに基づいて、ステップＳ１１０１で指定された識別すべきカテゴリ１つのクラスに属するデータが入力されたときに最大の前記スコア値を出力する前記１つのクラスに対応するように、上記１つのクラスに２階層目識別器における１ｖｓその他識別用パラメータが演算される（以上、図１１のステップＳ１１０３）。

【0096】

具体的には例えば、そのような２階層目識別器において、例えば下記（３）式に示されるような２階層目特徴ベクトルが入力されたとする。ここで、Ｘ₁ ，Ｘ₂ ，Ｘ₃ およびＸ₄ はそれぞれ、＃１から＃４の各１階層目識別器（図３の＃１から＃４の３０２に対応）が出力する各スコア値である。

【0097】

２階層目特徴ベクトル＝（Ｘ₁ ，Ｘ₂ ，Ｘ₃ ，Ｘ₄ ） ・・・（３）

【0098】

下記（４）式に示されるように、（３）式のベクトルの各要素Ｘ₁ ，Ｘ₂ ，Ｘ₃ ，Ｘ₄ にそれぞれ個別の重み値Ｃ₁ ，Ｃ₂ ，Ｃ₃ ，Ｃ₄ を乗算し、その各乗算結果の総和として、その１階層目識別器に対応するスコア値Ｆ（ｘ）を出力する。

【0099】

Ｆ（ｘ）＝Ｃ₁ Ｘ₁ ，＋Ｃ₂ Ｘ₂ ，＋Ｃ₃ Ｘ₃ ，＋Ｃ₄ Ｘ₄ ・・・（４）

【0100】

この場合、ステップＳ１１０３では、上記第１のグループの２階層目特徴ベクトルが上記２階層目識別器に入力されたときに最大のスコア値を出力し、上記第２のグループの２階層目特徴ベクトルが上記２階層目識別器に入力されたときになるべく小さいスコア値を出力するように、上記各重み値Ｃ₁ ，Ｃ₂ ，Ｃ₃ ，Ｃ₄ が算出される。

【0101】

この重み値Ｃ₁ ，Ｃ₂ ，Ｃ₃ ，Ｃ₄ の算出方法としては例えば、機械学習における線形分類器において用いられる線形判別分析と呼ばれるような公知の手法を採用することができる。

【0102】

２階層目識別器は、このようにして決定された重み値Ｃ₁ ，Ｃ₂ ，Ｃ₃ ，Ｃ₄ を用いて上記（４）式を計算することにより、スコア値を出力する。

【0103】

その後、次のクラスに対応するカテゴリが指定されているか否かが判定される（図１１のステップＳ１１０４）。

【0104】

ステップＳ１１０４の判定がＹＥＳならばステップＳ１１０１の処理に戻って、新たなクラスのカテゴリに対応する２階層目識別器の生成処理が実行される。

【0105】

未処理のクラスに対応するカテゴリがなくなってステップＳ１１０４の判定がＮＯになると、図１１のフローチャートで示される図７のステップＳ７０５の識別器生成処理を終了する。

【0106】

下記（５）式は、例えば前述した図５に示される、図３の＃１から＃４の各１階層目識別器３０２が出力するスコア値の例に対して前述した（４）式に基づいて生成される、アサガオｖｓ残りを識別する＃２の２階層目識別器３０４（図３参照）の例を示している。

【0107】

Ｆ（ｘ）＝０．８Ｘ₁ ，＋０．９Ｘ₂ ，＋０．５Ｘ₃ ，−０．５Ｘ₄ ・・・（５）

【0108】

また、下記（６）式は、同じく図５の例に対して前述した（４）式に基づいて生成される、ヒルガオｖｓ残りを識別する＃１の２階層目識別器３０４（図３参照）の例を示している。

【0109】

Ｆ（ｘ）＝０．９Ｘ₁ ，＋０．８Ｘ₂ ，−０．５Ｘ₃ ，−０．５Ｘ₄ ・・・（６）

【0110】

上述の（５）式および（６）式から理解されるように、ツユクサｖｓ残りを識別する＃３の２階層目識別器３０４とアサガオｖｓ残りを識別する＃２の２階層目識別器３０４とで、識別器を構成するコスト関数Ｆ（Ｘ）において、ツユクサｖｓ残りを識別する＃３の１階層目識別器３０２が出力するスコア値Ｘ₃ に乗算される重み値Ｃ₃ （（４）式参照）を大きく異ならせることができる。これにより、ツユクサｖｓ残りを識別する＃３の１階層目識別器３０２が出力するスコア値を用いて、ヒルガオｖｓ残りを識別する＃１の２階層目識別器３０４とアサガオｖｓ残りを識別する＃２の２階層目識別器３０４の間で識別精度を均一化することが可能となる。

【0111】

以上説明したように、本実施形態によれば、図３に示したように、多クラス識別器を２階層構成にして、２階層目識別器３０４において、１階層目識別器３０２の全スコア値出力を２階層目特徴ベクトル３０３として参照して識別が行われる。これにより、１階層目識別器３０２の一部の識別器の質が低くても、他の１階層目識別器３０２が出力するスコア値を参照して、２階層目識別器３０４にて誤差を補正することが可能になる。これにより、各クラスの学習用データ数が少なくても、個々のクラスの１階層目識別器３０２が出力するスコア値を統合的に評価することにより、識別率の低下を抑制することが可能となり、２階層目識別器３０４において各クラスの識別率の値の正規化が可能となる。

【0112】

以上説明した実施形態において、識別の対象を花の画像として説明を行ったが、本発明はこれに限られるものではない。また、画像データから特徴情報を抽出する処理は、ＢＯＦ（Ｂａｇ Ｏｆ Ｆｅａｔｕｒｅｓ）の手法に加えて、例えばＧｒａｐｈ Ｃｕｔｓ法によって花の領域を切り出してから特徴情報を抽出するような方式であってもよい。その他、種々の特徴情報抽出方式が適用できる。

【0113】

更に、本実施形態では花に代表される画像の識別を例にとって説明したが、画像に限定されるものではなく、音声データや、所定の特徴を表すデータ群の識別に適用することができる。すなわち、機械学習で多クラス分類しようとした場合に、クラス間の識別性能を正規化するような要請に対応可能である。

【0114】

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
複数の学習用データからそれぞれ抽出した各１階層目特徴ベクトルを入力して該各学習用データが表す特徴が複数のクラスのうちの１つのクラスに属するか否かを識別する１階層目識別器を生成する処理を、前記複数のクラスごとに実行することで、前記各学習用データが表す特徴が前記複数のクラスのそれぞれに属するか否かを個別に識別する複数の１階層目識別器を生成する１階層目識別器生成手段と、
前記複数の学習用データを前記各クラスの１階層目識別器に入力した結果前記各クラスの１階層目識別器が出力する各スコア値を連結することにより２階層目特徴ベクトルを前記各学習用データごとに生成し、該各２階層目特徴ベクトルを入力して該各２階層目特徴ベクトルに対応する前記各学習用データが表す特徴が前記複数のクラスのうちの１つのクラスに属するか否かを識別する２階層目識別器を生成する処理を、前記複数のクラスごとに実行することで、前記各学習用データが表す特徴が前記複数のクラスのそれぞれに属するか否かを個別に識別する複数の２階層目識別器を生成する２階層目識別器生成手段と、
を備え、
入力されたデータを前記複数の１階層目識別器に入力させることにより該複数の１階層目識別器が出力する前記各スコア値を連結して前記２階層目特徴ベクトルを生成し、該２階層目特徴ベクトルを前記複数の２階層目識別器に入力させることにより最大のスコア値を出力した前記２階層目識別器に対応するクラスを、前記入力されたデータが表す特徴が属するクラスとして識別する、
ことを特徴とする多クラス識別器。
（付記２）
前記特徴は画像の特徴であり、
前記１階層目識別器生成手段は、
前記学習用データが示す画像内の各グリッドに対応させて特徴情報を抽出する処理を前記複数の学習用データのそれぞれに対して実行する特徴抽出処理と、
全ての前記学習用データが示す画像内の全ての前記グリッドに対応して抽出された全ての前記特徴情報を複数のクラスタにクラスタリングするクラスタリング処理と、
前記複数の学習用データのそれぞれについて、該学習用データが示す画像内の前記各グリッドに対応して抽出された前記特徴情報ごとに、該特徴情報と前記各クラスタの重心データとの距離をそれぞれ算出し、該算出した距離のうち最小の距離に対応するクラスタを最近傍クラスタとして抽出し、該抽出した最近傍クラスタの重心データを該特徴情報のベクトル量子化値とするベクトル量子化処理と、
前記複数の学習用データのそれぞれについて、該学習用データが示す画像内の前記各グリッドに対応して抽出された前記ベクトル量子化値ごとに該ベクトル量子化値に対応する前記最近傍クラスタのヒストグラム度数を積算する処理を繰り返し実行することにより該学習用データに対応するヒストグラムを生成し、該ヒストグラムのビンごとの各度数値を各要素値とする前記１階層目特徴ベクトルを生成して、該学習用データに付与されている該学習用データが表す特徴のクラスを示すラベルとともに記憶する１階層目特徴ベクトル生成処理と、
前記１階層目特徴ベクトルのうち、前記１つのクラスを示すラベルが付与された第１の１階層目特徴ベクトルのグループと、前記１つのクラス以外のクラスを示すラベルが付与された第２の１階層目特徴ベクトルのグループとに基づいて、前記１つのクラスに属するデータが入力されたときに最大の前記スコア値を出力する前記１つのクラスに対応する１階層目識別器を生成する処理を、前記複数のクラスごとに実行することで、前記各学習用データが表す特徴が前記複数のクラスのそれぞれに属するか否かを個別に識別する複数の１階層目識別器を生成する識別器生成処理と、
を実行することを特徴とする付記１に記載の多クラス識別器。
（付記３）
前記特徴情報は色およびテクスチャであり、
前記クラスタリング処理において、前記色および前記テクスチャごとに、個別にクラスタリングを行い、
前記ベクトル量子化処理において、前記色および前記テクスチャごとに、それぞれ前記クラスタリングにより得られる色のクラスタおよびテクスチャのクラスタを用いて個別にベクトル量子化値を抽出し、
前記１階層目特徴ベクトル生成処理において、前記色および前記テクスチャごとに、それぞれ前記色および前記テクスチャごとに抽出した前記ベクトル量子化値を用いて個別に、前記学習用データごとの色のヒストグラムおよびテクスチャのヒストグラムを生成し、該色のヒストグラムのビンごとの各度数値と該テクスチャのヒストグラムのビンごとの各度数値を連結したものを各要素値として前記１階層目特徴ベクトルを生成する、
ことを実行することを特徴とする付記２に記載の多クラス識別器。
（付記４）
前記２階層目識別器生成手段は、前記１つのクラスに対応する２階層目識別器を生成する処理において、
前記１つのクラスを示すラベルが付与された学習用データから抽出される第１の前記２階層目特徴ベクトルのグループと、前記１つのクラス以外のクラスを示すラベルが付与された学習用データから抽出される第２の前記２階層目特徴ベクトルのグループとに基づいて、前記１つのクラスに属するデータが入力されたときに最大の前記スコア値を出力する前記１つのクラスに対応する２階層目識別器を生成する、
ことを特徴とする付記１ないし３のいずれかに記載の多クラス識別器。
（付記５）
複数の学習用データからそれぞれ抽出した各１階層目特徴ベクトルを入力して該各学習用データが表す特徴が複数のクラスのうちの１つのクラスに属するか否かを識別する１階層目識別器を生成する処理を、前記複数のクラスごとに実行することで、前記各学習用データが表す特徴が前記複数のクラスのそれぞれに属するか否かを個別に識別する複数の１階層目識別器を生成する１階層目識別器生成ステップと、
前記複数の学習用データを前記各クラスの１階層目識別器に入力した結果前記各クラスの１階層目識別器が出力する各スコア値を連結することにより２階層目特徴ベクトルを前記各学習用データごとに生成し、該各２階層目特徴ベクトルを入力して該各２階層目特徴ベクトルに対応する前記各学習用データが表す特徴が前記複数のクラスのうちの１つのクラスに属するか否かを識別する２階層目識別器を生成する処理を、前記複数のクラスごとに実行することで、前記各学習用データが表す特徴が前記複数のクラスのそれぞれに属するか否かを個別に識別する複数の２階層目識別器を生成する２階層目識別器生成ステップと、
を実行することを備え、
入力されたデータを前記複数の１階層目識別器に入力させることにより該複数の１階層目識別器が出力する前記各スコア値を連結して前記２階層目特徴ベクトルを生成し、該２階層目特徴ベクトルを前記複数の２階層目識別器に入力させることにより最大のスコア値を出力した前記２階層目識別器に対応するクラスを、前記入力されたデータが表す特徴が属するクラスとして識別する、
ことを特徴とする多クラス識別方法。
（付記６）
複数の学習用データからそれぞれ抽出した各１階層目特徴ベクトルを入力して該各学習用データが表す特徴が複数のクラスのうちの１つのクラスに属するか否かを識別する１階層目識別器を生成する処理を、前記複数のクラスごとに実行することで、前記各学習用データが表す特徴が前記複数のクラスのそれぞれに属するか否かを個別に識別する複数の１階層目識別器を生成する１階層目識別器生成ステップと、
前記複数の学習用データを前記各クラスの１階層目識別器に入力した結果前記各クラスの１階層目識別器が出力する各スコア値を連結することにより２階層目特徴ベクトルを前記各学習用データごとに生成し、該各２階層目特徴ベクトルを入力して該各２階層目特徴ベクトルに対応する前記各学習用データが表す特徴が前記複数のクラスのうちの１つのクラスに属するか否かを識別する２階層目識別器を生成する処理を、前記複数のクラスごとに実行することで、前記各学習用データが表す特徴が前記複数のクラスのそれぞれに属するか否かを個別に識別する複数の２階層目識別器を生成する２階層目識別器生成ステップと、
をコンピュータに実行させることを備え、
入力されたデータを前記複数の１階層目識別器に入力させることにより該複数の１階層目識別器が出力する前記各スコア値を連結して前記２階層目特徴ベクトルを生成し、該２階層目特徴ベクトルを前記複数の２階層目識別器に入力させることにより最大のスコア値を出力した前記２階層目識別器に対応するクラスを、前記入力されたデータが表す特徴が属するクラスとして識別する、
ことをコンピュータに実行させるためのプログラム。

【符号の説明】

【0115】

１０１ 多クラス識別器
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ 外部記憶装置
１０６ 通信インタフェース
１０７ 入力装置
１０８ 出力装置
１０９ 可搬記録媒体駆動装置
１１０ 可搬記録媒体
１１１ バス
３０１ １階層目特徴ベクトル
３０２ １階層目識別器
３０３ ２階層目特徴ベクトル
３０４ ２階層目識別器
３０５ 最大スコア判定
４０１ アサガオの分布
４０２ ヒルガオの分布
４０３ ツユクサの分布

【図1】

【図2】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図3】

【図4】