特許 6090286 機械学習装置、機械学習方法、分類装置、分類方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6090286

(24)【登録日】2017年2月17日

(45)【発行日】2017年3月8日

(54)【発明の名称】機械学習装置、機械学習方法、分類装置、分類方法、プログラム

(51)【国際特許分類】

   G06N 99/00 20100101AFI20170227BHJP

   G06F 17/30 20060101ALI20170227BHJP

   G06T 7/00 20170101ALI20170227BHJP

【ＦＩ】

   G06N99/00 153

   G06F17/30 210D

   G06T7/00 350B

【請求項の数】15

【全頁数】23

(21)【出願番号】特願2014-222600(P2014-222600)

(22)【出願日】2014年10月31日

(65)【公開番号】特開2016-91166(P2016-91166A)

(43)【公開日】2016年5月23日

【審査請求日】2015年11月11日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】松永 和久

【審査官】 多胡 滋

(56)【参考文献】

【文献】 特開２０１０−２５７１５８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ９９／００

Ｇ０６Ｆ １７／３０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

カテゴリ分けに用いるためのラベル付きの学習用コンテンツをｎ個（ｎは、２以上の自然数）取得するコンテンツ取得手段と、
前記コンテンツ取得手段が取得したｎ個の学習用コンテンツそれぞれから、特徴を示す特徴ベクトルを取得する特徴ベクトル取得手段と、
前記特徴ベクトル取得手段が取得した前記ｎ個の学習用コンテンツそれぞれの特徴ベクトルを、当該特徴ベクトル同士の類似度に基づいて類似特徴ベクトルに変換するベクトル変換手段と、
前記ベクトル変換手段で変換した前記類似特徴ベクトルと、前記ｎ個の学習用コンテンツそれぞれに付されたラベルと、に基づいて、該ｎ個の学習用コンテンツをカテゴリ分けするための分類条件を学習する学習手段と、
前記学習手段が学習した分類条件に従って、前記ラベルが付されていない試験用コンテンツをカテゴリ分けする分類手段と、
を備えたことを特徴とする機械学習装置。

【請求項2】

前記ベクトル変換手段は、行数を前記ｎ個に等しいｎ行、列数を前記ｎ個に等しいｎ列、各成分を前記学習用コンテンツ同士の類似度、とするｎ行ｎ列の類似行列を生成し、該生成した類似行列の各行の行ベクトルそれぞれを、前記類似特徴ベクトルとする、
ことを特徴とする請求項１に記載の機械学習装置。

【請求項3】

前記ラベルは、前記ｎ個の学習用コンテンツを２カテゴリに分けるためのラベルであり、
前記学習手段は、前記ｎ個の学習用コンテンツそれぞれに付されたラベルに基づいて、該ｎ個の学習用コンテンツそれぞれの類似特徴ベクトルで定まるベクトル空間内のｎ個の点を、２カテゴリに線形分離する関数を前記分類条件として学習し、
前記分類手段は、前記関数に従って、前記試験用コンテンツを２カテゴリのうち何れか一方のカテゴリに分類する、
ことを特徴とする請求項１又は２に記載の機械学習装置。

【請求項4】

前記類似特徴ベクトルの各成分の類似度の値をべき乗するべき乗手段と、
前記分類手段が前記試験用コンテンツを前記何れか一方のカテゴリに分類した正答率が最大となる、前記関数の調整パラメータと、前記べき乗のためのべき乗パラメータと、の組み合わせを選択する選択手段と、
を備えたことを特徴とする請求項３に記載の機械学習装置。

【請求項5】

前記学習手段は、前記２カテゴリに線形分離する関数を、線形サポートベクトルマシン（線形ＳＶＭ）、ｋ近傍法、ナイーブベイズ分類法、決定木、ニューラルネットワーク、バギング法、ブースティング法又はランダムフォレスト法により学習する、
ことを特徴とする請求項３又は４に記載の機械学習装置。

【請求項6】

前記ベクトル変換手段は、前記特徴ベクトルを、該特徴ベクトルの成分の数である次元数よりも多次元の類似特徴ベクトルに変換する、
ことを特徴とする請求項１乃至５の何れか一項に記載の機械学習装置。

【請求項7】

前記ベクトル変換手段は、前記学習用コンテンツ同士の類似度をヒストグラムインターセクションにより求める、
ことを特徴とする請求項１乃至６何れか一項に記載の機械学習装置。

【請求項8】

前記特徴ベクトル取得手段は、前記ｎ個の学習用コンテンツそれぞれから、ＢｏＦ（Bag of Features）により局所的な特徴を定量化した特徴ベクトルを取得し、該ｎ個の学習用コンテンツそれぞれから取得した特徴ベクトルをＬ１ノルム又はＬ２ノルムで正規化する、
ことを特徴とする請求項１乃至７何れか一項に記載の機械学習装置。

【請求項9】

前記学習用コンテンツと前記試験用コンテンツとは何れも、画像、音声又はテキストである、
ことを特徴とする請求項１乃至８何れか一項に記載の機械学習装置。

【請求項10】

請求項１乃至９何れか一項に記載の機械学習装置が学習した分類条件に従って、前記学習用コンテンツと前記試験用コンテンツとは異なる未知のコンテンツをカテゴリ分けする未知コンテンツ分類手段、
を備えたことを特徴とする分類装置。

【請求項11】

前記未知のコンテンツから、該未知のコンテンツの特徴を示す特徴ベクトルを取得する取得手段と、
前記取得手段が取得した前記未知のコンテンツの特徴ベクトルを、前記学習用コンテンツと前記未知のコンテンツとの類似度に基づいて類似特徴ベクトルに変換する変換手段と、
を備え、
前記未知コンテンツ分類手段は、前記変換手段が変換した類似特徴ベクトルで定まるベクトル空間内の１個の点を、前記分類条件に従って分類することで、前記未知のコンテンツをカテゴリ分けする、
ことを特徴とする請求項１０に記載の分類装置。

【請求項12】

カテゴリ分けに用いるためのラベル付きの学習用コンテンツをｎ個（ｎは、２以上の自然数）取得するコンテンツ取得ステップと、
前記コンテンツ取得ステップにおいて取得したｎ個の学習用コンテンツそれぞれから、特徴を示す特徴ベクトルを取得する特徴ベクトル取得ステップと、
前記特徴ベクトル取得ステップにおいて取得した前記ｎ個の学習用コンテンツそれぞれの特徴ベクトルを、当該特徴ベクトル同士の類似度に基づいて類似特徴ベクトルに変換するベクトル変換ステップと、
前記ベクトル変換ステップにおいて変換した前記類似特徴ベクトルと、前記ｎ個の学習用コンテンツそれぞれに付されたラベルと、に基づいて、該ｎ個の学習用コンテンツをカテゴリ分けするための分類条件を学習する学習ステップと、
前記学習ステップにおいて学習した分類条件に従って、前記ラベルが付されていない試験用コンテンツをカテゴリ分けする分類ステップと、
を備えたことを特徴とする機械学習方法。

【請求項13】

請求項１２に記載の機械学習方法によって学習された分類条件に従って、前記学習用コンテンツと前記試験用コンテンツとは異なる未知のコンテンツをカテゴリ分けする未知コンテンツ分類ステップ、
を備えたことを特徴とする分類方法。

【請求項14】

コンピュータを、
カテゴリ分けに用いるためのラベル付きの学習用コンテンツをｎ個（ｎは、２以上の自然数）取得するコンテンツ取得手段、
前記コンテンツ取得手段が取得したｎ個の学習用コンテンツそれぞれから、特徴を示す特徴ベクトルを取得する特徴ベクトル取得手段、
前記特徴ベクトル取得手段が取得した前記ｎ個の学習用コンテンツそれぞれの特徴ベクトルを、当該特徴ベクトル同士の類似度に基づいて類似特徴ベクトルに変換するベクトル変換手段、
前記ベクトル変換手段で変換した前記類似特徴ベクトルと、前記ｎ個の学習用コンテンツそれぞれに付されたラベルと、に基づいて、該ｎ個の学習用コンテンツをカテゴリ分けするための分類条件を学習する学習手段、
前記学習手段が学習した分類条件に従って、前記ラベルが付されていない試験用コンテンツをカテゴリ分けする分類手段、
として機能させるためのプログラム。

【請求項15】

コンピュータを、
請求項１４に記載のプログラムの実行により学習された分類条件に従って、前記学習用コンテンツと前記試験用コンテンツとは異なる未知のコンテンツをカテゴリ分けする未知コンテンツ分類手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習装置、機械学習方法、分類装置、分類方法及びプログラムに関する。

【背景技術】

【0002】

従来から、コンテンツ（例えば、画像、音声、テキストなど）を、そのコンテンツが属すカテゴリに分類する分類装置が知られている。この分類装置は、コンテンツを分類するための分類条件に従って、コンテンツの分類を行う。この分類条件は、一般的に、機械学習装置によって機械学習されたものである。
ここで、コンテンツを２カテゴリに分類するための分類条件を学習する機械学習装置として、サポートベクトルマシン（ＳＶＭ：Support Vector Machine）が知られている。

【0003】

このＳＶＭ（機械学習装置）は、２カテゴリの一方に属す学習用コンテンツの集合と、他方に属す学習用コンテンツの集合と、を用いて、これら集合を２つに分類する分類条件（例えば、分類のための関数など）を予め学習しておく。そして、分類装置は、学習された分類条件に従って、未知のコンテンツを２カテゴリのうち何れか一方のカテゴリに分類する。ここで、非特許文献１には、線形分離できない２つの集合を非線形で分離するためのＳＶＭの技術が開示されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Sabri Boughorbel、外２名、「GENERALIZED HISTOGRAM INTERSECTION KERNEL FOR IMAGE RECOGNITION」、International Conference on Image Processing (ICIP)、２００５年９月

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ＳＶＭは、学習用コンテンツの特徴を定量化した特徴ベクトルを用いて、上記分類条件の学習を行う。この場合、ＳＶＭは、ベクトル空間に分布する一方と他方の学習用コンテンツそれぞれの特徴ベクトルを線形分離するための分類条件を学習する。

【0006】

しかしながら、学習用コンテンツの素性によって、ベクトル空間における特徴ベクトルの分布の仕方が異なり、一方と他方の学習用コンテンツの集合同士を線形分離できないことがあった。つまり、線形分離しやすいか否かは学習用コンテンツの素性に依るところが大きく、分布の仕方が学習用コンテンツの素性により一意に定まる場合は、線形分離のための自由度が低かった。
このため、機械学習装置が分類条件を学習したとしても、その学習された分類条件を用いる分類装置が、未知のコンテンツ対してその未知のコンテンツが属すべきカテゴリへ精度よく分類できないという問題があった。

【0007】

そこで、本発明は、上記問題を解決するためになされたものであって、コンテンツが属すカテゴリへ精度よく分類する機械学習装置、機械学習方法、分類装置、分類方法、プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、この発明の第１の観点に係る機械学習装置は、
カテゴリ分けに用いるためのラベル付きの学習用コンテンツをｎ個（ｎは、２以上の自然数）取得するコンテンツ取得手段と、
前記コンテンツ取得手段が取得したｎ個の学習用コンテンツそれぞれから、特徴を示す特徴ベクトルを取得する特徴ベクトル取得手段と、
前記特徴ベクトル取得手段が取得した前記ｎ個の学習用コンテンツそれぞれの特徴ベクトルを、当該特徴ベクトル同士の類似度に基づいて類似特徴ベクトルに変換するベクトル変換手段と、
前記ベクトル変換手段で変換した前記類似特徴ベクトルと、前記ｎ個の学習用コンテンツそれぞれに付されたラベルと、に基づいて、該ｎ個の学習用コンテンツをカテゴリ分けするための分類条件を学習する学習手段と、
前記学習手段が学習した分類条件に従って、前記ラベルが付されていない試験用コンテンツをカテゴリ分けする分類手段と、
を備えたことを特徴とする。

【0009】

上記目的を達成するため、この発明の第２の観点に係る分類装置は、
第１の観点に係る機械学習装置が学習した分類条件に従って、前記学習用コンテンツと前記試験用コンテンツとは異なる未知のコンテンツをカテゴリ分けする未知コンテンツ分類手段、
を備えたことを特徴とする。

【0010】

上記目的を達成するため、この発明の第３の観点に係る機械学習方法は、
カテゴリ分けに用いるためのラベル付きの学習用コンテンツをｎ個（ｎは、２以上の自然数）取得するコンテンツ取得ステップと、
前記コンテンツ取得ステップにおいて取得したｎ個の学習用コンテンツそれぞれから、特徴を示す特徴ベクトルを取得する特徴ベクトル取得ステップと、
前記特徴ベクトル取得ステップにおいて取得した前記ｎ個の学習用コンテンツそれぞれの特徴ベクトルを、当該特徴ベクトル同士の類似度に基づいて類似特徴ベクトルに変換するベクトル変換ステップと、
前記ベクトル変換ステップにおいて変換した前記類似特徴ベクトルと、前記ｎ個の学習用コンテンツそれぞれに付されたラベルと、に基づいて、該ｎ個の学習用コンテンツをカテゴリ分けするための分類条件を学習する学習ステップと、
前記学習ステップにおいて学習した分類条件に従って、前記ラベルが付されていない試験用コンテンツをカテゴリ分けする分類ステップと、
を備えたことを特徴とする。

【0011】

上記目的を達成するため、この発明の第４の観点に係る分類方法は、
第３の観点に係る機械学習方法によって学習された分類条件に従って、前記学習用コンテンツと前記試験用コンテンツとは異なる未知のコンテンツをカテゴリ分けする未知コンテンツ分類ステップ、
を備えたことを特徴とする。

【0012】

上記目的を達成するため、この発明の第５の観点に係るプログラムは、
コンピュータを、
カテゴリ分けに用いるためのラベル付きの学習用コンテンツをｎ個（ｎは、２以上の自然数）取得するコンテンツ取得手段、
前記コンテンツ取得手段が取得したｎ個の学習用コンテンツそれぞれから、特徴を示す特徴ベクトルを取得する特徴ベクトル取得手段、
前記特徴ベクトル取得手段が取得した前記ｎ個の学習用コンテンツそれぞれの特徴ベクトルを、当該特徴ベクトル同士の類似度に基づいて類似特徴ベクトルに変換するベクトル変換手段、
前記ベクトル変換手段で変換した前記類似特徴ベクトルと、前記ｎ個の学習用コンテンツそれぞれに付されたラベルと、に基づいて、該ｎ個の学習用コンテンツをカテゴリ分けするための分類条件を学習する学習手段、
前記学習手段が学習した分類条件に従って、前記ラベルが付されていない試験用コンテンツをカテゴリ分けする分類手段、
として機能させることを特徴とする。

【0013】

上記目的を達成するため、この発明の第６の観点に係るプログラムは、
コンピュータを、
第５の観点に係るプログラムの実行により学習された分類条件に従って、前記学習用コンテンツと前記試験用コンテンツとは異なる未知のコンテンツをカテゴリ分けする未知コンテンツ分類手段、
として機能させることを特徴とする。

【発明の効果】

【0014】

本発明によれば、コンテンツが属すカテゴリへ精度よく分類することができる。

【図面の簡単な説明】

【0015】

【図1】機械学習装置の構成を示すブロック図である。

【図2】学習用画像と試験用画像の一例を示す図である。

【図3】学習用画像から取得した特徴ベクトルの一例を示す図である。

【図4】学習用画像の特徴ベクトルを類似特徴ベクトルにする流れの一例を示す図である。

【図5】試験用画像の特徴ベクトルを類似特徴ベクトルにする流れの一例を示す図である。

【図6】べき乗パラメータαによるべき乗後の例を示す図である。

【図7】べき乗パラメータαの値に応じた、べき乗前後の値の変化を示す図である。

【図8】線形ＳＶＭ（サポートベクトルマシン）の原理を説明するための図である。

【図9】（ａ）は調整パラメータＣが大きい場合の例を、（ｂ）は調整パラメータＣが小さい場合の例を、それぞれ示す図である。

【図10】正誤判定用テーブルの一例を示す図である。

【図11】実施形態に係る分類処理の流れを示すフローチャートである。

【図12】分類装置の構成を示すブロック図である。

【図13】変形例に係る分類処理の流れを示すフローチャートである。

【図14】図１３の分類処理の続きを示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、この発明の実施形態を図面に基づいて説明する。
図１に示すように、機械学習装置１００は、記憶部１１０及び制御部１２０を備える。この機械学習装置１００は、学習用コンテンツ（画像、音声、テキストなど）を２カテゴリに分類するための分類条件を機械学習する装置である。この機械学習装置１００は、分類条件を学習用コンテンツにより学習する学習段階と、学習した分類条件に従って試験用コンテンツを分類して正誤評価する試験段階と、を経る。その後、分類装置は、商用環境にて、学習された分類条件に従って、学習用コンテンツと試験用コンテンツとは異なる未知のコンテンツを分類する。
この実施形態においては、機械学習装置１００の学習段階と試験段階を中心に説明する。また、この実施形態では、コンテンツとして画像を例にとって説明する。また、この実施形態において、「分類条件を学習する」ことと「分類条件を生成する」ことは同義であって、適宜何れか一方により説明する。

【0017】

記憶部１１０は、ＨＤＤ（Hard Disk Drive）などの不揮発性メモリである。この記憶部１１０は、画像記憶部１１１を備える。この画像記憶部１１１は、図２に示すような、学習用画像Ｓ_１〜Ｓ_ｎと、試験用画像Ｔ_１〜Ｔ_ｍと、を記憶する。学習用画像Ｓ_１〜Ｓ_ｎは、それら学習用画像Ｓ_１〜Ｓ_ｎを２カテゴリに分けるためのラベルが付されているラベル付き画像である。このラベルは、２カテゴリの一方の値（例えば、１）又は他方の値（例えば、−１）の何れかの値をとる。一方で、試験用画像Ｔ_１〜Ｔ_ｍは、ラベルが付されていないラベルなし画像である。

【0018】

また、ラベル付き学習用画像の個数（ｎ個）は、２カテゴリに分けることから少なくとも２個以上、つまりｎは２以上の自然数である必要がある。また、ラベルなし試験用画像の個数（ｍ個）は、正誤評価を複数回実行するために少なくとも２個以上、つまりｍは２以上の自然数である必要がある。この実施形態においては、理解を容易にするために、ｎとｍの数が等しい、つまりｎ＝ｍであることを前提に以下説明する。

【0019】

なお、学習用画像Ｓ_１〜Ｓ_ｎについて、いずれか１つの学習用画像（例えば、学習用画像Ｓ１など）を特段特定する必要がない場合は、単に学習用画像と称して以下説明する。また、学習用画像Ｓ_１〜Ｓ_ｎについて、２以上のラベル付き学習用画像をまとめて呼ぶ場合は適宜、複数の学習用画像、ｎ個の学習用画像などと称して以下説明する。試験用画像Ｔ_１〜Ｔ_ｍについても同様である。

【0020】

ここで、画像記憶部１１１に複数の学習用画像と複数の試験用画像とが記憶されるまでの流れについて説明する。ユーザは、複数の学習用画像と複数の試験用画像とを目的に応じて予め収集しておく。例えば、ユーザが被写体のありなしで画像を２分類させたければ、被写体ありの人物画像を１００枚、被写体なしの風景画像を１００枚、それぞれ予め収集しておく。そして、人物画像１００枚のうち５０枚をラベル１の学習用画像とし、残りの５０枚をラベルなしの試験用画像とする。一方、風景画像１００枚のうち５０枚をラベル−１の学習用画像とし、残り５０枚を試験用画像とする。

【0021】

このようにすれば、一例として、ラベル１又は−１付きの１００枚の学習用画像と、ラベルなしの１００枚の試験用画像と、が得られる。そして、ユーザは、収集した計２００枚の画像を、機械学習装置１００の画像記憶部１１１に記憶する。これにより、学習準備が整い、機械学習装置１００による機械学習が可能な状態となる。

【0022】

なお、機械学習装置１００は、試験段階において分類条件に従って分類した試験用画像が正しいカテゴリへと分類されたか否かの正誤判定を行う。このため、試験用画像は、正誤判定のためにラベル（１又は−１）と対応付けられて記憶部１１０に記憶される。換言すれば、試験用画像は、分類された後に正誤の判定ができる（つまり、記憶部１１０に正誤判定用のテーブルが記憶されている）ことを除けば、正誤判定ができない未知の画像（例えば、商用環境にリリース後に分類装置が分類する画像など）と変わらない。なお、試験段階における具体的な処理については後述する。

【0023】

図１に戻って、制御部１２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)などから構成される。制御部１２０のＣＰＵは、ＲＯＭに記憶されている分類処理用のプログラムを読み出して実行することにより、各機能（画像取得部１２１、特徴ベクトル取得部１２２、ベクトル変換部１２３、べき乗部１２４、分類条件学習部１２５、分類部１２６、選択部１２７）を実現する。

【0024】

画像取得部１２１は、複数の学習用画像と複数の試験用画像とを取得する。具体的には、画像取得部１２１は、画像記憶部１１１から、学習用画像ｎ個（ｎ≧２）と、試験用画像ｍ個（ｍ≧２）と、を取得する。なお、画像取得部１２１は、画像記憶部１１１に限らず、両画像を有線又は無線で外部から取得してもよいことはもちろんである。また、画像取得部１２１は、コンテンツ取得手段に相当する。

【0025】

特徴ベクトル取得部１２２は、画像取得部１２１が取得した複数の学習用画像と複数の試験用画像それぞれから、特徴を示す特徴ベクトルを取得する。具体的には、まず、特徴ベクトル取得部１２２は、ｎ個の学習用画像それぞれから、例えば、ＢｏＦ（Bag of Features）により局所的な特徴を定量化した特徴ベクトルを取得する。次に、特徴ベクトル取得部１２２は、ｎ個の学習用画像それぞれから取得した特徴ベクトルをＬ１ノルムで正規化する。

【0026】

このＬ１ノルムは、特徴ベクトルの各成分の絶対値和である。このＬ１ノルムで特徴ベクトルの各成分を除算することにより、各成分の値が０〜１に正規化される。これにより、不揃いの各成分の値を同じスケールにすることができるので、後述する類似度を算出する場合の演算処理が容易になる。なお、Ｌ１ノルムに限らず、特徴ベクトルの各成分の２乗和の平方根であるＬ２ノルムにより、特徴ベクトルを正規化してもよい。

【0027】

ここで、ラベル付き学習用画像Ｓ_１〜Ｓ_ｎそれぞれから、特徴ベクトルを取得することについて、図３を参照しながら説明する。図３では、例えば、１個目の学習用画像Ｓ_１から取得した正規化後の特徴ベクトルを（０．１，０．１，０．７，０．１）、ｎ個目の学習用画像Ｓ_ｎから取得した正規化後の特徴ベクトルを（０．４，０．２，０．２，０．２）で示す。この特徴ベクトルから、特徴ベクトル取得部１２２が局所的な４つの特徴を定量化して特徴ベクトルの成分を４つ取得したことがわかる。このため、特徴ベクトルの成分の数が４つなので次元数は４、すなわち特徴ベクトルは４次元である。

【0028】

なお、特徴ベクトル取得部１２２は、同様の要領でｍ個の試験用画像それぞれから特徴ベクトルを取得する。また、特徴ベクトル取得部１２２は、特徴ベクトル取得手段に相当する。

【0029】

図１に戻って、ベクトル変換部１２３は、特徴ベクトル取得部１２２が取得したｎ個の学習用画像それぞれの特徴ベクトルを、学習用画像同士の類似度に基づいて類似特徴ベクトルに変換する。
具体的には、まず、ベクトル変換部１２３は、行数をｎ個に等しいｎ行、列数をｎ個に等しいｎ列、各成分をコンテンツ同士の類似度、とするｎ行ｎ列の類似行列を生成する（図４参照）。次に、ベクトル変換部１２３は、生成した類似行列の各行の行ベクトルそれぞれを、ｎ個の学習用画像それぞれの特徴ベクトルに代わる類似特徴ベクトルとする。

【0030】

ここで、図４の学習用画像Ｓ_１の特徴ベクトル（０．１，０．１，０．７，０．１）を例にとって説明すると、この特徴ベクトルに対応する１行目の行ベクトルは（Ｓ_１１，Ｓ_１２，Ｓ_１３，・・・Ｓ_１ｎ）である。この行ベクトルの各成分は、学習用画像同士の類似度であり、Ｓ_１１は学習用画像Ｓ_１同士の類似度を、Ｓ_１２は学習用画像Ｓ_１とＳ_２の類似度を、Ｓ_１３は学習用画像Ｓ_１とＳ_３の類似度を、Ｓ_１ｎは学習用画像Ｓ_１とＳ_ｎの類似度を、それぞれ示す。この類似度は、以下の式（１）で示されるヒストグラムインターセクションにより算出される。

【0031】

【数1】

【0032】

ここで、ｎは次元数を、ｘ_ｉは比較対象となる一方の画像の特徴ベクトルにおけるｉ次元目の成分の値を、ｙ_ｉは比較対象となる他方の画像の特徴ベクトルにおけるｉ次元目の成分の値を、ｋ（ｘ，ｙ）は類似度を、それぞれ示す。上記（式１）は、同次元における（つまり、同じ局所的特徴部分における）両画像の成分の値のうち小さい値を選択していき、全次元それぞれで選択した小さい値の和を類似度の値（１〜０の値）とすることを示している。この類似度が１に近いほど両画像が似ていることになる。なお、両画像の成分の値が等しい場合は何れか一方を選択すればよい。

【0033】

図４の場合、例えば、Ｓ_１１の類似度は全次元において成分の値が等しいので、０．１＋０．１＋０．７＋０．１＝１．０となる。一方で、Ｓ_１２の類似度は１次元目の値０．１と０．１のうち０．１を、２次元目の値０．１と０．７のうち０．１を、３次元目の値０．７と０．１のうち０．１を、４次元目の値０．１と０．１のうち０．１をそれぞれ選択して足すと、０．１＋０．１＋０．１＋０．１＝０．４となる。

【0034】

このような要領で、（式１）を用いたヒストグラムインターセクションにより、類似行列の各成分の類似度を全て求める（図４参照）。そして、類似行列の各行の行ベクトルそれぞれを、ｎ個の学習用画像それぞれの特徴ベクトルに代わる類似特徴ベクトルとする。例えば、学習用画像Ｓ_１の特徴ベクトル（０．１，０．１，０．７，０．１）に代わる類似特徴ベクトルは（１．０，０．４，０．５，・・・０．５）となる。

【0035】

このように、ベクトル変換部１２３が類似行列を生成することにより、ｎ個の特徴ベクトルをｎ個の類似特徴ベクトルに変換することができる。この類似特徴ベクトルの各成分は、学習用画像同士の類似度である。このため、ベクトル空間において特徴ベクトルで定まる点の位置を、類似特徴ベクトルで定まる点の位置に移動することができる。このことは、ベクトル空間におけるｎ個の点の分布の仕方が変わることを意味する。

【0036】

また、類似特徴ベクトルの各成分の値は類似度の値であるから、非線形変換されたともいえる。この非線形変換とは、線形変換するための演算処理（例えば、所定の値に係数を乗算する処理）以外の処理（例えば、所定の値をべき乗する処理、あるいは類似度に置換する処理など）をいう。これにより、ベクトル空間において特徴ベクトルで定まる点の位置が、類似特徴ベクトルで定まる点の位置に非線形に移動する、つまり直線移動しないことになる。

【0037】

また、類似特徴ベクトルの成分の数（ｎ個）が、特徴ベクトルの成分の数よりも大きければ、特徴ベクトルの次元数をｎ次元に拡張したことになる。この実施形態においては、特徴ベクトルが４次元なので、ｎ＞４であれば類似特徴ベクトルに変換することで次元数を拡張することができる。このことは、４次元のベクトル空間からｎ次元のベクトル空間になったことを意味する。

【0038】

なお、ベクトル変換部１２３は、同様の要領でｍ個の試験用画像それぞれの特徴ベクトルを、学習用画像と試験用画像との類似度に基づいて類似特徴ベクトルに変換する（図５参照）。学習用画像の類似度は、その学習用画像を基準として類似度を算出していることから、試験用画像の類似度の算出の際にも、試験時のスケールを合わせるために基準を学習用画像として類似度を算出するようにする。

【0039】

これにより、ｍ（＝ｎ）行ｎ列の試験用画像の類似行列が生成され、ｍ個の特徴ベクトルそれぞれを、ｍ個の類似特徴ベクトルに変換することができる（図５参照）。なお、ベクトル変換部１２３は、ベクトル変換手段に相当する。

【0040】

図１に戻って、べき乗部１２４は、類似特徴ベクトルの各成分の類似度の値をべき乗する。例えば、べき乗部１２４は、図４の学習用画像Ｓ_１の類似特徴ベクトルの各成分の類似度の値（１．０，０．４，０．５・・・０．５）をべき乗する。図６に、べき乗パラメータαを１、αを２、αを０．５、とした場合のべき乗後の例を示す。この場合、類似特徴ベクトルの各成分の値を１乗、２乗、０．５乗しているので、ｎ次元のベクトル空間において異なる３パターンの分布が得られることになる。

【0041】

このことについて、図７を参照しながら説明する。図７は、べき乗パラメータαの値に応じた、べき乗前後の値の変化を示す図である。この図から、αの値が大きくなるほど、べき乗前の値に対してべき乗後の値が小さくなる。このことは、べき乗前の類似度が低い値はノイズとみなして、類似度が１に近い値は残すことを意味する。一方で、αの値が小さくなるほど、べき乗前の類似度が低い値に対してべき乗後の値が大きくなる。このことは、べき乗前の類似度が低い類似度が低い値はノイズとみなさず値を大きくして残すことを意味する。

【0042】

これらから、べき乗パラメータαにより、類似度の値を変化させることで分布のバリエーションを増やすことができるので、ベクトル空間において２カテゴリに分類する際の自由度を高めることができる。なお、べき乗を行うタイミング及びべき乗の値の選び方については後述する。また、べき乗部１２４は、べき乗手段に相当する。

【0043】

図１に戻って、分類条件学習部１２５は、ベクトル変換部１２３で変換した類似特徴ベクトルと、ｎ個の学習用画像それぞれに付されたラベルと、に基づいて、そのｎ個の学習用画像をカテゴリ分けするための分類条件を学習する（分類条件を生成する）。
具体的には、分類条件学習部１２５は、ｎ個の学習用画像Ｓ_１〜Ｓ_ｎそれぞれの類似特徴ベクトルで定まるベクトル空間内のｎ個の点を、２カテゴリに分離する関数（識別関数とも言う）を分類条件として学習する。この実施形態において、機械学習装置１００が学習するとは、識別関数を生成することを意味する。また、この実施形態では、線形ＳＶＭ（サポートベクトルマシン）により、２カテゴリに線形分離する識別関数を生成する。

【0044】

ここで、上述した実施形態から一旦離れて、線形ＳＶＭの原理について、図８を参照しながら説明する。この図８では、理解を容易にするために、特徴ベクトルの成分数がｘ_１とｘ_２の２つ、つまり２次元の特徴ベクトルを例にとって説明する。図８では、２次元のベクトル空間において、ラベルが１の複数の学習用画像それぞれの特徴ベクトルで定まる点（＋）と、ラベルが−１の複数の学習用画像それぞれの特徴ベクトルで定まる点（−）と、が分布している例を示す。このことは、式で表すと以下の式（２）になる。

【0045】

【数2】

【0046】

ここで、ｊは１個目〜ｎ個目の学習用画像のうち任意のｊ番目であることを示す。この式（２）は、カテゴリＣ_１に属すｊ番目の学習用画像のラベルｙは１、カテゴリＣ_２に属すｊ番目の学習用画像のラベルｙは−１、であること示す。
また、図８の識別関数は、以下の式（３）で示される。

【0047】

【数3】

【0048】

ここで、ｗは重みベクトルを、ｂはバイアス項をそれぞれ示す。このｗとｂを求めるにあたって、線形ＳＶＭでは、実線で示す識別関数からの最寄りの点（サポートベクトル）までの距離であるマージンＬを最大化するように求める。マージンＬは、以下のＨ_１とＨ_２の式（４）から求めることができる。

【0049】

【数4】

【0050】

Ｈ_１は、Ｃ_１に属すサポートベクトルが１以上（図８の例では＋の点２つ）のっている境界の式を示す。一方、Ｈ_２は、Ｃ_２に属すサポートベクトルが１以上（図８の例では−の点２つ）のっている境界の式を示す。ｘ_Ｃ１はカテゴリＣ_１に属すｘ_ｊを、ｘ_Ｃ２はカテゴリＣ_２に属すｘ_ｊを、それぞれ示す。マージンＬを求めるために、両者を引くと、ｗ（ｘ_Ｃ１−ｘ_Ｃ２）＝２となる。両辺を｜｜ｗ｜｜で割ると、（ｘ_Ｃ１−ｘ_Ｃ２）＝２／｜｜ｗ｜｜となる。つまり、２Ｌ＝２／｜｜ｗ｜｜となるので、マージンＬは、以下の式（５）となる。

【0051】

【数5】

【0052】

このマージンＬを最大化するために、｜｜ｗ｜｜を最小化すればよい。この｜｜ｗ｜｜は、計算の便宜上、等価である以下の式（６）に置き換える。

【0053】

【数6】

また、式（２）及び（３）から、以下の式（７）が導き出せる。

【0054】

【数7】

【0055】

この式（７）を以下の式（８）のようにまとめることができる。

【0056】

【数8】

【0057】

この式（８）は、ｗとｂを求めるにあたっての制約条件となる。この制約条件を満たしつつ、式（６）を最小化するｗとｂを求めて、マージンＬが最大の識別関数を生成することができる。換言すると、マージンＬが最大の識別関数を生成するとは、式（８）の制約条件付きで式（６）を最小化する条件付き最小化問題ともいえる。

【0058】

ここで、この最小化問題を解いて識別関数を生成するにあたって、線形ＳＶＭでは、学習誤りをどの程度許容するかを考慮する必要がある。学習誤りを許容しないで識別関数を生成することをハードマージンという。一方で、学習誤りを許容して識別関数を生成することをソフトマージンという。この学習誤りを許容する度合いを決定するためのパラメータとして、線形ＳＶＭでは、調整パラメータＣを用いる。このＣが大きい程ハードマージンとなり（図９（ａ）参照）、Ｃが小さい程ソフトマージンとなる（図９（ｂ）参照）。

【0059】

この調整パラメータＣの値は、値に応じて試験用画像を分類した際の正答率が変わるので、最適値を求める必要がある。この点については後述する。分類条件学習部１２５は、任意の調整パラメータＣにおいて最小化問題を解くことで１つの識別関数を生成する（図９（ａ）及び（ｂ）参照）。以上、図８及び図９ならびに式（２）乃至（８）を参照しながら、線形ＳＶＭの一般的な原理について説明した。

【0060】

しかし、この実施形態においては、ｎ次元のベクトル空間において、ｎ個の学習用画像それぞれの類似特徴ベクトルで定まるｎ個の点（ラベル１の点は＋、ラベル−１の点は−）が分布することになる。そして、べき乗部１２４は、この分布の仕方を類似特徴ベクトルの各成分をべき乗することで異ならせる。そして、分類条件学習部１２５は、任意の調整パラメータＣの値において最小化問題を解くことで、ｎ個の点を２カテゴリに線形分離する識別関数を生成する。この分類条件学習部１２５は、べき乗パラメータαと調整パラメータＣの複数の異なる組み合わせに対応した複数の異なる識別関数を生成する。このαとＣの組み合わせは、後述するグリッドサーチにより決定される。なお、分類条件学習部１２５は、学習手段に相当する。

【0061】

図１に戻って、分類部１２６は、分類条件学習部１２５が生成した分類条件である識別関数に従って、ラベルなしの試験用画像を２カテゴリのうち何れか一方のカテゴリに分類する。具体的には、分類部１２６は、試験用画像の類似特徴ベクトルの値（例えば、図５に示す試験用画像Ｔ_１の類似特徴ベクトルであれば、各成分０．５，０．５，０．９，・・・０．９から求まる値）を、生成された識別関数の式（３）のｘに代入して、ｙの値を求める。分類部１２６は、ｙの値が１以上であれば試験用画像はＣ_１のカテゴリに、ｙの値が−１以下であれば試験用画像はＣ_２のカテゴリに、それぞれ分類する。

【0062】

また、分類部１２６は、分類した試験用画像が正しいカテゴリへと分類されたか否かの正誤判定を行う。具体的には、分類部１２６は、図１０に示す正誤判定用テーブルを参照して、正誤判定を行う。例えば、分類部１２６は、正誤判定用テーブルを参照して、分類した試験用画像Ｔ_１がＣ_１のカテゴリ（ｙ≧１）であれば正解と判定し、Ｃ_２のカテゴリ（ｙ≦−１）であれば不正解と判定する。分類部１２６は、ｍ個の試験用画像Ｔ_１〜Ｔ_ｍ全ての正解又は不正解から正答率（識別率とも言う）％を算出する。分類部１２６は、複数の異なるＣとαの組み合わせ全ての識別関数についてそれぞれ正答率を算出する。なお、分類部１２６は、分類手段に相当する。

【0063】

次に、選択部１２７は、分類部１２６が試験用画像を何れか一方のカテゴリに分類した正答率が最大となる、識別関数の調整パラメータＣと、べき乗のためのべき乗パラメータαと、の組み合わせを選択する。これにより、正答率が最大となる調整パラメータＣでの識別関数と、そのときのベクトル空間でのｎ個の点の分布を一意に決定するべき乗パラメータαの値を決定することができる。なお、選択部１２７は、選択手段に相当する。

【0064】

以上、機械学習装置１００の各部の機能について説明した。以下では、機械学習装置１００の各部の協働による分類処理について図１１のフローチャートを参照しながら説明する。
この分類処理は、画像記憶部１１１に複数の学習用画像と複数の試験用画像とが記憶され、学習準備が整った後、ユーザが機械学習装置１００に学習指示を行うこと（例えば、学習開始ボタンをマウスやキーボードなどを介して押下するなど）を契機として開始される。

【0065】

まず、画像取得部１２１は、学習用画像と試験用画像とを取得する（ステップＳ１１）。具体的には、画像取得部１２１は、画像記憶部１１１から、学習用画像ｎ個（ｎ≧２）と、試験用画像ｍ個（ｍ≧２）と、を取得する。

【0066】

次に、特徴ベクトル取得部１２２は、学習用画像と試験用画像の特徴ベクトルを取得する（ステップＳ１２）。具体的には、特徴ベクトル取得部１２２は、ｎ個の学習用画像それぞれからＢｏＦにより局所的な特徴を定量化した特徴ベクトルを、ｍ個の試験用画像それぞれからＢｏＦにより局所的な特徴を定量化した特徴ベクトルを、取得する。

【0067】

次に、特徴ベクトル取得部１２２は、両画像の特徴ベクトルを正規化する（ステップＳ１３）。具体的には、特徴ベクトル取得部１２２は、ｎ個の特徴ベクトルとｍ個の特徴ベクトルとをＬ１ノルムで正規化する。

【0068】

次に、ベクトル変換部１２３は、両画像の特徴ベクトルを類似特徴ベクトルにそれぞれ変換する（ステップＳ１４）。具体的には、ベクトル変換部１２３は、ｎ個の学習用画像それぞれの特徴ベクトルを、学習用画像同士の類似度に基づいて類似特徴ベクトルに変換する（図４参照）。また、ベクトル変換部１２３は、ｍ個の試験用画像それぞれの特徴ベクトルを、学習用画像と試験用画像との類似度に基づいて類似特徴ベクトルに変換する（図５参照）。

【0069】

次に、制御部１２０は、グリッドサーチの調整パラメータＣとべき乗パラメータαそれぞれのサーチ範囲（Ｃ_１〜Ｃ_ｋ，α_１〜α_ｋ）を決定する（ステップＳ１５）。制御部１２０は、サーチ範囲を任意に決定することができるが、例えば、Ｃ_１〜Ｃ_ｋを０．０１〜１０としてステップ間隔を１０とすれば、Ｃ_１＝０．０１，Ｃ_２＝０．１，Ｃ_３＝１，Ｃ_４＝１０の４通りとなる。同様に、制御部１２０は、例えば、α_１〜α_ｋを０．１〜１０としてステップ間隔を１０とすれば、α_１＝０．１，α_２＝１，α_３＝１０の３通りとなる。

【0070】

これにより、Ｃとαの組み合わせのパターン数はｋ×ｋ通り（上記例の場合、４×３＝１２通り）となる。このｋ×ｋ通り全パターンについてサーチを行うことを、グリッドサーチという。

【0071】

次に、制御部１２０は、サーチ範囲のうち、任意の組み合わせ（Ｃ_ｉ，α_ｉ）を決定する（ステップＳ１６）。ここで、ｉは、１〜ｋの値のうちの任意の値を指す。

【0072】

次に、べき乗部１２４は、決定したα_ｉ（ｉ＝１〜ｋ）で類似特徴ベクトルの各成分をべき乗する（ステップＳ１７）。例えば、べき乗部１２４は、α_ｉ＝０．１（ｉ＝１）の場合、ｎ個の学習用画像Ｓ_１〜Ｓ_ｎそれぞれの類似特徴ベクトルの各成分の値を０．１乗する。これにより、べき乗前の類似特徴ベクトルで定まるベクトル空間内のｎ個の点が、べき乗後の類似特徴ベクトルで定まる位置に移動する。
また、べき乗部１２４は、ｍ個の試験用画像Ｔ_１〜Ｔ_ｍについても、試験の際のスケールを合わせるために、決定したα_ｉ（ｉ＝１〜ｋ）で類似特徴ベクトルの各成分をべき乗する。

【0073】

次に、分類条件学習部１２５は、決定したＣ_ｉでの識別関数を生成する（ステップＳ１８）。例えば、分類条件学習部１２５は、Ｃ_ｉ＝０．０１（ｉ＝１）の場合、Ｃ_ｉ＝０．０１において最小化問題を解くことで、ベクトル空間内のｎ個の点を２カテゴリに線形分離する識別関数を生成する。

【0074】

次に、分類部１２６は、生成した識別関数で試験用画像を分類する（ステップＳ１９）。具体的には、分類部１２６は、ｍ個の試験用画像Ｔ_１〜Ｔ_ｍそれぞれを、識別関数に従って２カテゴリのうち何れか一方のカテゴリに分類する。さらに具体的には、分類部１２６は、ｍ個の試験用画像それぞれの類似特徴ベクトルをα_ｉ乗した値を、識別関数に代入して何れか一方のカテゴリに分類する。

【0075】

次に、分類部１２６は、生成した識別関数の正答率を算出する（ステップＳ２０）。具体的には、分類部１２６は、分類したｍ個の試験用画像Ｔ_１〜Ｔ_ｍそれぞれについて、図１０に示す正誤判定用テーブルを参照して正誤判定を行い、正答率を算出する。例えば、ｍ＝１００個であって、そのうち７０個が正解であれば正答率は７０％となる。

【0076】

次に、制御部１２０は、全組み合わせのサーチが終了したか否か判定する（ステップＳ２１）。具体的には、制御部１２０は、ステップＳ１５で決定したサーチ範囲（Ｃ_１〜Ｃ_ｋ，α_１〜α_ｋ）の全組み合わせであるｋ×ｋ通りのサーチが終了したか否か判定する。

【0077】

ここで、全組み合わせのサーチが終了していない場合（ステップＳ２１；Ｎｏ）、ステップＳ１６に戻って、別の任意の組み合わせを決定して、ステップＳ１７乃至２０の処理を行う。このように、ｋ×ｋ通りの全パターンそれぞれにおける識別関数の正答率を算出するまで、ステップＳ１６乃至２１の処理をループして行う。

【0078】

そして、全組み合わせのサーチが終了すると（ステップＳ２１；Ｙｅｓ）、選択部１２７は、正答率が最大となる調整パラメータＣとべき乗パラメータαの組み合わせを選択する（ステップＳ２２）。具体的には、選択部１２７は、ステップＳ１９及びＳ２０の試験段階において算出した正答率が最大となる、識別関数の調整パラメータＣと、類似特徴ベクトルの各成分をべき乗するためのべき乗パラメータαと、の組み合わせを選択する。これにより、正答率が最大となる識別関数が得られる。

【0079】

このような学習段階と試験段階を経た後、図１２に示す分類装置２００は、商用環境において、機械学習装置１００が学習した分類条件である識別関数に従って、未知画像をカテゴリ分けする。この未知画像は、学習用画像と試験用画像とは異なり、ラベルが付されておらず、かつ、正誤判定を行うことができない画像である。

【0080】

ここで、記憶部２１０の特徴ベクトル記憶部２１１は、未知画像と学習用画像との類似度に基づいて類似特徴ベクトルを生成する関係上、学習用画像Ｓ_１〜Ｓ_ｎから生成した複数の特徴ベクトルを記憶する。ここで、分類装置２００が未知画像を分類する流れについて説明する。分類装置２００は、制御部２２０のＲＯＭが記憶する商用環境での分類処理用のプログラムを実行することで以下の各部の機能を実現する。まず、画像取得部２２１は、未知画像を取得する。次に、特徴ベクトル取得部２２２は、機械学習装置１００の特徴ベクトル取得部１２２と同じ要領で、未知画像から特徴ベクトルを取得する。

【0081】

次に、ベクトル変換部２２３は、未知画像の特徴ベクトルを、学習用画像と未知画像との類似度に基づいて類似特徴ベクトルに変換する。ここでは、未知画像は１枚のため、学習用画像Ｓ_１〜Ｓ_ｎそれぞれの特徴ベクトルとの類似行列は、１行ｎ列となり、この１行目の行ベクトルが未知画像の特徴ベクトルに代わる類似特徴ベクトルとなる。

【0082】

次に、べき乗部２２４は、機械学習装置１００の選択部１２７が選択した最適値のべき乗パラメータαで未知画像の類似特徴ベクトルの各成分をべき乗する。次に、未知コンテンツ分類部２２５は、べき乗された類似特徴ベクトルで定まるベクトル空間内の１個の点を、最適値の調整パラメータＣを持つ識別関数に従って分類することで、未知画像を２カテゴリのうち何れか一方に分類する。以上、分類装置２００は、機械学習装置１００が学習した正答率が最大となるべき乗パラメータαと調整パラメータＣとを用い、識別関数に従って未知画像を精度よく分類する。

【0083】

以上、図１１を参照しながら説明したこの実施形態における機械学習装置１００においては、ベクトル変換部１２３を備えたことにより、ｎ個の学習用画像それぞれの特徴ベクトルからｎ行ｎ列の類似行列を生成し、その生成した類似行列の各行の行ベクトルそれぞれを、特徴ベクトルに代わる類似特徴ベクトルとする。これにより、学習用画像の素性で一意に定まる特徴ベクトルを、学習用画像同士の類似度に基づいて類似特徴ベクトルに変換することができる。このため、学習用画像の素性に依らずに、ベクトル空間における分布の仕方を変えることができるので、線形分離のための自由度を高めることができる。

【0084】

また、類似特徴ベクトルの各成分は、ヒストグラムインターセクションにより算出した類似度である。このため、特徴ベクトルから類似特徴ベクトルへの変換は、類似度に基づく非線形変換である。このため、処理負荷が高く学習時間が長い非線形ＳＶＭで２カテゴリに非線形分離する場合と比較して、線形ＳＶＭで高速に学習しながら非線形ＳＶＭに近い性能を得ることができる。

【0085】

また、類似特徴ベクトルの成分の数である次元数（この実施形態では、ｎ次元）が、特徴ベクトルの成分の数である次元数（この実施形態では、４次元）よりも大きければ、ベクトル変換部１２３は、特徴ベクトルを、その特徴ベクトルの次元数よりも多次元の類似特徴ベクトルに変換することになる。換言すると、ベクトル変換部１２３は、４次元のベクトル空間からｎ次元（ｎ＞４）のベクトル空間に次元拡張を行う。一般的に、次元が拡張すると、線形分離しやすくなるので生成した識別関数の正答率が向上する。したがって、分類装置２００は正答率の高い識別関数に従って、未知の画像を精度よく分類することができる。

【0086】

また、この実施形態における機械学習装置１００においては、べき乗部１２４を備えたことにより、類似特徴ベクトルの各成分の類似度の値をべき乗する。べき乗パラメータαの値を複数用意することで、その複数分の分布のバリエーションが得られる。そして、分類処理において、グリッドサーチにより正答率が最も高い最適値αを選択する。このため、ベクトル空間において２カテゴリに分類する際の自由度を高めつつ、正答率が高い識別関数を生成することができる。したがって、分類装置２００が未知画像を分類する際、その未知画像が属すべきカテゴリへ精度よく分類することができる。

【0087】

以上で実施形態の説明を終了するが、機械学習装置１００の具体的な構成や図１１に示した分類処理の内容が上述の実施形態で説明したものに限られないことはもちろんである。

【0088】

（変形例）
例えば、上述した実施形態における図１１の分類処理を図１３、図１４に変形することができる。この変形例に係る分類処理は、図１１の分類処理のステップＳ２２に代えて、ステップＳ２３乃至Ｓ２５を新たに加えた点が異なる。そこで、この異なる点を中心に以下説明する。

【0089】

制御部１２０は、全組み合わせのサーチが終了すると（ステップＳ２１；Ｙｅｓ）、正答率が所定の閾値を超える組み合わせあるか否か判定する（ステップＳ２３）。ここで、正答率が所定の閾値を超える組み合わせがない場合（ステップＳ２３；Ｎｏ）、ベクトル変換部１２３は、類似特徴ベクトルを、異なる類似特徴ベクトルに変換する（ステップＳ２４）。

【0090】

具体的には、ベクトル変換部１２３は、図４で示したｎ個の学習用画像それぞれの類似特徴ベクトル同士の類似度に基づいて、類似特徴ベクトルを、異なる類似特徴ベクトルに変換する。これにより、ｎ行ｎ列の新たな類似行列が生成され、生成された新たな類似行列の各行の行ベクトルを、類似特徴ベクトルに代わる異なる類似特徴ベクトルとする。
ベクトル変換部１２３は、同様の要領で、図５で示したｍ個の試験用画像それぞれの類似特徴ベクトルを、異なる類似特徴ベクトルに変換する。

【0091】

そして、ステップＳ１５に戻って、異なる類似特徴ベクトルでステップＳ１５乃至Ｓ２１のグリッドサーチを行う。このように、正答率が所定の閾値を超える組み合わせが得られるまで、毎回、現在の類似特徴ベクトル同士の類似度に基づいて、現在の類似特徴ベクトルとは異なる類似特徴ベクトルを生成して、グリッドサーチを行う。

【0092】

制御部１２０が、正答率が所定の閾値を超える組み合わせがあると判定した場合（ステップＳ２３；Ｙｅｓ）、選択部１２７は、正答率が所定の閾値を超える組み合わせのうち、正答率が最大であるＣとαの組み合わせを選択する（ステップＳ２５）。選択部１２７は、正答率が所定の閾値を超える組み合わせが１つの場合そのＣとαの組み合わせを、２以上の場合正答率が最も高いＣとαの組み合わせを、選択すればよい。

【0093】

以上の変形例に係る分類処理によれば、所定の閾値（例えば、８０％）を超えるまで、現在の類似特徴ベクトル同士の類似度に基づいて、現在の類似特徴ベクトルとは異なる類似特徴ベクトルを生成する。つまり、所定の閾値を超えるまで、無限回新たな類似特徴ベクトルを生成することができる。このため、機械学習装置１００は、所定の閾値を超える識別関数が得られる。したがって、分類装置２００は、未知の画像を精度よく分類することができる。

【0094】

なお、上述した実施形態及び変形例においては、分類条件学習部１２５は、線形ＳＶＭにより制約条件付き最小化問題を解くようにした。そして、この際、ｎ個の学習用画像を２カテゴリに線形分離するマージンが最大となる識別関数を生成するようにしたが、これに限られない。例えば、分類条件学習部１２５は、線形ＳＶＭに代えて他の手法によりｎ個の学習用画像を２カテゴリに分類する識別関数を生成してもよい。分類条件学習部１２５は、他の手法として、例えば、ｋ近傍法、ナイーブベイズ分類法、決定木、ニューラルネットワーク、バギング法、ブースティング法、ランダムフォレスト法などにより、識別関数を生成することができる。

【0095】

また、上述した実施形態及び変形例においては、グリッドサーチにおけるステップ間隔は同じであることを前提に説明したが、これに限られない。例えば、最初に大きなステップ間隔で荒くグリッドサーチをして正答率が高いＣとαの組み合わせを特定し、続いて、その正答率が高いＣとαの近辺の範囲で小さなステップ間隔で局所的に細かくグリッドサーチを行うようにしてもよい。これにより、Ｃとαを細かくチューニングすることができるので、高い正答率が期待できる。

【0096】

また、上述した実施形態及び変形例においては、べき乗部１２４が類似特徴ベクトルの各成分の類似度の値をべき乗するようにしたが、べき乗することは必須ではない。例えば、べき乗部１２４によるべき乗処理を行わずに、変換された類似特徴ベクトルで識別関数を生成してもよい。この場合、図１１、図１３及び図１４の分類処理において、べき乗処理を行わずに、グリッドサーチの対象も調整パラメータＣのみにすればよい。これにより、機械学習装置１００の処理負荷を軽減することができる。

【0097】

また、上述した実施形態及び変形例においては、試験用画像の個数（ｍ個）は、学習用画像の個数（ｎ個）と同じであることを前提に説明したが、これに限られない。ｍ個は、ｎ個と異なってもいいし、ｍが２以上の自然数であることはか必ずしも必須ではなく、最小単位としてｍ＝１で試験を行ってもよい。
また、上述した実施形態及び変形例においては、複数の画像を２カテゴリに分類するための分類条件を学習する機械学習装置１００を前提として説明したが、これに限られない。機械学習装置１００は、３カテゴリ以上のマルチカテゴリに分類する分類条件を学習してもよい。
また、上述した実施形態及び変形例においては、コンテンツの一態様として画像を例にとって説明したが、これに限られない。特徴ベクトルを取得できるテキストや音声などにも、この機械学習装置１００による機械学習を適用することができる。

【0098】

また、この発明の機械学習装置１００および分類装置２００の各機能は、通常のＰＣ（Personal Computer）等のコンピュータによっても実施することができる。
具体的には、上記実施形態では、分類処理用のプログラムが、制御部１２０（２２０）のＲＯＭに予め記憶されているものとして説明した。しかし、図１および図１２の各部の機能を実現させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）及びＭＯ（Magneto-Optical Disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の各部の機能を実現することができるコンピュータを構成してもよい。
また、プログラムをインターネット等の通信ネットワーク上のサーバ装置が有するディスク装置等に格納しておき、例えば、コンピュータがダウンロード等をすることができるようにしてもよい。

【0099】

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態をとることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、特許請求の範囲に記載された発明とその均等の範囲とに含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。

【0100】

（付記１）
カテゴリ分けに用いるためのラベル付きの学習用コンテンツをｎ個（ｎは、２以上の自然数）取得するコンテンツ取得手段と、
前記コンテンツ取得手段が取得したｎ個の学習用コンテンツそれぞれから、特徴を示す特徴ベクトルを取得する特徴ベクトル取得手段と、
前記特徴ベクトル取得手段が取得した前記ｎ個の学習用コンテンツそれぞれの特徴ベクトルを、学習用コンテンツ同士の類似度に基づいて類似特徴ベクトルに変換するベクトル変換手段と、
前記ベクトル変換手段で変換した前記類似特徴ベクトルと、前記ｎ個の学習用コンテンツそれぞれに付されたラベルと、に基づいて、該ｎ個の学習用コンテンツをカテゴリ分けするための分類条件を学習する学習手段と、
前記学習手段が学習した分類条件に従って、前記ラベルが付されていない試験用コンテンツをカテゴリ分けする分類手段と、
を備えたことを特徴とする機械学習装置。

【0101】

（付記２）
前記ベクトル変換手段は、行数を前記ｎ個に等しいｎ行、列数を前記ｎ個に等しいｎ列、各成分を前記学習用コンテンツ同士の類似度、とするｎ行ｎ列の類似行列を生成し、該生成した類似行列の各行の行ベクトルそれぞれを、前記類似特徴ベクトルとする、
ことを特徴とする付記１に記載の機械学習装置。

【0102】

（付記３）
前記ラベルは、前記ｎ個の学習用コンテンツを２カテゴリに分けるためのラベルであり、
前記学習手段は、前記ｎ個の学習用コンテンツそれぞれに付されたラベルに基づいて、該ｎ個の学習用コンテンツそれぞれの類似特徴ベクトルで定まるベクトル空間内のｎ個の点を、２カテゴリに線形分離する関数を前記分類条件として学習し、
前記分類手段は、前記関数に従って、前記試験用コンテンツを２カテゴリのうち何れか一方のカテゴリに分類する、
ことを特徴とする付記１又は２に記載の機械学習装置。

【0103】

（付記４）
前記類似特徴ベクトルの各成分の類似度の値をべき乗するべき乗手段と、
前記分類手段が前記試験用コンテンツを前記何れか一方のカテゴリに分類した正答率が最大となる、前記関数の調整パラメータと、前記べき乗のためのべき乗パラメータと、の組み合わせを選択する選択手段と、
を備えたことを特徴とする付記３に記載の機械学習装置。

【0104】

（付記５）
前記学習手段は、前記２カテゴリに線形分離する関数を、線形サポートベクトルマシン（線形ＳＶＭ）、ｋ近傍法、ナイーブベイズ分類法、決定木、ニューラルネットワーク、バギング法、ブースティング法又はランダムフォレスト法により学習する、
ことを特徴とする付記３又は４に記載の機械学習装置。

【0105】

（付記６）
前記ベクトル変換手段は、前記特徴ベクトルを、該特徴ベクトルの成分の数である次元数よりも多次元の類似特徴ベクトルに変換する、
ことを特徴とする付記１乃至５の何れか一つに記載の機械学習装置。

【0106】

（付記７）
前記ベクトル変換手段は、前記学習用コンテンツ同士の類似度をヒストグラムインターセクションにより求める、
ことを特徴とする付記１乃至６何れか一つに記載の機械学習装置。

【0107】

（付記８）
前記特徴ベクトル取得手段は、前記ｎ個の学習用コンテンツそれぞれから、ＢｏＦ（Bag of Features）により局所的な特徴を定量化した特徴ベクトルを取得し、該ｎ個の学習用コンテンツそれぞれから取得した特徴ベクトルをＬ１ノルム又はＬ２ノルムで正規化する、
ことを特徴とする付記１乃至７何れか一つに記載の機械学習装置。

【0108】

（付記９）
前記学習用コンテンツと前記試験用コンテンツとは何れも、画像、音声又はテキストである、
ことを特徴とする付記１乃至８何れか一つに記載の機械学習装置。

【0109】

（付記１０）
付記１乃至９何れか一つに記載の機械学習装置が学習した分類条件に従って、前記学習用コンテンツと前記試験用コンテンツとは異なる未知のコンテンツをカテゴリ分けする未知コンテンツ分類手段、
を備えたことを特徴とする分類装置。

【0110】

（付記１１）
前記未知のコンテンツから、該未知のコンテンツの特徴を示す特徴ベクトルを取得する取得手段と、
前記取得手段が取得した前記未知のコンテンツの特徴ベクトルを、前記学習用コンテンツと前記未知のコンテンツとの類似度に基づいて類似特徴ベクトルに変換する変換手段と、
を備え、
前記未知コンテンツ分類手段は、前記変換手段が変換した類似特徴ベクトルで定まるベクトル空間内の１個の点を、前記分類条件に従って分類することで、前記未知のコンテンツをカテゴリ分けする、
ことを特徴とする付記１０に記載の分類装置。

【0111】

（付記１２）
カテゴリ分けに用いるためのラベル付きの学習用コンテンツをｎ個（ｎは、２以上の自然数）取得するコンテンツ取得ステップと、
前記コンテンツ取得ステップにおいて取得したｎ個の学習用コンテンツそれぞれから、特徴を示す特徴ベクトルを取得する特徴ベクトル取得ステップと、
前記特徴ベクトル取得ステップにおいて取得した前記ｎ個の学習用コンテンツそれぞれの特徴ベクトルを、学習用コンテンツ同士の類似度に基づいて類似特徴ベクトルに変換するベクトル変換ステップと、
前記ベクトル変換ステップにおいて変換した前記類似特徴ベクトルと、前記ｎ個の学習用コンテンツそれぞれに付されたラベルと、に基づいて、該ｎ個の学習用コンテンツをカテゴリ分けするための分類条件を学習する学習ステップと、
前記学習ステップにおいて学習した分類条件に従って、前記ラベルが付されていない試験用コンテンツをカテゴリ分けする分類ステップと、
を備えたことを特徴とする機械学習方法。

【0112】

（付記１３）
付記１２に記載の機械学習方法によって学習された分類条件に従って、前記学習用コンテンツと前記試験用コンテンツとは異なる未知のコンテンツをカテゴリ分けする未知コンテンツ分類ステップ、
を備えたことを特徴とする分類方法。

【0113】

（付記１４）
コンピュータを、
カテゴリ分けに用いるためのラベル付きの学習用コンテンツをｎ個（ｎは、２以上の自然数）取得するコンテンツ取得手段、
前記コンテンツ取得手段が取得したｎ個の学習用コンテンツそれぞれから、特徴を示す特徴ベクトルを取得する特徴ベクトル取得手段、
前記特徴ベクトル取得手段が取得した前記ｎ個の学習用コンテンツそれぞれの特徴ベクトルを、学習用コンテンツ同士の類似度に基づいて類似特徴ベクトルに変換するベクトル変換手段、
前記ベクトル変換手段で変換した前記類似特徴ベクトルと、前記ｎ個の学習用コンテンツそれぞれに付されたラベルと、に基づいて、該ｎ個の学習用コンテンツをカテゴリ分けするための分類条件を学習する学習手段、
前記学習手段が学習した分類条件に従って、前記ラベルが付されていない試験用コンテンツをカテゴリ分けする分類手段、
として機能させるためのプログラム。

【0114】

（付記１５）
コンピュータを、
付記１４に記載のプログラムの実行により学習された分類条件に従って、前記学習用コンテンツと前記試験用コンテンツとは異なる未知のコンテンツをカテゴリ分けする未知コンテンツ分類手段、
として機能させるためのプログラム。

【符号の説明】

【0115】

１００…機械学習装置、１１０（２１０）…記憶部、１１１…画像記憶部、１２０（２２０）…制御部、１２１（２２１）…画像取得部、１２２（２２２）…特徴ベクトル取得部、１２３（２２３）…ベクトル変換部、１２４（２２４）…べき乗部、１２５…分類条件学習部、１２６…分類部、１２７…選択部、２００…分類装置、２１１…特徴ベクトル記憶部、２２５…未知コンテンツ分類部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】