特許 5906061 学習装置、学習方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5906061

(24)【登録日】2016年3月25日

(45)【発行日】2016年4月20日

(54)【発明の名称】学習装置、学習方法、プログラム

(51)【国際特許分類】

   G06N 99/00 20100101AFI20160407BHJP

【ＦＩ】

   G06N99/00 153

【請求項の数】4

【全頁数】23

(21)【出願番号】特願2011-249719(P2011-249719)

(22)【出願日】2011年11月15日

(65)【公開番号】特開2013-105377(P2013-105377A)

(43)【公開日】2013年5月30日

【審査請求日】2014年7月23日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究／インターネット上の違法・有害情報の検出技術の研究」、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100146835

【弁理士】

【氏名又は名称】佐伯 義文

(74)【代理人】

【識別番号】100138759

【弁理士】

【氏名又は名称】大房 直樹

(72)【発明者】

【氏名】池田 和史

(72)【発明者】

【氏名】服部 元

(72)【発明者】

【氏名】小野 智弘

【審査官】 多胡 滋

(56)【参考文献】

【文献】 特開２０１０−１７６３６８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０２０１２８１（ＵＳ，Ａ１）

【文献】 丸山稔，外１名，階層型識別器による文字抽出，画像ラボ，日本，日本工業出版株式会社，２００６年 １月 １日，第17巻，第1号，pp.6-10

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／００−９９／００

(57)【特許請求の範囲】

【請求項1】

学習データを分割した分割学習データをそれぞれ入力して初段の学習を行う複数のサポートベクターマシンを備える学習部と、
前段の前記学習部が備える複数のサポートベクターマシンごとの学習結果として出力されるサポートベクター群について所定数のサポートベクター群同士を結合し、当該結合されたサポートベクター群を学習データとして入力することにより次段における学習を行うサポートベクターマシンを備える、２段目から最終段までの学習の各々に対応するサポートベクターマシン結合部と、
前記前段の学習部が備える複数のサポートベクターマシンから出力されたサポートベクター群におけるサポートベクター数を削減し、当該サポートベクター数が削減されたサポートベクター群を次段の前記サポートベクターマシン結合部に対して出力するサポートベクター削減部とを備え、
前記サポートベクター削減部は、
設定された削減度にしたがって前記サポートベクターを簡約化することによりサポートベクター数を削減するサポートベクター簡約部と、
前記サポートベクター簡約部に対して前記削減度を設定する削減度設定部とを備え、
前記削減度設定部の少なくとも１つは、
前記前段のサポートベクターマシンが出力するサポートベクター群について、１つのサポートベクター群から、異なる削減率に対応する複数の「サポートベクター数を削減したサポートベクター群」を生成するサポートベクター削減試行部と、
前記複数の「サポートベクター数を削減したサポートベクター群」のそれぞれを識別対象としてサポートベクターマシンによる識別処理を実行する識別試行部と、
前記識別試行部による識別結果に基づいて最適であるとして特定した削減率を前記削減度として決定する削減度決定部とを備える、
ことを特徴とする学習装置。

【請求項2】

前記サポートベクター削減部ごとの前記削減度決定部により決定された削減度のうちから、最もサポートベクター数を削減する度合いの低い削減度を、前記サポートベクター削減部の各々におけるサポートベクター簡約部に対して設定すべき削減度として決定する統合削減度決定部をさらに備える
請求項１に記載の学習装置。

【請求項3】

学習データを分割した分割学習データをそれぞれ入力して初段の学習を行う複数のサポートベクターマシンを備える学習ステップと、
前段の前記学習ステップが備える複数のサポートベクターマシンごとの学習結果として出力されるサポートベクター群について所定数のサポートベクター群同士を結合し、当該結合されたサポートベクター群を学習データとして入力することにより次段における学習を行うサポートベクターマシンを備える、２段目から最終段までの学習の各々に対応するサポートベクターマシン結合ステップと、
前記前段の学習ステップが備える複数のサポートベクターマシンから出力されたサポートベクター群におけるサポートベクター数を削減し、当該サポートベクター数が削減されたサポートベクター群を次段の前記サポートベクターマシン結合ステップに対して出力するサポートベクター削減ステップとを備え、
前記サポートベクター削減ステップは、
設定された削減度にしたがって前記サポートベクターを簡約化することによりサポートベクター数を削減するサポートベクター簡約ステップと、
前記削減度を設定する削減度設定ステップとを備え、
前記削減度設定ステップの少なくとも１つは、
前記前段のサポートベクターマシンが出力するサポートベクター群について、１つのサポートベクター群から、異なる削減率に対応する複数の「サポートベクター数を削減したサポートベクター群」を生成するサポートベクター削減試行ステップと、
前記複数の「サポートベクター数を削減したサポートベクター群」のそれぞれを識別対象としてサポートベクターマシンによる識別処理を実行する識別試行ステップと、
前記識別試行ステップによる識別結果に基づいて最適であるとして特定した削減率を前記削減度として決定する削減度決定ステップとを備える、
ことを特徴とする学習方法。

【請求項4】

コンピュータを、
学習データを分割した分割学習データをそれぞれ入力して初段の学習を行う複数のサポートベクターマシンを備える学習手段、
前段の前記学習手段が備える複数のサポートベクターマシンごとの学習結果として出力されるサポートベクター群について所定数のサポートベクター群同士を結合し、当該結合されたサポートベクター群を学習データとして入力することにより次段における学習を行うサポートベクターマシンを備える、２段目から最終段までの学習の各々に対応するサポートベクターマシン結合手段、
前記前段の学習手段が備える複数のサポートベクターマシンから出力されたサポートベクター群におけるサポートベクターを設定された削減度にしたがって簡約化することによりサポートベクター数を削減し、当該サポートベクター数が削減されたサポートベクター群を次段の前記サポートベクターマシン結合手段に対して出力するサポートベクター簡約手段と、前記削減度を設定する削減度設定手段とを含み、当該削減度設定手段の少なくとも１つは、前記前段のサポートベクターマシンが出力するサポートベクター群について、１つのサポートベクター群から、異なる削減率に対応する複数の「サポートベクター数を削減したサポートベクター群」を生成するサポートベクター削減試行手段と、前記複数の「サポートベクター数を削減したサポートベクター群」のそれぞれを識別対象としてサポートベクターマシンによる識別処理を実行する識別試行手段と、前記識別試行手段による識別結果に基づいて最適であるとして特定した削減率を前記削減度として決定する削減度決定手段とを含むサポートベクター削減手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、識別器に学習させるための学習装置とその方法およびプログラムに関する。

【背景技術】

【0002】

人工知能分野において用いられる識別器として、ＳＶＭ（Support Vector Machine：サポートベクターマシン）が知られている。ＳＶＭは、教師有り学習型であることから、識別にあたっては識別対象のデータの特徴を識別器に学習させることが必要になる。この際に学習データが大規模である場合には学習にも相当の時間がかかってしまい、この点で実用性に乏しくなってしまう。

【0003】

そこで、以下の技術が知られている。つまり、或る数の学習事例を分割したデータを並列に設けられた複数のＳＶＭに入力して学習させ、これらのＳＶＭごとに出力されたサポートベクター（ＳＶ：Support Vector)を２組ずつに結合して次段のＳＶＭに入力して学習させる。以降、このように、１つの段におけるＳＶＭごとに出力されたサポートベクターを２組ずつ結合して次段のＳＶＭに入力させるという処理をＳＶＭが１つになる最終段まで行い、この最終段のＳＶＭより出力されたサポートベクターを初段に帰還する。これにより、上位段のＳＶＭごとに入力すべき学習事例数を削減し、学習時間の削減を実現しようというものである(例えば、非特許文献１参照)。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Hans Peter Graf, Eric Cosatto, Leon Bottou, Igor Durdanovic, Vladimir Vapnik, “Parallel Support Vector Machines:The Cascade SVM”, NEC Laboratories,

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、現実においてＳＶＭに与えるべき学習データ量は相当に大規模なものとなる。本願発明者等が非特許文献１の技術を検証した結果、上記のように大規模な学習データを学習させた場合には、上位にいくにしたがってサポートベクターの数が想定を超えて増加してしまい、学習時間の有効な短縮が図られないことを確認した。

【0006】

そこでこの発明は、ＳＶＭによる識別器を学習させるための学習装置について、その学習時間を有効に短縮することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、上述の課題を解決すべくなされたもので、本発明の一態様としての学習装置は、学習データを分割した分割学習データをそれぞれ入力して初段の学習を行う複数のサポートベクターマシンを備える学習部と、前段の前記学習部が備える複数のサポートベクターマシンごとの学習結果として出力されるサポートベクター群を所定数ごとに結合し、当該結合されたサポートベクター群を入力して次段における学習を行うサポートベクターマシンを構築する、２段目から最終段までの学習の各々に対応するサポートベクターマシン結合部と、前記前段の学習部が備える複数のサポートベクターマシンから出力されたサポートベクター群におけるサポートベクター数を削減し、当該サポートベクター数が削減されたサポートベクター群を次段の前記サポートベクターマシン結合部に対して出力するサポートベクター削減部とを備え、前記サポートベクター削減部は、設定された削減度にしたがって前記サポートベクターを簡約化することによりサポートベクター数を削減するサポートベクター簡約部と、前記サポートベクター簡約部に対して前記削減度を設定する削減度設定部とを備え、前記削減度設定部の少なくとも１つは、前記前段のサポートベクターマシンが出力するサポートベクター群について、それぞれ異なる値が設定された複数の削減率ごとにしたがってサポートベクター数を削減した複数のサポートベクター群を生成するサポートベクター削減試行部と、前記複数のサポートベクター群のそれぞれを識別対象としてサポートベクターマシンによる識別処理を実行する識別試行部と、前記識別試行部による識別結果に基づいて最適であるとして特定した削減率を前記削減度として決定する削減度決定部とを備える。

【0008】

また本発明の一態様としての学習方法は、学習データを分割した分割学習データをそれぞれ入力して初段の学習を行う複数のサポートベクターマシンを備える学習ステップと、前段の前記学習ステップが備える複数のサポートベクターマシンごとの学習結果として出力されるサポートベクター群を所定数ごとに結合し、当該結合されたサポートベクター群を入力して次段における学習を行うサポートベクターマシンを構築する、２段目から最終段までの学習の各々に対応するサポートベクターマシン結合ステップと、前記前段の学習ステップが備える複数のサポートベクターマシンから出力されたサポートベクター群におけるサポートベクター数を削減し、当該サポートベクター数が削減されたサポートベクター群を次段の前記サポートベクターマシン結合ステップに対して出力するサポートベクター削減ステップとを備え、前記サポートベクター削減ステップは、設定された削減度にしたがって前記サポートベクターを簡約化することによりサポートベクター数を削減するサポートベクター簡約ステップと、前記削減度を設定する削減度設定ステップとを備え、前記削減度設定ステップの少なくとも１つは、前記前段のサポートベクターマシンが出力するサポートベクター群について、それぞれ異なる値が設定された複数の削減率ごとにしたがってサポートベクター数を削減した複数のサポートベクター群を生成するサポートベクター削減試行ステップと、前記複数のサポートベクター群のそれぞれを識別対象としてサポートベクターマシンによる識別処理を実行する識別試行ステップと、前記識別試行ステップによる識別結果に基づいて最適であるとして特定した削減率を前記削減度として決定する削減度決定ステップとを備える。

【0009】

また本発明の一態様としてのプログラムは、コンピュータを、学習データを分割した分割学習データをそれぞれ入力して初段の学習を行う複数のサポートベクターマシンを備える学習手段、前段の前記学習手段が備える複数のサポートベクターマシンごとの学習結果として出力されるサポートベクター群を所定数ごとに結合し、当該結合されたサポートベクター群を入力して次段における学習を行うサポートベクターマシンを構築する、２段目から最終段までの学習の各々に対応するサポートベクターマシン結合手段、前記前段の学習手段が備える複数のサポートベクターマシンから出力されたサポートベクター群におけるサポートベクターを設定された削減度にしたがって簡約化することによりサポートベクター数を削減し、当該サポートベクター数が削減されたサポートベクター群を次段の前記サポートベクターマシン結合手段に対して出力するサポートベクター簡約手段と、前記削減度を設定する削減度設定手段とを含み、当該削減度設定手段の少なくとも１つは、前記前段のサポートベクターマシンが出力するサポートベクター群について、それぞれ異なる値が設定された複数の削減率ごとにしたがってサポートベクター数を削減した複数のサポートベクター群を生成するサポートベクター削減試行手段と、前記複数のサポートベクター群のそれぞれを識別対象としてサポートベクターマシンによる識別処理を実行する識別試行手段と、前記識別試行手段による識別結果に基づいて最適であるとして特定した削減率を前記削減度として決定する削減度決定手段とを含むサポートベクター削減手段として機能させる。

【発明の効果】

【0010】

本発明によれば、ＳＶＭによる識別器を学習させるための学習装置について、その学習時間が有効に短縮されるという効果が得られる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態の学習装置の機能構成例を示す図である。

【図2】第１の実施形態におけるＳＶ削減ユニットの構成例を示す図である。

【図3】本実施形態における学習装置が実行する処理手順例を示すフローチャートである。

【図4】第１の実施形態における学習件数と学習時間の関係を、サポートベクターの削減を行わない場合と比較して示す図である。

【図5】第２の実施形態におけるＳＶ削減部の構成例を示す図である。

【図6】第２の実施形態におけるＳＶ削減度設定部の構成例を示す図である。

【図7】ＳＶ削減率ごとに対応して求められた再現率と適合率の例を示す図である。

【図8】第２の実施形態におけるＳＶ削減度設定部が実行する処理手順例を示すフローチャートである。

【図9】第３の実施形態におけるＳＶ削減ユニットの構成例を示す図である。

【図10】第３の実施形態におけるＳＶ削減部の構成例を示す図である。

【図11】第３の実施形態におけるＳＶ削減部が実行する処理手順例を示すフローチャートである。

【図12】第４の実施形態におけるＳＶ削減ユニットの構成例を示す図である。

【図13】第４の実施形態におけるＳＶ削減部の構成例を示す図である。

【図14】第４の実施形態におけるＳＶ削減部と統合ＳＶ削減度決定部が実行する処理手順例を示すフローチャートである。

【図15】学習装置が具現化されるコンピュータの構成例を示す図である。

【発明を実施するための形態】

【0012】

＜第１の実施形態＞
［学習装置の構成例］
図１は、本実施形態における学習装置１の構成例を示している。この学習装置１は、ＳＶＭ（Support Vector Machine：サポートベクターマシン）を用いた識別器に学習させるためのものである。

【0013】

この図に示す学習装置１は、学習データ１１、データ分割部２０、特徴量生成部３０、学習部４０、ＳＶ削減ユニット５０−１、ＳＶＭ結合部６０−１、ＳＶ削減ユニット５０−２、ＳＶＭ結合部６０−２、ＳＶ削減ユニット５０−３、ＳＶＭ結合部６０−３を備える。

【0014】

ＳＶＭによる識別器は教師有りの学習型である。学習データ１１は、ＳＶＭによる識別器に学習させるための多数のデータから成る。

【0015】

データ分割部２０は、学習データ１１におけるデータを所定数ごとのサブセット（分割学習データ）に分割する。特徴量生成部３０は、上記分割学習データごとに含まれるデータのそれぞれを特徴量に変換する。

【0016】

学習部４０は、分割学習データをそれぞれ入力して初段（最下位）における学習を行う複数のＳＶＭを備えて構成される。ここでは、一例として、学習部４０が、８つのＳＶＭ４１〜４８を備えた例を示している。学習フェーズにおいて、これらのＳＶＭ４１〜４８は、それぞれ分割学習データＤ１〜Ｄ８を入力して学習処理を実行し、その学習結果として分離超平面に対応する複数のサポートベクターからなるサポートベクター群ＳＧ１〜ＳＧ８を出力する。

【0017】

なお、ＳＶＭ４１〜４８の学習アルゴリズムについては特に限定されるものではないが、以下のような手法を採用できる。つまり、ＳＶＭを学習する主要タスクは、「−１」と「＋１」のラベルｙｉを持つ学習用データｘ_ｉ（ｉ＝１，２，・・・，Ｉ）が与えられた場合に、下記の式（１）として示す制約二次計画問題を解くことである。式（１）において、Ｋ（ｘ_ｉ，ｘ_ｊ）は、或る特徴空間上の２つのベクトルｘ_ｉとｘ_ｊとの間の内積を計算するカーネル関数であり、Ｃ_ｉ（ｉ＝１，２，・・・，Ｉ）は、上記のように与えられた学習用データｘ_ｉにおいてノイズを含むデータにペナルティを課すパラメータである。

【0018】

【数1】

【0019】

ＳＶ削減ユニット５０−１は、前段（下位）のＳＶＭから出力されたサポートベクター群を形成するサポートベクターを削減する。第１の実施形態のＳＶ削減ユニット５０−１は、図２（ａ）に示すように、複数のＳＶ削減部５１（５１−１〜５１−８）を備える。ＳＶ削減部５１−１〜５１−８は、それぞれ、前段のＳＶＭ４１〜４８から出力されたサポートベクター群ＳＧ１〜ＳＧ８におけるサポートベクター数を削減し、このサポートベクター数が削減されたサポートベクター群を、それぞれサポートベクター群ＳＧ１１〜ＳＧ１８として、次段（上位）のＳＶＭ結合部６０−１に出力する。

【0020】

図２（ｂ）は、第１の実施形態におけるＳＶ削減部５１として、ＳＶ削減部５１−１を挙げてその内部構成例を示している。なお、ＳＶ削減ユニット５０−１における他のＳＶ削減部５１、および、ＳＶ削減ユニット５０−２、５０−３における他のＳＶ削減部５１についても、その内部構成は図２（ｂ）と同様である。

【0021】

この図に示すように、ＳＶ削減部５１−１は、ＳＶ削減度設定部１１０およびＳＶ簡約部１２０を備える。ＳＶ削減度設定部１１０は、ＳＶ簡約部１２０に対してサポートベクターの削減度Ｓｒｄを設定する。

【0022】

ＳＶ簡約部１２０は、サポートベクター群ＳＧ１を形成するＮ個のサポートベクターＳＶ_１〜ＳＶ_Ｎを入力し、ＳＶ削減度設定部１１０により設定された削減度Ｓｒｄにしたがって、これらＮ個のサポートベクターＳＶ_１〜ＳＶ_Ｎについて簡約化を行い、Ｍ個にまで削減されたサポートベクターＳＶ_１〜ＳＶ_Ｍにより形成されるサポートベクター群ＳＧ１１〜ＳＧ１８を出力する。

【0023】

第１の実施形態において、ＳＶ削減度設定部１１０は、予め設定されたサポートベクターの削減目標値を削減度ＳｒｄとしてＳＶ簡約部１２０に対して設定する。ここでの削減目標値は、削減後のサポートベクターの個数「Ｍ」を示すものであるとする。ＳＶ簡約部１２０は、入力されたサポートベクター群ごとについて、削減度Ｓｒｄとして設定された削減目標値であるＭ個にまでサポートベクターを削減するように簡約処理を実行する。

【0024】

また、ＳＶ簡約部１２０の簡約化アルゴリズムについては特に限定されるべきではなく、例えばこれまでに知られている簡約化アルゴリズムを適用することができる。簡約化アルゴリズムの、一例として、ＳＶ簡約化問題を以下のように定義する。つまり、サポートベクターの削減が行われない場合のＳＶＭを以下の式（２）、（３）のように定義する。

【0025】

【数2】

【0026】

上記式（２）、（３）は、近い性質を保ちつつ、Ｎｚ＜＜Ｎｓの関係となる。簡約化処理としては、上記の定義を満たす最適なｚ、βの組を求めるものとなる。

【0027】

説明を図１に戻す。ＳＶＭ結合部６０−１は、前段のＳＶＭから出力されたサポートベクター群（ただし、ＳＶ削減部５０−１によりサポートベクター数は削減されている）を所定数ずつ結合し、この結合されたサポートベクター群がそれぞれ学習データとして入力されるＳＶＭを構築する。具体的に、ＳＶＭ結合部６０−１の場合には、前段のＳＶＭ４１〜４８の各々から出力された後にＳＶ削減部５１−１〜５１−８によりサポートベクターが削減されたサポートベクター群ＳＧ１１〜ＳＧ１８を２つずつ結合する。つまり、サポートベクター群ＳＧ１１とＳＧ１２、サポートベクター群ＳＧ１３とＳＧ１４、サポートベクター群ＳＧ１５とＳＧ１６、サポートベクター群ＳＧ１７とＳＧ１８をそれぞれ結合するものである。そして、結合されたサポートベクター群ＳＧ１１とＳＧ１２の組、サポートベクター群ＳＧ１３とＳＧ１４の組、サポートベクター群ＳＧ１５とＳＧ１６の組、サポートベクター群ＳＧ１７とＳＧ１８の組がそれぞれ学習データとして入力される４つのＳＶＭ６１、６２、６３、６４を構築する。ＳＶＭ６１、６２、６３、６４は、学習を行った結果として、それぞれサポートベクター群ＳＧ２１、ＳＧ２２、ＳＧ２３、ＳＧ２４を出力する。このＳＶＭ結合部６０−１は、ＳＶＭの多段構成において、２段目のＳＶＭによる学習を行う部位としてみることができる。

【0028】

ＳＶ削減ユニット５０−２は、前段のＳＶＭ６１、６２、６３、６４から出力されたサポートベクター群ＳＧ２１、ＳＧ２２、ＳＧ２３、ＳＧ２４を形成するサポートベクターを削減する。第１の実施形態において、ＳＶ削減ユニット５０−２の内部構成は、図２に準ずる。つまり、ＳＶ削減ユニット５０−２は、前段において４つのＳＶＭ６１、６２、６３、６４が設けられているのに応じて、４つのＳＶ削減部５１を備える。これら４つのＳＶ削減部５１におけるＳＶ簡約部１２０は、それぞれ、ＳＶＭ６１、６２、６３、６４から出力されたサポートベクター群ＳＧ２１、ＳＧ２２、ＳＧ２３、ＳＧ２４を入力する。そして、ＳＶ簡約部１２０は、ＳＶ削減度設定部１１０により設定された削減度Ｓｒｄにしたがって、サポートベクター群ＳＧ２１、ＳＧ２２、ＳＧ２３、ＳＧ２４のそれぞれにおけるサポートベクターを削減し、サポートベクター群ＳＧ３１、ＳＧ３２、ＳＧ３３、ＳＧ３４として次段のＳＶＭ結合部６０−２に供給する。

【0029】

ＳＶＭ結合部６０−２は、３段目のＳＶＭによる学習を行う部位となる。ＳＶＭ結合部６０−２は、ＳＶ削減ユニット５０−２から出力されたサポートベクター群ＳＧ３１、ＳＧ３２、ＳＧ３３、ＳＧ３４を２つずつ結合する。つまり、サポートベクター群ＳＧ３１とＳＧ３２を結合し、サポートベクター群ＳＧ３３とＳＧ３４を結合する。そして、結合されたサポートベクター群ＳＧ３１とＳＧ３２の組と、サポートベクター群ＳＧ３３とＳＧ３４の組がそれぞれ学習データとして入力される２つのＳＶＭ７１、７２を構築する。ＳＶＭ７１、７２は、学習を行った結果として、それぞれサポートベクター群ＳＧ４１、ＳＧ４２を出力する。

【0030】

ＳＶ削減ユニット５０−３は、前段のＳＶＭ７１、７２から出力されたサポートベクター群ＳＧ４１、ＳＧ４２を形成するサポートベクターを削減する。第１の実施形態において、ＳＶ削減ユニット５０−３の内部構成は、図２に準ずる。つまり、ＳＶ削減ユニット５０−３は、前段において２つのＳＶＭ７１、７２が設けられているのに応じて、２つのＳＶ削減部５１を備える。これら２つのＳＶ削減部５１におけるＳＶ簡約部１２０は、それぞれ、ＳＶＭ７１、７２、から出力されたサポートベクター群ＳＧ４１、ＳＧ４２を入力する。そして、ＳＶ削減度設定部１１０により設定された削減度Ｓｒｄにしたがってサポートベクターを削減し、サポートベクター群ＳＧ５１、ＳＧ５２として次段のＳＶＭ結合部６０−３に供給する。

【0031】

ＳＶＭ結合部６０−３は、４段目すなわち最終段（最上位）のＳＶＭによる学習を行う部位となる。ＳＶＭ結合部６０−３は、前段のＳＶＭ７１、７２の各々から出力された後にサポートベクターが削減されたサポートベクター群ＳＧ５１、ＳＧ５２を結合し、この結合されたサポートベクター群ＳＧ５１とＳＧ５２が学習データとして入力される１つのＳＶＭ８１を構築する。この最終段におけるＳＶＭ８１から出力されたサポートベクター群ＳＧ６１が学習済みデータとなる。

【0032】

識別器として機能する評価フェーズにおいては、学習部４０により識別処理を実行させる。この際、学習済みデータとして、サポートベクター群ＳＧ５１が学習部４０におけるＳＶＭ４１〜４８の各々に対して入力される。ＳＶＭ４１〜４８は、サポートベクター群ＳＧ５１としての学習済みデータを利用して識別処理を実行する。一具体例として、識別対象データｘ_ｉ（ｉ＝１，２，・・・，Ｉ）が与えられた際に、以下の式（４）による演算を行う。

【0033】

【数3】

【0034】

［処理手順例］
図３のフローチャートは、学習装置１が実行する処理手順例を示している。まず、データ分割部２０は、学習データ１１を所定数（図１では８個）の分割学習データに分割し（ステップＳ１０１）、特徴量生成部３０は、上記分割学習データごとに含まれるデータそれぞれの特徴量を生成する（ステップＳ１０２）。

【0035】

次に、学習部４０は、内部において並列に形成されているＳＶＭ４１〜４８のそれぞれに対して、特徴量としての分割学習データを入力して学習を実行させる（ステップＳ１０３）。

【0036】

次に、ＳＶ削減ユニット５０−１におけるＳＶ削減部５１−１〜５１−８は、それぞれ、ＳＶＭ４１〜４８から出力されたサポートベクター群ＳＧ１〜ＳＧ８を入力してサポートベクターを削減し、サポートベクター群ＳＧ１１〜ＳＧ１８として出力する（ステップＳ１０４）。

【0037】

次に、ＳＶＭ結合部６０−１は、前述のようにサポートベクター群ＳＧ１１〜ＳＧ１８を２つずつ結合したものを、それぞれＳＶＭ６１〜６４に入力して学習を実行させる（ステップＳ１０５）。

【0038】

次に、ＳＶＭ結合部６０−１は、学習を実行する部位として自己が最終段であるか否かについて判定する（ステップＳ１０６）。ＳＶＭ結合部６０−１は、２段目において学習を実行する部位であるため、最終段ではないと判定する（ステップＳ１０６−ＮＯ）。この場合には、ステップＳ１０４に戻る。

【0039】

この２回目のステップＳ１０４としてのサポートベクター削減処理は、ＳＶ削減ユニット５０−２における４つのＳＶ削減部５１が実行する。つまり、最後のステップＳ１０５によりＳＶＭ結合部６０−１のＳＶＭ６１〜６４から出力されたサポートベクター群ＳＧ２１〜ＳＧ２４を対象とするサポートベクターの削減が行われる。

【0040】

そして、続くステップＳ１０５としてのＳＶＭ結合は、ＳＶＭ結合部６０−２が実行する。つまり、ＳＶ削減ユニット５０−２から出力されたサポートベクター群ＳＧ３１〜ＳＧ３４を、サポートベクター群ＳＧ３１とＳＧ３２、ＳＧ３３とＳＧ３４とで２つずつ結合して、それぞれの組を、ＳＶＭ７１、７２に入力して学習処理を実行させる。また、ＳＶＭ結合部６０−２は学習を行う部位として３段目であるため、次のステップＳ１０６において最終段ではないと判定し、ステップＳ１０４に戻る。

【0041】

この３回目のステップＳ１０４としてのサポートベクター削減処理は、ＳＶ削減ユニット５０−３における２つのＳＶ削減部５１が実行する。つまり、最後のステップＳ１０５によりＳＶＭ結合部６０−２のＳＶＭ７１、７２から出力されたサポートベクター群ＳＧ４１、ＳＧ４２におけるサポートベクターの削減が行われる。

【0042】

次のステップＳ１０５としてのＳＶＭ結合は、ＳＶＭ結合部６０−３が実行する。つまり、ＳＶ削減ユニット５０−３からのサポートベクター群ＳＧ５１、ＳＧ５２を結合してＳＶＭ８１に入力して学習処理を実行させる。そして、学習を行う部位として最終段のＳＶＭ結合部６０−３は、次のステップＳ１０６において最終段であると判定し、これまでの学習フェーズとしての処理を終了する。

【0043】

［評価結果］
図４（ａ）は、図１に示した構成による学習装置１が行った学習についての評価結果を示している。この評価のための学習を学習装置１に実行させるにあたり、学習データ１１におけるデータ数（学習件数）は、「２００，０００」個とした。また、ＳＶ削減度設定部１１０がＳＶ簡約部１２０に対して設定する削減度Ｓｒｄとしての削減目標値は「１０，０００」個とする。つまり、各段に対応するＳＶ削減ユニット５０（５０−１、５０−２、５０−３）におけるＳＶ削減部５１のＳＶ簡約部１２０は、入力されるサポートベクター群におけるサポートベクターの数が「１０，０００」を超える場合、「１０，０００」個にまで削減する。また、比較として、図１の構成からＳＶ削減ユニット５０（５０−１、５０−２、５０−３）を省略してサポートベクター削減処理を行わない場合の評価結果を図４（ｂ）に示す。

【0044】

図４（ａ）および図４（ｂ）において、ＳＶＭ段位置１〜４は、それぞれ、初段（１段目、最下位）の学習部４０、２段目のＳＶＭ結合部６０−１、３段目のＳＶＭ結合部６０−２、最終段（４段目：最上位）のＳＶＭ結合部６０−３が対応する。学習件数は、各段において１つのＳＭＶが扱うこととなる学習データ（分割学習データ）の数を示している。サポートベクター数は、各段（学習部４０、ＳＶＭ結合部６０−１、ＳＶＭ結合部６０−２、ＳＶＭ結合部６０−３）において学習結果として出力されるサポートベクターの数を示す。適合率と再現率は、それぞれ、各段において得られた学習結果を利用して或る特定の問題を想定した識別処理を実行させた場合の識別性能を示すものとなる。また、学習時間は、学習装置１に学習を開始させてから、対応の段における学習が終了するまでに経過した時間を示す。

【0045】

図４（ａ）と図４（ｂ）を比較して分かるように、最終段（ＳＶＭ段位置「４」）における学習時間は、図４（ａ）４５１７６８秒、図４（ｂ）が６５３０８０秒で、図４（ａ）のほうが２００００秒以上短縮されている。つまり、学習時間が著しく短縮されている。また、（ＳＶＭ段位置「４」）における再現率を比較すると、再現率は図４（ａ）が０．９３２で、図４（ｂ）が０．９３５となっており同等であるとみてよい。また、適合率についても、図４（ａ）が０．９０５で図４（ｂ）が０．９０７であり、同等である。つまり、識別性能はほとんど低下していない。このように、本実施形態によっては、識別性能を低下させることなく、学習時間が大幅に短縮されている。

【0046】

なお、上記実施形態において、削減度Ｓｒｄとしての削減目標値は、削減後のサポートベクター数を示すものとしているが、例えば削減前のサポートベクター数と削減後のサポートベクター数の比率としてもよい。

【0047】

＜第２の実施形態＞
［ＳＶ削減部の構成］
上記第１の実施形態において、ＳＶ削減部５１がサポートベクター群のサポートベクターを削減するにあたり、そのための削減度Ｓｒｄは削減目標値として固定的に設定されていた。これに対して、第２の実施形態は、各段のＳＶ削減ユニット５０−１〜５０−３におけるＳＶ削減部５１がそれぞれ個別に削減度Ｓｒｄを決定する。

【0048】

第２の実施形態において、学習装置１の全体構成は、図１と同様でよい。また、ＳＶ削減ユニット５０−１の構成は図２（ａ）と同様であり、ＳＶ削減ユニット５０−２、５０−３の構成も図２（ａ）に準じて、それぞれ、４つあるいは２つのＳＶ削減部５１を備える。

【0049】

図５は、第２の実施形態におけるＳＶ削減部５１の構成として、ＳＶ削減ユニット５０−１のＳＶ削減部５１−１を例に挙げて示している。ＳＶ削減ユニット５０−１における他のＳＶ削減部５１−２〜５１−８、および、他のＳＶ削減ユニット５０−２、５０−３の各々におけるＳＶ削減部５１も、それぞれ、同図に準じた構成を採る。なお、図５において図２（ｂ）と同一部分には同一符号を付している。

【0050】

図５におけるＳＶ削減度設定部１１０は、上段のＳＶＭ４１から出力されるサポートベクター群ＳＧ１を形成するサポートベクターＳＶ_１〜ＳＶ_Ｎを利用して削減度Ｓｒｄを決定する。なお、ここで決定される削減度Ｓｒｄは、「削減率」であることとする。ここでの削減率とは、ＳＶ削減部５１−１が入力するサポートベクター群ＳＧ１を形成するサポートベクター数「Ｎ」に対する削減後のサポートベクター群ＳＧ１１のサポートベクター数「Ｍ」の比率（Ｍ／Ｎ）をいう。例えば、削減率が「１００％」であれば、サポートベクター群ＳＧ１とサポートベクター群ＳＧ１１を形成するサポートベクター数は同じであり、全く削減を行っていない場合を示す。また、削減率が「１０％」であれば、サポートベクター群ＳＧ１１は、削減前のサポートベクター群ＳＧ１のサポートベクター数の１／１０にまで削減されていることを意味する。

【0051】

ＳＶ削減度設定部１１０は、上記のように決定した削減率による削減度ＳｒｄをＳＶ簡約部１２０に対して設定する。ＳＶ簡約部１２０は、設定された削減度Ｓｒｄにしたがって、サポートベクター群ＳＧ１を形成するサポートベクターＳＶ_１〜ＳＶ_Ｎを簡約化して削減することで、サポートベクターＳＶ_１〜ＳＶ_Ｍから成るサポートベクター群ＳＧ１１を出力する。具体的に、サポートベクター群ＳＧ１が「１０，０００個（Ｎ＝１０，０００）」のサポートベクターにより形成されていたとして、設定された削減度Ｓｒｄが「３０％」であったとすれば、ＳＶ簡約部１２０は、「３，０００個（Ｍ＝３，０００）」にまで削減したサポートベクターから成るサポートベクター群ＳＧ１１を出力することになる。

【0052】

［ＳＶ削減度設定部の構成］
図６は、上記図５に示したＳＶ削減度設定部１１０の構成例を示している。この図に示すＳＶ削減度設定部１１０は、ＳＶ削減試行部１１１、識別試行部１１２および削減度決定部１１３を備える。

【0053】

ＳＶ削減試行部１１１は、サポートベクター群ＳＧ１（ＳＶ_１〜ＳＶ_Ｎ）を入力し、予め決められた複数の削減率ごとにしたがってサポートベクター数を削減したサポートベクター群を出力する。具体例として、この場合には、１００％〜１０％の間で１０％間隔による１０個の削減率が決められているものとする。そして、ＳＶ削減試行部１１１は、この１００％から１０％までの１０％間隔ごとの削減率によりサポートベクター群ＳＧ１のサポートベクターを削減し、それぞれ、サポートベクター群ＳＧｔ１〜ＳＧｔ１０として出力する。

【0054】

識別試行部１１２は、上記ＳＶ削減後のサポートベクター群ＳＧｔ１〜ＳＧｔ１０をそれぞれ学習済みデータとして利用し、サンプルデータ１２を識別対象とするＳＶＭによる識別処理を実行する。これにより、識別試行部１１２は、サポートベクター群ＳＧｔ１〜ＳＧｔ１０ごとの識別結果を取得する。なお、サンプルデータ１２は予め識別対象として用意されるデータである。サンプルデータ１２の形式は、識別対象によって異なるが、画像中の特定の物体を識別するような場合には画像データとなり、例えば、或るまとまった文章が有害であるか否かを識別するような場合には、特定の文章が記述されたテキストデータなどとなる。

【0055】

そして、識別試行部１１２は、サポートベクター群ＳＧｔ１〜ＳＧｔ１０ごとの識別結果について、例えばサンプルデータ１２に含まれる正解データを利用して識別性能（例えば再現率と適合率）の評価を行い、その評価結果を出力する。このサポートベクター群ＳＧｔ１〜ＳＧｔ１０ごとの評価結果は、すなわち、１００％〜１０％までの１０％の削減率ごとに対応した評価結果となる。

【0056】

削減度決定部１１３は、上記のように識別試行部１１２から出力された、１００％〜１０％までの１０％の削減率削減率ごとに対応する識別結果に基づいて最適とされる削減率を決定する。

【0057】

図７（ａ）と図７（ｂ）は、それぞれ異なる事例の識別問題（分割学習データに相当する）を与えた場合の、ＳＶ削減試行部１１１と識別試行部１１２の各処理の実行結果を評価したものである。識別問題（分割学習データ）が異なることにより、上段のＳＶＭ４１から出力されるサポートベクター群ＳＧ１を形成するサポートベクターの数およびこれらの値も異なるものとなる。

【0058】

図７（ａ）と図７（ｂ）の各図においては、削減率ごとに、サポートベクター（ＳＶ）数、再現率、適合率が対応付けられている。ここでの削減率は、ＳＶ削減試行部１１１がサポートベクター削減処理を実行する際に設定される１００％〜１０％までにおける１０％間隔の削減率を示している。サポートベクター（ＳＶ）数は、対応の削減率により削減された後のサポートベクターの数を示す。再現率および適合率は、各削減率により削減されたサポートベクターを利用して識別試行部１１２が実行した識別処理の結果を評価したものである。

【0059】

図７（ａ）の事例の場合の再現率および適合率を参照すると、再現率については削減率１００％〜１０％の範囲で「０．８２８〜０．８２６」の範囲に収まっている。つまり、再現率は削減率に対して変化が無いとみてよい。

【0060】

また、適合率については、１００％〜２０％の削減率の範囲で「０．９６３」または「０．９６４」となっており、変化は無いとみてよいが、１０％の削減率のときに「０．９５６」にまで低下している。

【0061】

上記図７（ａ）の事例の場合には、削減率を最小で２０％にまで削減しても、サポートベクター削減処理を行わない場合と同等の識別性能を維持できるといえる。そこで、この図７（ａ）の事例に対応しては、２０％の削減率を削減度Ｓｒｄとして決定することが妥当であることになる。

【0062】

また、図７（ｂ）の事例の場合、再現率については、１００％〜３０％の削減率の範囲で「０．８８１」または「０．８８１」となっており変化は無いとみてよいが、２０％と１０％の削減率のときに、それぞれ「０．８７６」、「０．８７１」となって低下傾向となっている。

【0063】

また、適合率については、１００％〜３０％の削減率の範囲で「０．９６４〜０．９６２」となっており、変化は無いとみてよいが、２０％の削減率のときに「０．３９６」にまで低下し、さらに１０％の削減率のときに「０．０４９」にまで低下している。

【0064】

この図７（ｂ）の事例の場合には、削減率を最小で３０％にまで削減しても、ＳＶ削減を行わない場合と同等の識別性能を維持できるといえる。そこで、この図７（ａ）の事例に対応しては、３０％の削減率を削減度Ｓｒｄとして決定することが妥当であることになる。

【0065】

識別試行部１１２は、削減率ごとに実行した識別処理の結果を評価して、その識別性能（再現率、適合率）を求める。そして、削減度決定部１１３は、概念的には、上記のように求められた識別性能に基づいて、識別性能の低下が許容される範囲においてできるだけ多数のサポートベクターを削減できる（できるだけ値が小さい）削減率を削減度Ｓｒｄとして決定するものである。

【0066】

削減度決定部１１３が上記の概念にしたがって削減率を決定するための具体的なアルゴリズムについては特に限定されるものではない。一例として、例えば、適合率と再現率の調和平均であるF値を求め、このＦ値の許容範囲において最小値が対応する削減率を削減度Ｓｒｄとして決定することが考えられる。または、例えば再現率または適合率のみを利用し、この再現率または適合率の許容範囲において最小値が対応する削減率を削減度Ｓｒｄとして決定することも考えられる。

【0067】

ＳＶ削減部５１は、いずれの段においても、それぞれが異なるサポートベクターから成るサポートベクター群を入力して削減を行う。図７からも理解されるように、学習データ１１の内容、すなわち、入力されるサポートベクター群の内容に応じて削減率と識別性能の関係は異なってくる。そこで、第２の実施形態のように、ＳＶ削減部５１ごとにおいて、入力されるサポートベクター群の内容に適合した削減率による削減度Ｓｒｄを決定することで、識別性能を低下させることなく、サポートベクターを有効に削減することが可能になる。

【0068】

［処理手順例］
図８のフローチャートは、図６に示したＳＶ削減度設定部１１０が実行する処理手順例を示している。まず、ＳＶ削減試行部１１１は、１００％〜１０％までにおける１０％間隔の削減率のうちの１つを設定し（ステップＳ２０１）、この設定した削減率により、入力されるサポートベクター群におけるサポートベクターを削減する（ステップＳ２０２）。

【0069】

次に、識別試行部１１２は、上記ステップＳ２０２によりサポートベクターが削減された後のサポートベクター群を学習済みデータとして利用し、サンプルデータ１２を識別対象としたＳＶＭによる識別を実行する（ステップＳ２０３）。そして、この識別結果を対象とした識別性能（再現率、適合率）の評価を実行する（ステップＳ２０４）。

【0070】

次に、識別試行部１１２は、すべての削減率ごとに対応して識別性能の評価を終了したか否かについて判定する（ステップＳ２０５）。ここで、未だ識別性能の評価をしていない削減率が残っている場合には（ステップＳ２０５−ＮＯ）、ステップＳ２０１に戻る。これにより、次の削減率における識別性能が評価される。

【0071】

そして、すべての削減率ごとに対応した識別性能の評価を終了すると（ステップＳ２０５−ＹＥＳ）、削減度決定部１１３は、前述のように所定のアルゴリズムにしたがって、最適であるとして求めた削減率を削減度Ｓｒｄとして決定する（ステップＳ２０６）。

【0072】

＜第３の実施形態＞
上記第２の実施形態においては、各段のＳＶ削減ユニット５０（５０−１〜５０−３）におけるＳＶ削減部５１の各々が独立して削減度Ｓｒｄを決定していた。しかし、１つのＳＶ削減ユニット５０におけるＳＶ削減部５１に入力されるサポートベクター群の内容は類似しているといえる。第３の実施形態においては、このことに着目し、ＳＶ削減ユニット５０（５０−１〜５０−３）ごとにおいて、１つのメインのＳＶ削減部５１が決定した削減度Ｓｒｄを、他のサブとしてのＳＶ削減部５１に設定するという構成を採る。

【0073】

図９は、第３の実施形態に対応するＳＶ削減ユニット５０の構成として、初段に対応するＳＶ削減ユニット５０−１を例に挙げて示している。この図に示すように、ＳＶ削減ユニット５０−１におけるＳＶ削減部５１−１〜５１−８のうち、ＳＶ削減部５１−１は削減度設定に関してメインとして機能し、残るＳＶ削減部５１−２〜５１−８は、サブとして機能する。なお、２段目以降に対応するＳＶ削減ユニット５０−２、５０−３についても、同様に、１つのＳＶ削減部５１がメインとなり、残るＳＶ削減部５１がサブとなるように構築される。

【0074】

メインのＳＶ削減部５１−１は、先の第２の実施形態として図５および図６に示したのと同様の構成を採ることで、削減率としての削減度Ｓｒｄを決定する。そして、ＳＶ削減部５１−１におけるＳＶ簡約部１２０は、上記のように決定された削減度Ｓｒｄの設定に応じて、ＳＶを削減する処理を実行する。

【0075】

そのうえで、さらにメインのＳＶ削減部５１−１は、上記のように決定した削減度Ｓｒｄを示す削減度指示情報Ｓｒｄｉを、他のサブのＳＶ削減部５１−２〜５１−８に対して出力する。

【0076】

サブのＳＶ削減部５１−２〜５１−８は、自己により削減度Ｓｒｄを決定することはしない。これに代えて、サブのＳＶ削減部５１−２〜５１−８は、上記のように出力された削減度指示情報Ｓｒｄｉの入力に応じて、この削減度指示情報Ｓｒｄｉが示す値を削減度Ｓｒｄとして設定し、サポートベクターの削減を行う。

【0077】

図１０（ａ）は、メインとしてのＳＶ削減部５１−１の構成例を示している。この図に示すＳＶ削減部５１−１は、図５と同様の構成を採っている。また、この図におけるＳＶ削減度設定部１１０は、図６と同様の構成を採る。これにより、ＳＶ削減度設定部１１０は、入力されるサポートベクター群ＳＧ１に応じて削減率としての削減度Ｓｒｄを決定し、この削減度ＳｒｄをＳＶ簡約部１２０に対して設定する。

【0078】

そのうえで、ＳＶ削減度設定部１１０は、上記のように決定した削減度Ｓｒｄの値を示す削減度指示情報Ｓｒｄｉをサブとしての他のＳＶ削減部５１−２〜５１−８に対して出力するようにされている。

【0079】

図１０（ｂ）は、サブのＳＶ削減部５１−２〜５１−８のうち、ＳＶ削減部５１−２を例に挙げてその構成を示している。ＳＶ削減部５１−２において、ＳＶ削減度設定部１１０は、メインのＳＶ削減部５１−１入力される削減度指示情報Ｓｒｄｉを入力するのに応じて、この削減度指示情報Ｓｒｄｉが示す値を削減度Ｓｒｄとして簡約部１２０に対して設定する。

【0080】

このような構成によって、第３の実施形態においては、ＳＶ削減ユニット５０−１が備えるＳＶ削減部５１−１〜５１−８において、メインのＳＶ削減部５１−１により決定され削減度Ｓｒｄが一律に設定される。また、ＳＶ削減ユニット５０−２、５０−３においても、それぞれ、１つのメインのＳＶ削減部５１が決定した削減度Ｓｒｄが各ＳＶ削減部５１に対して一律に設定される。

【0081】

前述のように、同じ段のＳＶ削減部５１に入力されるサポートベクター群は類似していることを前提とすれば、上記のように削減度Ｓｒｄが一律に設定されたとしても、ＳＶ削減部５１のそれぞれにおいて識別性能を低下させることなく有効にサポートベクターが削減されることになる。そして、削減度Ｓｒｄを決定する処理を実行するＳＶ削減部５１は、各段におけるＳＶ削減ユニット５０−１〜５０−３において１つのみとなるために処理負荷が軽減されることになる。

【0082】

図１１は、第３の実施形態に対応してメインのＳＶ削減部５１とサブのＳＶ削減部５１におけるＳＶ削減度設定部１１０がそれぞれ実行する処理手順例を示している。この図において、メインのＳＶ削減部５１のＳＶ削減度設定部１１０が実行するステップＳ３０１〜Ｓ３０６の処理は、図８のステップＳ２０１〜Ｓ２０６と同様となる。そして、メインのＳＶ削減部５１におけるＳＶ削減度設定部１１０は、上記ステップＳ３０６により決定した削減度Ｓｒｄを示す削減度指示情報Ｓｄｒｉを、他のサブのＳＶ削減部５１に対して出力する（ステップＳ３０７）。

【0083】

一方、サブのＳＶ削減部５１におけるＳＶ削減度設定部１１０は、上記ステップＳ３０６により出力された削減度指示情報Ｓｄｒｉが入力されるのを待機している（ステップＳ４０１）。そして、削減度指示情報Ｓｄｒｉが入力されるのに応じて（ステップＳ４０１−ＹＥＳ）、ＳＶ削減度設定部１１０は、この削減度指示情報Ｓｄｒｉが示す削減度ＳｒｄをＳＶ簡約部１２０に対して設定する（ステップＳ４０２）。

【0084】

＜第４の実施形態＞
図１２は、第４の実施形態に対応するＳＶ削減ユニット５０の構成として、ＳＶ削減ユニット５０−１を挙げて示している。なお、残るＳＶ削減ユニット５０−２、５０−３も、上記図１２および図１３に準じた構成を有する。

【0085】

図１２に示すように、ＳＶ削減ユニット５０−１は、ＳＶ削減部５１−１〜５１−８に加えて、統合ＳＶ削減度決定部５２をさらに備える。ＳＶ削減部５１−１〜５１−８は、先の第２の実施形態における図５と同様にそれぞれが独立して削減度を決定可能に構成されている。そのうえで、ＳＶ削減部５１−１〜５１−８は、上記のように決定した削減度を削減度候補情報Ｓｒｄｃとして統合ＳＶ削減度決定部５２に対して出力する。

【0086】

図１３は、第４の実施形態に対応するＳＶ削減部５１の構成として、ＳＶ削減ユニット５１−１を例に挙げて示している。なお、同じＳＶ削減ユニット５０−１における他のＳＶ削減部５１−２〜５１−８、および、他のＳＶ削減ユニット５０−２、５０−３におけるＳＶ削減部５１も同様の構成を採る。この図に示されるＳＶ削減部５１の基本構成としては、先の第２の実施形態における図５および図６と同様とされ、ＳＶ削減度設定部１１０は、削減度を独立して決定することができる。ただし、このＳＶ削減度設定部１１０は、上記のように決定した削減度を削減度候補情報Ｓｒｄｃとして、統合ＳＶ削減度決定部５２に対して出力するようにされている。

【0087】

統合ＳＶ削減度決定部５２は、上記のようにＳＶ削減部５１−１〜５１−８から入力された削減度候補情報Ｓｒｄｃのうちから１つを選択し、この選択した削減度をＳＶ削減部５１−１〜５１−８に対して一律に設定すべき削減度として決定する。統合ＳＶ削減度決定部５２は、上記のように決定した削減度を示す削減度指示情報ＳｒｄｉをＳＶ削減部５１−１〜５１−８に対して出力する。

【0088】

図１３によると、ＳＶ削減度設定部１１０は、上記のように統合ＳＶ削減度決定部５２から出力された削減度指示情報Ｓｒｄｉを入力するようにされている。ＳＶ削減度設定部１１０は、入力した削減度指示情報Ｓｒｄｉが示す値をＳＶ簡約部１２０に対して設定する。これと同じ動作が、ＳＶ削減部５１−２〜５１−８においても実行される。これにより、ＳＶ削減ユニット５０−１におけるＳＶ削減部５１−１〜５１−８は、いずれも統合ＳＶ削減度決定部５２により決定された同じ削減度にしたがってＳＶ削減を行う。

【0089】

ここで、統合ＳＶ削減度決定部５２が削減度を決定するアルゴリズムとしては、以下の例を想定することができる。つまり、統合ＳＶ削減度決定部５２は、入力された削減度候補情報Ｓｒｄｃが示す削減度のうち、最もサポートベクター数を削減する度合いの低い削減度を選択する。具体的に、削減度が削減率であることを前提とした場合、削減率のうち、その値が最も大きいものを選択する。このように削減度を選択した場合には、いずれのＳＶ削減部５１−１〜５１−８においてもサポートベクターの過剰な削減が行われないことになる。つまり、ＳＶ削減部５１−１〜５１−８のいずれについても識別性能の低下を生じさせないようにしたうえで有効にサポートベクター数を削減できる。

【0090】

［処理手順例］
図１４は、第４の実施形態に対応して、１つのＳＶ削減ユニット５０におけるＳＶ削減部５１と統合ＳＶ削減度決定部５２が実行する処理手順例を示している。まず、ＳＶ削減部５１が実行するステップＳ５０１〜Ｓ５０６までの処理は、図８のステップＳ２０１〜Ｓ２０６と同様となる。

【0091】

ただし、ステップＳ５０６において決定した削減度は、削減度候補として扱われる。そして、ＳＶ削減部５１におけるＳＶ削減度設定部１１０は、ステップＳ５０６により決定された削減度候補を示す削減度候補情報Ｓｒｄｃを、統合ＳＶ削減度決定部５２に対して出力する（ステップＳ５０７）。

【0092】

ＳＶ削減度設定部１１０は、上記削減度候補情報Ｓｒｄｃの出力後において、統合ＳＶ削減度決定部５２から出力された削減度指示情報Ｓｒｄｉを入力する。この削減度指示情報Ｓｒｄｉの入力に応じて、ＳＶ削減度設定部１１０は、削減度指示情報Ｓｒｄｉが示す値を削減度ＳｒｄとしてＳＶ簡約部１２０に対して設定する（ステップＳ５０８）。

【0093】

また、統合ＳＶ削減度決定部５２は、すべてのＳＶ削減部５１から出力された削減度候補情報Ｓｒｄｃが入力されるのを待機している（ステップＳ６０１−ＮＯ）。そして、統合ＳＶ削減度決定部５２は、すべての削減度候補情報Ｓｒｄｃが入力されると（ステップＳ６０１−ＹＥＳ）、これら削減度候補情報Ｓｒｄｃのうちから１つの削減度を選択し、この選択した削減度を各ＳＶ削減部５１に対して一律に設定すべき削減度として決定する（ステップＳ６０２）。次に、統合ＳＶ削減度決定部５２は、決定された削減度を示す削減度指示情報ＳｄｒｉをＳＶ削減部５１の各々に対して出力する（ステップＳ６０３）。

【0094】

＜学習装置が具現化されるコンピュータの構成例＞
図１５は、本実施形態の学習装置１を具現化するハードウェアの一例であるコンピュータ２００の構成例を示している。この図に示すコンピュータ２００は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、入力インターフェース２０４、出力インターフェース２０５およびデータインターフェース２０６を備える。また、これらの部位はデータバス２０７により接続される。

【0095】

ＣＰＵ２０１は、記憶部２０３に記憶される学習装置プログラム２３０を実行することにより、学習装置１としての動作を実現する部位である。

【0096】

ＲＡＭ２０２は、主記憶装置として機能するもので、ＣＰＵ２０１が実行すべきプログラムが記憶部２０３から読み出されて展開される。また、ＲＡＭ２０２は、ＣＰＵ２０１が演算処理を実行する際の作業領域として使用される。

【0097】

記憶部２０３は、補助記憶装置として機能するもので、ＣＰＵ２０１により実行されるプログラムや各種データを格納する。同図においては、学習装置１に対応して記憶部２０３に記憶されているデータとして、学習データ１１、サンプルデータ１２、学習装置プログラム２３０が示されている。学習装置プログラム２３０は、学習装置１としての各種機能を実現するための記述が為されたプログラムである。なお、この記憶部２０３には、例えばハードディスクやフラッシュメモリなどの半導体記憶装置を採用することができる。

【0098】

入力インターフェース２０４は、例えばキーボードやマウスなどの操作デバイスをはじめとする入力デバイスを一括して示したものである。出力インターフェース２０５は、例えばディスプレイデバイス（表示部）やスピーカ（音声出力部）などの出力デバイスを一括して示したものである。

【0099】

データインターフェース２０６は、ＣＰＵ２０１の制御に応じて、所定の１以上のデータインターフェース規格に対応して通信を実行する。例えば、学習データ１１やサンプルデータ１２などは、データインターフェース２０６を介して外部からコンピュータ２００に転送させ、記憶部２０３に記憶させることができる。

【0100】

なお、本実施形態の学習装置１は、内部にコンピュータシステムを有している。そして、上述した学習の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

【0101】

また、各図における機能部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより学習を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0102】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0103】

１ 学習装置
１１ 学習データ
１２ サンプルデータ
２０ データ分割部
３０ 特徴量生成部
４０ 学習部
５０ ＳＶ削減ユニット
５１ ＳＶ削減部
５２ 統合ＳＶ削減度決定部
６０ ＳＶＭ結合部
１１０ ＳＶ削減度設定部
１１１ ＳＶ削減試行部
１１２ 識別試行部
１１３ 削減度決定部
１２０ ＳＶ簡約部
２００ コンピュータ
２３０ 学習装置プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】