特許 7457808 負例利用可否決定装置、負例利用可否決定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-19

(45)【発行日】2024-03-28

(54)【発明の名称】負例利用可否決定装置、負例利用可否決定方法及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240321BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 7

(21)【出願番号】P 2022533010

(86)(22)【出願日】2020-07-03

(86)【国際出願番号】 JP2020026261

(87)【国際公開番号】W WO2022003972

(87)【国際公開日】2022-01-06

【審査請求日】2022-12-12

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】佐藤 祥悟

【審査官】福西 章人

(56)【参考文献】

【文献】特表２００４－５２７８４１（ＪＰ，Ａ）

【文献】KORDUMOVA, Svetlana et al.，Best Practices for Learning Video Concept Detectors from Social Media Examples，Multimedia Tools and Applications，Springer [online]，2014年06月，all 26 pages，Retrieved from the Internet: <URL: https://www.researchgate.net/publication/262821588_Best_Practices_for_Learning_Video_Concept_Detectors _from_Social_Media_Examples>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

所与のターゲットデータを正例として学習させた第１識別器を生成する第１識別器生成部と、
前記ターゲットデータを負例として学習させた第２識別器を生成する第２識別器生成部と、
所与の評価データを用いて、前記第１識別器の識別精度と前記第２識別器の識別精度とを判定する識別精度判定部と、
前記第１識別器の識別精度と前記第２識別器の識別精度とに基づいて、前記ターゲットデータを別の識別器に学習させる負例の訓練データとして用いるか否かを決定する利用可否決定部と、
を含むことを特徴とする負例利用可否決定装置。

【請求項2】

前記第１識別器生成部は、前記ターゲットデータと共通正例データとを正例とし、共通負例データを負例として学習させた前記第１識別器を生成し、
前記第２識別器生成部は、前記共通正例データを正例とし、前記ターゲットデータ及び前記共通負例データを負例として学習させた前記第２識別器を生成する、
ことを特徴とする請求項１に記載の負例利用可否決定装置。

【請求項3】

前記共通正例データを正例とし、前記共通負例データを負例として学習させた第３識別器を生成する第３識別器生成部と、
前記第３識別器を用いて、所与の複数の負例訓練データのうちから前記ターゲットデータを特定するターゲットデータ特定部と、をさらに含む、
ことを特徴とする請求項２に記載の負例利用可否決定装置。

【請求項4】

前記ターゲットデータ特定部は、前記別の識別器に正例として学習させる正例訓練データと、前記第３識別器と、を用いて、前記複数の前記負例訓練データのうちから前記ターゲットデータを特定する、
ことを特徴とする請求項３に記載の負例利用可否決定装置。

【請求項5】

前記第１識別器生成部は、複数のターゲットデータ群のそれぞれについて、当該ターゲットデータ群に含まれる複数の前記ターゲットデータを正例として学習させた、当該ターゲットデータ群に対応付けられる前記第１識別器を生成し、
前記第２識別器生成部は、当該ターゲットデータ群に含まれる複数の前記ターゲットデータを負例として学習させた、当該ターゲットデータ群に対応付けられる前記第２識別器を生成し、
前記識別精度判定部は、前記ターゲットデータ群に対応付けられる前記第１識別器の識別精度と前記ターゲットデータ群に対応付けられる前記第２識別器の識別精度とを判定し、
前記利用可否決定部は、前記ターゲットデータ群に対応付けられる前記第１識別器の識別精度と前記ターゲットデータ群に対応付けられる前記第２識別器の識別精度とに基づいて、当該ターゲットデータ群に含まれる前記複数の前記ターゲットデータを前記別の識別器に学習させる負例の訓練データとして用いるか否かを決定する、
ことを特徴とする請求項１から４のいずれか一項に記載の負例利用可否決定装置。

【請求項6】

所与のターゲットデータを正例として学習させた第１識別器を生成するステップと、
前記ターゲットデータを負例として学習させた第２識別器を生成するステップと、
所与の評価データを用いて、前記第１識別器の識別精度と前記第２識別器の識別精度とを判定するステップと、
前記第１識別器の識別精度と前記第２識別器の識別精度とに基づいて、前記ターゲットデータを別の識別器に学習させる負例の訓練データとして用いるか否かを決定するステップと、
を含むことを特徴とする負例利用可否決定方法。

【請求項7】

所与のターゲットデータを正例として学習させた第１識別器を生成する手順、
前記ターゲットデータを負例として学習させた第２識別器を生成する手順、
所与の評価データを用いて、前記第１識別器の識別精度と前記第２識別器の識別精度とを判定する手順、
前記第１識別器の識別精度と前記第２識別器の識別精度とに基づいて、前記ターゲットデータを別の識別器に学習させる負例の訓練データとして用いるか否かを決定する手順、
をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、負例利用可否決定装置、負例利用可否決定方法及びプログラムに関する。

【背景技術】

【0002】

識別精度の高い識別器を生成するには、正例や負例として用いられる充分な数の訓練データを収集して、これらの訓練データを識別器に学習させる必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ある識別器の負例として用いられた訓練データを後に別の識別器の負例として流用する場合、そのまま流用することはできず、これらの訓練データのなかから別の識別器において正例として取り扱われるべきものを除外する必要がある。例えば、犬の画像であるか否かを識別する識別器の負例として用いた訓練データに猫の画像に基づく訓練データが含まれる場合、この訓練データを、猫の画像であるか否かを識別する識別器の負例からは除外する必要がある。猫の画像に基づく訓練データが正例のみならず負例としても利用されると識別器の識別精度が悪化してしまうからである。

【0004】

しかし、ある識別器の負例として用いられた訓練データは対応付けられるものが混在しており、また、それぞれの訓練データには対応付けられるものを示すラベルが関連付けられているわけではない。そのため、これらの訓練データのなかから除外する必要のあるものを抽出することは困難である。

【0005】

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、訓練データを流用可能にする負例利用可否決定装置、負例利用可否決定方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る負例利用可否決定装置は、所与のターゲットデータを正例として学習させた第１識別器を生成する第１識別器生成部と、前記ターゲットデータを負例として学習させた第２識別器を生成する第２識別器生成部と、所与の評価データを用いて、前記第１識別器の識別精度と前記第２識別器の識別精度とを判定する識別精度判定部と、前記第１識別器の識別精度と前記第２識別器の識別精度とに基づいて、前記ターゲットデータを別の識別器に学習させる負例の訓練データとして用いるか否かを決定する利用可否決定部と、を含む。

【0007】

本発明の一態様では、前記第１識別器生成部は、前記ターゲットデータと共通正例データとを正例とし、共通負例データを負例として学習させた前記第１識別器を生成し、前記第２識別器生成部は、前記共通正例データを正例とし、前記ターゲットデータ及び前記共通負例データを負例として学習させた前記第２識別器を生成する。

【0008】

この態様では、前記共通正例データを正例とし、前記共通負例データを負例として学習させた第３識別器を生成する第３識別器生成部と、前記第３識別器を用いて、所与の複数の負例訓練データのうちから前記ターゲットデータを特定するターゲットデータ特定部と、をさらに含んでもよい。

【0009】

さらに、前記ターゲットデータ特定部は、前記別の識別器に正例として学習させる正例訓練データと、前記第３識別器と、を用いて、前記複数の前記負例訓練データのうちから前記ターゲットデータを特定してもよい。

【0010】

また、本発明の一態様では、前記第１識別器生成部は、複数のターゲットデータ群のそれぞれについて、当該ターゲットデータ群に含まれる複数の前記ターゲットデータを正例として学習させた、当該ターゲットデータ群に対応付けられる前記第１識別器を生成し、前記第２識別器生成部は、当該ターゲットデータ群に含まれる複数の前記ターゲットデータを負例として学習させた、当該ターゲットデータ群に対応付けられる前記第２識別器を生成し、前記識別精度判定部は、前記ターゲットデータ群に対応付けられる前記第１識別器の識別精度と前記ターゲットデータ群に対応付けられる前記第２識別器の識別精度とを判定し、前記利用可否決定部は、前記ターゲットデータ群に対応付けられる前記第１識別器の識別精度と前記ターゲットデータ群に対応付けられる前記第２識別器の識別精度とに基づいて、当該ターゲットデータ群に含まれる前記複数の前記ターゲットデータを前記別の識別器に学習させる負例の訓練データとして用いるか否かを決定する。

【0011】

また、本発明に係る負例利用可否決定方法は、所与のターゲットデータを正例として学習させた第１識別器を生成するステップと、前記ターゲットデータを負例として学習させた第２識別器を生成するステップと、所与の評価データを用いて、前記第１識別器の識別精度と前記第２識別器の識別精度とを判定するステップと、前記第１識別器の識別精度と前記第２識別器の識別精度とに基づいて、前記ターゲットデータを別の識別器に学習させる負例の訓練データとして用いるか否かを決定するステップと、を含む。

【0012】

また、本発明に係るプログラムは、所与のターゲットデータを正例として学習させた第１識別器を生成する手順、前記ターゲットデータを負例として学習させた第２識別器を生成する手順、所与の評価データを用いて、前記第１識別器の識別精度と前記第２識別器の識別精度とを判定する手順、前記第１識別器の識別精度と前記第２識別器の識別精度とに基づいて、前記ターゲットデータを別の識別器に学習させる負例の訓練データとして用いるか否かを決定する手順、をコンピュータに実行させる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係る情報処理装置の構成の一例を示す図である。

【図2】本発明の一実施形態における識別器の学習の一例を示す図である。

【図3】本発明の一実施形態における学習済の識別器を用いた識別の一例を示す図である。

【図4】本発明の一実施形態における識別器の学習の一例を示す図である。

【図5】本発明の一実施形態における学習済の識別器を用いた識別の一例を示す図である。

【図6】負例サンプル画像の一例を示す図である。

【図7A】本発明の一実施形態に係る情報処理装置で実装される機能の一例を示す機能ブロック図である。

【図7B】本発明の一実施形態に係る情報処理装置で実装される機能の一例を示す機能ブロック図である。

【図7C】本発明の一実施形態に係る情報処理装置で実装される機能の一例を示す機能ブロック図である。

【図8】本発明の一実施形態に係る情報処理装置において行われる処理の流れの一例を示すフロー図である。

【図9】本発明の一実施形態に係る情報処理装置において行われる処理の流れの一例を示すフロー図である。

【図10A】本発明の一実施形態に係る情報処理装置において行われる処理の流れの一例を示すフロー図である。

【図10B】本発明の一実施形態に係る情報処理装置において行われる処理の流れの一例を示すフロー図である。

【発明を実施するための形態】

【0014】

以下、本発明の一実施形態について図面に基づき詳細に説明する。

【0015】

図１は、本発明の一実施形態に係る情報処理装置１０の構成の一例を示す図である。本実施形態に係る情報処理装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図１に示すように、本実施形態に係る情報処理装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８、撮影部２０を含んでいる。

【0016】

プロセッサ１２は、例えば情報処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

【0017】

記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やソリッドステートドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。

【0018】

操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。

【0019】

表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。

【0020】

撮影部２０は、デジタルカメラ等の撮影デバイスである。本実施形態に係る撮影部２０は、動画像の撮影が可能なビデオカメラであることとする。

【0021】

なお、情報処理装置１０は、マイクやスピーカなどといった音声入出力デバイスを含んでいてもよい。また、情報処理装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。

【0022】

本実施形態では、図２に示すように、複数の正例訓練データ（Ａ）を正例とし複数の負例訓練データ（Ａ）を負例として学習させた、ＳＶＭ（Support Vector Machine）などの識別器３０ａ（学習済の識別器３０ａ）が生成される。複数の正例訓練データ（Ａ）のそれぞれは、例えば、識別器３０ａにおける正クラスに属するオブジェクトが写るサンプル画像（以下、正例サンプル画像（Ａ）と呼ぶ。）に基づいて生成される。また、複数の負例訓練データ（Ａ）のそれぞれは、例えば、識別器３０ａにおける負クラスに属するオブジェクトが写るサンプル画像（以下、負例サンプル画像（Ａ）と呼ぶ。）に基づいて生成される。

【0023】

そして、図３に示すように、学習済の識別器３０ａは、入力画像に対応する特徴量を示す特徴量データの入力に応じて、当該入力画像に写るオブジェクトが識別器３０ａにおける正クラスに属するものである確率を示す識別スコアを出力する。

【0024】

その後、図４に示すように、本実施形態では例えば、複数の正例訓練データ（Ｂ）を正例とし複数の負例訓練データ（Ａ）を負例として学習させた、ＳＶＭなどの識別器３０ｂ（学習済の識別器３０ｂ）が生成される。

【0025】

複数の正例訓練データ（Ｂ）のそれぞれは、例えば、識別器３０ｂにおける正クラスに属するオブジェクトが写るサンプル画像（以下、正例サンプル画像（Ｂ）と呼ぶ。）に基づいて生成される。そして本実施形態では、識別器３０ａの学習に用いられた負例訓練データ（Ａ）が、識別器３０ｂの負例として流用される。

【0026】

そして、図５に示すように、学習済の識別器３０ｂは、入力画像に対応する特徴量を示す特徴量データの入力に応じて、当該入力画像に写るオブジェクトが識別器３０ｂにおける正クラスに属するものである確率を示す識別スコアを出力する。

【0027】

本実施形態に係る情報処理装置１０には、例えば、予め学習済であるＲＰＮ（Regional Proposal Network）が記憶されている。そして本実施形態では、当該ＲＰＮを用いて、サンプル画像から、何らかの物体が写っていると推定される領域を抽出する。この処理によって、計算の無駄を低減でき、環境に対してもある程度のロバストネスが確保できる。

【0028】

そして、抽出された領域の画像に対して、例えば、背景の除去処理（マスク処理）などといった正規化処理が実行される。この処理によって、背景や照明条件によるドメインギャップを縮小させることができ、その結果、限られた環境下で収集されたデータだけからでも識別器３０の学習を完了させることが可能になる。

【0029】

また、本実施形態に係る情報処理装置１０には、予めメトリック学習が実行済であるＣＮＮ（Convolutional Neural Network）が記憶されている。このＣＮＮは、画像の入力に応じて、当該画像に対応する特徴量を示す特徴量データを出力する。このＣＮＮは、事前のメトリック学習によって、正クラスに属するオブジェクトが写る画像については互いに近い特徴量を示す特徴量データを出力するようチューニングされている。本実施形態に係る特徴量データが示す特徴量は、例えば、ノルムが１となるよう正規化されたベクトル量である。

【0030】

本実施形態では、このＣＮＮを用いて、正規化処理が実行された画像に対応する特徴量を示す特徴量データが生成される。予めメトリック学習が実行済であるＣＮＮを用いることで、１つのクラスに属するサンプルの特徴量が、条件に依らずコンパクトな領域に集約されることとなる。その結果、本実施形態に係る情報処理装置１０は、識別器３０における妥当な識別境界を少数のサンプルからでも決定できるようになっている。

【0031】

本実施形態では、正例サンプル画像（Ａ）からＲＰＮによって抽出された領域の画像に対して正規化処理を実行した画像を、メトリック学習が実行済であるＣＮＮに入力することで、当該正例サンプル画像（Ａ）に対応する特徴量を示す特徴量データが生成される。このようにして正例サンプル画像（Ａ）から生成される特徴量データが、図２に示す正例訓練データ（Ａ）に相当する。

【0032】

また、本実施形態では、正例サンプル画像（Ｂ）からＲＰＮによって抽出された領域の画像に対して正規化処理を実行した画像を、メトリック学習が実行済であるＣＮＮに入力することで、当該正例サンプル画像（Ｂ）に対応する特徴量を示す特徴量データが生成される。このようにして正例サンプル画像（Ｂ）から生成される特徴量データが、図４に示す正例訓練データ（Ｂ）に相当する。

【0033】

また、本実施形態では、負例サンプル画像（Ａ）からＲＰＮによって抽出された領域の画像に対して正規化処理を実行した画像を、メトリック学習が実行済であるＣＮＮに入力することで、当該負例サンプル画像（Ａ）に対応する特徴量を示す特徴量データが生成される。このようにして負例サンプル画像（Ａ）から生成される特徴量データが、図２及び図４に示す負例訓練データ（Ａ）に相当する。

【0034】

本実施形態では、写っているオブジェクトの推定対象となる入力画像についても、同様にして、上述した領域の抽出、正規化処理、及び、メトリック学習が実行済であるＣＮＮを用いた特徴量データの生成によって、入力画像に対応する特徴量データが生成される。そして、このようにして生成された特徴量データを学習済の識別器３０ａに入力することで、学習済の識別器３０ａは、当該入力画像に写るオブジェクトが識別器３０ａにおける正クラスに属するものである確率を示す識別スコアを出力する。また、このようにして生成された特徴量データを学習済の識別器３０ｂに入力することで、学習済の識別器３０ｂは、当該入力画像に写るオブジェクトが識別器３０ｂにおける正クラスに属するものである確率を示す識別スコアを出力する。

【0035】

上述のように、識別器３０ａの負例として用いられた負例訓練データ（Ａ）を識別器３０ｂの負例としてそのまま流用することはできず、これらの負例訓練データ（Ａ）のなかから識別器３０ｂにおいて正例として取り扱われるべきものを除外する必要がある。

【0036】

図６は、複数の負例サンプル画像（Ａ）に含まれる、複数の馬の画像Ｐ１、複数の植物の画像Ｐ２、複数のカップの画像Ｐ３、複数の車の画像Ｐ４、複数の猫の画像Ｐ５、複数の列車の画像Ｐ６の一例を模式的に示す図である。例えば、これらの画像に基づいて生成される負例訓練データ（Ａ）が、犬の画像であるか否かを識別する識別器３０ａの負例として用いられたとする。この場合、猫の画像Ｐ５に基づく負例訓練データ（Ａ）については、猫の画像であるか否かを識別する識別器３０ｂの負例からは除外する必要がある。猫の画像に基づく負例訓練データ（Ａ）が正例のみならず負例としても利用されると識別器３０ｂの識別精度が悪化してしまうからである。

【0037】

しかし、識別器３０ａの負例として用いられた負例訓練データ（Ａ）は対応付けられるものが混在しており、また、それぞれの負例訓練データ（Ａ）には対応付けられるものを示すラベルが関連付けられているわけではない。そのため、これらの負例訓練データ（Ａ）のなかから除外する必要のあるものを抽出することは困難である。

【0038】

以上の点を踏まえ、本実施形態では以下のようにして、負例訓練データ（Ａ）を識別器３０ｂの負例に流用できるようにした。

【0039】

以下、本実施形態に係る情報処理装置１０で実装されている機能、及び、本実施形態に係る情報処理装置１０で実行される処理について、説明する。

【0040】

図７Ａ、図７Ｂ、及び、図７Ｃは、本実施形態に係る情報処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置１０で、図７Ａ、図７Ｂ、及び、図７Ｃに示す機能のすべてが実装される必要はなく、また、図７Ａ、図７Ｂ、及び、図７Ｃに示す機能以外の機能が実装されていても構わない。

【0041】

図７Ａに示すように、本実施形態に係る情報処理装置１０には、機能的には例えば、識別器３０、データ記憶部３２、正例訓練データ生成部３４、負例訓練データ生成部３６、学習部３８、入力画像取得部４０、入力特徴量データ生成部４２、推定部４４、が含まれる。

【0042】

そして、データ記憶部３２には、正例訓練データ記憶部５０、負例訓練データ記憶部５２、第１正例評価データ記憶部５４ａ、第２正例評価データ記憶部５４ｂ、第１負例評価データ記憶部５６ａ、第２負例評価データ記憶部５６ｂが、含まれる。

【0043】

図７Ｂには、図７Ａに示す負例訓練データ生成部３６で実装されている機能の詳細が示されている。図７Ｂに示すように、負例訓練データ生成部３６には、機能的には例えば、暫定評価識別器６０、正例評価識別器６２、負例評価識別器６４、サンプル画像取得部６６、特徴量抽出部６８、暫定評価学習部７０、ターゲットデータ特定部７２、正例評価学習部７４、負例評価学習部７６、利用可否決定部７８、除去部８０、が含まれる。

【0044】

図７Ｃには、データ記憶部３２に含まれる各要素と、図７Ｂに示されている、特徴量抽出部６８、暫定評価学習部７０、ターゲットデータ特定部７２、利用可否決定部７８、除去部８０、との関係が示されている。

【0045】

正例訓練データ記憶部５０、負例訓練データ記憶部５２、第１正例評価データ記憶部５４ａ、第２正例評価データ記憶部５４ｂ、第１負例評価データ記憶部５６ａ、第２負例評価データ記憶部５６ｂは、記憶部１４を主として実装される。識別器３０、暫定評価識別器６０、正例評価識別器６２、負例評価識別器６４は、プロセッサ１２、及び、記憶部１４を主として実装される。正例訓練データ生成部３４、学習部３８、入力特徴量データ生成部４２、推定部４４、特徴量抽出部６８、暫定評価学習部７０、ターゲットデータ特定部７２、正例評価学習部７４、負例評価学習部７６、利用可否決定部７８、除去部８０は、プロセッサ１２を主として実装される。入力画像取得部４０、サンプル画像取得部６６は、プロセッサ１２、及び、撮影部２０を主として実装される。

【0046】

識別器３０は、本実施形態では、例えば、図２及び図３に示す識別器３０ａや、図４及び図５に示す識別器３０ｂに相当する、ＳＶＭなどの機械学習モデルである。識別器３０は、入力画像に写るオブジェクトが正クラスに属するものであるか否かを識別する。

【0047】

正例訓練データ生成部３４は、本実施形態では例えば、識別器３０に正例として学習させる上述の正例訓練データを生成する。

【0048】

正例訓練データ生成部３４は、例えば、撮影部２０によって撮影される複数の正例サンプル画像のそれぞれについて、当該正例サンプル画像に対応する特徴量を示す特徴量データである正例特徴量データを生成する。これらの正例サンプル画像のそれぞれには、正クラスに属するオブジェクトが写っている。ここで、上述した領域の抽出、正規化処理、及び、メトリック学習が実行済であるＣＮＮを用いた特徴量データの生成が実行されることで、正例サンプル画像に対応する正例特徴量データが生成されてもよい。

【0049】

そして、正例訓練データ生成部３４は、これらの正例特徴量データのうちの一部を正例訓練データとして正例訓練データ記憶部５０に記憶させる。また、正例訓練データ生成部３４は、これらの正例特徴量データのうちの残りのうちの一部を第１正例評価データとして第１正例評価データ記憶部５４ａに記憶させる。そして、正例訓練データ生成部３４は、残りの正例特徴量データを第２正例評価データとして第２正例評価データ記憶部５４ｂに記憶させる。ここで例えば、これらの正例特徴量データのうちの３分の１が、正例訓練データとして正例訓練データ記憶部５０に記憶されるようにしてもよい。そして、残りの半分（全体の３分の１）が第１正例評価データとして第１正例評価データ記憶部５４ａに記憶されるようにしてもよい。そして、残り（全体の３分の１）が第２正例評価データとして第２正例評価データ記憶部５４ｂに記憶されるようにしてもよい。

【0050】

負例訓練データ生成部３６は、本実施形態では例えば、識別器３０に負例として学習させる上述の負例訓練データを生成する。

【0051】

本実施形態では例えば、撮影部２０によって撮影される複数の負例サンプル画像のそれぞれについて、当該負例サンプル画像に対応する特徴量を示す特徴量データである負例特徴量データを生成する。ここで、上述した領域の抽出、正規化処理、及び、メトリック学習が実行済であるＣＮＮを用いた特徴量データの生成が実行されることで、負例サンプル画像に対応する負例特徴量データが生成されてもよい。

【0052】

そして、負例訓練データ生成部３６は、これらの負例特徴量データのうちの一部を負例訓練データとして負例訓練データ記憶部５２に記憶させる。また、負例訓練データ生成部３６は、これらの負例特徴量データのうちの残りのうちの一部を第１負例評価データとして第１負例評価データ記憶部５６ａに記憶させる。そして、負例訓練データ生成部３６は、残りの負例特徴量データを第２負例評価データとして第２負例評価データ記憶部５６ｂに記憶させる。ここで例えば、これらの負例特徴量データのうちの３分の１が、負例訓練データとして負例訓練データ記憶部５２に記憶されるようにしてもよい。そして、残りの半分（全体の３分の１）が第１負例評価データとして第１負例評価データ記憶部５６ａに記憶されるようにしてもよい。そして、残り（全体の３分の１）が第２負例評価データとして第２負例評価データ記憶部５６ｂに記憶されるようにしてもよい。

【0053】

学習部３８は、本実施形態では例えば、正例訓練データ記憶部５０に記憶されている正例訓練データを正例とし、負例訓練データ記憶部５２に記憶されている負例訓練データを負例として学習させた識別器３０（学習済の識別器３０）を生成する。

【0054】

入力画像取得部４０は、本実施形態では例えば、撮影部２０によって撮影された、写っているオブジェクトの推定対象となる入力画像を取得する。

【0055】

入力特徴量データ生成部４２は、本実施形態では例えば、上述のようにして、入力画像に対応する特徴量を示す入力特徴量データを生成する。

【0056】

推定部４４は、本実施形態では例えば、入力特徴量データを識別器３０に入力することで、入力画像に写るオブジェクトが正クラスに属するものであるか否かを推定する。ここで推定部４４は、例えば、入力特徴量データの入力に応じて識別器３０から出力される識別スコアの値を特定してもよい。

【0057】

本実施形態では例えば、入力画像の撮影及び取得、入力特徴量データの生成、及び、入力画像に写るオブジェクトが正クラスに属するものであるか否かの推定が、所定のフレームレートで繰り返し実行される。このようにして、本実施形態では、フレームごとに、当該フレームで撮影された入力画像に写るオブジェクトが正クラスに属するものであるか否かが推定される。そのため、本実施形態によれば、高速な物体検出が実現可能となっている。また、本実施形態によれば、ユーザが用意した少量のデータによる識別器３０の学習が可能となっており、従来技術のように識別器３０の学習のために大量のラベル付きデータを用意する必要はない。

【0058】

本実施形態では例えば、識別器３０ａの学習が実行される際に正例訓練データ生成部３４によって正例サンプル画像（Ａ）に基づいて生成される正例特徴量データを正例特徴量データ（Ａ）と呼ぶこととする。そして、この場合、正例特徴量データ（Ａ）が、正例訓練データ（Ａ）、第１正例評価データ（Ａ）、又は、第２正例評価データ（Ａ）に分類される。そして、正例訓練データ（Ａ）、第１正例評価データ（Ａ）、第２正例評価データ（Ａ）がそれぞれ、正例訓練データ記憶部５０、第１正例評価データ記憶部５４ａ、第２正例評価データ記憶部５４ｂに記憶される。

【0059】

また、識別器３０ａの学習が実行される際に負例訓練データ生成部３６によって負例サンプル画像（Ａ）に基づいて生成される負例特徴量データを負例特徴量データ（Ａ）と呼ぶこととする。そして、この場合、負例特徴量データ（Ａ）が、負例訓練データ（Ａ）、第１負例評価データ（Ａ）、又は、第２負例評価データ（Ａ）のいずれかに分類される。そして、正例訓練データ（Ａ）、第１負例評価データ（Ａ）、第２負例評価データ（Ａ）がそれぞれ、負例訓練データ記憶部５２、第１負例評価データ記憶部５６ａ、第２負例評価データ記憶部５６ｂに記憶される。

【0060】

そして、学習部３８は、上述のように、正例訓練データ記憶部５０に記憶されている正例訓練データ（Ａ）を正例とし、負例訓練データ記憶部５２に記憶されている負例訓練データ（Ａ）を負例として学習させた識別器３０ａ（学習済の識別器３０ａ）を生成する。

【0061】

その後、識別器３０ｂの学習が実行される際に正例訓練データ生成部３４によって正例サンプル画像（Ｂ）に基づいて生成される正例特徴量データを正例特徴量データ（Ｂ）と呼ぶこととする。そして、この場合、正例特徴量データ（Ｂ）が、正例訓練データ（Ｂ）、第１正例評価データ（Ｂ）、又は、第２正例評価データ（Ｂ）のいずれかに分類される。そして、正例訓練データ（Ｂ）、第１正例評価データ（Ｂ）、第２正例評価データ（Ｂ）がそれぞれ、正例訓練データ記憶部５０、第１正例評価データ記憶部５４ａ、第２正例評価データ記憶部５４ｂに記憶される。

【0062】

そして、上述の負例訓練データ（Ａ）、第１負例評価データ（Ａ）、又は、第２負例評価データ（Ａ）が、それぞれ、負例訓練データ記憶部５２、第１負例評価データ記憶部５６ａ、第２負例評価データ記憶部５６ｂに記憶される。

【0063】

ここで、後述する処理によって、負例訓練データ記憶部５２に記憶されている負例訓練データ（Ａ）の一部が除去される。

【0064】

そして、学習部３８は、上述のように、正例訓練データ記憶部５０に記憶されている正例訓練データ（Ｂ）を正例とし、負例訓練データ記憶部５２から除去されずに残った負例訓練データ（Ａ）を負例として学習させた識別器３０ｂ（学習済の識別器３０ｂ）を生成する。

【0065】

以下、上述した負例訓練データ（Ａ）の除去を中心に、負例訓練データ生成部３６の機能についてさらに説明する。上述のように、負例訓練データ生成部３６には、機能的には例えば、暫定評価識別器６０、正例評価識別器６２、負例評価識別器６４、サンプル画像取得部６６、特徴量抽出部６８、暫定評価学習部７０、ターゲットデータ特定部７２、正例評価学習部７４、負例評価学習部７６、利用可否決定部７８、除去部８０、が含まれる。

【0066】

暫定評価識別器６０、正例評価識別器６２、負例評価識別器６４、は、それぞれ、本実施形態では例えば、除去すべき負例訓練データ（Ａ）の決定に用いられるＳＶＭなどの機械学習モデルである。

【0067】

サンプル画像取得部６６は、本実施形態では例えば、サンプルを撮影した画像であるサンプル画像を繰り返し取得する。サンプル画像取得部６６は、例えば、識別器３０ａにおける負クラスに属するオブジェクトが写る負例サンプル画像（Ａ）を繰り返し取得する。例えば、ユーザは撮影部２０を動かしながら様々な角度からサンプルを撮影した動画像を撮影する。

【0068】

特徴量抽出部６８は、本実施形態では例えば、サンプル画像に基づいて、当該サンプル画像に対応する特徴量を示す特徴量データを生成する。ここでサンプル画像に対して、上述した領域の抽出、正規化処理、及び、メトリック学習が実行済であるＣＮＮを用いた特徴量データの生成が実行されることで、サンプル画像に対応する特徴量データが生成されてもよい。

【0069】

特徴量抽出部６８は、例えば、負例サンプル画像（Ａ）に基づいて、当該負例サンプル画像に対応する特徴量を示す負例特徴量データ（Ａ）を生成する。そして、負例特徴量データ（Ａ）を、負例訓練データ（Ａ）、第１負例評価データ（Ａ）、又は、第２負例評価データ（Ａ）のいずれかに分類する。そして、特徴量抽出部６８は、負例訓練データ（Ａ）を負例訓練データ記憶部５２に記憶させ、第１負例評価データ（Ａ）を第１負例評価データ記憶部５６ａに記憶させ、第２負例評価データ（Ａ）を第２負例評価データ記憶部５６ｂに記憶させる。

【0070】

暫定評価学習部７０は、本実施形態では例えば、第１正例評価データ（Ｂ）を正例とし第１負例評価データ（Ａ）を負例として学習させた暫定評価識別器６０（学習済の暫定評価識別器６０）を生成する。

【0071】

ターゲットデータ特定部７２は、本実施形態では例えば、複数の負例訓練データ（Ａ）のそれぞれについて、当該負例訓練データ（Ａ）を上述の学習が実行済である暫定評価識別器６０に入力した際に暫定評価識別器６０から出力される識別スコアを特定する。そして、これら複数の負例訓練データ（Ａ）のうちから、特定される識別スコアの値に基づいて、ターゲットデータを特定する。例えば、特定される識別スコアの値が所定値よりも大きな負例訓練データ（Ａ）がターゲットデータとして特定される。

【0072】

正例評価学習部７４は、本実施形態では例えば、ターゲットデータを正例として学習させた正例評価識別器６２（学習済の正例評価識別器６２）を生成する。ここで、正例評価学習部７４は、上述のようにしてターゲットデータ特定部７２によって複数の負例訓練データ（Ａ）のうちから特定されるターゲットデータを正例として学習させた正例評価識別器６２を生成してもよい。また、正例評価学習部７４は、ターゲットデータと第１正例評価データ（Ｂ）を正例とし、第１負例評価データ（Ａ）を負例として学習させた正例評価識別器６２を生成してもよい。

【0073】

負例評価学習部７６は、本実施形態では例えば、ターゲットデータを負例として学習させた負例評価識別器６４（学習済の負例評価識別器６４）を生成する。例えば、負例評価学習部７６は、上述のようにしてターゲットデータ特定部７２によって複数の負例訓練データ（Ａ）のうちから特定されるターゲットデータを負例として学習させた負例評価識別器６４を生成してもよい。また、負例評価学習部７６は、第１正例評価データ（Ｂ）を正例とし、ターゲットデータと第１負例評価データ（Ａ）を負例として学習させた負例評価識別器６４を生成してもよい。

【0074】

利用可否決定部７８は、本実施形態では例えば、所与の評価データを用いて、正例評価識別器６２の識別精度と負例評価識別器６４の識別精度とを判定する。そして、利用可否決定部７８は、本実施形態では例えば、判定される正例評価識別器６２の識別精度と負例評価識別器６４の識別精度に基づいて、ターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いるか否かを決定する。ターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いるか否かを決定する処理の詳細については後述する。

【0075】

除去部８０は、本実施形態では例えば、利用可否決定部７８によって識別器３０ｂに学習させる負例訓練データ（Ａ）として用いないことが決定されたターゲットデータを負例訓練データ記憶部５２から除去する。

【0076】

学習部３８は、正例訓練データ記憶部５０に記憶されている正例訓練データ（Ｂ）を正例とし、このようにして負例訓練データ記憶部５２から除去されずに残った負例訓練データ（Ａ）を負例として学習させた識別器３０ｂを生成することとなる。

【0077】

ここで、本実施形態に係る情報処理装置１０において実行される、負例訓練データ（Ａ）、第１負例評価データ（Ａ）、及び、第２負例評価データ（Ａ）の生成処理の流れの一例を、図８に示すフロー図を参照しながら説明する。なお、以下に示す処理例では、ユーザは撮影部２０を動かしながら様々な角度から識別器３０ａにおける負クラスに属するオブジェクトのサンプルを撮影した動画像を撮影することとする。そして、撮影部２０は、サンプルを撮影したフレーム画像を所定のフレームレートで生成することとする。この撮影において、ユーザは、識別器３０ａにおける正クラスに属するオブジェクトが写りこまないように注意する必要がある。

【0078】

まず、サンプル画像取得部６６が、撮影部２０によって識別器３０ａにおける負クラスに属するオブジェクトのサンプルが撮影された最新の画像である負例サンプル画像（Ａ）を取得する（Ｓ１０１）。

【0079】

そして、特徴量抽出部６８が、Ｓ１０１に示す処理で取得された負例サンプル画像（Ａ）に基づいて、当該負例サンプル画像（Ａ）に対応する特徴量を示す負例特徴量データ（Ａ）を生成する（Ｓ１０２）。

【0080】

そして、特徴量抽出部６８が、Ｓ１０１に示す処理で取得された負例サンプル画像（Ａ）のフレーム番号を３で割った余りを確認する（Ｓ１０３）。

【0081】

３で割った余りが０である場合は、Ｓ１０２に示す処理で生成された負例特徴量データ（Ａ）を、負例訓練データ（Ａ）として負例訓練データ記憶部５２に記憶させる（Ｓ１０４）。

【0082】

３で割った余りが１である場合は、Ｓ１０２に示す処理で生成された負例特徴量データ（Ａ）を、第１負例評価データ（Ａ）として第１負例評価データ記憶部５６ａに記憶させる（Ｓ１０５）。

【0083】

３で割った余りが２である場合は、Ｓ１０２に示す処理で生成された負例特徴量データ（Ａ）を、第２負例評価データ（Ａ）として第２負例評価データ記憶部５６ｂに記憶させる（Ｓ１０６）。

【0084】

そして、特徴量抽出部６８は、所定の終了条件（例えば、所定数の負例訓練データ（Ａ）、第１負例評価データ（Ａ）、及び、第２負例評価データ（Ａ）が収集された、など）を満足するか否かを確認する（Ｓ１０７）。

【0085】

所定の終了条件を満足しない場合は（Ｓ１０７：Ｎ）、Ｓ１０１に示す処理に戻る。

【0086】

所定の終了条件を満足する場合は（Ｓ１０７：Ｙ）、本処理例に示す処理は終了される。

【0087】

本実施形態では例えば、識別器３０ａにおける負クラスに属する様々なオブジェクトについて、Ｓ１０１～Ｓ１０７に示す処理が実行されてもよい。そしてこのことによって、様々なオブジェクトについての負例訓練データ（Ａ）、第１負例評価データ（Ａ）、及び、第２負例評価データ（Ａ）が蓄積される。

【0088】

また、上述の方法に限らず、Ｗｅｂから収集された画像など他の方法により収集された負例サンプル画像（Ａ）に基づいて、上述のＳ１０１～Ｓ１０７に示す処理が実行されてもよい。そしてこのことによって、負例訓練データ（Ａ）、第１負例評価データ（Ａ）、及び、第２負例評価データ（Ａ）が蓄積されてもよい。

【0089】

次に、本実施形態に係る情報処理装置１０において実行される、正例訓練データ（Ｂ）、第１正例評価データ（Ｂ）、及び、第２負例評価データＢの生成処理の流れの一例を、図９に示すフロー図を参照しながら説明する。なお、以下に示す処理例では、ユーザは撮影部２０を動かしながら様々な角度から識別器３０ｂにおける正クラスに属するオブジェクトのサンプルを撮影した動画像を撮影することとする。そして、撮影部２０は、サンプルを撮影したフレーム画像を所定のフレームレートで生成することとする。

【0090】

まず、正例訓練データ生成部３４が、撮影部２０によって識別器３０ｂにおける正クラスに属するオブジェクトのサンプルが撮影された最新の画像である正例サンプル画像（Ｂ）を取得する（Ｓ２０１）。

【0091】

そして、正例訓練データ生成部３４が、Ｓ２０１に示す処理で取得された正例サンプル画像（Ｂ）に基づいて、当該正例サンプル画像（Ｂ）に対応する特徴量を示す正例特徴量データ（Ｂ）を生成する（Ｓ２０２）。

【0092】

そして、正例訓練データ生成部３４が、Ｓ２０１に示す処理で取得された正例サンプル画像（Ｂ）のフレーム番号を３で割った余りを確認する（Ｓ２０３）。

【0093】

３で割った余りが０である場合は、Ｓ２０２に示す処理で生成された正例特徴量データ（Ｂ）を、正例訓練データ（Ｂ）として正例訓練データ記憶部５０に記憶させる（Ｓ２０４）。

【0094】

３で割った余りが１である場合は、Ｓ２０２に示す処理で生成された正例特徴量データ（Ｂ）を、第１正例評価データ（Ｂ）として第１負例評価データ記憶部５６ａに記憶させる（Ｓ２０５）。

【0095】

３で割った余りが２である場合は、Ｓ２０２に示す処理で生成された正例特徴量データ（Ｂ）を、第２正例評価データ（Ｂ）として第２正例評価データ記憶部５４ｂに記憶させる（Ｓ２０６）。

【0096】

そして、正例訓練データ生成部３４は、所定の終了条件（例えば、所定数の正例訓練データ（Ｂ）、第２正例評価データ（Ｂ）、及び、第２正例評価データ（Ｂ）が収集された、など）を満足するか否かを確認する（Ｓ２０７）。

【0097】

所定の終了条件を満足しない場合は（Ｓ２０７：Ｎ）、Ｓ１０１に示す処理に戻る。

【0098】

所定の終了条件を満足する場合は（Ｓ２０７：Ｙ）、本処理例に示す処理は終了される。

【0099】

Ｓ２０１～Ｓ２０７に示す処理と同様の処理により、識別器３０ａにおける正クラスに属するオブジェクトのサンプルを撮影した動画像に基づく、正例訓練データ（Ａ）、第１正例評価データ（Ａ）、及び、第２正例評価データ（Ａ）の収集が行われてもよい。

【0100】

そして、正例訓練データ（Ａ）、及び、負例訓練データ（Ａ）を用いた、識別器３０ａの学習が実行されてもよい。

【0101】

次に、本実施形態に係る情報処理装置１０において実行される、正例訓練データ（Ａ）の除去処理の流れの一例を、図１０Ａ及び図１０Ｂに示すフロー図を参照しながら説明する。本処理例に示す処理の開始時には、複数の正例訓練データ（Ｂ）が正例訓練データ記憶部５０に記憶されていることとする。また、複数の第１正例評価データ（Ｂ）が第１正例評価データ記憶部５４ａに記憶されていることとする。また、複数の第２正例評価データ（Ｂ）が第２正例評価データ記憶部５４ｂに記憶されていることとする。また、複数の負例訓練データ（Ａ）が負例訓練データ記憶部５２に記憶されていることとする。また、複数の第１負例評価データ（Ａ）が第１負例評価データ記憶部５６ａに記憶されていることとする。また、複数の第２負例評価データ（Ａ）が第２正例評価データ記憶部５４ｂに記憶されていることとする。

【0102】

まず、暫定評価学習部７０が、第１正例評価データ記憶部５４ａに記憶されている第１正例評価データ（Ｂ）を正例とし第１負例評価データ記憶部５６ａに記憶されている第１負例評価データ（Ａ）を負例として学習させた暫定評価識別器６０を生成する（Ｓ３０１）。

【0103】

そして、ターゲットデータ特定部７２が、Ｓ３０１に示す処理で生成された学習済の暫定評価識別器６０を用いて、正例訓練データ記憶部５０に記憶されている複数の正例訓練データ（Ｂ）のそれぞれについての識別スコアを特定する（Ｓ３０２）。ここでは例えば、正例訓練データ（Ｂ）を学習済の暫定評価識別器６０に入力した際に暫定評価識別器６０から出力される識別スコアが特定される。

【0104】

そして、ターゲットデータ特定部７２が、Ｓ３０２に示す処理で複数の正例訓練データ（Ｂ）のそれぞれについて特定された識別スコアを昇順に並べた際の順位が先頭から１０％に位置するものの値ＴＨ＿Ｐを特定する（Ｓ３０３）。

【0105】

そして、ターゲットデータ特定部７２が、Ｓ３０１に示す処理で生成された学習済の暫定評価識別器６０を用いて、負例訓練データ記憶部５２に記憶されている複数の負例訓練データ（Ａ）のそれぞれについての識別スコアを特定する（Ｓ３０４）。ここでは例えば、負例訓練データ（Ａ）を学習済の暫定評価識別器６０に入力した際に暫定評価識別器６０から出力される識別スコアが特定される。

【0106】

そして、ターゲットデータ特定部７２が、複数の負例訓練データ（Ａ）のうちからターゲットデータを特定する（Ｓ３０５）。ここで、ターゲットデータ特定部７２が、識別器３０ｂに正例として学習させる正例訓練データ（Ｂ）と、暫定評価識別器６０と、を用いて、負例訓練データ（Ａ）のうちからターゲットデータを特定してもよい。Ｓ３０５に示す処理では、例えば、ターゲットデータ特定部７２は、複数の負例訓練データ（Ａ）のうち、Ｓ３０４に示す処理で特定された識別スコアがＳ３０３に示す処理で特定された値ＴＨ＿Ｐよりも大きなものをターゲットデータとして特定する。ここでは、複数のターゲットデータが特定されることとする。

【0107】

そして、ターゲットデータ特定部７２が、Ｓ３０５に示す複数のターゲットデータを例えば、クラスタリング技術などを用いることで、ターゲットデータが示す特徴量間の距離が所定値ｅ以下であるもの同士で結合されたターゲットデータ群に分類する（Ｓ３０６）。ここでは例えば、ｎ個のターゲットデータ群（Ｔ＿ＨＮ（１）～Ｔ＿ＨＮ（ｎ））に分類されることとする。

【0108】

そして、利用可否決定部７８が、変数ｊの値に１を設定する（Ｓ３０７）。

【0109】

そして、負例評価学習部７６が、第１正例評価データ（Ｂ）を正例とし第１負例評価データ（Ａ）及びターゲットデータ群Ｔ＿ＨＮ（ｊ）に含まれる複数のターゲットデータを負例として学習させた負例評価識別器６４（ｊ）を生成する（Ｓ３０８）。

【0110】

そして、正例評価学習部７４が、第１正例評価データ（Ｂ）及びターゲットデータ群Ｔ＿ＨＮ（ｊ）に含まれる複数のターゲットデータを正例とし第１負例評価データ（Ａ）を負例として学習させた正例評価識別器６２（ｊ）を生成する（Ｓ３０９）。

【0111】

そして、利用可否決定部７８が、正例評価識別器６２（ｊ）のＦ値（Ｆ＿ＡＰ（ｊ））、及び、負例評価識別器６４（ｊ）のＦ値（Ｆ＿ＡＮ（ｊ））を算出する（Ｓ３１０）。

【0112】

Ｓ３１０に示す処理では例えば、第２正例評価データ記憶部５４ｂに記憶されている複数の第２正例評価データ（Ｂ）のそれぞれについて、Ｓ３０９に示す処理で生成された学習済の正例評価識別器６２（ｊ）に入力した際の出力である識別スコアが特定される。そして、特定された識別スコアが所定値以上であるものの数ＴＰ＿Ｐ（ｊ）と所定値未満であるものの数ＦＰ＿Ｐ（ｊ）が特定される。

【0113】

そして、上述の複数の第２正例評価データ（Ｂ）のそれぞれについて、Ｓ３０８に示す処理で生成された学習済の負例評価識別器６４（ｊ）に入力した際の出力である識別スコアが特定される。そして、特定された識別スコアが所定値以上であるものの数ＴＰ＿Ｎ（ｊ）と所定値未満であるものの数ＦＰ＿Ｎ（ｊ）が特定される。

【0114】

また、第２負例評価データ記憶部５６ｂに記憶されている複数の第２負例評価データ（Ａ）のそれぞれについて、Ｓ３０９に示す処理で生成された学習済の正例評価識別器６２に入力した際の出力である識別スコアが特定される。そして、特定された識別スコアが所定値未満であるものの数ＴＮ＿Ｐ（ｊ）と所定値以上であるものの数ＦＮ＿Ｐ（ｊ）が特定される。

【0115】

そして、上述の複数の第２負例評価データ（Ａ）のそれぞれについて、Ｓ３０８に示す処理で生成された学習済の負例評価識別器６４（ｊ）に入力した際の出力である識別スコアが特定される。そして、特定された識別スコアが所定値未満であるものの数ＴＮ＿Ｎ（ｊ）と所定値以上であるものの数ＦＮ＿Ｎ（ｊ）が特定される。

【0116】

そして、ＴＰ＿Ｐ（ｊ）／（ＴＰ＿Ｐ（ｊ）＋ＦＰ＿Ｐ（ｊ））の値が正例評価識別器６２の適合率として算出され、ＴＰ＿Ｐ（ｊ）／（ＴＰ＿Ｐ（ｊ）＋ＦＮ＿Ｐ（ｊ））の値が正例評価識別器６２（ｊ）の再現率として算出される。そして、（２×適合率×再現率）／（適合率＋再現率）の値が正例評価識別器６２（ｊ）のＦ値である値Ｆ＿ＡＰ（ｊ）として算出される。

【0117】

同様にして、ＴＰ＿Ｎ（ｊ）／（ＴＰ＿Ｎ（ｊ）＋ＦＰ＿Ｎ（ｊ））の値が負例評価識別器６４（ｊ）の適合率として算出され、ＴＰ＿Ｎ（ｊ）／（ＴＰ＿Ｎ（ｊ）＋ＦＮ＿Ｎ（ｊ））の値が負例評価識別器６４（ｊ）の再現率として算出される。そして、（２×適合率×再現率）／（適合率＋再現率）の値が負例評価識別器６４（ｊ）のＦ値である値Ｆ＿ＡＮ（ｊ）として算出される。

【0118】

そして、利用可否決定部７８が、Ｆ＿ＡＰ（ｊ）の値及びＦ＿ＡＮ（ｊ）の値に基づいて、ターゲットデータ群Ｔ＿ＨＮ（ｊ）に含まれる複数のターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いるか否かを決定する（Ｓ３１１）。

【0119】

ここでは例えば、所定の閾値をＴＨとした場合、Ｆ＿ＡＰ（ｊ）＞Ｆ＿ＡＮ（ｊ）＋ＴＨとの条件を満足する場合に、利用可否決定部７８は、上述のターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いないことを決定する。一方、Ｆ＿ＡＰ＞Ｆ＿ＡＮ＋ＴＨとの条件を満足しない場合、利用可否決定部７８は、上述のターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いることを決定する。

【0120】

そして、除去部８０は、Ｓ３１１に示す処理でターゲットデータ群Ｔ＿ＨＮ（ｊ）に含まれる複数のターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いることが決定されたか否かを確認する（Ｓ３１２）。

【0121】

Ｓ３１１に示す処理で、ターゲットデータ群Ｔ＿ＨＮ（ｊ）に含まれる複数のターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いないことが決定されたとする（Ｓ３１２：Ｎ）。この場合、除去部８０が、ターゲットデータ群Ｔ＿ＨＮ（ｊ）に含まれる複数のターゲットデータを負例訓練データ記憶部５２から除去する（Ｓ３１３）。

【0122】

そして、利用可否決定部７８は、変数ｊの値がｎであるか否かを確認する（Ｓ３１４）。Ｓ３１１に示す処理で、ターゲットデータ群Ｔ＿ＨＮ（ｊ）に含まれる複数のターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いることが決定されたとする（Ｓ３１２：Ｙ）。この場合も、利用可否決定部７８は、変数ｊの値がｎであるか否かを確認する（Ｓ３１４）。

【0123】

変数ｊの値がｎでない場合は（Ｓ３１４：Ｎ）、利用可否決定部７８は、変数ｊの値を１増加させて（Ｓ３１５）、Ｓ３０８に示す処理に戻る。

【0124】

変数ｊの値がｎである場合は（Ｓ３１４：Ｙ）、本処理例に示す処理は終了される。

【0125】

本処理例のＳ３０７～Ｓ３１５に示す処理において、正例評価学習部７４は、複数のターゲットデータ群（Ｔ＿ＨＮ（１）～Ｔ＿ＨＮ（ｎ））のそれぞれについて、当該ターゲットデータ群に含まれる複数のターゲットデータを正例として学習させた、当該ターゲットデータ群に対応付けられる正例評価識別器６２（正例評価識別器６２（１）～正例評価識別器６２（ｎ））を生成することとなる。

【0126】

また、負例評価学習部７６は、複数のターゲットデータ群（Ｔ＿ＨＮ（１）～Ｔ＿ＨＮ（ｎ））のそれぞれについて、当該ターゲットデータ群に含まれる複数のターゲットデータを負例として学習させた、当該ターゲットデータ群に対応付けられる負例評価識別器６４（負例評価識別器６４（１）～負例評価識別器６４（ｎ））を生成することとなる。

【0127】

そして、利用可否決定部７８は、当該ターゲットデータ群に対応付けられる正例評価識別器６２の識別精度と当該ターゲットデータ群に対応付けられる負例評価識別器６４の識別精度とを判定することとなる。

【0128】

そして、利用可否決定部７８は、当該ターゲットデータ群に含まれる複数のターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いるか否かを決定することとなる。

【0129】

なお、本実施形態において、識別器３０の分類クラスは２クラスである必要はなく、３クラス以上の分類が可能であるもの（すなわち、互いに異なる正クラスが複数存在するもの）であってもよい。

【0130】

以下、識別器３０ｂにおける正クラスが３つ存在する場合を例に説明する。ここで、これら３つのクラスを、それぞれ、第１正クラス、第２正クラス、第３正クラスと呼ぶこととする。

【0131】

この場合、例えば、第１正クラスに属するオブジェクトが写るサンプル画像に基づいて、当該正例サンプル画像に対応する特徴量を示す特徴量データである正例特徴量データ（Ｂ１）が生成される。そして、複数の正例特徴量データ（Ｂ１）が一部ずつ、正例訓練データ生成部３４、第１正例評価データ記憶部５４ａ、第２正例評価データ記憶部５４ｂに記憶される。正例訓練データ生成部３４に記憶される正例特徴量データ（Ｂ１）を正例訓練データ（Ｂ１）と呼ぶこととする。また、第１正例評価データ記憶部５４ａに記憶される正例特徴量データ（Ｂ１）を第１正例評価データ（Ｂ１）と呼ぶこととする。また、第２正例評価データ記憶部５４ｂに記憶される正例特徴量データ（Ｂ１）を第２正例評価データ（Ｂ１）と呼ぶこととする。

【0132】

また、例えば、第２正クラスに属するオブジェクトが写るサンプル画像に基づいて、当該正例サンプル画像に対応する特徴量を示す特徴量データである正例特徴量データ（Ｂ２）が生成される。そして、複数の正例特徴量データ（Ｂ２）が一部ずつ、正例訓練データ生成部３４、第１正例評価データ記憶部５４ａ、第２正例評価データ記憶部５４ｂに記憶される。正例訓練データ生成部３４に記憶される正例特徴量データ（Ｂ２）を正例訓練データ（Ｂ２）と呼ぶこととする。また、第１正例評価データ記憶部５４ａに記憶される正例特徴量データ（Ｂ２）を第１正例評価データ（Ｂ２）と呼ぶこととする。また、第２正例評価データ記憶部５４ｂに記憶される正例特徴量データ（Ｂ２）を第２正例評価データ（Ｂ２）と呼ぶこととする。

【0133】

また、例えば、第３正クラスに属するオブジェクトが写るサンプル画像に基づいて、当該正例サンプル画像に対応する特徴量を示す特徴量データである正例特徴量データ（Ｂ３）が生成される。そして、複数の正例特徴量データ（Ｂ３）が一部ずつ、正例訓練データ生成部３４、第１正例評価データ記憶部５４ａ、第２正例評価データ記憶部５４ｂに記憶される。正例訓練データ生成部３４に記憶される正例特徴量データ（Ｂ３）を正例訓練データ（Ｂ３）と呼ぶこととする。また、第１正例評価データ記憶部５４ａに記憶される正例特徴量データ（Ｂ３）を第１正例評価データ（Ｂ３）と呼ぶこととする。また、第２正例評価データ記憶部５４ｂに記憶される正例特徴量データ（Ｂ３）を第２正例評価データ（Ｂ３）と呼ぶこととする。

【0134】

そして、第１正例評価データ記憶部５４ａに記憶されている第１正例評価データ（Ｂ１）を第１正クラスの正例とし、第１正例評価データ記憶部５４ａに記憶されている第１正例評価データ（Ｂ２）を第２正クラスの正例とし、第１正例評価データ記憶部５４ａに記憶されている第１正例評価データ（Ｂ３）を第３正クラスの正例とし、第１負例評価データ記憶部５６ａに記憶されている第１負例評価データ（Ａ）を負例として学習させたマルチクラス識別モデルである暫定評価識別器６０が生成される。この暫定評価識別器６０は、例えば、画像の入力に応じて、当該画像に写るオブジェクトが第１正クラスに属するものである確率、第２正クラスに属するものである確率、及び、第３正クラスに属するものである確率を示す識別スコアを出力することとする。

【0135】

そして、負例訓練データ記憶部５２に記憶されている複数の負例訓練データ（Ａ）のそれぞれについての、第１正クラス、第２正クラス、第３正クラスのそれぞれについての識別スコアが特定される。ここでは例えば、負例訓練データ（Ａ）を学習済の暫定評価識別器６０に入力した際に暫定評価識別器６０から出力される識別スコアが特定される。

【0136】

そして、第１正クラス、第２正クラス、第３正クラスのそれぞれについて、所定の基準を満たす識別スコアに対応する負例訓練データ（Ａ）がターゲットデータとして特定される。例えば、第１正クラスについての識別スコアが所定値以上である負例訓練データ（Ａ）が、第１ターゲットデータとして特定される。また、第２正クラスについての識別スコアが所定値以上である負例訓練データ（Ａ）が、第２ターゲットデータとして特定される。また、第３正クラスについての識別スコアが所定値以上である負例訓練データ（Ａ）が、第３ターゲットデータとして特定される。

【0137】

そして、Ｓ３０６に示す処理と同様の処理により、第１ターゲットデータが、ｎ１個の第１ターゲットデータ群（Ｔ＿ＨＮ（１）（１）～Ｔ＿ＨＮ（１）（ｎ１））に分類される。また、第２ターゲットデータが、ｎ２個の第２ターゲットデータ群（Ｔ＿ＨＮ（２）（１）～Ｔ＿ＨＮ（２）（ｎ２））に分類される。また、第３ターゲットデータが、ｎ３個の第３ターゲットデータ群（Ｔ＿ＨＮ（３）１～Ｔ＿ＨＮ（３）（ｎ３））に分類される。

【0138】

そして、これらのターゲットデータ群に対して、Ｓ３０７～Ｓ３１５に示す処理と同様の処理が実行される。

【0139】

この場合、第１ターゲットデータ群に含まれる複数の第１ターゲットデータについては、Ｓ３０８に示す処理で、第１正例評価データ（Ｂ１）を第１正クラスの正例とし、第１正例評価データ（Ｂ２）を第２正クラスの正例とし、第１正例評価データ（Ｂ３）を第３正クラスの正例とし、第１負例評価データ（Ａ）及び第１ターゲットデータ群Ｔ＿ＨＮ（１）（ｊ）に含まれる複数の第１ターゲットデータを負例として学習させた負例評価識別器６４（１）（ｊ）が生成される。

【0140】

また、Ｓ３０９に示す処理で、第１正例評価データ（Ｂ１）及び第１ターゲットデータ群Ｔ＿ＨＮ（１）（ｊ）に含まれる複数の第１ターゲットデータを第１正クラスの正例とし、第１正例評価データ（Ｂ２）を第２正クラスの正例とし、第１正例評価データ（Ｂ３）を第３正クラスの正例とし、第１負例評価データ（Ａ）を負例として学習させた正例評価識別器６２（１）（ｊ）が生成される。

【0141】

そして、Ｓ３１０に示す処理で、正例評価識別器６２（１）（ｊ）のＦ値（Ｆ＿ＡＰ（１）（ｊ））、及び、負例評価識別器６４（１）（ｊ）のＦ値（Ｆ＿ＡＮ（１）（ｊ））が算出される。

【0142】

そして、Ｓ３１１に示す処理で、Ｆ＿ＡＰ（１）（ｊ）の値及びＦ＿ＡＮ（１）（ｊ）の値に基づいて、第１ターゲットデータ群Ｔ＿ＨＮ（１）（ｊ）に含まれる複数の第１ターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いるか否かが決定される。

【0143】

同様に、第２ターゲットデータ群に含まれる複数の第２ターゲットデータについては、Ｓ３０８に示す処理で、第１正例評価データ（Ｂ１）を第１正クラスの正例とし、第１正例評価データ（Ｂ２）を第２正クラスの正例とし、第１正例評価データ（Ｂ３）を第３正クラスの正例とし、第１負例評価データ（Ａ）及び第２ターゲットデータ群Ｔ＿ＨＮ（２）（ｊ）に含まれる複数の第２ターゲットデータを負例として学習させた負例評価識別器６４（２）（ｊ）が生成される。

【0144】

また、Ｓ３０９に示す処理で、第１正例評価データ（Ｂ１）を第１正クラスの正例とし、第１正例評価データ（Ｂ２）及び第２ターゲットデータ群Ｔ＿ＨＮ（２）（ｊ）に含まれる複数の第２ターゲットデータを第２正クラスの正例とし、第１正例評価データ（Ｂ３）を第３正クラスの正例とし、第１負例評価データ（Ａ）を負例として学習させた正例評価識別器６２（２）（ｊ）が生成される。

【0145】

そして、Ｓ３１０に示す処理で、正例評価識別器６２（２）（ｊ）のＦ値（Ｆ＿ＡＰ（２）（ｊ））、及び、負例評価識別器６４（２）（ｊ）のＦ値（Ｆ＿ＡＮ（２）（ｊ））が算出される。

【0146】

そして、Ｓ３１１に示す処理で、Ｆ＿ＡＰ（２）（ｊ）の値及びＦ＿ＡＮ（２）（ｊ）の値に基づいて、第２ターゲットデータ群Ｔ＿ＨＮ（２）（ｊ）に含まれる複数の第２ターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いるか否かが決定される。

【0147】

同様に、第３ターゲットデータ群に含まれる複数の第３ターゲットデータについては、Ｓ３０８に示す処理で、第１正例評価データ（Ｂ１）を第１正クラスの正例とし、第１正例評価データ（Ｂ２）を第２正クラスの正例とし、第１正例評価データ（Ｂ３）を第３正クラスの正例とし、第１負例評価データ（Ａ）及び第３ターゲットデータ群Ｔ＿ＨＮ（３）（ｊ）に含まれる複数の第３ターゲットデータを負例として学習させた負例評価識別器６４（３）（ｊ）が生成される。

【0148】

また、Ｓ３０９に示す処理で、第１正例評価データ（Ｂ１）を第１正クラスの正例とし、第１正例評価データ（Ｂ２）を第２正クラスの正例とし、第１正例評価データ（Ｂ３）及び第３ターゲットデータ群Ｔ＿ＨＮ（３）（ｊ）に含まれる複数の第３ターゲットデータを第３正クラスの正例とし、第１負例評価データ（Ａ）を負例として学習させた正例評価識別器６２（３）（ｊ）が生成される。

【0149】

そして、Ｓ３１０に示す処理で、正例評価識別器６２（３）（ｊ）のＦ値（Ｆ＿ＡＰ（３）（ｊ））、及び、負例評価識別器６４（３）（ｊ）のＦ値（Ｆ＿ＡＮ（３）（ｊ））が算出される。

【0150】

そして、Ｓ３１１に示す処理で、Ｆ＿ＡＰ（３）（ｊ）の値及びＦ＿ＡＮ（３）（ｊ）の値に基づいて、第３ターゲットデータ群Ｔ＿ＨＮ（３）（ｊ）に含まれる複数の第３ターゲットデータを識別器３０ｂに学習させる負例訓練データ（Ａ）として用いるか否かが決定される。

【0151】

以上の処理によって、識別器３０ｂに学習させる負例訓練データ（Ａ）として用いないことが決定された第１ターゲットデータ、第２ターゲットデータ、及び、第３ターゲットデータについては、Ｓ３１３に示す処理で負例訓練データ記憶部５２から除去される。

【0152】

以上の例では、１つの負例訓練データ（Ａ）が、複数の正クラスについてのターゲットデータとして特定される可能性がある。そして、複数の正クラスについて識別器３０ｂに学習させる負例訓練データ（Ａ）として用いないことが重複して決定されることがある。このようなターゲットデータについても、本実施形態では、Ｓ３１３に示す処理で負例訓練データ記憶部５２から除去されることとする。

【0153】

以上で説明したように、本実施形態は、識別器３０ｂがマルチクラスの識別モデルである場合にも適用可能である。

【0154】

本実施形態では、以上のようにして、識別器３０ａの学習に用いられた訓練データのうちから、識別器３０ｂにおいて正例として取り扱われるものが適切に除去できる。このようにして、本実施形態によれば、識別器３０ａの学習に用いられた訓練データを識別器３０ｂの学習に流用できることとなる。

【0155】

なお、本発明は上述の実施形態に限定されるものではない。

【0156】

例えば、識別器３０や暫定評価識別器６０や正例評価識別器６２や負例評価識別器６４は、任意のカーネルのＳＶＭであってもよい。また、識別器３０や暫定評価識別器６０や正例評価識別器６２や負例評価識別器６４は、Ｋ近傍法、ロジスティック回帰、アダブースト等のブースティング手法などの手法を用いた識別器であってもよい。また、識別器３０や暫定評価識別器６０や正例評価識別器６２や負例評価識別器６４が、ニューラルネットワーク、ナイーブベイズ分類器、ランダムフォレスト、決定木などによって実装されてもよい。

【0157】

また、識別器３０や暫定評価識別器６０や正例評価識別器６２や負例評価識別器６４が、入力画像に写るオブジェクトが正クラスに属するものであることを示すか否かを示す二値の識別スコアを出力するものであってもよい。

【0158】

また、入力画像から複数の領域が抽出されて、それぞれの領域について、推定部４４にって、当該領域の画像に写るオブジェクトが正クラスに属するものであるか否かが推定されてもよい。

【0159】

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8】

【図9】

【図10A】

【図10B】