▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-19
(45)【発行日】2024-03-28
(54)【発明の名称】追加撮影要否通知装置、追加撮影要否通知方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240321BHJP
G06N 20/10 20190101ALI20240321BHJP
【ＦＩ】
G06T7/00 350B
G06N20/10
【請求項の数】
7
(21)【出願番号】P 2022533012
(86)(22)【出願日】2020-07-03
(86)【国際出願番号】 JP2020026263
(87)【国際公開番号】W WO2022003974
(87)【国際公開日】2022-01-06
【審査請求日】2022-12-12
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】佐藤 祥悟
(72)【発明者】
【氏名】勢川 博之
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２０１９－０７９１６７（ＪＰ，Ａ）
【文献】特開２００５－２０８８５０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｎ ２０／１０
(57)【特許請求の範囲】
【請求項1】
撮影部が所与のサンプルを撮影したサンプル画像を繰り返し取得するサンプル画像取得部と、前記サンプル画像に基づいて、当該サンプル画像に対応する特徴量データを生成する特徴量データ生成部と、
互いに異なる前記サンプル画像に基づいてそれぞれ生成される複数の前記特徴量データのそれぞれを、訓練データ、又は、評価データのいずれかに分類する分類部と、
複数の前記訓練データを用いて、識別器の学習を実行する学習部と、
前記複数の前記訓練データを用いた前記学習が実行済である前記識別器と、複数の前記評価データと、を用いて、前記サンプルの追加撮影の要否を判定する撮影要否判定部と、
前記要否の判定結果を通知する通知部と、
を含むことを特徴とする追加撮影要否通知装置。
【請求項2】
前記撮影要否判定部は、予め定められた前記サンプルに対する複数の撮影姿勢範囲のそれぞれについて、当該撮影姿勢範囲において撮影された前記サンプル画像に対応する前記評価データを用いて、当該撮影姿勢範囲における前記サンプルの追加撮影の要否を判定し、前記通知部は、前記複数の前記撮影姿勢範囲における前記要否の判定結果を通知する、
ことを特徴とする請求項１に記載の追加撮影要否通知装置。
【請求項3】
前記特徴量データ生成部は、前記サンプルの追加撮影が必要であると判定される前記撮影姿勢範囲において追加で撮影される前記サンプル画像に基づいて、当該サンプル画像に対応する特徴量データである追加の訓練データを生成し、前記学習部は、前記追加の訓練データを用いた学習を実行することで、前記識別器を更新する、
ことを特徴とする請求項２に記載の追加撮影要否通知装置。
【請求項4】
前記サンプルの追加撮影が不要であると判定されるまで、前記特徴量データ生成部による前記追加の訓練データの生成、前記学習部による前記識別器の更新、及び、前記撮影要否判定部による前記サンプルの追加撮影の要否の判定、を繰り返す、ことを特徴とする請求項３に記載の追加撮影要否通知装置。
【請求項5】
前記複数の前記撮影姿勢範囲のそれぞれにおける前記要否の判定結果が表現された仮想オブジェクトが配置された仮想空間を生成する仮想空間生成部と、前記サンプル画像と、当該サンプル画像の撮影位置に対応する前記仮想空間内の位置から当該サンプル画像の撮影方向に対応する前記仮想空間における方向を見た様子を表す画像と、が重畳されたＡＲ画像を生成するＡＲ画像生成部と、をさらに含み、
前記通知部は、前記ＡＲ画像を画面に表示させる、
ことを特徴とする請求項２から４のいずれか一項に記載の追加撮影要否通知装置。
【請求項6】
撮影部が所与のサンプルを撮影したサンプル画像を繰り返し取得するステップと、前記サンプル画像に基づいて、当該サンプル画像に対応する特徴量データを生成するステップと、
互いに異なる前記サンプル画像に基づいてそれぞれ生成される複数の前記特徴量データのそれぞれを、訓練データ、又は、評価データのいずれかに分類するステップと、
複数の前記訓練データを用いて、識別器の学習を実行するステップと、
前記複数の前記訓練データを用いた前記学習が実行済である前記識別器と、複数の前記評価データと、を用いて、前記サンプルの追加撮影の要否を判定するステップと、
前記要否の判定結果を通知するステップと、
を含むことを特徴とする追加撮影要否通知方法。
【請求項7】
撮影部が所与のサンプルを撮影したサンプル画像を繰り返し取得する手順、前記サンプル画像に基づいて、当該サンプル画像に対応する特徴量データを生成する手順、
互いに異なる前記サンプル画像に基づいてそれぞれ生成される複数の前記特徴量データのそれぞれを、訓練データ、又は、評価データのいずれかに分類する手順、
複数の前記訓練データを用いて、識別器の学習を実行する手順、
前記複数の前記訓練データを用いた前記学習が実行済である前記識別器と、複数の前記評価データと、を用いて、前記サンプルの追加撮影の要否を判定する手順、
前記要否の判定結果を通知する手順、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、追加撮影要否通知装置、追加撮影要否通知方法及びプログラムに関する。
【背景技術】
【0002】
識別精度の高い識別器を生成するには、正例や負例として用いられる充分な数の訓練データを収集して、これらの訓練データを識別器に学習させる必要がある。そこで識別器の学習に用いられる訓練データを収集するために、所与のサンプルを様々な姿勢から撮影した複数のサンプル画像のそれぞれに基づいて、訓練データを生成することが行われている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかし従来技術では、訓練データを生成するためのサンプルの撮影を行う際に、識別器の識別精度を確保するのに充分な撮影が行われたかどうかについてユーザに通知されなかった。そのため従来技術では、ユーザは撮影を終了してよいのか判断することができず、その結果、訓練データの収集効率が悪くなっていた。
【0004】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、訓練データの収集効率を高めることができる追加撮影要否通知装置、追加撮影要否通知方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明に係る追加撮影要否通知装置は、撮影部が所与のサンプルを撮影したサンプル画像を繰り返し取得するサンプル画像取得部と、前記サンプル画像に基づいて、当該サンプル画像に対応する特徴量データを生成する特徴量データ生成部と、複数の前記特徴量データのそれぞれを、訓練データ、又は、評価データのいずれかに分類する分類部と、複数の前記訓練データを用いて、識別器の学習を実行する学習部と、前記複数の前記訓練データを用いた前記学習が実行済である前記識別器と、複数の前記評価データと、を用いて、前記サンプルの追加撮影の要否を判定する撮影要否判定部と、前記要否の判定結果を通知する通知部と、を含む。
【0006】
本発明の一態様では、前記撮影要否判定部は、予め定められた前記サンプルに対する複数の撮影姿勢範囲のそれぞれについて、当該撮影姿勢範囲において撮影された前記サンプル画像に対応する前記評価データを用いて、当該撮影姿勢範囲における前記サンプルの追加撮影の要否を判定し、前記通知部は、前記複数の前記撮影姿勢範囲における前記要否の判定結果を通知する。
【0007】
この態様では、前記特徴量データ生成部は、前記サンプルの追加撮影が必要であると判定される前記撮影姿勢範囲において追加で撮影される前記サンプル画像に基づいて、当該サンプル画像に対応する特徴量データである追加の訓練データを生成し、前記学習部は、前記追加の訓練データを用いた学習を実行することで、前記識別器を更新してもよい。
【0008】
さらに、前記追加撮影要否通知装置は、前記サンプルの追加撮影が不要であると判定されるまで、前記特徴量データ生成部による前記追加の訓練データの生成、前記学習部による前記識別器の更新、及び、前記撮影要否判定部による前記サンプルの追加撮影の要否の判定、を繰り返してもよい。
【0009】
また、前記複数の前記撮影姿勢範囲のそれぞれにおける前記要否の判定結果が表現された仮想オブジェクトが配置された仮想空間を生成する仮想空間生成部と、前記サンプル画像と、当該サンプル画像の撮影位置に対応する前記仮想空間内の位置から当該サンプル画像の撮影方向に対応する前記仮想空間における方向を見た様子を表す画像と、が重畳されたＡＲ画像を生成するＡＲ画像生成部と、をさらに含み、前記通知部は、前記ＡＲ画像を画面に表示させてもよい。
【0010】
また、本発明に係る追加撮影要否通知方法は、撮影部が所与のサンプルを撮影したサンプル画像を繰り返し取得するステップと、前記サンプル画像に基づいて、当該サンプル画像に対応する特徴量データを生成するステップと、複数の前記特徴量データのそれぞれを、訓練データ、又は、評価データのいずれかに分類するステップと、複数の前記訓練データを用いて、識別器の学習を実行するステップと、前記複数の前記訓練データを用いた前記学習が実行済である前記識別器と、複数の前記評価データと、を用いて、前記サンプルの追加撮影の要否を判定するステップと、前記要否の判定結果を通知するステップと、を含む。
【0011】
また、本発明に係るプログラムは、撮影部が所与のサンプルを撮影したサンプル画像を繰り返し取得する手順、前記サンプル画像に基づいて、当該サンプル画像に対応する特徴量データを生成する手順、複数の前記特徴量データのそれぞれを、訓練データ、又は、評価データのいずれかに分類する手順、複数の前記訓練データを用いて、識別器の学習を実行する手順、前記複数の前記訓練データを用いた前記学習が実行済である前記識別器と、複数の前記評価データと、を用いて、前記サンプルの追加撮影の要否を判定する手順、前記要否の判定結果を通知する手順、をコンピュータに実行させる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係る情報処理装置の構成の一例を示す図である。
【図2】本発明の一実施形態における識別器の学習の一例を示す図である。
【図3】本発明の一実施形態における学習済の識別器を用いた識別の一例を示す図である。
【図4A】本発明の一実施形態に係る情報処理装置で実装される機能の一例を示す機能ブロック図である。
【図4B】本発明の一実施形態に係る情報処理装置で実装される機能の一例を示す機能ブロック図である。
【図4C】本発明の一実施形態に係る情報処理装置で実装される機能の一例を示す機能ブロック図である。
【図5】サンプル画像の一例を示す図である。
【図6】仮想空間の一例を示す図である。
【図7】ＡＲ画像の一例を示す図である。
【図8】ＡＲ画像の一例を示す図である。
【図9】ＡＲ画像の一例を示す図である。
【図10】ＡＲ画像の一例を示す図である。
【図11】領域管理データの一例を示す図である。
【図12A】本発明の一実施形態に係る情報処理装置において行われる処理の流れの一例を示すフロー図である。
【図12B】本発明の一実施形態に係る情報処理装置において行われる処理の流れの一例を示すフロー図である。
【図12C】本発明の一実施形態に係る情報処理装置において行われる処理の流れの一例を示すフロー図である。
【図12D】本発明の一実施形態に係る情報処理装置において行われる処理の流れの一例を示すフロー図である。
【図12E】本発明の一実施形態に係る情報処理装置において行われる処理の流れの一例を示すフロー図である。
【図12F】本発明の一実施形態に係る情報処理装置において行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【0013】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【0014】
図１は、本発明の一実施形態に係る情報処理装置１０の構成の一例を示す図である。本実施形態に係る情報処理装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図１に示すように、本実施形態に係る情報処理装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８、撮影部２０を含んでいる。
【0015】
プロセッサ１２は、例えば情報処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
【0016】
記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やソリッドステートドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。
【0017】
操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
【0018】
表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。
【0019】
撮影部２０は、デジタルカメラ等の撮影デバイスである。本実施形態に係る撮影部２０は、動画像の撮影が可能なビデオカメラであることとする。
【0020】
なお、情報処理装置１０は、マイクやスピーカなどといった音声入出力デバイスを含んでいてもよい。また、情報処理装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。
【0021】
本実施形態では、図２に示すように、複数の正例訓練データを正例とし複数の負例訓練データを負例として学習させた、ＳＶＭ（Support Vector Machine）などの識別器３０（学習済の識別器３０）が生成される。複数の正例訓練データのそれぞれは、例えば、識別器３０における正クラスに属するオブジェクトが写るサンプル画像（以下、正例サンプル画像と呼ぶ。）に基づいて生成される。また、複数の負例訓練データのそれぞれは、例えば、識別器３０における負クラスに属するオブジェクトが写るサンプル画像（以下、負例サンプル画像と呼ぶ。）に基づいて生成される。
【0022】
そして、図３に示すように、学習済の識別器３０は、入力画像に対応する特徴量を示す入力特徴量データの入力に応じて、当該入力画像に写るオブジェクトが識別器３０における正クラスに属するものである確率を示す識別スコアを出力する。
【0023】
本実施形態に係る情報処理装置１０には、例えば、予め学習済であるＲＰＮ（Regional Proposal Network）が記憶されている。そして本実施形態では、当該ＲＰＮを用いて、サンプル画像から、何らかの物体が写っていると推定される領域が抽出される。この処理によって、計算の無駄を低減でき、環境に対してもある程度のロバストネスが確保できる。
【0024】
そして、抽出された領域の画像に対して、例えば、背景の除去処理（マスク処理）などといった正規化処理が実行される。この処理によって、背景や照明条件によるドメインギャップを縮小させることができ、その結果、限られた環境下で収集されたデータだけからでも識別器３０の学習を完了させることが可能になる。
【0025】
また、本実施形態に係る情報処理装置１０には、予めメトリック学習が実行済であるＣＮＮ（Convolutional Neural Network）が記憶されている。このＣＮＮは、画像の入力に応じて、当該画像に対応する特徴量を示す特徴量データを出力する。このＣＮＮは、事前のメトリック学習によって、正クラスに属するオブジェクトが写る画像については互いに近い特徴量を示す特徴量データを出力するようチューニングされている。本実施形態に係る特徴量データが示す特徴量は、例えば、ノルムが１となるよう正規化されたベクトル量である。
【0026】
本実施形態では、このＣＮＮを用いて、正規化処理が実行された画像に対応する特徴量を示す特徴量データの生成が行われる。予めメトリック学習が実行済であるＣＮＮを用いることで、１つのクラスに属するサンプルの特徴量が、条件に依らずコンパクトな領域に集約されることとなる。その結果、本実施形態に係る情報処理装置１０は、識別器３０における妥当な識別境界を少数のサンプルからでも決定できるようになっている。
【0027】
本実施形態では、正例サンプル画像からＲＰＮによって抽出された領域の画像に対して正規化処理を実行した画像を、メトリック学習が実行済であるＣＮＮに入力することで、当該正例サンプル画像に対応する特徴量を示す特徴量データが生成される。このようにして正例サンプル画像から生成される特徴量データが、図２に示す正例訓練データに相当する。
【0028】
また、本実施形態では、負例サンプル画像からＲＰＮによって抽出された領域の画像に対して正規化処理を実行した画像を、メトリック学習が実行済であるＣＮＮに入力することで、当該負例サンプル画像に対応する特徴量を示す特徴量データが生成される。このようにして負例サンプル画像から生成される特徴量データが、図２に示す負例訓練データに相当する。
【0029】
本実施形態では、写っているオブジェクトの推定対象となる入力画像についても、同様にして、上述した領域の抽出、正規化処理、及び、メトリック学習が実行済であるＣＮＮを用いた特徴量データの生成によって、入力画像に対応する入力特徴量データが生成される。そして、このようにして生成された入力特徴量データを学習済の識別器３０に入力することで、学習済の識別器３０は、当該入力画像に写るオブジェクトが正クラスに属するものである確率を示す識別スコアを出力する。
【0030】
識別精度の高い識別器３０を生成するには、正例や負例として用いられる充分な数の訓練データを収集して、これらの訓練データを識別器３０に学習させる必要がある。そこで識別器３０の学習に用いられる訓練データを収集するために、所与のサンプルを様々な姿勢から撮影することで、複数のサンプル画像を生成し、これらのサンプル画像のそれぞれに基づいて、訓練データを生成することが行われている。
【0031】
本実施形態では、以下のようにして、識別器３０の識別精度を確保するのに充分なサンプルの撮影が行われたかどうかについてユーザに通知されるようにすることで、訓練データの収集効率を高めることができるようにした。
【0032】
以下、本実施形態に係る情報処理装置１０で実装されている機能、及び、本実施形態に係る情報処理装置１０で実行される処理について、説明する。
【0033】
図４Ａ、図４Ｂ、及び、図４Ｃは、本実施形態に係る情報処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置１０で、図４Ａ、図４Ｂ、及び、図４Ｃに示す機能のすべてが実装される必要はなく、また、図４Ａ、図４Ｂ、及び、図４Ｃに示す機能以外の機能が実装されていても構わない。
【0034】
図４Ａに示すように、本実施形態に係る情報処理装置１０には、機能的には例えば、識別器３０、データ記憶部３２、正例訓練データ生成部３４、負例訓練データ生成部３６、学習部３８、入力画像取得部４０、入力特徴量データ生成部４２、推定部４４、が含まれる。
【0035】
そして、データ記憶部３２には、正例訓練データ記憶部５０、負例訓練データ記憶部５２、正例評価データ記憶部５４、負例評価データ記憶部５６が、含まれる。
【0036】
図４Ｂには、図４Ａに示す正例訓練データ生成部３４で実装されている機能の詳細が示されている。図４Ｂに示すように、正例訓練データ生成部３４には、機能的には例えば、評価識別器６０、サンプル画像取得部６２、特徴量抽出部６４、評価学習部６６、撮影要否判定部６８、仮想空間管理部７０、通知部７２、が含まれる。
【0037】
【0038】
正例訓練データ記憶部５０、負例訓練データ記憶部５２、正例評価データ記憶部５４、負例評価データ記憶部５６は、記憶部１４を主として実装される。識別器３０、評価識別器６０、仮想空間管理部７０は、プロセッサ１２、及び、記憶部１４を主として実装される。入力画像取得部４０、サンプル画像取得部６２は、プロセッサ１２、及び、撮影部２０を主として実装される。負例訓練データ生成部３６、学習部３８、入力特徴量データ生成部４２、推定部４４、特徴量抽出部６４、評価学習部６６、撮影要否判定部６８は、プロセッサ１２を主として実装される。通知部７２は、プロセッサ１２、及び、表示部１８を主として実装される。
【0039】
識別器３０は、本実施形態では、例えば、図２及び図３を参照して説明したような、入力画像に写るオブジェクトが正クラスに属するものであるか否かを識別するＳＶＭ（Support Vector Machine）などの機械学習モデルである。
【0040】
正例訓練データ生成部３４は、本実施形態では例えば、識別器３０に正例として学習させる上述の正例訓練データを生成する。
【0041】
正例訓練データ生成部３４は、例えば、撮影部２０によって撮影される複数の正例サンプル画像のそれぞれについて、当該正例サンプル画像に対応する特徴量を示す特徴量データである正例特徴量データを生成する。これらの正例サンプル画像のそれぞれには、識別器３０における正クラスに属するオブジェクトが写っている。ここで、上述した領域の抽出、正規化処理、及び、メトリック学習が実行済であるＣＮＮを用いた特徴量データの生成が実行されることで、正例サンプル画像に対応する正例特徴量データが生成されてもよい。
【0042】
そして、正例訓練データ生成部３４は、これらの正例特徴量データのうちの一部を正例訓練データとして正例訓練データ記憶部５０に記憶させる。また、正例訓練データ生成部３４は、これらの正例特徴量データのうちの残りを正例評価データとして正例評価データ記憶部５４に記憶させる。ここで例えば、これらの正例特徴量データのうちの半分が正例訓練データとして正例訓練データ記憶部５０に記憶され、残りが正例評価データとして正例評価データ記憶部５４に記憶されるようにしてもよい。
【0043】
負例訓練データ生成部３６は、本実施形態では例えば、識別器３０に負例として学習させる上述の負例訓練データを生成する。
【0044】
本実施形態では例えば、撮影部２０によって撮影された画像やＷｅｂから収集された画像である、負例サンプル画像が予め情報処理装置１０に蓄積されている。これらの負例サンプル画像のそれぞれには、識別器３０における負クラスに属するオブジェクトが写っている。そして、負例訓練データ生成部３６は、これらの負例サンプル画像のそれぞれについて、当該負例サンプル画像に対応する特徴量を示す特徴量データである負例特徴量データを生成する。ここで、上述した領域の抽出、正規化処理、及び、メトリック学習が実行済であるＣＮＮを用いた特徴量データの生成が実行されることで、負例サンプル画像に対応する負例特徴量データが生成されてもよい。
【0045】
そして、負例訓練データ生成部３６は、これらの負例特徴量データのうちの一部を負例訓練データとして負例訓練データ記憶部５２に記憶させる。また、負例訓練データ生成部３６は、これらの負例特徴量データのうちの残りを負例評価データとして負例評価データ記憶部５６に記憶させる。ここで例えば、これらの負例特徴量データのうちの半分が負例訓練データとして負例訓練データ記憶部５２に記憶され、残りが負例評価データとして負例評価データ記憶部５６に記憶されるようにしてもよい。
【0046】
学習部３８は、本実施形態では例えば、正例訓練データ記憶部５０に記憶されている正例訓練データを正例とし、負例訓練データ記憶部５２に記憶されている負例訓練データを負例として学習させた識別器３０（学習済の識別器３０）を生成する。
【0047】
入力画像取得部４０は、本実施形態では例えば、撮影部２０によって撮影された、写っているオブジェクトの推定対象となる入力画像を取得する。
【0048】
入力特徴量データ生成部４２は、本実施形態では例えば、上述のようにして、入力画像に対応する特徴量を示す入力特徴量データを生成する。
【0049】
推定部４４は、本実施形態では例えば、入力特徴量データを識別器３０に入力することで、入力画像に写るオブジェクトが識別器３０における正クラスに属するものであるか否かを推定する。ここで推定部４４は、例えば、入力特徴量データの入力に応じて識別器３０から出力される識別スコアの値を特定してもよい。
【0050】
本実施形態では例えば、入力画像の撮影及び取得、入力特徴量データの生成、及び、入力画像に写るオブジェクトが正クラスに属するものであるか否かの推定が、所定のフレームレートで繰り返し実行される。このようにして、本実施形態では、フレームごとに、当該フレームで撮影された入力画像に写るオブジェクトが正クラスに属するものであるか否かが推定される。そのため、本実施形態によれば、高速な物体検出が実現可能となっている。また、本実施形態によれば、ユーザが用意した少量のデータによる識別器３０の学習が可能となっており、従来技術のように識別器３０の学習のために大量のラベル付きデータを用意する必要はない。
【0051】
以下、正例訓練データ生成部３４の機能についてさらに説明する。上述のように、正例訓練データ生成部３４には、機能的には例えば、評価識別器６０、サンプル画像取得部６２、特徴量抽出部６４、評価学習部６６、撮影要否判定部６８、仮想空間管理部７０、通知部７２、が含まれる。
【0052】
評価識別器６０は、本実施形態では例えば、識別器３０の識別精度を確保するのに充分な撮影が行われたかどうか否かの判別に用いられるＳＶＭなどの機械学習モデルである。
【0053】
サンプル画像取得部６２は、本実施形態では例えば、図５に例示されているサンプル画像を繰り返し取得する。図５に示すように、サンプル画像は、ＡＲマーカ８０が印刷された紙の上に配置されたサンプル８２を撮影部２０が撮影した画像である。本実施形態では、ユーザは撮影部２０を動かしながら様々な角度からサンプル８２を撮影した動画像を撮影する。サンプル画像取得部６２は、このようにして撮影された動画像に含まれるフレーム画像を取得する。このような動画像の撮影の際には、ＡＲマーカ８０に対するサンプル８２の位置及び向きは固定されていることとする。サンプル８２が、識別器３０における正クラスに属するオブジェクトに相当する場合、このようにして取得されるサンプル画像は、上述の正例サンプル画像であることとなる。
【0054】
特徴量抽出部６４は、本実施形態では例えば、サンプル画像に基づいて、当該サンプル画像に対応する特徴量を示す特徴量データを生成する。ここでサンプル画像に対して、上述した領域の抽出、正規化処理、及び、メトリック学習が実行済であるＣＮＮを用いた特徴量データの生成が実行されることで、サンプル画像に対応する特徴量データが生成されてもよい。
【0055】
また、特徴量抽出部６４は、本実施形態では例えば、生成される複数の特徴量データのそれぞれを、訓練データ、又は、評価データのいずれかに分類する。
【0056】
上述のように、正例サンプル画像の取得が行われる場合には、特徴量抽出部６４は、例えば、当該正例サンプル画像に対応する特徴量を示す正例特徴量データを生成する。そして、特徴量抽出部６４は、生成される複数の正例特徴量データのそれぞれを、正例訓練データ、又は、正例評価データのいずれかに分類する。
【0057】
また、本実施形態では、特徴量抽出部６４は、サンプル画像に対応する特徴量を示す正例評価データに、当該サンプル画像を撮影した際の撮影部２０の位置及び撮影方向に応じたカメラデータを関連付ける。なお本実施形態において、正例訓練データについてはカメラデータに関連付けられてもよいし関連付けられなくてもよい。
【0058】
そして、特徴量抽出部６４は、正例訓練データを正例訓練データ記憶部５０に記憶させ、正例評価データを正例評価データ記憶部５４に記憶させる。
【0059】
評価学習部６６は、本実施形態では例えば、複数の訓練データを用いて、評価識別器６０の学習を実行する。ここでは例えば、評価学習部６６は、正例訓練データ記憶部５０に記憶されている複数の正例訓練データを正例とし負例訓練データ記憶部５２に記憶されている複数の負例訓練データを負例として学習させた評価識別器６０（学習済の評価識別器６０）を生成する。
【0060】
撮影要否判定部６８は、本実施形態では例えば、評価学習部６６による学習が実行済である評価識別器６０と、複数の評価データと、を用いて、サンプル８２の追加撮影の要否を判定する。ここで撮影要否判定部６８が、評価学習部６６による学習が実行済である評価識別器６０と、複数の評価データと、を用いて、評価識別器６０の識別精度を判定してもよい。そして、撮影要否判定部６８は、判定される識別精度に基づいて、サンプル８２の追加撮影の要否を判定してもよい。
【0061】
撮影要否判定部６８は、例えば、学習済の評価識別器６０と、正例評価データ記憶部５４に記憶されている複数の正例評価データと、負例評価データ記憶部５６に記憶されている複数の負例評価データと、を用いて、サンプル８２の追加撮影の要否を判定する。
【0062】
仮想空間管理部７０は、本実施形態では例えば、予め定められたサンプル８２に対する複数の撮影姿勢範囲のそれぞれにおける追加撮影の要否の判定結果が表現された仮想オブジェクト８４が配置された、図６に例示する仮想空間８６を生成する。図６に示すように、本実施形態に係る仮想オブジェクト８４は半球面形状であり、仮想オブジェクト８４には、それぞれ仮想オブジェクト８４を分割した領域に相当する複数の撮影姿勢範囲オブジェクト８８が含まれている。撮影姿勢範囲オブジェクト８８は、サンプル８２に対する撮影姿勢範囲に対応付けられる。
【0063】
また、本実施形態では、仮想空間管理部７０は、サンプル画像の撮影位置に対応する仮想空間８６内の位置Ｐ１、及び、サンプル画像の撮影方向に対応する仮想空間８６における方向Ｄ１を特定する。
【0064】
本実施形態では、仮想空間８６内の位置とＡＲマーカ８０の位置を基準にした実空間内における位置とは予め１対１で対応付けられており、仮想空間８６における方向とＡＲマーカ８０の方向を基準にした実空間内における方向とは予め１対１で対応付けられている。そして、本実施形態では、サンプル画像に写るＡＲマーカ８０の形状及び大きさに基づいて、当該サンプル画像の撮影位置に対応する仮想空間８６内の位置Ｐ１と当該サンプル画像の撮影方向に対応する仮想空間８６における方向Ｄ１を特定できるようになっている。
【0065】
なお、特徴量抽出部６４によって正例評価データに関連付けられる上述のカメラデータは、例えば、仮想空間８６内の位置Ｐ１及び仮想空間８６における方向Ｄ１を示すものであってもよい。また、カメラデータは、例えば、位置Ｐ１を通る方向Ｄ１に沿った線と交差する撮影姿勢範囲オブジェクト８８である着目範囲オブジェクト８８ａの識別子（例えば、後述の領域ＩＤ）であってもよい。図６では、着目範囲オブジェクト８８ａは、ドットで表現されている。
【0066】
そして、仮想空間管理部７０は、例えば、サンプル画像と、当該サンプル画像の撮影位置に対応する仮想空間８６内の位置から当該サンプル画像の撮影方向に対応する仮想空間８６における方向を見た様子を表す画像と、が重畳されたＡＲ画像を生成する。
【0067】
例えば、図５に示すサンプル画像の撮影位置、及び、撮影方向が、それぞれ、図６に示す位置Ｐ１、及び、方向Ｄ１に対応付けられることとする。この場合、仮想空間８６内の位置Ｐ１から方向Ｄ１を見た様子を表す画像と、図５に示すサンプル画像と、が重畳された、図７に例示するＡＲ画像が生成される。
【0068】
通知部７２は、本実施形態では例えば、例えば表示や音声出力などによって、サンプル８２の追加撮影の要否の判定結果を通知する。また、通知部７２は、本実施形態では例えば、仮想空間管理部７０によって生成されるＡＲ画像を表示部１８に表示させる。
【0069】
本実施形態では例えば、仮想空間管理部７０は、初期状態において、すべての撮影姿勢範囲オブジェクト８８の色が不透明の所定色（例えば水色）である仮想オブジェクト８４が配置された仮想空間８６を生成する。なお、撮影姿勢範囲オブジェクト８８は不透明でなく半透明であってもよい。図７には、初期状態において表示されるＡＲ画像の一例が示されている。
【0070】
そして、仮想空間管理部７０は、所定数以上の正例サンプル画像の取得が行われた撮影姿勢範囲に対応する、不透明あるいは半透明の所定色である撮影姿勢範囲オブジェクト８８を、透明に更新する。図８には、領域Ｒ１を占める１０個の撮影姿勢範囲オブジェクト８８が不透明から透明に更新された際に表示されるＡＲ画像の一例が示されている。
【0071】
そして、すべての撮影姿勢範囲について所定数以上の正例サンプル画像の取得が行われたら、すべての撮影姿勢範囲オブジェクト８８が透明に設定される。図９には、すべての撮影姿勢範囲オブジェクト８８が透明に設定された際に表示されるＡＲ画像の一例が示されている。すべての撮影姿勢範囲オブジェクト８８が透明に設定されると、撮影要否判定部６８が、複数の撮影姿勢範囲のそれぞれについて、当該撮影姿勢範囲におけるサンプル８２の追加撮影の要否を判定する。
【0072】
ここで、すべての撮影姿勢範囲についてサンプル８２の追加撮影が不要であると判定されたとする。この場合は、通知部７２は、例えば表示や音声出力などによって、識別器３０の識別精度を確保するのに充分なサンプル８２の撮影が行われたことをユーザに通知する。
【0073】
一方、サンプル８２の追加撮影が必要であると判定された１又は複数の撮影姿勢範囲が存在したとする。この場合は、仮想空間管理部７０は、当該１又は複数の撮影姿勢範囲のそれぞれに対応する撮影姿勢範囲オブジェクト８８の色を不透明あるいは半透明の所定色（例えば赤色）に更新する。そして、仮想空間管理部７０は、更新後の撮影姿勢範囲オブジェクト８８が配置された仮想空間８６を見た様子を表す画像と、撮影部２０が撮影するサンプル画像と、が重畳されたＡＲ画像を生成する。そして、通知部７２が、当該ＡＲ画像を表示させる。図１０には、領域Ｒ２を占める４個の撮影姿勢範囲オブジェクト８８が赤色に更新された際に表示されるＡＲ画像の一例が示されている。図１０では、赤色に更新された４個の撮影姿勢範囲オブジェクト８８が、ドットで表現されている。
【0074】
例えばこのようにして、本実施形態に係る通知部７２は、追加撮影が必要な撮影姿勢範囲をユーザに通知する。
【0075】
そして、本実施形態では、特徴量抽出部６４は、サンプル８２の追加撮影が必要であると判定される撮影姿勢範囲において追加で撮影されるサンプル画像に基づいて、当該サンプル画像に対応する正例特徴量データである追加の正例訓練データを生成する。
【0076】
そして、評価学習部６６は、追加の正例訓練データを用いた学習を実行することで、評価識別器６０を更新する。
【0077】
本実施形態に係る情報処理装置１０は、サンプル８２の追加撮影が不要であると判定されるまで、特徴量抽出部６４による追加の正例訓練データの生成、評価学習部６６による評価識別器６０の更新、及び、撮影要否判定部６８によるサンプル８２の追加撮影の要否の判定、を繰り返す。
【0078】
図１１は、本実施形態に係る仮想空間管理部７０に保持される領域管理データの一例を示す図である。領域管理データは、撮影姿勢範囲オブジェクト８８に対応付けられるデータである。図１１に示すように、領域管理データには、例えば、領域ＩＤ、サンプル数データ、追加撮影要否データが含まれる。
【0079】
領域管理データに含まれる領域ＩＤは、例えば、当該領域管理データに対応付けられる撮影姿勢範囲オブジェクト８８の識別子である。領域管理データに含まれるサンプル数データは、例えば、当該領域管理データに対応付けられる撮影姿勢範囲において取得された正例サンプル画像の数を示すデータである。領域管理データに含まれる追加撮影要否データは、例えば、当該領域管理データに対応付けられる撮影姿勢範囲におけるサンプル８２の追加撮影が必要であると判定されたか否かを示すデータである。本実施形態では例えば、追加撮影要否データの初期値は０である。そして本実施形態では例えば、サンプル８２の追加撮影が必要であると判定された撮影姿勢範囲に対応付けられる領域管理データの追加撮影要否データの値には１が設定される。
【0080】
本実施形態において、仮想空間管理部７０が、領域管理データに基づいて、複数の撮影姿勢範囲オブジェクト８８のそれぞれの色を決定してもよい。
【0081】
ここで、本実施形態に係る情報処理装置１０において実行される、サンプル８２の撮影が開始されてから充分なサンプル８２の撮影が行われたことがユーザに通知されるまでの処理の流れの一例を、図１２Ａ～図１２Ｆに例示するフロー図を参照しながら説明する。なお、以下に示す処理例では、ユーザは撮影部２０を動かしながら様々な角度からサンプル８２を撮影した動画像を撮影することとする。そして、撮影部２０は、サンプル８２を撮影したフレーム画像を所定のフレームレートで生成することとする。また、予め、負例訓練データ記憶部５２に複数の負例訓練データが記憶されており、負例評価データ記憶部５６に複数の負例評価データが記憶されていることとする。
【0082】
まず、サンプル画像取得部６２が、撮影部２０によってサンプル８２が撮影された画像である、仮想空間８６の初期設定に用いられる基準画像を取得する（Ｓ１０１）。
【0083】
すると、仮想空間管理部７０が、すべての撮影姿勢範囲オブジェクト８８の色が不透明あるいは半透明の所定色（例えば水色）に設定された仮想オブジェクト８４が配置された仮想空間８６を生成する（Ｓ１０２）。本処理例における撮影姿勢範囲オブジェクト８８は、仮想オブジェクト８４の半球面を所定の規則に従ってＮ個に分割した領域のそれぞれに対応付けられるオブジェクトであることとする。
【0084】
そして、仮想空間管理部７０が、Ｓ１０１に示す処理で取得された基準画像に基づいて、サンプル８２の撮影位置に対応する位置Ｐ１及びサンプル８２の撮影方向に対応する方向Ｄ１を特定し、位置Ｐ１及び方向Ｄ１を仮想空間８６に設定する（Ｓ１０３）。ここでは例えば、基準画像に写るＡＲマーカ８０の形状及び大きさに基づいて、位置Ｐ１及び方向Ｄ１が特定される。
【0085】
そして、仮想空間管理部７０は、それぞれが撮影姿勢範囲オブジェクト８８に対応付けられるＮ個の領域管理データを生成して保持する（Ｓ１０４）。Ｎ個の領域管理データのそれぞれの領域ＩＤには、１～Ｎの値が設定される。また、Ｎ個の領域管理データのすべてについて、サンプル数データの値、及び、追加撮影要否データの値には０が設定される。
【0086】
そして、仮想空間管理部７０は、Ｓ１０１に示す処理で取得された基準画像と、Ｓ１０３に示す処理で設定された位置Ｐ１から方向Ｄ１を見た仮想空間８６の様子を表す画像と、が重畳されたＡＲ画像を生成する（Ｓ１０５）。
【0087】
そして、通知部７２が、Ｓ１０５に示す処理で生成されたＡＲ画像を表示部１８に表示させる（Ｓ１０６）。ここでは例えば、図７に示すＡＲ画像が表示される。
【0088】
そして、サンプル画像取得部６２が、撮影部２０によって新たにサンプル８２が撮影された画像である正例サンプル画像を取得する（Ｓ１０７）。
【0089】
そして、特徴量抽出部６４が、Ｓ１０７に示す処理で取得された正例サンプル画像に基づいて、当該正例サンプル画像に対応する特徴量を示す正例特徴量データを生成する（Ｓ１０８）。
【0090】
そして、仮想空間管理部７０が、Ｓ１０７に示す処理で取得された正例サンプル画像に基づいて、サンプル８２の撮影位置に対応する位置Ｐ１及びサンプル８２の撮影方向に対応する方向Ｄ１を特定し、位置Ｐ１及び方向Ｄ１を仮想空間８６に設定する（Ｓ１０９）。ここでは例えば、正例サンプル画像に写るＡＲマーカ８０の形状及び大きさに基づいて、位置Ｐ１及び方向Ｄ１が特定される。
【0091】
そして、仮想空間管理部７０が、Ｓ１０９に示す処理で設定された位置Ｐ１を通るＳ１０９に示す処理で設定された方向Ｄ１に沿った線と交差する撮影姿勢範囲オブジェクト８８である着目範囲オブジェクト８８ａを特定する（Ｓ１１０）。
【0092】
そして、仮想空間管理部７０が、Ｓ１１０に示す処理で特定された着目範囲オブジェクト８８ａに対応する領域管理データのサンプル数データの値を１増加させる（Ｓ１１１）。
【0093】
そして、特徴量抽出部６４が、Ｓ１０７に示す処理で取得された正例サンプル画像の撮影位置及び撮影方向に対応付けられるカメラデータを生成する（Ｓ１１２）。ここで例えば、Ｓ１１０に示す処理で特定された着目範囲オブジェクト８８ａに対応する領域ＩＤを示すカメラデータや、Ｓ１０９に示す処理で設定された位置Ｐ１及び方向Ｄ１を示すカメラデータが生成されてもよい。
【0094】
そして、特徴量抽出部６４が、Ｓ１１２に示す処理で生成されたカメラデータをＳ１０８に示す処理で生成された正例特徴量データに関連付ける（Ｓ１１３）。
【0095】
そして、特徴量抽出部６４が、Ｓ１０７に示す処理で取得された正例サンプル画像のフレーム番号が偶数であるか否かを確認する（Ｓ１１４）。
【0096】
偶数である場合は（Ｓ１１４：Ｙ）、特徴量抽出部６４が、Ｓ１１３に示す処理でカメラデータが関連付けられた正例特徴量データを、正例訓練データとして正例訓練データ記憶部５０に記憶させる（Ｓ１１５）。
【0097】
奇数である場合は（Ｓ１１４：Ｎ）、特徴量抽出部６４が、Ｓ１１３に示す処理でカメラデータが関連付けられた正例特徴量データを、正例評価データとして正例評価データ記憶部５４に記憶させる（Ｓ１１６）。
【0098】
Ｓ１１５又はＳ１１６に示す処理が終了すると、仮想空間管理部７０が、サンプル数データの値が所定値ｋ以上である領域管理データを特定する（Ｓ１１７）。
【0099】
そして、仮想空間管理部７０が、Ｓ１１７に示す処理で特定された領域管理データに対応する撮影姿勢範囲オブジェクト８８が透明になるよう仮想オブジェクト８４を更新する（Ｓ１１８）。
【0100】
そして、仮想空間管理部７０が、Ｓ１０７に示す処理で取得された正例サンプル画像と、Ｓ１０９に示す処理で設定された位置Ｐ１から方向Ｄ１を見た仮想空間８６の様子を表す画像と、が重畳されたＡＲ画像を生成する（Ｓ１１９）。
【0101】
そして、通知部７２が、Ｓ１１９に示す処理で生成されたＡＲ画像を表示部１８に表示させる（Ｓ１２０）。
【0102】
そして、仮想空間管理部７０が、Ｎ個の領域管理データのすべてについて、サンプル数データの値がｋ以上となったか否かを確認する（Ｓ１２１）。
【0103】
Ｎ個の領域管理データのすべてについて、サンプル数データの値がｋ以上となっていない場合は（Ｓ１２１：Ｎ）、Ｓ１０７に示す処理に戻る。
【0104】
Ｎ個の領域管理データのすべてについて、サンプル数データの値がｋ以上となった場合は（Ｓ１２１：Ｙ）、Ｎ個の領域管理データのすべてについて、サンプル数データの値を０にリセットする（Ｓ１２２）。
【0105】
そして、評価学習部６６が、正例訓練データ記憶部５０に記憶されている複数の正例訓練データを正例とし、負例訓練データ記憶部５２に記憶されている複数の負例訓練データを負例として学習させた評価識別器６０を生成する（Ｓ１２３）。
【0106】
そして、撮影要否判定部６８が、Ｓ１２３に示す処理によって学習済である評価識別器６０を用いて、複数の撮影姿勢範囲のそれぞれについて、当該撮影姿勢範囲におけるサンプル８２の追加撮影の要否を判定する（Ｓ１２４）。
【0107】
ここでは例えば、複数の撮影姿勢範囲のそれぞれについて、正例評価データ記憶部５４に記憶されている正例評価データのうちから当該撮影姿勢範囲に対応するカメラデータに関連付けられた複数の正例評価データが特定される。
【0108】
そして、特定された複数の正例評価データのうち、当該正例評価データを学習済の評価識別器６０に入力した際の出力である識別スコアの値が所定値以上であるものの数ＴＰと所定値未満であるものの数ＦＰが特定される。
【0109】
また、負例評価データ記憶部５６に記憶されている負例評価データのうち、当該負例評価データを学習済の評価識別器６０に入力した際の出力である識別スコアの値が所定値未満であるものの数ＴＮと所定値以上であるものの数ＦＮが特定される。
【0110】
そして、ＴＰ／（ＴＰ＋ＦＰ）の値が適合率として算出され、ＴＰ／（ＴＰ＋ＦＮ）の値が再現率として算出される。そして、（２×適合率×再現率）／（適合率＋再現率）の値がＦ値として算出される。
【0111】
このようにして複数の撮影姿勢範囲のそれぞれについてＦ値が算出される。そして、算出されるＦ値が所定値以上である撮影姿勢範囲については追加撮影が不要であると判定され、そうでない撮影姿勢範囲については追加撮影が必要であると判定される。なお、本実施形態では、評価識別器６０の識別精度の高さを表す性能指標の一例としてＦ値が用いられているが、Ｆ値以外のものが評価識別器６０の識別精度の高さを表す性能指標として用いられてもよい。
【0112】
そして、撮影要否判定部６８が、領域管理データの追加撮影要否データの値を更新する（Ｓ１２５）。Ｓ１２５に示す処理では、例えば、追加撮影が必要であると判定された撮影姿勢範囲に対応する領域管理データの追加撮影要否データの値に１が設定される。また、追加撮影が不要であると判定された撮影姿勢範囲に対応する領域管理データの追加撮影要否データの値に０が設定される。
【0113】
そして、仮想空間管理部７０は、所定の終了条件を満足するか否かを判定する（Ｓ１２６）。ここでは例えば、すべての撮影姿勢範囲について以下の（１）又は（２）のいずれか条件を満足する場合は、所定の終了条件を満足すると判定される。条件（１）としては、学習済の評価識別器６０の識別精度が充分である（例えば、対応する領域管理データの追加撮影要否データの値が０である）などが挙げられる。条件（２）としては、学習済の評価識別器６０の性能の向上率が低い（例えば、今回算出されたＦ値から前回算出されたＦ値を引いた値が所定値未満である）などが挙げられる。
【0114】
所定の終了条件を満足すると判定された場合は（Ｓ１２６：Ｙ）、例えば表示や音声出力などによって、サンプル８２の撮影が終了したことをユーザに通知して（Ｓ１２７）、本処理例に示す処理は終了される。
【0115】
所定の終了条件を満足しないと判定された場合は（Ｓ１２６：Ｎ）、仮想空間管理部７０が、追加撮影要否データの値が１である領域管理データに対応する撮影姿勢範囲オブジェクト８８が赤色になるよう仮想オブジェクト８４を更新する（Ｓ１２８）。
【0116】
そして、仮想空間管理部７０が、最新の正例サンプル画像と、最新の位置Ｐ１から最新の方向Ｄ１を見た仮想空間８６の様子を表す画像と、が重畳されたＡＲ画像を生成する（Ｓ１２９）。
【0117】
そして、通知部７２が、Ｓ１２９に示す処理で生成されたＡＲ画像を表示部１８に表示させる（Ｓ１３０）。
【0118】
そして、サンプル画像取得部６２が、撮影部２０によって新たにサンプル８２が撮影された画像である正例サンプル画像を取得する（Ｓ１３１）。
【0119】
そして、特徴量抽出部６４が、Ｓ１３１に示す処理で取得された正例サンプル画像に基づいて、当該正例サンプル画像に対応する特徴量を示す正例特徴量データを生成する（Ｓ１３２）。
【0120】
そして、仮想空間管理部７０が、Ｓ１３１に示す処理で取得された正例サンプル画像に基づいて、サンプル８２の撮影位置に対応する位置Ｐ１及びサンプル８２の撮影方向に対応する方向Ｄ１を特定し、位置Ｐ１及び方向Ｄ１を仮想空間８６に設定する（Ｓ１３３）。
【0121】
そして、仮想空間管理部７０が、Ｓ１３３に示す処理で設定された位置Ｐ１を通るＳ１３３に示す処理で設定された方向Ｄ１に沿った線と交差する撮影姿勢範囲オブジェクト８８である着目範囲オブジェクト８８ａを特定する（Ｓ１３４）。
【0122】
そして、仮想空間管理部７０が、Ｓ１３４に示す処理で特定された着目範囲オブジェクト８８ａに対応する領域管理データの追加撮影要否データの値が１であるか否かを確認する（Ｓ１３５）。
【0123】
１である場合は（Ｓ１３５：Ｙ）、仮想空間管理部７０が、Ｓ１３４に示す処理で特定された着目範囲オブジェクト８８ａに対応する領域管理データのサンプル数データの値を１増加させる（Ｓ１３６）。
【0124】
そして、特徴量抽出部６４が、Ｓ１３１に示す処理で取得された正例サンプル画像の撮影位置及び撮影方向に対応付けられるカメラデータを生成する（Ｓ１３７）。
【0125】
そして、特徴量抽出部６４が、Ｓ１３７に示す処理で生成されたカメラデータをＳ１３２に示す処理で生成された正例特徴量データに関連付ける（Ｓ１３８）。
【0126】
そして、特徴量抽出部６４が、Ｓ１３８に示す処理でカメラデータが関連付けられた正例特徴量データを、正例訓練データとして正例訓練データ記憶部５０に記憶させる（Ｓ１３９）。
【0127】
そして、仮想空間管理部７０が、Ｓ１３４に示す処理で特定された着目範囲オブジェクト８８ａに対応する領域管理データのサンプル数データの値が所定値Ｌに達したか否かを確認する（Ｓ１４０）。
【0128】
サンプル数データの値がＬに達したとする（Ｓ１４０：Ｙ）。この場合は、評価学習部６６が、正例訓練データ記憶部５０に記憶されている複数の正例訓練データを正例とし、負例訓練データ記憶部５２に記憶されている複数の負例訓練データを負例として学習させた評価識別器６０を生成する（Ｓ１４１）。そして、Ｓ１２４に示す処理に戻る。ここで、評価学習部６６が、正例訓練データ記憶部５０に追加で記憶された正例訓練データを評価識別器６０に追加学習させることで、学習済の評価識別器６０を更新してもよい。
【0129】
サンプル数データの値がＬに達していないとする（Ｓ１４０：Ｎ）。この場合は、仮想空間管理部７０が、最新の正例サンプル画像と、最新の位置Ｐ１から最新の方向Ｄ１を見た仮想空間８６の様子を表す画像と、が重畳されたＡＲ画像を生成する（Ｓ１４２）。Ｓ１３５に示す処理で、追加撮影要否データの値が０であることが確認された場合についても（Ｓ１３５：Ｎ）、仮想空間管理部７０が、同様のＡＲ画像を生成する（Ｓ１４２）。
【0130】
そして、通知部７２が、Ｓ１４２に示す処理で生成されたＡＲ画像を表示部１８に表示させて（Ｓ１４３）、Ｓ１３１に示す処理に戻る。
【0131】
【0132】
本実施形態では、訓練データを学習した評価識別器６０を評価データで評価した結果に基づいて判定されるサンプル８２の追加撮影の要否がユーザに通知される。そのため、本実施形態によれば、ユーザは識別器３０の学習に充分な数のサンプル８２が収集されたことを的確に把握することでき、その結果、訓練データの収集効率を高めることができる。
【0133】
また、本実施形態では、ＡＲ画像によって追加の撮影が必要なサンプル８２の撮影方向が視覚的にユーザに伝達される。そのため、本実施形態によれば、ユーザはどの撮影方向からのサンプル８２の撮影を行う必要があるのかを的確に把握することができ、その結果、訓練データの収集効率を高めることができる。
【0134】
なお、本発明は上述の実施形態に限定されるものではない。
【0135】
例えば、識別器３０や評価識別器６０は、任意のカーネルのＳＶＭであってもよい。また、識別器３０や評価識別器６０は、Ｋ近傍法、ロジスティック回帰、アダブースト等のブースティング手法などの手法を用いた識別器であってもよい。また、識別器３０や評価識別器６０が、ニューラルネットワーク、ナイーブベイズ分類器、ランダムフォレスト、決定木などによって実装されてもよい。また、識別器３０や評価識別器６０の分類クラスは２クラスである必要はなく、３クラス以上の分類が可能であるもの（すなわち、互いに異なる正クラスが複数存在するもの）であってもよい。
【0136】
また、識別器３０や評価識別器６０が、入力画像に写るオブジェクトが正クラスに属するものであることを示すか否かを示す二値の識別スコアを出力するものであってもよい。
【0137】
また、ＡＲマーカ８０を用いることなく、撮影部２０が備えるジャイロセンサや慣性センサなどのセンサによる計測結果に基づいて、撮影位置及び撮影方向が特定されるようにしてもよい。また、このようにして特定される撮影位置及び撮影方向に基づいて、位置Ｐ１及び方向Ｄ１が特定されるようにしてもよい。
【0138】
また、入力画像から複数の領域が抽出されて、それぞれの領域について、推定部４４にって、当該領域の画像に写るオブジェクトが正クラスに属するものであるか否かが推定されてもよい。
【0139】
また、上述した手法は、負例のサンプルを撮影した負例サンプル画像に基づいて、負例訓練データを生成して、生成された複数の負例訓練データを負例訓練データ記憶部５２に蓄積させる場面にも適用可能である。
【0140】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図12D】
【図12E】
【図12F】