特許 6784039 データ推定装置、データ推定方法、及び、データ推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6784039

(24)【登録日】2020年10月27日

(45)【発行日】2020年11月11日

(54)【発明の名称】データ推定装置、データ推定方法、及び、データ推定プログラム

(51)【国際特許分類】

   G06F 16/20 20190101AFI20201102BHJP

   G06F 16/28 20190101ALI20201102BHJP

【ＦＩ】

   G06F16/20

   G06F16/28

【請求項の数】10

【全頁数】27

(21)【出願番号】特願2016-49912(P2016-49912)

(22)【出願日】2016年3月14日

(65)【公開番号】特開2017-167649(P2017-167649A)

(43)【公開日】2017年9月21日

【審査請求日】2019年2月15日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】結城 匡人

【審査官】 三橋 竜太郎

(56)【参考文献】

【文献】 特開２０１５−２２５４１３（ＪＰ，Ａ）

【文献】 特開２０１５−２３０５７０（ＪＰ，Ａ）

【文献】 特開２００８−０９２４７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｎ ５／００−７／０６

Ｇ０６Ｑ １０／００−９９／００

(57)【特許請求の範囲】

【請求項1】

第１対象データに関して所定の第１処理手順に従い演算することによって第１検索条件が成り立っているか否かを推定可能な第１モデルに従い、あるデータに対して前記第１モデルを適用することによって、前記所定の第１処理手順にて算出される第１演算結果を算出する第１演算手段と、
第２対象データに関して所定の第２処理手順に従い演算することによって、前記第１検索条件とは異なる第２検索条件が成り立っているか否かを推定可能な第２モデルに従い、前記あるデータに対して前記第２モデルを適用することによって、前記所定の第２処理手順にて算出される第２演算結果を算出する第２演算手段と、
第３対象データに前記第１モデルが適用された場合に前記第１モデルにおいて算出される演算結果と、前記第３対象データに前記第２モデルが適用された場合に前記第２モデルにおいて算出される演算結果とに対して、所定の第３処理手順に従い演算することによって、前記第３対象データに関して、前記第１演算結果と、前記第２演算結果とに対して、前記第１検索条件、及び、前記第２検索条件が、ともに、成り立っているか否かを推定可能な第３モデルを適用することによって、前記あるデータに関して、前記第１検索条件、及び、前記第２検索条件が成り立つか否かを推定する第３演算手段と
を備え、
前記所定の第１処理手順、及び、前記所定の第２処理手順は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋであり、
前記所定の第３処理手順は、Ｓｕｐｅｒｖｉｓｅｄ Ｓｅｍａｎｔｉｃ Ｉｎｄｅｘｉｎｇである
データ推定装置。

【請求項2】

前記第１演算結果及び前記第２演算結果と、前記第１検索条件及び前記第２検索条件が成り立っているか否かを表す第３ラベルとの間の関係性を推定可能な前記第３モデルを作成する適合度モデル算出手段
をさらに備える請求項１に記載のデータ推定装置。

【請求項3】

前記第１対象データと、前記第１検索条件が成り立つか否かを表す第１ラベルとの間の関係性を推定可能な前記第１モデルを作成する第１特徴量作成手段
をさらに備える請求項２に記載のデータ推定装置。

【請求項4】

前記第２対象データと、前記第２検索条件が成り立つか否かを表す第２ラベルとの間の関係性を推定可能な前記第２モデルを作成する第２特徴量作成手段
をさらに備える請求項３に記載のデータ推定装置。

【請求項5】

前記第１ラベル、前記第２ラベル、及び、前記第３ラベルを入力するラベル入力手段
をさらに備え、
前記第１特徴量作成手段は、入力された前記第１ラベルに関して、前記第１モデルを作成し、
前記第２特徴量作成手段は、入力された前記第２ラベルに関して、前記第２モデルを作成し、
前記適合度モデル算出手段は、前記第３対象データに対して前記第１特徴量作成手段が作成した前記第１モデルに関して算出された前記第１演算結果、及び、前記第３対象データに対して前記第２特徴量作成手段が作成した前記第２モデルに関して算出された前記第２演算結果と、前記第３ラベルと間の関係性を表す前記第３モデルを作成する
請求項４に記載のデータ推定装置。

【請求項6】

前記第１対象データ、前記第２対象データ、及び、前記第３対象データは、いずれも、画像データであり、
前記ラベル入力手段は、前記第１ラベル、前記第２ラベル、または、前記第３ラベルが入力可能な領域を含むユーザインターフェースを含む
請求項５に記載のデータ推定装置。

【請求項7】

動画データに含まれているフレームを表す前記画像データを作成するフレーム作成手段
をさらに備え、
前記ユーザインターフェースは、
前記動画データを表示可能な表示領域と、
前記第１ラベル、前記第２ラベル、または、前記第３ラベルが入力される入力領域と
を含み、
前記ラベル入力手段は、前記表示領域に前記動画データを表示し、前記動画データのうち、前記入力領域に入力されたときに前記表示領域に表示されている前記画像データに対して、入力された前記入力領域に応じたラベル情報を入力する
請求項６に記載のデータ推定装置。

【請求項8】

第１対象データに関して所定の第１処理手順に従い演算することによって第１検索条件が成り立っているか否かを推定可能な第１モデルに従い、あるデータに対して前記第１モデルを適用することによって、前記所定の第１処理手順にて算出される第１演算結果を算出し、
第２対象データに関して所定の第２処理手順に従い演算することによって、前記第１検索条件とは異なる第２検索条件が成り立っているか否かを推定可能な第２モデルに従い、前記あるデータに対して前記第２モデルを適用することによって、前記所定の第２処理手順にて算出される第２演算結果を算出し、
第３対象データに前記第１モデルが適用された場合に前記第１モデルにおいて算出される演算結果と、前記第３対象データに前記第２モデルが適用された場合に前記第２モデルにおいて算出される演算結果とに対して、所定の第３処理手順に従い演算することによって、前記第３対象データに関して、前記第１演算結果と、前記第２演算結果とに対して、前記第１検索条件、及び、前記第２検索条件が、ともに成り立っているか否かを推定可能な第３モデルを適用することによって、前記あるデータに関して、前記第１検索条件、及び、前記第２検索条件が成り立つか否かを推定し、
前記所定の第１処理手順、及び、前記所定の第２処理手順は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋであり、
前記所定の第３処理手順は、Ｓｕｐｅｒｖｉｓｅｄ Ｓｅｍａｎｔｉｃ Ｉｎｄｅｘｉｎｇである
データ推定方法。

【請求項9】

第１対象データに関して所定の第１処理手順に従い演算することによって第１検索条件が成り立っているか否かを推定可能な第１モデルに従い、あるデータに対して前記第１モデルを適用することによって、前記所定の第１処理手順にて算出される第１演算結果を算出する第１演算機能と、
第２対象データに関して所定の第２処理手順に従い演算することによって、前記第１検索条件とは異なる第２検索条件が成り立っているか否かを推定可能な第２モデルに従い、前記あるデータに対して前記第２モデルを適用することによって、前記所定の第２処理手順にて算出される第２演算結果を算出する第２演算機能と、
第３対象データに前記第１モデルが適用された場合に前記第１モデルにおいて算出される演算結果と、前記第３対象データに前記第２モデルが適用された場合に前記第２モデルにおいて算出される演算結果とに対して、所定の第３処理手順に従い演算することによって、前記第３対象データに関して、前記第１演算結果と、前記第２演算結果とに対して、前記第１検索条件、及び、前記第２検索条件が、ともに成り立っているか否かを推定可能な第３モデルを適用することによって、前記あるデータに関して、前記第１検索条件、及び、前記第２検索条件が成り立つか否かを推定する第３演算機能と
をコンピュータに実現させ、
前記所定の第１処理手順、及び、前記所定の第２処理手順は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋであり、
前記所定の第３処理手順は、Ｓｕｐｅｒｖｉｓｅｄ Ｓｅｍａｎｔｉｃ Ｉｎｄｅｘｉｎｇである
データ推定プログラム。

【請求項10】

前記第１演算結果及び前記第２演算結果と、前記第１検索条件及び前記第２検索条件が成り立っているか否かを表す第３ラベルとの間の関係性を推定可能な前記第３モデルを作成する適合度モデル算出機能
をさらに備える請求項９に記載のデータ推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データに関する情報を推定するデータ推定装置等に関する。

【背景技術】

【0002】

ディープラーニング法は、実用的な精度を実現した機械学習の一例であり、様々な分野にて活用（または、検討、実施）されている。機械学習のうち、教師あり学習法は、説明変数の値と、目的変数の値（ラベル）とが関連付けされた教師データに関して、説明変数の値と目的変数の値との関係を表す学習モデルを作成する。教師データは、たとえば、蓄積された情報、または、収集された情報等に基づき、ユーザによって作成される。

【0003】

機械学習は、たとえば、画像データや、テキストデータ等のデータに関して、学習モデルを作成することができ、あるエリアにおける人物や、ある物体を検知する場合に用いられる。画像データは、たとえば、あるエリアを撮像する監視カメラによって作成される。一般に、あるエリアが複数の監視カメラによって常に撮像されるので、作成される画像データは、膨大な量が蓄積されている。

【0004】

たとえば、機械学習の一例は、特許文献１、及び、特許文献２に開示されている。

【0005】

特許文献１に開示された分類モデル学習装置は、予測対象である予測データと、各教師データとの距離を算出し、各予測データに関して、算出された距離が所定の範囲内にある教師データを特定する。次に、該分類モデル学習装置は、特定した教師データに関する目的変数の値（ラベル）に基づき、該予測データに関するラベルを予測する。

【0006】

特許文献２に開示された因果関係モデル生成装置は、観測対象に関して注目する事象と、該事象を生じた原因である原因事象との因果関係を表す因果関係モデルを作成する。該因果関係モデル生成装置においては、観測対象を構成している構成要素のうち、原因事象（または、注目する事象）に関連している構成要素と、他との包含関係が階層的に表現された属性を持つデータとして表現されている。該因果関係モデル生成装置は、該データに基づき、観測対象に関して注目する事象と、該原因事象との間の因果関係を表す因果関係モデルを作成する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００９−２８２６８６号公報

【特許文献2】特開２００４−１２６６４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、特許文献１、または、特許文献２に開示されたいずれの装置を用いたとしても、対象データに関して識別する条件を表す対象検索条件が厳しい条件である場合には、高精度に対象データを判定することができるとは限らない。この理由は、対象検索条件が厳しい条件である場合に、一般に、対象検索条件が成り立つか否かを高精度に推定するモデルを作成することが難しいからである。

【0009】

そこで、本発明の主たる目的は、対象検索条件が厳しい条件であっても、対象データを正しく判定することができるデータ推定装置等を提供することである。

【課題を解決するための手段】

【0010】

前述の目的を達成するために、本発明の一態様において、データ推定装置は、
第１対象データに関して所定の第１処理手順に従い演算することによって第１検索条件が成り立っているか否かを推定可能な第１モデルに従い、あるデータに対して前記第１モデルを適用することによって、前記所定の第１処理手順にて算出される第１演算結果を算出する第１演算手段と、
第２対象データに関して所定の第２処理手順に従い演算することによって、前記第１検索条件とは異なる第２検索条件が成り立っているか否かを推定可能な第２モデルに従い、前記あるデータに対して前記第２モデルを適用することによって、前記所定の第２処理手順にて算出される第２演算結果を算出する第２演算手段と、
第３対象データに前記第１モデルが適用された場合に前記第１モデルにおいて算出される演算結果と、前記第３対象データに前記第２モデルが適用された場合に前記第２モデルにおいて算出される演算結果とに対して、所定の第３処理手順に従い演算することによって、前記第３対象データに関して、前記第１演算結果と、前記第２演算結果とに対して、前記第１検索条件、及び、前記第２検索条件が、ともに、成り立っているか否かを推定可能な第３モデルを適用することによって、前記あるデータに関して、前記第１検索条件、及び、前記第２検索条件が成り立つか否かを推定する第３演算手段と
を備える。

【0011】

また、本発明の他の見地として、データ推定方法は、
第１対象データに関して所定の第１処理手順に従い演算することによって第１検索条件が成り立っているか否かを推定可能な第１モデルに従い、あるデータに対して前記第１モデルを適用することによって、前記所定の第１処理手順にて算出される第１演算結果を算出し、
第２対象データに関して所定の第２処理手順に従い演算することによって、前記第１検索条件とは異なる第２検索条件が成り立っているか否かを推定可能な第２モデルに従い、前記あるデータに対して前記第２モデルを適用することによって、前記所定の第２処理手順にて算出される第２演算結果を算出し、
第３対象データに前記第１モデルが適用された場合に前記第１モデルにおいて算出される演算結果と、前記第３対象データに前記第２モデルが適用された場合に前記第２モデルにおいて算出される演算結果とに対して、所定の第３処理手順に従い演算することによって、前記第３対象データに関して、前記第１演算結果と、前記第２演算結果とに対して、前記第１検索条件、及び、前記第２検索条件が、ともに成り立っているか否かを推定可能な第３モデルを適用することによって、前記あるデータに関して、前記第１検索条件、及び、前記第２検索条件が成り立つか否かを推定する。

【0012】

また、本発明の他の見地として、データ推定プログラムは、
第１対象データに関して所定の第１処理手順に従い演算することによって第１検索条件が成り立っているか否かを推定可能な第１モデルに従い、あるデータに対して前記第１モデルを適用することによって、前記所定の第１処理手順にて算出される第１演算結果を算出する第１演算機能と、
第２対象データに関して所定の第２処理手順に従い演算することによって、前記第１検索条件とは異なる第２検索条件が成り立っているか否かを推定可能な第２モデルに従い、前記あるデータに対して前記第２モデルを適用することによって、前記所定の第２処理手順にて算出される第２演算結果を算出する第２演算機能と、
第３対象データに前記第１モデルが適用された場合に前記第１モデルにおいて算出される演算結果と、前記第３対象データに前記第２モデルが適用された場合に前記第２モデルにおいて算出される演算結果とに対して、所定の第３処理手順に従い演算することによって、前記第３対象データに関して、前記第１演算結果と、前記第２演算結果とに対して、前記第１検索条件、及び、前記第２検索条件が、ともに成り立っているか否かを推定可能な第３モデルを適用することによって、前記あるデータに関して、前記第１検索条件、及び、前記第２検索条件が成り立つか否かを推定する第３演算機能と
をコンピュータに実現させる。

【0013】

さらに、同目的は、係るプログラムを記録するコンピュータが読み取り可能な記録媒体によっても実現される。

【発明の効果】

【0014】

本発明に係るデータ推定装置等によれば、対象検索条件が厳しい条件であっても、対象データを正しく判定することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１の実施形態に係るデータ推定装置が有する構成を示すブロック図である。

【図2】第１の実施形態に係るデータ推定装置における処理の流れの概略を示すフローチャートである。

【図3】図２に示されたステップＳ１０１、及び、ステップＳ１０２における処理の詳細な流れを示すフローチャートである。

【図4】図２に示されたステップＳ１０３、及び、ステップＳ１０４における処理の詳細な流れを示すフローチャートである。

【図5】図２に示されたステップＳ１０４、及び、ステップＳ１０５における処理の詳細な流れを示すフローチャートである。

【図6】対象検索条件が成り立つデータに関する包含関係を概念的に表す図である。

【図7】学習画像情報記憶部に格納されている学習画像情報を概念的に表す図である。

【図8】表示画像情報記憶部に格納されている表示画像情報を概念的に表す図である。

【図9】未処理画像情報記憶部に格納されている未処理画像情報を概念的に表す図である。

【図10】ユーザインターフェースが有する構成の一例を概念的に表す図である。

【図11】ラベル情報記憶部に格納されているラベル情報の一例を概念的に表す図である。

【図12】画像ラベル記憶部に格納されている画像ラベル情報の一例を概念的に表す図である。

【図13】モデル情報の一例を概念的に表す図である。

【図14】特徴情報記憶部に格納されている特徴情報を概念的に表す図である。

【図15】特徴情報記憶部に格納されている特徴情報を概念的に表す図である。

【図16】ＣＮＮが有する構成の一例を概念的に表す図である。

【図17】画像ラベル記憶部に格納されている画像ラベル情報の一例を概念的に表す図である。

【図18】適合度学習情報記憶部に格納されている適合度学習情報の一例を概念的に表す図である。

【図19】適合度モデル情報記憶部に格納されている適合度モデル情報の一例を概念的に表す図である。

【図20】適合度判定情報記憶部に格納されている適合度判定情報の一例を概念的に表す図である。

【図21】適合度情報記憶部に格納されている適合度情報の一例を概念的に表す図である。

【図22】予測ラベル情報記憶部に格納されている予想ラベル情報の一例を概念的に表す図である。

【図23】本発明の第２の実施形態に係るデータ推定装置が有する構成を示すブロック図である。

【図24】本発明の各実施形態に係るデータ推定装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。

【発明を実施するための形態】

【0016】

次に、本発明を実施する実施形態について図面を参照しながら詳細に説明する。

【0017】

＜第１の実施形態＞
図１を参照しながら、本発明の第１の実施形態に係るデータ推定装置６００が有する構成について詳細に説明する。図１は、本発明の第１の実施形態に係るデータ推定装置６００が有する構成を示すブロック図である。

【0018】

本発明の第１の実施形態に係るデータ推定装置６００は、大別して、画像情報記憶部１００と、ラベル入力部２００と、特徴量作成部３１０と、適合度作成部３２０と、フレーム情報作成部４１０と、適合度特徴量作成部４２０と、ラベル選択部５００とを有する。

【0019】

画像情報記憶部１００は、学習画像情報記憶部１０１と、表示画像情報記憶部１０２と、未処理画像情報記憶部１０３とを有する。ラベル入力部２００は、制御部２０１と、ラベル情報記憶部２０２と、画像ラベル記憶部２０３とを有する。特徴量作成部３１０は、特徴量モデル作成部３１１と、モデル情報記憶部３１２と、特徴量算出部３１３と、特徴情報記憶部３１４とを有する。適合度作成部３２０は、適合度学習情報作成部３２１と、適合度学習情報記憶部３２２と、適合度モデル作成部３２３と、適合度モデル情報記憶部３２４と、適合度算出部３２５と、適合度情報記憶部３２６とを有する。フレーム情報作成部４１０は、フレーム作成部４１１と、フレーム情報記憶部４１２とを有する。適合度特徴量作成部４２０は、特徴量作成部４２１と、適合度判定情報記憶部４２２とを有する。ラベル選択部５００は、ラベル判定部５０１と、予測ラベル情報記憶部５０２とを有する。

【0020】

次に、図７乃至図９を参照しながら、第１の実施形態に係るデータ推定装置６００に入力される情報の例について説明する。図７は、学習画像情報記憶部１０１に格納されている学習画像情報を概念的に表す図である。図８は、表示画像情報記憶部１０２に格納されている表示画像情報を概念的に表す図である。図９は、未処理画像情報記憶部１０３に格納されている未処理画像情報を概念的に表す図である。

【0021】

図７に例示された学習画像情報を参照すると、学習画像情報は、動画データを識別可能な動画データ識別子（以降、識別子を「ＩＤ」と表す）と、動画データに関して推定（予測、判定）する内容を表す属性とが関連付けされている。学習画像情報は、動画データＩＤに、さらに、該動画データＩＤが表す動画データが関連付けされていてもよい。

【0022】

たとえば、図７に例示された学習画像情報においては、動画データＩＤ「Ｖ１００２」と、属性「帽子をかぶった人がいるか否かが判定される」とが関連付けされている。これは、動画データＩＤ「Ｖ１００２」が表す動画データに対して、図１０を参照しながら後述するように、検索条件「帽子をかぶった人がいるか」が成り立つか否かを表すラベルが入力される場合に制御部２０１が表示する動画データであることを表す。

【0023】

学習画像情報記憶部１０１には、検索対象に対して成り立つ検索条件（以降、「対象検索条件」と表す）に関してフレーム（画像データ）が検索される場合に、該対象検索条件が緩和された検索条件に関するラベルを推定可能なモデルを作成する基となる動画データが格納されている。学習画像情報に、「帽子をかぶった人がいるか否か」を表すラベルが付与されることによって、たとえば、図１４、または、図１５を参照しながら説明するような算出値を算出する基となるデータが算出される。

【0024】

尚、学習画像情報は、さらに、異なる項目に関連付けされていてもよく、上述した例に限定されない。また、学習画像情報は、図１１に例示されたラベル情報におけるラベルＩＤを含んでいてもよく、この場合には、ラベル情報記憶部２０２に格納されているラベルＩＤに関するラベルが入力される。以降、説明の便宜上、学習画像情報には、動画データが含まれているとする。また、検索条件が成り立っているかが判定される対象は、動画データはではなく、動画データに含まれているフレーム（画像データ）であるとする。

【0025】

図８に例示された表示画像情報を参照すると、表示画像情報は、動画データを識別可能な動画データＩＤと、対象検索条件が成り立つか否かを表すラベルが付与される予定であるものの、まだ付与されていないことを表す属性とが関連付けされている。さらに、表示画像情報は、動画データＩＤに、該動画データＩＤが表す動画データが関連付けされていてもよい。

【0026】

たとえば、図８に例示された表示画像情報においては、動画データＩＤ「Ｖ３００２」と、属性「対象検索条件が成り立つか否かが判定される」とが関連付けされている。これは、動画データＩＤ「Ｖ３００２」が表す動画データに対して、図１０を参照しながら後述するように、対象検索条件が成り立つか否かを表すラベルが入力される場合に、動画データＩＤ「Ｖ３００２」に関する画像情報が、制御部２０１が表示する画像データを含んでいることを表す。

【0027】

尚、表示画像情報は、さらに、異なる項目に関連付けされていてもよく、上述した例に限定されない。また、表示画像情報は、図１１に例示されたラベル情報におけるラベルＩＤを含んでいてもよく、この場合には、ラベル情報記憶部２０２に格納されているラベルＩＤに関するラベルが入力される。以降、説明の便宜上、表示画像情報には、動画データが含まれているとする。

【0028】

図９に例示された未処理画像情報を参照すると、未処理画像情報は、画像データを識別可能な動画データＩＤと、ラベルが付与されていないことを表す属性とが関連付けされている。さらに、表示画像情報は、動画データＩＤに、該動画データＩＤが表す動画データが関連付けされていてもよい。

【0029】

たとえば、図９に例示された未処理画像情報においては、動画データＩＤ「Ｖ４００２」と、属性「ラベル付けされていない画像データ」とが関連付けされている。これは、動画データＩＤ「Ｖ４００２」が表す動画データに対して、図５を参照しながら後述するように、ラベルが推定（予測）されていない状態を表す。

【0030】

尚、未処理画像情報は、さらに、異なる項目に関連付けされていてもよく、上述した例に限定されない。未処理画像情報は、さらに、異なる項目に関連付けされていてもよく、上述した例に限定されない。また、未処理画像情報は、図１１に示されたラベル情報におけるラベルＩＤを含んでいてもよく、この場合には、ラベル情報記憶部２０２に格納されているラベルＩＤに関するラベルが入力される。以降、説明の便宜上、未処理画像情報には、動画データが含まれているとする。

【0031】

次に、図６を参照しながら、対象検索条件について説明する。図６は、対象検索条件が成り立つデータに関する包含関係を概念的に表す図である。

【0032】

たとえば、対象検索条件が「サングラスをかけ、さらに、赤い服を着た人がいるか」であるとする。この場合に、次に示す、検索条件Ａ乃至検索条件Ｃは、対象検索条件を緩和することによって算出される検索条件である。すなわち、
○検索条件Ａ：人がいるか、
○検索条件Ｂ：赤い服を着た人がいるか、
○検索条件Ｃ：サングラスをかけた人がいるか。

【0033】

図６を参照すると、対象検索条件が成り立つデータは、検索条件Ｂが成り立つデータと、検索条件Ｃが成り立つデータとの積集合である。また、検索条件Ａが成り立つデータは、検索条件Ｂが成り立つデータ、及び、検索条件Ｃが成り立つデータを含んでいる。したがって、
○検索条件Ｂが成り立つデータ、検索条件Ｃが成り立つデータ、及び、対象検索条件が成り立つデータは、検索条件Ａが成り立つデータのサブセットである、
○対象検索条件が成り立つデータは、検索条件Ｂが成り立つデータ、及び、検索条件Ｃが成り立つデータ、それぞれのサブセットである、
○検索条件Ｂが成り立つデータと、検索条件Ｃが成り立つデータとの間に、包含関係は無い。

【0034】

以降、対象検索条件が緩和された検索条件を「第１検索条件」（たとえば、上述した検索条件Ｂ）、及び、「第２検索条件」（たとえば、検索条件Ｃ）と表す。尚、対象検索条件が緩和された検索条件は、必ずしも２つである必要はなく、さらに、多くの検索条件であってもよい。対象検索条件が「帽子をかぶり、ジャンパーを着た人がいるか」である場合に、第１検索条件は、たとえば、「帽子をかぶった人がいるか」であり、第２検索条件は、たとえば、「ジャンパーを着た人がいるか」である。この場合に、対象検索条件は、第１検索条件と、第２検索条件とに論理積演算が適用された条件である。

【0035】

次に、図２を参照しながら、第１の実施形態に係るデータ推定装置６００における処理の流れの概略について説明する。図２は、第１の実施形態に係るデータ推定装置６００における処理の流れの概略を示すフローチャートである。

【0036】

第１の実施形態に係るデータ推定装置６００における処理は、大別して、ステップＳ１０１乃至ステップＳ１０５に示された処理が実行される。

【0037】

○ステップＳ１０１：第１検索条件が成り立つか否かを表すラベル、及び、第２検索条件が成り立つか否かを表すラベルを入力する、
○ステップＳ１０２：第１検索条件に関するラベルと、フレームとの関係性を表すモデル（説明の便宜上、「第１モデル」と表す）、及び、第２検索条件に関するラベルと、フレームとの関係性を表すモデル（説明の便宜上、「第２モデル」と表す）を作成する、
○ステップＳ１０３：対象検索条件が成り立つか否かを表すラベルを入力する、
○ステップＳ１０４：対象検索条件に関するラベルと、第１モデルに従い算出される算出値（図１４を参照しながら後述する）、及び、第２モデルに従い算出される算出値（図１５を参照しながら後述する）の関係性を表すモデル（説明の便宜上、「適合度モデル」と表す）を作成する、
○ステップＳ１０５：作成した適合度モデルに基づき、未処理画像情報に含まれている画像データに関してラベルを推定（予測、判定）する。

【0038】

以降、ステップＳ１０１乃至ステップＳ１０５に示された各処理について、図３乃至図５を参照しながら詳細に説明する。

【0039】

まず、図１０を参照しながら、制御部２０１によって入出力される場合に介するユーザインターフェース２０１０について説明し、次に、図１１を参照しながら制御部２０１が入力するラベル情報について説明する。その後、図３乃至図５を参照しながら、ステップＳ１０１乃至ステップＳ１０５における処理について説明する。図１０は、ユーザインターフェース２０１０が有する構成の一例を概念的に表す図である。

【0040】

ユーザインターフェース２０１０は、動画データを表示可能な領域２０１１と、表示している動画データを操作可能な領域２０１２と、動画データに含まれている画像データに対して割り当てられたラベルを表す領域２０１３と、表示している動画データを操作可能な領域２０１４とを含む。さらに、ユーザインターフェース２０１０は、動画データに含まれている画像データに対して、各ラベルを入力することが可能な領域２０１５を含んでいる。

【0041】

矩形２０１６は、動画データに含まれているすべてのフレーム（画像データ）のうち、領域２０１１に示されているフレームに関する位置を表している。領域２０１１に表示される動画データは、矩形２０１６を横方向にスライドされるのに応じて変化することとする。領域２０１３には、すべてのフレームのうち、領域２０１１に示されている動画データに含まれている画像データに対して、領域２０１５を介して入力されたラベルが表示されている。領域２０１２における横方向と、領域２０１３における横方向とは対応しており、それぞれ、動画データに含まれているすべてのフレーム（画像データ）のうち、領域２０１１に示されているフレームの位置を表している。たとえば、図１０に示された例においては、領域２０１２に対する矩形２０１６の位置によって、領域２０１１には帽子をかぶった人が表示され、さらに、領域２０１３には、当該フレームに関するラベルが「Ｃ０１」であることが表示されている。

【0042】

領域２０１４には、左から順に、動画データを戻す操作、動画データを再生する操作、動画データを停止する操作、及び、動画データを早送りする操作を入力することができる領域が配置されている。

【0043】

次に、図１１を参照しながら制御部２０１が入力するラベル情報について説明する。図１１は、ラベル情報記憶部２０２に格納されているラベル情報の一例を概念的に表す図である。

【0044】

ラベル情報記憶部２０２には、たとえば、動画データに含まれている画像データに関して、ある検索条件が成り立つか否かを表すラベルと、該ラベルを識別可能なラベルＩＤとが関連付けされたラベル情報が格納されている。ラベル情報記憶部２０２には、たとえば、第１検索条件「帽子をかぶった人がいるか」に関して、第１検索条件が成り立つ場合を表すラベル「帽子をかぶった人がいる」と、該ラベルを表すラベルＩＤ「Ｃ０１」とが関連付けされたラベル情報が格納されている。さらに、ラベル情報記憶部２０２には、たとえば、第１検索条件「帽子をかぶった人がいるか」に関して、第１検索条件が成立しなかった場合を表すラベル「帽子をかぶった人がいない」と、該ラベルを表すラベルＩＤ「Ｃ０２」とが関連付けされたラベル情報が格納されている。

【0045】

ラベル情報記憶部２０２には、さらに、第２検索条件「ジャンパーを着た人がいるか」に関しても、ラベル「ジャンパーを着た人がいる」、及び、ラベル「ジャンパーを着た人がいない」が格納されている。図１１に示されたラベル情報において、ラベル「ジャンパーを着た人がいる」は、ラベルＩＤ「Ｃ０３」に関連付けされている。また、ラベル「ジャンパーを着た人がいない」は、ラベルＩＤ「Ｃ０４」に関連付けされている。

【0046】

次に、図３を参照しながら、図２に示されたステップＳ１０１、及び、ステップＳ１０２における処理について説明する。図３は、図２に示されたステップＳ１０１、及び、ステップＳ１０２における処理の詳細な流れを示すフローチャートである。

【0047】

ラベル入力部２００において、制御部２０１は、学習画像情報記憶部１０１（図７に例示）に格納されている１つの学習画像情報を読み取り、読み取った学習画像情報に含まれている動画データを、図１０に例示されているようなユーザインターフェース２０１０を介して、表示装置（不図示）に表示する（ステップＳ２０１）。さらに、制御部２０１は、ラベル情報（図１１に例示）に基づき、読み取った学習画像情報（図７に例示）に関するラベルを特定し、特定したラベルを、たとえば、ユーザインターフェース２０１０における領域２０１５に表示する。

【0048】

制御部２０１は、たとえば、ユーザインターフェース２０１０を介して、画像データに関するラベルを入力する（ステップＳ２０２）。この場合に、制御部２０１は、第１検索条件に関するラベルと、第２検索条件に関するラベルとを、それぞれ入力する。

【0049】

制御部２０１は、該動画データＩＤと、該動画データＩＤが表す動画データにおけるフレームを表すフレームＩＤと、入力されたラベル（すなわち、当該フレームに対して入力されたラベル）とが関連付けされた画像ラベル情報（図１２に例示）を作成する（ステップＳ２０３）。図１２は、画像ラベル記憶部２０３に格納されている画像ラベル情報の一例を概念的に表す図である。制御部２０１は、作成した画像ラベル情報を画像ラベル記憶部２０３に格納する。すなわち、制御部２０１は、対象検索条件が緩和された第１検索条件に関するラベル（たとえば、ラベル「Ｃ０１」及びラベル「Ｃ０２」）と、第２検索条件に関するラベル（たとえば、ラベル「Ｃ０３」及びラベル「Ｃ０４」）とを含む画像ラベル情報を作成する。

【0050】

特徴量作成部３１０において、特徴量モデル作成部３１１は、画像ラベル記憶部２０３に格納されている画像ラベル情報（図１２に例示）に基づき、第１検索条件に関するラベルと、該ラベルが割り当てられたフレームとの関係性を表すモデルに含まれている重みを算出する（ステップＳ２０４）。同様に、特徴量モデル作成部３１１は、画像ラベル記憶部２０３に格納されている画像ラベル情報（図１２に例示）に基づき、第２検索条件に関するラベルと、該ラベルが割り当てられたフレーム（画像データ）との関係性を表すモデルに含まれている重みを算出する（ステップＳ２０５）。

【0051】

ステップＳ２０４にて、特徴量モデル作成部３１１は、所定の手順に従い、フレームが有する特徴を表す特徴量（たとえば、ＨＯＧ特徴量）を算出し、算出した特徴量と、第１検索条件に関するラベルとの関係性を表すモデルを構成している重みを、ＣＮＮ法等の機械学習法によって算出する（ステップＳ２０４）。尚、ＨＯＧ特徴量は、Ｈｉｓｔｏｇｒａｍｓ＿ｏｆ＿Ｏｒｉｅｎｔｅｄ＿Ｇｒａｄｉｅｎｔｓの略称を表す。ＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ＿Ｎｅｕｒａｌ＿Ｎｅｔｗｏｒｋの略称を表す。特徴量モデル作成部３１１は、同様な手法によって、算出した特徴量と、第２検索条件に関するラベルとの関係性を表すモデルに含まれている重みを算出する（ステップＳ２０５）。すなわち、特徴量モデル作成部３１１は、第１検索条件に関するラベルを推定可能な第１モデルと、第２検索条件に関するラベルを推定可能な第２モデルとを作成する。

【0052】

次に、特徴量モデル作成部３１１は、作成したモデルを表すモデルＩＤと、該モデルに従い推定されるラベルとが関連付けされたモデル情報を作成し（ステップＳ２０６）、作成したモデル情報（図１３に例示）をモデル情報記憶部３１２に格納する。図１３は、モデル情報の一例を概念的に表す図である。モデル情報は、さらに、モデルを表す情報、または、モデルに関連付けされていてもよい。

【0053】

図１３に例示されたモデル情報を参照すると、モデルＩＤ「Ｍ１０１」と、モデル「帽子をかぶった人がいる」と、ラベルＩＤ「Ｃ０１、Ｃ０２」とが関連付けされている。これは、第１検索条件「帽子をかぶった人がいるか」に関するラベル（ラベルＩＤ「Ｃ０１」が表すラベル、及び、ラベルＩＤ「Ｃ０２」が表すラベル）に関して、モデルＩＤ「Ｍ１０１」が表すモデルを特徴量モデル作成部３１１が作成したことを表す。図１３に例示されたモデル情報を参照すると、モデルＩＤ「Ｍ１０２」と、モデル「ジャンパーを着た人がいる」と、ラベルＩＤ「Ｃ０３、Ｃ０４」とが関連付けされている。これは、第２検索条件「ジャンパーを着た人がいるか」に関するラベル（ラベルＩＤ「Ｃ０３」が表すラベル、及び、ラベルＩＤ「Ｃ０４」が表すラベル）に関して、モデルＩＤ「Ｍ１０２」が表すモデルを特徴量モデル作成部３１１が作成したことを表す。

【0054】

次に、図１６を参照しながら、ＣＮＮによって作成されるモデルの一例について説明する。該モデルは、図３に示されたステップＳ３０６、及び、図４に示されたステップＳ４０４における処理にて作成される特徴量を算出する基となる重みを含んでいる。図１６は、ＣＮＮが有する構成の一例を概念的に表す図である。ＣＮＮは、後述する所定の第１処理手順、及び、所定の第２処理手順の一例である。

【0055】

ＣＮＮは、入力層７１と、中間層７２と、出力層７３とを有する。入力層７１と、中間層７２と、出力層７３とは、それぞれ、ある処理を表すノード７４を複数含む。入力層７１におけるノード７４は、たとえば、上述したＨＯＧ特徴量等の特徴量を入力する処理を表す。中間層７２、及び、出力層７３におけるノード７６は、入力された値に対して、ある演算を実行する処理を表す。また、エッジ７５は、矢印の方向に、重みを掛け算する処理を表す。各エッジに関する重みは、たとえば、畳み込み処理、Ｐｏｏｌｉｎｇ処理等の処理が繰り返し実行されることによって、入力層７１に入力された特徴量と、ラベルとの関係から求められる。ＣＮＮは、さらに多くのノードを含んでいてもよい。すなわち、ＣＮＮは、図１６に示された例に限定されない。

【0056】

所定の第１処理手順、及び、所定の第２処理手順は、必ずしも、１つの手法である必要はなく、上述した例に限定されない。

【0057】

次に、図４を参照しながら、図２に示されたステップＳ１０３、及び、ステップＳ１０４における処理について説明する。図４は、図２に示されたステップＳ１０３、及び、ステップＳ１０４における処理の詳細な流れを示すフローチャートである。

【0058】

制御部２０１は、表示画像情報記憶部１０２から、対象検索条件に関するラベルを付与する対象である表示画像情報（図８に例示）を読み取り、読み取った表示画像情報に関する動画データを、たとえば、図１０に例示されたユーザインターフェース２０１０を介して、表示装置（不図示）に表示する（ステップＳ３０１）。制御部２０１は、たとえば、図１０に例示されたユーザインターフェース２０１０を介して入力されたラベル（すなわち、対象検索条件が成り立つか否かを表すラベル）を入力する（ステップＳ３０２）。

【0059】

フレーム作成部４１１は、表示画像情報記憶部１０２に格納されている表示画像情報（図８に例示）における動画データを読み取り、読み取った動画データに関するフレームを作成する（ステップＳ３０３）。フレーム作成部４１１は、たとえば、動画データＩＤがＶ３０００番台の動画データに対して、それぞれ、フレーム（画像データ）を作成する。フレーム作成部４１１は、該動画データＩＤに関して、フレームを識別可能なフレームＩＤを算出し、作成したフレームと、算出したフレームＩＤとが関連付けされたフレーム情報を作成し、作成したフレーム情報をフレーム情報記憶部４１２に格納する。この場合に、フレーム作成部４１１は、作成したフレームに対するラベルを、入力されたラベルに基づき選択する。

【0060】

制御部２０１は、該動画データＩＤと、該動画データＩＤが表す動画データにおけるフレームを表すフレームＩＤと、入力されたラベル（すなわち、当該フレームに対して入力されたラベル）とが関連付けされた画像ラベル情報（図１７に例示）を作成し（ステップＳ３０４）、作成した画像ラベル情報を画像ラベル記憶部２０３に格納する。図１７は、画像ラベル記憶部２０３に格納されている画像ラベル情報の一例を概念的に表す図である。

【0061】

特徴量算出部３１３は、対象検索条件に関連している第１検索条件に関するラベルを推定可能なモデル、及び、該対象検索条件に関連している第２検索条件に関するラベルを推定可能なモデルを、モデル情報記憶部３１２に格納されているモデル情報（図１３に例示）に基づき特定する（ステップＳ３０５）。たとえば、第１検索条件に関するラベルを表すラベルＩＤが、ラベルＩＤ「Ｃ０１」、及び、ラベルＩＤ「Ｃ０２」であるので、特徴量算出部３１３は、モデル情報記憶部３１２に格納されているモデル情報（図１３に例示）に基づき、該ラベルＩＤに関連付けされたモデルＩＤ「Ｍ１０１」を特定する。同様に、第２検索条件に関するラベルを表すラベルＩＤが、ラベルＩＤ「Ｃ０３」、及び、ラベルＩＤ「Ｃ０４」であるので、特徴量算出部３１３は、モデル情報記憶部３１２に格納されているモデル情報（図１３に例示）に基づき、該ラベルＩＤに関連付けされたモデルＩＤ「Ｍ１０２」を特定する。

【0062】

次に、特徴量算出部３１３は、特定したモデルをフレーム情報記憶部４１２に格納されているフレームに対して適用する。この処理によって、たとえば、図１６に例示された中間層７２における各ノード７４にて、該ノードに対して入力されたデータが重み付けされた値に関する総和が算出される。

【0063】

たとえば、特徴量算出部３１３は、図１３に例示されたモデル情報に基づき、第１検索条件に関するラベルを推定可能なモデルを表すモデルＩＤ「Ｍ１０１」を特定する。さらに、特徴量算出部３１３は、図１７に例示された画像ラベル情報に基づき、ラベルが入力された動画データＩＤ「Ｖ３００１」が表す動画データに含まれているフレームを表すフレームＩＤ「１」を特定する。次に、特徴量算出部３１３は、フレームＩＤ「１」が表すフレームに対して、モデルＩＤ「Ｍ１０１」が表すモデルを適用する。これによって、図１６に例示された中間層７２における各ノード７４にて、該ノードに入力されたデータに対する処理が実行され、該処理の結果、算出値が算出される。たとえば、適合度学習情報作成部３２１は、動画データＩＤ「Ｖ３００１」が表す動画データに含まれているフレームＩＤ「１」に、モデルＩＤ「Ｍ１０１」が表すモデルを適用する。この処理によって、適合度学習情報作成部３２１は、たとえば、図１６に例示された中間層７２におけるノード７４にて算出された値を含む算出値「２、１０、１８２、１２８、・・・」（図１４に例示）を算出する。同様に、適合度学習情報作成部３２１は、動画データＩＤ「Ｖ３００１」が表す動画データに含まれているフレームＩＤ「１」に、モデルＩＤ「Ｍ１０２」が表すモデルを適用する。この処理によって、適合度学習情報作成部３２１は、たとえば、図１６に例示された中間層７２におけるノード７４にて算出された値を含む算出値「１０、１０、１７５、１３１、・・・」（図１５に例示）を算出する。図１４、及び、図１５は、特徴情報記憶部３１４に格納されている特徴情報を概念的に表す図である。適合度学習情報作成部３２１は、算出した算出値と、該算出値に関するフレームＩＤと、動画データＩＤと、モデルＩＤとが関連付けされた特徴情報を作成し、作成した特徴情報を、特徴情報記憶部３１４（図１４、及び、図１５に例示）に格納する。

【0064】

適合度学習情報作成部３２１は、特徴情報記憶部３１４に格納されている特徴情報のうち、ある動画データＩＤと、あるフレームＩＤとに関連付けされた算出値に関して、所定の手順に従い、特徴ベクトルを作成する（ステップＳ３０６）。次に、適合度学習情報作成部３２１は、画像ラベル記憶部２０３に格納されている画像ラベル情報（図１７に例示）にて、該動画データＩＤ、及び、該フレームＩＤに関連付けされたラベルＩＤを特定する（ステップＳ３０７）。適合度学習情報作成部３２１は、該動画データＩＤと、該フレームＩＤと、作成した特徴ベクトルと、特定したラベルＩＤと、当該ラベルＩＤを表すラベルが正しいことを表す正解情報（たとえば、「１」）とが関連付けされた適合度学習情報（図１８に例示）を作成し（ステップＳ３０８）、作成した適合度学習情報を適合度学習情報記憶部３２２に格納する。同様に、適合度学習情報作成部３２１は、対象検索条件に関するラベルであって、特定した当該ラベルと異なるラベルを表すラベルＩＤと、該動画データＩＤと、該フレームＩＤと、作成した特徴ベクトルと、当該ラベルＩＤを表すラベルが正しくないことを表す正解情報（たとえば、「０」）とが関連付けされた適合度学習情報（図１８に例示）を作成する（ステップＳ３０８）。適合度学習情報作成部３２１は、作成した適合度学習情報を適合度学習情報記憶部３２２に格納する。図１８は、適合度学習情報記憶部３２２に格納されている適合度学習情報の一例を概念的に表す図である。

【0065】

適合度学習情報作成部３２１は、たとえば、動画データＩＤ「Ｖ３００１」に関する画像情報においてフレームＩＤ「１」に関して、特徴情報（図１４に例示）に基づき、モデルＩＤ「Ｍ１０１」に関連付けされた算出値「２、１０、１８３、１２８、・・・」を特定する。モデルＩＤ「１０１」が表すモデルは、たとえば、第１検索条件「帽子をかぶった人がいるか」を推定可能なモデルである。同様に、適合度学習情報作成部３２１は、たとえば、動画データＩＤ「Ｖ３００１」に関する画像情報において、フレームＩＤ「１」が表すフレームに関して、特徴情報（図１５に例示）に基づき、モデルＩＤ「Ｍ１０２」に関連付けされた算出値「１０、１０、１７５、１３１、・・・」を算出する。

【0066】

また、モデルＩＤ「１０２」が表すモデルは、たとえば、第２検索条件「ジャンパーを着た人がいるか」を推定可能なモデルである。適合度学習情報作成部３２１は、読み取った２つの算出値を含む特徴ベクトル「２、１０、１８３、１２８、・・・、１０、１０、１７５、１３１、・・・」を作成する。図１８に例示されているように、適合度学習情報作成部３２１は、作成した特徴ベクトルと、動画データＩＤ「Ｖ３００１」と、フレームＩＤ「１」と、ラベルＩＤ「Ｃ０５」とが関連付けされた適合度学習情報を作成する（ステップＳ３０８）。

【0067】

所定の手順に関して、算出値に含まれている値を並べる順序は、所定の順序であればよく、たとえば、モデルＩＤ「Ｍ１０１」が表すモデルに関して算出された算出値の次に、モデルＩＤ「Ｍ１０２」が表すモデルに関して算出された算出値が並べられた順序であってもよい。または、該順序は、たとえば、モデルＩＤ「Ｍ１０２」が表すモデルに関して算出された算出値の次に、モデルＩＤ「Ｍ１０１」が表すモデルに関して算出された算出値が並べられていた順序であってもよい。また、所定の手順は、必ずしも、図１６に例示された中間層７２に含まれているすべてのノード７４にて処理された値をすべて含んでいる必要はなく、一部の値であってもよい。すなわち、所定の手順は、上述した例に限定されない。

【0068】

適合度学習情報作成部３２１は、画像ラベル記憶部２０３（図１７に例示）から、動画データＩＤ「Ｖ３００１」、及び、フレームＩＤ「１」に関連付けされたラベルＩＤ「Ｃ０５」を特定する。この場合に、適合度学習情報作成部３２１は、ラベルＩＤ「Ｃ０５」に関して、正解であることを表す正解情報「１」を作成する。これに対して、適合度学習情報作成部３２１は、ラベルＩＤ「Ｃ０５」が表すラベルと対を成すラベルＩＤ「Ｃ０６」に関して、正解でないことを表す正解情報「０」を作成する。

【0069】

適合度学習情報作成部３２１は、上述した処理を、各画像データに関して実行する。

【0070】

次に、適合度モデル作成部３２３は、適合度学習情報記憶部３２２に格納されている情報に基づき、たとえば、ＳＳＩ法に従い、特徴ベクトルと対象検索条件に関するラベルとの間の関係性を表すモデルを作成する（ステップＳ３０９）。尚、ＳＳＩは、Ｓｕｐｅｒｖｉｓｅｄ＿Ｓｅｍａｎｔｉｃ＿Ｉｎｄｅｘｉｎｇの略称を表す。ＳＳＩは、後述する所定の第３処理手順の一例である。所定の第３処理手順は、必ずしも、ＳＳＩである必要はなく、所定の第１処理手順、または、所定の第２処理手順と同様な処理手順であってもよい。

【0071】

次に、適合度学習情報作成部３２１は、作成したモデルを表すモデルＩＤと、ラベルＩＤとが関連付けされた適合度モデル情報（図１９に例示）を作成し（ステップＳ３１０）、作成した適合度モデル情報を適合度モデル情報記憶部３２４に格納する。適合度モデル情報は、さらに、該ラベル、または、作成したモデルに関連付けされていてもよい。図１９は、適合度モデル情報記憶部３２４に格納されている適合度モデル情報の一例を概念的に表す図である。

【0072】

たとえば、適合度学習情報作成部３２１は、対象検索条件に関する第１検索条件「帽子をかぶった人がいるか」と、対象検索条件に関する第２検索条件「ジャンパーを着た人がいるか」とが、ともに成立するラベルを推定可能なモデルを作成する。

【0073】

次に、図５を参照しながら、図２に示されたステップＳ１０４、及び、ステップＳ１０５における処理について詳細に説明する。図５は、図２に示されたステップＳ１０４、及び、ステップＳ１０５における処理の詳細な流れを示すフローチャートである。

【0074】

フレーム作成部４１１は、未処理画像情報記憶部１０３に格納されている未処理画像情報（図９に例示）を読み取り、読み取った未処理画像情報に含まれている動画データに関してフレームを作成し（ステップＳ４０１）、作成したフレームをフレーム情報記憶部４１２に格納する。たとえば、フレーム作成部４１１は、未処理画像情報記憶部１０３（図９に例示）に格納されている、すべての未処理画像情報に関してフレームを作成し、作成したフレームをフレーム情報記憶部４１２に格納する。

【0075】

特徴量算出部３１３は、モデル情報記憶部３１２（図１３に例示）に格納されているモデル情報に基づき、第１検索条件に関するラベルを推定可能なモデル、及び、第２検索条件に関するラベルを推定可能なモデルを特定する（ステップＳ４０２）。次に、特徴量算出部３１３は、フレーム情報記憶部４１２に格納されているフレームに対して、特定したモデルを、それぞれ、適用する（ステップＳ４０３）。この処理によって、図１６に例示されているような中間層７２にて算出値が算出される。たとえば、算出値「９３、７２、１１２、１６５、・・・」は、モデルＩＤ「Ｍ１０１」が表すモデル（すなわち、第１検索条件に関するラベルを推定可能なモデル）に従って算出される。たとえば、算出値「３２、４３、１１２、８７、・・・」は、モデルＩＤ「Ｍ１０２」が表すモデル（すなわち、第２検索条件に関するラベルを推定可能なモデル）に従って算出される。

【0076】

特徴量作成部４２１は、所定の手順に従い処理を実行することによって、該算出値に関する特徴ベクトルを算出し（ステップＳ４０４）、算出した特徴ベクトルと、該特徴ベクトルを算出する基であるフレームに関する動画データＩＤと、フレームＩＤとが関連付けされた適合度判定情報（図２０に例示）を作成する（ステップＳ４０５）。図２０は、適合度判定情報記憶部４２２に格納されている適合度判定情報の一例を概念的に表す図である。

【0077】

特徴量作成部４２１は、作成した適合度判定情報を特徴情報記憶部３１４に格納する。たとえば、特徴量算出部３１３は、動画データＩＤ「Ｖ４００１」に関する画像情報に含まれているフレーム「１」に関して、特徴ベクトル「（９３、７２、１１２、１６５、・・・、３２、４３、１１２、８７、・・・）」を算出する。

【0078】

適合度算出部３２５は、適合度判定情報記憶部４２２に格納されている各特徴ベクトルに対して、対象検索条件に関するラベルを推定可能なモデルを適用することによって、該特徴ベクトルに関して、該ラベルに適合している程度（度合い）を表すラベル適合度を算出する（ステップＳ４０６）。適合度算出部３２５は、算出したラベル適合度と、該ラベル適合度に関する動画データＩＤと、フレームＩＤと、モデルＩＤと、該ラベル適合度に関するラベルＩＤとが関連付けされた適合度情報（図２１に例示）を作成し、作成した適合度情報を適合度情報記憶部３２６に格納する。図２１は、適合度情報記憶部３２６に格納されている適合度情報の一例を概念的に表す図である。具体的に、適合度算出部３２５は、入力した特徴ベクトルに対して、モデルＩＤ「Ｍ２０１」が表すモデルを適用することによって、ラベルＩＤ「Ｃ０５」が表すラベル、及び、ラベルＩＤ「Ｃ０６」が表すラベルに適合している程度を表すラベル適合度を算出する。ラベル適合度は、たとえば、あるラベルである確率を表し、０から１までのいずれかの値である。

【0079】

ラベル判定部５０１は、適合度情報記憶部３２６に格納されている適合度情報（図２１に例示）に基づき、あるフレームに関するラベルを選択する（ステップＳ４０７）。ラベル判定部５０１は、選択したラベルと、該あるフレームを表すフレームＩＤと、該フレームを含む動画データを表す動画データＩＤとが関連付けされた予想ラベル情報（図２２に例示）を作成し（ステップＳ４０８）、作成した予想ラベル情報を予測ラベル情報記憶部５０２に格納する。図２２は、予測ラベル情報記憶部５０２に格納されている予想ラベル情報の一例を概念的に表す図である。

【0080】

たとえば、ラベル判定部５０１は、あるフレームを表すフレームＩＤに関して、ラベルＩＤ「Ｃ０５」に関して算出されたラベル適合度と、ラベルＩＤ「Ｃ０６」に関して算出されたラベル適合度とを比較し、大きなラベル適合度であるラベルを、該あるフレームに対して付与する。図２１に例示された適合度情報の場合に、動画データＩＤ「Ｖ４００１」、及び、フレームＩＤ「１」に関連付けされたデータのうち、ラベルＩＤ「Ｃ０５」に関連付けされたラベル適合度が０．８５であり、ラベルＩＤ「Ｃ０６」に関連付けされたラベル適合度が０．１５である。したがって、ラベルＩＤ「Ｃ０５」に関するラベル適合度がラベルＩＤ「Ｃ０６」に関するラベル適合度よりも大きな値であるので、ラベル判定部５０１は、動画データＩＤ「Ｖ４００１」が表す動画データに関するフレームＩＤ「１」が表すフレームに対して、ラベルＩＤ「Ｃ０５」が表すラベルを割り当てる。同様に、ラベル判定部５０１は、適合度情報に含まれている他のフレームに関しても、ラベルを割り当てる処理を実行する。

【0081】

次に、第１の実施形態に係るデータ推定装置６００に関する効果について説明する。

【0082】

第１の実施形態に係るデータ推定装置６００によれば、対象検索条件が厳しい条件であっても、対象データを正しく判定することができる。

【0083】

この理由は、本願発明者が見出した傾向に従い、データ推定装置６００が処理を実行するからである。詳細に説明すると、本願発明者は、以下に示す第１観点よりも、第２観点の方が、分類精度が高いことが多いという傾向を見出した。

【0084】

○第１観点：第１検索条件、及び、第２検索条件（すなわち、対象検索条件）が成り立つか否かを判定するモデルに基づき、ラベルを判定する、
○第２観点：第１検索条件が成り立つか否かを推定可能な第１モデルと、第２検索条件が成り立つか否かを推定可能な第２モデルとを作成する。次に、第１モデルに基づき算出される値と、第２モデルに基づき算出される値とに基づき、第１検索条件、及び、第２検索条件が成り立つか否かを推定可能なモデルを作成する。次に、該作成したモデルに基づきラベルを判定する。

【0085】

データ推定装置６００が、第２観点に従い作成されたモデルに基づき処理を行うので、本実施形態に係るデータ推定装置６００によれば、対象検索条件が厳しい条件であっても、対象データを正しく判定することができる。

【0086】

すなわち、第１の実施形態に係るデータ推定装置６００によれば、対象検索条件が厳しい条件であっても、対象データを正しく判定することができる。

【0087】

第１の実施形態に係るデータ推定装置６００によれば、さらに、対象検索条件が厳しい条件であっても、ユーザが、容易に、ラベルを入力することができるという効果を奏する。この理由は、対象検索条件が緩和された条件である第１検索条件、及び、第２検索条件に関するラベルに関して入力し、入力されたラベルに基づき作成されたモデルに従い、対象検索条件に関するラベルを入力するからである。すなわち、ユーザは、比較的、検知しやすい第１検索条件、及び、第２検索条件に関するラベルを入力し、次に、対象検索条件に関するラベルを段階的に入力する。この結果、ユーザがラベル付けする負荷は低減する。

【0088】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

【0089】

図２３を参照しながら、本発明の第２の実施形態に係るデータ推定装置８０１が有する構成について詳細に説明する。図２３は、本発明の第２の実施形態に係るデータ推定装置８０１が有する構成を示すブロック図である。

【0090】

第２の実施形態に係るデータ推定装置８０１は、第１演算部８０２と、第２演算部８０３と、第３演算部８０４とを有する。

【0091】

データ推定装置８０１は、以下に示すような第１モデル乃至第３モデルが格納されているモデル記憶部８０５と接続されている。

【0092】

○第１モデル：第１対象データに関して所定の第１処理手順に従い演算することによって第１検索条件が成り立つか否かを推定可能なモデル、
○第２モデル：第２対象データに関して所定の第２処理手順に従い演算することによって第２検索条件が成り立つか否かを推定可能なモデル、
○第３モデル：第３対象データに対して適用された該第１モデルにおいて算出される演算結果と、第３対象データに対して適用された該第２モデルにおいて算出される演算結果とに関して、所定の第３処理手順に従い演算することによって、第３対象データに関して、第１検索条件、及び、第２検索条件が成り立つか否かを推定可能なモデル。

【0093】

第１の実施形態に示された対象検索条件は、たとえば、第１検索条件と、第２検索条件との論理積である。第３モデルは、たとえば、第１の実施形態に示された対象検索条件に関するラベルを推定可能なモデルを表す。所定の第１処理手順、及び、所定の第２処理手順は、たとえば、図１６に例示されたＣＮＮである。所定の第３処理手順は、たとえば、第１の実施形態に示されたＳＳＩ法である。

【0094】

次に、第２の実施形態に係るデータ推定装置８０１における処理について説明する。

【0095】

第１演算部８０２は、モデル記憶部８０５から第１モデルを読み取り、読み取った第１モデルをあるデータに対して適用する。すなわち、第１演算部８０２は、あるデータに対して、所定の第１処理手順に従い処理を実行することによって、該処理にて算出される第１演算結果を算出する。

【0096】

第２演算部８０３は、モデル記憶部８０５から第２モデルを読み取り、読み取った第２モデルをあるデータに対して適用する。すなわち、第２演算部８０３は、あるデータに対して、所定の第２処理手順に従い処理を実行することによって、該処理にて算出される第２演算結果を算出する。

【0097】

次に、第３演算部８０４は、モデル記憶部８０５から第３モデルを読み取る。第３演算部８０４は、該あるデータに対して第１演算部８０２が算出した第１演算結果と、該あるデータに対して第２演算部８０３が算出した第２演算結果とに関して、読み取った第３モデルを適用する。すなわち、第３演算部８０４は、該あるデータに関する第１演算結果と、該あるデータに関する第２演算結果とに対して、所定の第３処理手順に従い処理を実行することによって、第１検索条件、及び、第２検索条件が成り立つ程度を算出する。

【0098】

第１演算部８０２は、図１に示された特徴量作成部３１０等が有する機能を用いて実現することができる。第２演算部８０３は、図１に示された特徴量作成部３１０等が有する機能を用いて実現することができる。第３演算部８０４は、図１に示された適合度特徴量作成部４２０、及び、適合度作成部３２０等が有する機能を用いて実現することができる。すなわち、データ推定装置８０１は、図１に示されたデータ推定装置６００が有する機能を用いて実現することができる。

【0099】

次に、第２の実施形態に係るデータ推定装置８０１に関する効果について説明する。

【0100】

第２の実施形態に係るデータ推定装置８０１によれば、対象検索条件が厳しい条件であっても、対象データを正しく判定することができる。

【0101】

この理由は、本願発明者が見出した傾向に従い、データ推定装置８０１が処理を実行するからである。この理由を詳細に説明すると、本願発明者は、前述した第１観点よりも、第２観点の方が、分類精度が高いことが多いという傾向を見出すことができたからである。データ推定装置８０１が、第２観点に従い作成されたモデルに基づき処理を行うので、そして、本実施形態に係るデータ推定装置８０１によれば、対象検索条件が厳しい条件であっても、対象データを正しく判定することができる。

【0102】

（ハードウェア構成例）
上述した本発明の各実施形態におけるデータ推定装置を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、係るデータ推定装置は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現してもよい。また、係るデータ推定装置は、専用の装置として実現してもよい。

【0103】

図２４は、第１の実施形態、または、第２の実施形態に係るデータ推定装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。計算処理装置２０は、中央処理演算装置（Ｃｅｎｔｒａｌ＿ＰｒｏｃｅＳＳＩｎｇ＿Ｕｎｉｔ、以降「ＣＰＵ」と表す）２１、メモリ２２、ディスク２３、不揮発性記録媒体２４、通信インターフェース（以降、「通信ＩＦ」と表す）２７、及び、ディスプレー２８を有する。計算処理装置２０は、入力装置２５、出力装置２６に接続可能であってもよい。計算処理装置２０は、通信ＩＦ２７を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。

【0104】

不揮発性記録媒体２４は、コンピュータが読み取り可能な、たとえば、コンパクトディスク（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ）、デジタルバーサタイルディスク（Ｄｉｇｉｔａｌ＿Ｖｅｒｓａｔｉｌｅ＿Ｄｉｓｃ）である。また、不揮発性記録媒体２４は、ユニバーサルシリアルバスメモリ（ＵＳＢメモリ）、ソリッドステートドライブ（Ｓｏｌｉｄ＿Ｓｔａｔｅ＿Ｄｒｉｖｅ）等であってもよい。不揮発性記録媒体２４は、電源を供給しなくても係るプログラムを保持し、持ち運びを可能にする。不揮発性記録媒体２４は、上述した媒体に限定されない。また、不揮発性記録媒体２４の代わりに、通信ＩＦ２７、及び、通信ネットワークを介して、係るプログラムを持ち運びしてもよい。

【0105】

すなわち、ＣＰＵ２１は、ディスク２３に記憶されているソフトウェア・プログラム（コンピュータ・プログラム：以下、単に「プログラム」と称する）を、実行する際にメモリ２２にコピーし、演算処理を実行する。ＣＰＵ２１は、プログラム実行に必要なデータをメモリ２２から読み取る。表示が必要な場合には、ＣＰＵ２１は、たとえば、図１０に例示されたユーザインターフェース等をディスプレー２８に出力結果を表示する。外部への出力が必要な場合には、ＣＰＵ２１は、出力装置２６に出力結果を出力する。外部からプログラムを入力する場合、ＣＰＵ２１は、入力装置２５からプログラムを読み取る。ＣＰＵ２１は、上述した図１、または、図２３に示す各部が表す機能（処理）に対応するところのメモリ２２にあるデータ推定プログラム（図２乃至図５）を解釈し実行する。ＣＰＵ２１は、上述した本発明の各実施形態において説明した処理を順次実行する。

【0106】

すなわち、このような場合、本発明は、係るデータ推定プログラムによっても成し得ると捉えることができる。さらに、係るデータ推定プログラムが記録されたコンピュータが読み取り可能な不揮発性の記録媒体によっても、本発明は成し得ると捉えることができる。

【0107】

以上、上述した実施形態を模範的な例として本発明を説明した。しかし、本発明は、上述した実施形態には限定されない。すなわち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

【符号の説明】

【0108】

１００ 画像情報記憶部
１０１ 学習画像情報記憶部
１０２ 表示画像情報記憶部
１０３ 未処理画像情報記憶部
２００ ラベル入力部
２０１ 制御部
２０２ ラベル情報記憶部
２０３ 画像ラベル記憶部
３１０ 特徴量作成部
３１１ 特徴量モデル作成部
３１２ モデル情報記憶部
３１３ 特徴量算出部
３１４ 特徴情報記憶部
３２０ 適合度作成部
３２１ 適合度学習情報作成部
３２２ 適合度学習情報記憶部
３２３ 適合度モデル作成部
３２４ 適合度モデル情報記憶部
３２５ 適合度算出部
３２６ 適合度情報記憶部
４１０ フレーム情報作成部
４１１ フレーム作成部
４１２ フレーム情報記憶部
４２０ 適合度特徴量作成部
４２１ 特徴量作成部
４２２ 適合度判定情報記憶部
５００ ラベル選択部
５０１ ラベル判定部
５０２ 予測ラベル情報記憶部
６００ データ推定装置
２０１０ ユーザインターフェース
２０１１ 領域
２０１２ 領域
２０１３ 領域
２０１４ 領域
２０１５ 領域
２０１６ 矩形
７１ 入力層
７２ 中間層
７３ 出力層
７４ ノード
７５ エッジ
７６ ノード
８０１ データ推定装置
８０２ 第１演算部
８０３ 第２演算部
８０４ 第３演算部
８０５ モデル記憶部
２０ 計算処理装置
２１ ＣＰＵ
２２ メモリ
２３ ディスク
２４ 不揮発性記録媒体
２５ 入力装置
２６ 出力装置
２７ 通信ＩＦ
２８ ディスプレー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】