特許 6800671 付与装置、付与方法および付与プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6800671

(24)【登録日】2020年11月27日

(45)【発行日】2020年12月16日

(54)【発明の名称】付与装置、付与方法および付与プログラム

(51)【国際特許分類】

   G06F 16/48 20190101AFI20201207BHJP

   G06T 7/00 20170101ALI20201207BHJP

【ＦＩ】

   G06F16/48

   G06T7/00 300F

【請求項の数】17

【全頁数】19

(21)【出願番号】特願2016-180707(P2016-180707)

(22)【出願日】2016年9月15日

(65)【公開番号】特開2018-45517(P2018-45517A)

(43)【公開日】2018年3月22日

【審査請求日】2019年3月25日

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】岩崎 雅二郎

【審査官】 吉田 誠

(56)【参考文献】

【文献】 特開２００８−０７８８３６（ＪＰ，Ａ）

【文献】 特開２０１０−０２０４０４（ＪＰ，Ａ）

【文献】 特開２０１３−２００８６７（ＪＰ，Ａ）

【文献】 特開２００１−１６７２７６（ＪＰ，Ａ）

【文献】 特開２０１５−８９０２１（ＪＰ，Ａ）

【文献】 特開２０１５−１５６０５４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像に含まれる複数の被写体について、前記被写体までの距離に関する情報である距離情報を前記被写体ごとに画像から取得する取得部と、
前記距離情報に基づいて、前記画像中の被写体を分類し、分類結果に基づいて、前記画像の特徴を特定する特定部と、
前記特定部により特定された特徴を示すラベルを前記画像に付与する付与部と
を有することを特徴とする付与装置。

【請求項2】

前記付与部は、利用者が入力した検索クエリとの比較対象となるラベルを前記画像に付与する
ことを特徴とする請求項１に記載の付与装置。

【請求項3】

前記特定部は、前記距離情報が示す距離の前記画像における分布に基づいて、前記画像に含まれる複数の被写体を分類し、分類結果に基づいて、前記画像の特徴を特定する
ことを特徴とする請求項１または２に記載の付与装置。

【請求項4】

前記特定部は、前記距離情報が示す距離の前記画像における分布に基づいて、前記画像に含まれる複数の被写体について、同一の被写体が含まれると推定される領域を抽出し、抽出した領域に含まれる被写体を前記画像の特徴として特定する
ことを特徴とする請求項１〜３のうちいずれか１つに記載の付与装置。

【請求項5】

前記特定部は、画像に含まれる被写体を特定するモデルを用いて、前記抽出した領域から被写体を特定する
ことを特徴とする請求項４に記載の付与装置。

【請求項6】

前記特定部は、前記画像の特徴として、前記画像に撮像されている複数の被写体のうち、撮像位置までの距離が最も近い被写体を特定し、
前記付与部は、前記特定部により特定された被写体が主となる被写体である旨を示すラベルを前記画像に付与する
ことを特徴とする請求項１〜５のうちいずれか１つに記載の付与装置。

【請求項7】

前記特定部は、前記画像の特徴として、前記画像に撮像されている複数の被写体のうち、撮像位置までの距離が所定の閾値よりも遠い被写体を特定し、
前記付与部は、前記特定部により特定された被写体が背景である旨を示すラベルを前記画像に付与する
ことを特徴とする請求項１〜６のうちいずれか１つに記載の付与装置。

【請求項8】

前記特定部は、前記画像の特徴として、前記画像に撮像されている複数の被写体の数を前記分類結果に基づいて特定する
ことを特徴とする請求項１〜７のうちいずれか１つに記載の付与装置。

【請求項9】

前記特定部は、前記画像の特徴として、前記画像に撮像されている被写体を特定し、
前記付与部は、前記特定部により分類された被写体を示すラベルを前記画像に付与する
ことを特徴とする請求項１〜８のうちいずれか１つに記載の付与装置。

【請求項10】

前記付与部は、前記特定部により分類された被写体までの距離に基づくラベルを前記画像に付与する
ことを特徴とする請求項１〜９のうちいずれか１つに記載の付与装置。

【請求項11】

前記特定部は、前記画像のうち、前記特定部により分類された被写体が撮像された領域の占有率に基づいたラベルを前記画像に付与する
ことを特徴とする請求項１〜１０のうちいずれか１つに記載の付与装置。

【請求項12】

前記距離情報に基づいて、前記画像に含まれる分類された被写体を特定するモデルを学習する学習部
を有し、
前記特定部は、前記学習部により学習されたモデルを用いて、当該被写体を当該画像の特徴として特定する
ことを特徴とする請求項１〜１１のうちいずれか１つに記載の付与装置。

【請求項13】

前記学習部は、前記距離情報に基づいて当該被写体が平坦であるか否かを判定し、当該被写体が平坦である場合には、当該被写体が所定の表示装置により表示された被写体である旨を特定するモデルを学習する
ことを特徴とする請求項１２に記載の付与装置。

【請求項14】

前記取得部は、複数の画像のそれぞれについて、画像に含まれる複数の被写体について、前記被写体までの距離に関する情報である距離情報を前記被写体ごとに画像から取得し、
前記特定部は、前記取得部が前記複数の画像のそれぞれについて取得した前記被写体ごとの距離情報に基づいて、前記被写体の動きを前記複数の画像の特徴として特定する
ことを特徴とする請求項１〜１３のうちいずれか１つに記載の付与装置。

【請求項15】

前記特定部は、前記距離情報が示す距離が所定の範囲内に収まる領域が移動する速さまたは方向の少なくともいずれか一方を特定し、特定内容に基づいて、前記被写体の動きを特定する
ことを特徴とする請求項１４に記載の付与装置。

【請求項16】

付与装置が実行する付与方法であって、
画像に含まれる複数の被写体について、前記被写体までの距離に関する情報である距離情報を前記被写体ごとに画像から取得する取得工程と、
前記距離情報に基づいて、前記画像中の被写体を分類し、分類結果に基づいて、前記画像の特徴を特定する特定工程と、
記特定工程により特定された特徴を示すラベルを前記画像に付与する付与工程と
を含むことを特徴とする付与方法。

【請求項17】

画像に含まれる複数の被写体について、前記被写体までの距離に関する情報である距離情報を前記被写体ごとに画像から取得する取得手順と、
前記距離情報に基づいて、前記画像中の被写体を分類し、分類結果に基づいて、前記画像の特徴を特定する特定手順と、
前記特定手順により特定された特徴を示すラベルを前記画像に付与する付与手順と
をコンピュータに実行させるための付与プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、付与装置、付与方法および付与プログラムに関する。

【背景技術】

【0002】

従来、各種のデータに対してデータのカテゴリを示すラベル付けが行われている。例えば、検索クエリに対応する静止画像や動画像（以下、「画像」と総称する。）の検索を容易にするため、被写体等といった画像の素性を示すラベルを画像に付与し、各画像に付与されたラベルに基づいて検索を行う技術が知られている。例えば、画像に関連する各種の情報や、画像のピクセルを解析して画像の素性を特定し、特定した素性を示すラベルを付与する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５−１９２４４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の方法では、適切なラベルを付けることができるとは限らなかった。

【0005】

例えば、上記の方法では、人物の顔を表示する表示装置が撮像されている場合に、人物の顔が撮像されているのか、人物の顔を表示する表示装置が撮像されているのかを精度良く特定することができない。

【0006】

本願は、上記に鑑みてなされたものであって、画像に付与するラベルの精度を向上させることを目的とする。

【課題を解決するための手段】

【0007】

本願に係る付与装置は、被写体までの距離に関する情報である距離情報を画像から取得する取得部と、前記距離情報に基づいて、前記画像の特徴を特定する特定部と、前記特定部により特定された特徴を示すラベルを前記画像に付与する付与部とを有することを特徴とする。

【発明の効果】

【0008】

実施形態の一態様によれば、画像に付されるラベルの精度を向上させる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る付与装置が実行する決定処理の一例を示す図である。

【図2】図２は、実施形態に係る付与装置の構成例を示す図である。

【図3】図３は、実施形態に係るモデルデータベースに登録される情報の一例を示す図である。

【図4】図４は、実施形態に係る画像データベースに登録される情報の一例を示す図である。

【図5】図５は、実施形態に係る付与装置が実行する学習処理の一例を示す図である。

【図6】図６は、実施形態にかかる付与装置が実行する決定処理の流れの一例を示すフローチャートである。

【図7】図７は、ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る付与装置、付与方法および付与プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る付与装置、付与方法および付与プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0011】

［実施形態］
〔１−１．付与装置の一例〕
まず、図１を用いて、付与装置が実行する決定処理の一例について説明する。図１は、実施形態に係る付与装置が実行する決定処理の一例を示す図である。図１では、付与装置１０は、インターネット等の所定のネットワークＮを介して、撮像装置１００や利用者Ｕ０１が使用する端末装置２００（例えば、図２）と通信可能である。なお、付与装置１０は、任意の数の撮像装置１００や任意の数の端末装置２００と通信可能であってよい。

【0012】

撮像装置１００は、画像を撮像する撮像装置であり、デジタルカメラやスマートフォン等、静止画像や動画像といった各種の画像のデータを取得可能な任意の装置により実現される。そして、撮像装置１００は、撮像した画像のデータ（以下、単に「画像」と記載する場合がある。）を付与装置１０へと送信する。例えば、撮像装置１００は、ＵＳＢ（Universal Serial Bus）等といった有線若しくはＬＡＮ（Local Area Network）等といった無線の通信手段を介して、画像を付与装置１０へと送信する。なお、撮像装置１００は、ＰＣ（Personal Computer）端末やサーバ装置等の情報処理装置に画像データを格納し、情報処理装置を介して付与装置１０に画像のデータを送信してもよい。

【0013】

付与装置１０は、画像のデータを受付けると、後述する付与処理を実行することで、画像の特徴を示すラベルを画像に付与する。そして、付与装置１０は、ラベルを付与した画像を保持する。そして、付与装置１０は、端末装置２００から検索クエリを取得した場合には、検索クエリと内容が合致するラベルを付与した画像を特定し、特定した画像を検索結果として端末装置２００へと送信する。すなわち、付与装置１０は、画像に付与したラベルを用いて、画像の検索処理を実行する。

【0014】

なお、付与装置１０は、所謂類似画像検索にラベルを利用してもよい。例えば、付与装置１０は、検索クエリとして、画像を端末装置２００から受信した場合は、付与処理と同様の処理を実行することで、画像の特徴を示すラベルを特定する。そして、付与装置１０は、特定したラベルと同一または類似するラベルが付与された画像を検索し、検索した画像を検索クエリと類似する画像として端末装置２００へと配信する。

【0015】

端末装置２００は、利用者Ｕ０１が使用する端末装置であり、例えば、スマートフォンやタブレット等といった携帯移動端末装置やＰＣ端末、サーバ装置等により実現される。例えば、端末装置２００は、利用者が検索クエリとして入力したテキストや画像を付与装置１０へと送信する。そして、端末装置２００は、付与装置１０から検索結果として受信した画像を表示する。

【0016】

〔１−２．決定処理について〕
ここで、画像にラベルを付与する方法として、画像の各画素のＲＧＢ（Red Green Blue）の変化やエッジの抽出等、画像解析技術を用いて、被写体を特定し、特定した被写体を示すラベルを付与する技術が考えられる。しかしながら、このような技術では、適切なラベルを付けることができるとは限らなかった。

【0017】

例えば、人の顔を識別するモデルを用いて、画像に人の顔が撮像されているか否かを判定し、画像に人の顔が撮像されている場合は、人物が撮像されている旨のラベルを付与する技術が考えられる。しかしながら、人の顔を識別するモデルは、人物の顔を表示する表示装置が撮像されている場合に、人物の顔が撮像されているのか、人物の顔を表示する表示装置が撮像されているのかを精度良く特定することができない。この結果、人物の顔を表示する表示装置が撮像されている画像に、人物が撮像されている旨のラベルを付してしまう恐れがある。

【0018】

そこで、付与装置１０は、以下の付与処理を実行する。まず、付与装置１０は、被写体までの距離に関する情報である距離情報を画像から取得する。続いて、付与装置１０は、距離情報に基づいて、画像の特徴を特定する。そして、付与装置１０は、特定された特徴を示すラベルを画像に付与する。

【0019】

例えば、付与装置１０は、距離情報が示す距離の分布が、画像全体において所定の閾値よりも遠い場合は、風景が撮像された画像であると判定し、風景が撮像されている旨を示すラベルを画像に付与する。また、付与装置１０は、画像内に、距離情報が示す距離が所定の閾値よりも近い領域が存在する場合は、かかる領域に撮像された被写体を特定し、特定した被写体を示すラベルを画像に付与する。

【0020】

〔１−３．距離情報について〕
以下、付与装置１０が距離情報を画像から取得する処理について説明する。例えば、撮像装置１００は、撮像後に焦点距離を変更することができる画像の撮像を行うことができるカメラであり、所謂ライトフィールドカメラである。例えば、撮像装置１００は、複数のレンズを用いて、撮像位置が異なる複数の画像を同時に撮像し、撮像した複数の画像を合成することで、撮像後に焦点距離を変更することができる画像を生成する。

【0021】

なお、撮像装置１００は、被写体までの距離を特定し、特定した距離を示す距離情報を画像データに埋め込むことができる測距カメラであってもよい。また、撮像装置１００は、位置が異なる複数のレンズを有し、各レンズを用いて同時に撮像した画像を合成することで、立体写真を撮像するためのステレオカメラであってもよい。また、撮像装置１００は、撮像時に取得された光を所定のカラーフィルターに通し、カラーフィルターを通した光の屈折率の違いに基づいて、撮像位置から被写体までの距離を特定するカメラであってもよい。すなわち、撮像装置１００は、「深度」や「デプス」等と呼ばれる被写体までの奥行き方をデータまたは画像として記録するカメラであれば、任意のカメラが適用可能である。

【0022】

このような撮像装置１００が撮像した画像からは、撮像位置から被写体までの距離を画素ごとに特定することが可能である。そこで、付与装置１０は、撮像位置から被写体までの距離（以下、単に「被写体までの距離」と記載する。）を撮像装置１００が撮像した画像から取得する。例えば、付与装置１０は、画像を複数の領域分割し、各領域ごとにピントが合う際の焦点距離を求めることで、各領域ごとに被写体までの距離を特定する。また、例えば、付与装置１０は、撮像装置１００のレンズ間の距離と、焦点距離と、各レンズが撮像した画像とに基づいて、被写体までの距離を特定してもよい。なお、付与装置１０は、このような処理以外にも、任意の処理に基づいて、被写体までの距離を特定して良い。

【0023】

なお、「撮像位置から被写体までの距離」とは、例えば１メートル等といった所定の単位系で示すことができる数値のみならず、他の画像に含まれる被写体を基準として遠いか近いかといった相対的な情報をも含む概念である。例えば、付与装置１０は、第１の領域に撮像された被写体までの距離が何メートルであるかを示す距離情報を取得してもよく、第１の領域と第２の領域とのうち、どちらの領域がより撮像位置に近いかを示す距離情報を取得してもよい。

【0024】

〔１−４．距離情報に基づいた特徴の特定について〕
そして、付与装置１０は、画像から取得した距離情報を用いて、画像の特徴を特定する。より具体的には、付与装置１０は、距離情報が示す距離の画像における分布に基づいて、画像の特徴を特定する。例えば、付与装置１０は、距離情報が示す距離が所定の範囲内となる領域を画像上から特定する。そして、付与装置１０は、特定した領域内に撮像された被写体を特定する。すなわち、付与装置１０は、距離情報に基づいたクラスタリングを行うことで同一距離の被写体が抽出できる。さらに同一距離の被写体が複数ある場合が考えられるので、各クラスタ毎に画像中の座標値でクラスタリングやラベリング（連結領域の抽出）を行うことで同一距離の複数の被写体を分離できる。すなわち、付与装置１０は、距離情報が示す距離が同程度となる範囲の画像中の座標値を特定し、特定した座標値を考慮して、距離情報が同程度にまとまる範囲のクラスタリングやラべリングを行う。この結果、付与装置１０は、距離が同程度となる範囲、すなわち、ある一つの被写体や同一視が可能な被写体が含まれる範囲を特定できる。

【0025】

すなわち、同一の被写体が撮像された領域に含まれる各画素（若しくは、距離情報が取得可能な単位）は、距離情報が同程度の距離を示すと予測される。そこで、付与装置１０は、距離情報が示す距離の画像における分布に基づいて、同一の被写体が含まれると推定される領域を抽出し、抽出した領域に含まれる被写体を画像の特徴として特定する。例えば、付与装置１０は、被写体までの距離が１メートルとなる領域を画像から抽出し、抽出した領域に撮像されている被写体を特定する。そして、付与装置１０は、特定した被写体が、例えば、人物である場合は、人物が撮像された画像である旨を示すラベルを画像に付与する。なお、付与装置１０は、距離の分布に応じて、画像から複数の領域を抽出し、抽出した領域ごとに撮像された被写体を特定する。そして、付与装置１０は、特定した各被写体を示すラベルを画像に付与してもよい。

【0026】

また、付与装置１０は、距離情報に基づいたクラスタリングを行うことで、被写体が主題であるか、背景であるかを特定してもよい。例えば、付与装置１０は、距離情報及び座標情報に基づいたクラスタリングを行う。そして、付与装置１０は、特定した被写体が主題となる被写体であるか、背景であるかを特定し、特定した内容を示すラベルを付与してもよい。すなわち、付与装置１０は、特定した被写体までの距離に基づくラベルを付与してもよい。例えば、付与装置１０は、画像から複数の領域を抽出し、抽出した領域ごとに撮像された被写体を特定した場合、特定した各被写体の奥行方向の位置関係を距離情報から特定することができる。例えば、付与装置１０は、被写体までの距離が第１距離の領域から第１被写体を特定し、被写体までの距離が第１距離よりも遠い第２距離の領域から第２被写体を特定した場合、第１被写体の奥に第２被写体が撮像されている旨を特定することができる。そこで、付与装置１０は、例えば、第１被写体と第２被写体とが撮像されている旨のラベルと共に、第１被写体よりも奥に第２被写体が撮像されている旨を示すラベルを付与してもよい。また、付与装置１０は、第１距離および第２距離を示す値をラベルとして付与してもよい。

【0027】

また、付与装置１０は、各領域に撮像された被写体までの距離に応じたラベルとして、各被写体が背景であるか、主題であるかを示すラベルを付与してもよい。例えば、付与装置１０は、画像の特徴として、画像に撮像されている被写体のうち、撮像位置までの距離が最も近い被写体を特定し、特定された被写体が主となる被写体である旨を示すラベルを画像に付与してもよい。例えば、付与装置１０は、画像から、撮像位置までの距離が最も近い領域を抽出し、抽出した領域に撮像されている被写体を特定する。そして、付与装置１０は、特定した被写体が主題である旨を示すラベルを画像に付与してもよい。なお、例えば、付与装置１０は、画像から、撮像位置までの距離が所定の閾値よりも短い領域をすべて抽出し、抽出した領域に撮像されている１つ又は複数の被写体を特定する。なお、近いだけでなく画像の中心に位置するかを主となる被写体の判断基準として追加しても良い。そして、付与装置１０は、特定した１つ又は複数の被写体が主題である旨を示すラベルを画像に付与してもよい。

【0028】

例えば、付与装置１０は、画像の特徴として、画像に撮像されている被写体のうち、撮像位置までの距離が最も遠い被写体を特定し、特定された被写体が背景となる被写体である旨を示すラベルを画像に付与してもよい。例えば、付与装置１０は、画像から、撮像位置までの距離が最も遠い領域を抽出し、抽出した領域に撮像されている被写体を特定する。そして、付与装置１０は、特定した被写体が背景である旨を示すラベルを画像に付与してもよい。なお、一般的な画像において、背景となる被写体（例えば、遠方の山や空）等は、焦点距離が無限大となる。そこで、付与装置１０は、撮像位置までの距離が所定の閾値よりも長い領域や撮像位置までの距離が無限大となる領域を抽出し、抽出した領域に撮像されている被写体を特定し、特定した被写体が背景である旨を示すラベルを画像に付与してもよい。なお、被写体が画像中の周辺に位置するという情報を加えて背景か否かを判断しても良い。

【0029】

また、付与装置１０は、特定された被写体が撮像された領域の占有率に基づいたラベルを付与してもよい。例えば、付与装置１０は、特定された被写体が撮像された領域の画像に対する占有率を特定する。そして、付与装置１０は、特定した占有率が最も大きい被写体を示すラベルを画像に付与してもよい。また、例えば、付与装置１０は、特定した占有率が最も大きい被写体を主題とするラベルを画像に付与してもよい。また、例えば、付与装置１０は、各被写体が撮像された領域の画像に対する占有率を示すラベルを付与してもよい。

【0030】

また、付与装置１０は、画像に撮像されている被写体の数を距離の分布や座標に基づいて特定し、特定した被写体の数を示すラベルを付与してもよい。例えば、付与装置１０は、画像内に距離が第１の範囲内に収まる第１領域と、距離が第２の範囲内に収まる第２領域とが含まれている場合、第１領域と第２領域とに異なる被写体が撮像されていると判定する。この結果、付与装置１０は、２つの被写体が撮像されている旨のラベルを画像に付与してもよい。

【0031】

このように、付与装置１０は、距離情報に基づいて、被写体までの距離、被写体が撮像された範囲の画像に対する占有率（面積でもよい）、被写体の個数等を特定し、特定した内容を示すラベルを画像に付与してもよい。

【0032】

〔１−５．被写体の特定について〕
ここで、付与装置１０は、被写体を任意の画像解析技術により特定してよい。例えば、付与装置１０は、距離情報に基づいて抽出した領域に撮像された被写体を特定するためのモデルであれば、任意のモデルを採用可能である。例えば、付与装置１０は、ＳＶＭ（Support Vector Machine）といったモデルのみならず、ＤＮＮ（Deep Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＣＮＮ（Convolutional Neural Network）等といったニューラルネットワークの技術を用いたモデルを用いて、取引対象の分類を行ってもよい。

【0033】

また、付与装置１０は、距離情報が示す被写体までの距離に基づいて、被写体の特定を行ってもよい。例えば、付与装置１０は、距離情報が示す被写体までの距離に基づいて、被写体の特定を行うモデルを学習し、学習したモデルを用いて、被写体を画像の特徴として特定してもよい。例えば、付与装置１０は、距離情報が示す被写体までの距離が所定の距離よりも短い場合は、被写体が主題となる被写体である旨を特定するモデルの学習を行ってもよい。

【0034】

また、例えば、付与装置１０は、距離情報に基づいて被写体が平坦であるか否かを判定し、被写体が平坦である場合には、被写体が所定の表示装置により表示された被写体である旨を特定するモデルを学習してもよい。例えば、付与装置１０は、被写体が平坦であり、かつ、画素のＲＧＢに基づいて人の顔が画像に含まれている場合には、人の顔を表示している表示装置を被写体として特定し、被写体が平坦ではなく、かつ、画素のＲＧＢに基づいて人の顔が画像に含まれている場合には、人の顔を被写体として特定するモデルの学習を行ってもよい。

【0035】

また、付与装置１０は、距離情報を用いた任意の学習を行ってもよい。例えば、付与装置１０は、正解データとなる画像から距離情報に基づいて抽出した領域と、かかる領域に対応する距離情報とを入力し、かかる領域に撮像された被写体がどのような物体であるのか、どのような状態の物体であるのか等を出力するように、バックプロパゲーション法によりモデルが有する各ノード間の伝達係数を修正してもよい。

【0036】

例えば、付与装置１０は、距離情報に基づいて、撮像された領域が星空であるのか、星空を投影したプラネタリウムの画像であるのかを判定するモデルを学習してもよい。具体的には、付与装置１０は、画像に星空の特徴が含まれており、かつ、距離情報が示す距離が所定の距離よりも遠い場合は、本物の星空が被写体であると判定し、画像に星空の特徴が含まれており、かつ、距離情報が示す距離が所定の距離よりも短い場合は、星空の写真やプラネタリウムの写真が被写体であると判定するモデルを学習してもよい。

【0037】

ここで、上板が一様なテーブル等に物体が配置されている場合、従来のＲＧＢのみを用いたモデルは、テーブルに物体が配置されているのか、物体が浮いているのかを判定することができない。そこで、付与装置１０は、距離情報に基づいて、テーブル等といった上に物体が配置されているのか、物体が浮いているのかを判定するモデルを学習してもよい。例えば、付与装置１０は、距離情報が示す距離が徐々に変化する領域であって、ＲＧＢの値が一様な領域上に複数の物体が配置されている場合は、テーブルの上に複数の物体が配置されていると判定し、距離情報が示す距離が変化しない、若しくは距離が所定の閾値よりも遠い領域であって、ＲＧＢの値が一様な領域上に複数の物体が配置されている場合は、複数の物体が浮いていると判定するモデルを学習してもよい。

【0038】

〔１−６．複数の画像を用いた付与処理について〕
ここで、付与装置１０は、動画像にラベルを付与する場合、動画像に含まれる複数の画像のそれぞれについて、距離情報を取得し、複数の画像のそれぞれについて取得した距離情報に基づいて、被写体の動きを複数の画像の特徴として特定してもよい。また、付与装置１０は、距離情報が示す距離が所定の範囲内に収まる領域が移動する速さまたは方向の少なくともいずれか一方を特定し、特定内容に基づいて、被写体の動きを特定してもよい。

【0039】

例えば、付与装置１０は、動画像から第１のフレーム画像と、第１のフレーム画像よりも後で表示される第２のフレーム画像とを抽出する。ここで、第１のフレーム画像と第２のフレーム画像とは、連続するフレーム画像であってもよく、再生時間が所定の時間だけ離れたフレーム画像であってもよい。続いて、付与装置１０は、第１のフレーム画像および第２のフレーム画像から距離情報に基づいて、主となる被写体が撮像されている領域を特定する。そして、付与装置１０は、第１のフレーム画像から抽出した領域と、第２のフレーム画像から抽出した領域との位置の差や、被写体までの距離等に基づいて、被写体の移動速度や移動方向（例えば、奥側であるのか手前側であるのか等）を特定し、特定した移動速度や移動方向を示すラベルを動画像に付与してもよい。

【0040】

また、付与装置１０は、被写体の移動方向や速さ、距離の変化等に応じて、例えば、被写体が踊っている、走っている、ジャンプしている、手を振っている、ドラムをたたいている等、被写体の任意の動作を特定してもよい。また、付与装置１０は、被写体の移動方向や速さ、距離の変化等に応じて、被写体が移動した結果、撮像範囲から外れたのか、所定の表示装置が被写体を断続的に表示しているのかといった判別を行ってもよい。

【0041】

〔１−７．ラベルについて〕
ここで、付与装置１０は、利用者が入力した検索クエリとの比較対象となるラベルを画像に付与する。例えば、付与装置１０は、主題が何であるか、背景が何であるかを示すラベルや、いくつの被写体が撮像されているか、被写体までの距離がどれくらいであるかを示すラベル等を付与する。なお、付与装置１０は、上述したラベル以外にも、被写体を示すラベルであれば、距離情報に基づくラベル等、任意のラベルを付与してよい。

【0042】

〔１−８．決定処理の一例について〕
次に、図１を用いて、付与装置１０が実行する決定処理の一例について説明する。例えば、付与装置１０は、撮像装置１００から、距離情報を取得可能な画像を取得する（ステップＳ１）。このような場合、付与装置１０は、画像から、距離情報を取得し、取得した距離情報が示す距離の分布に基づいて、同一被写体が含まれると推定される領域を抽出する（ステップＳ２）。

【0043】

例えば、図１に示す例では、画像Ｐ１として、青空の手前に山が写っており、その手前に地面が撮像されるとともに、地面上であって画像の右側に１人の人物が写っており、さらに手前に２人の人物が撮像されている画像を取得する。かかる画像Ｐ１を取得した場合、付与装置１０は、距離情報に基づいて、被写体までの距離が同程度となる複数の領域Ａ１〜Ａ６を抽出する。例えば、付与装置１０は、空が撮像された領域を被写体までの距離が最も遠くなる領域Ａ１として抽出し、山が撮像された範囲を被写体までの距離が２番目に遠い領域Ａ２として抽出し、地面が撮像された範囲を被写体までの距離が３番目に遠い領域Ａ３として抽出する。また、付与装置１０は、１人の人物が撮像された範囲を被写体までの距離が４番目に遠い領域Ａ４として抽出し、２人の人物が撮像された範囲を被写体までの距離が最も近いに領域Ａ５および領域Ａ６として抽出する。

【0044】

そして、付与装置１０は、被写体を推定するモデルを用いて、抽出した領域Ａ１〜Ａ６ごとに撮像された被写体を特定し、特定結果と、各被写体までの距離とに基づいたラベルを画像に付与する（ステップS３）。例えば、付与装置１０は、モデルを用いて、領域Ａ１内に撮像された被写体が「青空」であると判定し、領域Ａ２内に撮像された被写体が「山」であると判定する。また、付与装置１０は、モデルを用いて、領域Ａ４〜Ａ６に撮像された被写体が「人物」であると判定する。

【0045】

また、付与装置１０は、距離情報に基づいて、領域Ａ１内に撮像された被写体までの距離「距離＃１」、領域Ａ２内に撮像された被写体までの距離「距離＃２」、領域Ａ４内に撮像された被写体までの距離「距離＃３」、領域Ａ５および領域Ａ６内に撮像された被写体までの距離「距離＃４」を特定する。このような場合、付与装置１０は、各距離を比較し、領域Ａ５および領域Ａ６内に撮像された被写体が、撮像位置に最も近い被写体である旨を特定する。この結果、付与装置１０は、領域Ａ５および領域Ａ６内に撮像された被写体が、画像Ｐ１の「主題」となる被写体であり、他の領域に撮像された被写体が、画像Ｐ１の「背景」となる被写体であると判定する。

【0046】

また、付与装置１０は、撮像位置までの距離ごとに領域の数を計数し、計数した数を被写体の数とする。例えば、付与装置１０は、撮像位置までの距離が「距離＃１」である領域、撮像位置までの距離が「距離＃２」である領域、および撮像位置までの距離が「距離＃３」である領域がそれぞれ１つであり、撮像位置までの距離が「距離＃４」である領域が２つである旨を特定する。

【0047】

この結果、付与装置１０は、撮像位置までの距離が「距離＃１」である領域Ａ１内に撮像された被写体が「１」つの「青空」であり、かかる被写体が「背景」である旨を示すラベル「背景：青空：１」を画像Ｐ１に付与する。また、付与装置１０は、撮像位置までの距離が「距離＃２」である領域Ａ２内に撮像された被写体が「１」つの「山」であり、かかる被写体が「背景」である旨を示すラベル「背景：山：１」を画像Ｐ１に付与する。また、付与装置１０は、撮像位置までの距離が「距離＃３」である領域Ａ４内に撮像された被写体が「１」つの「人物」であり、かかる被写体が「背景」である旨を示すラベル「背景：人物：１」を画像Ｐ１に付与する。また、付与装置１０は、撮像位置までの距離が「距離＃４」である領域Ａ５および領域Ａ６内に撮像された被写体が「２」つの「人物」であり、かかる被写体が「主題」である旨を示すラベル「主題：人物：２」を画像Ｐ１に付与する。

【0048】

また、付与装置１０は、利用者Ｕ０１から検索クエリを受信する（ステップＳ４）。このような場合、付与装置１０は、受信した検索クエリと合致するラベルの画像を特定し、特定した画像を利用者Ｕ０１に提供する（ステップＳ５）。例えば、付与装置１０は、「２人の人物」等といった検索クエリを受付けた場合は、主題が「２人の人物」である旨を示すラベル、すなわち「主題：人物：２」が付与された画像を検索し、検索した画像を利用者Ｕ０１に提供する。

【0049】

なお、付与装置１０は、利用者Ｕ０１から検索クエリとして画像を受信した場合は、従来の画像解析技術もしくは上述した付与処理に基づいて、画像の特徴を示すラベルを特定し、特定したラベルと一致または類似するラベルが付与された画像の検索を行う。そして、付与装置１０は、検索された画像を利用者Ｕ０１に提供することで、類似画像検索を実現する。

【0050】

〔２．付与装置の構成〕
以下、上記した決定処理を実現する付与装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る付与装置の構成例を示す図である。図２に示すように、付与装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

【0051】

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、撮像装置１００や端末装置２００との間で情報の送受信を行う。

【0052】

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、モデルデータベース３１、および画像データベース３２（以下、「各データベース３１〜３２」と総称する場合がある。）を記憶する。

【0053】

モデルデータベース３１には、取引対象の分類を行うモデルが格納される。例えば、図３は、実施形態に係るモデルデータベースに登録される情報の一例を示す図である。図３に示すように、モデルデータベース３１には、複数のモデルのモデルデータが登録されている。なお、図３に示す例では、モデルデータとして、「モデル＃１」、「モデル＃２」といった概念的な値を記載したが、実際には、モデルとして動作するＳＶＭのデータ、ニューラルネットワークのノード情報や伝達係数、カテゴリの名称等といったデータが登録されることとなる。

【0054】

図３に示すように、モデルデータベース３１には「モデル＃１」や「モデル＃２」といった複数のモデルが登録されている。これらのモデルは、それぞれ異なる被写体が撮像されているか否かを判定するように学習されたモデルである。例えば、「モデル＃１」は、被写体が「山」であるか否かを判定し、「モデル＃２」は、被写体が「人物」であるか否かを判定するように学習されたモデルである。この例では各モデルは２値クラス（山か山でないの２値）で表現しているが、マルチクラスの識別器を利用する場合には単一のモデルにより複数の分類クラスを判定することも可能である。また、ＲＧＢおよび距離、さらには、これらＲＧＢおよび距離を動画として、つまり、時間時上の連続した複数の画像（フレーム）を学習して、上述の各種判別情報を抽出するモデルを生成した上で、各種情報を判定しても良い。

【0055】

図２に戻り、説明を続ける。画像データベース３２には、検索対象となる画像がラベルと共に格納される。例えば、図４は、実施形態に係る画像データベースに登録される情報の一例を示す図である。図４に示すように、画像データベース３２には、「画像ＩＤ（Identifier）」、「画像データ」、「撮像日時」、「距離情報」、「ラベル」といった項目を有する情報が登録されている。なお、画像データベース３２には、他にも、画像に関連する情報であれば、任意の情報が登録されていてよい。

【0056】

ここで、「画像ＩＤ」とは、取引対象の識別子である。また、「画像データ」とは、画像のデータであり、任意のデータ形式が採用可能である。また、「撮像日時」とは、画像が撮像された日時を示す。また、「距離情報」とは、画像の各領域に撮像された被写体までの距離を示す情報である。また、「ラベル」とは、付与処理によって付与されたラベルである。

【0057】

例えば、図４に示す例では、画像ＩＤ「ＩＤ＃１」、画像データ「画像データ＃１」、撮像日時「2016/09/08/10：10」、距離情報「距離情報＃１」、ラベル「主題：人物：２、背景：人物：１、背景：山：１、背景：青空：１・・・」といった情報が対応付けて登録されている。かかる情報は、画像ＩＤ「ＩＤ＃１」が示す画像の画像データが「画像データ＃１」であり、撮像された日時が「2016/09/08/10：10」である旨を示す。また、かかるデータは、画像ＩＤ「ＩＤ＃１」が示す画像の各画素に撮像された被写体までの距離を距離情報「距離情報＃１」が示しており、ラベル「主題：人物：２、背景：人物：１、背景：山：１、背景：青空：１・・・」が付与されている旨を示す。

【0058】

なお、図４に示す例では、「画像データ＃１」や「距離情報＃１」といった概念的な値について記載したが、実際には、各種画像のデータや、各画素または所定の領域ごとに被写体までの距離を示す距離情報が登録されているものとする。

【0059】

図２に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、付与装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0060】

図２に示すように、制御部４０は、取得部４１、特定部４２、付与部４３、検索部４４、および学習部４５を有する。取得部４１は、被写体までの距離に関する情報である距離情報を画像から取得する。例えば、取得部４１は、撮像装置１００から、登録対象となる画像を取得する。このような場合、取得部４１は、撮像装置１００が撮像した画像から、画素ごとに被写体までの距離を特定し、特定した距離を示す距離情報を生成する。なお、取得部４１は、例えば、画像に付与されるデータとして撮像装置１００が特定した距離情報を取得してもよい。

【0061】

特定部４２は、距離情報に基づいて、画像の特徴を特定する。例えば、特定部４２は、距離情報が示す距離の画像における分布に基づいて、画像の特徴を特定する。より具体的な例を挙げると、特定部４２は、距離情報が示す距離の画像における分布に基づいて、画像のうち同一の被写体が含まれると推定される領域を抽出する。そして、特定部４２は、抽出した領域に含まれる被写体、すなわち、画像に撮像されている被写体を画像の特徴として特定する。より具体的には、特定部４２は、後述する学習部４５により、画像に含まれる被写体を特定するように学習が行われたモデルを用いて、画像から抽出した各領域内に撮像されていた被写体を特定する。例えば、特定部４２は、モデルデータベース３１に登録された各モデルを用いて、画像から抽出した各領域内に撮像されていた被写体を特定する。

【0062】

例えば、特定部４２は、画像に撮像されている被写体のうち、撮像位置までの距離が最も近い被写体を主題として特定してもよい。また、特定部４２は、画像に撮像されている被写体のうち、撮像位置までの距離が所定の閾値よりも遠い被写体を背景として特定してもよい。また、特定部４２は、抽出した領域のうち、撮像位置に最も近い領域の被写体を主題として特定してもよく、他の領域の被写体を背景として特定してもよい。

【0063】

また、特定部４２は、画像に撮像されている被写体の数を距離の分布に基づいて特定してもよい。例えば、特定部４２は、撮像位置までの距離が同程度となる領域の数を距離情報に基づいて特定し、特定した数を被写体の数としてもよい。また、特定部４２は、被写体が撮像された領域の占有率を特徴として特定してもよい。

【0064】

付与部４３は、特定部４２により特定された特徴を示すラベルを画像に付与する。例えば、付与部４３は、特定部４２により主題となる被写体として特定された被写体が、主題となる被写体である旨を示すラベルを画像に付与する。また、付与部４３は、特定部４２により背景となる被写体として特定された被写体が、背景となる被写体である旨を示すラベルを画像に付与する。

【0065】

なお、付与部４３は、特定部４２により特定された被写体までの距離に基づくラベルを画像に付与してもよい。例えば、付与部４３は、特定部４２により特定された被写体までの距離を距離情報に基づいて特定し、特定した距離を示すラベルを画像に付与してもよい。この結果、付与部４３は、利用者Ｕ０１が入力した検索クエリとの比較対象となるラベルを画像に付与することができる。その後、付与部４３は、画像データから撮像日時を特定するとともに、画像データと、画像が撮像された日時と、距離情報と、ラベルとを対応付けて画像データベース３２に登録する。

【0066】

なお、ラベルの付与対象が動画像である場合、取得部４１は、動画像に含まれる複数の画像のそれぞれについて、距離情報を取得する。そして、特定部４２は、複数の画像のそれぞれについて取得した距離情報に基づいて、被写体の動きを複数の画像の特徴として特定することとなる。例えば、特定部４２は、距離情報が示す距離が所定の範囲内に収まる領域が移動する速さまたは方向の少なくともいずれか一方を特定し、特定内容に基づいて、被写体の動きを特定する。そして、付与部４３は、特定部４２が特定した特徴を示すラベルを動画像に付与する。なお、付与装置１０は、動画像のみならず、例えば、時間差で撮像した複数の画像について、動画像と同様の処理を実行することで、被写体の動きを画像の特徴として特定し、特定した特徴を示すラベルを付与してもよい。

【0067】

検索部４４は、利用者Ｕ０１が入力した検索クエリとの比較対象となるラベルが付与された画像を検索する。例えば、検索部４４は、検索クエリとしてテキストを端末装置２００から受信した場合は、形態素解析等といった任意の文字解析技術を用いて、検索クエリと合致又は類似するラベルを特定し、特定したラベルが付与された画像を画像データベース３２から検索する。そして、検索部４４は、検索した画像を端末装置２００へと送信する。

【0068】

なお、検索部４４は、検索クエリとして画像を受信した場合は、特定部４２および付与部４３と同様の処理を実行することで、検索クエリである画像に付与すべきラベルを特定する。そして、検索部４４は、特定したラベルと一致するラベルが付与された画像を画像データベース３２から検索し、検索した画像を端末装置２００へと送信する。

【0069】

学習部４５は、距離情報に基づいて、画像に含まれる被写体を特定するモデルを学習する。より具体的には、学習部４５は、距離情報に基づいて被写体が平坦であるか否かを判定し、被写体が平坦である場合には、被写体が所定の表示装置により表示された被写体である旨を特定するモデルを学習する。

【0070】

例えば、図５は、実施形態に係る付与装置が実行する学習処理の一例を示す図である。例えば、図５中（Ａ）に示す画像には、利用者Ｕ０１の顔が撮像されている。このような画像の距離情報に基づいて、被写体までの距離を特定した場合は、図５中（Ｂ）に示すように、利用者Ｕ０１の顔の凹凸に起因して、被写体までの距離が一様ではない領域が生じると考えられる。一方、図５中（Ｃ）に示す画像には、利用者の顔を表示する表示装置Ｄ０１が撮像されている。このような画像の距離情報に基づいて、被写体までの距離を特定した場合は、図５中（Ｄ）に示すように、被写体までの距離が一様となる領域が生じると考えられる。

【0071】

そこで、学習部４５は、抽出された領域内に撮像された被写体が平坦であるか否かを距離情報に基づいて判定し、被写体が平坦である場合には、被写体が所定の表示装置により表示された被写体である旨を特定するモデルを学習してもよい。例えば、学習部４５は、被写体が平坦であり、かつ、画素のＲＧＢに基づいて人の顔が画像に含まれていると判定可能な場合には、人の顔を表示している表示装置が被写体であると判定し、被写体が平坦ではなく、かつ、画素のＲＧＢに基づいて人の顔が画像に含まれていると判定可能な場合には、人の顔が被写体であると判定するモデルの学習を行ってもよい。

【0072】

〔３．付与処理の流れの一例〕
続いて、図６を用いて、付与装置１０が実行する付与処理の流れについて説明する。図６は、実施形態にかかる付与装置が実行する決定処理の流れの一例を示すフローチャートである。例えば、付与装置１０は、画像を取得すると、被写体までの距離を示す距離情報を画像から取得する（ステップＳ１０１）。続いて、付与装置１０は、取得した距離情報が示す距離の分布に基づいて、同一被写体を含むと推定される領域を抽出する（ステップＳ１０２）。そして、付与装置１０は、各領域に撮像された被写体を特定し（ステップＳ１０３）、特定した被写体と、各領域までの距離とに基づくラベルを画像に付与して（ステップＳ１０４）、処理を終了する。

【0073】

〔４．変形例〕
上記では、付与装置１０による付与処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、付与装置１０が実行する決定処理のバリエーションについて説明する。

【0074】

〔４−１．装置構成〕
付与装置１０は、撮像装置１００と同一視可能なサーバ装置やクラウドシステム等により実現されてもよく、撮像装置１００のバックエンドサーバとして動作してもよい。また、付与装置１０が発揮する機能は、撮像装置１００内に含まれていてもよい。

【0075】

また、付与装置１０は、複数の装置が協調することにより、上述した付与処理や学習処理を実現してもよい。例えば、付与装置１０は、取得部４１、特定部４２、付与部４３、検索部４４を有する付与サーバと、学習部４５を有する学習サーバにより実現されてもよい。また、記憶部３０に格納された各データベース３１〜３２は、付与装置１０の内部ではなく、例えば、外部のストレージサーバ等に格納されていてもよい。

【0076】

〔４−２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0077】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0078】

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0079】

〔５．プログラム〕
また、上述してきた実施形態に係る付与装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0080】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

【0081】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

【0082】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

【0083】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0084】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0085】

例えば、コンピュータ１０００が付与装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

【0086】

〔６．効果〕
上述したように、付与装置１０は、被写体までの距離に関する情報である距離情報を画像から取得する。そして、付与装置１０は、距離情報に基づいて、画像の特徴を特定し、特定した特徴を示すラベルを画像に付与する。このため、付与装置１０は、被写体までの距離に基づいた特徴を特定し、特定したラベルを画像に付与するので、画像に付与するラベルの精度を向上させることができる。

【0087】

また、付与装置１０は、利用者が入力した検索クエリとの比較対象となるラベルを画像に付与する。このため、付与装置１０は、距離情報に基づいたラベルを用いた画像検索を実現するので、画像を検索する際の検索精度を向上させることができる。

【0088】

また、付与装置１０は、距離情報が示す距離の画像における分布に基づいて、画像の特徴を特定する。このため、付与装置１０は、画像に付与するラベルの精度を向上させることができる。

【0089】

例えば、付与装置１０は、距離情報が示す距離の画像における分布に基づいて、画像のうち同一の被写体が含まれると推定される領域を抽出し、抽出した領域に含まれる被写体を画像の特徴として特定する。このため、付与装置１０は、画像に付与するラベルの精度を向上させることができる。

【0090】

また、付与装置１０は、画像に含まれる被写体を特定するモデルを用いて、抽出した領域から被写体を特定する。このため、付与装置１０は、被写体を示すラベルを画像に付与することができる。

【0091】

また、付与装置１０は、画像の特徴として、画像に撮像されている被写体のうち、撮像位置までの距離が最も近い被写体を特定する。そして、付与装置１０は、特定された被写体が主となる被写体である旨を示すラベルを画像に付与する。このため、付与装置１０は、主となる被写体に基づいた画像検索を実現することができる。

【0092】

また、付与装置１０は、画像の特徴として、画像に撮像されている被写体のうち、撮像位置までの距離が所定の閾値よりも遠い被写体を特定する。そして、付与装置１０は、特定された被写体が背景である旨を示すラベルを画像に付与する。このため、付与装置１０は、背景となる被写体に基づいた画像検索を実現することができる。

【0093】

また、付与装置１０は、画像の特徴として、画像に撮像されている被写体の数を距離の分布に基づいて特定する。このため、付与装置１０は、例えば、被写体の数の判定精度を向上させることができる。

【0094】

また、付与装置１０は、画像の特徴として、画像に撮像されている被写体を特定し、特定された被写体を示すラベルを画像に付与する。また、付与装置１０は、特定された被写体までの距離に基づくラベルを画像に付与する。また、付与装置１０は、画像のうち、特定された被写体が撮像された領域の占有率に基づいたラベルを画像に付与する。このため、付与装置１０は、様々な画像の特徴に応じた検索を実現するためのラベルを付与することができる。

【0095】

また、付与装置１０は、距離情報に基づいて、画像に含まれる被写体を特定するモデルを学習する。例えば、付与装置１０は、距離情報に基づいて被写体が平坦であるか否かを判定し、被写体が平坦である場合には、被写体が所定の表示装置により表示された被写体である旨を特定するモデルを学習する。そして、付与装置１０は、学習したモデルを用いて、被写体を画像の特徴として特定する。このため、付与装置１０は、被写体の判定精度を向上させることができる。

【0096】

また、付与装置１０は、複数の画像のそれぞれについて、距離情報を取得し、複数の画像のそれぞれについて取得した距離情報に基づいて、被写体の動きを複数の画像の特徴として特定する。例えば、付与装置１０は、距離情報が示す距離が所定の範囲内に収まる領域が移動する速さまたは方向の少なくともいずれか一方を特定し、特定内容に基づいて、被写体の動きを特定する。このため、付与装置１０は、動画像や撮像時間に時間差がある複数の画像から、被写体の動きを判定する際の判定精度を向上させることができる。

【0097】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0098】

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、特定部は、特定手段や特定回路に読み替えることができる。

【符号の説明】

【0099】

１０ 付与装置
２０ 通信部
３０ 記憶部
３１ モデルデータベース
３２ 画像データベース
４０ 制御部
４１ 取得部
４２ 特定部
４３ 付与部
４４ 検索部
４５ 学習部
１００ 撮像装置
２００ 端末装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】