知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024038611
(43)【公開日】2024-03-21
(54)【発明の名称】画像検索装置、画像検索方法、およびプログラム
(51)【国際特許分類】
G06F 16/53 20190101AFI20240313BHJP
【ＦＩ】
G06F16/53
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022142740
(22)【出願日】2022-09-08
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】トウ テイテイ
(72)【発明者】
【氏名】吉田 登
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA02
5B175HB03
(57)【要約】
【課題】複数の画像の中から所望の人物を含む画像を検索する処理の精度を向上させる。
【解決手段】本発明は、複数のクエリ画像を取得する画像取得部１１と、複数のクエリ画像各々から属性情報を生成する属性情報生成部１２と、複数のクエリ画像各々から生成された複数の属性情報を統合して統合属性情報を生成する統合部１３と、統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索部１４と、を有する画像検索装置１０を提供する。
【選択図】図１
【解決手段】本発明は、複数のクエリ画像を取得する画像取得部１１と、複数のクエリ画像各々から属性情報を生成する属性情報生成部１２と、複数のクエリ画像各々から生成された複数の属性情報を統合して統合属性情報を生成する統合部１３と、統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索部１４と、を有する画像検索装置１０を提供する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数のクエリ画像を取得する画像取得手段と、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段と、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段と、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段と、
を有する画像検索装置。
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段と、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段と、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段と、
を有する画像検索装置。
【請求項2】
前記統合手段は、
複数の統合方法の中から１つを選択するユーザ入力を受付け、
選択された前記統合方法で、複数の前記属性情報を統合する請求項１に記載の画像検索装置。
複数の統合方法の中から１つを選択するユーザ入力を受付け、
選択された前記統合方法で、複数の前記属性情報を統合する請求項１に記載の画像検索装置。
【請求項3】
前記属性情報を指定するユーザ入力を受付ける属性情報受付手段をさらに有し、
前記統合手段は、複数の前記クエリ画像各々から生成された前記属性情報と、前記ユーザ入力で指定された前記属性情報を統合する請求項１に記載の画像検索装置。
前記統合手段は、複数の前記クエリ画像各々から生成された前記属性情報と、前記ユーザ入力で指定された前記属性情報を統合する請求項１に記載の画像検索装置。
【請求項4】
前記属性情報は、前記クエリ画像を解析して特定された情報を含む請求項１に記載の画像検索装置。
【請求項5】
前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、及び、前記グループ毎に前記項目値の確信度の統計値を算出する処理を実行することで、前記グループ毎に、前記項目の前記項目値と前記項目値の確信度の統計値との組み合わせを生成し、
前記組み合わせの集合を、前記統合属性情報として生成する請求項４に記載の画像検索装置。
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、及び、前記グループ毎に前記項目値の確信度の統計値を算出する処理を実行することで、前記グループ毎に、前記項目の前記項目値と前記項目値の確信度の統計値との組み合わせを生成し、
前記組み合わせの集合を、前記統合属性情報として生成する請求項４に記載の画像検索装置。
【請求項6】
前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された複数の前記属性情報の全て、所定割合以上、又は所定数以上において同じ項目値となった前記項目を特定し、
特定した前記項目の前記項目値の集合を、前記統合属性情報として生成する請求項４に記載の画像検索装置。
前記統合手段は、
複数の前記クエリ画像各々から生成された複数の前記属性情報の全て、所定割合以上、又は所定数以上において同じ項目値となった前記項目を特定し、
特定した前記項目の前記項目値の集合を、前記統合属性情報として生成する請求項４に記載の画像検索装置。
【請求項7】
前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、及び、前記グループ毎に前記グループに属するメンバーの数に応じた重みを設定する処理を実行することで、前記グループ毎に、前記項目の前記項目値と前記重みとの組み合わせを生成し、
前記組み合わせの集合を、前記統合属性情報として生成する請求項４に記載の画像検索装置。
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、及び、前記グループ毎に前記グループに属するメンバーの数に応じた重みを設定する処理を実行することで、前記グループ毎に、前記項目の前記項目値と前記重みとの組み合わせを生成し、
前記組み合わせの集合を、前記統合属性情報として生成する請求項４に記載の画像検索装置。
【請求項8】
前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、前記グループ毎に前記グループに属するメンバーの数をカウントする処理、及び、前記項目毎に前記メンバーの数が最も多い前記グループを特定する処理を実行し、
前記項目毎に特定された前記グループ各々に対応する前記項目の前記項目値の集合を、前記統合属性情報として生成する請求項４に記載の画像検索装置。
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、前記グループ毎に前記グループに属するメンバーの数をカウントする処理、及び、前記項目毎に前記メンバーの数が最も多い前記グループを特定する処理を実行し、
前記項目毎に特定された前記グループ各々に対応する前記項目の前記項目値の集合を、前記統合属性情報として生成する請求項４に記載の画像検索装置。
【請求項9】
前記統合手段は、
複数の前記クエリ画像各々に前記クエリ画像単位で重みを設定するユーザ入力を受付け、
複数の前記クエリ画像各々から生成された複数の前記属性情報各々に、複数の前記クエリ画像各々に設定された前記重みを付して、前記統合属性情報を生成する請求項４に記載の画像検索装置。
複数の前記クエリ画像各々に前記クエリ画像単位で重みを設定するユーザ入力を受付け、
複数の前記クエリ画像各々から生成された複数の前記属性情報各々に、複数の前記クエリ画像各々に設定された前記重みを付して、前記統合属性情報を生成する請求項４に記載の画像検索装置。
【請求項10】
前記統合手段は、
複数の前記クエリ画像各々から生成された複数の属性情報の中から、前記クエリ画像毎に人物の身体の互いに異なる部分に関する前記属性情報を抽出し、
抽出した前記属性情報の集合を、前記統合属性情報として生成する請求項４に記載の画像検索装置。
複数の前記クエリ画像各々から生成された複数の属性情報の中から、前記クエリ画像毎に人物の身体の互いに異なる部分に関する前記属性情報を抽出し、
抽出した前記属性情報の集合を、前記統合属性情報として生成する請求項４に記載の画像検索装置。
【請求項11】
１つ以上のコンピュータが、
複数のクエリ画像を取得し、
複数の前記クエリ画像各々から属性情報を生成し、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成し、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する画像検索方法。
複数のクエリ画像を取得し、
複数の前記クエリ画像各々から属性情報を生成し、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成し、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する画像検索方法。
【請求項12】
コンピュータを、
複数のクエリ画像を取得する画像取得手段、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段、
として機能させるプログラム。
複数のクエリ画像を取得する画像取得手段、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像検索装置、画像検索方法、およびプログラムに関する。
【背景技術】
【0002】
本発明に関連する技術が、特許文献１乃至４に開示されている。
【0003】
特許文献１には、ユーザ入力に基づき第１のクエリを生成し、当該第１のクエリに基づき画像を検索し、検索によりヒットした画像のうち、所定操作により選択された複数の画像間の関連性を推定し、推定した関連性に基づき第２のクエリを生成し、当該第２のクエリに基づき画像を検索する処理が開示されている。
【0004】
特許文献２には、画像解析で特定された属性情報と、ユーザが入力した属性情報とで補完し合う処理が開示されている。
【0005】
特許文献３には、検索対象となる画像各々の属性情報を記憶したデータベースを用いて画像検索を行う処理が開示されている。
【0006】
特許文献４には、属性の信頼性を示す属性スコアを算出し、当該属性スコアに基づき画像検索を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】国際公開第２０１８／１５９０９５号公報
【特許文献2】国際公開第２０１６／０３５６３２号公報
【特許文献3】国際公開第２０２１／２２９７５１号公報
【特許文献4】特表２０１６－５０４６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
多種多様な属性情報（対象人物の性別、年齢、服装、姿勢等）を用いて画像検索を行うことで、所望の画像（対象人物を含む画像）を高精度に検索することが可能となる。
【0009】
ところで、画像検索の一例として、１枚のクエリ画像を用いた検索が挙げられる。この例の場合、多種多様な属性情報の全てが所望の内容となっている１枚のクエリ画像を用いて画像検索を行うことで、高精度に所望の対象画像を検索できる。しかし、多種多様な属性情報の全てが所望の内容となっている１枚のクエリ画像を探すのには多くの労力を要する。そして、多種多様な属性情報の一部が所望の内容となっているが、他の一部が所望の内容となっていない１枚のクエリ画像を用いて画像検索を行った場合、所望の対象画像を検索する精度が低くなる。特許文献１乃至４はいずれも、当該課題およびその解決手段を開示していない。
【0010】
本発明の目的の一例は、上述した問題を鑑み、複数の画像の中から所望の画像を検索する処理の精度を向上させるという課題を解決する画像検索装置、画像検索方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0011】
本発明の一態様によれば、
複数のクエリ画像を取得する画像取得手段と、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段と、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段と、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段と、
を有する画像検索装置が提供される。
複数のクエリ画像を取得する画像取得手段と、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段と、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段と、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段と、
を有する画像検索装置が提供される。
【0012】
本発明の一態様によれば、
１つ以上のコンピュータが、
複数のクエリ画像を取得し、
複数の前記クエリ画像各々から属性情報を生成し、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成し、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する画像検索方法が提供される。
１つ以上のコンピュータが、
複数のクエリ画像を取得し、
複数の前記クエリ画像各々から属性情報を生成し、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成し、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する画像検索方法が提供される。
【0013】
本発明の一態様によれば、
コンピュータを、
複数のクエリ画像を取得する画像取得手段、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段、
として機能させるプログラムが提供される。
コンピュータを、
複数のクエリ画像を取得する画像取得手段、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段、
として機能させるプログラムが提供される。
【発明の効果】
【0014】
本発明の一態様によれば、複数の画像の中から所望の画像を検索する処理の精度を向上させるという課題を解決する画像検索装置、画像検索方法、およびプログラムが実現される。
【図面の簡単な説明】
【0015】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる公的な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0016】
【図1】画像検索装置の機能ブロック図の一例を示す図である。
【図2】画像検索装置の処理の概要を説明するための図である。
【図3】画像検索装置のハードウエア構成の一例を示す図である。
【図4】統合方法の一例を説明するための図である。
【図5】画像検索装置が処理する情報の一例を模式的に示す図である。
【図6】統合方法の一例を説明するための図である。
【図7】統合方法の一例を説明するための図である。
【図8】統合方法の一例を説明するための図である。
【図9】統合方法の一例を説明するための図である。
【図10】人物の身体の一部を指定する入力を受付ける処理の一例を説明するための図である。
【図11】画像検索装置が処理する情報の他の一例を模式的に示す図である。
【図12】画像検索装置の処理の流れの一例を示すフローチャートである。
【図13】画像検索装置の機能ブロック図の他の一例を示す図である。
【図14】画像検索装置の処理の流れの他の一例を示すフローチャートである。
【図15】画像検索装置の処理の流れの他の一例を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0018】
＜第１の実施形態＞
図１は、第１の実施形態に係る画像検索装置１０の概要を示す機能ブロック図である。画像検索装置１０は、画像取得部１１と、属性情報生成部１２と、統合部１３と、検索部１４と、記憶部１５とを有する。なお、画像検索装置１０は記憶部１５を有さなくてもよい。この場合、画像検索装置１０と通信可能に構成された外部装置が記憶部１５を有する。
図１は、第１の実施形態に係る画像検索装置１０の概要を示す機能ブロック図である。画像検索装置１０は、画像取得部１１と、属性情報生成部１２と、統合部１３と、検索部１４と、記憶部１５とを有する。なお、画像検索装置１０は記憶部１５を有さなくてもよい。この場合、画像検索装置１０と通信可能に構成された外部装置が記憶部１５を有する。
【0019】
画像取得部１１は、複数のクエリ画像を取得する。属性情報生成部１２は、複数のクエリ画像各々から属性情報を生成する。統合部１３は、複数のクエリ画像各々から生成された複数の属性情報を統合して統合属性情報を生成する。検索部１４は、統合属性情報を用いて、記憶部１５に記憶されている複数の参照画像の中から対象画像を検索する。
【0020】
このような構成を備える画像処理装置１０によれば、複数の画像の中から所望の画像を検索する処理の精度を向上させるという課題が解決される。
【0021】
＜第２の実施形態＞
「概要」
本実施形態の画像検索装置１０は、第１の実施形態の画像検索装置１０をより具体化したものである。
「概要」
本実施形態の画像検索装置１０は、第１の実施形態の画像検索装置１０をより具体化したものである。
【0022】
図２に示すように、画像検索装置１０は、「複数」のクエリ画像を取得する。そして、画像検索装置１０は、複数のクエリ画像各々から属性情報を生成し、生成した複数の属性情報を特徴的な処理で統合して、統合属性情報を生成する。そして、画像検索装置１０は、統合属性情報と、複数の参照画像各々の属性情報とを照合することで、複数の参照画像の中から対象画像を検索する。
【0023】
このように、本実施形態の画像検索装置１０は、複数のクエリ画像に基づき、所望の対象画像を高精度に検索するためのクエリ（統合属性情報）を生成し、当該クエリ（統合属性情報）を用いて画像検索を行う。結果、多種多様な属性情報の全てが所望の内容となっている１枚のクエリ画像がなくても、複数の参照画像の中から所望の対象画像を高精度に検索することが可能となる。以下、詳細に説明する。
【0024】
「ハードウエア構成」
次に、画像検索装置１０のハードウエア構成の一例を説明する。画像検索装置１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
次に、画像検索装置１０のハードウエア構成の一例を説明する。画像検索装置１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0025】
図３は、画像検索装置１０のハードウエア構成を例示するブロック図である。図３に示すように、画像検索装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。画像検索装置１０は周辺回路４Ａを有さなくてもよい。なお、画像検索装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0026】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0027】
「機能構成」
次に、本実施形態の画像検索装置１０の機能構成を詳細に説明する。図１に、画像検索装置１０の機能ブロック図の一例を示す。図示するように、画像検索装置１０は、画像取得部１１と、属性情報生成部１２と、統合部１３と、検索部１４と、記憶部１５とを有する。なお、画像検索装置１０は記憶部１５を有さなくてもよい。この場合、画像検索装置１０と通信可能に構成された外部装置が記憶部１５を有する。
次に、本実施形態の画像検索装置１０の機能構成を詳細に説明する。図１に、画像検索装置１０の機能ブロック図の一例を示す。図示するように、画像検索装置１０は、画像取得部１１と、属性情報生成部１２と、統合部１３と、検索部１４と、記憶部１５とを有する。なお、画像検索装置１０は記憶部１５を有さなくてもよい。この場合、画像検索装置１０と通信可能に構成された外部装置が記憶部１５を有する。
【0028】
画像取得部１１は、複数のクエリ画像を取得する。画像取得部１１は、例えば、以下の取得方法１乃至３のいずれかを採用して、複数のクエリ画像を取得することができる。
【0029】
－取得方法１－
ユーザは、複数のクエリ画像（静止画像）を画像検索装置１０に入力する。画像取得部１１は、このようにして入力された複数のクエリ画像を取得する。
ユーザは、複数のクエリ画像（静止画像）を画像検索装置１０に入力する。画像取得部１１は、このようにして入力された複数のクエリ画像を取得する。
【0030】
ユーザは、例えば検索したい所定の対象画像で示される状況と似ている状況を示す複数の画像を、複数のクエリ画像として画像検索装置１０に入力することができる。対象画像が「赤いシャツを着たメガネの３０代の男性を含む画像」である場合、ユーザは、「赤いシャツを着た男性を含む画像」、「赤いシャツを着たメガネの男性を含む画像」、「メガネの３０代の男性を含む画像」、「３０代の男性の画像」等、少なくとも１つの属性が所望の内容となっている複数の画像（できるだけ多くの属性が所望の内容となっている画像が好ましい）をクエリ画像として画像検索装置１０に入力することができる。画像検索装置１０への画像の入力は、周知のあらゆる技術を利用して実現される。
【0031】
－取得方法２－
ユーザは、動画像を画像検索装置１０に入力する。画像取得部１１は、この動画像の中から、複数のフレーム画像を複数のクエリ画像として取得する。
ユーザは、動画像を画像検索装置１０に入力する。画像取得部１１は、この動画像の中から、複数のフレーム画像を複数のクエリ画像として取得する。
【0032】
ユーザは、例えば検索したい所定の対象画像で示される状況と似ている状況を示す複数の画像を、複数のクエリ画像として画像検索装置１０に入力することができる。対象画像が「座った姿勢の４０代の男性を含む画像」である場合、ユーザは、「４０代の男性を含む動画像」、「座った姿勢の人物を含む動画像」、「座った姿勢の男性を含む動画像」等を画像検索装置１０に入力することができる。画像検索装置１０への動画像の入力は、周知のあらゆる技術を利用して実現される。
【0033】
動画像の中から複数のフレーム画像を複数のクエリ画像として取得する手段としては、次のような例が考えられる。
【0034】
例えば、画像取得部１１は、複数のフレーム画像の中から、所定のルールで選択した複数のフレーム画像を、複数のクエリ画像としてもよい。所定のルールは、ランダムに選択、所定フレームおきに選択等が例示されるが、これらに限定されない。
【0035】
他の例として、画像取得部１１は、上述のようにして選択した複数のフレーム画像をユーザに向けて提示（例：ディスプレイに表示）するとともに、その中からクエリ画像とする複数のフレーム画像を選択するユーザ入力を受付けてもよい。そして、画像取得部１１は、当該ユーザ入力で選択された複数のフレーム画像を、複数のクエリ画像として取得してもよい。
【0036】
－取得方法３－
ユーザは、１枚のクエリ画像（静止画像）を画像検索装置１０に入力する。以下、ユーザが入力した当該１枚のクエリ画像を「入力された１枚のクエリ画像」と呼ぶ場合がある。
ユーザは、１枚のクエリ画像（静止画像）を画像検索装置１０に入力する。以下、ユーザが入力した当該１枚のクエリ画像を「入力された１枚のクエリ画像」と呼ぶ場合がある。
【0037】
ユーザは、例えば検索したい所定の対象画像で示される状況と似ている状況を示す１枚の画像を、１枚のクエリ画像として画像検索装置１０に入力することができる。対象画像が「赤いシャツを着たメガネの３０代の男性を含む画像」である場合、ユーザは、「赤いシャツを着た男性を含む画像」、「赤いシャツを着たメガネの男性を含む画像」、「メガネの３０代の男性を含む画像」、「３０代の男性の画像」等、少なくとも１つの属性が所望の内容となっている１枚の画像（できるだけ多くの属性が所望の内容となっている画像が好ましい）をクエリ画像として画像検索装置１０に入力することができる。画像検索装置１０への画像の入力は、周知のあらゆる技術を利用して実現される。
【0038】
そして、画像取得部１１は、入力された１枚のクエリ画像をクエリとして用いて、データベースを検索する。当該データベースは、以下で説明する参照画像を記憶していてもよいし、参照画像とは異なる画像を記憶していてもよい。そして、画像取得部１１は、当該検索でヒットした１枚又は複数の画像を、クエリ画像として取得する。すなわち、当該例では、画像取得部１１は、入力された１枚のクエリ画像と、当該検索でヒットした１枚又は複数の画像を、クエリ画像として取得する。上記検索でヒットする条件は設計的事項であるが、例えば「類似度が閾値以上」等が例示される。
【0039】
他の例として、画像取得部１１は、上記検索でヒットした１枚又は複数の画像をユーザに向けて提示（例：ディスプレイに表示）するとともに、その中からクエリ画像とする画像を選択するユーザ入力を受付けてもよい。そして、画像取得部１１は、当該ユーザ入力で選択された画像と、入力された１枚のクエリ画像を、クエリ画像として取得してもよい。
【0040】
属性情報生成部１２は、画像取得部１１により取得された複数のクエリ画像各々から属性情報を生成する。属性情報は、クエリ画像を解析することで生成される。属性情報は、クエリ画像のメタデータに基づき生成されてもよい。
【0041】
属性情報は複数項目の情報を含む。例えば、属性情報は、クエリ画像に含まれる人物の属性情報を含むことができる。当該属性情報の項目の例としては、性別、年齢層、顔の特徴量、服装の特徴、服装の種類、髪型、帽子の有無、メガネの有無、マスクの有無、体格、身長、姿勢等が例示される。また、属性情報は、クエリ画像に含まれる背景から抽出される属性情報を含むことができる。当該属性情報の項目の例としては、背景に存在する物体の種類（山、木、電信柱、所定のランドマーク等）、撮影時間帯（夜間、昼間等）、撮影場所等が例示される。これらの属性情報は、クエリ画像を周知の技術で解析することで特定できる。当該特定の一例として、クエリ画像の解析により、項目毎に、各項目値の確信度を算出する。各項目の項目値は、各項目が取り得る内容を示す。例えば項目が性別の場合、男性や女性が項目値となる。確信度の算出方法は特段制限されず、周知のあらゆる技術を採用することができる。そして、属性情報は、項目毎に、確信度が最も高い項目値、又は確信度が閾値以上の項目値を示した情報とすることができる。
【0042】
また、属性情報は、クエリ画像のメタデータで示される情報を含むことができる。当該属性情報の項目の例としては、撮影日時や撮影場所等が例示される。
【0043】
統合部１３は、複数のクエリ画像各々から生成された複数の属性情報を統合して統合属性情報を生成する。検索部１４は、統合部１３が生成した統合属性情報をクエリとして用いて、記憶部１５に記憶されている複数の参照画像の中から対象画像を検索する。
【0044】
統合部１３は、以下の統合方法１乃至６のいずれか１つ以上を実施可能に構成することができる。以下の各統合方法の説明において、あわせて、各統合方法で生成された統合属性情報を用いた画像検索の例を説明する。
【0045】
－統合方法１－
図４を用いて、当該統合方法を説明する。当該例では、図４に示すように、属性情報生成部１２が生成する属性情報において、画像解析で特定された各項目の項目値の確信度が示される。図示する例では、１番上のクエリ画像から生成された属性情報において、「男性（性別）」の確信度は０．９５で、「３０代（年齢層）」の確信度は０．９２で、「赤ズボン（服装）」の確信度は０．８１であることが示されている。
図４を用いて、当該統合方法を説明する。当該例では、図４に示すように、属性情報生成部１２が生成する属性情報において、画像解析で特定された各項目の項目値の確信度が示される。図示する例では、１番上のクエリ画像から生成された属性情報において、「男性（性別）」の確信度は０．９５で、「３０代（年齢層）」の確信度は０．９２で、「赤ズボン（服装）」の確信度は０．８１であることが示されている。
【0046】
統合部１３は、複数のクエリ画像各々から生成された属性情報に対し、項目毎に項目値が一致するもの同士でグループ化する処理、及び、グループ毎に項目値の確信度の統計値（例：平均値、最頻値、中央値、最大値、最小値等）を算出する処理を実行する。当該処理により、グループ毎に、項目値と項目値の確信度の統計値との組み合わせが生成される。そして、統合部１３は、この組み合わせの集合を、統合属性情報として生成する。
【0047】
図示する統合属性情報は、「項目値」と「項目値の確信度の統計値」との組み合わせの集合となっている。図示する「男性（０．９３）」の場合、「男性」が「項目値」であり、「０．９３」が「項目値の確信度の統計値」である。統合属性情報は、複数のクエリ画像から生成された複数の属性情報に含まれる項目値のすべてを含むことができる。そして、統合属性情報においては、その項目値毎に、項目値の確信度の統計値が紐付けられている。
【0048】
次に、当該統合属性情報をクエリとして用いた画像検索の一例を説明する。
【0049】
まず、図５に示すように、参照画像毎に属性情報が生成される。そして、当該属性情報では、各項目値の確信度が示される。図中、「性別」の項目においては、「男性」及び「女性」が項目値であり、項目値の横に示される１以下の数値が確信度である。なお、図示する例では、１つの項目に紐付いて、１つの項目値（確信度が最も高い項目値）とその確信度が示されている。他の例として、１つの項目に紐付いて、複数の項目値と各々の確信度が示されてもよい。すなわち、参照画像毎の属性情報では、図５に示す人物ｏ１に紐付けて、「男性、０．７」及び「女性、０．２」等が示されてもよい。
【0050】
検索部１４は、複数の参照画像の中から、図５に示すような属性情報と統合属性情報（クエリ）との関係が所定条件を満たす参照画像を、対象画像として検索する。
【0051】
－所定条件の例１－
所定条件は、例えば、「上記属性情報と統合属性情報との類似度が閾値以上」である。類似度の算出方法は様々であるが、例えば、所定の関数を用いた演算で実現されてもよい。
所定条件は、例えば、「上記属性情報と統合属性情報との類似度が閾値以上」である。類似度の算出方法は様々であるが、例えば、所定の関数を用いた演算で実現されてもよい。
【0052】
関数の詳細は特段制限されないが、例えば以下の式（１）で示すものであってもよい。
【0053】
【数1】
【0054】
pj
qは、統合属性情報に含まれるｊ番目の要素の確信度である。図４の統合属性情報の例の場合、１番目の要素は「男性（０．９３）」であり、その要素の確信度は「０．９３」である。
【0055】
pj
oは、o番目の参照画像の属性情報に含まれる上記「ｊ番目の要素」と同じ項目の項目値の確信度である。図４の統合属性情報を前提とし、ｊ＝１とする場合、上記「ｊ番目の要素」は、上述の通り「男性（０．９３）」となる。このため、上記「ｊ番目の要素」と同じ項目は、「性別」となる。以上より、図５の例の１番目の参照画像（Ｒ０００００１）の属性情報に含まれる上記「ｊ（＝１）番目の要素」と同じ項目の項目値の確信度は「０．７」である。そして、図５の例の２番目の参照画像（Ｒ０００００２）の属性情報に含まれる上記「ｊ（＝１）番目の要素」と同じ項目の項目値の確信度は「０．９」である
【0056】
Sim(fj
q,fj
o)は、統合属性情報に含まれるｊ番目の要素の項目値と、o番目の参照画像の属性情報に含まれる上記「ｊ番目の要素」と同じ項目の項目値との類似度である。類似度は任意の手法で算出される。
【0057】
－所定条件の例２－
所定条件は、統合属性情報に含まれる項目値と確信度を用いて定義される。例えば、統合属性情報で示される項目値がｘ１乃至ｘｎ（ｎは２以上の整数）であり、各々の確信度がｙ１乃至ｙｎである場合、所定条件は、「ｘ１の確信度がｚ１以上であり、ｘ２の確信度がｚ２以上であり、かつｘｎの確信度がｚｎ以上」である。ｚ１乃至ｚｎは、各々、ｙ１乃至ｙｎに基づき決定される。例えば、ｙ１乃至ｙｎ各々をｚ１乃至ｚｎとしてもよい。その他、ｙ１乃至ｙｎ各々を入力とする所定の関数で、ｚ１乃至ｚｎを算出してもよい。例えば、ｙ１乃至ｙｎ各々に所定値を加えた値、又は所定値を引いた値をｚ１乃至ｚｎとしてもよい。
所定条件は、統合属性情報に含まれる項目値と確信度を用いて定義される。例えば、統合属性情報で示される項目値がｘ１乃至ｘｎ（ｎは２以上の整数）であり、各々の確信度がｙ１乃至ｙｎである場合、所定条件は、「ｘ１の確信度がｚ１以上であり、ｘ２の確信度がｚ２以上であり、かつｘｎの確信度がｚｎ以上」である。ｚ１乃至ｚｎは、各々、ｙ１乃至ｙｎに基づき決定される。例えば、ｙ１乃至ｙｎ各々をｚ１乃至ｚｎとしてもよい。その他、ｙ１乃至ｙｎ各々を入力とする所定の関数で、ｚ１乃至ｚｎを算出してもよい。例えば、ｙ１乃至ｙｎ各々に所定値を加えた値、又は所定値を引いた値をｚ１乃至ｚｎとしてもよい。
【0058】
例えば、統合属性情報が「男性（確信度０．９３）、女性（確信度０．３１）、３０代（確信度０．９４）、４０代（確信度０．４１）」である場合、所定条件の一例は、「男性の確信度が０．９３以上であり、女性の確信度が０．３１以上であり、３０代の確信度が０．９４以上であり、かつ４０代の確信度が０．４１以上」である。
【0059】
なお、上述した所定条件ではｎ個の「ｘｍの確信度がｚｍ以上（１≦ｍ≦ｎ）」を「かつ」で結び、それらの全てを満たすことを条件とした。変形例として、ｎ個の「ｘｍの確信度がｚｍ以上（１≦ｍ≦ｎ）」の中の所定割合以上、又は所定個数以上を満たすことを条件としてしてもよい。
【0060】
また、同じ項目に関する「ｘｍの確信度がｚｍ以上（１≦ｍ≦ｎ）」に関しては少なくとも一方を満たすこととしてもよい。例えば、統合属性情報が「男性（確信度０．９３）、女性（確信度０．３１）、３０代（確信度０．９４）、４０代（確信度０．４１）」である場合、所定条件の一例は、「男性の確信度が０．９３以上及び女性の確信度が０．３１以上の少なくとも一方を満たし、かつ、３０代の確信度が０．９４以上及び４０代の確信度が０．４１以上の少なくとも一方を満たす」である。
【0061】
なお、ここで例示した所定条件はあくまで一例であり、ここで例示したものに限定されない。
【0062】
－統合方法２－
図６を用いて、当該統合方法を説明する。当該例では、統合部１３は、複数のクエリ画像各々から生成された複数の属性情報の全て、所定割合以上、又は所定数以上において同じ項目値となった項目を特定する。すなわち、統合部１３は、Ｎ（Ｎは２以上の整数）枚のクエリ画像各々から生成されたＮ個の属性情報の全て、所定割合以上、又は所定数以上において同じ項目値となった項目を特定する。そして、統合部１３は、特定した項目のその項目値の集合を、統合属性情報として生成する。
図６を用いて、当該統合方法を説明する。当該例では、統合部１３は、複数のクエリ画像各々から生成された複数の属性情報の全て、所定割合以上、又は所定数以上において同じ項目値となった項目を特定する。すなわち、統合部１３は、Ｎ（Ｎは２以上の整数）枚のクエリ画像各々から生成されたＮ個の属性情報の全て、所定割合以上、又は所定数以上において同じ項目値となった項目を特定する。そして、統合部１３は、特定した項目のその項目値の集合を、統合属性情報として生成する。
【0063】
例えば、Ｎ（Ｎは２以上の整数）枚のクエリ画像各々から生成されたＮ個の属性情報の全て、所定割合以上、又は所定数以上において、項目「性別」の項目値が「男性」となっている場合、統合部１３は、図６に示すように、その項目（性別）のその項目値（男性）を統合属性情報に含める。
【0064】
また、Ｎ（Ｎは２以上の整数）枚のクエリ画像各々から生成されたＮ個の属性情報の全て、所定割合以上、又は所定数以上において、項目「年齢層」の項目値が「３０代」となっている場合、統合部１３は、図６に示すように、その項目（年齢層）のその項目値（３０代）を統合属性情報に含める。
【0065】
このようにして統合部１３は、特定した項目のその項目値の集合を、統合属性情報として生成する。
【0066】
次に、当該統合属性情報をクエリとして用いた画像検索の一例を説明する。
【0067】
まず、図５に示すように、参照画像毎に属性情報が生成される。参照画像の属性情報の各項目の項目値は、確信度が最も高い項目値を示す。そして、検索部１４は、統合属性情報で示される複数の項目値の全て、所定割合以上、又は所定数以上を自身の属性情報に含む参照画像を、対象画像として検索する。
【0068】
－統合方法３－
図６を用いて、当該統合方法を説明する。当該例では、統合部１３は、複数のクエリ画像各々から生成された複数の属性情報に基づき、項目毎に多数決をとる。そして、最も数が多い項目値を、各項目の項目値として統合属性情報に含める。
図６を用いて、当該統合方法を説明する。当該例では、統合部１３は、複数のクエリ画像各々から生成された複数の属性情報に基づき、項目毎に多数決をとる。そして、最も数が多い項目値を、各項目の項目値として統合属性情報に含める。
【0069】
すなわち、統合部１３は、複数のクエリ画像各々から生成された属性情報に対し、項目毎に項目値が一致するもの同士でグループ化する処理、グループ毎にグループに属するメンバーの数をカウントする処理、及び、項目毎にメンバーの数が最も多いグループを特定する処理を実行する。そして、統合部１３は、項目毎に特定されたグループ各々に対応する項目値の集合を、統合属性情報として生成する。
【0070】
例えば９枚のクエリ画像各々から生成された９個の属性情報において、項目「性別」の項目値が「男性」となっている属性情報の数が「８」であり、項目「性別」の項目値が「女性」となっている属性情報の数が「１」である場合、統合部１３は、図６に示すように、その項目（性別）の項目値として「男性」を統合属性情報に含める。
【0071】
また、例えば９枚のクエリ画像各々から生成された９個の属性情報において、項目「年齢層」の項目値が「３０代」となっている属性情報の数が「５」であり、項目「年齢層」の項目値が「４０代」となっている属性情報の数が「３」であり、項目「年齢層」の項目値が「２０代」となっている属性情報の数が「１」である場合、統合部１３は、図６に示すように、その項目（年齢）の項目値として「３０代」を統合属性情報に含める。
【0072】
このようにして統合部１３は、各項目の最も多い項目値の集合を、統合属性情報として生成する。
【0073】
当該例における統合属性情報をクエリとして用いた画像検索の一例は、上述した統合方法２の例と同じである。
【0074】
－統合方法４－
図７を用いて、当該統合方法を説明する。当該例では、図７に示すように、統合部１３は、重み付きの項目値の集合を、統合属性情報として生成する。図示する統合属性情報における「男性 ４」は、「男性」が項目値であり、「４」がその重みである。
図７を用いて、当該統合方法を説明する。当該例では、図７に示すように、統合部１３は、重み付きの項目値の集合を、統合属性情報として生成する。図示する統合属性情報における「男性 ４」は、「男性」が項目値であり、「４」がその重みである。
【0075】
統合部１３は、複数のクエリ画像各々から生成された属性情報に対し、項目毎に項目値が一致するもの同士でグループ化する処理、及び、グループ毎に重みを設定する処理を実行することで、グループ毎に、項目値と重みとの組み合わせを生成する。そして、統合部１３は、当該組み合わせの集合を、統合属性情報として生成する。
【0076】
各グループの重みは、各グループに属するメンバーの数に応じたものとすることができる。メンバーの数が多いほど大きい重みが設定される。例えば、メンバーの数そのものを重みとしてもよいし、メンバーの数を入力とする所定の関数で重みを算出してもよいし、その他の手法で算出してもよい。
【0077】
統合属性情報は、複数のクエリ画像から生成された複数の属性情報に含まれる項目値のすべてを含むことができる。そして、統合属性情報においては、その項目値毎に重みが紐付けられている。
【0078】
次に、当該統合属性情報をクエリとして用いた画像検索の一例を説明する。
【0079】
まず、図５に示すように、参照画像毎に属性情報が生成される。そして、検索部１４は、図５に示すような属性情報と統合属性情報との類似度が閾値以上である参照画像を検索することができる。類似度の算出方法は様々であるが、例えば、所定の関数を用いた演算で実現されてもよい。例えば、上述した式（１）において、pj
qとpj
oとSim(fj
q,fj
o)の積に、重みに応じた値をかけてもよい。かける値は、重みが大きいほど大きくなる。
【0080】
－統合方法５－
図８を用いて、当該統合方法を説明する。当該例では、図８に示すように、複数のクエリ画像各々にクエリ画像単位で重みが設定される。例えば、統合部１３は、当該重みを設定するユーザ入力を受付ける。そして、統合部１３は、当該ユーザ入力に基づき、各クエリ画像に重みを設定する。
図８を用いて、当該統合方法を説明する。当該例では、図８に示すように、複数のクエリ画像各々にクエリ画像単位で重みが設定される。例えば、統合部１３は、当該重みを設定するユーザ入力を受付ける。そして、統合部１３は、当該ユーザ入力に基づき、各クエリ画像に重みを設定する。
【0081】
そして、当該例では、図８に示すように、統合部１３は、重み付きの項目値の集合を、統合属性情報として生成する。図示する統合属性情報における「男性 ３」は、「男性」が項目値であり、「３」がその重みである。
【0082】
統合部１３は、複数のクエリ画像各々から生成された複数の属性情報各々に、複数のクエリ画像各々に設定された重みを付して、統合属性情報を生成する。同じ項目値が複数の属性情報に含まれる場合、統合部１３は、最も大きい重みを、統合属性情報におけるその項目値の重みとしてもよいし、平均値、最頻値、中央値、最小値等のその他の統計値を、統合属性情報におけるその項目値の重みとしてもよい。
【0083】
例えば、図８に示すように、複数のクエリ画像各々から生成された複数の属性情報において、項目「性別」の項目値が「男性」となっている属性情報が複数ある場合、その複数の属性情報に紐付く重みの中の最大値を、その項目値（男性）の重みとして統合属性情報に含めることができる。
【0084】
当該例における統合属性情報をクエリとして用いた画像検索の一例は、上述した統合方法４の例と同じである。
【0085】
－統合方法６－
図９乃至図１１を用いて、当該統合方法を説明する。当該例では、図９に示すように、複数のクエリ画像各々にクエリ画像単位で人物の身体の一部が指定される。例えば、統合部１３は、当該指定を行うユーザ入力を受付ける。そして、統合部１３は、当該ユーザ入力に基づき、各クエリ画像に身体の一部を指定する。
図９乃至図１１を用いて、当該統合方法を説明する。当該例では、図９に示すように、複数のクエリ画像各々にクエリ画像単位で人物の身体の一部が指定される。例えば、統合部１３は、当該指定を行うユーザ入力を受付ける。そして、統合部１３は、当該ユーザ入力に基づき、各クエリ画像に身体の一部を指定する。
【0086】
ユーザ入力を受付ける方法は、様々である。例えば、統合部１３は、図１０に示すように、クエリ画像の一部領域を枠Ｗで指定するユーザ入力を受付けてもよい。この場合、枠Ｗ内に存在する身体の一部が指定される。その他、統合部１３は、「頭部」、「上半身」、「下半身」のような複数の身体の中から一部を選択可能なＵＩ（user interface）部品を介して、身体の一部を指定する入力を受付けてもよい。
【0087】
図１１に示すように、予め、身体の部位各々に、少なくとも１つの属性情報の項目が紐付けられている。統合部１３は、図９に示すように、複数のクエリ画像各々から生成された複数の属性情報の中から、クエリ画像毎に人物の身体の互いに異なる部分に関する属性情報を抽出する。具体的には、統合部１３は、各クエリ画像の属性情報から、ユーザが指定した人物の身体の一部に対応する項目の情報を抽出する。そして、統合部１３は、抽出した属性情報の集合を、統合属性情報として生成する。
【0088】
当該例における統合属性情報をクエリとして用いた画像検索の一例は、上述した統合方法２及び３の例と同じである。
【0089】
次に、図１２のフローチャートを用いて、画像検索装置１０の処理の流れの一例を説明する。
【0090】
画像検索装置１０は、複数のクエリ画像を取得すると（Ｓ１０）、複数のクエリ画像各々から属性情報を生成する（Ｓ１１）。そして、画像検索装置１０は、複数のクエリ画像各々から生成された複数の属性情報を統合し、統合属性情報を生成する（Ｓ１２）。次いで、画像検索装置１０は、Ｓ１２で生成した統合属性情報をクエリとして用いて、複数の参照画像の中から対象画像を検索する（Ｓ１３）。
【0091】
図示しないが、Ｓ１３において、画像検索装置１０は、検索結果を出力することができる。例えば、画像検索装置１０は、検索された対象画像を一覧表示した画面を検索結果として出力してもよい。検索結果は、ディスプレイ、投影装置、プリンターなどの出力装置を介して出力される。
【0092】
「作用効果」
本実施形態の画像検索装置１０は、複数のクエリ画像に基づき、所望の対象画像を高精度に検索するためのクエリ（統合属性情報）を生成し、当該クエリ（統合属性情報）を用いて画像検索を行う。結果、多種多様な属性情報の全てが所望の内容となっている１枚のクエリ画像がなくても、複数の参照画像の中から所望の対象画像を高精度に検索することが可能となる。
本実施形態の画像検索装置１０は、複数のクエリ画像に基づき、所望の対象画像を高精度に検索するためのクエリ（統合属性情報）を生成し、当該クエリ（統合属性情報）を用いて画像検索を行う。結果、多種多様な属性情報の全てが所望の内容となっている１枚のクエリ画像がなくても、複数の参照画像の中から所望の対象画像を高精度に検索することが可能となる。
【0093】
また、画像検索装置１０は、上述したような特徴的な統合方法を用いて、クエリ（統合属性情報）を生成することができる。このため、所望の対象画像を高精度に検索するためのクエリ（統合属性情報）を高精度に生成することができる。
【0094】
＜第３の実施形態＞
本実施形態の画像検索装置１０は、第１及び第２の実施形態と同様に、複数のクエリ画像各々から生成された複数の属性情報を統合し、統合属性情報を生成する。そして、本実施形態の画像検索装置１０は、複数の統合方法を実施可能に構成され、その複数の統合方法の中からユーザが指定した統合方法を用いて、統合属性情報を生成する。以下、詳細に説明する。
本実施形態の画像検索装置１０は、第１及び第２の実施形態と同様に、複数のクエリ画像各々から生成された複数の属性情報を統合し、統合属性情報を生成する。そして、本実施形態の画像検索装置１０は、複数の統合方法を実施可能に構成され、その複数の統合方法の中からユーザが指定した統合方法を用いて、統合属性情報を生成する。以下、詳細に説明する。
【0095】
統合部１３は、複数のクエリ画像各々から生成された複数の属性情報を統合し、統合属性情報を生成する。統合部１３は、複数の統合方法を実施可能に構成される。複数の統合方法は、第２の実施形態で説明した統合方法１乃至６のいずれかを含んでもよい。また、複数の統合方法は、第２の実施形態で説明した統合方法１乃至６以外の統合方法を含んでもよい。
【0096】
統合部１３は、複数の統合方法の中から１つを選択するユーザ入力を受付ける。そして、統合部１３は、選択された統合方法で、複数の属性情報を統合し、統合属性情報を生成する。１つの統合方法を選択するユーザ入力の受付は、周知のあらゆる技術を利用して実現される。
【0097】
本実施形態の画像検索装置１０のその他の構成は、第１及び第２の実施形態と同様である。
【0098】
本実施形態の画像検索装置１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、本実施形態の画像検索装置１０によれば、ユーザは、複数の統合方法の中の所望の統合方法で統合属性情報（クエリ）を生成することができる。結果、ユーザが望む統合属性情報（クエリ）を精度よく生成できるようになる。そして、当該統合属性情報（クエリ）を用いて画像検索を行うことで、所望の対象画像を高精度に検索することが可能となる。
【0099】
＜第４の実施形態＞
本実施形態の画像検索装置１０は、画像の入力以外の手段で属性情報を指定するユーザ入力を受付ける。そして、本実施形態の画像検索装置１０は、クエリ画像から生成された属性情報と、ユーザ入力で指定された属性情報とを統合し、統合属性情報を生成する。以下、詳細に説明する。
本実施形態の画像検索装置１０は、画像の入力以外の手段で属性情報を指定するユーザ入力を受付ける。そして、本実施形態の画像検索装置１０は、クエリ画像から生成された属性情報と、ユーザ入力で指定された属性情報とを統合し、統合属性情報を生成する。以下、詳細に説明する。
【0100】
図１３に、本実施形態の画像検索装置１０の機能ブロック図の一例を示す。図示するように、画像検索装置１０は、画像取得部１１と、属性情報生成部１２と、統合部１３と、検索部１４と、記憶部１５と、属性情報受付部１６とを有する。
【0101】
属性情報受付部１６は、画像の入力以外の手段で属性情報を指定するユーザ入力を受付ける。ユーザは、例えば「女性、３０代」のように、所定の項目の項目値を指定する入力を行う。その他、ユーザは、「女性（０．７２）、３０代（０．８３）」等のように、所定の項目の項目値とその確信度を指定する入力を行ってもよい。属性情報受付部１６は、例えば任意のＵＩ部品を介してこのようなユーザ入力を受付けることができる。
【0102】
統合部１３は、複数のクエリ画像各々から生成された属性情報（属性情報生成部１２が生成した属性情報）と、ユーザ入力で指定された属性情報（属性情報受付部１６が受付けた属性情報）を統合し、統合属性情報を生成する。統合部１３は、例えば第２の実施形態で説明した統合方法を用いて、当該統合を実現することができる。
【0103】
次に、図１４のフローチャートを用いて、画像検索装置１０の処理の流れの一例を説明する。
【0104】
画像検索装置１０は、複数のクエリ画像を取得すると（Ｓ２０）、複数のクエリ画像各々から属性情報を生成する（Ｓ２１）。そして、画像検索装置１０は、複数のクエリ画像各々から生成された複数の属性情報を統合し、統合属性情報を生成する（Ｓ２２）。次いで、画像検索装置１０は、Ｓ２２で生成した統合属性情報をユーザに向けて出力する（Ｓ２３）。例えば、画像検索装置１０は、Ｓ２２で生成した統合属性情報をディスプレイに表示する。
【0105】
その後、画像検索装置１０は、属性情報を追加するか否かの入力をユーザから受付ける（Ｓ２４）。
【0106】
属性情報を追加する旨が入力された場合（Ｓ２４のＹｅｓ）、画像検索装置１０は、画像の入力以外の手段で属性情報を指定するユーザ入力を受付ける（Ｓ２５）。そして、画像検索装置１０は、Ｓ２１で生成された複数の属性情報と、Ｓ２５で入力された属性情報を統合し、統合属性情報を生成する（Ｓ２６）。次いで、画像検索装置１０は、Ｓ２６で生成した統合属性情報をクエリとして用いて、複数の参照画像の中から対象画像を検索する（Ｓ２７）。
【0107】
一方、Ｓ２４において、属性情報を追加する旨が入力されなかった場合（Ｓ２４のＮｏ）、画像検索装置１０は、Ｓ２２で生成した統合属性情報をクエリとして用いて、複数の参照画像の中から対象画像を検索する（Ｓ２７）。Ｓ２６で生成した統合属性情報をユーザに向けて出力し（Ｓ２３）、属性情報を追加する旨が入力されなくなるまで属性情報を追加するか否かの入力をユーザから受付けること（Ｓ２４）を繰り返してもよい。
【0108】
図示しないが、Ｓ２７において、画像検索装置１０は、検索結果を出力することができる。例えば、画像検索装置１０は、検索された対象画像を一覧表示した画面を検索結果として出力してもよい。検索結果は、ディスプレイ、投影装置、プリンターなどの出力装置を介して出力される。
【0109】
次に、図１５のフローチャートを用いて、画像検索装置１０の処理の流れの他の一例を説明する。
【0110】
画像検索装置１０は、複数のクエリ画像を取得すると（Ｓ３０）、複数のクエリ画像各々から属性情報を生成する（Ｓ３１）。また、画像検索装置１０は、画像の入力以外の手段で属性情報を指定するユーザ入力を受付ける（Ｓ３２）。Ｓ３０及びＳ３１の処理と、Ｓ３２の処理とは、図示するように並行して行われてもよいし、任意の順で行われてもよい。
【0111】
そして、画像検索装置１０は、Ｓ３１で生成された複数の属性情報と、Ｓ３２で入力された属性情報を統合し、統合属性情報を生成する（Ｓ３３）。次いで、画像検索装置１０は、Ｓ３３で生成した統合属性情報をクエリとして用いて、複数の参照画像の中から対象画像を検索する（Ｓ３４）。
【0112】
図示しないが、Ｓ３４において、画像検索装置１０は、検索結果を出力することができる。例えば、画像検索装置１０は、検索された対象画像を一覧表示した画面を検索結果として出力してもよい。検索結果は、ディスプレイ、投影装置、プリンターなどの出力装置を介して出力される。
【0113】
本実施形態の画像検索装置１０のその他の構成は、第１乃至第３の実施形態と同様である。
【0114】
本実施形態の画像検索装置１０によれば、第１乃至第３の実施形態と同様の作用効果が実現される。また、本実施形態の画像検索装置１０によれば、ユーザは、画像入力以外の手段で属性情報を入力し、当該属性情報も利用して統合属性情報（クエリ）を生成することができる。結果、ユーザが望む統合属性情報（クエリ）を精度よく生成できるようになる。そして、当該統合属性情報（クエリ）を用いて画像検索を行うことで、所望の対象画像を高精度に検索することが可能となる。
【0115】
＜変形例＞
画像検索装置１０は、上記例示した項目以外の項目の属性情報をさらにクエリとして用いて画像検索を行ってもよい。上記例示した項目以外の項目の属性情報としては、画像のサイズやカメラの機種等が例示されるが、これらに限定されない。これらの情報は、例えば画像のメタデータに基づき特定できる。
画像検索装置１０は、上記例示した項目以外の項目の属性情報をさらにクエリとして用いて画像検索を行ってもよい。上記例示した項目以外の項目の属性情報としては、画像のサイズやカメラの機種等が例示されるが、これらに限定されない。これらの情報は、例えば画像のメタデータに基づき特定できる。
【0116】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。
【0117】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。
【0118】
上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 複数のクエリ画像を取得する画像取得手段と、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段と、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段と、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段と、
を有する画像検索装置。
２． 前記統合手段は、
複数の統合方法の中から１つを選択するユーザ入力を受付け、
選択された前記統合方法で、複数の前記属性情報を統合する請求項１に記載の画像検索装置。
３． 前記属性情報を指定するユーザ入力を受付ける属性情報受付手段をさらに有し、
前記統合手段は、複数の前記クエリ画像各々から生成された前記属性情報と、前記ユーザ入力で指定された前記属性情報を統合する１又は２に記載の画像検索装置。
４． 前記属性情報は、前記クエリ画像を解析して特定された情報を含む１から３のいずれかに記載の画像検索装置。
５． 前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、及び、前記グループ毎に前記項目値の確信度の統計値を算出する処理を実行することで、前記グループ毎に、前記項目の前記項目値と前記項目値の確信度の統計値との組み合わせを生成し、
前記組み合わせの集合を、前記統合属性情報として生成する１から４のいずれかに記載の画像検索装置。
６． 前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された複数の前記属性情報の全て、所定割合以上、又は所定数以上において同じ項目値となった前記項目を特定し、
特定した前記項目の前記項目値の集合を、前記統合属性情報として生成する１から４のいずれかに記載の画像検索装置。
７． 前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、及び、前記グループ毎に前記グループに属するメンバーの数に応じた重みを設定する処理を実行することで、前記グループ毎に、前記項目の前記項目値と前記重みとの組み合わせを生成し、
前記組み合わせの集合を、前記統合属性情報として生成する１から４のいずれかに記載の画像検索装置。
８． 前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、前記グループ毎に前記グループに属するメンバーの数をカウントする処理、及び、前記項目毎に前記メンバーの数が最も多い前記グループを特定する処理を実行し、
前記項目毎に特定された前記グループ各々に対応する前記項目の前記項目値の集合を、前記統合属性情報として生成する１から４のいずれかに記載の画像検索装置。
９． 前記統合手段は、
複数の前記クエリ画像各々に前記クエリ画像単位で重みを設定するユーザ入力を受付け、
複数の前記クエリ画像各々から生成された複数の前記属性情報各々に、複数の前記クエリ画像各々に設定された前記重みを付して、前記統合属性情報を生成する１から４のいずれかに記載の画像検索装置。
１０． 前記統合手段は、
複数の前記クエリ画像各々から生成された複数の属性情報の中から、前記クエリ画像毎に人物の身体の互いに異なる部分に関する前記属性情報を抽出し、
抽出した前記属性情報の集合を、前記統合属性情報として生成する１から４のいずれかに記載の画像検索装置。
１１． １つ以上のコンピュータが、
複数のクエリ画像を取得し、
複数の前記クエリ画像各々から属性情報を生成し、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成し、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する画像検索方法。
１２． コンピュータを、
複数のクエリ画像を取得する画像取得手段、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段、
として機能させるプログラム。
１． 複数のクエリ画像を取得する画像取得手段と、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段と、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段と、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段と、
を有する画像検索装置。
２． 前記統合手段は、
複数の統合方法の中から１つを選択するユーザ入力を受付け、
選択された前記統合方法で、複数の前記属性情報を統合する請求項１に記載の画像検索装置。
３． 前記属性情報を指定するユーザ入力を受付ける属性情報受付手段をさらに有し、
前記統合手段は、複数の前記クエリ画像各々から生成された前記属性情報と、前記ユーザ入力で指定された前記属性情報を統合する１又は２に記載の画像検索装置。
４． 前記属性情報は、前記クエリ画像を解析して特定された情報を含む１から３のいずれかに記載の画像検索装置。
５． 前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、及び、前記グループ毎に前記項目値の確信度の統計値を算出する処理を実行することで、前記グループ毎に、前記項目の前記項目値と前記項目値の確信度の統計値との組み合わせを生成し、
前記組み合わせの集合を、前記統合属性情報として生成する１から４のいずれかに記載の画像検索装置。
６． 前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された複数の前記属性情報の全て、所定割合以上、又は所定数以上において同じ項目値となった前記項目を特定し、
特定した前記項目の前記項目値の集合を、前記統合属性情報として生成する１から４のいずれかに記載の画像検索装置。
７． 前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、及び、前記グループ毎に前記グループに属するメンバーの数に応じた重みを設定する処理を実行することで、前記グループ毎に、前記項目の前記項目値と前記重みとの組み合わせを生成し、
前記組み合わせの集合を、前記統合属性情報として生成する１から４のいずれかに記載の画像検索装置。
８． 前記属性情報は、複数項目の情報を含み、
前記統合手段は、
複数の前記クエリ画像各々から生成された前記属性情報に対し、前記項目毎に項目値が一致するもの同士でグループ化する処理、前記グループ毎に前記グループに属するメンバーの数をカウントする処理、及び、前記項目毎に前記メンバーの数が最も多い前記グループを特定する処理を実行し、
前記項目毎に特定された前記グループ各々に対応する前記項目の前記項目値の集合を、前記統合属性情報として生成する１から４のいずれかに記載の画像検索装置。
９． 前記統合手段は、
複数の前記クエリ画像各々に前記クエリ画像単位で重みを設定するユーザ入力を受付け、
複数の前記クエリ画像各々から生成された複数の前記属性情報各々に、複数の前記クエリ画像各々に設定された前記重みを付して、前記統合属性情報を生成する１から４のいずれかに記載の画像検索装置。
１０． 前記統合手段は、
複数の前記クエリ画像各々から生成された複数の属性情報の中から、前記クエリ画像毎に人物の身体の互いに異なる部分に関する前記属性情報を抽出し、
抽出した前記属性情報の集合を、前記統合属性情報として生成する１から４のいずれかに記載の画像検索装置。
１１． １つ以上のコンピュータが、
複数のクエリ画像を取得し、
複数の前記クエリ画像各々から属性情報を生成し、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成し、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する画像検索方法。
１２． コンピュータを、
複数のクエリ画像を取得する画像取得手段、
複数の前記クエリ画像各々から属性情報を生成する属性情報生成手段、
複数の前記クエリ画像各々から生成された複数の前記属性情報を統合して統合属性情報を生成する統合手段、
前記統合属性情報を用いて、複数の参照画像の中から対象画像を検索する検索手段、
として機能させるプログラム。
【符号の説明】
【0119】
１０ 画像検索装置
１１ 画像取得部
１２ 属性情報生成部
１３ 統合部
１４ 検索部
１５ 記憶部
１６ 属性情報受付部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１１ 画像取得部
１２ 属性情報生成部
１３ 統合部
１４ 検索部
１５ 記憶部
１６ 属性情報受付部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】