(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024045928
(43)【公開日】2024-04-03
(54)【発明の名称】画像検索装置、画像検索方法、およびプログラム
(51)【国際特許分類】
G06F 16/535 20190101AFI20240327BHJP
【FI】
G06F16/535
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022151024
(22)【出願日】2022-09-22
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】トウ テイテイ
(72)【発明者】
【氏名】吉田 登
【テーマコード(参考)】
5B175
【Fターム(参考)】
5B175DA02
5B175GB01
5B175HA01
(57)【要約】
【課題】ユーザが検索クエリを適切に設定できるようにする。
【解決手段】本発明は、人物属性に含まれる複数の項目の中の少なくとも1つの項目の項目値を指定するユーザ入力を受付ける項目値受付部11と、記憶部16に記憶された複数の画像の中から、指定された項目値に関連する複数の標準画像を選択する選択部12と、複数の標準画像を出力するとともに、その中から1つの標準画像を指定するユーザ入力を受付ける標準画像受付部13と、標準画像の指定結果に基づき、検索クエリを生成する生成部14と、検索クエリを用いて画像検索を行う検索部15と、を有する画像検索装置10を提供する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
人物属性に含まれる複数の項目の中の少なくとも1つの前記項目の項目値を指定するユーザ入力を受付ける項目値受付手段と、
記憶手段に記憶された複数の画像の中から、指定された前記項目値に関連する複数の標準画像を選択する選択手段と、
複数の前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付ける標準画像受付手段と、
前記標準画像の指定結果に基づき、検索クエリを生成する生成手段と、
前記検索クエリを用いて画像検索を行う検索手段と、
を有する画像検索装置。
【請求項2】
前記生成手段は、指定された前記標準画像における、指定された前記項目値の確信度に基づき、前記検索クエリを生成する請求項1に記載の画像検索装置。
【請求項3】
前記選択手段は、複数の画像の中から、指定された前記項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの前記標準画像を選択し、
前記標準画像受付手段は、前記Nパターンの前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付け、
前記生成手段は、前記項目値と、指定された前記標準画像に対応する前記条件で示される前記確信度との組み合わせを含む前記検索クエリを生成する請求項1に記載の画像検索装置。
【請求項4】
複数の前記項目値が指定された場合、
前記選択手段は、前記項目値毎に、前記項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの前記標準画像を選択し、
前記標準画像受付手段は、前記項目値毎に、前記Nパターンの前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付け、
前記生成手段は、複数の前記項目値各々と、前記項目値各々に対応して指定された前記標準画像に対応する前記条件で示される前記確信度との組み合わせを含む前記検索クエリを生成する請求項3に記載の画像検索装置。
【請求項5】
複数の前記項目値が指定された場合、
前記選択手段は、複数の前記項目値の組み合わせ毎に、複数の前記項目値各々の確信度の組み合わせが第1乃至第Nの条件各々を満たすNパターンの前記標準画像を選択し、
前記標準画像受付手段は、複数の前記項目値の組み合わせ毎に、前記Nパターンの前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付け、
前記生成手段は、複数の前記項目値各々と、複数の前記項目値の組み合わせ各々に対応して指定された前記標準画像に対応する前記条件で示される前記確信度との組み合わせを含む前記検索クエリを生成する請求項3に記載の画像検索装置。
【請求項6】
複数の前記項目値が指定された場合、
前記選択手段は、複数の前記項目値の中の第1の項目値に関連する前記Nパターンの前記標準画像の選択において、複数の前記項目値の中の前記第1の項目値と異なる第2の項目値を利用する請求項3から5のいずれか1項に記載の画像検索装置。
【請求項7】
前記選択手段は、前記第1の項目値に関連する前記Nパターンの前記標準画像として、前記第2の項目値の確信度が閾値以上の画像を選択する請求項6に記載の画像検索装置。
【請求項8】
前記選択手段は、前記Nパターンの前記標準画像として、同一人物を含まない画像、又は同一人物を含む画像を選択する請求項3から5のいずれか1項に記載の画像検索装置。
【請求項9】
前記選択手段は、第1の項目値に関連する前記Nパターンの前記標準画像として、前記第1の項目値が属する前記項目と異なる他の項目の前記項目値が互いに異なる又は互いに同一である複数の画像を選択する請求項3から5のいずれか1項に記載の画像検索装置。
【請求項10】
前記選択手段は、前記Nパターンの前記標準画像の中の第1のパターンの前記標準画像として、1つ又は複数の画像を選択する請求項3から5のいずれか1項に記載の画像検索装置。
【請求項11】
1つ以上のコンピュータが、
人物属性に含まれる複数の項目の中の少なくとも1つの前記項目の項目値を指定するユーザ入力を受付け、
記憶手段に記憶された複数の画像の中から、指定された前記項目値に関連する複数の標準画像を選択し、
複数の前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付け、
前記標準画像の指定結果に基づき、検索クエリを生成し、
前記検索クエリを用いて画像検索を行う画像検索方法。
【請求項12】
コンピュータを、
人物属性に含まれる複数の項目の中の少なくとも1つの前記項目の項目値を指定するユーザ入力を受付ける項目値受付手段、
記憶手段に記憶された複数の画像の中から、指定された前記項目値に関連する複数の標準画像を選択する選択手段、
複数の前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付ける標準画像受付手段、
前記標準画像の指定結果に基づき、検索クエリを生成する生成手段、
前記検索クエリを用いて画像検索を行う検索手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像検索装置、画像検索方法、およびプログラムに関する。
【背景技術】
【0002】
本発明に関連する技術が、特許文献1及び2に開示されている。
【0003】
特許文献1には、ユーザ入力に基づき第1のクエリを生成し、当該第1のクエリに基づき画像を検索し、検索によりヒットした画像のうち所定操作により選択された複数の画像間の関連性を推定し、推定した関連性に基づき第2のクエリを生成し、当該第2のクエリに基づき画像を検索する処理が開示されている。
【0004】
特許文献2には、属性の信頼性を示す属性スコアを算出し、当該属性スコアに基づき画像検索を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第2018/159095号公報
【特許文献2】特表2016-504656号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
人物属性に基づく画像検索においては、人物属性に含まれる多種多様な項目(性別、年齢、服装、姿勢等)の項目値(男性、女性、30代、40代等)を検索クエリとして用いることで、所望の画像(対象人物を含む画像)を高精度に検索することが可能となる。そして、「各項目値の確信度」という情報をさらに用いて画像検索を行うことで、所望の画像をさらに高精度に検索することが可能となる。「各項目値の確信度」は、画像解析でコンピュータにより算出される値であって、画像に含まれる人物が各項目値の属性を備える確信の度合を示す。
【0007】
ところで、検索クエリの設定の一例として、ユーザが項目値等を直接設定する方法が挙げられる。すなわち、ユーザが、「男性and30代andチェック柄シャツand座った姿勢」のように各種項目値やそれらを繋ぐ論理演算子等を設定する。そして、「各項目の項目値の確信度」をさらに用いて画像検索を行う場合には、ユーザが、「男性(1.0)and30代(0.8)andチェック柄シャツ(0.7)and座った姿勢(0.9)」のように項目値毎に確信度をさらに設定する。かっこ内の数値が各項目値の確信度である。
【0008】
このように、ユーザが、検索クエリとして項目値のみならず、各項目値の確信度を設定する例においては、適切な確信度の設定がユーザにとって困難であるという問題がある。項目値の確信度に馴染みのないユーザは、各項目値にどのような確信度を設定すればどのような画像が検索されるのか把握できない。当然、適切な確信度が設定されなければ、画像検索の精度が低下する。
【0009】
なお、ここでは、「各項目の項目値」に加えて「各項目の項目値の確信度」という情報を用いて画像検索を行う場合を例に説明したが、「各項目の項目値の確信度」に代えてその他の情報を用いて画像検索を行う場合にも同様の問題が発生し得る。すなわち、その他の情報に馴染みのないユーザは、どのような値を設定すればどのような画像が検索されるのか把握できない。
【0010】
特許文献1に記載の技術は、画像検索において、確信度や信頼度等の情報を利用することを前提としていない。特許文献2に記載の技術は、属性の信頼性を示す属性スコアに基づき画像検索を行うが、当該属性スコアはユーザが直接設定するものではない。このため、特許文献1及び2はいずれも、上述した課題及びその解決手段を開示していない。
【0011】
本発明の目的の一例は、上述した問題を鑑み、ユーザが検索クエリを適切に設定できるようにするという課題を解決する画像検索装置、画像検索方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0012】
本発明の一態様によれば、
人物属性に含まれる複数の項目の中の少なくとも1つの前記項目の項目値を指定するユーザ入力を受付ける項目値受付手段と、
記憶手段に記憶された複数の画像の中から、指定された前記項目値に関連する複数の標準画像を選択する選択手段と、
複数の前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付ける標準画像受付手段と、
前記標準画像の指定結果に基づき、検索クエリを生成する生成手段と、
前記検索クエリを用いて画像検索を行う検索手段と、
を有する画像検索装置が提供される。
【0013】
本発明の一態様によれば、
1つ以上のコンピュータが、
人物属性に含まれる複数の項目の中の少なくとも1つの前記項目の項目値を指定するユーザ入力を受付け、
記憶手段に記憶された複数の画像の中から、指定された前記項目値に関連する複数の標準画像を選択し、
複数の前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付け、
前記標準画像の指定結果に基づき、検索クエリを生成し、
前記検索クエリを用いて画像検索を行う画像検索方法が提供される。
【0014】
本発明の一態様によれば、
コンピュータを、
人物属性に含まれる複数の項目の中の少なくとも1つの前記項目の項目値を指定するユーザ入力を受付ける項目値受付手段、
記憶手段に記憶された複数の画像の中から、指定された前記項目値に関連する複数の標準画像を選択する選択手段、
複数の前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付ける標準画像受付手段、
前記標準画像の指定結果に基づき、検索クエリを生成する生成手段、
前記検索クエリを用いて画像検索を行う検索手段、
として機能させるプログラムが提供される。
【発明の効果】
【0015】
本発明の一態様によれば、ユーザが検索クエリを適切に設定できるようにするという課題を解決する画像検索装置、画像検索方法、およびプログラムが実現される。
【図面の簡単な説明】
【0016】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる公的な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0017】
【
図1】画像検索装置の機能ブロック図の一例を示す図である。
【
図2】画像検索装置が出力する情報の一例を模式的に示す図である。
【
図3】画像検索装置のハードウエア構成の一例を示す図である。
【
図4】画像検索装置が処理する情報の一例を模式的に示す図である。
【
図5】画像検索装置の処理の流れの一例を示すフローチャートである。
【
図6】画像検索装置が出力する情報の他の一例を模式的に示す図である。
【
図7】画像検索装置が出力する情報の他の一例を模式的に示す図である。
【
図8】画像検索装置が出力する情報の他の一例を模式的に示す図である。
【
図9】画像検索装置が出力する情報の他の一例を模式的に示す図である。
【
図10】画像検索装置の処理の流れの他の一例を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0019】
<第1の実施形態>
図1は、第1の実施形態に係る画像検索装置10の概要を示す機能ブロック図である。画像検索装置10は、項目値受付部11と、選択部12と、標準画像受付部13と、生成部14と、検索部15と、記憶部16とを有する。なお、画像検索装置10は記憶部16を有さなくてもよい。この場合、画像検索装置10と通信可能に構成された外部装置が記憶部16を有する。
【0020】
項目値受付部11は、人物属性に含まれる複数の項目の中の少なくとも1つの項目の項目値を指定するユーザ入力を受付ける。選択部12は、記憶部16に記憶された複数の画像の中から、指定された項目値に関連する複数の標準画像を選択する。標準画像受付部13は、複数の標準画像を出力するとともに、その中から1つの標準画像を指定するユーザ入力を受付ける。生成部14は、標準画像の指定結果に基づき、検索クエリを生成する。検索部15は、検索クエリを用いて画像検索を行う。具体的には、検索部15は、記憶部16に記憶されている参照画像の中から検索クエリで示される所定の対象画像を検索する。
【0021】
このような構成を備える画像処理装置10によれば、ユーザが検索クエリを適切に設定できるようにするという課題が解決される。
【0022】
<第2の実施形態>
「概要」
本実施形態の画像検索装置10は、第1の実施形態の画像検索装置10をより具体化したものである。
【0023】
本実施形態の画像検索装置10は、人物属性に含まれる複数の項目の項目値と、各項目値の確信度(以下、単に「確信度」という場合がある)を含む検索クエリを用いて画像検索を行う。このような検索クエリの一例は、「男性(1.0)and30代(0.8)andチェック柄シャツ(0.7)and座った姿勢(0.9)」となる。当該検索クエリにおいては、男性、30代、チェック柄シャツ、座った姿勢が項目値であり、各々の後のかっこ内の数値が各項目値の確信度である。
【0024】
そして、画像検索装置10は、ユーザからこのような検索クエリの設定を受付ける。すなわち、ユーザは、検索クエリに含める項目値を決定するとともに、各項目値の確信度を決定する。しかし、各項目値の確信度の設定はユーザにとって容易な作業でない。項目値の確信度に馴染みのないユーザは、各項目値にどのような確信度を設定すればどのような画像が検索されるのか把握できない。
【0025】
そこで、画像検索装置10は、各項目値の確信度をユーザが適切に設定できるようにする機能を有する。
【0026】
具体的には、画像検索装置10は、ユーザから項目値を指定する入力を受付けると、予め用意された複数の画像の中から、指定された項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像を選択し、ユーザに向けて提示する。例えば、項目値として「チェック柄シャツ」が指定された場合、画像検索装置10は、
図2に示すように、「チェック柄シャツ」の確信度の様々なバリエーションを有する複数の標準画像を選択し、ユーザに向けて提示する。
【0027】
ユーザは、提示された複数の標準画像の中から、自分のイメージに近いチェック柄シャツを示す標準画像を選択する。そして、画像検索装置10は、例えば選択された標準画像に紐付く確信度を、その項目値の確信度として検索クエリに含める。
【0028】
このような画像検索装置10によれば、ユーザは、検索クエリに含まれる「項目値の確信度」を適切に設定できるようになる。以下、画像検索装置10の構成を詳細に説明する。
【0029】
「ハードウエア構成」
次に、画像検索装置10のハードウエア構成の一例を説明する。画像検索装置10の各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0030】
図3は、画像検索装置10のハードウエア構成を例示するブロック図である。
図3に示すように、画像検索装置10は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。画像検索装置10は周辺回路4Aを有さなくてもよい。なお、画像検索装置10は物理的及び/又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0031】
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU、GPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0032】
「機能構成」
次に、本実施形態の画像検索装置10の機能構成を詳細に説明する。
図1に、画像検索装置10の機能ブロック図の一例を示す。図示するように、画像検索装置10は、項目値受付部11と、選択部12と、標準画像受付部13と、生成部14と、検索部15と、記憶部16とを有する。なお、画像検索装置10は記憶部16を有さなくてもよい。この場合、画像検索装置10と通信可能に構成された外部装置が記憶部16を有する。
【0033】
項目値受付部11は、人物属性に含まれる複数の項目の中の少なくとも1つの項目の項目値を指定するユーザ入力を受付ける。
【0034】
人物属性に含まれる複数の項目としては、性別、年齢層、顔の特徴量、服装の特徴、服装の種類、髪型、帽子の有無、メガネの有無、マスクの有無、体格、身長、姿勢等が例示されるがこれらに限定されない。各項目の項目値は、各項目が取り得る内容を示す。例えば項目が性別の場合、男性や女性が項目値となる。
【0035】
項目値受付部11は、周知のあらゆる技術を用いて当該ユーザ入力を受付けることができる。例えば、項目値受付部11は、周知のUI(user interface)部品を用いて当該ユーザ入力を受付けてもよい。
【0036】
当該ユーザ入力で入力される情報の例としては、「チェック柄シャツ」や、「男性and30代andチェック柄シャツ」や、「男性and30代andチェック柄シャツand座った姿勢」等が挙げられる。なお、この例のように、ユーザは、1つの項目値を指定してもよいし、複数の項目値を指定してもよい。そして、ユーザは、複数の項目値を指定する場合、それらを繋ぐ論理演算子をさらに指定してもよい。上記例では論理演算子として「and」のみが示されているが、「or」等の他の論理演算子を指定できてもよい。
【0037】
選択部12は、記憶部16に記憶された複数の画像の中から、項目値受付部11が受付けたユーザ入力で指定された項目値に関連する複数の標準画像を選択する。具体的には、選択部12は、記憶部16に記憶された複数の画像の中から、項目値受付部11が受付けたユーザ入力で指定された項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像を選択する。例えば、ユーザ入力で指定された項目値が「チェック柄シャツ」である場合、選択部12は、チェック柄シャツの確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像を選択する。
【0038】
各項目値の確信度は、画像解析でコンピュータにより算出される値であって、画像に含まれる人物が各項目値の属性を備える確信の度合を示す。確信度の算出の仕方は制限されない。
【0039】
第1乃至第Nの条件は、様々な確信度の画像が標準画像として選択されるように設定される。例えば、確信度が0~1の間の値をとり得る場合、「第1の条件:確信度が0より大かつX1以下」、「第2の条件:確信度がX1より大かつX2以下」、・・・、「第Nの条件:確信度がXN-1より大かつ1以下」のように設定される。
【0040】
図4に示すように、予め、記憶部16に記憶された複数の参照画像各々に対して画像解析が行われ、その結果が登録されている。図では、参照画像毎に、各参照画像に含まれる人物が備える属性(複数の項目の項目値及び確信度)が示されている。なお、図示する例では、1つの項目に紐付いて、1つの項目値(確信度が最も高い項目値)とその確信度が示されている。他の例として、1つの項目に紐付いて、複数の項目値と各々の確信度が示されてもよい。例えば、
図4に示す人物o
1に紐付けて、「男性、0.7」及び「女性、0.2」等が登録されてもよい。
【0041】
選択部12は、記憶部16に記憶された当該情報を用いて、項目値受付部11が受付けたユーザ入力で指定された項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像を選択する。
【0042】
なお、項目値受付部11が受付けたユーザ入力で複数の項目値が指定された場合、選択部12は、項目値毎に、各項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像を選択することができる。例えば、項目値受付部11が受付けたユーザ入力が「男性andチェック柄シャツ」である場合、項目値受付部11は、「男性」の確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像を選択するとともに、それとは別に、「チェック柄シャツ」の確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像をさらに選択する。
【0043】
図1に戻り、標準画像受付部13は、選択部12が選択した複数の標準画像を出力するとともに、その中から1つの標準画像を指定するユーザ入力を受付ける。
【0044】
標準画像受付部13は、例えば
図2に示すように、複数の標準画像を互いに比較可能に並べて表示する。この時、
図2に示すように複数の標準画像各々に紐付けて各々の確信度(指定された項目値の確信度)を示してもよいし、示さなくてもよい。
【0045】
なお、項目値受付部11が受付けたユーザ入力で複数の項目値が指定された場合、標準画像受付部13は、項目値毎に、
図2に示すように複数の標準画像(Nパターンの標準画像)を出力するとともに、その中から1つの標準画像を指定するユーザ入力を受付ける。
【0046】
図1に戻り、生成部14は、標準画像受付部13が受付けた標準画像の指定結果に基づき、検索クエリを生成する。具体的には、生成部14は、標準画像受付部13が受付けたユーザ入力で指定された標準画像における、項目値受付部11が受付けたユーザ入力で指定された項目値の確信度に基づき、検索クエリを生成する。より詳細には、生成部14は、「項目値受付部11が受付けたユーザ入力で指定された項目値」と、「標準画像受付部13が受付けたユーザ入力で指定された標準画像に対応する条件(上述した第1乃至第Nの条件のいずれか)で示される確信度」との組み合わせを含む検索クエリを生成する。
【0047】
なお、項目値受付部11が受付けたユーザ入力で複数の項目値が指定された場合、生成部14は、指定された複数の項目値各々と、項目値各々に対応して指定された標準画像に対応する条件で示される確信度との組み合わせを含む検索クエリを生成することができる。
【0048】
結果、例えば、「男性(1.0)and30代(0.8)andチェック柄シャツ(0.7)and座った姿勢(0.9)」のような検索クエリが生成される。当該検索クエリにおいて、男性、30代、チェック柄シャツ、座った姿勢が、「項目値受付部11が受付けたユーザ入力で指定された項目値」であり、各々の後のかっこ内の数値が「標準画像受付部13が受付けたユーザ入力で指定された標準画像に対応する条件で示される確信度」である。上記検索クエリの論理演算子は、上述の通り、ユーザが設定する。
【0049】
ここで、「標準画像受付部13が受付けたユーザ入力で指定された標準画像に対応する条件で示される確信度」について説明する。
【0050】
上述の通り、第1乃至第Nの条件は、様々な確信度の標準画像が選択されるように設定される。例えば、確信度が0~1の間の値をとり得る場合、「第1の条件:確信度が0より大かつX1以下」、「第2の条件:確信度がX1より大かつX2以下」、・・・、「第Nの条件:確信度がXN-1より大かつ1以下」のように設定される。この場合、ユーザ入力で指定された標準画像に対応する条件で示される確信度は一定の幅を有する。例えば、ユーザ入力で指定された標準画像に対応する条件が第2の条件である場合、その条件で示される確信度は「X1より大かつX2以下」である。
【0051】
生成部14は、このような一定の幅を有する確信度の中の所定の確信度を、検索クエリに含めることができる。例えば、生成部14は、最大値、最小値、中央値等を採用してもよい。その他、生成部14は、ユーザ入力で指定された標準画像の確信度を、検索クエリに含めてもよい。
【0052】
図1に戻り、検索部15は、生成部14が生成した検索クエリを用いて画像検索を行う。すなわち、検索部15は、項目値とその確信度とを含む検索クエリを用いて、画像検索を行う。当該画像検索の詳細は特段制限されないが、以下一例を説明する。
【0053】
まず、
図4に示すように、予め、記憶部16に記憶された複数の参照画像各々に対して画像解析が行われ、その結果が登録されている。図では、参照画像毎に、各参照画像に含まれる人物が備える属性(複数の項目の項目値及び確信度)が示されている。なお、図示する例では、1つの項目に紐付いて、1つの項目値(確信度が最も高い項目値)とその確信度が示されている。他の例として、1つの項目に紐付いて、複数の項目値と各々の確信度が示されてもよい。例えば、
図4に示す人物o
1に紐付けて、「男性、0.7」及び「女性、0.2」等が登録されてもよい。
【0054】
検索部15は、複数の参照画像の中から、
図4に示すような属性情報と検索クエリとの関係が所定条件を満たす参照画像を、対象画像として検索する。
【0055】
-所定条件の例1-
所定条件は、例えば、「上記属性情報と検索クエリとの類似度が閾値以上」である。類似度の算出方法は様々であるが、例えば、所定の関数を用いた演算で実現されてもよい。
【0056】
関数の詳細は特段制限されないが、例えば以下の式(1)で示すものであってもよい。
【0057】
【0058】
pj
qは、検索クエリに含まれるj番目の要素の確信度である。検索クエリが「男性(1.0)and30代(0.8)andチェック柄シャツ(0.7)and座った姿勢(0.9)」である場合、1番目の要素は「男性(1.0)」であり、その要素の確信度は「1.0」である。
【0059】
p
j
oは、o番目の参照画像の属性情報に含まれる上記「j番目の要素」と同じ項目の項目値の確信度である。検索クエリが「男性(1.0)and30代(0.8)andチェック柄シャツ(0.7)and座った姿勢(0.9)」であり、j=1である場合、「j番目の要素」は、上述の通り「男性(1.0)」となる。このため、上記「j番目の要素」と同じ項目は、「性別」となる。以上より、
図4の例の1番目の参照画像(R000001)の属性情報に含まれる上記「j(=1)番目の要素」と同じ項目の項目値の確信度は「0.7」である。そして、
図4の例の2番目の参照画像(R000002)の属性情報に含まれる上記「j(=1)番目の要素」と同じ項目の項目値の確信度は「0.9」である
【0060】
Sim(fj
q,fj
o)は、検索クエリに含まれるj番目の要素の項目値と、o番目の参照画像の属性情報に含まれる上記「j番目の要素」と同じ項目の項目値との類似度である。類似度は、任意の方法で算出される。
【0061】
-所定条件の例2-
所定条件は、検索クエリに含まれる項目値と確信度を用いて定義される。例えば、検索クエリで示される項目値がp1乃至pn(nは2以上の整数)であり、各々の確信度がq1乃至qnである場合、所定条件は、「p1の確信度がr1以上であり、p2の確信度がr2以上であり、かつpnの確信度がrn以上」である。r1乃至rnは、各々、q1乃至qnに基づき決定される。例えば、q1乃至qn各々をr1乃至rnとしてもよい。その他、q1乃至qn各々を入力とする所定の関数で、r1乃至rnを算出してもよい。例えば、q1乃至qn各々に所定値を加えた値、又は所定値を引いた値をr1乃至rnとしてもよい。
【0062】
例えば、検索クエリが「男性(1.0)and30代(0.8)andチェック柄シャツ(0.7)and座った姿勢(0.9)」である場合、所定条件の一例は、「男性の確信度が1.0以上であり、30代の確信度が0.8以上であり、チェック柄シャツの確信度が0.7以上であり、かつ座った姿勢の確信度が0.9以上」である。
【0063】
なお、上述した所定条件ではn個の「pmの確信度がrm以上(1≦m≦n)」を「かつ」で結び、それらの全てを満たすことを条件とした。変形例として、n個の「pmの確信度がrm以上(1≦m≦n)」の中の所定割合以上、又は所定個数以上を満たすことを条件としてしてもよい。
【0064】
また、同じ項目に関する「pmの確信度がrm以上(1≦m≦n)」に関しては少なくとも一方を満たすこととしてもよい。例えば、検索クエリが「男性(1.0)and30代(0.8)and40代(0.6)」である場合、所定条件の一例は、「30代の確信度が0.8以上及び40代の確信度が0.6以上の少なくとも一方を満たし、かつ、男性の確信度が1.0以上」である。
【0065】
なお、ここで例示した所定条件はあくまで一例であり、ここで例示したものに限定されない。
【0066】
次に、
図5のフローチャートを用いて、画像検索装置10の処理の流れの一例を説明する。
【0067】
まず、画像検索装置10は、人物属性に含まれる複数の項目の中の少なくとも1つの項目の項目値を指定するユーザ入力を受付ける(S10)。当該ユーザ入力で入力される情報の一例としては、「チェック柄シャツ」や、「男性and30代andチェック柄シャツ」や、「男性and30代andチェック柄シャツand座った姿勢」等が挙げられる。なお、この例のように、ユーザは、複数の項目値を指定する場合、それらを繋ぐ論理演算子をさらに指定してもよい。
【0068】
次に、画像検索装置10は、記憶部16に記憶された複数の参照画像の中から、S10で指定された項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像を選択する(S11)。第1乃至第Nの条件は、様々な確信度の標準画像が選択されるように設定される。例えば、確信度が0~1の間の値をとり得る場合、「第1の条件:確信度が0より大かつX1以下」、「第2の条件:確信度がX1より大かつX2以下」、・・・、「第Nの条件:確信度がXN-1より大かつ1以下」のように設定される。
【0069】
次に、画像検索装置10は、S11で選択されたNパターンの標準画像を出力する(S12)。そして、画像検索装置10は、Nパターンの標準画像の中から1つを指定するユーザ入力を受付ける(S13)。例えば、画像検索装置10は、
図2に示すような画面をディスプレイに表示し、当該画面に表示された複数の標準画像の中から1つを指定するユーザ入力を受付ける。なお、S10で受付けたユーザ入力で複数の項目値が指定された場合、画像検索装置10は、項目値毎に、
図2に示すように複数の標準画像(Nパターンの標準画像)を出力するとともに、その中から1つの標準画像を指定するユーザ入力を受付ける。
【0070】
次に、画像検索装置10は、S10で受付けたユーザ入力で指定された項目値と、S13で受付けたユーザ入力で指定された標準画像に対応する条件で示される確信度との組み合わせを含む検索クエリを生成する(S14)。S10で受付けたユーザ入力で複数の項目値が指定された場合、画像検索装置10は、指定された複数の項目値各々と、項目値各々に対応して指定された標準画像に対応する条件で示される確信度との組み合わせを含む検索クエリを生成することができる。結果、例えば、「男性(1.0)and30代(0.8)andチェック柄シャツ(0.7)and座った姿勢(0.9)」のような検索クエリが生成される。当該検索クエリにおいて、男性、30代、チェック柄シャツ、座った姿勢が、S10で受付けたユーザ入力で指定された項目値であり、各々の後のかっこ内の数値が、S13で受付けたユーザ入力で指定された標準画像に対応する上記条件で示される確信度である。上記検索クエリの論理演算子は、例えばS10のユーザ入力で指定される。
【0071】
次に、画像検索装置10は、S14で生成された検索クエリを用いて画像検索を行う(S15)。図示しないが、S15において、画像検索装置10は、検索結果を出力することができる。例えば、画像検索装置10は、検索された対象画像を一覧表示した画面を検索結果として出力してもよい。検索結果は、ディスプレイ、投影装置、プリンターなどの出力装置を介して出力される。
【0072】
「作用効果」
本実施形態の画像検索装置10は、各項目値の確信度をユーザが適切に設定できるようにする機能を有する。
【0073】
具体的には、画像検索装置10は、ユーザから項目値を指定する入力を受付けると、予め用意された複数の画像の中から、指定された項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像を選択し、ユーザに向けて提示する。例えば、項目値として「チェック柄シャツ」が指定された場合、画像検索装置10は、
図2に示すように、「チェック柄シャツ」の確信度の様々なバリエーションを有する複数の標準画像を選択し、ユーザに向けて提示する。
【0074】
ユーザは、提示された複数の標準画像の中から、自分のイメージに近いチェック柄シャツを示す標準画像を選択する。そして、画像検索装置10は、例えば選択された標準画像に紐付く確信度を、その項目値の確信度として検索クエリに含める。
【0075】
このような画像検索装置10によれば、ユーザは、検索クエリに含まれる「項目値の確信度」を適切に設定できるようになる。結果、複数の参照画像の中から所望の対象画像を高精度に検索することが可能となる。
【0076】
<第3の実施形態>
第2の実施形態では、選択部12は、項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像を選択する処理において、各パターンの標準画像として1つの画像を選択した。すなわち、選択部12は、第1の条件(確信度が0より大かつX1以下)を満たす1つの標準画像を選択し、第2の条件(確信度がX1より大かつX2以下)を満たす1つの標準画像を選択した。
【0077】
本実施形態の選択部12は、各パターンの標準画像として複数の画像を選択する。すなわち、選択部12は、第1の条件(確信度が0より大かつX1以下)を満たす複数の標準画像を選択し、第2の条件(確信度がX1より大かつX2以下)を満たす複数の標準画像を選択する。
【0078】
そして、標準画像受付部13は、Nパターンの標準画像を出力する処理において、各パターンに紐付けて複数の標準画像を出力する。
図6に、当該処理の一例を示す。
図6では、確信度が互いに異なる複数パターンの標準画像が表示されている。具体的には、確信度が1.0であるパターンの標準画像や、確信度が0.9であるパターンの標準画像や、確信度が0.1であるパターンの標準画像等が表示されている。
【0079】
そして、
図6に示す例では、各パターンの標準画像を切り替え可能となっている。切替は、各パターンの標準画像に紐付けて表示されている前ボタン及び次ボタンへの操作で実現される。例えば、確信度1.0の標準画像に紐付く前ボタン及び次ボタンを操作すると、当該操作に応じて、確信度1.0の標準画像が他の確信度1.0の標準画像に切り替わる。
【0080】
画像検索装置10のその他の構成は、第1及び第2の実施形態と同様である。
【0081】
本実施形態の画像検索装置10によれば、第1及び第2の実施形態と同様の作用効果が実現される。また、本実施形態の画像検索装置10によれば、各パターンに紐付けて複数の標準画像をユーザに向けて提示することができる。ユーザは、このような豊富な標準画像の中から、自分のイメージに近い属性の人物を含む標準画像を指定することができる。結果、ユーザによる標準画像の指定の精度を向上させることができる。
【0082】
<第4の実施形態>
第2及び第3の実施形態では、項目値受付部11が受付けたユーザ入力で複数の項目値が指定された場合、選択部12は、項目値毎に、各項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの標準画像を選択した。そして、標準画像受付部13は、項目値毎に、
図2に示すように複数の標準画像(Nパターンの標準画像)を出力するとともに、その中から1つの標準画像を指定するユーザ入力を受付けた。
【0083】
これに対し、本実施形態では、項目値受付部11が受付けたユーザ入力で複数の項目値が指定された場合、選択部12は、複数の項目値の組み合わせ毎に、複数の項目値各々の確信度の組み合わせが第1乃至第Nの条件各々を満たすNパターンの標準画像を選択する。項目値受付部11が受付けたユーザ入力でC個(Cは2以上)の項目値が指定された場合、C個以下の任意の複数の項目値の組み合わせ毎に、Nパターンの標準画像を選択する。
【0084】
複数の項目値の組み合わせは、2個の項目値の組み合わせであってもよいし、3個の項目値の組み合わせであってもよいし、それ以上の数の項目値の組み合わせであってもよい。また、1つのユーザ入力に対して複数の組み合わせが生成される場合、複数の組み合わせ各々を構成する複数の項目値の数は互いに異なってもよいし、同じであってもよい。
【0085】
複数の項目値の組み合わせは、ユーザが指定できてもよい。例えば、項目値受付部11が「男性and30代andチェック柄シャツandボーダーズボンand座った姿勢」というユーザ入力を受付けた場合、ユーザは複数の項目値の組み合わせとして「男性と30代と座った姿勢」と「チェック柄シャツとボーダーズボン」との2つの組み合わせを指定してもよい。また、ユーザは、1つの項目値のみの組み合わせを指定できてもよい。また、コンピュータが上述のような組み合わせを決定してもよい。
【0086】
第1乃至第Nの条件は、様々な確信度の組み合わせの標準画像が選択されるように設定される。例えば、確信度が0~1の間の値をとり得る場合、「第1の条件:第1の項目値の確信度が0より大かつX1以下、かつ第2の項目値の確信度が0より大かつX1以下」、「第2の条件:第1の項目値の確信度がX1より大かつX2以下、かつ第2の項目値の確信度が0より大かつX1以下」、「第3の条件:第1の項目値の確信度がX2より大かつX3以下、かつ第2の項目値の確信度が0より大かつX1以下」、・・・「第Nの条件:第1の項目値の確信度がXN-1より大かつ1以下、かつ第2の項目値の確信度がXN-1より大かつ1以下」のように設定される。ここでは2個の項目値の組み合わせに対する第1乃至第Nの条件を示したが、3個以上の項目値の組み合わせの場合も同様にして第1乃至第Nの条件を設定することができる。
【0087】
なお、選択部12は、各パターンの標準画像として、1つの画像を選択してもよいし、複数の画像を選択してもよい。
【0088】
標準画像受付部13は、
図7に示すように、複数の項目値の組み合わせ毎に、Nパターンの標準画像を出力するとともに、その中から1つの標準画像を指定するユーザ入力を受付ける。
図7では、「項目値:チェック柄シャツ」と「項目値:ボーダーズボン」の組み合わせに対応したNパターンの標準画像が示されている。
【0089】
生成部14は、複数の項目値各々と、複数の項目値の組み合わせ各々に対応して指定された標準画像に対応する条件で示される確信度との組み合わせを含む検索クエリを生成する。例えば、
図7に示すように「項目値:チェック柄シャツ」と「項目値:ボーダーズボン」の組み合わせに対応して表示されたNパターンの標準画像の中から、一番左の標準画像がユーザにより指定された場合、生成部14は、「チェック柄シャツ(1.0)」と「ボーダーズボン(1.0)」とを含む検索クエリを生成する。
【0090】
画像検索装置10のその他の構成は、第1乃至第3の実施形態と同様である。
【0091】
本実施形態の画像検索装置10によれば、第1乃至第3の実施形態と同様の作用効果が実現される。また、本実施形態の画像検索装置10によれば、複数の項目値の組み合わせ毎に複数パターンの標準画像をユーザに提示することができる。シャツとズボンなどのようにセットとなり得る項目値をまとめて処理することで、処理効率が向上するとともに、ユーザのイメージに合ったものを高精度に指定できるようになる。
【0092】
<第5の実施形態>
本実施形態の選択部12は、上記実施形態と同様に複数パターンの標準画像を選択するが、より特徴的な手法で複数パターンの標準画像を選択することができる。以下、詳細に説明する。
【0093】
選択部12は、以下の第1乃至第3の選択方法の中の少なくとも1つを実施可能に構成される。なお、選択部12は、以下の第1乃至第3の選択方法の中の複数の選択方法を実施可能に構成されてもよい。そして、ユーザが指定した方法で標準画像を選択してもよい。
【0094】
「第1の選択方法」
項目値受付部11が受付けたユーザ入力で複数の項目値が指定された場合、選択部12は、複数の項目値の中の第1の項目値に関連するNパターンの標準画像の選択において、複数の項目値の中の第1の項目値と異なる第2の項目値を利用する。
【0095】
具体的には、選択部12は、第1の項目値に関連するNパターンの標準画像として、第2の項目値の確信度が閾値以上の画像を選択することができる。
【0096】
例えば、項目値受付部11が受付けたユーザ入力で入力された情報が「男性andチェック柄シャツ」である場合、「男性」に関連する第1乃至第Nの条件各々を満たすNパターンの標準画像はいずれも「チェック柄シャツ」の確信度が閾値以上である。
【0097】
なお、「男性and30代andチェック柄シャツ」のように項目値受付部11が受付けたユーザ入力で3つ以上の項目値が指定されている場合、ある1つの項目値に関連する第1乃至第Nの条件各々を満たすNパターンの標準画像はいずれも、残りの項目値の中の全ての項目値の確信度が閾値以上であってもよいし、残りの項目値の中の所定割合以上の項目値の確信度が閾値以上であってもよいし、残りの項目値の中の所定個数以上の項目値の確信度が閾値以上であってもよい。
【0098】
また、第4の実施形態で説明したように、複数の項目値の組み合わせ毎に複数の標準画像を選択する場合も同様に、残りの項目値の確信度が上述した条件を満たすように標準画像を選択することができる。
【0099】
「第2の選択方法」
選択部12は、Nパターンの標準画像として、同一人物を含まない画像、又は同一人物を含む画像を選択することができる。
【0100】
選択部12は、Nパターンの標準画像の全てが同一人物を含まないように選択してもよい。また、選択部12は、Nパターンの標準画像の全てが同一人物を含むように選択してもよい。
【0101】
また、選択部12は、Nパターンの標準画像の所定割合以上が同一人物を含まないように選択してもよい。また、選択部12は、Nパターンの標準画像の所定割合以上が同一人物を含むように選択してもよい。
【0102】
また、選択部12は、Nパターンの標準画像の所定個数以上が同一人物を含まないように選択してもよい。また、選択部12は、Nパターンの標準画像の所定個数以上が同一人物を含むように選択してもよい。
【0103】
同一人物か否かは、画像にあらわれる人物の外観の特徴(顔情報、服装、体格、体型等)に基づき判断できる。
【0104】
「第3の選択方法」
選択部12は、第1の項目値に関連するNパターンの標準画像として、第1の項目値が属する項目と異なる他の項目の項目値が互いに異なる又は互いに同一である複数の画像を選択することができる。
【0105】
すなわち、選択部12は、「男性」に関連するNパターンの標準画像を選択する際に、「男性」が属する項目「性別」と異なる他の項目(例:年齢層、服の特徴等)の中の任意の項目の項目値が互いに異なる又は互いに同一である複数の標準画像を選択する。
【0106】
選択部12は、Nパターンの標準画像の全てが他の任意の項目の項目値が互いに異なるように選択してもよい。また、選択部12は、Nパターンの標準画像の全てが他の任意の項目の項目値が互いに同一となるように選択してもよい。
【0107】
また、選択部12は、Nパターンの標準画像の所定割合以上が他の任意の項目の項目値が互いに異なるように選択してもよい。また、選択部12は、Nパターンの標準画像の所定割合以上が他の任意の項目の項目値が互いに同一となるように選択してもよい。
【0108】
また、選択部12は、Nパターンの標準画像の所定個数以上が他の任意の項目の項目値が互いに異なるように選択してもよい。また、選択部12は、Nパターンの標準画像の所定個数以上が他の任意の項目の項目値が互いに同一となるように選択してもよい。
【0109】
画像検索装置10のその他の構成は、第1乃至第4の実施形態と同様である。
【0110】
本実施形態の画像検索装置10によれば、第1乃至第4の実施形態と同様の作用効果が実現される。また、本実施形態の画像検索装置10によれば、特徴的な手法でNパターンの標準画像を選択することができる。結果、比較に適した複数の標準画像を選択し、ユーザに提供できる。
【0111】
<第6の実施形態>
画像検索装置10は、表示されたNパターンの標準画像の中から1つを指定するユーザ作業を支援する機能を有する。具体的には、画像検索装置10は、1つの標準画像の指定に有用な情報をユーザに向けて提示する。以下、詳細に説明する。
【0112】
標準画像受付部13は、ユーザによる過去の操作履歴を記憶装置に登録しておく。操作履歴は、各項目値においていずれの確信度の標準画像がユーザによって指定されたかを示す。
【0113】
標準画像受付部13は、第1の項目値に関するNパターンの標準画像を表示する際に、上記操作履歴に基づき、ユーザが過去に第1の項目値において指定した確信度を特定する。そして、標準画像受付部13は、
図2に示すように第1の項目値に関するNパターンの標準画像を表示した画面において、ユーザが過去に第1の項目値において指定した確信度を表示する。例えば、「あなたは、以前、「チェック柄シャツ」において確信度「0.8」を指定しました」等の情報が表示される。なお、第1の項目値に関する過去の操作履歴が複数ある場合、過去に指定された複数の確信度の統計値(例:最頻値)をユーザに向けて提示してもよい。
【0114】
その他、標準画像受付部13は、
図8に示すように、確信度毎に、ユーザの過去の指定率(指定割合)を算出し、表示してもよい。
【0115】
他の例として、標準画像受付部13は、他のユーザの操作履歴に基づき、上述のような情報を生成し、表示してもよい。
【0116】
すなわち、標準画像受付部13は、第1の項目値に関するNパターンの標準画像を表示する際に、上記操作履歴に基づき、他のユーザが過去に第1の項目値において指定した確信度を把握する。そして、標準画像受付部13は、
図2に示すように第1の項目値に関するNパターンの標準画像を表示した画面において、他のユーザが過去に第1の項目値において指定した確信度の傾向を表示する。例えば、「「チェック柄シャツ」においては、確信度「0.8」がよく指定されます」等の情報が表示される。なお、第1の項目値に関して複数のユーザの過去の操作履歴がある場合、複数のユーザによって指定された複数の確信度の統計値(例:最頻値)をユーザに向けて提示してもよい。
【0117】
その他、標準画像受付部13は、
図9に示すように、確信度毎に、他のユーザの指定率(指定割合)を算出し、表示してもよい。
【0118】
なお、
図7に示すように複数の項目値の組み合わせ毎にNパターンの標準画像を表示する場合にも、同様の処理で同様の情報を表示することができる。
【0119】
画像検索装置10のその他の構成は、第1乃至第5の実施形態と同様である。
【0120】
本実施形態の画像検索装置10によれば、第1乃至第5の実施形態と同様の作用効果が実現される。また、本実施形態の画像検索装置10によれば、1つの標準画像の指定に有用な情報をユーザに向けて提示することができる。結果、ユーザは、適切かつ迅速に1つの標準画像を指定できるようになる。
【0121】
<第7の実施形態>
上記実施形態の処理は、項目値受付部11が受付けたユーザ入力では、項目値の確信度が入力されていないことを前提とした処理であった。すなわち、項目値受付部11が受付けたユーザ入力で入力される情報は、「チェック柄シャツ」や、「男性and30代andチェック柄シャツ」や、「男性and30代andチェック柄シャツand座った姿勢」等のように項目値と論理演算子とからなり、項目値の確信度は含まない。
【0122】
このようになる構成例として、(1)「項目値受付部11は項目値と論理演算子とを指定するユーザ入力を受付けるように構成されているが、項目値の確信度を指定するユーザ入力を受付けるようには構成されていない」、(2)「項目値受付部11は項目値と論理演算子と項目値の確信度を指定するユーザ入力を受付けるように構成されているが、一部の項目値の確信度を空欄とすることが許容されるように構成されている」等が挙げられる。
【0123】
本実施形態の画像検索装置10の構成は、上述した(2)である。すなわち、項目値の確信度が指定されるか否かはユーザ次第であり、確信度が指定される場合もあれば、指定されない場合もある。画像検索装置10は、項目値受付部11が受付けたユーザ入力で全ての項目値の確信度が指定されていない場合には、上述した実施形態で説明した処理を実行することができる。そして、画像検索装置10は、項目値受付部11が受付けたユーザ入力で少なくとも一部の項目値の確信度が指定されている場合には、以下で説明する特徴的な処理を実行することができる。
【0124】
上記実施形態で説明したように、項目値受付部11は、少なくとも1つの項目値を指定するユーザ入力を受付ける。また、項目値受付部11は、複数の項目値を指定するユーザ入力を受付けることもできる。この場合、項目値受付部11は、複数の項目値を繋ぐ論理演算子を指定するユーザ入力を受付ける。
【0125】
また、項目値受付部11は、指定された項目値各々に紐付けて「その項目値の確信度」を指定するか、又は「その項目値の確信度」を指定せず空欄とするユーザ入力を受付けることができる。複数の項目値が指定された場合、項目値毎に、「その項目値の確信度」を指定するか、又は「その項目値の確信度」を指定せず空欄とするかが選択できてもよい。
【0126】
当該ユーザ入力で入力される情報の例としては、「チェック柄シャツ(確信度は空欄)」や、「チェック柄シャツ(0.8)」や、「男性(確信度は空欄)andチェック柄シャツ(確信度は空欄)」や、「男性(0.9)andチェック柄シャツ(確信度は空欄)」や、「男性(0.9)andチェック柄シャツ(0.7)」等が挙げられる。
【0127】
選択部12は、確信度が指定されていない項目値に対しては第1の手法で複数の標準画像を選択し、確信度が指定されている項目値に対しては第2の手法で複数の標準画像を選択する。
【0128】
第1の手法では、選択部12は、項目値の確信度が第1乃至第N1の条件各々を満たすN1パターンの標準画像を選択する。
【0129】
第2の手法では、選択部12は、項目値の確信度が第1乃至第N2の条件各々を満たすN2パターンの標準画像を選択する。
【0130】
N2<N1である。すなわち、確信度が指定されていない方が、より多くのパターンの標準画像が選択され、ユーザに提示される。
【0131】
第1の手法で選択される複数の標準画像の確信度の最大値と最小値の差(確信度のカバー範囲)は、第2の手法で選択される複数の標準画像の確信度の最大値と最小値の差(確信度のカバー範囲)より大きい。すなわち、第1の手法で選択される複数の標準画像の方が、確信度のカバー範囲が広い。例えば、第2の手法では、指定された確信度を中心とした所定範囲がカバーされるように、複数の標準画像が選択される。例えば、第2の手法では、(指定された確信度-α)から(指定された確信度+α)の範囲で、あらゆる確信度の標準画像が選択される。一方、第1の手法では、より広い範囲で、あらゆる確信度の標準画像が選択される。例えば、第1の手法では、確信度が取り得る全範囲をカバーするように、複数の標準画像が選択されてもよい。
【0132】
次に、
図10のフローチャートを用いて、画像検索装置10の処理の流れの一例を説明する。
【0133】
まず、画像検索装置10は、項目値と確信度と論理演算子との組み合わせで構成される検索クエリの入力を受付ける(S20)。なお、項目値の確信度は空欄とすることもできる。当該ユーザ入力で入力される情報の例としては、「チェック柄シャツ(確信度は空欄)」や、「チェック柄シャツ(0.8)」や、「男性(確信度は空欄)andチェック柄シャツ(確信度は空欄)」や、「男性(0.9)andチェック柄シャツ(確信度は空欄)」や、「男性(0.9)andチェック柄シャツ(0.7)」等が挙げられる。
【0134】
次に、画像検索装置10は、S20で入力された検索クエリの中から1つの項目値を選択する(S21)。選択した項目値に紐付いて確信度が指定されていない場合(S22のNo)、画像検索装置10は、その項目値に関する複数の標準画像を、第1の手法で選択する(S23)。一方、選択した項目値に紐付いて確信度が指定されている場合(S22のYes)、画像検索装置10は、その項目値に関する複数の標準画像を、第2の手法で選択する(S24)。
【0135】
次いで、画像検索装置10は、選択した複数の標準画像をユーザに向けて出力するとともに(S25)、その中から1つの標準画像を指定するユーザ入力を受付ける(S26)。
【0136】
S20で入力された検索クエリに含まれる項目値の中で、S21で選択されていない項目値がある場合(S27のYes)、画像検索装置10は、S21に戻り、他の1つの項目値を選択して、同様の処理を行う。
【0137】
S20で入力された検索クエリに含まれる項目値の中で、S21で選択されていない項目値がない場合(S27のNo)、画像検索装置10は、S20で受付けたユーザ入力で指定された項目値と、S26で受付けたユーザ入力で指定された標準画像に対応する条件で示される確信度との組み合わせを含む検索クエリを生成する(S28)。
【0138】
次に、画像検索装置10は、S28で生成された検索クエリを用いて画像検索を行う(S29)。図示しないが、S29において、画像検索装置10は、検索結果を出力することができる。例えば、画像検索装置10は、検索された対象画像を一覧表示した画面を検索結果として出力してもよい。検索結果は、ディスプレイ、投影装置、プリンターなどの出力装置を介して出力される。
【0139】
画像検索装置10のその他の構成は、第1乃至第6の実施形態と同様である。
【0140】
本実施形態の画像検索装置10によれば、第1乃至第6の実施形態と同様の作用効果が実現される。また、本実施形態の画像検索装置10によれば、ユーザが少なくとも一部の項目値の確信度を指定している場合に特徴的な処理で、検索クエリを生成することができる。具体的には、ユーザが確信度を指定している場合であっても、その精度が十分でない可能性がある。そこで、本実施形態の画像検索装置10は、ユーザが確信度を指定していても、それをそのまま検索クエリの情報として利用しない。画像検索装置10は、ユーザが確信度を指定していても、その項目値に関する複数の標準画像を提示し、その中からの指定の結果に基づき、検索クエリに含めるその項目値の確信度を決定する。
【0141】
このような処理により、よりユーザの意向に沿った検索クエリを生成することができる。
【0142】
また、本実施形態では、ユーザが確信度を指定している場合、その確信度の周辺の確信度の標準画像を選択して、ユーザに提示する。このようにすることで、処理する標準画像の数が少なくなり、コンピュータの処理負担が軽減される。また、ユーザが確認すべき標準画像の数も少なくなるので、ユーザの作業負担も軽減される。
【0143】
<変形例>
以下、第1乃至第7の実施形態に適用可能な変形例を説明する。これらの変形例においても、上記実施形態と同様の作用効果が実現される。
【0144】
「変形例1」
第7の実施形態では、ある項目値の確信度が指定されている場合でも、複数の標準画像を提示し、その中から1つを指定する入力を受付け、指定の結果に基づき検索クエリに含めるその項目値の確信度を決定した。変形例として、画像検索装置10は、ある項目値の確信度が指定されている場合、複数の標準画像の選択、提示、1つを指定するユーザ入力の受付等を行わず、その指定されている確信度をそのままその項目値の確信度として検索クエリに含めてもよい。そして、画像検索装置10は、確信度が指定されていない項目値に対してのみ、複数の標準画像の選択、提示、1つを指定するユーザ入力の受付等を行い、その項目値の確信度を決定してもよい。
【0145】
「変形例2」
生成部14は、標準画像受付部13が受付けた標準画像の指定の結果に基づき、検索クエリに含める項目値を、項目値受付部11が受付けた項目値から変更してもよい。
【0146】
例えば、項目値受付部11が「男性and30代」という情報を受付け、標準画像受付部13が30代に関する複数の標準画像を提示したとする。そして、標準画像受付部13は、確信度0.3の標準画像を指定するユーザ入力を受付けたとする。さらに、その標準画像の解析結果では、40代の確信度が0.8であったとする。
【0147】
この場合生成部14は、30代(0.3)を検索クエリに含めず、代わりに、40代(0.8)を検索クエリに含めることができる。
【0148】
このように、生成部14は、第1の項目値に関する複数の標準画像の中からユーザが指定した標準画像の第1の項目値の確信度C1と、そのユーザが指定した標準画像の第2の項目値の確信度C2とが、「C1<C2」を満たす場合、第1の項目値に代えて第2の項目値を検索クエリに含めることができる。なお、第1の項目値と第2の項目値は同じ項目の値である。
【0149】
「変形例3」
上記実施形態では、「各項目の項目値」に加えて「各項目の項目値の確信度」という情報を用いて画像検索を行う場合を例に説明した。「各項目の項目値の確信度」に代えてその他の情報を用いて画像検索を行う場合も、同様の処理で同様の作用効果が実現される。すなわち、画像検索装置10は、その他の情報の様々なバリエーションを含む複数の標準画像を選択し、ユーザに向けて提示し、1つを指定する入力を受付け、指定の結果に基づき検索クエリを生成する。
【0150】
「変形例4」
上記実施形態では、選択部12は、記憶部16に記憶された複数の参照画像(検索部15による検索対象の画像)の中から標準画像を選択したが、参照画像以外の画像から標準画像を選択してもよい。すなわち、参照画像でない複数の画像が標準画像選択用に予め記憶部16に記憶されていてもよい。そして、選択部12は、その標準画像選択用の複数の画像の中から標準画像を選択してもよい。
【0151】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。
【0152】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。
【0153】
上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. 人物属性に含まれる複数の項目の中の少なくとも1つの前記項目の項目値を指定するユーザ入力を受付ける項目値受付手段と、
記憶手段に記憶された複数の画像の中から、指定された前記項目値に関連する複数の標準画像を選択する選択手段と、
複数の前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付ける標準画像受付手段と、
前記標準画像の指定結果に基づき、検索クエリを生成する生成手段と、
前記検索クエリを用いて画像検索を行う検索手段と、
を有する画像検索装置。
2. 前記生成手段は、指定された前記標準画像における、指定された前記項目値の確信度に基づき、前記検索クエリを生成する1に記載の画像検索装置。
3. 前記選択手段は、複数の画像の中から、指定された前記項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの前記標準画像を選択し、
前記標準画像受付手段は、前記Nパターンの前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付け、
前記生成手段は、前記項目値と、指定された前記標準画像に対応する前記条件で示される前記確信度との組み合わせを含む前記検索クエリを生成する1又は2に記載の画像検索装置。
4. 複数の前記項目値が指定された場合、
前記選択手段は、前記項目値毎に、前記項目値の確信度が第1乃至第Nの条件各々を満たすNパターンの前記標準画像を選択し、
前記標準画像受付手段は、前記項目値毎に、前記Nパターンの前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付け、
前記生成手段は、複数の前記項目値各々と、前記項目値各々に対応して指定された前記標準画像に対応する前記条件で示される前記確信度との組み合わせを含む前記検索クエリを生成する3に記載の画像検索装置。
5. 複数の前記項目値が指定された場合、
前記選択手段は、複数の前記項目値の組み合わせ毎に、複数の前記項目値各々の確信度の組み合わせが第1乃至第Nの条件各々を満たすNパターンの前記標準画像を選択し、
前記標準画像受付手段は、複数の前記項目値の組み合わせ毎に、前記Nパターンの前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付け、
前記生成手段は、複数の前記項目値各々と、複数の前記項目値の組み合わせ各々に対応して指定された前記標準画像に対応する前記条件で示される前記確信度との組み合わせを含む前記検索クエリを生成する3に記載の画像検索装置。
6. 複数の前記項目値が指定された場合、
前記選択手段は、複数の前記項目値の中の第1の項目値に関連する前記Nパターンの前記標準画像の選択において、複数の前記項目値の中の前記第1の項目値と異なる第2の項目値を利用する3から5のいずれかに記載の画像検索装置。
7. 前記選択手段は、前記第1の項目値に関連する前記Nパターンの前記標準画像として、前記第2の項目値の確信度が閾値以上の画像を選択する請求項6に記載の画像検索装置。
8. 前記選択手段は、前記Nパターンの前記標準画像として、同一人物を含まない画像、又は同一人物を含む画像を選択する3から7のいずれかに記載の画像検索装置。
9. 前記選択手段は、第1の項目値に関連する前記Nパターンの前記標準画像として、前記第1の項目値が属する前記項目と異なる他の項目の前記項目値が互いに異なる又は互いに同一である複数の画像を選択する3から8のいずれかに記載の画像検索装置。
10. 前記選択手段は、前記Nパターンの前記標準画像の中の第1のパターンの前記標準画像として、1つ又は複数の画像を選択する3から9のいずれかに記載の画像検索装置。
11. 1つ以上のコンピュータが、
人物属性に含まれる複数の項目の中の少なくとも1つの前記項目の項目値を指定するユーザ入力を受付け、
記憶手段に記憶された複数の画像の中から、指定された前記項目値に関連する複数の標準画像を選択し、
複数の前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付け、
前記標準画像の指定結果に基づき、検索クエリを生成し、
前記検索クエリを用いて画像検索を行う画像検索方法。
12. コンピュータを、
人物属性に含まれる複数の項目の中の少なくとも1つの前記項目の項目値を指定するユーザ入力を受付ける項目値受付手段、
記憶手段に記憶された複数の画像の中から、指定された前記項目値に関連する複数の標準画像を選択する選択手段、
複数の前記標準画像を出力するとともに、その中から1つの前記標準画像を指定するユーザ入力を受付ける標準画像受付手段、
前記標準画像の指定結果に基づき、検索クエリを生成する生成手段、
前記検索クエリを用いて画像検索を行う検索手段、
として機能させるプログラム。
【符号の説明】
【0154】
10 画像検索装置
11 項目値受付部
12 選択部
13 標準画像受付部
14 生成部
15 検索部
16 記憶部
1A プロセッサ
2A メモリ
3A 入出力I/F
4A 周辺回路
5A バス