特開 2024-29417 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024029417

(43)【公開日】2024-03-06

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240228BHJP

   G06V 10/40 20220101ALI20240228BHJP

   G06F 16/583 20190101ALI20240228BHJP

【ＦＩ】

G06T7/00 660B

G06V10/40

G06F16/583

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022131657

(22)【出願日】2022-08-22

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】吉田 登

(72)【発明者】

【氏名】トウ テイテイ

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA02

5B175FB03

5L096FA09

5L096FA67

5L096JA03

5L096JA11

5L096JA22

5L096KA09

(57)【要約】      （修正有）

【課題】複数の画像の中から所望の人物を含む画像を検索する処理の精度を向上させる画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】画像処理装置１０は、人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得する取得部１１と、検索クエリに含まれる姿勢情報及び外観情報を用いて、複数の参照画像の中から目的画像を検索する検索部１２と、を有する。外観情報は、所定の種類の装着物が装着されているか否か、身体の所定の部位に所定の種類の装着物が装着されているか否か、所定の模様の装着物が装着されているか否か、及び、身体の所定の部位に所定の模様の装着物が装着されているか否か、の中の少なくとも１つを示す。
【選択図】図１

【特許請求の範囲】

【請求項1】

人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得する取得手段と、
前記検索クエリに含まれる前記姿勢情報及び前記外観情報を用いて、複数の参照画像の中から目的画像を検索する検索手段と、
を有し、
前記外観情報は、
所定の種類の装着物が装着されているか否か、
身体の所定の部位に所定の種類の装着物が装着されているか否か、
所定の模様の装着物が装着されているか否か、及び、
身体の所定の部位に所定の模様の装着物が装着されているか否か、
の中の少なくとも１つを示す画像処理装置。

【請求項2】

前記所定の部位は、頭部、右手、左手、右腕、左腕、右足又は左足である請求項１に記載の画像処理装置。

【請求項3】

前記検索手段は、
前記検索クエリの前記外観情報において、所定の種類の装着物が装着されていることが示されており、かつ前記参照画像に含まれる人物から前記所定の種類の装着物が検出されなかった場合、前記参照画像に含まれる人物の身体の姿勢を示す情報に基づき、その人物が前記所定の種類の装着物を装着しているか否かを判断する請求項１又は２に記載の画像処理装置。

【請求項4】

前記検索手段は、
前記参照画像に含まれる人物の身体の姿勢が第１の方向を向いている姿勢である場合、前記参照画像に含まれる人物は前記所定の種類の装着物を装着していないと判断し、
前記参照画像に含まれる人物の身体の姿勢が第２の方向を向いている姿勢である場合、前記参照画像に含まれる人物が前記所定の種類の装着物を装着しているか否かは不明と判断する請求項３に記載の画像処理装置。

【請求項5】

前記検索手段は、
人物を含む前記参照画像を解析して人物の身体の複数のキーポイントを検出し、前記キーポイントの検出結果に基づき、人物の身体の姿勢を示す参照画像姿勢情報を生成し、
前記参照画像を解析して人物の外観を示す参照画像外観情報を生成し、
前記参照画像外観情報の信頼度に基づき、生成した前記参照画像姿勢情報を補正する請求項１又は２に記載の画像処理装置。

【請求項6】

前記検索手段は、
人物の身体の一部分に関する前記参照画像外観情報の信頼度が所定条件を満たす場合、その人物の身体の一部分に関する情報を前記参照画像姿勢情報の中から削除する請求項５に記載の画像処理装置。

【請求項7】

前記検索手段は、
前記検索クエリに含まれる前記姿勢情報の中の人物の身体の一部分の姿勢を示す部分姿勢情報と、前記検索クエリに含まれる前記外観情報の中の一部である部分外観情報とを用いて、複数の参照画像の中から目的画像を検索する請求項１又は２に記載の画像処理装置。

【請求項8】

前記取得手段は、前記検索クエリとして画像を取得するとともに、ユーザが指定した人物の身体の一部分が存在する前記画像内の一部領域を前記姿勢情報に基づき特定し、
前記検索手段は、
前記画像内の一部領域を解析して検出された人物の身体の姿勢を示す前記部分姿勢情報と、人物の外観を示す前記部分外観情報とを用いて、前記検索を行う請求項７に記載の画像処理装置。

【請求項9】

１つ以上のコンピュータが、
人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得し、
前記検索クエリに含まれる前記姿勢情報及び前記外観情報を用いて、複数の参照画像の中から目的画像を検索し、
前記外観情報は、
所定の種類の装着物が装着されているか否か、
身体の所定の部位に所定の種類の装着物が装着されているか否か、
所定の模様の装着物が装着されているか否か、及び、
身体の所定の部位に所定の模様の装着物が装着されているか否か、
の中の少なくとも１つを示す画像処理方法。

【請求項10】

コンピュータを、
人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得する取得手段、
前記検索クエリに含まれる前記姿勢情報及び前記外観情報を用いて、複数の参照画像の中から目的画像を検索する検索手段、
として機能させ、
前記外観情報は、
所定の種類の装着物が装着されているか否か、
身体の所定の部位に所定の種類の装着物が装着されているか否か、
所定の模様の装着物が装着されているか否か、及び、
身体の所定の部位に所定の模様の装着物が装着されているか否か、
の中の少なくとも１つを示すプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

本発明に関連する技術が、特許文献１乃至３に開示されている。

【0003】

特許文献１には、姿勢情報と、人に関する他の情報とを用いて画像検索を行うことが開示されている。そして、他の情報は、人や装着物の色情報（人の部位別でもよい）、顔情報、性別、年齢層、体型、画像内の位置等であることが開示されている。

【0004】

特許文献２には、人物の色、模様、形状、高さ、縦横比等に基づき、映像内で人物を追跡する技術が開示されている。

【0005】

特許文献３には、人物の顔画像、体格、年齢、性別、服装等に基づき、単独行動者かグループ行動者か等を判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０２２／０７９７９５号公報

【特許文献2】特開２０１８－０４５２８７号公報

【特許文献3】特開２００６－９２３９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に開示の技術のように、姿勢情報と人に関する他の情報とを用いて画像検索を行うことで、所望の人物を含む画像を高精度に検索することが可能となる。しかし、他の情報が、人や装着物の色情報（人の部位別でもよい）、顔情報、性別、年齢層、体型、画像内の位置等に限られる場合、所望の人物を含む画像の検索精度が不十分になる場合がある。

【0008】

同様に、特許文献２及び３に開示の情報を用いた画像検索の場合、所望の人物を含む画像の検索精度が不十分になる場合がある。

【0009】

本発明の目的の一例は、上述した問題を鑑み、複数の画像の中から所望の人物を含む画像を検索する処理の精度を向上させるという課題を解決する画像処理装置、画像処理方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0010】

本発明の一態様によれば、
人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得する取得手段と、
前記検索クエリに含まれる前記姿勢情報及び前記外観情報を用いて、複数の参照画像の中から目的画像を検索する検索手段と、
を有し、
前記外観情報は、
所定の種類の装着物が装着されているか否か、
身体の所定の部位に所定の種類の装着物が装着されているか否か、
所定の模様の装着物が装着されているか否か、及び、
身体の所定の部位に所定の模様の装着物が装着されているか否か、
の中の少なくとも１つを示す画像処理装置が提供される。

【0011】

本発明の一態様によれば、
１つ以上のコンピュータが、
人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得し、
前記検索クエリに含まれる前記姿勢情報及び前記外観情報を用いて、複数の参照画像の中から目的画像を検索し、
前記外観情報は、
所定の種類の装着物が装着されているか否か、
身体の所定の部位に所定の種類の装着物が装着されているか否か、
所定の模様の装着物が装着されているか否か、及び、
身体の所定の部位に所定の模様の装着物が装着されているか否か、
の中の少なくとも１つを示す画像処理方法が提供される。

【0012】

本発明の一態様によれば、
コンピュータを、
人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得する取得手段、
前記検索クエリに含まれる前記姿勢情報及び前記外観情報を用いて、複数の参照画像の中から目的画像を検索する検索手段、
として機能させ、
前記外観情報は、
所定の種類の装着物が装着されているか否か、
身体の所定の部位に所定の種類の装着物が装着されているか否か、
所定の模様の装着物が装着されているか否か、及び、
身体の所定の部位に所定の模様の装着物が装着されているか否か、
の中の少なくとも１つを示すプログラムが提供される。

【発明の効果】

【0013】

本発明の一態様によれば、複数の画像の中から所望の人物を含む画像を検索する処理の精度を向上させるという課題を解決する画像処理装置、画像処理方法、およびプログラムが実現される。

【図面の簡単な説明】

【0014】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる公的な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0015】

【図1】画像処理装置の機能ブロック図の一例を示す図である。

【図2】画像処理装置のハードウエア構成の一例を示す図である。

【図3】キーポイントの一例を説明する図である。

【図4】画像処理装置が処理する情報の一例を模式的に示す図である。

【図5】画像処理装置の処理の流れの一例を示すフローチャートである。

【図6】画像処理装置が出力する画面の一例を示す図である。

【図7】画像処理装置が出力する画面の他の一例を示す図である。

【図8】画像処理装置の処理の流れの他の一例を示すフローチャートである。

【図9】画像処理装置の処理の流れの他の一例を示すフローチャートである。

【図10】画像処理装置の機能ブロック図の他の一例を示す図である。

【図11】画像処理装置の処理の流れの他の一例を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0017】

＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理装置１０の概要を示す機能ブロック図である。画像処理装置１０は、取得部１１と、検索部１２とを有する。

【0018】

取得部１１は、人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得する。検索部１２は、検索クエリに含まれる姿勢情報及び外観情報の「両方」を用いて、複数の参照画像の中から目的画像を検索する。そして、外観情報は、「所定の種類の装着物が装着されているか否か」、「身体の所定の部位に所定の種類の装着物が装着されているか否か」、「所定の模様の装着物が装着されているか否か」及び「身体の所定の部位に所定の模様の装着物が装着されているか否か」の中の少なくとも１つを示す。

【0019】

このような構成を備える画像処理装置１０によれば、複数の画像の中から所望の人物を含む画像を検索する処理の精度を向上させるという課題が解決される。

【0020】

＜第２の実施形態＞
「概要」
多種多様な情報を用いて画像検索を行うことで、所望の人物を含む画像を高精度に検索できるようになる。本実施形態の画像処理装置１０は、従来技術では利用されていなかった特徴的な情報を用いて画像検索を行うことで、所望の人物を含む画像を高精度に検索する。具体的には、画像処理装置１０は、「所定の種類の装着物が装着されているか否か」、「身体の所定の部位に所定の種類の装着物が装着されているか否か」、「所定の模様の装着物が装着されているか否か」及び「身体の所定の部位に所定の模様の装着物が装着されているか否か」の中の少なくとも１つを示す外観情報と姿勢情報とに基づき画像検索を行う。以下、詳細に説明する。

【0021】

「ハードウエア構成」
次に、画像処理装置１０のハードウエア構成の一例を説明する。画像処理装置１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0022】

図２は、画像処理装置１０のハードウエア構成を例示するブロック図である。図２に示すように、画像処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。画像処理装置１０は周辺回路４Ａを有さなくてもよい。なお、画像処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0023】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0024】

「機能構成」
次に、本実施形態の画像処理装置１０の機能構成を詳細に説明する。図１に、画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、取得部１１と、検索部１２とを有する。

【0025】

取得部１１は、人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得する。取得部１１は、検索クエリとして画像を取得してもよいし、テキストや数値データを取得してもよい。画像を取得する場合、画像に含まれる人物の姿勢や外観が姿勢情報及び外観情報となる。テキストや数値データを取得する場合、テキストや数値データで人物の姿勢や外観が示される。また、取得部１１は、検索クエリとして取得した画像を解析し、テキストや数値データの検索クエリを生成してもよい。

【0026】

「姿勢情報」は、人物の身体の姿勢を示す。人物の身体の姿勢は、例えば、立った姿勢、座った姿勢、寝た姿勢のように分類できる。その他、人物の身体の姿勢は、立って右手を挙げた姿勢、立って左手を挙げた姿勢等のように分類することもできる。人物の身体の姿勢の分類の仕方は様々である。姿勢情報は、このような姿勢の分類の中のいずれかを示す情報であってもよい。

【0027】

その他、姿勢情報は、人物の身体のキーポイントに関する情報であってもよい。人物の身体のキーポイントは、例えば図３に示すように、頭Ａ１、首Ａ２、右肩Ａ３１、左肩Ａ３２、右肘Ａ４１、左肘Ａ４２、右手Ａ５１、左手Ａ５２、右腰Ａ６１、左腰Ａ６２、右膝Ａ７１、左膝Ａ７２、右足Ａ８１、左足Ａ８２等が例示される。キーポイントの検出は、Ｏｐｅｎｐｏｓｅ等の周知の技術を利用して実現される。キーポイントに関する情報は、例えば、複数のキーポイント間の相対的な位置関係を示す情報等が例示されるが、これらに限定されない。

【0028】

「外観情報」は、人物の外観を示す。

【0029】

外観情報は、
・所定の種類の装着物が装着されているか否か、
・身体の所定の部位に所定の種類の装着物が装着されているか否か、
・所定の模様の装着物が装着されているか否か、及び、
・身体の所定の部位に所定の模様の装着物が装着されているか否か、
の中の少なくとも１つを示す。これらの２つ以上を組み合わせたものを外観情報としてもよい。

【0030】

「装着物」は、人が装着するものである。装着物の種類としては、メガネ、サングラス、帽子、マスク、腕時計、ヘッドフォン、マフラー、手袋、コート、シャツ、ズボン、スカート、靴、サンダル、スリッパ等が例示されるが、これらに限定されない。また、ここで例示した装着物の種類は、さらに細分化されてもよい。例えば、コートは、トレンチコート、ダッフルコート、ピーコート等のように、デザインに応じて細分化されてもよい。

【0031】

「身体の所定の部位」は、上述したＯｐｅｎｐｏｓｅ等の周知の技術を利用して検出される身体のキーポイントに基づき特定可能な部位であり、例えば図３に示すように、頭Ａ１、首Ａ２、右肩Ａ３１、左肩Ａ３２、右肘Ａ４１、左肘Ａ４２、右手Ａ５１、左手Ａ５２、右腰Ａ６１、左腰Ａ６２、右膝Ａ７１、左膝Ａ７２、右足Ａ８１、左足Ａ８２等が例示される。その他、複数のキーポイントをグループ化して定義される部位、例えば、「頭部」、「上半身」、「下半身」、「右半身」、「左半身」、「右上半身」、「左上半身」、「右下半身」、「左下半身」等も身体の所定の部位の一例として例示される。

【0032】

なお、外観情報は、上述した情報に加えて、その他の情報を含んでもよい。その他の情報としては、顔情報、性別、年齢層、体型、画像内の位置、衣服の色等、周知のあらゆる技術を採用できる。

【0033】

ここで、上述のような姿勢情報及び外観情報を含む検索クエリの取得の仕方を説明する。取得部１１は、例えば以下の第１乃至第３の取得例のいずれかで、検索クエリを取得することができる。

【0034】

－第１の取得例－
当該例では、取得部１１は、検索クエリとして静止画像を取得する。そして、取得部１１は、当該静止画像を解析し、画像内の人物を検出するとともに、検出した人物の姿勢や外観を検出する。人物の検出、姿勢の検出及び外観の検出は、従来のあらゆる技術を利用して実現できる。このように、当該例では、取得部１１は、検索クエリとして取得した静止画像を解析し、テキストや数値データの検索クエリを生成する。

【0035】

－第２の取得例－
当該例では、取得部１１は、検索クエリとして動画像を取得する。取得部１１は、当該動画像の中から代表フレーム画像を選択する。そして、取得部１１は、当該代表フレーム画像を解析し、画像内の人物を検出するとともに、検出した人物の姿勢や外観を検出する。人物の検出、姿勢の検出及び外観の検出は、従来のあらゆる技術を利用して実現できる。また、代表フレーム画像の選択方法としては、あらゆる手法を採用できる。このように、当該例では、取得部１１は、検索クエリとして取得した動画像を解析し、テキストや数値データの検索クエリを生成する。

【0036】

－第３の取得例－
当該例では、取得部１１は、テキストや数値データで人物の姿勢や外観を指定した検索クエリを取得する。例えば、取得部１１は、ドロップダウンリスト等のＵＩ（user interface）部品を利用して、所定の選択肢（姿勢の選択肢、外観の選択肢）の中から１つ又は複数を選択するユーザ入力を受付けてもよい。その他、取得部１１は、テキストボックス等のＵＩ部品を利用して、自由記述で姿勢や外観を指定するユーザ入力を受付けてもよい。自由記述での指定を採用する場合、取得部１１は、予め用意された単語変換辞書を利用して、ユーザの記述内容を、検索部１２による処理に適した記述内容に変更してもよい。

【0037】

検索部１２は、検索クエリに含まれる姿勢情報及び外観情報を用いて、複数の参照画像の中から目的画像を検索する。検索部１２は、記憶部に記憶されている複数の参照画像と検索クエリとを照合し、照合結果に基づき目的画像を検索する。複数の参照画像は、動画像に含まれる複数のフレーム画像であってもよいし、複数の静止画像であってもよい。

【0038】

「目的画像」は、対象人物を含む画像である。対象人物は、検索クエリの姿勢情報で示される姿勢をとっており、かつ、検索クエリの外観情報で示される外観となっている人物である。例えば、検索クエリの姿勢情報が「立った姿勢」であり、検索クエリの外観情報が「左手に時計を装着している、男性、３０代、赤のズボンを装着」である場合、「左手に時計を装着している３０代の男性であって、赤のズボンをはいており、立った姿勢である人物」が対象人物となる。そして、このような対象人物を含む画像が目的画像となる。

【0039】

照合の手法や、マッチングしていると判断する基準などは設計的事項であり、周知のあらゆる技術を採用できる。例えば、予め、複数の参照画像各々に対して画像解析が行われ、各参照画像に含まれる人物の姿勢や外観が特定されていてもよい。そして、図４に示すように、複数の参照画像各々の識別情報（参照画像識別情報）に、各参照画像に含まれる人物の姿勢情報及び外観情報を紐付けた情報が記憶部に記憶されていてもよい。そして、検索部１２は、検索クエリに含まれる姿勢情報及び外観情報と、記憶部に記憶されている各参照画像に含まれる人物の姿勢情報及び外観情報とを照合してもよい。

【0040】

次に、図５のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。

【0041】

まず、画像処理装置１０は、姿勢情報及び外観情報を含む検索クエリを取得する（Ｓ１０）。本実施形態では、外観情報は、「所定の種類の装着物が装着されているか否か」、「身体の所定の部位に所定の種類の装着物が装着されているか否か」、「所定の模様の装着物が装着されているか否か」及び「身体の所定の部位に所定の模様の装着物が装着されているか否か」の中の少なくとも１つを示す。なお、外観情報は、上記情報の中の少なくとも１つに加えて、その他の情報を示してもよい。

【0042】

その後、画像処理装置１０は、検索クエリに含まれる姿勢情報及び外観情報を用いて、複数の参照画像の中から目的画像を検索する（Ｓ１１）。目的画像は、対象人物を含む画像である。対象人物は、検索クエリの姿勢情報で示される姿勢をとっており、かつ、検索クエリの外観情報で示される外観となっている人物である。そして、画像処理装置１０は、検索した目的画像を、検索結果として出力する。

【0043】

「作用効果」
本実施形態の画像処理装置１０によれば、「所定の種類の装着物が装着されているか否か」、「身体の所定の部位に所定の種類の装着物が装着されているか否か」、「所定の模様の装着物が装着されているか否か」及び「身体の所定の部位に所定の模様の装着物が装着されているか否か」の中の少なくとも１つを示す外観情報と姿勢情報との「両方」を用いて、所望の目的画像を検索する。このような従来の画像検索では利用されていなかった特徴的な外観情報と姿勢情報との「両方」を用いて画像検索を行うことで、所望の目的画像を高精度に検索することが可能となる。

【0044】

また、本実施形態の画像処理装置１０によれば、「身体の所定の部位に所定の種類の装着物が装着されているか否か」や「身体の所定の部位に所定の模様の装着物が装着されているか否か」を示す外観情報を用いて、画像検索を行うことができる。すなわち、人物の所定の部位に着目し、その部位に所定の種類の装着物が装着されているか否か、また所定の模様の装着物が装着されているか否かに基づき、画像検索を行うことができる。

【0045】

ところで、引用文献１は、人の部位別の色情報に基づき、画像検索を行うことを開示している。しかし、色情報は、撮影時の環境（屋外、屋内、ライトの明るさ、天気等）に影響される。このため、引用文献１に開示の技術の場合、画像検索の精度が低くなる恐れがある。

【0046】

本実施形態のように、撮影時の環境にあまり影響されない「所定の種類の装着物が装着されているか否か」や「所定の模様の装着物が装着されているか否か」を、所定の部位別に判別して画像検索を行うことで、画像検索の精度が向上する。

【0047】

また、本実施形態の「身体の所定の部位」は、「右手、左手、右腕、左腕、右足又は左足」のように身体の左右の部位を識別した内容とすることができる。上述のような身体のキーポイントを検出することで、身体の左右の部位を識別することが可能となる。このように身体の左右の部位を識別し、各部位に装着された装着物を考慮して画像検索を行うことで、所望の目的画像を高精度に検索することが可能となる。

【0048】

＜第３の実施形態＞
「概要」
第２の実施形態で説明した姿勢情報や外観情報など、多種多様な情報を用いて画像検索を行うことで、所望の目的画像を高精度に検索することが可能となる。ところで、検索クエリの入力方法の一例として、画像の入力が考えられる。この場合、上記多種多様な情報の一部が所望の内容となっていない画像を検索クエリとした場合、所望の人物を含む画像を検索する精度が低くなるという問題がある。上記多種多様な情報のすべてが所望の内容となっている画像を検索クエリとすることで、当該問題を解決できる。しかし、上記多種多様な情報のすべてが所望の内容となっている画像を探すのには多くの労力を要する。

【0049】

そこで、本実施形態の画像処理装置１０は、取得した検索クエリが含む姿勢情報及び外観情報の中のユーザが指定した一部を用いて、画像検索を行う機能を有する。このような画像処理装置１０によれば、ユーザは、多種多様な情報の一部が所望の内容となっているが他の一部が所望の内容となっていない画像を検索クエリとして入力するとともに、所望の内容となっている情報のみを用いて画像検索を行うように指示入力することで、所望の目的画像を高精度に検索することが可能となる。結果、多種多様な情報の一部が所望の内容となっているが他の一部が所望の内容となっていない画像も検索クエリとして利用できるようになる。以下、詳細に説明する。

【0050】

「ハードウエア構成」
本実施形態の画像処理装置１０のハードウエア構成の一例は、第２の実施形態で説明したものと同様である。

【0051】

「機能構成」
次に、本実施形態の画像処理装置１０の機能構成を詳細に説明する。図１に、画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、取得部１１と、検索部１２とを有する。

【0052】

取得部１１の構成は、第２の実施形態で説明したものと同様である。

【0053】

しかし、本実施形態の「外観情報」の定義は第２の実施形態と多少異なる。上述の通り、第２の実施形態では、「外観情報」は、「所定の種類の装着物が装着されているか否か」、「身体の所定の部位に所定の種類の装着物が装着されているか否か」、「所定の模様の装着物が装着されているか否か」及び「身体の所定の部位に所定の模様の装着物が装着されているか否か」の中の少なくとも１つを示し、さらにこれに加えて、顔情報、性別、年齢層、体型、画像内の位置、衣服の色等のその他の情報を含んでもよい。

【0054】

本実施形態の外観情報は、人物の外観を示すあらゆる情報であり、第２の実施形態のように、「所定の種類の装着物が装着されているか否か」、「身体の所定の部位に所定の種類の装着物が装着されているか否か」、「所定の模様の装着物が装着されているか否か」及び「身体の所定の部位に所定の模様の装着物が装着されているか否か」の中の少なくとも１つを示すという制限はない。すなわち、本実施形態の外観情報は、「所定の種類の装着物が装着されているか否か」、「身体の所定の部位に所定の種類の装着物が装着されているか否か」、「所定の模様の装着物が装着されているか否か」及び「身体の所定の部位に所定の模様の装着物が装着されているか否か」の中の少なくとも１つを示してもよいし、これらに加えて又は代えて、顔情報、性別、年齢層、体型、画像内の位置、衣服の色等のその他の情報を示してもよい。

【0055】

検索部１２は、検索クエリに含まれる姿勢情報の中の人物の身体の一部分の姿勢を示す部分姿勢情報と、検索クエリに含まれる外観情報の中の一部である部分外観情報とを用いて、複数の参照画像の中から目的画像を検索する。

【0056】

検索部１２は、例えば、以下で説明する第１乃至第３の取り出し例のいずれかの処理で、部分姿勢情報及び部分外観情報を検索クエリから取り出すことができる。

【0057】

－第１の取り出し例－
まず、取得部１１は、検索クエリとして入力された画像を解析して画像内の人物を検出した後、その人物が写る画像内の領域の全体を解析して、検出した人物の姿勢や外観を検出する。

【0058】

そして、検索部１２は、図６に示すように、上記処理で検出された人物の姿勢や外観をユーザに向けて提示（例：画面の表示）するとともに、その中から画像検索に利用する情報を指定するユーザ入力を受付ける。ユーザ入力は、タッチパネル、物理ボタン、マイク、キーボード、マウス等のあらゆる入力装置を介して実現される。

【0059】

例えば、ユーザは、図６に示す姿勢情報の複数のキーポイント（図中、黒丸）の内、画像検索に利用するキーポイントを指定する入力を行う。すると、検索部１２は、指定された一部のキーポイントで示される部分姿勢情報を生成する。

【0060】

また、ユーザは、図６に示すように列挙された各種外観情報の内、画像検索に利用するキーポイントを指定する入力を行う。すると、検索部１２は、指定された一部の外観情報を示す部分外観情報を生成する。

【0061】

－第２の取り出し例－
取得部１１は、検索クエリとして入力された画像を画面に表示する。そして、取得部１１は、図７に示すように、その画像内で一部領域を指定するユーザ入力を受付ける。図７では、枠Ｗで囲まれた領域が指定されている。ユーザは、所望の情報が表示されている領域を含み、望まない情報が表示されている領域を含まないように、一部領域を指定する。画像内の一部領域を指定する入力は、周知のあらゆる技術を採用して実現できる。

【0062】

取得部１１は、検索クエリとして入力された画像の中のユーザが指定した領域の画像を解析して、人物の姿勢や外観を検出する。そして、検索部１２は、このような画像内の一部領域を解析して検出された人物の姿勢を示す部分姿勢情報、及び人物の外観を示す部分外観情報を、取得部１１から取得する。

【0063】

－第３の取り出し例－
取得部１１は、検索クエリとして入力された画像を取得するともに、「画像内で一部領域を指定する手法」と異なる手法で、身体の一部分を指定するユーザ入力を受付ける。例えば、取得部１１は、「上半身」、「下半身」、「右半身」、「左半身」、「右上半身」、「左上半身」、「右下半身」、「左下半身」等のように、身体の一部分を示す名称を選択可能にユーザに提示し、その中からいずれかを指定するユーザ入力を受付ける。当該提示及びユーザ入力の受付は、ドロップダウンリスト等の周知のＵＩ（user interface）部品を利用して実現することができる。その他、取得部１１は、テキストボックス等のＵＩ部品を利用して、自由記述で身体の一部分を指定するユーザ入力を受付けてもよい。自由記述での指定を採用する場合、取得部１１は、予め用意された単語変換辞書を利用して、ユーザの記述内容を、取得部１１による処理に適した記述内容に変更してもよい。

【0064】

そして、取得部１１は、画像を解析して得られた姿勢情報（検出した身体のキーポイントの情報）を用いて、ユーザが指定した身体の一部分が存在する画像内の領域を特定する。例えば、「上半身」がユーザにより指定された場合、取得部１１は、頭Ａ１、首Ａ２、右肩Ａ３１、左肩Ａ３２、右肘Ａ４１、左肘Ａ４２、右手Ａ５１、左手Ａ５２等のキーポイントが検出された位置を含み、その他のキーポイントが検出された位置を含まないように、画像内の領域を特定する。予め、身体の一部分と、その一部分に含まれるキーポイントとの対応関係を示す情報が、画像処理装置１０内に記憶されていてもよい。

【0065】

次いで、取得部１１は、検索クエリとして入力された画像の中の上記特定した一部分の画像を解析して、人物の姿勢や外観を検出する。そして、検索部１２は、このような画像内の一部領域を解析して検出された人物の姿勢を示す部分姿勢情報、及び人物の外観を示す部分外観情報を、取得部１１から取得する。

【0066】

次に、図８のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。

【0067】

画像処理装置１０は、姿勢情報及び外観情報を含む検索クエリを取得すると（Ｓ２０）、取得した検索クエリに基づき、検索クエリに含まれる姿勢情報の中の人物の身体の一部分の姿勢を示す部分姿勢情報と、検索クエリに含まれる外観情報の中の一部である部分外観情報とを取得する（Ｓ２１）。そして、画像処理装置１０は、取得した部分姿勢情報及び部分外観情報を用いて、複数の参照画像の中から目的画像を検索する（Ｓ２２）。次いで、画像処理装置１０は、検索結果を出力する。

【0068】

次に、図９のフローチャートを用いて、Ｓ２１の処理の一例を説明する。ここでは、上述した第３の取り出し例の処理の流れの一例を説明する。

【0069】

画像処理装置１０は、人物の身体の一部分を指定するユーザ入力を受付けると（Ｓ３０）、姿勢情報に基づき、検索クエリとして取得した画像内において、Ｓ３０の入力で指定された身体の一部分が存在する領域を特定する（Ｓ３１）。そして、画像処理装置１０は、検索クエリとして取得した画像内のＳ３１で特定した領域の画像を解析し、身体の一部分の姿勢を示す部分姿勢情報、及び人体の外観を示す部分外観情報を取得する（Ｓ３２）。

【0070】

本実施形態の画像処理装置１０のその他の構成は、第１及び第２の実施形態と同様である。

【0071】

「作用効果」
本実施形態の画像処理装置１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。

【0072】

また、本実施形態の画像処理装置１０によれば、検索クエリとして取得した画像が含む姿勢情報及び外観情報の中のユーザが指定した一部を用いて、画像検索を行うことができる。このような画像処理装置１０によれば、ユーザは、多種多様な情報の一部が所望の内容となっているが他の一部が所望の内容となっていない画像を検索クエリとして入力するとともに、所望の内容となっている情報のみを用いて画像検索を行うように指示入力することで、所望の目的画像を高精度に検索することが可能となる。結果、多種多様な情報の一部が所望の内容となっているが他の一部が所望の内容となっていない画像も検索クエリとして利用できるようになる。

【0073】

＜第４の実施形態＞
「概要」
第２及び第３の実施形態で説明した通り、検索クエリの入力方法の一例として、画像の入力が考えられる。この場合、入力された画像を解析することで、その画像が示す多種多様な情報が特定され、その特定結果を用いて画像を検索することとなる。

【0074】

ところで、画像解析で多種多様な情報を特定する場合、特定された情報の内容に誤りがある可能性がある。そして、このような誤りのある情報を用いて画像検索を行うと、画像検索の精度が低くなる。

【0075】

そこで、本実施形態の画像処理装置１０は、検索クエリとして入力された画像の解析で特定された姿勢情報及び外観情報の一方を用いて他方を補正し、補正後の検索クエリを用いて、複数の参照画像の中から目的画像を検索する。このように、姿勢情報と外観情報との関係に基づき検索クエリを適切に補正する本実施形態の画像処理装置１０によれば、検索クエリの精度が向上し、その結果、画像検索の精度も高くなる。以下、詳細に説明する。

【0076】

「ハードウエア構成」
本実施形態の画像処理装置１０のハードウエア構成の一例は、第２の実施形態で説明したものと同様である。

【0077】

「機能構成」
次に、本実施形態の画像処理装置１０の機能構成を詳細に説明する。図１０に、画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、取得部１１と、検索部１２と、補正部１３とを有する。

【0078】

取得部１１の構成は、第１乃至第３の実施形態のいずれかと同様である。取得部１１は、検索クエリとして画像を取得し、その画像を解析して、姿勢情報及び外観情報を含む検索クエリ（テキストや数値データ）を生成する。

【0079】

補正部１３は、取得部１１が取得した検索クエリ（テキストや数値データ）に含まれる姿勢情報及び外観情報の一方を用いて、他方を補正する。すなわち、補正部１３は、取得部１１が取得した検索クエリに含まれる姿勢情報を用いて、外観情報を補正することができる。また、補正部１３は、取得部１１が取得した検索クエリに含まれる外観情報を用いて、姿勢情報を補正することができる。以下、補正処理の一例を説明する。

【0080】

－姿勢情報を用いて外観情報を補正する処理例－
姿勢情報は、人物の身体の複数のキーポイントの検出結果を示す。そして、補正部１３は、キーポイントの検出結果に基づき、外観情報を補正する。

【0081】

例えば、補正部１３は、所定のキーポイントが検出されていない場合、そのキーポイントに予め紐付けられた種類の情報を外観情報の中から削除することができる。当該例の場合、予め、身体のキーポイントと、所定の種類の外観情報とが紐付けられている。例えば、「キーポイント：頭Ａ１」に紐付けて、帽子に関する情報、メガネに関する情報、サングラスに関する情報、マスクに関する情報等、顔や頭に装着する装着物に関する外観情報が紐付けられていてもよい。この場合、補正部１３は、「キーポイント：頭Ａ１」が検出されていない場合、帽子に関する情報、メガネに関する情報、サングラスに関する情報、マスクに関する情報等、顔や頭に装着する装着物に関する情報を外観情報から削除する。

【0082】

この例のように、身体の各部位のキーポイトに紐付けて、各部位に装着する装着物に関する外観情報を紐付けておくことで、身体の各部位のキーポイトが検出されていない場合、その部位に装着する装着物に関する情報を外観情報から削除することができる。

【0083】

他の例として、補正部１３は、人物の身体の一部分に含まれる複数のキーポイントの中の所定割合（設計的事項）以上が検出されていない場合、その人物の身体の一部分に予め紐付けられた種類の情報を外観情報の中から削除することができる。当該例の場合、予め、身体の一部分（上半身、下半身、右半身、左半身、右上半身、左上半身、右下半身、左下半身等）と、所定の種類の外観情報とが紐付けられている。例えば、「上半身」に紐付けて、帽子に関する情報、メガネに関する情報、サングラスに関する情報、マスクに関する情報、手袋に関する情報、マフラーに関する情報、上着に関する情報等、上半身に装着する装着物に関する外観情報が紐付けられていてもよい。この場合、補正部１３は、上半身に含まれる複数のキーポイントの中の所定割合以上が検出されていない場合、帽子に関する情報、メガネに関する情報、サングラスに関する情報、マスクに関する情報、手袋に関する情報、マフラーに関する情報、上着に関する情報等、上半身に装着する装着物に関する情報を外観情報から削除する。

【0084】

この例のように、身体の各部分に紐付けて、各部分に装着する装着物に関する外観情報を紐付けておくことで、身体の一部分に含まれる複数のキーポイントの中の所定割合以上が検出されていない場合、その部分に装着する装着物に関する情報を外観情報から削除することができる。

【0085】

－外観情報を用いて姿勢情報を補正する処理例－
当該例の場合、予め、身体のキーポイントと、所定の種類の外観情報とが紐付けられている。例えば、「キーポイント：頭Ａ１」に紐付けて、帽子に関する情報、メガネに関する情報、サングラスに関する情報、マスクに関する情報等、顔や頭に装着する装着物に関する外観情報が紐付けられていてもよい。

【0086】

そして、補正部１３は、外観情報の中の人物の身体の一部分に関わる情報の信頼度が所定条件を満たす場合、姿勢情報の中からその人物の身体の一部分における情報を削除する。

【0087】

人物の身体の一部分に関わる外観情報が複数種類ある場合、補正部１３は、その中の少なくとも１つの信頼度が所定条件を満たす場合、その中の全ての信頼度が所定条件を満たす場合、又は、その中の所定割合以上が所定条件を満たす場合に、姿勢情報の中からその人物の身体の一部分における情報を削除する。

【0088】

例えば、帽子に関する情報、メガネに関する情報、サングラスに関する情報、マスクに関する情報等、顔や頭に装着する装着物に関する外観情報の中の少なくとも１つの信頼度が基準値未満（所定条件）である場合、補正部１３は、姿勢情報の中から、「キーポイント：頭Ａ１」に関する情報を削除することができる。

【0089】

他の例として、帽子に関する情報、メガネに関する情報、サングラスに関する情報、マスクに関する情報等、顔や頭に装着する装着物に関する外観情報の中の全ての信頼度が基準値未満（所定条件）である場合、補正部１３は、姿勢情報の中から、「キーポイント：頭Ａ１」に関する情報を削除することができる。

【0090】

他の例として、帽子に関する情報、メガネに関する情報、サングラスに関する情報、マスクに関する情報等、顔や頭に装着する装着物に関する外観情報の中の所定割合以上の信頼度が基準値未満（所定条件）である場合、補正部１３は、姿勢情報の中から、「キーポイント：頭Ａ１」に関する情報を削除することができる。

【0091】

信頼度は、画像解析の結果に対する信頼の程度を示す値であり、その算出手段は周知のあらゆる技術を採用できる。

【0092】

検索部１２は、補正後の検索クエリを用いて、複数の参照画像の中から目的画像を検索する。

【0093】

次に、図１１のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。

【0094】

まず、画像処理装置１０は、人物の姿勢を示す姿勢情報及び人物の外観を示す外観情報を含む検索クエリを取得する（Ｓ４０）。具体的には、画像処理装置１０は、検索クエリとして画像を取得し、その画像を解析して、テキストや数値データの検索クエリを生成する。

【0095】

次に、画像処理装置１０は、テキストや数値データの検索クエリに含まれる姿勢情報及び外観情報の一方を用いて、他方を補正する（Ｓ４１）。そして、画像処理装置１０は、補正後の検索クエリ（テキストや数値データの検索クエリ）を用いて、複数の参照画像の中から目的画像を検索する（Ｓ４２）。次いで、画像処理装置１０は、検索結果を出力する。

【0096】

本実施形態の画像処理装置１０のその他の構成は、第１乃至第３の実施形態と同様である。

【0097】

「作用効果」
本実施形態の画像処理装置１０によれば、第１乃至第３の実施形態と同様の作用効果が実現される。

【0098】

また、本実施形態の画像処理装置１０によれば、検索クエリとして取得した画像を解析して得られた姿勢情報及び外観情報の一方を用いて他方を補正し、補正後の検索クエリを用いて画像検索を行うことができる。画像解析で姿勢情報や外観情報を生成する場合、生成された姿勢情報や外観情報に誤りがある可能性がある。そして、このような誤りのある情報を用いて画像検索を行うと、画像検索の精度が低くなる。

【0099】

そこで、本実施形態の画像処理装置１０は、検索クエリとして入力された画像の解析で特定された姿勢情報及び外観情報の一方を用いて他方を補正し、補正後の検索クエリを用いて、複数の参照画像の中から目的画像を検索する。このように、姿勢情報と外観情報との関係に基づき検索クエリを適切に補正する本実施形態の画像処理装置１０によれば、検索クエリの精度が向上し、その結果、画像検索の精度も高くなる。

【0100】

＜変形例＞
以下、第１乃至第４の実施形態に適用可能な変形例を説明する。当該変形例においても、第１乃至第４の実施形態と同様の作用効果が実現される。

【0101】

－変形例１－
当該例では、画像処理装置１０は、参照画像を解析して得られた参照画像外観情報及び参照画像姿勢情報と、検索クエリに含まれる外観情報及び姿勢情報とを照合して、複数の参照画像の中から目的画像を検索する。参照画像外観情報は、参照画像に含まれる人物の外観を示す。参照画像姿勢情報は、参照画像に含まれる人物の姿勢を示す。

【0102】

そして、画像処理装置１０は、第４の実施形態で説明した手法を利用して、参照画像を解析して得られた参照画像外観情報及び参照画像姿勢情報を補正する。

【0103】

すなわち、補正部１３は、参照画像に基づき生成された人物の姿勢を示す参照画像姿勢情報及び人物の外観を示す参照画像外観情報の一方を用いて、他方を補正する。補正の手法は、第４の実施形態で説明した通りである。

【0104】

例えば、補正部１３は、所定のキーポイントが検出されていない場合、そのキーポイントに予め紐付けられた種類の情報を参照画像外観情報の中から削除してもよい。

【0105】

その他、補正部１３は、人物の身体の一部分に含まれる複数のキーポイントの中の所定割合以上が検出されていない場合、その人物の身体の一部分に予め紐付けられた種類の情報を参照画像外観情報の中から削除してもよい。

【0106】

その他、補正部１３は、参照画像外観情報の中の人物の身体の一部分に関わる情報の信頼度が所定条件を満たす場合、参照画像姿勢情報の中からその人物の身体の一部分における情報を削除してもよい。

【0107】

－変形例２－
当該例では、画像処理装置１０は、参照画像を解析して得られた参照画像外観情報及び参照画像姿勢情報と、検索クエリに含まれる外観情報及び姿勢情報とを照合して、複数の参照画像の中から目的画像を検索する。

【0108】

そして、検索部１２は、複数の参照画像の内、１つの人物領域から同種のキーポイントが複数検出された参照画像を、目的画像としない。

【0109】

「人物領域」は人物が検出された所定形状の領域（例：矩形領域）である。人物領域を、所定形状の領域で検出する技術は、広く知られている。

【0110】

「１つの人物領域から同種のキーポイントが複数検出された」とは、例えば、１つの人物領域から「頭Ａ１」が複数検出された場合等である。

【0111】

このような参照画像を解析して得られた参照画像外観情報及び参照画像姿勢情報の精度は低いので、検索部１２は、当該参照画像を目的画像としない。検索部１２は、予め、当該参照画像を検索クエリの照合対象から除外してもよい。その他、検索部１２は、当該参照画像を検索クエリと照合するが、その結果に関わらず、目的画像から除外してもよい。

【0112】

－変形例３－
検索部１２は、検索クエリの外観情報において、所定の種類の装着物が装着されていることが示されており、かつ参照画像に含まれる人物からその所定の種類の装着物が検出されなかった場合、参照画像に含まれる人物の身体の姿勢を示す情報に基づき、その人物がその所定の種類の装着物を装着しているか否かを判断する。

【0113】

具体的には、検索部１２は、参照画像に含まれる人物の身体の姿勢が第１の方向を向いている姿勢である場合、参照画像に含まれる人物は所定の種類の装着物を装着していないと判断する。一方、検索部１２は、参照画像に含まれる人物の身体の姿勢が第２の方向を向いている姿勢である場合、参照画像に含まれる人物が所定の種類の装着物を装着しているか否かは不明と判断する。

【0114】

ここで、検索クエリにおいて「メガネを装着」していることが示されている場合を例にとり、当該処理を具体的に説明する。この例において、参照画像に含まれる人物からその所定の種類の装着物（メガネ）が検出されなかった場合、（１）その人物がそもそもメガネを装着してないため検出されなかったケースと、（２）その人物が後ろを向いているため検出されなかったケースと、が考えられる。（１）のケースにおいて「メガネを装着」という検索クエリを満たさないと判断するのは問題ないが、（２）のケースにおいて「メガネを装着」という検索クエリを満たさないと判断するのは好ましくない場合がある。

【0115】

そこで、検索部１２は、姿勢情報を用いて、（１）のケース及び（２）のケースのいずれであるのか識別する。そして、検索部１２は、（１）のケースの場合には、参照画像に含まれる人物がその所定の種類の装着物（メガネ）を装着していないと判断し、（２）のケースの場合には、参照画像に含まれる人物がその所定の種類の装着物（メガネ）を装着している否かは不明と判断する。

【0116】

検索部１２は、姿勢情報に基づき、人物が第１の方向及び第２の方向のいずれを向いているか特定し、その特定結果に基づき、（１）のケース及び（２）のケースのいずれであるのか判断する。具体的には、人物が第１の方向を向いている場合は（１）のケースと判断し、人物が第２の方向を向いている場合は（２）のケースと判断する。

【0117】

第１の方向及び第２の方向は、装着物の種類や装着位置に応じて異なる。

【0118】

メガネ、サングラス、マスクなど、顔に装着する装着物の場合、第１の方向は前方向（カメラの方に顔が向いている）であり、第２の方向は後ろ方向（カメラの方に顔が向いていない）である。横方向などのその他の方向を第１の方向及び第２の方向のいずれに含めるかは、設計的事項である。

【0119】

また、左手に装着した腕時計の場合、第１の方向は前方向、後ろ方向、右方向（カメラに向かって右向き）であり、第２の方向は左方向（カメラに向かって左向き）である。

【0120】

なお、検索クエリに含まれる外観情報の少なくとも１つにおいてマッチングしているか否か不明（所定の種類の装着物を装着しているか否か不明）と判断された参照画像をどのように扱うかは、設計的事項である。

【0121】

例えば、不明と判断された項目以外は検索クエリとマッチングしていると判断された参照画像は、目的画像としてもよい。すなわち、当該参照画像も、検索結果の画面において検索クエリにマッチした参照画像として表示されてもよい。

【0122】

その他、不明と判断された項目以外は検索クエリとマッチングしていると判断された参照画像は、目的画像の候補として抽出されてもよい。そして、検索結果の画面において、目的画像とは分けて、このような参照画像が目的画像の候補として表示されてもよい。

【0123】

－変形例４－
検索部１２は、検索クエリの内容に基づき、検索クエリと照合する参照画像を絞り込む。

【0124】

具体的には、当該変形例では、複数の参照画像各々を予め解析し、図４に示すように、複数の参照画像各々の識別情報（参照画像識別情報）に、各参照画像に含まれる人物の姿勢情報及び外観情報を紐付けた情報が記憶部に記憶されている。また、予め、身体のキーポイントと、身体のその部分に装着される装着物に関する外観情報の種類とが紐付けられている。

【0125】

そして、検索部１２は、検索クエリを解析し、身体のどの部分に関する外観情報が含まれるかを特定すると、参照画像の中から、特定した種類の外観情報を含む参照画像を抽出する。そして、検索部１２は、抽出した参照画像と検索クエリとを照合する。

【0126】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。

【0127】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。

【0128】

上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得する取得手段と、
前記検索クエリに含まれる前記姿勢情報及び前記外観情報を用いて、複数の参照画像の中から目的画像を検索する検索手段と、
を有し、
前記外観情報は、
所定の種類の装着物が装着されているか否か、
身体の所定の部位に所定の種類の装着物が装着されているか否か、
所定の模様の装着物が装着されているか否か、及び、
身体の所定の部位に所定の模様の装着物が装着されているか否か、
の中の少なくとも１つを示す画像処理装置。
２． 前記所定の部位は、頭部、右手、左手、右腕、左腕、右足又は左足である１に記載の画像処理装置。
３． 前記検索手段は、
前記検索クエリの前記外観情報において、所定の種類の装着物が装着されていることが示されており、かつ前記参照画像に含まれる人物から前記所定の種類の装着物が検出されなかった場合、前記参照画像に含まれる人物の身体の姿勢を示す情報に基づき、その人物が前記所定の種類の装着物を装着しているか否かを判断する１又は２に記載の画像処理装置。
４． 前記検索手段は、
前記参照画像に含まれる人物の身体の姿勢が第１の方向を向いている姿勢である場合、前記参照画像に含まれる人物は前記所定の種類の装着物を装着していないと判断し、
前記参照画像に含まれる人物の身体の姿勢が第２の方向を向いている姿勢である場合、前記参照画像に含まれる人物が前記所定の種類の装着物を装着しているか否かは不明と判断する３に記載の画像処理装置。
５． 前記検索手段は、
人物を含む前記参照画像を解析して人物の身体の複数のキーポイントを検出し、前記キーポイントの検出結果に基づき、人物の身体の姿勢を示す参照画像姿勢情報を生成し、
前記参照画像を解析して人物の外観を示す参照画像外観情報を生成し、
前記参照画像外観情報の信頼度に基づき、生成した前記参照画像姿勢情報を補正する１又は２に記載の画像処理装置。
６． 前記検索手段は、
人物の身体の一部分に関する前記参照画像外観情報の信頼度が所定条件を満たす場合、その人物の身体の一部分に関する情報を前記参照画像姿勢情報の中から削除する５に記載の画像処理装置。
７． 前記検索手段は、
前記検索クエリに含まれる前記姿勢情報の中の人物の身体の一部分の姿勢を示す部分姿勢情報と、前記検索クエリに含まれる前記外観情報の中の一部である部分外観情報とを用いて、複数の参照画像の中から目的画像を検索する１から６のいずれかに記載の画像処理装置。
８． 前記取得手段は、前記検索クエリとして画像を取得するとともに、ユーザが指定した人物の身体の一部分が存在する前記画像内の一部領域を前記姿勢情報に基づき特定し、
前記検索手段は、
前記画像内の一部領域を解析して検出された人物の身体の姿勢を示す前記部分姿勢情報と、人物の外観を示す前記部分外観情報とを用いて、前記検索を行う７に記載の画像処理装置。
９． １つ以上のコンピュータが、
人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得し、
前記検索クエリに含まれる前記姿勢情報及び前記外観情報を用いて、複数の参照画像の中から目的画像を検索し、
前記外観情報は、
所定の種類の装着物が装着されているか否か、
身体の所定の部位に所定の種類の装着物が装着されているか否か、
所定の模様の装着物が装着されているか否か、及び、
身体の所定の部位に所定の模様の装着物が装着されているか否か、
の中の少なくとも１つを示す画像処理方法。
１０． コンピュータを、
人物の身体の姿勢を示す姿勢情報、及び人物の外観を示す外観情報を含む検索クエリを取得する取得手段、
前記検索クエリに含まれる前記姿勢情報及び前記外観情報を用いて、複数の参照画像の中から目的画像を検索する検索手段、
として機能させ、
前記外観情報は、
所定の種類の装着物が装着されているか否か、
身体の所定の部位に所定の種類の装着物が装着されているか否か、
所定の模様の装着物が装着されているか否か、及び、
身体の所定の部位に所定の模様の装着物が装着されているか否か、
の中の少なくとも１つを示すプログラム。

【符号の説明】

【0129】

１０ 画像処理装置
１１ 取得部
１２ 検索部
１３ 補正部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】