特開 2023-176244 画像処理システム、装置、処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023176244

(43)【公開日】2023-12-13

(54)【発明の名称】画像処理システム、装置、処理方法、およびプログラム

(51)【国際特許分類】

   G06V 10/422 20220101AFI20231206BHJP

   G06T 7/00 20170101ALI20231206BHJP

【ＦＩ】

G06V10/422

G06T7/00 660B

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022088420

(22)【出願日】2022-05-31

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】竹内 浩明

(72)【発明者】

【氏名】川合 諒

(72)【発明者】

【氏名】吉田 登

(72)【発明者】

【氏名】劉 健全

(72)【発明者】

【氏名】並木 悠太

(72)【発明者】

【氏名】進藤 直樹

(72)【発明者】

【氏名】佐々木 洋平

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA22

5L096DA01

5L096EA39

5L096FA09

5L096FA67

5L096GA51

5L096JA03

5L096JA11

5L096KA04

5L096KA09

(57)【要約】

【課題】画像に含まれる人体の複数のキーポイント各々の特徴量に基づく類似画像の検索処理において、より高速な検索処理を実現する。
【解決手段】本発明は、対象画像を取得する対象画像取得部１１と、対象画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出部１２と、検出されたキーポイントに基づき、複数の参照画像の中から、対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する第１の照合部１３と、検出されたキーポイントに基づき、第１の参照画像の中から、対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する第２の照合部１４と、を有する画像処理システム１０を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象画像を取得する対象画像取得手段と、
前記対象画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段と、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する第１の照合手段と、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する第２の照合手段と、
を有する画像処理システム。

【請求項2】

前記第１の抽出条件は、第１の算出方法で算出した画像に含まれる人体の姿勢の類似度が第１の基準値以上であり、
前記第２の抽出条件は、第２の算出方法で算出した画像に含まれる人体の姿勢の類似度が第２の基準値以上である請求項１に記載の画像処理システム。

【請求項3】

前記第１の算出方法及び前記第２の算出方法は、人体の姿勢の類似度を算出する際に参照する前記キーポイントの数及び前記キーポイントの種類の少なくとも一方が互いに異なる請求項２に記載の画像処理システム。

【請求項4】

前記第２の抽出条件は、
人体の姿勢の類似度を算出する際に参照する前記キーポイントの中の所定数以上が検出されていること、及び、
人体の姿勢の類似度を算出する際に参照する前記キーポイントの中の所定の前記キーポイントが検出されていること、
の少なくとも一方を含む請求項３に記載の画像処理システム。

【請求項5】

前記第１の算出方法及び前記第２の算出方法は、人体の姿勢の類似度を算出する際に参照する前記キーポイント各々の重みの設定内容が互いに異なる請求項２に記載の画像処理システム。

【請求項6】

前記第１の算出方法では、全ての前記キーポイントの重みを同じにして人体の姿勢の類似度を算出し、
前記第２の算出方法では、キーポイント毎に設定された重みに基づき人体の姿勢の類似度を算出する請求項５に記載の画像処理システム。

【請求項7】

前記第２の参照画像を表示装置に表示させる表示制御手段と、
前記第２の抽出条件を変更する入力を受付ける変更受付手段と、
をさらに有し、
前記第２の抽出条件を変更する入力の受付に応じて、
前記第２の照合手段は、前記第１の参照画像の中から、前記対象画像との間の関係が変更後の前記第２の抽出条件を満たす前記第２の参照画像を新たに抽出し、
前記表示制御手段は、前記表示装置に表示させる内容を、変更前の前記第２の抽出条件を満たす前記第２の参照画像から、変更後の前記第２の抽出条件を満たす前記第２の参照画像に変更させる請求項１から６のいずれか１項に記載の画像処理システム。

【請求項8】

前記変更受付手段は、
複数の前記キーポイントで構成された人体モデルを含み、前記人体モデル上で設定対象の前記キーポイントを選択する入力を受付け、選択された前記キーポイントの重みを変更する入力を受付ける設定画面を介して、前記第２の抽出条件を変更する入力を受付ける請求項７に記載の画像処理システム。

【請求項9】

前記変更受付手段は、
前記人体モデルにおいて、選択された前記キーポイントを強調表示する前記設定画面を介して、前記第２の抽出条件を変更する入力を受付ける請求項８に記載の画像処理システム。

【請求項10】

前記変更受付手段は、
前記人体モデルにおいて、設定されている重みが閾値より大の前記キーポイントと、その他の前記キーポイントとを異なる態様で表示する前記設定画面を介して、前記第２の抽出条件を変更する入力を受付ける請求項８に記載の画像処理システム。

【請求項11】

サーバと、クライアント端末とを有し、
前記サーバは、前記第１の照合手段を有し、抽出した前記第１の参照画像を前記クライアント端末に送信し、
前記クライアント端末が前記第２の照合手段を有し、前記サーバから受信した前記第１の参照画像の中から前記第２の参照画像を抽出する請求項１に記載の画像処理システム。

【請求項12】

対象画像を取得する対象画像取得手段と、
前記対象画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段と、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する第１の照合手段と、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する第２の照合手段と、
を有する装置。

【請求項13】

１つ又は複数のコンピュータが、
対象画像を取得し、
前記対象画像に含まれる人体のキーポイントを検出する処理を行い、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出し、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する画像処理方法。

【請求項14】

コンピュータを、
対象画像を取得する対象画像取得手段、
前記対象画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する第１の照合手段、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する第２の照合手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、装置、処理方法、およびプログラムに関する。

【背景技術】

【0002】

本発明に関連する技術が、特許文献１乃至３、及び非特許文献１に開示されている。

【0003】

特許文献１には、画像に含まれる人体の複数のキーポイント各々の特徴量を算出し、算出した特徴量に基づき姿勢が似た人体や動きが似た人体を含む画像を検索したり、当該姿勢や動きが似たもの同士でまとめて分類したりする技術が開示されている。また、非特許文献１には、人物の骨格推定に関連する技術が開示されている。

【0004】

特許文献２には、画像に含まれる人物の骨格データを推定し、各関節の推定結果の信頼度を基に関節の重みを計算し、計算された各関節の重みを用いて、推定された骨格データと所定の画像データから推定された骨格データとの類似度を算出する技術が開示されている。

【0005】

特許文献３には、画像に含まれる人体の複数のキーポイント各々の特徴量、及び各キーポイントの重みを用いて、人体の姿勢の類似度を算出する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０２１／０８４６７７号

【特許文献2】特開２０２１－６０７３６号公報

【特許文献3】国際公開第２０２２／００９３２７号

【非特許文献】

【0007】

【非特許文献1】Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, P. 7291-7299

【発明の概要】

【発明が解決しようとする課題】

【0008】

画像に含まれる人体の複数のキーポイント各々の特徴量に基づく類似画像の検索処理において、より高速な検索処理が求められている。例えば、検索処理の条件（例：類似度の閾値、各キーポイントの重み等）を設定する場面では、オペレータは、条件を調整しながら検索処理を繰り返し行い、各回の検索結果を参照しながら条件を適切に調整していく。このような検索処理を繰り返し行う場面において、検索処理に多くの時間を要すると、作業効率が悪くなる。

【0009】

特許文献１及び非特許文献１は、画像に含まれる人体の複数のキーポイント各々の特徴量に基づく類似画像の検索処理を開示しているものの、検索処理をより高速化するという課題及びその解決手段は開示していない。

【0010】

特許文献２及び３は、各キーポイントの重みを用いて類似度を算出する技術を開示しているものの、検索処理をより高速化するという課題及びその解決手段は開示していない。

【0011】

本発明の目的の一例は、上述した問題を鑑み、画像に含まれる人体の複数のキーポイント各々の特徴量に基づく類似画像の検索処理において、より高速な検索処理を実現するという課題を解決する画像処理システム、装置、処理方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0012】

本発明の一態様によれば、
対象画像を取得する対象画像取得手段と、
前記対象画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段と、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する第１の照合手段と、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する第２の照合手段と、
を有する画像処理システムが提供される。

【0013】

本発明の一態様によれば、
対象画像を取得する対象画像取得手段と、
前記対象画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段と、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する第１の照合手段と、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する第２の照合手段と、
を有する装置が提供される。

【0014】

本発明の一態様によれば、
１つ又は複数のコンピュータが、
対象画像を取得し、
前記対象画像に含まれる人体のキーポイントを検出する処理を行い、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出し、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する画像処理方法が提供される。

【0015】

本発明の一態様によれば、
コンピュータを、
対象画像を取得する対象画像取得手段、
前記対象画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する第１の照合手段、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する第２の照合手段、
として機能させるプログラムが提供される。

【発明の効果】

【0016】

本発明の一態様によれば、画像に含まれる人体の複数のキーポイント各々の特徴量に基づく類似画像の検索処理において、より高速な検索処理を実現するという課題を解決する画像処理システム、装置、処理方法、およびプログラムが実現される。

【図面の簡単な説明】

【0017】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる公的な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0018】

【図1】画像処理システムの機能ブロック図の一例を示す図である。

【図2】画像処理システムの構成例を示す図である。

【図3】画像処理システムのハードウエア構成の一例を示す図である。

【図4】画像処理システムにより検出される人体モデルの骨格構造の一例を示す図である。

【図5】画像処理システムにより検出された人体モデルの骨格構造の一例を示す図である。

【図6】画像処理システムにより検出された人体モデルの骨格構造の一例を示す図である。

【図7】画像処理システムにより検出された人体モデルの骨格構造の一例を示す図である。

【図8】画像処理システムにより算出されるキーポイントの特徴量の一例を示す図である。

【図9】画像処理システムにより算出されるキーポイントの特徴量の一例を示す図である。

【図10】画像処理システムにより算出されるキーポイントの特徴量の一例を示す図である。

【図11】参照画像情報の一例を模式的に示す図である。

【図12】画像処理システムの処理の流れの一例を示すシーケンス図である。

【図13】画像処理システムの処理の流れの一例を示すシーケンス図である。

【図14】画像処理システムの機能ブロック図の一例を示す図である。

【図15】画像処理システムの処理の流れの一例を示すシーケンス図である。

【図16】画像処理システムの処理の流れの一例を示すシーケンス図である。

【図17】画像処理システムの処理の流れの一例を示すフローチャートである。

【図18】画像処理システムが提供する設定画面の一例を示す図である。

【図19】画像処理システムが提供する設定画面の一例を示す図である。

【図20】画像処理システムが提供する設定画面の一例を示す図である。

【図21】画像処理システムが提供する設定画面の一例を示す図である。

【図22】画像処理システムが提供する設定画面の一例を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0020】

＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理システム１０の概要を示す機能ブロック図である。画像処理システム１０は、対象画像取得部１１と、骨格構造検出部１２と、第１の照合部１３と、第２の照合部１４とを有する。

【0021】

対象画像取得部１１は、対象画像を取得する。骨格構造検出部１２は、対象画像に含まれる人体のキーポイントを検出する処理を行う。第１の照合部１３は、検出されたキーポイントに基づき、複数の参照画像の中から、対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する。第２の照合部１４は、検出されたキーポイントに基づき、第１の参照画像の中から、対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する。

【0022】

このような構成を備える画像処理システム１０によれば、画像に含まれる人体の複数のキーポイント各々の特徴量に基づく類似画像の検索処理において、より高速な検索処理を実現するという課題が解決される。

【0023】

＜第２の実施形態＞
「概要」
本実施形態の画像処理システム１０は、第１の実施形態の画像処理システム１０をより具体化したものである。本実施形態の画像処理システム１０は、複数の参照画像の中から所望の参照画像を検索する処理を２ステップに分けて行う。すなわち、第１のステップである程度絞り込んだのち、第２のステップで絞り込まれた参照画像の中から所望の参照画像を検索する。

【0024】

図２に示すように、本実施形態の画像処理システム１０は、サーバ１とクライアント端末２とを有する。クライアント端末２は、パーソナルコンピュータ、スマートフォン、タブレット端末、スマートウォッチ、携帯電話、インターネット接続機能を備えたテレビ等であるが、これらに限定されない。

【0025】

本実施形態では、サーバ１が上記第１のステップを行う。すなわち、サーバ１は、複数の参照画像の中から、対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する。そして、クライアント端末２が上記第２のステップを行う。すなわち、クライアント端末２は、抽出された第１の参照画像（絞り込まれた参照画像）の中から、対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する。以下、画像処理システム１０の構成を詳細に説明する。

【0026】

「ハードウエア構成」
次に、画像処理システム１０のハードウエア構成の一例を説明する。画像処理システム１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0027】

図３は、画像処理システム１０のハードウエア構成を例示するブロック図である。図３に示すように、画像処理システム１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。画像処理システム１０は周辺回路４Ａを有さなくてもよい。なお、画像処理システム１０は物理的及び／又は論理的に分かれた複数の装置（サーバ１及びクライアント端末２）で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0028】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0029】

「機能構成」
次に、本実施形態の画像処理システム１０の機能構成を詳細に説明する。図１に、画像処理システム１０の機能ブロック図の一例を示す。図示するように、画像処理システム１０は、対象画像取得部１１と、骨格構造検出部１２と、第１の照合部１３と、第２の照合部１４とを有する。サーバ１が、骨格構造検出部１２及び第１の照合部１３を備える。そして、クライアント端末２が、対象画像取得部１１及び第２の照合部１４を備える。

【0030】

クライアント端末２は、例えば、予めインストールされた専用のソフトウエアやアプリケーション、又はサーバ１から提供されたプログラム（ウェブページ等）を介して、サーバ１と通信するとともに各種処理を実行し、対象画像取得部１１及び第２の照合部１４の機能を実現することができる。以下、画像処理システム１０が備える機能部の構成を説明する。

【0031】

対象画像取得部１１は、対象画像を取得する。対象画像は、骨格構造検出部１２、第１の照合部１３及び第２の照合部１４により実行される処理の対象となる静止画像である。

【0032】

対象画像取得部１１は、例えば所定のアクセス可能な記憶装置に記憶されている静止画像の中から１つを指定するユーザ入力を受付け、その指定された静止画像を対象画像として取得してもよい。その他、対象画像取得部１１は、動画像の中のユーザが指定したフレーム画像を対象画像として取得してもよい。動画像は過去に撮影されたものであってもよいし、ライブ画像であってもよい。例えば、対象画像取得部１１は、動画像を再生中にユーザ入力を受付け、そのユーザ入力を受付けた時点で画面表示されていたフレーム画像を対象画像として取得してもよい。その他、対象画像取得部１１は、動画像の中からユーザが指定した時間間隔で複数のフレーム画像を順に対象画像として取得してもよい。なお、ここで説明した対象画像を取得する処理は一例であり、これらに限定されない。

【0033】

上述の通り、本実施形態では、クライアント端末２が対象画像取得部１１を備える。クライアント端末２の対象画像取得部１１は、自装置の入力装置（タッチパネル、物理ボタン、キーボード、マウス、マイク等）を介して、上述のような対象画像を指定する入力を受付ける。そして、対象画像取得部１１は、取得した対象画像をクライアント端末２内の記憶装置に記憶させる。また、対象画像取得部１１は、取得した対象画像をサーバ１に送信する。

【0034】

骨格構造検出部１２は、対象画像に含まれる人体のキーポイントを検出する処理を行う。骨格構造検出部１２は、対象画像に含まれる人体のＮ（Ｎは２以上の整数）個のキーポイントを検出する。骨格構造検出部１２による当該処理は、特許文献１に開示されている技術を用いて実現される。詳細は省略するが、特許文献１に開示されている技術では、非特許文献１に開示されたＯｐｅｎＰｏｓｅ等の骨格推定技術を利用して骨格構造の検出を行う。当該技術で検出される骨格構造は、関節等の特徴的な点である「キーポイント」と、キーポイント間のリンクを示す「ボーン（ボーンリンク）」とから構成される。

【0035】

図４は、骨格構造検出部１２により検出される人体モデル３００の骨格構造を示しており、図５乃至図７は、骨格構造の検出例を示している。骨格構造検出部１２は、ＯｐｅｎＰｏｓｅ等の骨格推定技術を用いて、２次元の画像から図４のような人体モデル（２次元骨格モデル）３００の骨格構造を検出する。人体モデル３００は、人物の関節等のキーポイントと、各キーポイントを結ぶボーンから構成された２次元モデルである。

【0036】

骨格構造検出部１２は、例えば、画像の中からキーポイントとなり得る特徴点を抽出し、キーポイントの画像を機械学習した情報を参照して、人体のＮ個のキーポイントを検出する。検出するＮ個のキーポイントは予め定められる。検出するキーポイントの数（すなわち、Ｎの数）や、人体のどの部分を検出するキーポイントとするかは様々であり、あらゆるバリエーションを採用できる。

【0037】

例えば、図４に示すように、頭Ａ１、首Ａ２、右肩Ａ３１、左肩Ａ３２、右肘Ａ４１、左肘Ａ４２、右手Ａ５１、左手Ａ５２、右腰Ａ６１、左腰Ａ６２、右膝Ａ７１、左膝Ａ７２、右足Ａ８１、左足Ａ８２が、検出対象のＮ個のキーポイント（Ｎ＝１４）として定められる。なお、図４に示す人体モデル３００では、これらのキーポイントを連結した人物の骨として、頭Ａ１と首Ａ２を結ぶボーンＢ１、首Ａ２と右肩Ａ３１及び左肩Ａ３２をそれぞれ結ぶボーンＢ２１及びボーンＢ２２、右肩Ａ３１及び左肩Ａ３２と右肘Ａ４１及び左肘Ａ４２をそれぞれ結ぶボーンＢ３１及びボーンＢ３２、右肘Ａ４１及び左肘Ａ４２と右手Ａ５１及び左手Ａ５２をそれぞれ結ぶボーンＢ４１及びボーンＢ４２、首Ａ２と右腰Ａ６１及び左腰Ａ６２をそれぞれ結ぶボーンＢ５１及びボーンＢ５２、右腰Ａ６１及び左腰Ａ６２と右膝Ａ７１及び左膝Ａ７２をそれぞれ結ぶボーンＢ６１及びボーンＢ６２、右膝Ａ７１及び左膝Ａ７２と右足Ａ８１及び左足Ａ８２をそれぞれ結ぶボーンＢ７１及びボーンＢ７２がさらに定められている。

【0038】

図５は、直立した状態の人物を検出する例である。図５では、直立した人物が正面から撮像されており、正面から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ重ならずに検出され、右足のボーンＢ６１及びボーンＢ７１は左足のボーンＢ６２及びボーンＢ７２よりも多少折れ曲がっている。

【0039】

図６は、しゃがみ込んでいる状態の人物を検出する例である。図６では、しゃがみ込んでいる人物が右側から撮像されており、右側から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２は大きく折れ曲がり、かつ、重なっている。

【0040】

図７は、寝込んでいる状態の人物を検出する例である。図７では、寝込んでいる人物が左斜め前から撮像されており、左斜め前から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２は折れ曲がり、かつ、重なっている。

【0041】

第１の照合部１３は、骨格構造検出部１２により検出されたキーポイントに基づき、予め登録された複数の参照画像の中から、対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する。

【0042】

第１の抽出条件は、「第１の算出方法」で算出した「画像に含まれる人体の姿勢の類似度」が「第１の基準値以上」である。すなわち、第１の照合部１３は、対象画像に含まれる人体の姿勢と、参照画像各々に含まれる人体の姿勢との類似度を第１の算出方法で算出する。そして、第１の照合部１３は、算出した類似度が第１の基準値以上である参照画像を、第１の参照画像として抽出する。

【0043】

第２の照合部１４は、骨格構造検出部１２により検出されたキーポイントに基づき、第１の照合部１３により抽出された第１の参照画像の中から、対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する。すなわち、第２の照合部１４は、第１の照合部１３により絞り込まれた参照画像（第１の参照画像）を照合対象として対象画像との照合を行い、第１の参照画像の中から第２の参照画像を抽出する。

【0044】

第２の抽出条件は、「第２の算出方法」で算出した「画像に含まれる人体の姿勢の類似度」が「第２の基準値以上」である。すなわち、第２の照合部１４は、対象画像に含まれる人体の姿勢と、第１の参照画像各々に含まれる人体の姿勢との類似度を第２の算出方法で算出する。そして、第２の照合部１４は、算出した類似度が第２の基準値以上である第１の参照画像を、第２の参照画像として抽出する。

【0045】

第１の算出方法と第２の算出方法とは互いに異なってもよいし、同じであってもよい。例えば、第１の算出方法及び第２の算出方法は、人体の姿勢の類似度を算出する際に参照するキーポイントの数及びキーポイントの種類の少なくとも一方が互いに異なってもよい。

【0046】

また、第１の算出方法及び第２の算出方法は、人体の姿勢の類似度を算出する際に参照するキーポイント各々の重みの設定内容が互いに異なってもよい。例えば、第１の算出方法では、全てのキーポイントの重みを同じにして人体の姿勢の類似度を算出し、第２の算出方法では、キーポイント毎に設定された重みに基づき人体の姿勢の類似度を算出してもよい。また、第１の算出方法及び第２の算出方法は、各種キーポイントの重みが互いに異なってもよい。

【0047】

また、第１の基準値及び第２の基準値は別々に独立して設定できる。このため、第１の基準値及び第２の基準値を同じ値にすることもできるし、異なる値にすることもできる。

【0048】

また、第１の抽出条件及び第２の抽出条件は、互いに異なるその他の条件を含んでもよい。例えば、第１の抽出条件及び第２の抽出条件のいずれか一方が、
・人体の姿勢の類似度を算出する際に参照するキーポイントの中の所定数以上が検出されていること、及び、
・人体の姿勢の類似度を算出する際に参照するキーポイントの中の所定のキーポイント（例：頭）が検出されていること、
の少なくとも一方を含んでもよい。当該条件の「所定数（最低検出点）」及び「所定のキーポイント（必須検出キーポイント）」は予め定められていてもよいし、ユーザが設定できてもよい。

【0049】

例えば、第１の抽出条件が当該条件を含んでもよいし、第２の抽出条件が当該条件を含んでもよい。

【0050】

その他、第１の抽出条件及び第２の抽出条件の両方が、当該条件を含んでもよい。その場合、その内容が互いに異なってもよい。

【0051】

例えば、第１の抽出条件及び第２の抽出条件の両方が「人体の姿勢の類似度を算出する際に参照するキーポイントの中の所定数以上が検出されていること」を含む場合、当該所定数は別々に独立して設定できてもよい。この場合、第１の抽出条件の当該所定数及び第２の抽出条件の当該所定数を同じ値にすることもできるし、異なる値にすることもできる。

【0052】

また、第１の抽出条件及び第２の抽出条件の両方が「人体の姿勢の類似度を算出する際に参照するキーポイントの中の所定のキーポイントが検出されていること」を含む場合、当該所定のキーポイントは別々に独立して設定できてもよい。この場合、第１の抽出条件の当該所定のキーポイント及び第２の抽出条件の当該所定のキーポイントの種類や数を同じ内容にすることもできるし、異なる内容にすることもできる。

【0053】

また、第２の抽出条件は上述した複数の項目（人体の姿勢の類似度を算出する際に参照するキーポイントの数、キーポイントの種類、各キーポイントの重み、最低検出点、必須検出キーポイント）の中の少なくとも１つがユーザ入力により変更可能であってもよい。そして、第１の抽出条件は上述した複数の項目が固定されていてもよい。

【0054】

ここで、第１の抽出条件及び第２の抽出条件の具体例を説明する。なお、ここでの例示はあくまで一例であり、本実施形態の第１の抽出条件及び第２の抽出条件はこれに限定されない。

【0055】

第１の抽出条件は、「Ｎ個のキーポイントの全てに基づき算出した人体の姿勢の類似度が第１の基準値以上」である。なお、第１の抽出条件の当該類似度は、Ｎ個のキーポイントの重みは同じにして算出される。

【0056】

第２の抽出条件は、「Ｎ個のキーポイントの中の一部に基づき算出した人体の姿勢の類似度が第２の基準値以上」である。なお、第２の抽出条件の当該類似度は、キーポイント毎に設定された重みに基づき算出される。

【0057】

そして、第２の抽出条件は、人体の姿勢の類似度を算出する際に参照するキーポイントの数、キーポイントの種類、各キーポイントの重みがユーザ入力により変更可能である。一方、第１の抽出条件は、人体の姿勢の類似度を算出する際に参照するキーポイントの数、キーポイントの種類、各キーポイントの重みが固定されている。

【0058】

また、第２の抽出条件は、第２の基準値がユーザ入力により変更可能である。第１の抽出条件は、第１の基準値がユーザ入力により変更可能であってもよいし、固定値であってもよい。

【0059】

また、第２の抽出条件は、さらに、
・人体の姿勢の類似度を算出する際に参照するキーポイントの中の所定数以上が検出されていること、及び、
・人体の姿勢の類似度を算出する際に参照するキーポイントの中の所定のキーポイントが検出されていること、
の少なくとも一方を含む。当該条件の「所定数」及び「所定のキーポイント」は予め定められていてもよいし、ユーザ入力により変更可能であってもよい。なお、第１の抽出条件は、当該条件を含まない。

【0060】

ここで、骨格構造検出部１２により検出されたキーポイントに基づき、対象画像から検出された人体の姿勢と、予め登録された参照画像が示す人体の姿勢との類似度を算出する処理の一例を説明する。

【0061】

人体の姿勢の類似度の算出の仕方は様々であり、あらゆる技術を採用できる。例えば、特許文献１に開示の技術を採用してもよい。以下、一例を説明するがこれに限定されない。

【0062】

一例として、検出されたキーポイントで示される骨格構造の特徴量を算出し、対象画像から検出された人体の骨格構造の特徴量と、参照画像が示す人体の骨格構造の特徴量との類似度を算出することで、２つの人体の姿勢の類似度を算出してもよい。

【0063】

骨格構造の特徴量は、人物の骨格の特徴を示しており、人物の骨格に基づいて人物の姿勢を分類するための要素となる。通常、この特徴量は、複数のパラメータを含んでいる。そして類似度の算出において参照する特徴量は、骨格構造の全体の特徴量でもよいし、骨格構造の一部の特徴量でもよく、骨格構造の各部のように複数の特徴量を含んでもよい。特徴量の算出方法は、機械学習や正規化等の任意の方法でよく、正規化として最小値や最大値を求めてもよい。一例として、特徴量は、骨格構造を機械学習することで得られた特徴量や、骨格構造の頭部から足部までの画像上の大きさ、画像上の骨格構造を含む骨格領域の上下方向における複数のキーポイントの相対的な位置関係、当該骨格領域の左右方向における複数のキーポイントの相対的な位置関係等である。骨格構造の大きさは、画像上の骨格構造を含む骨格領域の上下方向の高さや面積等である。上下方向（高さ方向または縦方向）は、画像における上下の方向（Ｙ軸方向）であり、例えば、地面（基準面）に対し垂直な方向である。また、左右方向（横方向）は、画像における左右の方向（Ｘ軸方向）であり、例えば、地面に対し平行な方向である。

【0064】

なお、ユーザが望む検索を行うためには、検索処理に対しロバスト性を有する特徴量を用いることが好ましい。例えば、ユーザが、人物の向きや体型に依存しない検索を望む場合、人物の向きや体型にロバストな特徴量を使用してもよい。同じ姿勢で様々な方向に向いている人物の骨格や同じ姿勢で様々な体型の人物の骨格を学習することや、骨格の上下方向のみの特徴を抽出することで、人物の向きや体型に依存しない特徴量を得ることができる。骨格構造の特徴量を算出する処理の一例は、特許文献１に開示されている。

【0065】

図８は、複数のキーポイント各々の特徴量の例を示している。複数のキーポイントの特徴量の集合が、骨格構造の特徴量となる。なお、ここで例示するキーポイントの特徴量はあくまで一例であり、これに限定されない。

【0066】

この例では、キーポイントの特徴量は、画像上の骨格構造を含む骨格領域の上下方向における複数のキーポイントの相対的な位置関係を示す。首のキーポイントＡ２を基準点とするため、キーポイントＡ２の特徴量は０．０となり、首と同じ高さの右肩のキーポイントＡ３１及び左肩のキーポイントＡ３２の特徴量も０．０である。首よりも高い頭のキーポイントＡ１の特徴量は－０．２である。首よりも低い右手のキーポイントＡ５１及び左手のキーポイントＡ５２の特徴量は０．４であり、右足のキーポイントＡ８１及び左足のキーポイントＡ８２の特徴量は０．９である。この状態から人物が左手を挙げると、図９のように左手が基準点よりも高くなるため、左手のキーポイントＡ５２の特徴量は－０．４となる。一方で、Ｙ軸の座標のみを用いて正規化を行っているため、図１０のように、図８に比べて骨格構造の幅が変わっても特徴量は変わらない。すなわち、当該例の特徴量（正規化値）は、骨格構造（キーポイント）の高さ方向（Ｙ方向）の特徴を示しており、骨格構造の横方向（Ｘ方向）の変化に影響を受けない。

【0067】

このような特徴量で示される姿勢の類似度の算出の仕方は様々である。例えば、キーポイント毎に特徴量の類似度を算出した後、複数のキーポイントの特徴量の類似度に基づき、姿勢の類似度を算出してもよい。例えば、複数のキーポイントの特徴量の類似度の平均値、最大値、最小値、最頻値、中央値、加重平均値、加重和等が、姿勢の類似度として算出されてもよい。加重平均値や加重和を算出する場合、各キーポイントの重みはユーザが設定できてもよいし、予め定められていてもよい。

【0068】

ここで、図１１に、予め画像処理システム１０に登録される参照画像情報について説明する。本実施形態では、サーバ１に参照画像及び参照画像情報が登録される。図１１に示す参照画像情報は、参照画像識別情報と、データ名と、特徴量とが互いに紐付けられている。

【0069】

参照画像識別情報は、複数の参照画像を互いに識別する情報である。

【0070】

データ名は、各参照画像に付される情報である。複数の参照画像に同一のデータ名を付すこともできる。また、１つの参照画像に複数のデータ名を付すこともできる。データ名は、画像の内容（人体の姿勢、対象物の捉え方等）等に応じたものとすることができる。図示する「車イス・俯瞰」は、車イスに乗った人を含み、かつその人を上から見下ろすように撮影された参照画像に付される。その他、右手で携帯電話をもって通話中の人を含む参照画像に「携帯電話・右手・俯瞰」というデータ名が付されてもよい。例えば、車イスに乗り、右手で携帯電話をもって通話中の人を含む参照画像に、「車イス・俯瞰」というデータ名と、「携帯電話・右手・俯瞰」というデータ名が付されてもよい

【0071】

特徴量は、各参照画像に含まれる人体の姿勢の特徴量（例：各キーポイントの特徴量の集合）である。

【0072】

なお、クライアント端末２は、対象画像を指定するユーザ入力に加えて、データ名を指定するユーザ入力を受付けてもよい。そして、クライアント端末２は、指定された対象画像に加えて、データ名を指定するユーザ入力の内容をサーバ１に送信してもよい。この場合、第１の照合部１３は、参照画像の中から指定されたデータ名に紐付けられた参照画像を抽出した後、抽出した参照画像の中から第１の抽出条件を満たす第１の参照画像を抽出してもよい。このように構成した場合、検索対象とする参照画像をデータ名で絞り込むことができ、より高速な検索処理が実現される。

【0073】

なお、上記「データ名を指定するユーザ入力」の内容は様々な構成を採用できる。例えば、クライアント端末２は、上記「データ名を指定するユーザ入力」として、１つ又は複数のデータ名を直接指定する入力を受付けてもよい。その他、サーバ１１は、共通項を有する複数のデータ名をまとめてグループを作成し、各グループにラベル名を紐付けて管理してもよい。例えば、「携帯電話・右手・俯瞰」、「携帯電話・左手・俯瞰」等のデータ名をまとめたグループに「携帯使用」というラベル名が紐付けられてもよい。そして、クライアント端末２は、上記「データ名を指定するユーザ入力」として、ラベル名を選択する入力を受付けてもよい。この場合、選択されたラベル名のグループに紐付くデータ名が指定される。

【0074】

ここで、図１２のシーケンス図を用いて、サーバ１及びクライアント端末２で構成される画像処理システム１０の処理の流れの一例を説明する。

【0075】

まず、クライアント端末２が、対象画像を指定するユーザ入力を受付ける（Ｓ１０）。次いで、クライアント端末２は、指定された対象画像をサーバ１に送信する（Ｓ１１）。

【0076】

サーバ１は、対象画像に含まれる人体のキーポイントを検出する処理を行った後、検出されたキーポイントに基づき、複数の参照画像の中から、対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する（Ｓ１２）。次いで、サーバ１は、第１の参照画像と、第１の参照画像各々から検出された人体のキーポイントに関する情報（例：特徴量等）（図１１参照）と、対象画像から検出された人体のキーポイントに関する情報（例：特徴量等）をクライアント端末２に送信する（Ｓ１３）。

【0077】

クライアント端末２は、受信した第１の参照画像各々から検出された人体のキーポイントに関する情報と、対象画像から検出された人体のキーポイントに関する情報とに基づき、受信した第１の参照画像の中から、Ｓ１０で指定された対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する（Ｓ１４）。そして、クライアント端末２は、抽出した第２の参照画像を表示する（Ｓ１５）。当該表示は、ディスプレイへの表示、投影装置を利用した映像の投影等で実現される。

【0078】

なお、クライアント端末２は、Ｓ１３で受信したデータ（画像や情報）を自端末の記憶装置内に記憶し、当該データを利用してＳ１４及びＳ１５の処理を繰り返し行うことができる。

【0079】

例えば、ユーザが、クライアント端末２に対して第２の抽出条件を変更する入力を行ってもよい。そして、クライアント端末２は、受信した第１の参照画像の中から、Ｓ１０で指定された対象画像との間の関係が変更後の第２の抽出条件を満たす第２の参照画像を抽出し（Ｓ１４）、抽出した第２の参照画像を表示してもよい（Ｓ１５）。この処理については、第５の実施形態で詳述する。

【0080】

その他、予め複数の第２の抽出条件が設定されていてもよい。そして、クライアント端末２は、受信した第１の参照画像の中から、Ｓ１０で指定された対象画像との間の関係が複数の第２の抽出条件各々を満たす第２の参照画像を抽出し（Ｓ１４）、複数の第２の抽出条件各々に基づき抽出した第２の参照画像を分けて表示してもよい（Ｓ１５）。

【0081】

このように、第２の抽出条件に基づく抽出を複数回行う場合に、その都度、第１の抽出条件に基づく抽出と第２の抽出条件に基づく抽出の両方を行っていると、コンピュータの処理負担が大きくなるほか、処理速度が低速化する。当該例のように、第１の抽出処理（Ｓ１２）と、第２の抽出処理（Ｓ１４）とに分け、１回の第１の抽出処理に対応して複数回の第２の抽出処理を行うことが可能な構成とすることで、コンピュータの処理負担が小さくなるほか、処理速度が高速化する。

【0082】

＜作用効果＞
本実施形態の画像処理システム１０によれば、画像に含まれる人体の複数のキーポイント各々の特徴量に基づく類似画像の抽出処理（検索処理）を、２つのステップに分けて行うことができる。すなわち、第１のステップで検索対象の参照画像を絞り込んだ後、第２のステップで、その絞り込んだ参照画像の中から対象画像に類似する画像を検索することができる。このように、画像に含まれる人体の複数のキーポイント各々の特徴量に基づく類似画像の検索処理を２つのステップに分けて行うことで、より高速な検索処理を実現することができる。

【0083】

例えば、２つのステップに分けた場合、第１のステップの結果を記憶しておくことで、その結果を利用して複数回の第２のステップを行うことができる。すなわち、１回の第１のステップに対応して第２ステップを複数回行うことが可能となる。これに対し、抽出処理が２つのステップに分かれていない場合、毎回、抽出処理の全てを実行する必要がある。このような比較例に比べ、本実施形態の画像処理システム１０によれば、コンピュータの処理負担が小さくなるほか、処理速度が高速化する。

【0084】

また、本実施形態では、第１のステップの第１の抽出条件では、人体の姿勢の類似度を算出する際に参照するキーポイントの数、キーポイントの種類、各キーポイントの重みを固定し、第２のステップの第２の抽出条件では、それら項目をユーザ入力により変更可能な構成とすることができる。ところで、検索の高速化に関する技術として、データベースにデータをクラスタリングしながら格納し検索時にはクエリと似たクラスタに絞って検索するという技術が存在する。しかし、検索条件をその都度変化させながら検索する場合、データ間の類似性が検索条件によって変化してしまうため、上記の技術は使えず、検索が遅くなってしまう。この問題に対し、第１のステップの第１の抽出条件を固定し、第２のステップの第２の抽出条件を可変とすることで、第１の抽出条件（膨大なデータから絞る工程）は高速にできつつ、第２のステップにおいて検索条件（第２の抽出条件）の変更もできるため、目的の検索が高速に行えるようになる。

【0085】

＜第３の実施形態＞
本実施形態の画像処理システム１０も、図２に示すように、サーバ１とクライアント端末２とを有する。

【0086】

第２の実施形態では、画像に含まれる人体の複数のキーポイント各々の特徴量に基づく類似画像の抽出処理（検索処理）を２つのステップに分け、サーバ１が第１のステップを行い、クライアント端末２が第２のステップを行った。これに対し、本実施形態では、サーバ１が、第１のステップ及び第２のステップの両方を行う。以下、詳細に説明する。

【0087】

図１に、画像処理システム１０の機能ブロック図の一例を示す。図示するように、画像処理システム１０は、対象画像取得部１１と、骨格構造検出部１２と、第１の照合部１３と、第２の照合部１４とを有する。サーバ１が、骨格構造検出部１２、第１の照合部１３及び第２の照合部１４を備える。そして、クライアント端末２が対象画像取得部１１を備える。各機能部の構成は、第２の実施形態で説明した通りである。

【0088】

ここで、図１３のシーケンス図を用いて、サーバ１及びクライアント端末２で構成される画像処理システム１０の処理の流れの一例を説明する。

【0089】

まず、クライアント端末２が、対象画像を指定するユーザ入力を受付ける（Ｓ２０）。次いで、クライアント端末２は、指定された対象画像をサーバ１に送信する（Ｓ２１）。

【0090】

サーバ１は、対象画像に含まれる人体のキーポイントを検出する処理を行った後、検出されたキーポイントに基づき、複数の参照画像の中から、対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する（Ｓ２２）。次いで、サーバ１は、Ｓ２２のキーポイントの検出結果に基づき、Ｓ２２で抽出した第１の参照画像の中から、Ｓ２１で受信した対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する（Ｓ２３）。そして、サーバ１は、抽出した第２の参照画像をクライアント端末２に送信する（Ｓ２４）。

【0091】

その後、クライアント端末２は、受信した第２の参照画像を表示する（Ｓ２５）。当該表示は、ディスプレイへの表示、投影装置を利用した映像の投影等で実現される。

【0092】

なお、サーバ１は、Ｓ２２の処理で得られたデータ（画像や情報）を自装置の記憶装置内に記憶し、当該データを利用してＳ２３及びＳ２４の処理を繰り返し行うことができる。そして、クライアント端末２は、新たに第２の参照画像を受信すると（Ｓ２４）、新たに受信した第２の参照画像を表示することができる。

【0093】

例えば、ユーザが、クライアント端末２に対して第２の抽出条件を変更する入力を行ってもよい。そして、クライアント端末２は、変更後の第２の抽出条件をサーバ１に送信してもよい。そして、サーバ１は、Ｓ２２で抽出した第１の参照画像の中から、Ｓ２１で受信した対象画像との間の関係が変更後の第２の抽出条件を満たす第２の参照画像を抽出し（Ｓ２３）、抽出した第２の参照画像をクライアント端末２に送信してもよい（Ｓ２４）。この処理については、第５の実施形態で詳述する。

【0094】

その他、予め複数の第２の抽出条件が設定されていてもよい。そして、サーバ１は、Ｓ２２で抽出した第１の参照画像の中から、Ｓ２０で指定された対象画像との間の関係が複数の第２の抽出条件各々を満たす第２の参照画像を抽出し（Ｓ２３）、複数の第２の抽出条件各々に基づき抽出した第２の参照画像を互いに識別可能にクライアント端末２に送信してもよい（Ｓ２４）。

【0095】

このように、第２の抽出条件に基づく抽出を複数回行う場合に、その都度、第１の抽出条件に基づく抽出と第２の抽出条件に基づく抽出の両方を行っていると、コンピュータの処理負担が大きくなるほか、処理速度が低速化する。当該例のように、第１の抽出処理（Ｓ２２）と、第２の抽出処理（Ｓ２３）とに分け、１回の第１の抽出処理に対応して第２の抽出処理を複数回行うことが可能な構成とすることで、コンピュータの処理負担が小さくなるほか、処理速度が高速化する。

【0096】

本実施形態の画像処理システム１０のその他の構成は、第１及び第２の実施形態の画像処理システム１０の構成と同様である。

【0097】

本実施形態の画像処理システム１０によれば、第１及び第２の実施形態の画像処理システム１０と同様の作用効果が実現される。また、本実施形態の画像処理システム１０によれば、クライアント端末２の処理負担が軽減される。

【0098】

＜第４の実施形態＞
本実施形態の画像処理システム１０は、物理的及び／又は論理的に１つの装置で構成される。本実施形態の画像処理システム１０の機能ブロック図の一例は図１で示される。本実施形態では、物理的及び／又は論理的に１つの装置が、対象画像取得部１１、骨格構造検出部１２、第１の照合部１３及び第２の照合部１４を備え、第１乃至第３の実施形態で説明した処理を実行する。

【0099】

本実施形態の画像処理システム１０のその他の構成は、第１乃至第３の実施形態の画像処理システム１０の構成と同様である。本実施形態の画像処理システム１０のように構成しても、第１乃至第３の実施形態の画像処理システム１０と同様の作用効果が実現される。

【0100】

＜第５の実施形態＞
本実施形態の画像処理システム１０は、第２の抽出条件を変更する機能を有する。以下、詳細に説明する。

【0101】

図１４に、画像処理システム１０の機能ブロック図の一例を示す。図示するように、画像処理システム１０は、対象画像取得部１１と、骨格構造検出部１２と、第１の照合部１３と、第２の照合部１４と、表示制御部１５と、変更受付部１６とを有する。

【0102】

表示制御部１５は、第２の照合部１４により抽出された第２の参照画像を表示装置に表示させる。例えば、画像処理システム１０が、第２及び第３の実施形態のようにサーバ１とクライアント端末２とで構成される場合、表示制御部１５は、クライアント端末２の表示装置（ディスプレイ、投影装置等）に第２の参照画像を表示させる。また、画像処理システム１０が、第４の実施形態のように物理的及び／又は論理的に１つの装置で構成される場合、表示制御部１５は、その装置の表示装置（ディスプレイ、投影装置等）に第２の参照画像を表示させる。

【0103】

変更受付部１６は、第２の抽出条件を変更する入力を受付ける。変更受付部１６は、例えば、第２の抽出条件で定義される第２の基準値、人体の姿勢の類似度を算出する際に参照するキーポイントの数、人体の姿勢の類似度を算出する際に参照するキーポイントの種類、人体の姿勢の類似度を算出する際に参照する各キーポイントの重み、最低検出点、及び必須検出キーポイントの中の少なくとも１つを変更する入力を受付けてもよい。

【0104】

最低検出点は、第２の実施形態で説明した第２の抽出条件に含めることができる「人体の姿勢の類似度を算出する際に参照するキーポイントの中の所定数以上が検出されていること」という条件の中の所定数の数である。

【0105】

必須検出キーポイントは、第２の実施形態で説明した第２の抽出条件に含めることができる「人体の姿勢の類似度を算出する際に参照するキーポイントの中の所定のキーポイントが検出されていること」という条件の中の所定のキーポイントである。

【0106】

画像処理システム１０が、第２及び第３の実施形態のようにサーバ１とクライアント端末２とで構成される場合、変更受付部１６は、クライアント端末２の入力装置（タッチパネル、物理ボタン、キーボード、マウス、マイク等）を介して、第２の抽出条件を変更する入力を受付けることができる。また、画像処理システム１０が、第４の実施形態のように物理的及び／又は論理的に１つの装置で構成される場合、変更受付部１６は、その装置の入力装置（タッチパネル、物理ボタン、キーボード、マウス、マイク等）を介して、第２の抽出条件を変更する入力を受付けることができる。

【0107】

なお、変更受付部１６による第２の抽出条件を変更する入力の受付に応じて、第２の照合部１４は、第１の参照画像の中から、対象画像との間の関係が変更後の第２の抽出条件を満たす第２の参照画像を新たに抽出する。そして、表示制御部１５は、表示装置に表示させる内容を、変更前の第２の抽出条件を満たす第２の参照画像から、変更後の第２の抽出条件を満たす第２の参照画像に変更させる。

【0108】

次に、図１５のシーケンス図を用いて、サーバ１及びクライアント端末２で構成される画像処理システム１０の処理の流れの一例を説明する。当該処理例では、サーバ１が第１の照合部１３を有し、クライアント端末２が第２の照合部１４を有する。

【0109】

まず、クライアント端末２が、対象画像を指定するユーザ入力を受付ける（Ｓ３０）。次いで、クライアント端末２は、指定された対象画像をサーバ１に送信する（Ｓ３１）。

【0110】

サーバ１は、対象画像に含まれる人体のキーポイントを検出する処理を行った後、検出されたキーポイントに基づき、複数の参照画像の中から、対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する（Ｓ３２）。次いで、サーバ１は、第１の参照画像と、第１の参照画像各々から検出された人体のキーポイントに関する情報（例：特徴量等）（図１１参照）と、対象画像から検出された人体のキーポイントに関する情報（例：特徴量等）をクライアント端末２に送信する（Ｓ３３）。

【0111】

クライアント端末２は、Ｓ３３で受信したデータ（画像や情報）を自端末の記憶装置内に記憶し、当該データに基づき、Ｓ３３で受信した第１の参照画像の中から、Ｓ３０で指定された対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する（Ｓ３４）。そして、クライアント端末２は、抽出した第２の参照画像を表示する（Ｓ３５）。当該表示は、ディスプレイへの表示、投影装置を利用した映像の投影等で実現される。

【0112】

その後、ユーザは、クライアント端末２に表示された検索結果（第２の参照画像）を参照しながら、第２の抽出条件を変更する入力を行う。クライアント端末２は、当該第２の抽出条件を変更する入力を受付ける（Ｓ３６）。そして、クライアント端末２は、当該入力の受付に応じて、Ｓ３３で受信した第１の参照画像の中から、Ｓ３０で指定された対象画像との間の関係が変更後の第２の抽出条件を満たす第２の参照画像を新たに抽出する（Ｓ３７）。なお、クライアント端末２は、Ｓ３３で受信し、自端末の記憶装置内に記憶されたデータに基づき、Ｓ３７の抽出処理を行う。次いで、クライアント端末２は、表示装置に表示させる内容を、変更前の第２の抽出条件を満たす第２の参照画像から、変更後の第２の抽出条件を満たす第２の参照画像に変更させる（Ｓ３８）。

【0113】

クライアント端末２は、Ｓ３６乃至Ｓ３８の処理を繰り返し行うことができる。

【0114】

次に、図１６のシーケンス図を用いて、サーバ１及びクライアント端末２で構成される画像処理システム１０の処理の流れの他の一例を説明する。当該処理例では、サーバ１が第１の照合部１３及び第２の照合部１４を有する。

【0115】

まず、クライアント端末２が、対象画像を指定するユーザ入力を受付ける（Ｓ４０）。次いで、クライアント端末２は、指定された対象画像をサーバ１に送信する（Ｓ４１）。

【0116】

サーバ１は、対象画像に含まれる人体のキーポイントを検出する処理を行った後、検出されたキーポイントに基づき、複数の参照画像の中から、対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する（Ｓ４２）。そして、サーバ１は、Ｓ４２の処理で得られたデータ（画像や情報）を自装置の記憶装置内に記憶する。

【0117】

次いで、サーバ１は、Ｓ４２のキーポイントの検出結果に基づき、Ｓ４２で抽出した第１の参照画像の中から、Ｓ４１で受信した対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する（Ｓ４３）。そして、サーバ１は、抽出した第２の参照画像をクライアント端末２に送信する（Ｓ４４）。

【0118】

クライアント端末２は、受信した第２の参照画像を表示する（Ｓ４５）。当該表示は、ディスプレイへの表示、投影装置を利用した映像の投影等で実現される。

【0119】

その後、ユーザは、クライアント端末２に表示された検索結果（第２の参照画像）を参照しながら、第２の抽出条件を変更する入力を行う。クライアント端末２は、当該第２の抽出条件を変更する入力を受付ける（Ｓ４６）。そして、クライアント端末２は、変更後の第２の抽出条件をサーバ１に送信する（Ｓ４７）。

【0120】

次いで、サーバ１は、Ｓ４２で抽出した第１の参照画像の中から、Ｓ４０で指定された対象画像との間の関係が変更後の第２の抽出条件を満たす第２の参照画像を新たに抽出する（Ｓ４８）。なお、サーバ１は、Ｓ４２の処理で得られ、自装置の記憶装置内に記憶されたデータに基づき、Ｓ４８の抽出処理を行う。次いで、サーバ１は、変更後の第２の抽出条件を満たす第２の参照画像をクライアント端末２に送信する（Ｓ４９）。

【0121】

そして、クライアント端末２は、表示装置に表示させる内容を、変更前の第２の抽出条件を満たす第２の参照画像から、変更後の第２の抽出条件を満たす第２の参照画像に変更させる（Ｓ５０）。

【0122】

サーバ１及びクライアント端末２は、Ｓ４６乃至Ｓ５０の処理を繰り返し行うことができる。

【0123】

次に、図１７のフローチャートを用いて、物理的及び／又は論理的に１つの装置で構成される画像処理システム１０の処理の流れの他の一例を説明する。

【0124】

まず、画像処理システム１０は、対象画像を指定するユーザ入力を受付ける（Ｓ６０）。次いで、画像処理システム１０は、対象画像に含まれる人体のキーポイントを検出する処理を行った後、検出されたキーポイントに基づき、複数の参照画像の中から、対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する（Ｓ６１）。そして、画像処理システム１０は、Ｓ６１の処理で得られたデータ（画像や情報）を自装置の記憶装置内に記憶する。

【0125】

次いで、画像処理システム１０は、Ｓ６１のキーポイントの検出結果に基づき、Ｓ６１で抽出した第１の参照画像の中から、Ｓ６０で指定された対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する（Ｓ６２）。そして、画像処理システム１０は、抽出した第２の参照画像を表示する（Ｓ６３）。当該表示は、ディスプレイへの表示、投影装置を利用した映像の投影等で実現される。

【0126】

その後、ユーザは、画像処理システム１０に表示された検索結果（第２の参照画像）を参照しながら、第２の抽出条件を変更する入力を行う。画像処理システム１０は、当該第２の抽出条件を変更する入力を受付ける（Ｓ６４）。

【0127】

次いで、画像処理システム１０は、Ｓ６１で抽出した第１の参照画像の中から、Ｓ６０で指定された対象画像との間の関係が変更後の第２の抽出条件を満たす第２の参照画像を新たに抽出する（Ｓ６５）。なお、画像処理システム１０は、Ｓ６１の処理で得られ、自装置の記憶装置内に記憶されたデータに基づき、Ｓ６５の抽出処理を行う。次いで、画像処理システム１０は、表示装置に表示させる内容を、変更前の第２の抽出条件を満たす第２の参照画像から、変更後の第２の抽出条件を満たす第２の参照画像に変更させる（Ｓ６６）。

【0128】

画像処理システム１０は、Ｓ６４乃至Ｓ６６の処理を繰り返し行うことができる。

【0129】

本実施形態の画像処理システム１０のその他の構成は、第１乃至第４の実施形態の画像処理システム１０の構成と同様である。本実施形態の画像処理システム１０のように構成しても、第１乃至第４の実施形態の画像処理システム１０と同様の作用効果が実現される。

【0130】

また、本実施形態の画像処理システム１０によれば、検索処理を繰り返し行い、その検索結果を確認しながら第２の抽出条件を変更する作業において、検索処理を高速化することができる。

【0131】

＜第６の実施形態＞
本実施形態の画像処理システム１０は、特徴的なＵＩ（user interface）画面を介して、第２の抽出条件の変更を受付ける。以下、詳細に説明する。

【0132】

図１４に、画像処理システム１０の機能ブロック図の一例を示す。図示するように、画像処理システム１０は、対象画像取得部１１と、骨格構造検出部１２と、第１の照合部１３と、第２の照合部１４と、表示制御部１５と、変更受付部１６とを有する。

【0133】

変更受付部１６は、特徴的な設定画面（ＵＩ画面）を介して、第２の抽出条件を変更する入力を受付ける。画像処理システム１０が、第２及び第３の実施形態のようにサーバ１とクライアント端末２とで構成される場合、クライアント端末２が設定画面を表示する。また、画像処理システム１０が、第４の実施形態のように物理的及び／又は論理的に１つの装置で構成される場合、その装置が設定画面を表示する。

【0134】

図１８に、設定画面の一例を示す。図示するＵＩ画面においては、左端の領域において、「静止画」、「撮像」、「Ｌｉｖｅ」及び「設定」の項目が選択可能になっている。当該領域で「設定」を選択することで図示するような設定画面が表示される。

【0135】

図示する設定画面では、領域Ｍにおいて動画像が再生表示されている。当該動画像は、任意のカメラが現在撮影中のライブ画像であってもよいし、過去に撮影され保存された動画像であってもよい。

【0136】

「回転角度」は、領域Ｍの画像を回転させるためのＵＩ部品である。例えば、０度、９０度、１８０度、２７０度が選択可能であり、選択された角度だけ領域Ｍに表示される画像が回転する。例えば、図示する状態において「９０度」が選択されると、領域Ｍに表示されている画像が時計回りに９０度回転する。

【0137】

「検出閾値」は、第１の抽出条件の第１の基準値である。

【0138】

「ラベル名」は、第２の実施形態で説明した通りである。ユーザは、当該ＵＩ部品を介してラベル名を選択することができる。

【0139】

「枠線の色」、「初期選択」、「チェック項目を全て選択」及び「使用していない姿勢も表示」については、後述する。

【0140】

上記項目が表示された領域の下には、第２の抽出条件を変更する入力を受付けるためのＵＩ部品が表示されている。ラベル名の選択に応じて、そのラベル名のグループに紐付く１つ又は複数のデータ名各々に対応した現在の設定内容が表示される。ユーザは、その設定内容を所望の内容に変更することができる。例えば、図示するようにユーザがラベル名として「車イス」を選択すると、そのラベル名のグループに紐付くデータ名である「車イス：俯瞰」に対応した現在の設定内容が表示される。また、図示ないが、例えばユーザがラベル名として「携帯使用」を選択すると、そのラベル名のグループに紐付く「携帯電話・右手・俯瞰」、「携帯電話・左手・俯瞰」等のデータ名各々に対応した現在の設定内容が表示される。すなわち、「携帯電話・右手・俯瞰」、「携帯電話・左手・俯瞰」等のデータ名各々に対応して、図示するような人体モデル、第二閾値、最低検出点等が表示される。

【0141】

領域Ｒには、Ｎ個のキーポイントで構成された人体モデルが表示されている。そして、人体の姿勢の類似度を算出する際に参照するキーポイントと、参照しないキーポイントとが識別可能に表示されている。図示する例の場合、白丸で示されたキーポイントＫ_１は人体の姿勢の類似度を算出する際に参照され、黒丸で示されたキーポイントＫ_２は人体の姿勢の類似度を算出する際に参照されない。

【0142】

ユーザは、Ｎ個のキーポイント中から１つを選択し、そのキーポイントの重みを変更することができる。図示する例の場合、マークＱで囲まれたキーポイントがユーザにより選択されている。このキーポイントの名称は「joint３」である。１つのキーポイントの選択に応じて、図示するように、選択されているキーポイントの名称と、その重みを変更するＵＩ部品が画面に表示される。図示する例の場合、joint３の重みは「０．０」になっている。これは、このキーポイントは人体の姿勢の類似度を算出する際に参照しないことを意味する。

【0143】

ユーザは、例えば図示するスライドバーの操作、又は数値の直接入力等で、選択中のキーポイントの重みを変更することができる。例えば、joint３の重みを「０」から「０と異なる数値」に変更することができる。すると、当該変更に応じて、joint３は人体の姿勢の類似度を算出する際に参照しないキーポイントから参照するキーポイントに切り替わる。それに応じて、領域Ｒにおけるjoint３の表示が、黒丸から白丸に切り替わる。

【0144】

なお、人体の姿勢の類似度を算出する際に参照するキーポイント（白丸で示されたキーポイントＫ_１）を選択し、そのキーポイントの重みを「０」にすることもできる。当該変更に応じて、そのキーポイントは、人体の姿勢の類似度を算出する際に参照するキーポイントから参照しないキーポイントに切り替わる。それに応じて、領域Ｒにおけるそのキーポイントの表示が、白丸から黒丸に切り替わる。

【0145】

その他、人体の姿勢の類似度を算出する際に参照するキーポイント（白丸で示されたキーポイントＫ_１）を選択し、そのキーポイントの重みを「０」と異なる範囲で変更することもできる。

【0146】

「ＩＤ１９：車イス・俯瞰」は、第２の実施形態で説明した「データ名」である。本実施形態では、データ名ごとに第２の抽出条件が設定される。「ＩＤ１９：車イス・俯瞰」等データ名の表示を参照することで、ユーザは、どのデータ名に対応する第２の抽出条件が表示され、設定中か認識できる。

【0147】

「第二閾値」は、第２の抽出条件の第２の基準値である。

【0148】

「最低検出点」は、第５の実施形態で説明した通りである。当該例の場合、第２の抽出条件は、「人体の姿勢の類似度を算出する際に参照するキーポイントの中の所定数以上が検出されていること」が含まれる。図示する例の場合、６個のキーポイント（白丸で示されたキーポイントＫ_１）が「人体の姿勢の類似度を算出する際に参照するキーポイント」となり、最低検出点は「２」となっている。この場合、この６個のキーポイントの中の２個以上が検出されていることが、第２の抽出条件を満たすための条件となる。

【0149】

変更受付部１６は、このような複数のキーポイントで構成された人体モデル（領域Ｒに表示された人体モデル）を含み、当該人体モデル上で設定対象のキーポイントを選択する入力を受付け、選択されたキーポイント（マークＱで囲まれたキーポイント）の重みを変更する入力を受付ける設定画面を介して、第２の抽出条件を変更する入力を受付けることができる。

【0150】

また、変更受付部１６は、上記人体モデルにおいて、選択されたキーポイントを強調表示（マークＱで強調表示）する設定画面を介して、第２の抽出条件を変更する入力を受付けることができる。

【0151】

また、変更受付部１６は、上記人体モデルにおいて、設定されている重みが閾値（例：０）より大のキーポイント（白丸で示されたキーポイントＫ_１）と、その他のキーポイント（黒丸で示されたキーポイントＫ_２）とを異なる態様で表示する設定画面を介して、第２の抽出条件を変更する入力を受付けることができる。

【0152】

なお、図１８の画面左上の「設定保存」ボタンを押下すると、その時点の設定内容が保存される。保存対象は、第２の抽出条件であるが、さらに第１の抽出条件の第１の基準値も当該操作での保存対象としてもよい。

【0153】

画面左上の「分析」ボタンを押下すると、対象画像取得部１１は、その時点で領域Ｍに表示されていたフレーム画像を対象画像として取得する。その後、骨格構造検出部１２、第１の照合部１３及び第２の照合部１４は、その対象画像に対し、第１乃至第５の実施形態で説明した処理を行う。そして、表示制御部１５は、図１９に示すように、第２の照合部１４により抽出された第２の参照画像を表示させる。図の「照合結果」の欄に表示された１０件の画像が、第２の照合部１４により抽出された第２の参照画像である。

【0154】

なお、表示制御部１５は、図示するように、対象画像の指定（図１８の画面左上の「分析」ボタンの押下）に応じて、領域Ｍに表示する画像を、当初の動画像から、指定された対象画像（静止画像）に切り替えることができる。そして、表示制御部１５は、当該対象画像上に枠Ｗを重畳表示することができる。枠Ｗは、対象画像内で検出された「選択中のラベル名のグループに紐付くデータ名に対応した第２の抽出条件を満たす人物」を囲むように表示される。当該画面で設定可能な「枠線の色」は、この枠Ｗの色である。

【0155】

表示制御部１５は、さらに、対象画像上に、対象画像内で検出された人体のキーポイントを重畳表示してもよい。当該重畳表示は、骨格構造検出部１２による検出結果に基づき実現される。なお、当該重畳表示においては、全てのキーポイントを同じ表示態様で表示してもよいし、異なる表示態様で表示してもよい。例えば、右半身のキーポイントと左半身のキーポイントを互いに異なる表示態様で表示してもよいし、上半身のキーポイントと下半身のキーポイントを互いに異なる表示態様で表示してもよい。また、人体の姿勢の類似度を算出する際に参照するキーポイントを強調表示してもよい。さらに、領域Ｒにおいて１つのキーポイントが選択されると、対象画像上に重畳表示された人体モデルにおいて、その選択されたキーポイントを強調表示してもよい。

【0156】

ユーザは、照合結果を参照しながら、第２の抽出条件を変更する入力を行うことができる。例えば、ユーザは、図１９の状態から最低検出点を「３」に変更したとする。すると、当該第２の抽出条件の変更に応じて、第２の照合部１４は、第１の参照画像の中から、対象画像との間の関係が変更後の第２の抽出条件を満たす第２の参照画像を新たに抽出する。そして、表示制御部１５は、図２０に示すように、照合結果の欄に表示させる内容を、変更前の第２の抽出条件を満たす第２の参照画像から、変更後の第２の抽出条件を満たす第２の参照画像に変更させる。図１９及び図２０では、最低検出点を２から３に変更することで、抽出される第２の参照画像の数が１０件から６件にかわる様子が示されている。

【0157】

図２１に示すように「使用していない姿勢も表示」にチェックを入れると、選択されたラベル名以外のラベル名のグループに紐付くデータ名に対応した第２の抽出条件（設定保存されているもの）も同時に表示される。図２１では、「ラベル名」において「車イス」が選択されているが、「使用していない姿勢も表示」にチェックが入っているため、「携帯電話・右手」等の選択されたラベル名のグループに紐付かないデータ名に対応した第２の抽出条件も表示されている。

【0158】

ユーザは、図２２に示すように、複数のデータ名各々に対応した複数の第２の抽出条件各々を、第２の照合部１４による第２の参照画像の抽出処理において参照するか否かを指定することができる。図２２では、複数のデータ名各々に対応した複数の第２の抽出条件各々に対応してチェックボックス（各領域Ｒの隣のチェックボックス）が表示されている。この複数のチェックボックスを個別に操作し、「チェック項目を全て要求」にチェックを入れると、チェックボックスにチェックが入っている第２の抽出条件の全てが第２の照合部１４による第２の参照画像の抽出処理において参照される。そして、第２の照合部１４は、チェックボックスにチェックが入っている第２の抽出条件の全てを満たす第２の参照画像を抽出する。なお、「チェック項目を全て要求」にチェックが入っていない場合、第２の照合部１４は、チェックボックスにチェックが入っている第２の抽出条件の中の少なくとも１つを満たす第２の参照画像を抽出する。

【0159】

ここで、図１８乃至図２２のＵＩ画面において、左端の領域で「静止画」、「撮像」、「Ｌｉｖｅ」の項目が選択された場合に実行される処理を簡単に説明する。

【0160】

「静止画」が選択されると、記憶装置に記憶されている画像の中から処理画像を選択するための画面が表示される。１つの画像が処理画像として選択されると、骨格構造検出部１２、第１の照合部１３及び第２の照合部１４は、その処理画像に対し、第１乃至第５の実施形態で説明した処理を行う。なお、第１の照合部１３及び第２の照合部１４はその時点の第１の抽出条件及び第２の抽出条件の設定内容に基づき、第１の参照画像及び第２の参照画像の抽出を行う。そして、抽出された第２の参照画像が照合結果として画面に表示される。

【0161】

「撮像」が選択されると、任意のカメラが現在撮影中のライブ画像、又は過去に撮影された動画像から処理画像を選択するための画面が表示される。当該画面では、ライブ画像又は過去に撮影された動画像が再生表示される。そして、ユーザは、その再生中に、任意のタイミングで撮影操作を行う。すると、そのタイミングで表示されていたフレーム画像が処理画像として選択される。１つの画像が処理画像として選択されると、骨格構造検出部１２、第１の照合部１３及び第２の照合部１４は、その処理画像に対し、第１乃至第５の実施形態で説明した処理を行う。なお、第１の照合部１３及び第２の照合部１４はその時点の第１の抽出条件及び第２の抽出条件の設定内容に基づき、第１の参照画像及び第２の参照画像の抽出を行う。そして、抽出された第２の参照画像が照合結果として画面に表示される。

【0162】

「Ｌｉｖｅ」が選択されると、任意のカメラが現在撮影中のライブ画像、又は過去に撮影された動画像から処理画像を選択するための画面が表示される。当該画面では、ライブ画像又は過去に撮影された動画像が再生表示される。そして、ユーザは、処理画像を選択する時間間隔を指定する入力を行う。すると、指定された時間間隔で複数のフレーム画像が処理画像として選択される。骨格構造検出部１２、第１の照合部１３及び第２の照合部１４は、選択された複数の処理画像各々に対し、順次、第１乃至第５の実施形態で説明した処理を行う。なお、第１の照合部１３及び第２の照合部１４はその時点の第１の抽出条件及び第２の抽出条件の設定内容に基づき、第１の参照画像及び第２の参照画像の抽出を行う。そして、抽出された第２の参照画像が照合結果として画面に表示される。

【0163】

なお、「静止画」、「撮像」、「Ｌｉｖｅ」のいずれの項目が選択された場合においても、ユーザは少なくとも１つのラベル名を選択する。例えば、画面上に複数のラベル名各々に対応したチェックボックスが表示される。ユーザは所望のラベル名のチェックボックスにチェックを入れることで、少なくとも１つのラベル名を選択する。そして、画像処理システム１０は、選択されたラベル名のグループに紐付くデータ名に対応した第２の抽出条件（設定保存されているもの）を用いた抽出処理を行い、抽出された第２の参照画像を照合結果として画面に表示する。

【0164】

ここで、上述した設定画面（図１８乃至図２２参照）における「初期選択」について説明する。設定画面上で１つのラベル名が選択され、初期選択にチェックが入った状態で設定保存がなされると、そのラベル名は上述した「静止画」、「撮像」、「Ｌｉｖｅ」の画面における上記ラベル名の選択のＵＩ部品において、選択された状態がデフォルトとなる。例えば、図２１に示すように、設定画面においてラベル名として「車イス」が選択され、初期選択にチェックが入った状態で設定保存がなされると、ラベル名「車イス」は上述した「静止画」、「撮像」、「Ｌｉｖｅ」の画面における上記ラベル名の選択のＵＩ部品において、選択された状態がデフォルトとなる。

【0165】

本実施形態の画像処理システム１０のその他の構成は、第１乃至第５の実施形態の画像処理システム１０の構成と同様である。本実施形態の画像処理システム１０のように構成しても、第１乃至第５の実施形態の画像処理システム１０と同様の作用効果が実現される。

【0166】

また、本実施形態の画像処理システム１０によれば、上述した特徴的な設定画面を介して、第２の抽出条件を変更する入力を行うことができる。ユーザは、上述した特徴的な設定画面を介して第２の抽出条件を変更する入力を行うことで、効率的に、かつより正確に、所望の第２の抽出条件を設定することができる。

【0167】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。

【0168】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。

【0169】

上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 対象画像を取得する対象画像取得手段と、
前記対象画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段と、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する第１の照合手段と、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する第２の照合手段と、
を有する画像処理システム。
２． 前記第１の抽出条件は、第１の算出方法で算出した画像に含まれる人体の姿勢の類似度が第１の基準値以上であり、
前記第２の抽出条件は、第２の算出方法で算出した画像に含まれる人体の姿勢の類似度が第２の基準値以上である１に記載の画像処理システム。
３． 前記第１の算出方法及び前記第２の算出方法は、人体の姿勢の類似度を算出する際に参照する前記キーポイントの数及び前記キーポイントの種類の少なくとも一方が互いに異なるに記載の画像処理システム。
４． 前記第２の抽出条件は、
人体の姿勢の類似度を算出する際に参照する前記キーポイントの中の所定数以上が検出されていること、及び、
人体の姿勢の類似度を算出する際に参照する前記キーポイントの中の所定の前記キーポイントが検出されていること、
の少なくとも一方を含む３に記載の画像処理システム。
５． 前記第１の算出方法及び前記第２の算出方法は、人体の姿勢の類似度を算出する際に参照する前記キーポイント各々の重みの設定内容が互いに異なる２から４のいずれかに記載の画像処理システム。
６． 前記第１の算出方法では、全ての前記キーポイントの重みを同じにして人体の姿勢の類似度を算出し、
前記第２の算出方法では、キーポイント毎に設定された重みに基づき人体の姿勢の類似度を算出する５に記載の画像処理システム。
７． 前記第２の参照画像を表示装置に表示させる表示制御手段と、
前記第２の抽出条件を変更する入力を受付ける変更受付手段と、
をさらに有し、
前記第２の抽出条件を変更する入力の受付に応じて、
前記第２の照合手段は、前記第１の参照画像の中から、前記対象画像との間の関係が変更後の前記第２の抽出条件を満たす前記第２の参照画像を新たに抽出し、
前記表示制御手段は、前記表示装置に表示させる内容を、変更前の前記第２の抽出条件を満たす前記第２の参照画像から、変更後の前記第２の抽出条件を満たす前記第２の参照画像に変更させる１から６のいずれかに記載の画像処理システム。
８． 前記変更受付手段は、
複数の前記キーポイントで構成された人体モデルを含み、前記人体モデル上で設定対象の前記キーポイントを選択する入力を受付け、選択された前記キーポイントの重みを変更する入力を受付ける設定画面を介して、前記第２の抽出条件を変更する入力を受付ける７に記載の画像処理システム。
９． 前記変更受付手段は、
前記人体モデルにおいて、選択された前記キーポイントを強調表示する前記設定画面を介して、前記第２の抽出条件を変更する入力を受付ける８に記載の画像処理システム。
１０． 前記変更受付手段は、
前記人体モデルにおいて、設定されている重みが閾値より大の前記キーポイントと、その他の前記キーポイントとを異なる態様で表示する前記設定画面を介して、前記第２の抽出条件を変更する入力を受付ける８に記載の画像処理システム。
１１． サーバと、クライアント端末とを有し、
前記サーバは、前記第１の照合手段を有し、抽出した前記第１の参照画像を前記クライアント端末に送信し、
前記クライアント端末が前記第２の照合手段を有し、前記サーバから受信した前記第１の参照画像の中から前記第２の参照画像を抽出する１に記載の画像処理システム。
１２． 対象画像を取得する対象画像取得手段と、
前記対象画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段と、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する第１の照合手段と、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する第２の照合手段と、
を有する装置。
１３． １つ又は複数のコンピュータが、
対象画像を取得し、
前記対象画像に含まれる人体のキーポイントを検出する処理を行い、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出し、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する画像処理方法。
１４． コンピュータを、
対象画像を取得する対象画像取得手段、
前記対象画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段、
検出された前記キーポイントに基づき、複数の参照画像の中から、前記対象画像との間の関係が第１の抽出条件を満たす第１の参照画像を抽出する第１の照合手段、
検出された前記キーポイントに基づき、前記第１の参照画像の中から、前記対象画像との間の関係が第２の抽出条件を満たす第２の参照画像を抽出する第２の照合手段、
として機能させるプログラム。

【符号の説明】

【0170】

１ サーバ
２ クライアント端末
１０ 画像処理システム
１１ 対象画像取得部
１２ 骨格構造検出部
１３ 第１の照合部
１４ 第２の照合部
１５ 表示制御部
１６ 変更受付部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】