特許 7697545 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-16

(45)【発行日】2025-06-24

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250617BHJP

   G06T 7/20 20170101ALI20250617BHJP

【ＦＩ】

G06T7/00 300D

G06T7/20 300Z

G06T7/00 660B

【請求項の数】 4

(21)【出願番号】P 2023580047

(86)(22)【出願日】2022-02-14

(86)【国際出願番号】 JP2022005695

(87)【国際公開番号】W WO2023152977

(87)【国際公開日】2023-08-17

【審査請求日】2024-08-07

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】川合 諒

(72)【発明者】

【氏名】吉田 登

(72)【発明者】

【氏名】劉 健全

【審査官】松永 隆志

(56)【参考文献】

【文献】国際公開第２０２１／０８４６７７（ＷＯ，Ａ１）

【文献】特開２０１０－０５５５９４（ＪＰ，Ａ）

【文献】特開平１１－１７５７３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段と、
第１の画像から検出された前記キーポイントの特徴量と、予め登録されたテンプレート画像から検出された前記キーポイントの特徴量との類似度を、前記第１の画像から検出された人体の姿勢又は動きと、前記テンプレート画像が示す人体の姿勢又は動きとの第１の類似度として算出する類似度算出手段と、
いずれの前記テンプレート画像が示す人体の姿勢又は動きとの前記第１の類似度も第１の閾値未満であるが、いずれかの前記テンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る前記第１の画像内の箇所を特定する特定手段と、
第２の画像から検出された人体の中から、前記第２の画像から検出された人体の前記キーポイントの特徴量と、前記テンプレート画像から検出された人体のキーポイントの特徴量との第２の類似度が前記第１の閾値以上である人体を検出する判定装置に追加登録する前記テンプレート画像の候補として、前記第１の画像内の前記箇所を示す情報、又は前記第１の画像から前記箇所を切り出した部分画像を出力装置に出力させる出力手段と、
を有し、
前記第１の類似条件は、
前記第１の類似度が、第２の閾値以上かつ前記第１の閾値未満であること、
前記第１の画像から検出された第１のキーポイントの特徴量と、前記テンプレート画像から検出された前記第１のキーポイントの特徴量との類似度である第３の類似度が第３の閾値以上であること、
前記第１の画像から検出された複数の前記キーポイント各々の特徴量と、前記テンプレート画像から検出された複数の前記キーポイント各々の特徴量と、予め定められた複数の前記キーポイント各々の重み付け値から算出された第４の類似度が第４の閾値以上であること、及び、
動画像である前記テンプレート画像に含まれる複数のフレーム画像の中の所定割合以上のフレーム画像各々から抽出された複数の前記キーポイントの特徴量との類似度である第５の類似度が第５の閾値以上である前記キーポイントの特徴量が抽出された複数のフレーム画像を含む動画像であること、
の中の少なくとも１つであり、
前記第２の閾値は前記第１の閾値より小さく、
前記第１のキーポイントは、前記骨格構造検出手段により検出される複数の前記キーポイントの中の予め指定された一部の前記キーポイントであり、
第４の類似度は、前記キーポイント毎に算出された前記第１の画像から検出された前記キーポイントの特徴量と前記テンプレート画像から検出された前記キーポイントの特徴量との類似度の加重平均値又は加重和であり、加重平均値又は加重和の算出における複数の前記キーポイント各々の類似度の重みは予め定められた複数の前記キーポイント各々の前記重み付け値である、
画像処理装置。

【請求項2】

前記出力手段は、
前記第１の画像内の前記箇所に写る人体の姿勢又は動きと前記第１の類似条件を満たす姿勢又は動きの人体が写る前記テンプレート画像を前記出力装置に出力させる請求項１に記載の画像処理装置。

【請求項3】

コンピュータが、
画像に含まれる人体のキーポイントを検出する処理を行い、
第１の画像から検出された前記キーポイントの特徴量と、予め登録されたテンプレート画像から検出された前記キーポイントの特徴量との類似度を、前記第１の画像から検出された人体の姿勢又は動きと、前記テンプレート画像が示す人体の姿勢又は動きとの第１の類似度として算出し、
いずれの前記テンプレート画像が示す人体の姿勢又は動きとの前記第１の類似度も第１の閾値未満であるが、いずれかの前記テンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る前記第１の画像内の箇所を特定し、
第２の画像から検出された人体の中から、前記第２の画像から検出された人体の前記キーポイントの特徴量と、前記テンプレート画像から検出された人体のキーポイントの特徴量との第２の類似度が前記第１の閾値以上である人体を検出する判定装置に追加登録する前記テンプレート画像の候補として、前記第１の画像内の前記箇所を示す情報、又は前記第１の画像から前記箇所を切り出した部分画像を出力装置に出力させ、
前記第１の類似条件は、
前記第１の類似度が、第２の閾値以上かつ前記第１の閾値未満であること、
前記第１の画像から検出された第１のキーポイントの特徴量と、前記テンプレート画像から検出された前記第１のキーポイントの特徴量との類似度である第３の類似度が第３の閾値以上であること、
前記第１の画像から検出された複数の前記キーポイント各々の特徴量と、前記テンプレート画像から検出された複数の前記キーポイント各々の特徴量と、予め定められた複数の前記キーポイント各々の重み付け値から算出された第４の類似度が第４の閾値以上であること、及び、
動画像である前記テンプレート画像に含まれる複数のフレーム画像の中の所定割合以上のフレーム画像各々から抽出された複数の前記キーポイントの特徴量との類似度である第５の類似度が第５の閾値以上である前記キーポイントの特徴量が抽出された複数のフレーム画像を含む動画像であること、
の中の少なくとも１つであり、
前記第２の閾値は前記第１の閾値より小さく、
前記第１のキーポイントは、前記骨格構造検出手段により検出される複数の前記キーポイントの中の予め指定された一部の前記キーポイントであり、
第４の類似度は、前記キーポイント毎に算出された前記第１の画像から検出された前記キーポイントの特徴量と前記テンプレート画像から検出された前記キーポイントの特徴量との類似度の加重平均値又は加重和であり、加重平均値又は加重和の算出における複数の前記キーポイント各々の類似度の重みは予め定められた複数の前記キーポイント各々の前記重み付け値である、
画像処理方法。

【請求項4】

コンピュータを、
画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段、
第１の画像から検出された前記キーポイントの特徴量と、予め登録されたテンプレート画像から検出された前記キーポイントの特徴量との類似度を、前記第１の画像から検出された人体の姿勢又は動きと、前記テンプレート画像が示す人体の姿勢又は動きとの第１の類似度として算出する類似度算出手段、
いずれの前記テンプレート画像が示す人体の姿勢又は動きとの前記第１の類似度も第１の閾値未満であるが、いずれかの前記テンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る前記第１の画像内の箇所を特定する特定手段、
第２の画像から検出された人体の中から、前記第２の画像から検出された人体の前記キーポイントの特徴量と、前記テンプレート画像から検出された人体のキーポイントの特徴量との第２の類似度が前記第１の閾値以上である人体を検出する判定装置に追加登録する前記テンプレート画像の候補として、前記第１の画像内の前記箇所を示す情報、又は前記第１の画像から前記箇所を切り出した部分画像を出力装置に出力させる出力手段、
として機能させ、
前記第１の類似条件は、
前記第１の類似度が、第２の閾値以上かつ前記第１の閾値未満であること、
前記第１の画像から検出された第１のキーポイントの特徴量と、前記テンプレート画像から検出された前記第１のキーポイントの特徴量との類似度である第３の類似度が第３の閾値以上であること、
前記第１の画像から検出された複数の前記キーポイント各々の特徴量と、前記テンプレート画像から検出された複数の前記キーポイント各々の特徴量と、予め定められた複数の前記キーポイント各々の重み付け値から算出された第４の類似度が第４の閾値以上であること、及び、
動画像である前記テンプレート画像に含まれる複数のフレーム画像の中の所定割合以上のフレーム画像各々から抽出された複数の前記キーポイントの特徴量との類似度である第５の類似度が第５の閾値以上である前記キーポイントの特徴量が抽出された複数のフレーム画像を含む動画像であること、
の中の少なくとも１つであり、
前記第２の閾値は前記第１の閾値より小さく、
前記第１のキーポイントは、前記骨格構造検出手段により検出される複数の前記キーポイントの中の予め指定された一部の前記キーポイントであり、
第４の類似度は、前記キーポイント毎に算出された前記第１の画像から検出された前記キーポイントの特徴量と前記テンプレート画像から検出された前記キーポイントの特徴量との類似度の加重平均値又は加重和であり、加重平均値又は加重和の算出における複数の前記キーポイント各々の類似度の重みは予め定められた複数の前記キーポイント各々の前記重み付け値である、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

本発明に関連する技術が特許文献１乃至３及び非特許文献１に開示されている。

【0003】

特許文献１には、画像に含まれる人体の複数のキーポイント各々の特徴量を算出し、算出した特徴量に基づき姿勢が似た人体や動きが似た人体を含む画像を検索したり、当該姿勢や動きが似たもの同士でまとめて分類したりする技術が開示されている。また、非特許文献１には、人物の骨格推定に関連する技術が開示されている。

【0004】

特許文献２には、所定区域を撮像した複数の画像、及び所定区域の状況の変化を示す情報を取得すると、所定区域の状況の変化を示す情報に基づいて複数の画像を分類し、分類結果に従って、複数の画像の少なくとも一部を用いて画像から所定区域の状況を判定する識別器の学習を行う技術が開示されている。

【0005】

特許文献３には、入力画像に基づいて人物における対象の状態変化を検出し、対象の状態変化が複数人で生じたことの検出に応じて異常状態を判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】国際公開第２０２１／０８４６７７号

【文献】特開２０２１－８７０３１号

【文献】国際公開第２０１５／１９８７６７号

【非特許文献】

【0007】

【文献】Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, P. 7291-7299

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述した特許文献１に開示の技術によれば、所望の姿勢や所望の動きの人体を含む画像を事前にテンプレート画像として登録しておくことで、処理対象の画像の中から所望の姿勢や所望の動きの人体を検出することができる。本発明者は、このような特許文献１に開示の技術を検討した結果、登録済のテンプレート画像が示す姿勢や動きと同じあるいは同じ種類とは判定されないが、類似しているバリエーションの姿勢や動きの人体を含む画像を新たにテンプレート画像として追加登録することで、所望の姿勢や所望の動きの人体を漏らすことなく検出可能になることを新たに見出した。そして、本発明者は、このような登録済のテンプレート画像が示す姿勢や動きと同じあるいは同じ種類とは判定されないが、類似しているバリエーションの姿勢や動きの人体を含む画像を探す作業の作業性に改善の余地があることを新たに見出した。

【0009】

上述した特許文献１乃至３及び非特許文献１はいずれも、テンプレート画像に関する課題及びその解決手段を開示していないため、上記課題を解決できないという問題点があった。

【0010】

本発明の目的の一例は、上述した課題を鑑み、登録済のテンプレート画像が示す姿勢や動きと同じあるいは同じ種類とは判定されないが、類似しているバリエーションの姿勢や動きの人体を含む画像をテンプレート画像として登録する作業の作業性の問題を解決する画像処理装置、画像処理方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0011】

本発明の一態様によれば、
画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段と、
検出された前記キーポイントに基づき、前記画像から検出された人体の姿勢又は動きと、予め登録されたテンプレート画像が示す人体の姿勢又は動きとの類似度を算出する類似度算出手段と、
いずれの前記テンプレート画像が示す人体の姿勢又は動きとの前記類似度も第１の閾値未満であるが、いずれかの前記テンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る前記画像内の箇所を特定する特定手段と、
前記テンプレート画像が示す人体の姿勢又は動きに基づいて前記画像から検出された人体の姿勢又は動きを判定する判定装置に追加登録する前記テンプレート画像の候補として、前記特定された箇所を示す情報、又は前記画像から前記箇所を切り出した部分画像を出力する出力手段と、
を有する画像処理装置が提供される。

【0012】

また、本発明の一態様によれば、
コンピュータが、
画像に含まれる人体のキーポイントを検出する処理を行い、
検出された前記キーポイントに基づき、前記画像から検出された人体の姿勢又は動きと、予め登録されたテンプレート画像が示す人体の姿勢又は動きとの類似度を算出し、
いずれの前記テンプレート画像が示す人体の姿勢又は動きとの前記類似度も第１の閾値未満であるが、いずれかの前記テンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る前記画像内の箇所を特定し、
前記テンプレート画像が示す人体の姿勢又は動きに基づいて前記画像から検出された人体の姿勢又は動きを判定する判定装置に追加登録する前記テンプレート画像の候補として、前記特定された箇所を示す情報、又は前記画像から前記箇所を切り出した部分画像を出力する、
画像処理方法が提供される。

【0013】

また、本発明の一態様によれば、
コンピュータを、
画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段、
検出された前記キーポイントに基づき、前記画像から検出された人体の姿勢又は動きと、予め登録されたテンプレート画像が示す人体の姿勢又は動きとの類似度を算出する類似度算出手段、
いずれの前記テンプレート画像が示す人体の姿勢又は動きとの前記類似度も第１の閾値未満であるが、いずれかの前記テンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る前記画像内の箇所を特定する特定手段、
前記テンプレート画像が示す人体の姿勢又は動きに基づいて前記画像から検出された人体の姿勢又は動きを判定する判定装置に追加登録する前記テンプレート画像の候補として、前記特定された箇所を示す情報、又は前記画像から前記箇所を切り出した部分画像を出力する出力手段、
として機能させるプログラムが提供される。

【発明の効果】

【0014】

本発明の一態様によれば、登録済のテンプレート画像が示す姿勢や動きと同じ、あるいは同じ種類の姿勢又は動きとは判定されないが、類似しているバリエーションの姿勢や動きの人体を含む画像をテンプレート画像として登録する作業の作業性の問題を解決する画像処理装置、画像処理方法、およびプログラムが得られる。

【図面の簡単な説明】

【0015】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる公的な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0016】

【図1】画像処理装置の機能ブロック図の一例を示す図である。

【図2】画像処理装置の処理内容を説明するための図である。

【図3】画像処理装置のハードウエア構成の一例を示す図である。

【図4】画像処理装置により検出される人体モデルの骨格構造の一例を示す図である。

【図5】画像処理装置により検出された人体モデルの骨格構造の一例を示す図である。

【図6】画像処理装置により検出された人体モデルの骨格構造の一例を示す図である。

【図7】画像処理装置により検出された人体モデルの骨格構造の一例を示す図である。

【図8】画像処理装置により算出されるキーポイントの特徴量の一例を示す図である。

【図9】画像処理装置により算出されるキーポイントの特徴量の一例を示す図である。

【図10】画像処理装置により算出されるキーポイントの特徴量の一例を示す図である。

【図11】画像処理装置により出力される情報の一例を模式的に示す図である。

【図12】画像処理装置の処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0018】

＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理装置１０の概要を示す機能ブロック図である。図１に示すように、画像処理装置１０は、骨格構造検出部１１と、類似度算出部１２と、特定部１３と、出力部１４とを備える。

【0019】

骨格構造検出部１１は、画像に含まれる人体のキーポイントを検出する処理を行う。類似度算出部１２は、検出されたキーポイントに基づき、画像から検出された人体の姿勢又は動きと、予め登録されたテンプレート画像が示す人体の姿勢又は動きとの類似度を算出する。特定部１３は、いずれのテンプレート画像が示す人体の姿勢又は動きとの類似度も第１の閾値未満であるが、いずれかのテンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る画像内の箇所を特定する。出力部１４は、テンプレート画像が示す人体の姿勢又は動きに基づいて画像から検出された人体の姿勢又は動きを判定する判定装置に追加登録するテンプレート画像の候補として、特定された箇所を示す情報、又は画像から当該箇所を切り出した部分画像を出力する。

【0020】

この画像処理装置１０によれば、登録済のテンプレート画像が示す姿勢や動きと同じ、あるいは同じ種類の姿勢又は動きとは判定されないが、類似しているバリエーションの姿勢や動きの人体を含む画像をテンプレート画像として登録する作業の作業性の問題を解決することができる。

【0021】

＜第２の実施形態＞
「概要」
画像処理装置１０は、テンプレート画像の元となる画像（以下、単に「画像」という）に含まれる人体の姿勢又は動きと、予め登録されたテンプレート画像が示す人体の姿勢又は動きとの類似度を算出した後、いずれのテンプレート画像が示す人体の姿勢又は動きとの類似度も第１の閾値未満であるが、いずれかのテンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る画像内の箇所を特定する。そして、画像処理装置１０は、特定された箇所を示す情報、又は画像から特定された箇所を切り出した部分画像を、判定装置用に追加登録するテンプレート画像の候補として出力する。ちなみに、判定装置は、登録されたテンプレート画像を利用した検出処理等を行うが、上記類似度が第１の閾値以上である場合に、画像から検出された人体の姿勢又は動きとテンプレート画像が示す人体の姿勢又は動きとが同じあるいは同じ種類であると判定する。

【0022】

このような画像処理装置１０によれば、画像から検出された人体の集合の中の、いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定されないが、似ている人体が写る画像内の箇所を特定し、特定した箇所に関する情報を出力することができる。図２を用いてより詳細に説明する。

【0023】

第２の実施形態では、図２に示すように、画像から検出された人体の集合は、（１）いずれかのテンプレート画像が示す人体の姿勢又は動きと同じあるいは同じ種類と判定される人体の集合と、（２）いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定されないが、似ている姿勢又は動きの人体の集合と、（３）その他の人体の集合とに分類される。（３）その他の人体の集合は、いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定されず、かつ、似ていない姿勢又は動きの人体の集合である。本実施形態では、（２）いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定されないが、似ている姿勢又は動きの人体の集合に含まれる人体が写る画像内の箇所を特定し、特定した箇所に関する情報を出力する。以下、詳細に説明する。

【0024】

「ハードウエア構成」
次に、画像処理装置１０のハードウエア構成の一例を説明する。画像処理装置１０の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0025】

図３は、画像処理装置１０のハードウエア構成を例示するブロック図である。図３に示すように、画像処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。画像処理装置１０は周辺回路４Ａを有さなくてもよい。なお、画像処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0026】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0027】

「機能構成」
図１は、第２の実施形態に係る画像処理装置１０の概要を示す機能ブロック図である。図１に示すように、画像処理装置１０は、骨格構造検出部１１と、類似度算出部１２と、特定部１３と、出力部１４とを有する。

【0028】

骨格構造検出部１１は、画像に含まれる人体のキーポイントを検出する処理を行う。

【0029】

「画像」は、テンプレート画像の元となる画像である。テンプレート画像は、上述した特許文献１に開示の技術において事前に登録される画像であって、所望の姿勢や所望の動き（ユーザが検出したい姿勢や動き）の人体を含む画像である。画像は、複数のフレーム画像で構成される動画像であってもよいし、１枚で構成される静止画像であってもよい。

【0030】

骨格構造検出部１１は、画像に含まれる人体のＮ（Ｎは２以上の整数）個のキーポイントを検出する。動画像が処理対象の場合、骨格構造検出部１１は、フレーム画像毎にキーポイントを検出する処理を行う。骨格構造検出部１１による当該処理は、特許文献１に開示されている技術を用いて実現される。詳細は省略するが、特許文献１に開示されている技術では、非特許文献１に開示されたＯｐｅｎＰｏｓｅ等の骨格推定技術を利用して骨格構造の検出を行う。当該技術で検出される骨格構造は、関節等の特徴的な点である「キーポイント」と、キーポイント間のリンクを示す「ボーン（ボーンリンク）」とから構成される。

【0031】

図４は、骨格構造検出部１１により検出される人体モデル３００の骨格構造を示しており、図５乃至図７は、骨格構造の検出例を示している。骨格構造検出部１１は、ＯｐｅｎＰｏｓｅ等の骨格推定技術を用いて、２次元の画像から図４のような人体モデル（２次元骨格モデル）３００の骨格構造を検出する。人体モデル３００は、人物の関節等のキーポイントと、各キーポイントを結ぶボーンから構成された２次元モデルである。

【0032】

骨格構造検出部１１は、例えば、画像の中からキーポイントとなり得る特徴点を抽出し、キーポイントの画像を機械学習した情報を参照して、人体のＮ個のキーポイントを検出する。検出するＮ個のキーポイントは予め定められる。検出するキーポイントの数（すなわち、Ｎの数）や、人体のどの部分を検出するキーポイントとするかは様々であり、あらゆるバリエーションを採用できる。

【0033】

以下では、図４に示すように、頭Ａ１、首Ａ２、右肩Ａ３１、左肩Ａ３２、右肘Ａ４１、左肘Ａ４２、右手Ａ５１、左手Ａ５２、右腰Ａ６１、左腰Ａ６２、右膝Ａ７１、左膝Ａ７２、右足Ａ８１、左足Ａ８２が、検出対象のＮ個のキーポイント（Ｎ＝１４）として定められているものとする。なお、図３に示す人体モデル３００では、これらのキーポイントを連結した人物の骨として、頭Ａ１と首Ａ２を結ぶボーンＢ１、首Ａ２と右肩Ａ３１及び左肩Ａ３２をそれぞれ結ぶボーンＢ２１及びボーンＢ２２、右肩Ａ３１及び左肩Ａ３２と右肘Ａ４１及び左肘Ａ４２をそれぞれ結ぶボーンＢ３１及びボーンＢ３２、右肘Ａ４１及び左肘Ａ４２と右手Ａ５１及び左手Ａ５２をそれぞれ結ぶボーンＢ４１及びボーンＢ４２、首Ａ２と右腰Ａ６１及び左腰Ａ６２をそれぞれ結ぶボーンＢ５１及びボーンＢ５２、右腰Ａ６１及び左腰Ａ６２と右膝Ａ７１及び左膝Ａ７２をそれぞれ結ぶボーンＢ６１及びボーンＢ６２、右膝Ａ７１及び左膝Ａ７２と右足Ａ８１及び左足Ａ８２をそれぞれ結ぶボーンＢ７１及びボーンＢ７２がさらに定められている。

【0034】

図５は、直立した状態の人物を検出する例である。図５では、直立した人物が正面から撮像されており、正面から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ重ならずに検出され、右足のボーンＢ６１及びボーンＢ７１は左足のボーンＢ６２及びボーンＢ７２よりも多少折れ曲がっている。

【0035】

図６は、しゃがみ込んでいる状態の人物を検出する例である。図６では、しゃがみ込んでいる人物が右側から撮像されており、右側から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２は大きく折れ曲がり、かつ、重なっている。

【0036】

図７は、寝込んでいる状態の人物を検出する例である。図７では、寝込んでいる人物が左斜め前から撮像されており、左斜め前から見たボーンＢ１、ボーンＢ５１及びボーンＢ５２、ボーンＢ６１及びボーンＢ６２、ボーンＢ７１及びボーンＢ７２がそれぞれ検出され、右足のボーンＢ６１及びボーンＢ７１と左足のボーンＢ６２及びボーンＢ７２は折れ曲がり、かつ、重なっている。

【0037】

図１に戻り、類似度算出部１２は、骨格構造検出部１１により検出されたキーポイントに基づき、画像から検出された人体の姿勢又は動きと、予め登録されたテンプレート画像が示す人体の姿勢又は動きとの類似度を算出する。

【0038】

上記人体の姿勢又は動きの類似度の算出の仕方は様々であり、あらゆる技術を採用できる。例えば、特許文献１に開示の技術を採用してもよい。また、テンプレート画像が示す人体の姿勢又は動きと、画像内から検出した人体の姿勢又は動きとの類似度を算出し、類似度が第１の閾値以上である人体をテンプレート画像が示す人体と同じ姿勢又は動き、あるいは同じ種類の姿勢又は動きの人体として検出する判定装置と同じ手法を採用してもよい。以下、一例を説明するがこれに限定されない。

【0039】

一例として、類似度算出部１２は、検出されたキーポイントで示される骨格構造の特徴量を算出し、画像から検出された人体の骨格構造の特徴量と、テンプレート画像が示す人体の骨格構造の特徴量との類似度を算出することで、２つの人体の姿勢の類似度を算出してもよい。

【0040】

骨格構造の特徴量は、人物の骨格の特徴を示しており、人物の骨格に基づいて人物の状態（姿勢や動き）を分類するための要素となる。通常、この特徴量は、複数のパラメータを含んでいる。そして特徴量は、骨格構造の全体の特徴量でもよいし、骨格構造の一部の特徴量でもよく、骨格構造の各部のように複数の特徴量を含んでもよい。特徴量の算出方法は、機械学習や正規化等の任意の方法でよく、正規化として最小値や最大値を求めてもよい。一例として、特徴量は、骨格構造を機械学習することで得られた特徴量や、骨格構造の頭部から足部までの画像上の大きさ、画像上の骨格構造を含む骨格領域の上下方向における複数のキーポイントの相対的な位置関係、当該骨格領域の左右方向における複数のキーポイントの相対的な位置関係等である。骨格構造の大きさは、画像上の骨格構造を含む骨格領域の上下方向の高さや面積等である。上下方向（高さ方向または縦方向）は、画像における上下の方向（Ｙ軸方向）であり、例えば、地面（基準面）に対し垂直な方向である。また、左右方向（横方向）は、画像における左右の方向（Ｘ軸方向）であり、例えば、地面に対し平行な方向である。

【0041】

なお、ユーザが望む分類を行うためには、判定処理に対しロバスト性を有する特徴量を用いることが好ましい。例えば、ユーザが、人物の向きや体型に依存しない判定を望む場合、人物の向きや体型にロバストな特徴量を使用してもよい。同じ姿勢で様々な方向に向いている人物の骨格や同じ姿勢で様々な体型の人物の骨格を学習することや、骨格の上下方向のみの特徴を抽出することで、人物の向きや体型に依存しない特徴量を得ることができる。骨格構造の特徴量を算出する処理の一例は、特許文献１に開示されている。

【0042】

図８は、類似度算出部１２が求めた複数のキーポイント各々の特徴量の例を示している。複数のキーポイントの特徴量の集合が、骨格構造の特徴量となる。なお、ここで例示するキーポイントの特徴量はあくまで一例であり、これに限定されない。

【0043】

この例では、キーポイントの特徴量は、画像上の骨格構造を含む骨格領域の上下方向における複数のキーポイントの相対的な位置関係を示す。首のキーポイントＡ２を基準点とするため、キーポイントＡ２の特徴量は０．０となり、首と同じ高さの右肩のキーポイントＡ３１及び左肩のキーポイントＡ３２の特徴量も０．０である。首よりも高い頭のキーポイントＡ１の特徴量は－０．２である。首よりも低い右手のキーポイントＡ５１及び左手のキーポイントＡ５２の特徴量は０．４であり、右足のキーポイントＡ８１及び左足のキーポイントＡ８２の特徴量は０．９である。この状態から人物が左手を挙げると、図９のように左手が基準点よりも高くなるため、左手のキーポイントＡ５２の特徴量は－０．４となる。一方で、Ｙ軸の座標のみを用いて正規化を行っているため、図１０のように、図８に比べて骨格構造の幅が変わっても特徴量は変わらない。すなわち、当該例の特徴量（正規化値）は、骨格構造（キーポイント）の高さ方向（Ｙ方向）の特徴を示しており、骨格構造の横方向（Ｘ方向）の変化に影響を受けない。

【0044】

このような特徴量で示される姿勢の類似度の算出の仕方は様々である。例えば、キーポイント毎に特徴量の類似度を算出した後、複数のキーポイントの特徴量の類似度に基づき、姿勢の類似度を算出してもよい。例えば、複数のキーポイントの特徴量の類似度の平均値、最大値、最小値、最頻値、中央値、加重平均値、加重和等が、姿勢の類似度として算出されてもよい。加重平均値や加重和を算出する場合、各キーポイントの重みはユーザが設定できてもよいし、予め定められていてもよい。

【0045】

また、動きは、複数の姿勢の時間変化としてあらわされる。このため類似度算出部１２は、例えば、互いに対応する複数のフレーム画像の組み合わせ毎に、上記手法で姿勢の類似度を算出した後、複数のフレーム画像の組み合わせ毎に算出した姿勢の類似度の統計値（平均値、最大値、最小値、最頻値、中央値、加重平均値、加重和等）を、動きの類似度として算出してもよい。

【0046】

図１に戻り、特定部１３は、判定装置用に追加登録するテンプレート画像の候補として、いずれのテンプレート画像が示す人体の姿勢又は動きとの類似度も第１の閾値未満であるが、いずれかのテンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る画像内の箇所を特定する。

【0047】

まず、いずれのテンプレート画像が示す人体の姿勢又は動きとの類似度も第１の閾値未満である人体（図２の（２）及び（３）の集合に属する人体）を特定する処理について説明する。

【0048】

特定部１３は、画像から検出された人体の姿勢又は動きと、複数のテンプレート画像各々が示す人体の姿勢又は動きとの類似度を、第１の閾値と比較する。そして、特定部１３は、当該比較の結果に基づき、いずれのテンプレート画像が示す人体の姿勢又は動きとの類似度も第１の閾値未満である人体を特定する。

【0049】

なお、判定装置は、テンプレート画像が示す人体の姿勢又は動きに基づいて画像から検出された人体の姿勢又は動きを判定する。具体的には、判定装置は、上記類似度が第１の閾値以上である場合に、画像から検出された人体の姿勢又は動きとテンプレート画像が示す人体の姿勢又は動きとが同じあるいは同じ種類であると判定する。すなわち、特定部１３による上記処理により、画像から検出された人体の集合の中の、いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定装置により判定されない人体が写る画像内の箇所が特定されることとなる。

【0050】

次に、いずれかのテンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体（図２の（２）の集合に属する人体）が写る画像内の箇所を特定する処理について説明する。

【0051】

特定部１３は、画像から検出した人体の中から、図２の（２）及び（３）の集合に属する人体を特定した後、特定した人体毎に、いずれかのテンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たすか判定する。そして、特定部１３は、判定の結果に基づき、いずれかのテンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体（図２の（２）の集合に属する人体）を特定するとともに、特定したその人体が写る画像内の箇所を特定する。ちなにに、第１の類似条件を満たさない人体は、図２の（３）の集合に属する人体となる。

【0052】

第１の類似条件は、
・「テンプレート画像が示す人体の姿勢又は動きとの類似度が第２の閾値以上かつ第１の閾値未満であること」、
・「各人体から検出される複数のキーポイント（Ｎ個のキーポイント）の中の一部のキーポイントに基づき算出されたテンプレート画像が示す人体の姿勢又は動きとの類似度が第３の閾値以上であること」、
・「各人体から検出される複数のキーポイント各々に付与された重み付け値を考慮して算出されたテンプレート画像が示す人体の姿勢又は動きとの類似度が第４の閾値以上であること」、及び、
・「動画像であるテンプレート画像に含まれる複数のフレーム画像の中の所定割合以上のフレーム画像各々が示す人体の姿勢との類似度が第５の閾値以上である姿勢の人体各々を示す複数のフレーム画像を含むこと」、
の中の少なくとも１つを含む。

【0053】

上記例示した条件の中の複数を含む場合、第１の類似条件は、複数の条件を「or」等の論理演算子で繋いだ内容とすることができる。以下、上記例示した条件各々について説明する。

【0054】

「テンプレート画像が示す人体の姿勢又は動きとの類似度が第２の閾値以上かつ第１の閾値未満であること」
この条件の「類似度」は、上述した類似度算出部１２による算出方法と同じ方法で算出された値である。そして、第２の閾値は第１の閾値より小さい値である。

【0055】

第２の閾値を適切に設定することで、いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定されないが、似ている姿勢又は動きの人体（図２の（２）の集合に属する人体）を検出することができる。

【0056】

「各人体から検出される複数のキーポイント（Ｎ個のキーポイント）の中の一部のキーポイントに基づき算出されたテンプレート画像が示す人体の姿勢又は動きとの類似度が第３の閾値以上であること」
この条件の「類似度」は、検出対象の複数のキーポイント（Ｎ個のキーポイント）の中の一部のキーポイントに基づき算出された値である。複数のキーポイント（Ｎ個のキーポイント）の中の一部のキーポイントの特徴量のみを用いる点を除き、上述した類似度算出部１２による算出方法と同じ方法を採用して、この条件の類似度を算出することができる。

【0057】

いずれのキーポイントを利用するかは設計的事項であるが、例えばユーザが指定できてもよい。ユーザは、重視したい身体部分（例：上半身）のキーポイントを指定し、重視しない身体部分（例：下半身）のキーポイントを指定から外すことができる。

【0058】

第３の閾値を適切に設定することで、いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定されないが、身体の一部が同じ又は似ている姿勢又は動きの人体（図２の（２）の集合に属する人体）を検出することができる。

【0059】

「各人体から検出される複数のキーポイント各々に付与された重み付け値を考慮して算出されたテンプレート画像が示す人体の姿勢又は動きとの類似度が第４の閾値以上であること」
この条件の「類似度」は、検出対象の複数のキーポイント（Ｎ個のキーポイント）に重みを付与して算出された値である。例えば、上述した類似度算出部１２による算出方法と同じ方法を採用してキーポイント毎に特徴量の類似度を算出した後、上記重み付け値を用いて、複数のキーポイントの特徴量の類似度の加重平均値又は加重和を姿勢の類似度として算出する。各キーポイントの重みはユーザが設定できてもよいし、予め定められていてもよい。

【0060】

第４の閾値を適切に設定することで、いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定されないが、身体の一部に重みを置いた場合に同じ又は似ている姿勢又は動きの人体（図２の（２）の集合に属する人体）を検出することができる。

【0061】

「動画像であるテンプレート画像に含まれる複数のフレーム画像の中の所定割合以上のフレーム画像各々が示す人体の姿勢との類似度が第５の閾値以上である姿勢の人体各々を示す複数のフレーム画像を含むこと」
当該条件は、画像及びテンプレート画像は動画像であり、動画像に含まれる複数のテンプレート画像各々が示す人体の姿勢の時間変化により人体の動きが示されている場合に利用される。

【0062】

例えば、テンプレート画像はＭ個のフレーム画像で構成されるが、そのＭ個のフレーム画像の中の所定割合以上（例：７割以上）のフレーム画像各々が示す人体の姿勢と所定レベル以上類似する（類似度が第５の閾値以上）姿勢の人体各々を含む複数のフレーム画像が当該条件を満たすこととなる。互いに対応する複数のフレーム画像の組み合わせ毎に姿勢の類似度を算出する手法は、上述した類似度算出部１２による算出方法と同じ方法を採用することができる。

【0063】

第５の閾値、及び所定割合を適切に設定することで、いずれのテンプレート画像が示す人体の動きとも同じあるいは同じ種類と判定されないが、テンプレート画像（動画像）の中の一部時間帯における人体の動きと同じ又は似ている動きの人体（図２の（２）の集合に属する人体）を検出することができる。

【0064】

なお、画像が静止画像である場合、「特定部１３により特定される箇所」は、１枚の静止画像内の一部領域となる。この場合、静止画像毎に、例えば静止画像に設定された座標系の座標で上記箇所が示される。一方、画像が動画像である場合、「特定部１３により特定される箇所」は、動画像を構成する複数のフレーム画像の中の一部のフレーム画像各々内の一部領域となる。この場合、動画像ごとに、例えば複数のフレーム画像の中の一部のフレーム画像を示す情報（フレーム識別情報、冒頭からの経過時間等）と、フレーム画像に設定された座標系の座標とで、上記箇所が示される。

【0065】

出力部１４は、判定装置に追加登録するテンプレート画像の候補として、特定部１３により特定された箇所を示す情報、又は画像から特定部１３により特定された箇所を切り出した部分画像を出力する。なお、出力部１４が部分画像を出力する場合、画像処理装置１０は、画像から、特定部１３により特定された箇所を切り出して部分画像を生成する処理部を有することができる。そして、出力部１４は、処理部が生成した部分画像を出力することができる。

【0066】

上述した「特定部１３により特定された箇所」、すなわちいずれのテンプレート画像が示す人体の姿勢又は動きとの類似度も第１の閾値未満であるが、いずれかのテンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る画像内の箇所が、テンプレート画像の候補となる。ユーザは、上記情報又は上記部分画像に基づき、上記箇所を閲覧等し、その中から、所望の姿勢や所望の動きの人体を含む箇所をテンプレート画像として選別することができる。

【0067】

図１１に、出力部１４が出力した情報の一例を模式的に示す。図１１に示す例では、検出された複数の人体を互いに識別するための人体識別情報と、各人体の属性情報と、類似サンプル画像とが互いに紐付けて表示されている。そして、属性情報の一例として、画像内箇所を示す情報（上述した人体が写る箇所を示す情報）、画像の撮影日時が表示されている。属性情報は、その他、画像を撮影したカメラの設置位置（撮影位置）を示す情報（例：１０２号バス車内後方、〇〇公園入口等）や、画像解析で算出される人物の属性情報（例：性別、年齢層、体型等）を含んでもよい。

【0068】

類似サンプル画像の欄には、各人体と第１の類似条件を満たすテンプレート画像を示す情報（画像のファイル名等）が記入される。このように、出力部１４は、特定部１３により特定された箇所に写る人体と第１の類似条件を満たすテンプレート画像を示す情報をさらに出力することができる。

【0069】

次に、図１２のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。

【0070】

画像処理装置１０は、画像に含まれる人体のキーポイントを検出する処理を行うと（Ｓ１０）、検出されたキーポイントに基づき、画像から検出された人体の姿勢又は動きと、予め登録されたテンプレート画像が示す人体の姿勢又は動きとの類似度を算出する（Ｓ１１）。

【0071】

次いで、画像処理装置１０は、判定装置用に追加登録するテンプレート画像の候補として、いずれのテンプレート画像が示す人体の姿勢又は動きとの類似度も第１の閾値未満であるが、いずれかのテンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る画像内の箇所を特定する（Ｓ１２）。

【0072】

具体的には、画像処理装置１０は、画像から検出された人体の姿勢又は動きと、複数のテンプレート画像各々が示す人体の姿勢又は動きとの類似度を、第１の閾値と比較する。そして、画像処理装置１０は、当該比較の結果に基づき、いずれのテンプレート画像が示す人体の姿勢又は動きとの類似度も第１の閾値未満である人体（図２の（２）及び（３）の集合に属する人体）を特定する。その後、画像処理装置１０は、特定した人体毎に、いずれかのテンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たすか判定する。そして、画像処理装置１０は、判定の結果に基づき、いずれかのテンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体（図２の（２）の集合に属する人体）を特定するとともに、特定したその人体が写る画像内の箇所を特定する。

【0073】

ちなみに、判定装置は、登録されたテンプレート画像を利用した検出処理等を行うが、上記類似度が第１の閾値以上である場合に、画像から検出された人体の姿勢又は動きとテンプレート画像が示す人体の姿勢又は動きとが同じあるいは同じ種類であると判定する。

【0074】

そして、画像処理装置１０は、Ｓ１２で特定された箇所を示す情報、又は画像からＳ１２で特定された箇所を切り出した部分画像を出力する（Ｓ１３）。

【0075】

「作用効果」
第２の実施形態の画像処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、第２の実施形態の画像処理装置１０によれば、画像から検出された人体の集合の中の、いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定装置により判定されないが、類似している人体が写る画像内の箇所に関する情報を出力することができる。

【0076】

図２を用いてより詳細に説明する。第２の実施形態では、図２に示すように、画像から検出された人体の集合は、（１）いずれかのテンプレート画像が示す人体の姿勢又は動きと同じあるいは同じ種類と判定装置により判定される人体の集合と、（２）いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定されないが、似ている姿勢又は動きの人体の集合と、（３）その他の人体の集合とに分類される。（３）その他の人体の集合は、いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定されず、かつ、似ていない姿勢又は動きの人体の集合である。第２の実施形態の画像処理装置１０によれば、（２）いずれのテンプレート画像が示す人体の姿勢又は動きとも同じあるいは同じ種類と判定されないが、似ている姿勢又は動きの人体の集合に含まれる人体が写る画像内の箇所を特定し、特定した箇所に関する情報を出力する。ユーザは、上記特定した箇所を閲覧等し、その中から、所望の姿勢や所望の動きの人体を含む箇所をテンプレート画像として選別することができる。結果、登録済みのテンプレート画像が示す姿勢や動きと同じあるいは同じ種類とは判定されないが、類似しているバリエーションの姿勢や動きの人体を含む画像をテンプレート画像として登録する作業の作業性の問題が解決される。

【0077】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0078】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0079】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段と、
検出された前記キーポイントに基づき、前記画像から検出された人体の姿勢又は動きと、予め登録されたテンプレート画像が示す人体の姿勢又は動きとの類似度を算出する類似度算出手段と、
いずれの前記テンプレート画像が示す人体の姿勢又は動きとの前記類似度も第１の閾値未満であるが、いずれかの前記テンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る前記画像内の箇所を特定する特定手段と、
前記テンプレート画像が示す人体の姿勢又は動きに基づいて前記画像から検出された人体の姿勢又は動きを判定する判定装置に追加登録する前記テンプレート画像の候補として、前記特定された箇所を示す情報、又は前記画像から前記箇所を切り出した部分画像を出力する出力手段と、
を有する画像処理装置。
２． 前記特定手段は、検出された前記キーポイントに基づき、前記画像から検出された前記人体が前記第１の類似条件を満たすか判定する１に記載の画像処理装置。
３． 前記第１の類似条件は、前記類似度が第２の閾値以上かつ前記第１の閾値未満であること、を含む２に記載の画像処理装置。
４． 前記第１の類似条件は、各人体から検出される複数の前記キーポイントの中の一部の前記キーポイントに基づき算出された前記テンプレート画像が示す人体の姿勢又は動きとの前記類似度が第３の閾値以上であること、を含む２又は３に記載の画像処理装置。
５． 前記第１の類似条件は、各人体から検出される複数の前記キーポイント各々に付与された重み付け値を考慮して算出された前記テンプレート画像が示す人体の姿勢又は動きとの前記類似度が第４の閾値以上であること、を含む２から４のいずれかに記載の画像処理装置。
６． 前記画像及び前記テンプレート画像は動画像であり、前記動画像に含まれる複数のテンプレート画像各々が示す人体の姿勢の時間変化により人体の動きが示されており、
前記第１の類似条件は、前記テンプレート画像に含まれる複数のフレーム画像の中の所定割合以上の前記フレーム画像各々が示す人体の姿勢との類似度が第５の閾値以上である姿勢の人体各々を示す複数のフレーム画像を含むこと、である２から５のいずれかに記載の画像処理装置。
７． 前記出力手段は、前記特定された箇所に写る人体と前記第１の類似条件を満たす前記テンプレート画像を示す情報をさらに出力する１から６のいずれかに記載の画像処理装置。
８． コンピュータが、
画像に含まれる人体のキーポイントを検出する処理を行い、
検出された前記キーポイントに基づき、前記画像から検出された人体の姿勢又は動きと、予め登録されたテンプレート画像が示す人体の姿勢又は動きとの類似度を算出し、
いずれの前記テンプレート画像が示す人体の姿勢又は動きとの前記類似度も第１の閾値未満であるが、いずれかの前記テンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る前記画像内の箇所を特定し、
前記テンプレート画像が示す人体の姿勢又は動きに基づいて前記画像から検出された人体の姿勢又は動きを判定する判定装置に追加登録する前記テンプレート画像の候補として、前記特定された箇所を示す情報、又は前記画像から前記箇所を切り出した部分画像を出力する、
画像処理方法。
９． コンピュータを、
画像に含まれる人体のキーポイントを検出する処理を行う骨格構造検出手段、
検出された前記キーポイントに基づき、前記画像から検出された人体の姿勢又は動きと、予め登録されたテンプレート画像が示す人体の姿勢又は動きとの類似度を算出する類似度算出手段、
いずれの前記テンプレート画像が示す人体の姿勢又は動きとの前記類似度も第１の閾値未満であるが、いずれかの前記テンプレート画像が示す人体の姿勢又は動きと第１の類似条件を満たす人体が写る前記画像内の箇所を特定する特定手段、
前記テンプレート画像が示す人体の姿勢又は動きに基づいて前記画像から検出された人体の姿勢又は動きを判定する判定装置に追加登録する前記テンプレート画像の候補として、前記特定された箇所を示す情報、又は前記画像から前記箇所を切り出した部分画像を出力する出力手段、
として機能させるプログラム。

【符号の説明】

【0080】

１０ 画像処理装置
１１ 骨格構造検出部
１２ 類似度算出部
１３ 特定部
１４ 出力部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】