特開 2024-171484 画像処理装置、画像処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171484

(43)【公開日】2024-12-12

(54)【発明の名称】画像処理装置、画像処理方法、及び、プログラム

(51)【国際特許分類】

   G08B 13/196 20060101AFI20241205BHJP

   G06T 7/20 20170101ALI20241205BHJP

   G08B 25/00 20060101ALI20241205BHJP

   G08B 27/00 20060101ALI20241205BHJP

【ＦＩ】

G08B13/196

G06T7/20 300A

G08B25/00 510M

G08B27/00 Z

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023088518

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】春名 毅

(72)【発明者】

【氏名】小林 一彦

(72)【発明者】

【氏名】児嶋 裕治

【テーマコード（参考）】

5C084

5C087

5L096

【Ｆターム（参考）】

5C084AA02

5C084AA09

5C084AA13

5C084CC33

5C084DD11

5C084EE01

5C084EE07

5C084HH02

5C084HH07

5C084HH10

5C087AA02

5C087AA03

5C087AA19

5C087AA37

5C087AA44

5C087BB72

5C087DD05

5C087EE08

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG08

5C087GG19

5C087GG66

5C087GG85

5L096DA03

5L096FA67

5L096FA69

5L096GA30

5L096HA02

(57)【要約】

【課題】 所定の行動を検出して通知を行うシステムの動作確認を容易に行えるようにする。
【解決手段】 画像処理装置３００は、１以上の撮像装置により撮像される撮像画像を取得する画像取得部３２１と、撮像画像における被写体の姿勢を推定する姿勢推定部３２２と、推定される被写体の連続する姿勢と所定の連続する姿勢とが対応したことに応じて第１の通知が行われるように通知部１０２を制御する第１の動作モードと、推定される被写体の１又は複数の連続する姿勢と所定の連続する姿勢よりも少ない姿勢により構成される所定の１又は複数の連続する姿勢とが対応したことに応じて、被写体に対して第２の通知が行われるように通知部１０２を制御する第２の動作モードとのうち、いずれかの動作モードを実行する動作モード切り替え部３２３と、を有する。
【選択図】 図３

【特許請求の範囲】

【請求項1】

１以上の撮像装置により撮像される撮像画像を取得する取得手段と、
前記撮像画像における被写体の姿勢を推定する推定手段と、
前記推定手段により推定される前記被写体の連続する姿勢と所定の連続する姿勢とが対応したことに応じて、第１の通知が行われるように通知手段を制御する第１の動作モードと、前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と前記所定の連続する姿勢よりも少ない姿勢により構成される所定の１又は複数の連続する姿勢とが対応したことに応じて、前記被写体に対して第２の通知が行われるように前記通知手段を制御する第２の動作モードとのうち、いずれかの動作モードを実行する制御手段と
を有することを特徴とする画像処理装置。

【請求項2】

ユーザによる入力を受信する受信手段を有し、
前記制御手段は、前記受信手段により受信された入力に基づいて、いずれの動作モードを実行するかを決定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記制御手段は、前記第１の動作モードおよび前記第２の動作モードのうち一方の実行中に、前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と、前記所定の連続する姿勢および前記所定の１又は複数の連続する姿勢とは異なる他の１又は複数の連続する姿勢とが対応した場合、実行する動作モードを切り替えることを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記制御手段は、
前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応しない場合は前記第１の動作モードを実行し、
前記推定手段により推定される前記被写体の連続する姿勢と前記所定の連続する姿勢とが対応する場合は前記第２の動作モードを実行する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記第２の動作モードが実行されないように制御する処理手段を有することを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記制御手段は、複数の通知手段を制御することを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記複数の通知手段のうち、前記制御手段により制御される通知手段を選択する選択手段を有し、
前記制御手段は、前記複数の通知手段のうち前記選択手段により選択される通知手段を制御する
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記選択手段は、前記制御手段により制御される通知手段を、前記被写体の位置と前記複数の通知手段の位置とに基づいて選択することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記推定手段は、前記撮像画像における前記被写体の位置に関する情報に基づいて、前記被写体の姿勢を推定することを特徴とする請求項１に記載の画像処理装置。

【請求項10】

前記推定手段は、前記撮像画像に基づいて前記被写体の位置に関する情報を取得し、
前記制御手段は、前記第２の動作モードにおいて、前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応したことに応じて、前記推定手段により取得される前記被写体の位置に関する情報を含む前記第２の通知が行われるように前記通知手段を制御する
ことを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記被写体の位置に関する情報は、前記被写体の器官の位置を示すパラメータを含むことを特徴とする請求項９に記載の画像処理装置。

【請求項12】

前記被写体の位置に関する情報は、前記撮像画像に基づいて特定される前記被写体の位置の信頼度を表すパラメータを含むことを特徴とする請求項１０に記載の画像処理装置。

【請求項13】

前記第１の通知は、前記被写体に対する警告、および、前記被写体の連続する姿勢と前記所定の連続する姿勢とが対応したことをユーザに認識させるための通知、のうち少なくとも一方を含むことを特徴とする請求項１に記載の画像処理装置。

【請求項14】

前記第２の通知は、前記被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応したことを前記被写体に認識させるための通知を含むことを特徴とする請求項１に記載の画像処理装置。

【請求項15】

前記制御手段は、前記第２の動作モードにおいて、前記推定手段により推定される被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応しない場合、前記被写体に対して、前記被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応しないことを前記被写体に認識させるための情報を含む第３の通知が行われるように前記通知手段を制御することを特徴とする請求項１に記載の画像処理装置。

【請求項16】

前記制御手段は、表示装置及び音声を出力する出力装置のうち少なくともいずれかを含む前記通知手段を制御することを特徴とする請求項１に記載の画像処理装置。

【請求項17】

前記取得手段により取得される撮像画像、前記推定手段により推定される前記被写体の姿勢の推定結果に関する情報、および、前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応するかを認識可能な情報のうち、少なくともいずれかを記憶手段に記録する記録手段を有することを特徴とする請求項１に記載の画像処理装置。

【請求項18】

前記所定の連続する姿勢に関する情報は、前記被写体に開示されないことを特徴とする請求項１に記載の画像処理装置。

【請求項19】

１以上の撮像装置により撮像される撮像画像を取得する取得工程と、
前記撮像画像における被写体の姿勢を推定する推定工程と、
前記推定工程において推定される前記被写体の連続する姿勢と所定の連続する姿勢とが対応したことに応じて、第１の通知が行われるように通知手段を制御する第１の動作モードと、前記推定工程において推定される前記被写体の１又は複数の連続する姿勢と前記所定の連続する姿勢よりも少ない姿勢により構成される所定の１又は複数の連続する姿勢とが対応したことに応じて、前記被写体に対して第２の通知が行われるように前記通知手段を制御する第２の動作モードとのうち、いずれかの動作モードを実行する制御工程と
を有することを特徴とする画像処理方法。

【請求項20】

コンピュータを、請求項１乃至１８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被写体の姿勢推定を行い、人物に対して情報を伝達する技術に関するものである。

【背景技術】

【0002】

従来から、マーケティング、販売促進、および、万引きの防止などを目的に、撮像装置により撮像された撮像画像を使用して被写体の行動分析を行い、分析結果に応じた情報を被写体に通知するシステムが運用されている。このようなシステムは、例えば、小売店舗および大規模な商業店舗などの様々な施設において運用されている。

【0003】

特許文献１には、店舗内のカメラにより撮像された撮像画像を基に画像内の不審人物を検出し、不審人物の画像内での位置に応じて選択される警告装置を用いて、不審人物に対して警告を発するシステムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１４０５２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１においては、システムの動作を確認する方法については考慮されていない。このため、特許文献１に記載のシステムを設置する作業者がシステムの動作確認をするためには、実際にシステムを稼働し、不審人物の行動を再現する必要がある。しかしながら、このようなシステムにおいて検出される行動は複雑であった。

【0006】

本開示は上記の課題に鑑みてなされたものである。その目的は、所定の行動を検出して通知を行うシステムの動作確認を容易に行えるようにすることである。

【課題を解決するための手段】

【0007】

本開示に係る画像処理装置は、１以上の撮像装置により撮像される撮像画像を取得する取得手段と、前記撮像画像における被写体の姿勢を推定する推定手段と、前記推定手段により推定される前記被写体の連続する姿勢と所定の連続する姿勢とが対応したことに応じて、第１の通知が行われるように通知手段を制御する第１の動作モードと、前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と前記所定の連続する姿勢よりも少ない姿勢により構成される所定の１又は複数の連続する姿勢とが対応したことに応じて、前記被写体に対して第２の通知が行われるように前記通知手段を制御する第２の動作モードとのうち、いずれかの動作モードを実行する制御手段とを有することを特徴とする。

【発明の効果】

【0008】

本開示によれば、所定の動作を検出して通知を行うシステムの動作確認を容易に行うことができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態におけるシステムの概要を説明するための図である。

【図2】第１の実施形態における画像処理装置のハードウェア構成を説明するための図である。

【図3】第１の実施形態における画像処理装置の機能構成を説明するための図である。

【図4】撮像部が撮像することにより得られる撮像画像の一例を示す図である。

【図5】第１の実施形態における画像処理装置が行う処理を説明するためのフローチャートである。

【図6】第２の実施形態におけるシステムの概要を説明するための図である。

【図7】第２の実施形態における画像処理装置のハードウェア構成を説明するための図である。

【図8】第２の実施形態に係る画像処理装置３００の機能構成を説明するための図である。

【図9】第２の実施形態における画像処理装置が行う処理を説明するためのフローチャートである。

【図10】第３の実施形態におけるシステムの概要を説明するための図である。

【図11】第４の実施形態における画像処理装置の機能構成を説明するための図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本開示の実施の形態の一例を示すものであり、本開示をそれらのみに限定するものではない。

【0011】

（第１の実施形態）
本実施形態においては、撮像装置により撮像される被写体の動作を検出し、被写体に対して通知を行うシステムについて説明する。なお、本実施形態における被写体は、主に人物であるものとする。

【0012】

図１は、本実施形態に係るシステムの概要を説明するための図である。本実施形態においては、店舗１００にシステムが設置されるものとする。店舗１００内には、撮像部１０１、通知部１０２、および、商品棚１０３・１０４が設置されている。また、撮像部１０１および通知部１０２は、画像処理装置３００と接続され、画像処理装置３００からの命令に基づいて動作する。また、表示部３５１は、画像処理装置３００と接続され、画像処理装置３００からの命令に基づいて各種情報を表示する。なお、画像処理装置３００および表示部３５１の設置場所は店舗１００の内外のいずれでもよい。

【0013】

本実施形態におけるシステムは、店舗１００における不審な行動を検知し、行動を行う不審人物に対して警告を発報することを目的とするシステムであるものとする。なお、本実施形態においては店舗においてシステムが利用されるものとするが、これに限定されない。例えば、体育館、市役所、飲食店、および工場などの種々の施設においてシステムが利用されてもよい。

【0014】

図２は、本実施形態における画像処理装置３００のハードウェア構成を説明するための図である。画像処理装置３００は、処理部（演算部）として機能するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１を有する。また、画像処理装置３００は、記憶部として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０４を有する。また、画像処理装置３００は、記録ディスクドライブ２０５、および、インタフェース２０６～２０９を有する。なお、画像処理装置３００は、一般的なコンピュータであるものとする。

【0015】

ＣＰＵ２０１は、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、記録ディスクドライブ２０５およびインタフェース２０６～２０９と、バス２１０を介して接続されている。ＲＯＭ２０２には、ＢＩＯＳ等の基本プログラムが格納されている。ＲＡＭ２０３は、ＣＰＵ２０１の演算処理結果などの各種データを一時的に記憶する。

【0016】

ＨＤＤ２０４は、ＣＰＵ２０１の演算処理結果および外部から取得した各種データなどを記憶する。ＨＤＤ２０４は、また、ＣＰＵ２０１を動作させるための各種プログラム２０４ａと各種パラメータ２０４ｂが記録されている。この各種プログラム２０４ａは、各デバイスの制御プログラム、被写体の姿勢推定プログラム、ジェスチャ判定プログラム、動作確認ジェスチャ判定プログラム、および、通知指示プログラムなどを含む。各プログラムにより実行される処理については、それぞれ後述する。また、各種パラメータ２０４ｂは、撮像部１０１および通知部１０２のデバイスを制御するためのパラメータ、および、姿勢推定プログラムにおいて使用される画像処理パラメータを含む。また、各種パラメータ２０４ｂは、後述するジェスチャ判定に使用されるジェスチャパラメータ、および、動作確認ジェスチャ判定部に使用される動作確認ジェスチャパラメータを含む。ＣＰＵ２０１は、ＨＤＤ２０４に記録される各種プログラム２０４ａに基づいて各処理を実行する。

【0017】

なお、本実施形態においては、コンピュータが読み取りおよび書き込みが可能な記憶媒体としてＨＤＤ２０４が使用され、かつＨＤＤ２０４に各種プログラム２０４ａや各種パラメータ２０４ｂが格納されている場合について説明するが、これに限定されない。各種プログラム２０４ａおよび各種パラメータ２０４ｂは、コンピュータが読み取りおよび書き込み可能な記憶媒体であればいかなる記憶媒体に記憶されてもよい。例えば、図２に示すＲＯＭ２０２、記録ディスク２３１、および外部記憶装置２２２の少なくともいずれかに各種プログラム２０４ａや各種パラメータ２０４ｂが記憶される構成であってもよい。記録媒体としては、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性メモリ、および、ＲＯＭなどが使用可能である。

【0018】

撮像部１０１は、店舗１００内に設置されるカメラであって、光を受光して画像データを生成する固体撮像素子を有する装置である。固体撮像素子は、ＣＭＯＳイメージセンサーまたはＣＣＤイメージセンサー等のエリアセンサであり、撮像部１０１はデジタルカメラである。撮像部１０１は、ＣＰＵ２０１から入力される撮像信号によって撮像動作を行い、インタフェース２０６およびバス２０１を介して、撮像結果である画像データをＣＰＵ２０１に出力する。なお、本実施形態においては撮像部１０１が１台であるものとして、説明するが、撮像部は２台以上であってもよい。

【0019】

通知部１０２は、システムのユーザに対して情報の伝達（通知）を行うための装置である。ここで、本実施形態におけるユーザとは、撮像部１０１により撮像される被写体であり、具体的には、システムの動作確認を行う人物であるものとする。通知部１０２は、画像処理装置３００が行う処理の結果に応じて、撮像部１０１により撮像された被写体に対し、バス２１０およびインタフェース２０９を介して通知を行う。本実施形態における通知部１０２は、音声を出力するスピーカであるものとして説明を行うが、これに限定されない。通知部１０２は、例えば、光を発する装置、および、画像を表示するディスプレイなどの表示装置、あるいはスマートフォンおよびタブレット機器などの情報端末であってもよいし、それらの組合せであってもよい。

【0020】

記録ディスクドライブ２０５は、記録ディスク２３１に記録された各種データやプログラム等を読み出す。表示部３５１は、バス２０１およびインタフェース２０７を介して、画像処理装置３００の本体の状態、および、動作中のシステムの状態を表示する。表示部３５１は、例えば液晶パネルおよび有機ＥＬパネルなどを用いたモニタであり、画像処理装置３００からの指示に従って文字や画像を表示する。

【0021】

図３は、本実施形態における画像処理装置３００の機能構成を説明するための図である。画像処理装置３００は、画像取得部３２１、姿勢推定部３２２、動作モード切り替え部３２３、通知内容記憶部３２４、ジェスチャ記憶部３２５、ジェスチャ判定部３２６、動作確認ジェスチャ判定部３２７、および、動作確認ジェスチャ記憶部３２８を有する。また、画像処理装置３００は、通知指示部３２９および表示指示部３５０を有する。画像処理装置３００におけるＣＰＵ２０１が、記憶部に記憶される各種プログラム２０４ａおよび各種パラメータ２０４ｂを読みだして動作することにより、図３に示す各処理部３２１～３２９として機能する。また、画像処理装置３００は、撮像部１０１および通知部１０２とローカルエリアネットワーク（ＬＡＮ）などを介して接続される。

【0022】

画像取得部３２１は、撮像部１０１から撮像画像を取得する。姿勢推定部３２２は、画像取得部３２１により取得される撮像画像内における被写体の姿勢を推定する。具体的には、姿勢推定部３２２は、撮像画像に基づいて、公知の画像解析技術を使用し、姿勢推定の処理に使用される情報（姿勢推定情報）を取得する。

【0023】

姿勢推定情報は、撮像画像における被写体の位置に関する情報であり、例えば、撮像画像に基づいて特定される被写体の目、耳、足および腕などの各関節などの器官の位置を示すパラメータを含む。関節の位置を示すパラメータは、座標であらわされる点であってもよいし、関節部位の範囲を示す情報であってもよい。本実施形態においては、姿勢推定部３２２により、器官の位置の一例として関節の位置を示す情報が取得されるものとして説明する。また、被写体の位置に関する情報は、特定される被写体の位置の信頼度を表すパラメータ（以下、スコア値とも記載する）を含む。なお、姿勢推定情報に含まれる情報はこれに限定されない。例えば、被写体の目の位置を示すパラメータなどがさらに含まれてもよい。また、姿勢推定情報は、上述したパラメータのうち任意の種類のパラメータを含む構成でもよい。姿勢推定部３２２は、取得した姿勢推定情報を使用して、姿勢推定プログラムを実行することにより、被写体の姿勢推定を行う。姿勢推定プログラムにより実行される処理は、例えば、あらかじめ学習済みの機械学習モデルに姿勢推定情報を入力し、推定結果を出力する処理である。しかしながら姿勢推定の方法はこれに限定されず、既存の他の姿勢推定方法、および複数の姿勢推定方法の組み合わせであってもよい。

【0024】

動作モード切り替え部３２３は、後述するジェスチャ判定部３２６が行う処理、および、後述する動作確認ジェスチャ判定部３２７が行う処理、のいずれかが実行されるように制御する。以下では、ジェスチャ判定部３２６が処理を行う状態を通常稼働モードと定義し、動作確認ジェスチャ判定部３２７が処理を行う状態を動作確認モードと定義する。すなわち、動作モード切り替え部３２３は、通常稼働モードおよび動作確認モードのうちいずれの動作モードを実行するかを決定し、決定した動作モードが実行されるように２つの動作モードを切り替える処理を行う。各動作モードにおける処理および動作モードの切り替え処理については、後述する。

【0025】

ジェスチャ判定部３２６および動作確認ジェスチャ判定部３２７は、姿勢推定部３２２により推定された被写体の姿勢と、所定の姿勢とが対応するかを判定する。なお、本実施形態における姿勢推定部３２２は、被写体の姿勢を推定することにより、被写体が行ったジェスチャを推定するものとする。ここで、ジェスチャとは、撮像部１０１が連続して撮像を行うことにより得られる時間的に連続した複数の撮像画像のそれぞれにおける被写体の、連続する姿勢である。ジェスチャは、時間的に連続した複数の撮像画像のそれぞれに基づいて取得される複数の姿勢推定情報と、複数の姿勢情報に対応する時間情報により表される。ジェスチャは、例えば、首を振る、および、腕を上げ下げする、などの動作である。

【0026】

ジェスチャ記憶部３２６および動作確認ジェスチャ記憶部３２８は、それぞれ、所定のジェスチャに関する情報を記憶する。通知指示部３２９は、ジェスチャ判定部３２６および動作確認ジェスチャ判定部３２７が行う処理の結果に応じて、所定の通知が行われるように通知部１０２を制御する。通知内容記憶部３２４は、ジェスチャ判定部３２６および動作確認ジェスチャ判定部３２７が行う処理の結果に応じた所定の通知を示す情報をあらかじめ記憶しておき、通知指示部３２９に出力する。

【0027】

次に、通常稼働モードおよび動作確認モードの処理、および、動作モードの切り替え処理について説明する。

【0028】

本実施形態における通常稼働モードは、画像処理装置３００が、店舗１００における不審な行動（ジェスチャ）を検知し、ジェスチャを行う不審人物に対して警告を発報する、という制御を行う動作モードである。ジェスチャ記憶部３２５およびジェスチャ判定部３２６は、通常稼働モードにおいて動作する。動作モード切り替え部３２３により通常稼働モードが実行されると決定された場合、ジェスチャ判定部３２６は以下の処理を行う。すなわち、ジェスチャ判定部３２６は、姿勢推定部３２２により推定された被写体のジェスチャ（連続する姿勢）と、ジェスチャ記憶部３２５に記憶された情報に基づく所定のジェスチャ（連続する姿勢）とが対応するかを判定する。

【0029】

不審人物が行うジェスチャとしては、例えば、万引きを行う際に周囲を気にして見渡すようなジェスチャが想定される。このようなジェスチャを検出するため、ジェスチャ記憶部３２５に記憶される所定のジェスチャに関する情報は、例えば、人体および頭部の向きの変化に基づく首振りの既定回数を示す情報である。このような構成において、姿勢推定部３２２により被写体の首振りのジェスチャが推定された場合、ジェスチャ判定部３２６は、推定された首振りの回数と、ジェスチャ記憶部３２５に記憶される首振りの既定回数とを比較する。ジェスチャ判定部３２６は、推定された首振りの回数が既定回数よりも多い場合、被写体のジェスチャと不審なジェスチャとしての首振りとが対応すると判定し、通知指示部３２９に判定結果を出力する。

【0030】

通知指示部３２９は、ジェスチャ判定部３２６から取得した判定結果に応じて、所定の通知が行われるように通知部１０２を制御する。ここで、所定の通知は、例えば、不審なジェスチャを行った人物に対し、万引きをやめるように促す警告である。ただしこれに限定されず、所定の通知は、例えば、万引きは犯罪であることを喚起する店内放送、および、被写体のジェスチャと不審なジェスチャとが対応したことを別室にいる監視員に認識させる通知などであってもよい。

【0031】

通常稼働モードにおいては、不審なジェスチャとして様々なジェスチャを検知することが想定されるため、ジェスチャ記憶部３２５には、複数の所定のジェスチャに関する情報が記憶される。また、ジェスチャ判定部３２６は前述の様な単一の既定値に基づいてジェスチャを判定するだけではなく、被写体の複雑なジェスチャを判定することが想定されるため、ジェスチャ記憶部３２５には複雑なジェスチャを判定するための複数の既定値が記憶される。

【0032】

一方、本実施形態における動作確認モードは、通常稼働モードにおけるシステムの動作を確認するための動作モードである。動作確認モードは、例えば、システムを施設に設置する際に、設置の作業者が、システムが正しく動作するかを確認するために使用される動作モードである。動作確認ジェスチャ記憶部３２８および動作確認ジェスチャ判定部３２７は、動作確認モードにおいて動作する。動作モード切り替え部３２３により動作確認モードが実行されると決定された場合、動作確認ジェスチャ判定部３２７は以下の処理を行う。すなわち、動作確認ジェスチャ判定部３２７は、姿勢推定部３２２により推定された被写体のジェスチャ（連続する姿勢）と、動作確認ジェスチャ記憶部３２８に記憶された情報に基づく所定のジェスチャ（連続する姿勢）とが対応するかを判定する。

【0033】

一般に、不審な行動を検知するシステムにおいて、システムを設置する作業者が動作確認を行う方法として、作業者が不審な行動と判定されうるジェスチャを再現し、ジェスチャに応じて適切な通知が行われるかを確認する方法が考えられる。しかしながら、このようなシステムにおいては検出される行動は開示されていない場合がある。また、開示されていたとしても、不審な行動として検出される行動は複雑な姿勢の組み合わせであることが想定され、作業者が再現するのは困難である。また、仮に本システムに精通したエンジニアがシステムの動作確認を行うものとすると、動作確認が必要になる度にエンジニアが施設に赴く必要があり、システムの動作確認に対してエンジニアを派遣するコストがかかるという問題がある。

【0034】

上述の課題を解決するため、本実施形態における動作確認モードにおいては、動作確認用のジェスチャとして、通常稼働モードにおいて判定される所定のジェスチャとは異なるジェスチャが判定されるものとする。このとき、動作確認用のジェスチャは、通常稼働モードにおいて判定されるジェスチャよりも少ない姿勢により構成される単純なジェスチャ（連続する姿勢）であるものとする。動作確認ジェスチャ記憶部３２８に記憶される所定のジェスチャに関する情報は、例えば、被写体が右腕を既定時間以内に既定回数よりも多く上げ下げする、ことを表す情報であるものとする。

【0035】

このような構成において、姿勢推定部３２２により右腕を上げ下げするジェスチャが推定された場合、動作確認ジェスチャ判定部３２７は、既定時間内に行われた右腕の上げ下げの回数と、動作確認ジェスチャ記憶部３２８に記憶される既定回数とを比較する。動作確認ジェスチャ判定部３２７は、推定された右腕の上げ下げの回数が既定回数よりも多い場合、被写体のジェスチャと動作確認用のジェスチャとが対応すると判定し、通知指示部３２９に判定結果を出力する。

【0036】

なお、ここでは動作確認用のジェスチャは連続する姿勢としたが、動作確認用のジェスチャは１つの姿勢であってもよい。１つの姿勢としては、例えば、右腕を上げる、などである。すなわち、動作確認モードでは、被写体の１又は複数の連続する姿勢と、動作確認用のジェスチャとしての所定の１又は複数の連続する姿勢とが対応するかが判定される。

【0037】

通知指示部３２９は、動作確認ジェスチャ判定部３２７から取得した判定結果に応じて、所定の通知が行われるように通知部１０２を制御する。ここで、所定の通知は、例えば、ジェスチャを行った被写体に対し、被写体のジェスチャと動作確認用のジェスチャとが対応したことを認識させる通知である。具体的には、例えば「動作確認用のジェスチャが検出されました」という音声がスピーカから出力される。ただし通知の方法および内容はこれに限定されず、例えば、被写体に対し被写体のジェスチャと動作確認用のジェスチャとが対応したことを示す表示がされる構成であってもよい。また、所定の通知は、被写体に対し、システムが正常に動作したことを表す通知であってもよい。

【0038】

上述の動作確認モードによれば、システムを設置する作業者は、動作確認用の単純なジェスチャを行うことで容易にシステムの動作確認を行うことができる。また、システムに精通するエンジニアを派遣する必要がなく、少人数での動作確認が可能になるという効果がある。

【0039】

動作モード切り替え部３２３は、外部からの入力を受信し、通常稼働モードと動作確認モードとを切り替える。また、動作モード切り替え部３２３は、どちらの動作モードが選択されているかを記憶する機能も有している。外部から信号を入力する方法として、画像処理装置３００は、ユーザによる入力を受信する装置が接続される。入力を受信する装置は、例えば、キーボード、マウス、ボタンなどの電気信号を入力可能な装置である。また、例えば、表示部３５１にグラフィカルユーザーインタフェース（ＧＵＩ）が表示され、ＧＵＩ上のボタンおよびチェックボックスなどをユーザが操作することにより動作モードが指定されてもよい。また、例えば、動作モード切り替え用のジェスチャに関する情報があらかじめ記憶部に記憶され、被写体のジェスチャと動作モード切り替え用のジェスチャとが対応した場合に動作モードが切り替わる構成であってもよい。この場合、動作モード切り替え用のジェスチャは、通常稼働モードおよび動作確認モードにおいて判定されるジェスチャとは異なるジェスチャであるものとする。このように、動作モードの切り替えができることにより、通常稼働モードが実行されている間に、店舗内の顧客などの被写体が意図せず動作確認用のジェスチャを行ってしまい、動作確認モードにおける通知が被写体に対して行われることを防ぐことができる。また、動作モードの切り替えができることにより、一方の動作モードを実行中はもう一方の動作モードに係る処理部が動作しない。このため、両方の動作モードが実行される場合と比較して、画像処理装置３００におけるＣＰＵ２０１の演算処理の負荷を抑えることができる。

【0040】

なお、動作モード切り替え部３２３は、以下の方法により、実行する動作モードを決定してもよい。例えば、デフォルトでは通常稼働モードが実行されるように設定されたシステムにおいては、動作確認モードが行われない場合はジェスチャ判定部３２６およびジェスチャ記憶部３２５が動作する。この間に、動作モード切り替え部３２３は、姿勢推定部３２２により推定されたジェスチャに関する姿勢推定情報を、動作確認ジェスチャ判定部３２７に出力する。動作確認ジェスチャ判定部３２７により、被写体のジェスチャと動作確認用のジェスチャとが対応すると判定された場合、動作確認ジェスチャ判定部３２７は、判定結果を動作モード切り替え部３２３に出力する。動作モード切り替え部３２３は、判定結果に基づいて、動作確認モードが実行されるように動作モードを切り替える。この構成により、動作確認を行う作業者は、切り替えのための入力操作を行うことなく、撮像装置の前で動作確認用のジェスチャを行うことで動作確認を行うことができる。ただし、被写体が意図せずに動作確認用のジェスチャを行うことにより動作確認モードに切り替わることを防止するため、画像処理装置３００は、動作確認が行われない場合は動作確認モードが実行されないようにＯＦＦにする処理が可能な機能を有していてもよい。動作確認モードをＯＦＦにする処理は、例えば、ユーザがキーボード、マウス、ボタンなどの電気信号を入力可能な装置を操作することにより実行されてもよい。また、動作確認モードをＯＦＦにする処理は、例えば、表示部３５１にＧＵＩが表示され、ＧＵＩ上のボタンおよびチェックボックスなどをユーザが操作することにより実行されてもよい。

【0041】

また、動作モード切り替え部３２３は、動作確認モードを実行中に動作確認用のジェスチャが一定時間行われなかった場合、通常稼働モードに自動で切り替える機能を有していてもよい。

【0042】

次に、画像処理装置３００が行う処理を、図５を用いて説明する。図５は、本実施形態における画像処理装置３００が行う処理を説明するためのフローチャートである。図５に示す処理は、画像処理装置３００が有するＣＰＵ２０１がＨＤＤ２０４に記録される各種プログラム２０４ａを実行することにより実現される。

【0043】

Ｓ５０１において、画像取得部３２１は、撮像部１０１が撮像することにより得られる撮像画像を取得する。図４に示す画像４００は、撮像部１０１が店舗１００内を撮像することにより得られる撮像画像の一例である。Ｓ５０２において、姿勢推定部３２１は、姿勢推定プログラムを実行し、Ｓ５１０において取得された撮像画像に基づいて、店舗１００内の人物である被写体１０５の姿勢を推定して姿勢推定情報を取得する。また、姿勢推定部３２１は、取得した被写体１０５の姿勢推定情報を一時的に記憶部に記憶させる。このとき、姿勢推定部３２２から得られる姿勢推定情報の一時的な記憶先は、ＲＡＭ２０３であってもよいし、ＨＤＤ２０４であってもよい。また、記憶先は、画像処理装置３００に接続される外部の記憶媒体でもよい。

【0044】

Ｓ５０３において、動作モード切り替え部３２３は、通常稼働モードと動作確認モードとのうち、いずれを実行するかを決定する。動作モード切り替え部３２３は、前述したように、例えばユーザによる入力を受信することにより、いずれの動作モードを実行するかを決定し、決定した動作モードが実行されるように制御する。通常稼働モードが実行される場合（Ｓ５０３でＹＥＳ）、ジェスチャ判定部３２６による処理が実行される。このとき、動作確認ジェスチャ判定部３２７による処理は実行されない。一方、動作確認モードが実行される場合（Ｓ５０３でＮＯ）、動作確認ジェスチャ判定部３２７による処理が実行される。このとき、ジェスチャ判定部３２６による処理は実行されない。

【0045】

Ｓ５０４において、ジェスチャ判定部３２６は、ジェスチャ判定プログラムを実行し、姿勢推定部３２２により取得される姿勢推定情報が示す被写体１０５のジェスチャと、ジェスチャ記憶部３２５に記憶される情報が示すジェスチャとが対応するかを判定する。対応すると判定される場合（Ｓ５０４でＹＥＳ）、ジェスチャ判定部３２６は、通知指示部３２９に判定結果を出力する。Ｓ５０６において、通知指示部３２９は、ジェスチャ判定部３２６から取得した判定結果に応じて、通知指示プログラムを実行し、通知内容記憶部３２４を参照して所定の通知（例えば、警報）が行われるように通知部１０２を制御する。

【0046】

一方、対応すると判定されない場合（Ｓ５０４でＮＯ）、ジェスチャ判定部３２６は、通知に係る処理を行わずに、処理を終了する。なお、対応すると判定されない場合は、例えば、姿勢推定情報が示す被写体１０５のジェスチャと、ジェスチャ記憶部３２５に記憶される情報が示すジェスチャとが異なるものであった場合である。また、対応すると判定されない場合は、例えば、撮像部１０１により被写体が撮像されていない、あるいは被写体がジェスチャを行っていないことなどにより、姿勢推定部３２１により姿勢推定がされていない場合である。

【0047】

Ｓ５０５において、動作確認ジェスチャ判定部３２７は、動作確認ジェスチャ判定プログラムを実行する。これにより、動作確認ジェスチャ判定部３２７は、姿勢推定部３２２により取得される姿勢推定情報が示す被写体１０５のジェスチャと、動作確認ジェスチャ記憶部３２８に記憶される情報が示すジェスチャとが対応するかを判定する。対応すると判定される場合（Ｓ５０５でＹＥＳ）、動作確認ジェスチャ判定部３２７は、通知指示部３２９に判定結果を出力する。Ｓ５０６において、通知指示部３２９は、動作確認ジェスチャ判定部３２７から取得した判定結果に応じて、通知指示プログラムを実行し、通知内容記憶部３２４を参照して所定の通知（例えば、判定結果の通知）が行われるように通知部１０２を制御する。

【0048】

一方、対応すると判定されない場合（Ｓ５０５でＮＯ）、動作確認ジェスチャ判定部３２７は、通知に係る処理を行わずに、処理を終了する。なお、対応すると判定されない場合は、例えば、姿勢推定情報が示す被写体１０５のジェスチャと、動作確認ジェスチャ記憶部３２８に記憶される情報が示すジェスチャとが異なるものであった場合である。また、対応すると判定されない場合は、例えば、撮像部１０１により被写体が撮像されていない、あるいは被写体がジェスチャを行っていないことなどにより、姿勢推定部３２１により姿勢推定がされていない場合である。

【0049】

なお、Ｓ５０５でＮＯの場合、被写体に対して、被写体の姿勢と操作確認用のジェスチャとが対応しないことを被写体に認識させるための情報を含む通知が行われる構成であってもよい。

【0050】

ここで、ユーザ（作業者）がシステムの動作確認を行う際の具体的な作業の一例について説明する。システムの動作確認を行う作業者は、システムが稼働している時、画像処理装置３００に接続されるモニタ上に写るＧＵＩを使用して、動作確認モードが実行されるように入力操作を行う。作業者は、撮像部１０１の撮像範囲内の任意の場所で、動作確認ジェスチャを実施し、通知部１０２から通知される情報を確認する。作業者は、通知部１０２により、作業者のジェスチャと動作確認用のジェスチャとが対応したことを認識させる情報が通知された場合は、システムが正常に動作していることがわかる。一方、作業者は、通知部１０２により、作業者のジェスチャと動作確認用のジェスチャとが対応したことを認識させる情報が通知されない場合は、システムは正常に動作していないことが分かる。以上述べた通り。動作確認の作業者は、システムの動作確認を少人数で簡単に実施することができる。

【0051】

ここで、動作確認の作業は、システムを設置した直後に実施されてもよいし、すでに運用中のシステムに対し、システムが正常に稼働するかどうかを点検するために実施されてもよい。すなわち、動作確認の作業者は、システムを設置する作業者であっても良いし、システムが設置されている施設の従業員であっても良い。

【0052】

以上が、画像処理装置３００が行う処理である。なお、Ｓ５０４でＮＯの場合、および、Ｓ５０５でＮＯの場合は、処理が終了するものとしたが、これに限定されない。例えば、Ｓ５０４でＮＯだった場合、一定時間内はＳ５０４の処理が再度行われる構成でもよい。同様に、Ｓ５０５でＮＯだった場合、一定時間内はＳ５０５の処理が再度行われる構成でもよい。また、Ｓ５０４およびＳ５０５でＮＯだった場合。一定時間内はＳ５０３に処理が戻る構成でもよい。また、一定時間内に処理が戻る構成の代わりに、ユーザにより画像処理装置３００の処理を終了させる指示の入力があった場合に、処理が終了する構成でもよい。

【0053】

また、本実施形態における画像処理装置３００における姿勢推定部３２２は、複数の撮像画像を取得してジェスチャを推定する構成としたが、これに限定されない。姿勢推定部３２２は、例えば、１枚の撮像画像における被写体の姿勢を推定する構成であってもよい。この場合、検出したい所定の姿勢に関する情報が、あらかじめジェスチャ記憶部３２５および動作確認ジェスチャ記憶部３２８に記憶される。ジェスチャ判定部３２６および動作確認ジェスチャ判定部３２７は、推定された姿勢と、あらかじめ記憶された所定の姿勢とを比較し、比較した結果に応じて通知部１０２を制御する。

【0054】

以上の構成により、システムのユーザは、システムの動作確認を容易に行うことができる。

【0055】

（第２の実施形態）
本実施形態においては、複数の通知部を制御する画像処理装置について説明する。図７は、本実施形態における画像処理装置のハードウェア構成を説明するための図である。なお、本実施形態における画像処理装置３００は、第１の実施形態における画像処理装置３００の構成に、通知部６０１およびインタフェース６１０が追加された構成である。また、本実施形態においては、各種プログラム２０４ａ、各種パラメータ２０４ｂ、および各種プログラム２０４ａと各種パラメータ２０４を使用して実行されるＣＰＵ２０１の動作が、第１の実施形態と異なる。以下では、第１の実施形態との相違点を中心に説明する。

【0056】

図６は、本実施形態に係るシステムの概要を説明するための図である。第１の実施形態との相違点は、通知部６０１が増設されている点である。また、本実施形態における２台の通知部１０２、６０１は店舗６００内で隣接せず、互いに離れた場所に設置されるものとする。図７は、本実施形態における画像処理装置３００のハードウェア構成を説明するための図である。本実施形態における画像処理装置３００は、第１の実施形態における画像処理装置３００の構成に、通知部６０１およびインタフェース６１０が追加される。

【0057】

図８は、本実施形態に係る画像処理装置３００の機能構成を説明するための図である。第１の実施形態との相違点は、増設された通知部６０１が画像処理装置３００に接続される点と、装置選択部８０１および装置記憶部８０２が追加された点である。装置選択部８０１は、ジェスチャ判定部３２６および動作確認ジェスチャ判定部３２７から得られる判定結果に応じて、複数の通知部の中からいずれの通知部を制御するかを選択する。装置記憶部８０２は、複数の通知部に関する情報を記憶する。通知部に関する情報は、例えば、それぞれの通知部を識別するためのＩＤ、および、通知部が設置される位置を示す情報などである。なお、通知部に関する情報はこれに限定されず、任意の情報が含まれていてもよい。

【0058】

装置選択部８０１は、姿勢推定部３２２により取得される姿勢推定情報に含まれる被写体の位置に関する情報と、装置記憶部８０２に記憶される通知部の位置を示す情報とを比較し、被写体の位置により近い位置に設置される通知部を選択する。図６の例では、被写体６１０に対して通知を行う場合、通知部１０２よりも通知部６０１の方が被写体６１０の近くに設置されているため、通知部６０１が選択される。これにより、被写体６１０のより近い位置から通知が行われるため、被写体６１０に対して情報が伝わりやすい。また、図６に示す状態において通知部１０２から通知がされた場合、ユーザは、装置記憶部８０２に記憶される情報を見直す必要があると判断することができる。

【0059】

なお、本実施形態において撮像部１０１が２台以上設置される場合、装置選択部８０１は、被写体がいずれの撮像部で撮像されたか、および、撮像画像における被写体の位置に基づいて、装置記憶部８０２に記憶される情報を参照し、通知部を選択する。また、本実施形態においては通知部が２台であるものとするが、３台以上あっても良い。

【0060】

図９は、本実施形態における画像処理装置３００が行う処理を説明するためのフローチャートである。第１の実施形態における画像処理装置３００が行う処理に加え、Ｓ１１００の処理が行われる。Ｓ１１００において、装置選択部８０１は、姿勢推定部３２２により取得される姿勢推定情報に含まれる被写体の位置に関する情報と、装置記憶部８０２に記憶される通知部の位置を示す情報とを比較し、被写体の位置により近い位置に設置される通知部を選択する。これにより、Ｓ５０８においては、Ｓ１１００において選択された通知部から通知がされるように制御される。

【0061】

ここで、ユーザ（作業者）がシステムの動作確認を行う際の具体的な作業の一例について説明する。システムの動作確認を行う作業者は、システムが稼働している時、画像処理装置３００に接続されるモニタ上に写るＧＵＩを使用して、動作確認モードが実行されるように入力操作を行う。作業者は、撮像部１０１の撮像範囲内の任意の場所で、動作確認ジェスチャを実施し、通知部１０２または通知部６０１から通知される情報を確認する。作業者は、所望の通知部により、作業者のジェスチャと動作確認用のジェスチャとが対応したことを認識させる情報が通知された場合は、システムが正常に動作していることがわかる。一方、作業者は、所望の通知部により、作業者のジェスチャと動作確認用のジェスチャとが対応したことを認識させる情報が通知されない場合は、システムは正常に動作していないことが分かる。以上述べた通り。動作確認の作業者は、複数の通知部を有するシステムの動作確認を少人数で簡単に実施することができる。

【0062】

（第３の実施形態）
本実施形態においては、動作確認モードにおいて行われる通知の列の例について説明する。本実施形態における画像処理装置３００のハードウェア構成および機能構成は、第１の実施形態と同様であるため説明を省略し、第１の実施形態と異なる点について説明する。

【0063】

図１０は、本実施形態におけるシステムの概要を説明するための図である。以下では、具体的な作業の一例を用いて画像処理装置の処理を説明する。図１０に示す例では、２人の動作確認の作業者９１０、９２０が存在する。作業者９１０，９２０は、動作確認モードにおいて、領域９１０および領域９１１でそれぞれ動作確認ジェスチャを実施する。姿勢推定部３２２は、それぞれの作業者の姿勢推定情報を取得し、記憶部に記憶させる。このとき、姿勢推定情報には、それぞれの作業者の位置の信頼度を示すスコア値が含まれる。

【0064】

ここで、本実施形態における位置の信頼度（スコア値）とは、撮像画像に基づいて姿勢推定部３２２が被写体の関節の位置を特定した際の、特定された位置がどれだけ確からしいかを表すパラメータである。スコア値は、例えば、撮像部と被写体との位置関係等により変化する。被写体が近くから撮像される場合は、被写体が遠くから撮像される場合と比較して、撮像画像から特定される被写体の位置の精度が高くなるため、スコア値も高くなる傾向がある。また、被写体が上から見下ろすように撮像される場合は、被写体が横から撮像される場合と比較して、位置の特定が困難となり、スコア値は低くなる傾向がある。また、撮像画像における被写体の背景によっても、スコア値が変化する。スコア値は、連続して撮像が行われる場合は時間に沿って複数取得される。

【0065】

次に、動作確認ジェスチャ判定部３２７は、動作確認作業者（９２０、９２１）が動作確認ジェスチャを行ったと判定した場合、判定結果と、姿勢推定情報に含まれるスコア値とを通知指示部３２９に通知する。通知指示部３２９は、作業者のジェスチャと動作確認ジェスチャとが対応したことを作業者に認識させる情報と、スコア値とを通知するように通知部１０２を制御する。通知されるスコア値は、例えば、時間の経過とともに複数出力される指定推定情報のスコア値の平均値、中央値、および最大値と最小値などである。また、例えば、複数のスコア値に基づいて取得されるジェスチャの信頼度を表す値が通知されてもよい。また、姿勢推定情報に含まれるスコア値そのものが通知されてもよい。このように、通知される情報は、動作確認の作業者が行ったジェスチャの推定精度が分かる値であればよい。

【0066】

上述した構成によれば、ジェスチャが行われる場所に応じて、異なる信頼度の情報が得られる。例えば高価な商品が置いてある場所は、被写体の不審な行動が確実に検出されるように、姿勢推定の精度がより高い方が望ましい。動作確認モードにおいてスコア値が通知されることにより、作業者は、動作確認ジェスチャを行った場所において、ジェスチャの推定精度を認識することができる。これにより、作業者は所望の推定精度が得られているかを確認することができる。また、作業者は、仮に所望の推定精度が得られていない場合は、撮像部の位置、向き、撮像パラメータなどを修正する必要があると判断することができる。

【0067】

なお、本実施形態においては、作業者が二人である例について説明したが、作業者は１人であってもよく、その場合は、作業者が異なる位置に移動し、それぞれの場所でジェスチャを行う構成となる。また、作業者は３人以上であってもよい。

【0068】

また、本実施形態においては、姿勢推定部３２２により特定される被写体の位置の信頼度としてスコア値が通知される構成としたが、これに限定されない。画像処理装置３００は、例えば、姿勢推定によって判定されるジェスチャの確率を取得し、取得したジェスチャの確率を通知部に通知させるように制御してもよい。ジェスチャの確率とは、例えば、被写体が行ったジェスチャが所定の動作である確率である。画像処理装置３００は、例えば、被写体が腕を上げ下げする動作を行った場合に、姿勢推定を行い、ジェスチャの確率として「腕を上げ下げする動作である確率が９０％である」と通知されるように制御する。これにより、被写体は、自分の行ったジェスチャが高い精度で検出されたことを認識することができる。また例えば、被写体が腕を上げ下げする動作を行った場合に「腕を上げ下げする動作である確率が５０％である」、あるいは「首を振る動作である確率が９０％である」のように通知されたとする。この場合、被写体は、自分の行ったジェスチャが適切に検出されていないと判断し、システムの調整、修正を行う必要があると判断することができる。

【0069】

（第４の実施形態）
本実施形態においては、動作確認に使用された情報を記録する画像処理装置について説明する。本実施形態における画像処理装置３００のハードウェア構成は第１の実施形態と同様であるため、説明を省略する。

【0070】

図１１は、本実施形態におけるがｚ峰処理装置３００の機能構成を説明するための図である。他の実施形態と同様の機能構成については、同じ符号を付し、説明を省略する。本実施形態における画像処理装置３００は、画像記録部１０００、姿勢推定情報記録部１００１、動作確認ジェスチャ記録部１００２、記録指示部１００３、および、再生指示部１００４を有する。

【0071】

画像記録部１０００は、画像取得部３２１において撮像部１０１から取得された撮像画像を記録する。姿勢推定情報記録部１００１は、撮像画像に基づいて姿勢推定部３２２により取得される、被写体の姿勢推定情報を記録する。動作確認ジェスチャ記録部１００２は、姿勢推定情報に基づいて動作確認ジェスチャ判定部３２７がジェスチャの判定を行った際の判定結果の情報を記録する。

【0072】

なお、画像記録部１０００、姿勢推定情報記録部１００１、および、動作確認ジェスチャ記録部１００２は、それぞれのデータを、ＨＤＤ２０４に記録する。ただしデータの記録先はこれに限定されず、画像処理装置３００に接続され、書き込み可能な記録媒体であればなんでもよく、例えば、外部記憶装置２２２、および記録ディスク２３１であってもよい。

【0073】

記録指示部１００３は、画像記録部１０００、姿勢推定情報記録部１００１、および、動作確認ジェスチャ記録部１００２に対し、記録の開始または終了を指示する。記録指示部１００３は、外部から信号が入力されることによって記録の開始または終了が行われるように制御する。外部からの信号の入力は、例えば、キーボード、マウス、ボタンなどを使用して行われてもよいし、表示部３５１に表示されるＧＵＩを操作することにより行われてもよい。また、例えば、記録開始または終了の指示用のジェスチャに関する情報があらかじめ記憶部に記憶され、被写体のジェスチャと指示用のジェスチャとが対応した場合に記録が開始または記録が終了する構成であってもよい。

【0074】

再生指示部１００４は、画像記録部１０００、姿勢推定情報記録部１００１、および、動作確認ジェスチャ記録部１００２が記録したデータを読み込み、表示指示部３５０に対してデータの再生を指示する。表示指示部３５０は、再生指示部１００４により再生を指示されたデータを表示部３５１に表示させる。ここで、データの表示方法は、例えば、画像記録部１０００により記録された画像データと、姿勢推定情報記録部１００１および動作確認ジェスチャ記録部１００２により記録されたデータとを合わせて表示する。このとき、例えば、画像データ上に姿勢推定情報とジェスチャの判定結果を示す情報を重畳して表示してもよい。なお、表示方法はこれに限定されない。例えば、姿勢推定情報とジェスチャの判定結果が画像データとは別に表示されてもよいし、姿勢推定情報とジェスチャの判定結果の生データとして数値が表示されてもよい。

【0075】

ここで、実際に行われるシステムの動作確認作業の一例について説明する。システムの動作確認を行う作業者は、システムを動作確認モードに切り替える。次に、作業者は、表示部３５１に表示されるＧＵＩ上のボタンを用いて、記録指示部１００３を経由し、画像記録部１０００、姿勢推定情報記録部１００１、および動作確認ジェスチャ１００２に記録開始の指示を出す。作業者は、動作確認ジェスチャを行うなどの動作確認作業を行う。作業者は、動作確認作業が終了した場合、表示部３５１に表示されるボタンを用いて、記録指示部１００３を経由し、全ての記録を終了させる指示を出す。

【0076】

作業者は、表示部３５１に表示されるボタンを用いて、記録再生指示部１０２４を経由し、記録したデータを再生するように指示する。画像処理装置３００は、記録したデータを表示部３５１に表示させる。作業者は、表示部３５１に表示される内容を確認し、システムが適切に動作しているかを確認する。以上述べたように、本実施形態によれば、作業者は動作確認作業後に動作確認結果を視覚的に確認することができる。

【0077】

なお、本実施形態においては、ユーザ（作業者）からの入力に応じて記録の開始または終了が指示される構成としたが、これに限定されない。例えば、動作確認モードに切り替わると記録が開始され、動作確認モードが終了する（通常稼働モードに切り替わる）と記録が終了する構成であってもよい。また、記録および表示されるデータは、撮像画像、姿勢推定情報および判定結果のうち、任意の情報のみであってもよいし、さらに他の情報が含まれていてもよい。また、判定結果は、被写体が行うジェスチャと動作確認用のジェスチャとが対応するかを被写体が認識可能な情報であれば、形式は限定されない。

【0078】

本開示は、以下の画像処理装置、画像処理方法、および、プログラムを含む。

【0079】

（項目１）
１以上の撮像装置により撮像される撮像画像を取得する取得手段と、
前記撮像画像における被写体の姿勢を推定する推定手段と、
前記推定手段により推定される前記被写体の連続する姿勢と所定の連続する姿勢とが対応したことに応じて、第１の通知が行われるように通知手段を制御する第１の動作モードと、前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と前記所定の連続する姿勢よりも少ない姿勢により構成される所定の１又は複数の連続する姿勢とが対応したことに応じて、前記被写体に対して第２の通知が行われるように前記通知手段を制御する第２の動作モードとのうち、いずれかの動作モードを実行する制御手段と
を有することを特徴とする画像処理装置。

【0080】

（項目２）
ユーザによる入力を受信する受信手段を有し、
前記制御手段は、前記受信手段により受信された入力に基づいて、いずれの動作モードを実行するかを決定することを特徴とする項目１に記載の画像処理装置。

【0081】

（項目３）
前記制御手段は、前記第１の動作モードおよび前記第２の動作モードのうち一方の実行中に、前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と、前記所定の連続する姿勢および前記所定の１又は複数の連続する姿勢とは異なる他の１又は複数の連続する姿勢とが対応した場合、実行する動作モードを切り替えることを特徴とする項目１又は２に記載の画像処理装置。

【0082】

（項目４）
前記制御手段は、
前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応しない場合は前記第１の動作モードを実行し、
前記推定手段により推定される前記被写体の連続する姿勢と前記所定の連続する姿勢とが対応する場合は前記第２の動作モードを実行する
ことを特徴とする項目１または２に記載の画像処理装置。

【0083】

（項目５）
前記第２の動作モードが実行されないように制御する処理手段を有することを特徴とする項目１乃至４のいずれか１項目に記載の画像処理装置。

【0084】

（項目６）
前記制御手段は、複数の通知手段を制御することを特徴とする項目１乃至５のいずれか１項目に記載の画像処理装置。

【0085】

（項目７）
前記複数の通知手段のうち、前記制御手段により制御される通知手段を選択する選択手段を有し、
前記制御手段は、前記複数の通知手段のうち前記選択手段により選択される通知手段を制御する
ことを特徴とする項目６に記載の画像処理装置。

【0086】

（項目８）
前記選択手段は、前記制御手段により制御される通知手段を、前記被写体の位置と前記複数の通知手段の位置とに基づいて選択することを特徴とする項目７に記載の画像処理装置。

【0087】

（項目９）
前記推定手段は、前記撮像画像における前記被写体の位置に関する情報に基づいて、前記被写体の姿勢を推定することを特徴とする項目１乃至８のいずれか１項目に記載の画像処理装置。

【0088】

（項目１０）
前記推定手段は、前記撮像画像に基づいて前記被写体の位置に関する情報を取得し、
前記制御手段は、前記第２の動作モードにおいて、前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応したことに応じて、前記推定手段により取得される前記被写体の位置に関する情報を含む前記第２の通知が行われるように前記通知手段を制御する
ことを特徴とする項目９に記載の画像処理装置。

【0089】

（項目１１）
前記被写体の位置に関する情報は、前記被写体の関節の位置を示すパラメータを含むことを特徴とする項目９または１０に記載の画像処理装置。

【0090】

（項目１２）
前記被写体の位置に関する情報は、前記撮像画像に基づいて特定される前記被写体の位置の信頼度を表すパラメータを含むことを特徴とする項目９乃至１１のいずれか１項目に記載の画像処理装置。

【0091】

（項目１３）
前記第１の通知は、前記被写体に対する警告、および、前記被写体の連続する姿勢と前記所定の連続する姿勢とが対応したことをユーザに認識させるための通知、のうち少なくとも一方を含むことを特徴とする項目１乃至１２のいずれか１項目に記載の画像処理装置。

【0092】

（項目１４）
前記第２の通知は、前記被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応したことを前記被写体に認識させるための通知を含むことを特徴とする項目１乃至１３のいずれか１項目に記載の画像処理装置。

【0093】

（項目１５）
前記制御手段は、前記第２の動作モードにおいて、前記推定手段により推定される被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応しない場合、前記被写体に対して、前記被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応しないことを前記被写体に認識させるための情報を含む第３の通知が行われるように前記通知手段を制御することを特徴とする項目１乃至１４のいずれか１項目に記載の画像処理装置。

【0094】

（項目１６）
前記制御手段は、表示装置及び音声を出力する出力装置のうち少なくともいずれかを含む前記通知手段を制御することを特徴とする項目１乃至１５のいずれか１項目に記載の画像処理装置。

【0095】

（項目１７）
前記取得手段により取得される撮像画像、前記推定手段により推定される前記被写体の姿勢の推定結果に関する情報、および、前記推定手段により推定される前記被写体の１又は複数の連続する姿勢と前記所定の１又は複数の連続する姿勢とが対応するかを認識可能な情報のうち、少なくともいずれかを記憶手段に記録する記録手段を有することを特徴とする項目１乃至１６のいずれか１項目に記載の画像処理装置。

【0096】

（項目１８）
前記所定の連続する姿勢に関する情報は、前記被写体に開示されないことを特徴とする項目１乃至１７のいずれか１項目に記載の画像処理装置。

【0097】

（項目１９）
１以上の撮像装置により撮像される撮像画像を取得する取得工程と、
前記撮像画像における被写体の姿勢を推定する推定工程と、
前記推定工程において推定される前記被写体の連続する姿勢と所定の連続する姿勢とが対応したことに応じて、第１の通知が行われるように通知手段を制御する第１の動作モードと、前記推定工程において推定される前記被写体の１又は複数の連続する姿勢と前記所定の連続する姿勢よりも少ない姿勢により構成される所定の１又は複数の連続する姿勢とが対応したことに応じて、前記被写体に対して第２の通知が行われるように前記通知手段を制御する第２の動作モードとのうち、いずれかの動作モードを実行する制御工程と
を有することを特徴とする画像処理方法。

【0098】

（項目２０）
コンピュータを、項目１乃至１８のいずれか１項目に記載の画像処理装置として機能させるためのプログラム。

【0099】

（その他の実施形態）
上述した各実施形態は、任意の実施形態を組み合わせて実施されてもよい。

【0100】

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0101】

３００ 画像処理装置
３２１ 画像取得部
３２２ 姿勢推定部
３２３ 動作モード切り替え部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】