特許 7419090 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240115BHJP

   G08B 25/00 20060101ALI20240115BHJP

   G06T 7/20 20170101ALI20240115BHJP

   G06Q 30/06 20230101ALI20240115BHJP

【ＦＩ】

H04N7/18 D

G08B25/00 510M

G06T7/20 300Z

G06Q30/06

H04N7/18 U

【請求項の数】 10

(21)【出願番号】P 2020018796

(22)【出願日】2020-02-06

(65)【公開番号】P2021125817

(43)【公開日】2021-08-30

【審査請求日】2022-12-27

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】藤原 裕也

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１３－０４５３４４（ＪＰ，Ａ）

【文献】特開２００９－２４６７９９（ＪＰ，Ａ）

【文献】特許第６５６２４３７（ＪＰ，Ｂ１）

【文献】特開２０１７－００４３２０（ＪＰ，Ａ）

【文献】特開２００８－２１７２０５（ＪＰ，Ａ）

【文献】国際公開第２０１９／２２０５８９（ＷＯ，Ａ１）

【文献】特開２０１１－１９２１５７（ＪＰ，Ａ）

【文献】特開２０１６－０２１１８２（ＪＰ，Ａ）

【文献】特開２０１０－２４４５７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

Ｇ０６Ｔ ７／２０

Ｇ０６Ｑ ３０／００

(57)【特許請求の範囲】

【請求項1】

店舗内を撮像する撮像装置によって撮像された画像データを取得する取得手段と、
前記画像データを解析して、前記店舗内の人物の不審行動を検出する検出手段と、
前記検出手段によって検出された前記不審行動をする人物を登録する設定手段と、
前記検出手段によって検出された前記不審行動が、前記不審行動の変化に関する所定の条件を満たすか否かを判定するとともに、前記所定の条件を満たすと判定した場合に、前記不審行動をする人物を要注意人物として登録し、前記所定の条件を満たしていないと判定した場合に、前記設定手段によって登録された前記不審行動をする人物を削除する判定手段と、
を有し、
前記設定手段は、登録された前記不審行動をする人物に対して削除された回数をカウントし、
前記判定手段は、前記削除された回数が所定の閾値以上になった場合に、前記不審行動をする人物を前記要注意人物として登録する
ことを特徴とする画像処理装置。

【請求項2】

前記所定の条件が、前記不審行動をする人物の周囲の状況に応じて停止したことであることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記設定手段は、登録されている前記不審行動をする人物のする前記不審行動に対して、前記判定手段によって前記所定の条件を満たすと判定された回数をカウントし、
前記判定手段は、前記判定された回数が所定の閾値以上になった場合に、前記不審行動をする人物を前記要注意人物として登録することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記検出手段は、前記画像データの人物の頭部の向きの変化に基づいて人物の首振り量を取得して、前記首振り量が所定の閾値以上である場合に、前記不審行動として検出することを特徴とする請求項１乃至３何れか１項に記載の画像処理装置。

【請求項5】

前記所定の条件が、前記不審行動をする人物の周囲に発生した所定のイベントに応じて変化したことであることを特徴とする請求項１乃至４何れか１項に記載の画像処理装置。

【請求項6】

前記所定のイベントが、前記不審行動をする人物とは異なる他の人物に関連することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記所定のイベントが、警告音又は警告を通知する音声が発せられたことを特徴とする請求項５又は６に記載の画像処理装置。

【請求項8】

前記所定のイベントが、警告を通知する表示がされたことを特徴とする請求項５乃至７何れか１項に記載の画像処理装置。

【請求項9】

店舗内を撮像する撮像装置によって撮像された画像データを取得する取得ステップと、
前記画像データを解析して、前記店舗内の人物の不審行動を検出する検出ステップと、
前記検出ステップによって検出された前記不審行動をする人物を登録する設定ステップと、
前記検出ステップによって検出された前記不審行動が、前記不審行動の変化に関する所定の条件を満たすか否かを判定するとともに、前記所定の条件を満たすと判定した場合に、前記不審行動をする人物を要注意人物として登録し、前記所定の条件を満たしていないと判定した場合に、前記設定ステップによって登録された前記不審行動をする人物を削除する判定ステップと、
を含み、
前記設定ステップでは、登録された前記不審行動をする人物に対して削除された回数をカウントし、
前記判定ステップでは、前記削除された回数が所定の閾値以上になった場合に、前記不審行動をする人物を前記要注意人物として登録する
ことを特徴とする画像処理方法。

【請求項10】

請求項１乃至８何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、小売店舗や大規模な商業店舗といった様々な施設における万引き被害が深刻化しており、これらの被害を軽減したいという店舗側のニーズがある。このようなニーズに対して、監視カメラで撮影した映像をリアルタイムで解析して万引きの疑いがある人物を検出する技術がある。特許文献１には、カメラで撮影した映像データから人物の位置、向き、視線方向等の特徴値を抽出し、それらの特徴値を分析して万引きの疑いがある人物を検出することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－２１３２２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、客が店員を見たことを検知することで万引きの疑いがある人物を検出している。そのため、万引きしていない人物が検出されてしまうケースが発生する可能性がある。

【0005】

本発明は、店舗内の不審な人物を精度よく見つけ出すことを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、店舗内を撮像する撮像装置によって撮像された画像データを取得する取得手段と、前記画像データを解析して、前記店舗内の人物の不審行動を検出する検出手段と、前記検出手段によって検出された前記不審行動をする人物を登録する設定手段と、前記検出手段によって検出された前記不審行動が、前記不審行動の変化に関する所定の条件を満たすか否かを判定するとともに、前記所定の条件を満たすと判定した場合に、前記不審行動をする人物を要注意人物として登録し、前記所定の条件を満たしていないと判定した場合に、前記設定手段によって登録された前記不審行動をする人物を削除する判定手段と、を有し、前記設定手段は、登録された前記不審行動をする人物に対して削除された回数をカウントし、前記判定手段は、前記削除された回数が所定の閾値以上になった場合に、前記不審行動をする人物を前記要注意人物として登録する。

【発明の効果】

【0007】

店舗内の不審な人物を精度よく見つけ出すことができる。

【図面の簡単な説明】

【0008】

【図1】店舗の模式図である。

【図2】画像処理装置及び撮像装置の機能及び構成を示すブロック図である。

【図3】第１の実施形態に係る画像処理装置のハードウェア構成を示す図である。

【図4】第１の実施形態に係る登録処理を示すフローチャートである。

【図5】店舗内で不審行動をする客を説明する図である。

【図6】店舗内で不審行動をする客を説明する図である。

【図7】店舗内で不審行動をする客を説明する図である。

【図8】第２の実施形態に係る登録処理を示すフローチャートである。

【図9】第３の実施形態に係る登録処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本発明の好適な実施形態について説明する。

【0010】

＜第１の実施形態＞
図１は、店舗１００を模式的に示す図である。本実施形態において店舗１００には、客が出入りする店舗出入口１０１と、店員や客が清算を行うレジ１０２と、所定の間隔を隔てて設けられた商品棚１０３，１０４，１０５が配置されている。店舗１００内には客１０６がいる。加えて、店舗１００には店舗１００内を撮影する複数の監視カメラ１１０，１１１，１１２，１１３が設置されている。監視カメラ１１０～１１３の画像データが画像処理装置２０１によって解析されることにより、客１０６の不審行動が検出される。なお店舗１００内に設定される監視カメラ１１０～１１３の台数は、１台であっても複数台であってもよい。また監視カメラ１１０～１１３として、ネットワークカメラや、撮影機能を備えた端末装置等を用いてもよい。

【0011】

図２は、画像処理装置２０１及び撮像装置２０２の機能及び構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。従って、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

【0012】

画像処理装置２０１は、監視カメラ１１０～１１３等の撮像装置２０２とインターネット等のネットワーク（不図示）を介して接続される。撮像装置２０２は撮影した画像データを画像処理装置２０１に送信する。
画像処理装置２０１は、撮像装置２０２から画像データを取得する画像取得部２０３と、画像データから人物の不審行動を検出する検出部２０４と、画像処理装置２０１の各種動作設定を行う設定部２０５と、検出部２０４で検出した不審行動が継続しているか否か判定する判定部２０６と、不審行動をする人物の情報を記憶する記憶部２０７を有する。以下、画像処理装置２０１の各構成部について詳細に説明する。

【0013】

画像取得部２０３は撮像装置２０２で撮影した映像を画像データとして取得する。画像取得部２０３が取得手段に相当する。本実施形態において画像取得部２０３は撮像装置２０２から直接的に撮像装置２０２で撮影された画像データを取得しているが、撮像装置２０２から間接的に撮像装置２０２で撮影された画像データを取得してもよい。例えば画像取得部２０３は中継装置を介して画像データを取得してもよいし、録画済みの画像を蓄積したストレージ装置（不図示）から画像データを取得してもよい。また本実施形態では撮像装置２０２を画像処理装置２０１の外部の装置としているが、撮像装置２０２が画像取得部２０３と一体的に構成されて、画像処理装置２０１が内部に撮像装置２０２を有してもよい。

【0014】

検出部２０４は画像取得部２０３で取得された画像データを解析して不審行動を検出する。検出部２０４が検出手段に相当する。本実施形態において検出部２０４は画像データに基づいて不審行動をする人物を検出する。不審行動は様々に定義できるが、例えば自分の周りを必要以上に気にして見渡す行動である。この場合は、画像解析により人体及び頭部の向きを検出し、向きの変化から首振り状況を推定し、この首振り状況に基づく首振り量が規定値以上である場合に、不審行動として検出する等の方法がある。なお不審行動を検出する方法はこの方法に限られない。本実施形態では首振り動作を不審行動とした場合を想定して説明する。

【0015】

設定部２０５は検出部２０４で不審行動が検出された場合に、不審行動をする人物を記憶部２０７に登録する。また設定部２０５は、不審行動をする人物が要注意人物であるか否かを判定するための条件を設定する。設定部２０５が設定手段に相当する。判定するための条件とは、不審行動を決定するための所定の条件や、判定する際に用いられる各種の規定値等である。ここで判定するための条件は、１つであってもよいし、複数であってもよい。なお判定するための条件はユーザによって設定可能である。

【0016】

判定部２０６は設定部２０５で設定された条件を満たすか否かを判定するとともに、設定された条件を満たす場合、設定部２０５で登録された不審行動をする人物を要注意人物として記憶部２０７に登録する。一方で、判定部２０６は設定された条件を満たさない場合、設定部２０５で登録された不審行動をする人物を削除する。判定部２０６が判定手段に相当する。
記憶部２０７は、設定部２０５で登録された不審行動をする人物の情報、判定部２０６で設定された条件を満たすと判定された回数、設定部２０５で登録された不審行動をする人物に対して判定部２０６で削除された回数、判定部２０６で登録された要注意人物の情報等を記憶する。

【0017】

図３は、図２の画像処理装置２０１のハードウェア構成の一例を示す図である。画像処理装置２０１は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ハードディスクドライブ（ＨＤＤ）３０４と、ディスクドライブ３０５と、ネットワークインタフェース３０６と、入力装置３０７と、表示デバイス３０８とを有する。

【0018】

ＣＰＵ３０１は、画像処理装置２０１を統括制御する制御装置である。ＲＯＭ３０２は、ＣＰＵ３０１が画像処理装置２０１を制御するためのプログラムを記憶する。なお、ＲＯＭ３０２に代えて、２次記憶装置が設けられてもよい。ＲＡＭ３０３は、ＣＰＵ３０１がＲＯＭ３０２から読み出したプログラムを展開し、処理を実行するためのメモリである。またＲＡＭ３０３は、各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。ＨＤＤ３０４は画像データを格納する。

【0019】

ＣＰＵ３０１は、ＨＤＤ３０４から画像データを読み出す。なおＣＰＵ３０１が画像データをディスクドライブ３０５又はネットワークインタフェース３０６から取得する場合には、ＨＤＤ３０４は設けなくてもよい。ディスクドライブ３０５は、ＣＤ、ＤＶＤ、ブルーレイディスク、又はフレキシブルディスク内の画像データを読み出し、ＣＰＵ３０１はディスクドライブ３０５を介して画像データを取得する。なお、ＣＰＵ３０１が画像データをＨＤＤ３０４又はネットワークインタフェース３０６から取得する場合には、ディスクドライブ３０５は設けなくてもよい。

【0020】

ネットワークインタフェース３０６は、ネットワーク３１１に接続されており、ネットワーク３１１を介して通信を行う回路である。ＣＰＵ３０１はネットワーク３１１を介して画像データを取得する。ＣＰＵ３０１はネットワーク３１１を介して外部の警告装置に指示を送信する。表示デバイス３０８は、画像や領域枠を表示するディスプレイ等のデバイスである。入力装置３０７は、数値入力用のキーボード、表示デバイス３０８の表示領域の表示位置を指示するためのポインティングデバイス、マウス、及びタッチパネル等を有する。

【0021】

以上のように、画像処理装置２０１のハードウェア構成は、一般的なＰＣ（パーソナルコンピュータ）に搭載されるハードウェア構成要素と同様のハードウェア構成要素を有している。そのため、画像処理装置２０１で実現される各種機能を、ＰＣ上で動作するソフトウェアとして実装することが可能である。画像処理装置２０１は、ＣＰＵ３０１がＲＯＭ３０２に格納されるプログラムを実行することにより、画像処理装置２０１の種々の機能及び後述するフローチャートの処理を実現することができる。

【0022】

（登録処理）
図４は、第１の実施形態に係る画像処理装置２０１が撮像装置２０２で撮像された画像データを解析して不審行動をする人物を検出し、検出した人物を要注意人物として登録するための登録処理を示すフローチャートである。図４に示す処理は、画像処理装置２０１の画像取得部２０３が画像データの取得を開始した場合にスタートする。以下、図１の模式図を用いて説明する。

【0023】

ステップＳ４０１において、画像取得部２０３が、監視カメラ１１２から画像データを取得して、検出部２０４が、画像データを解析し、図１の客１０６の不審行動を検出したか否かを判定する。例えば、検出部２０４が、客１０６の首振り動作を検出したか否かを判定する。検出部２０４は客１０６の不審行動が検出されるまで待機する。検出部２０４が客１０６の不審行動を検出したと判定した場合、処理はステップＳ４０２に進む。
ステップＳ４０２において、設定部２０５が、ステップＳ４０１で検出された不審行動をした客１０６の情報を記憶部２０７に登録する。客１０６の情報とは、例えば氏名、住所、電話番号等の個人情報、顔、髪型、服装、身長等の外見の情報、および日時、位置の情報である。

【0024】

ステップＳ４０３において、判定部２０６が、ステップＳ４０２で登録された客１０６の不審行動が、不審行動を決定する条件を満たすか否かを判定する。本実施形態において不審行動を決定する条件とは、客１０６の周囲の状況に応じて、客１０６の不審行動が停止したことである。具体的には、画像データを解析して、客１０６が周囲の状況（人、音、又は光による変化）を認識したことに応じて不審行動をやめたか否かを判定する。客１０６が周囲の状況を認識したこととは、例えば客１０６の顔の向きの変化によって検出される。
なお判定部２０６は、客１０６の不審行動が停止したか否かを判定することに限られず、客１０６の不審行動が変化したか否かを判定してもよい。またステップＳ４０１で不審行動が検出されてから所定の時間内に、客１０６の不審行動が停止したか否かを判定してもよい。判定部２０６が客１０６の不審行動が停止した（客１０６が不審行動をやめた）と判定した場合、条件を満たすとして、処理はステップ４０４へ進む。判定部２０６が客１０６の不審行動が継続していると判定した場合、条件を満たしていないとして、処理はステップＳ４０１に戻る。

【0025】

ステップＳ４０４において、設定部２０５が、ステップＳ４０２で登録された客１０６が不審行動をやめた回数をカウントして記憶部２０７に記憶する。
ステップＳ４０５において、判定部２０６が、ステップＳ４０２で登録された客１０６が、要注意人物を決定するための条件を満たすか否かを判定する。本実施形態において要注意人物を決定する条件とは、不審行動をやめた回数が所定の規定値以上であることである。即ち、判定部２０６が、記憶部２０７に記憶される不審行動をやめた回数が所定の規定値以上であるか否かを判定する。判定部２０６が所定の規定値以上であると判定した場合、条件を満たすとして、処理はステップＳ４０６へ進む。判定部２０６が所定の規定値未満であると判定した場合、条件を満たしていないとして、処理はステップＳ４０１に戻る。

【0026】

ステップＳ４０６において、判定部２０６が、ステップＳ４０２で登録された客１０６の情報を要注意人物として記憶部２０７に登録する。そして一連の処理が終了する。
なおステップＳ４０３で、判定部２０６が、ステップＳ４０２で登録された客１０６の不審行動が、不審行動を決定する条件を満たすと判定した場合、客１０６の情報を要注意人物として記憶部２０７に登録してもよい。この場合はステップＳ４０４及びＳ４０５の処理は不要となる。

【0027】

以上説明したように、第１の実施形態の画像処理装置２０１及び撮像装置２０２によれば、不審行動をする客１０６が周囲の状況で不審行動をやめたか否かが判定される。更に不審行動をやめた回数が、所定の規定値以上である場合に、不審行動をする客１０６が要注意人物として登録される。これにより、単に商品を探すためにきょろきょろしているだけで、万引き等を行う意思のない客１０６が誤検出される恐れが低減される。即ち、店員や警備員の声掛け等の手間が軽減されて、円滑な業務遂行が実現される。一方で、万引き等を行う意思を持っているが、周囲にいる人物を警戒して不審行動をやめた要注意人物を検出することができる。即ち、犯罪を行う可能性が高い要注意人物に対して店員が声掛けをする等、犯罪を未然に防止するための対策を講じることが可能となる。

【0028】

＜第２の実施形態＞
以下、図５～図８を参照して、第２の実施形態に係る画像処理装置２０１及び撮像装置２０２について説明する。上述の第１の実施形態では、不審行動を決定する条件が、客１０６の周囲の状況に応じて、客１０６の不審行動が停止したことであった。一方で、第２の実施形態では、不審行動を決定する条件が、客の周囲に発生した所定のイベントに応じて不審行動が変化したことである。第２の実施形態は、主にこの点で第１の実施形態とは異なる。そこで以下、第１の実施形態との相違点を中心に説明する。第２の実施形態のハードウェア構成及びソフトウェア構成は、第１の実施形態に係る画像処理装置２０１及び撮像装置２０２と同様である。従って、第１の実施形態と同様の部分については同じ符号を用いてその説明を省略する。

【0029】

以下、図５～図７を用いて、客の周囲に発生した所定のイベントに応じて不審行動が変化することについて説明する。図５は不審行動をする客５０２の近くに人がいる場合の模式図である。監視カメラ５０３で検出した不審行動をする客５０２の付近に人物５０１が位置している。人物５０１の位置は少なくとも客５０２から直接見える場所の範囲内である。ここで、人物５０１は店員又は他の客であってもよいし、ドローン、又は案内ロボットのように遠隔操作又は自律動作可能な装置であってもよい。図５のような状況で、判定部２０６は、客５０２の不審行動が客５０２の付近に位置する人物５０１に関連して変化するか否かを判定する。

【0030】

図６は不審行動をする客６０２に対して店内放送をする場合の模式図である。監視カメラ６０３で検出した不審行動をする客６０２に聞こえる位置のスピーカ６０１により、音声による放送を行う。例えば、画像処理装置２０１のＣＰＵ３０１がネットワーク３１１を介してスピーカ６０１に指示を送信し、スピーカ６０１が警告音又は警告を通知する音声を発する。スピーカ６０１が警告音又は音声を発するタイミングとしては、例えば検出部２０４が客６０２の不審行動を検出したタイミングである。図６のような状況で、判定部２０６は、客６０２の不審行動がスピーカ６０１からの放送によって変化するか否かを判定する。

【0031】

図７は不審行動をする客に対して店内表示をする場合の模式図である。監視カメラ７０３で検出した不審行動をする客７０２が目視できる位置に設置されている表示装置７０１に注意、警告等の表示を行う。表示装置７０１は、液晶等の電子デバイスでもよいし、差し替え可能な紙媒体等による掲示でもよく、表示を変更可能なものであればよい。例えば、画像処理装置２０１のＣＰＵ３０１がネットワーク３１１を介して表示装置７０１に指示を送信し、表示装置７０１が表示を行う。または、画像処理装置２０１の表示デバイス３０８が表示を行ってもよい。表示装置７０１が表示を行うタイミングとしては、例えば検出部２０４が客７０２の不審行動を検出したタイミングである。図７のような状況で、判定部２０６は、客７０２の不審行動が表示装置７０１の表示によって変化するか否かを判定する。

【0032】

（登録処理）
図８は、第２の実施形態に係る登録処理を示すフローチャートである。図８に示す処理は、画像処理装置２０１の画像取得部２０３が画像データの取得を開始した場合にスタートする。以下、図５の模式図を用いて説明する。
まずステップＳ８０１、Ｓ８０２において、図４のステップＳ４０１、Ｓ４０２と同様の処理が実行される。ステップＳ８０１では、監視カメラ５０３で撮影された画像データから客５０２の不審行動が検出される。ステップＳ８０２では、記憶部２０７に客５０２の情報が登録される。

【0033】

次にステップＳ８０３において、判定部２０６が、ステップＳ８０２で登録された客５０２の不審行動が客５０２の周囲に発生した所定のイベントに応じて変化したか否かを判定する。ここでは、監視カメラ５０３で撮影された画像データを解析し、客５０２が人物５０１を目視したと認識した場合に、不審行動をする客５０２の行動が変化するか否かを判定する。行動が変化するとは、客５０２の不審行動が停止する、客５０２の顔の向きが変化する、客５０２の位置が変化する等である。例えば、客５０２の首振り動作の変化に基づいて、不審行動をする客５０２の行動が変化するか否かを判定してもよい。判定部２０６が不審行動が変化したと判定した場合、処理はステップＳ８０４へ進む。判定部２０６が不審行動が継続していると判定した場合、処理はステップＳ８０５へ進む。

【0034】

ステップＳ８０４において、判定部２０６が、ステップＳ８０２で登録された客５０２の情報を要注意人物として記憶部２０７に登録する。そして一連の処理が終了する。
一方でステップＳ８０５において、判定部２０６が、ステップＳ８０２で登録された客５０２の情報を削除する。そして一連の処理が終了する。

【0035】

以上、図８のフローチャートを図５の模式図を用いて説明した。一方で、図８のステップＳ８０３の処理を、所定のイベントに応じて変更することで、図６及び図７の模式図で示す状況についても説明可能である。
以下、図６の場合に、図８のフローチャートのステップＳ８０３で実行される処理について説明する。この場合、監視カメラ６０３で撮影された画像データを解析し、スピーカ６０１により放送を再生した場合に、不審行動をする客６０２の行動が変化するか否かを判定する。行動が変化するとは、上述のステップＳ８０３に記載されている内容と同様である。放送の内容は、店員や警備員に警戒を指示する内容でもよいし、客６０２に対して万引きのアナウンス又は警告する内容でもよい。また放送する方法は予め録音した音声を再生する方法でもよいし、その場でマイクを使用して通話する方法でもよい。

【0036】

以下、図７の場合に、図８のフローチャートのステップＳ８０３で実行される処理について説明する。この場合、監視カメラ７０３で撮影された画像データを解析し、表示装置７０１の表示を変更した場合に、不審行動をする客７０２の行動が変化するか否かを判定する。行動が変化するとは、上述のステップＳ８０３に記載されている内容と同様である。表示の内容は、店員や警備員が警戒しているといった内容でもよいし、客７０２に対して万引きに対する案内又は警告する内容でもよい。

【0037】

以上説明したように、第２の実施形態の画像処理装置２０１及び撮像装置２０２によれば、上述の第１の実施形態と同様の効果が得られるとともに、不審行動をする人物の行動が店舗内の様々な状況に応じて変化することを用いて、不審な人物をさらに精度よく見つけ出すことができる。

【0038】

＜第３の実施形態＞
以下、図９を参照して、第３の実施形態に係る画像処理装置２０１及び撮像装置２０２について説明する。上述の第２の実施形態では、不審行動を決定する条件が、客５０２，６０２，７０２の周囲に発生した所定のイベントに応じて不審行動が変化したことであった。第３の実施形態は、不審行動を決定する条件が、設定部２０５で登録された不審行動をする人物に対して判定部２０６で削除された回数が所定の閾値以上であることである。第３の実施形態は、主にこの点で第２の実施形態とは異なる。そこで以下、第２の実施形態との相違点を中心に説明する。第３の実施形態のハードウェア構成及びソフトウェア構成は、第１の実施形態に係る画像処理装置２０１及び撮像装置２０２と同様である。従って、第１の実施形態と同様の部分については同じ符号を用いてその説明を省略する。

【0039】

（登録処理）
図９は、第２の実施形態に係る登録処理を示すフローチャートである。図９に示す処理は、画像処理装置２０１の画像取得部２０３が画像データの取得を開始した場合にスタートする。以下、図１の模式図を用いて説明する。
まずステップＳ９０１、Ｓ９０２において、図８のステップＳ８０１、Ｓ８０２と同様の処理が実行される。ステップＳ９０１では、監視カメラ１１２で撮影された画像データから客１０６の不審行動が検出される。ステップＳ９０２では、記憶部２０７に客１０６の情報が登録される。

【0040】

次にステップＳ９０３において、判定部２０６が、ステップＳ９０２で登録された客１０６に対して、後述するステップＳ９０５で削除された回数が所定の閾値以上であるか否かを判定する。判定部２０６が削除された回数が所定の閾値以上であると判定した場合、処理はステップＳ９０４へ進む。判定部２０６が削除された回数が所定の閾値未満であると判定した場合、処理はステップＳ９０５へ進む。

【0041】

ステップＳ９０４において、判定部２０６が、ステップＳ９０２で登録された客１０６の情報を要注意人物として記憶部２０７に登録する。そして一連の処理が終了する。
一方でステップＳ９０５において、判定部２０６が、ステップＳ９０２で登録された客１０６の情報を削除する。そして一連の処理が終了する。

【0042】

以上説明したように、第３の実施形態の画像処理装置２０１及び撮像装置２０２によれば、上述の第１の実施形態と同様の効果が得られるとともに、不審行動を複数回以上繰り返す人物が要注意人物として登録される。即ち、不審行動が所定のイベントに応じて変化しないけれども、何度も不審行動を繰り返す店舗内の不審な人物をさらに精度よく見つけ出すことができる。
以上、第１～第３の実施形態において、判定部２０６により、要注意人物と判定された場合、不審人物と判定された場合よりも、より厳重な対策が実施される。
例えば、犯罪を行う可能性が高い要注意人物がいること、もしくは早急に要注意人物に対して声掛けを行う必要があることを監視者に認識させるための通知を、画像処理装置２０１が有する表示デバイス３０８上で行う。
また、例えば、上述のステップＳ８０３でスピーカ６０１から再生される音声や、表示装置７０１で表示される警告よりも厳しい内容の音声や警告がされる。具体的には、上述のステップＳ８０３でスピーカ６０１から再生される音声や、表示装置７０１で表示される警告が、「このエリアは監視されています」の場合、要注意人物に対しては、「万引きは犯罪です」といった音声や警告がなされる。

【0043】

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0044】

１００：店舗、２０１：画像処理装置、２０２：撮像装置、２０３：画像取得部、２０４：検出部、２０５：設定部、２０６：判定部、２０７：記憶部、３０１：ＣＰＵ、３０２：ＲＯＭ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】