特許 7599848 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-06

(45)【発行日】2024-12-16

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241209BHJP

   H04N 7/18 20060101ALI20241209BHJP

【ＦＩ】

G06T7/20 300Z

H04N7/18 D

H04N7/18 G

【請求項の数】 13

(21)【出願番号】P 2020101572

(22)【出願日】2020-06-11

(65)【公開番号】P2021196741

(43)【公開日】2021-12-27

【審査請求日】2023-06-05

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】川野 敦史

(72)【発明者】

【氏名】田中 章文

(72)【発明者】

【氏名】黛 いち子

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２００８－２８８７０７（ＪＰ，Ａ）

【文献】特開２０１１－１９２１５７（ＪＰ，Ａ）

【文献】特開２０１９－１３３４３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

動画の撮像により得られた画像を用いて人物の顔向きを検出する向き検出手段と、
前記動画の撮像領域において視線を遮る遮蔽物がない可能領域と当該遮蔽物がある不能領域とを特定し、前記人物の顔から前記顔向きの方向の画像端まで可能領域が連続するか否かの判定結果に基づいて、前記人物の不審行動を検知する行動検知手段と、
を有することを特徴とする画像処理装置。

【請求項2】

複数の人物の移動の軌跡情報を取得する検出追尾手段を有し、
前記行動検知手段は、前記軌跡情報に基づいて前記可能領域と不能領域とを特定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記行動検知手段は、前記人物の顔の位置から前記顔向きの方向の画像端まで可能領域が連続する場合、当該人物の不審スコアを増加させ、前記不審スコアが閾値を超えた場合、当該人物が不審行動をしたと判定することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記可能領域は、人物の移動の軌跡が所定量以上存在した領域であることを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記可能領域は、過去の所定期間に出現した複数の人物のうち所定の割合以上の数の人物の移動軌跡が存在した領域であることを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記人物の顔の位置から画像端まで可能領域が連続する特定の方向ごとに重みが設定され、前記行動検知手段は、前記特定の方向ごとに設定された重みを基に前記不審行動の検知を行うことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記重みは、前記特定の方向の先にある設備の種類に応じて設定されることを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記重みは、過去の不審行動を行った人物特徴に基づいて設定されることを特徴とする請求項６または７に記載の画像処理装置。

【請求項9】

前記行動検知手段は、前記人物の顔向きが、前記撮像を行う撮像装置に向く前向きと、前記撮像装置に背を向ける後ろ向きとの、いずれであるかを検出し、前記人物が前記前向きの場合と前記後ろ向きの場合とで、不審行動の検知方法を異ならせることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記行動検知手段は、前記顔向きを表す複数の角度の少なくとも一つと閾値との比較結果にさらに基づいて、前記人物の不審行動を検知することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。

【請求項11】

前記検出追尾手段は、前記動画のフレームレートで前記人物の追尾処理を行い、
前記向き検出手段は、前記動画のフレームを間引いた後の低フレームレートで前記人物の顔向きを検出する処理を行い、
前記行動検知手段は、前記低フレームレートで前記人物の不審行動を検知する処理を行うことを特徴とする請求項２に記載の画像処理装置。

【請求項12】

画像処理装置が実行する画像処理方法であって、
動画の撮像により得られた画像を用いて人物の顔向きを検出する向き検出工程と、
前記動画の撮像領域において視線を遮る遮蔽物がない可能領域と当該遮蔽物がある不能領域とを特定し、前記人物の顔から前記顔向きの方向の画像端まで可能領域が連続するか否かの判定結果に基づいて、前記人物の不審行動を検知する行動検知工程と、
を有することを特徴とする画像処理方法。

【請求項13】

コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像された動画像から人物の不審行動を検知する画像処理技術に関する。

【背景技術】

【0002】

小売業では、万引きが深刻な問題となっている。従来から監視カメラシステムの導入が行われ、最近では万引き行為やその予兆を検知して未然に対応するために、監視カメラの画像を解析して不審行動を検知する技術の開発が進んでいる。
特許文献１に記載の技術では、人物の視線方向ないしは顔方向と人物周囲の物の配置とを取得して、人物が物の方向を向いて顔振り行動や視線振り行動を行った場合に不審行動と判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１８／００８５７５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術の場合、ある程度不審行動を検知する事は可能であるが、不審行動を行う人物は必ずしも物の方向を向いているとは限らず、不審行動を高い精度で検知できるとは言い難い。

【0005】

そこで本発明は、不審行動を高い精度で検知可能にすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、動画の撮像により得られた画像を用いて人物の顔向きを検出する向き検出手段と、前記動画の撮像領域において視線を遮る遮蔽物がない可能領域と当該遮蔽物がある不能領域とを特定し、前記人物の顔から前記顔向きの方向の画像端まで可能領域が連続するか否かの判定結果に基づいて、前記人物の不審行動を検知する行動検知手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、不審行動を高い精度で検知可能となる。

【図面の簡単な説明】

【0008】

【図1】実施形態における画像処理装置の一構成例を示すブロック図である。

【図2】可能領域・不能領域と人物の顔向き方向の一例を示す図である。

【図3】撮像装置の動作を示すフローチャートである。

【図4】画像処理装置で実行される画像解析処理のフローチャートである。

【図5】方向設定のためのＵＩの一例を示す図である。

【図6】ハードウェア構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。また同一の構成については、同じ符号を付して説明する。

【0010】

＜第１の実施形態＞
本実施形態では、画像処理装置の一適用例として、コンビニエンスストアなどの小売店舗に設置された監視カメラシステムを挙げて説明する。本実施形態に係るシステムは、監視カメラを店舗内に設置して撮影を行い、その撮影により得られる動画像をリアルタイムに解析することで不審行動を検知して、従業員等に通知する。ここで、例えば万引きを企てているような人物は、必ずしも商品等の物の方向を向いているとは限らず、人物自身が他者から見られていることを気にして周囲を確認する場合が多い。このとき、その人物が確認する方向は、自身が他者等から見られる可能性がより高い、開けた空間の方向である可能性が高い。そこで、本実施形態に係るシステムでは、万引き等を企てている人物が確認する空間、すなわち自身が見られている可能性が高い空間に関して考慮することにより、不審行動を高精度に検知可能とする。

【0011】

＜システム構成＞
図１は、本実施形態の監視システムのシステム構成例を示すブロック図である。本システムは、大きく分けて、撮像装置１００と画像処理装置２００とから構成される。
撮像装置１００は、撮像部１０１と送信部１０２とから構成される。
撮像部１０１は、撮像レンズ、およびＣＣＤやＣＭＯＳなどの撮像センサと、撮像信号処理部などから構成される。撮像部１０１は、フレーム周期で撮像した動画像を構成するフレームごとの画像、または動画像から所定の時間間隔ごとに取得した画像を、送信部１０２に送る。送信部１０２は、撮像装置１００における撮像時の画角などの撮影に関連する各種の情報及び時刻などの付加情報を画像に付加し、ネットワーク上に送信可能なデータに変換して画像処理装置２００へ送信する。

【0012】

画像処理装置２００は、本実施形態に係る不審行動の検知を可能にするための画像解析処理を実行する機能部として、受信部２０１、検出追尾部２０２、記憶部２０３、向き検出部２０４、行動判定部２０５、および出力部２０６を有して構成されている。
受信部２０１は、撮像装置１００から受信したデータから画像を取り出し、後段の検出追尾部２０２へ送る。

【0013】

検出追尾部２０２は、画像に写っている人物の検出、追尾処理を行う。画像から人物を検出する方法は任意でよい。例えば検出追尾部２０２は、画像内のエッジを人物形状とパターンマッチングする方法や、ＣＮＮ（Convolutional Neural Network）を用いた方法、または背景差分法などによって画像から人物を検出する。なお、検出された人物は、画像の左上を原点とし、人物を囲む矩形の中心座標とその矩形の幅および高さで表したデータとして表現される。追尾処理は、検出された人物を時間方向の複数画像で対応付ける処理である。追尾処理方法は任意でよい。例えば検出追尾部２０２は、前フレームに含まれる人物の中心位置と移動ベクトルとから現フレームにおける人物の位置を予測し、その人物の予測位置と現フレームに含まれる人物の中心位置とに基づいて人物の対応付けを行う。そして、検出追尾部２０２は、対応付けした人物に対して人物ＩＤ（識別情報）を付与する。これにより、以後、同じ人物ＩＤが付与された人物は、同一人物として扱われる。検出追尾部２０２は、このような処理を時間方向の各フレームにおいて繰り返すことで人物ごとの追尾を実現する。

【0014】

記憶部２０３は、検出追尾部２０２で取得された人物ＩＤごとに、画像内における人物の座標を記憶する。
また検出追尾部２０２は、記憶部２０３に記憶された、人物ＩＤごとの各人物の座標を時系列に連結することによって、それぞれの人物の移動経路を表す軌跡情報を取得する。そして、記憶部２０３は、検出追尾部２０２によって人物ＩＤごとに取得された移動軌跡を表す軌跡情報についても記憶する。

【0015】

向き検出部２０４は、検出追尾部２０２で得られた人物ＩＤごとに、同一人物の顔の向きを検出する。向き検出部２０４は、検出追尾部２０２での人物検出処理と同様の手法、例えば顔形状とのパターンマッチング法やＣＮＮなどの手法を用いて、人物の顔の領域を検出し、更にその顔内の目などの各器官を検出し、各器官の位置関係から人物の顔の向きを検出する。向き検出部２０４は、その顔向きの検出結果として、顔の傾きの角度、顔の上下方向の角度、顔の左右方向の角度などで表されるデータを取得する。ただし、人物が後ろ向きであり、顔や、顔の器官、ないしは顔向きを検出できない場合、向き検出部２０４は、顔向き検出結果のデータとして、それら顔の傾きの角度、顔の上下方向の角度、顔の左右方向の角度は値無しのデータとする。なお、顔向き検出の手法は、前述した方法に限定されず、例えばＣＮＮを用いた方法、あるいはテンプレートマッチング手法などでもよい。

【0016】

行動判定部２０５は、向き検出部２０４による顔向きの検出結果と記憶部２０３に記憶された軌跡情報とを使用して、人物ＩＤが付与された人物ごとに、不審行動を行ったかどうかを判定する。本実施形態の場合、行動判定部２０５は、顔向きの検出結果と記憶部２０３に記憶された軌跡情報とに基づいて、後述する顔振り行動の判定と見通せる方向の判定とを行い、それらの判定結果を基に人物の不審行動判定処理を行う。そして、行動判定部２０５は、人物について不審行動を検知すると、その旨を示す不審行動検知通知を出力部２０６へ送る。行動判定部２０５における不審行動の判定・検知処理の詳細については後述する。

【0017】

出力部２０６は、行動判定部２０５から人物の不審行動検知通知を受け取った場合、不図示のモニタ画面上で、当該不審行動が検知された同人物の領域に、例えば矩形等の所定のマークを付与して強調した画像を表示する。これにより、監視カメラの管理者や店舗の従業員等に対し、不審行動が検知された人物を知らせることができる。また、管理者や従業員等が持つモバイル端末に、同人物の画像を送信することで、警戒行動を促すようにしてもよい。出力部２０６が、不審行動検知通知を受け取った場合の動作は、これらに限定されるものではなく、万引き対策に関連する様々な行動に活用することができる。

【0018】

以下、本実施形態の行動判定部２０５において、人物ＩＤごとの顔向きの検出結果と軌跡情報を用いて行われる顔振り行動および見通せる方向の判定と、それらの判定結果に基づく人物の不審行動の判定・検知処理について詳細に説明する。
＜顔振り行動の判定＞
まず、人物における不審行動の一つである、顔振り行動の判定から説明する。
本実施形態において、不審行動の一つである顔振り行動とは、人物が顔の向きを変えて周囲を確認する行動である。本実施形態の場合、行動判定部２０５は、顔向き検出結果から顔向きの時系列変化の大きさ、つまり顔向きの時系列変化量を求め、その時系列変化量を判定スコアとして内部に保持する。そして、行動判定部２０５は、その判定スコアに基づいて、顔振り行動が行われたかどうかを判定する。このとき、行動判定部２０５は、人物ＩＤごとに、時間方向に連続する二つの画像から取得された顔向き検出結果について差分の絶対値をそれぞれ算出する。つまり、行動判定部２０５は、二つの画像における、顔の傾きの角度の差分絶対値、顔の上下方向の角度の差分絶対値、顔の左右方向の角度の差分絶対値を算出する。そして、行動判定部２０５は、それら角度ごとの差分の絶対値の一つ以上が顔向き閾値を超えれば、顔向きが急激に変化したとして判定スコアを増加させる。一方、いずれの差分絶対値も顔向き閾値以下である場合、行動判定部２０５は、顔向きが安定しているとして判定スコアを減少させる。

【0019】

具体例を挙げて説明すると、人物の顔向き検出結果は、前述したように顔の傾き角度と顔の上下方向の角度と顔の左右方向の角度とで表されている。ここで例えば、時刻ｔ－１における人物の顔向き検出結果が｛顔の傾き角度，顔の上下方向の角度，顔の左右方向の角度｝＝｛＋５，－１０，－１５｝であり、時刻ｔの顔向き検出結果が｛＋５，－１５，＋５０｝であり、顔向き閾値が５０であるとする。この例の場合、時刻ｔと時刻ｔ－１における顔向き検出結果の差分絶対値は｛０，０，６５｝であり、顔向き検出結果の各項目のうちいずれか一つ以上が顔向き閾値を超えているため、行動判定部２０５は、顔向きが急激に変化したとして判定スコアを増加させる。なお、例えば顔向き検出結果の各項目のうちいずれの項目も顔向き閾値以下である場合、行動判定部２０５は、顔向きが安定しているとして判定スコアを減少させる。そして、行動判定部２０５は、判定スコアを変化させる度に、予め決めた判定閾値と比較し、判定スコアが判定閾値を超えた場合には人物が顔振り行動をしたと判定する。

【0020】

なお、前述の例の場合、顔向き閾値は、一つの値となされているが、顔向き検出結果の項目ごとに異なる値に設定されていてもよい。また、顔向き閾値、判定閾値、判定スコアの増加量および減少量は、事前実験にて定めた値、監視カメラに写る人物の挙動を見て定めた値、もしくは顔振り行動、非顔振り行動のラベル付けがある大量の画像を用いたシミュレーションにより定めた値を用いてよい。

【0021】

＜見通せる方向の判定＞
次に、見通せる方向の判定について説明する。
本実施形態において、見通せる方向とは、人物から、特定の方向に対して特定距離内に遮蔽物が存在しない方向である。
本実施形態では、見通せる方向の判定に先立ち、画像を、人物が存在可能な領域（以降、可能領域とする）と人物が存在不能な領域（以降、不能領域とする）とに分ける。本実施形態において、可能領域および不能領域は、記憶部２０３に保持されている複数人物の軌跡情報を利用して設定される。なお本実施形態では、可能領域と不能領域は、記憶部２０３内の軌跡情報を基に行動判定部２０５が自動的に設定する例を挙げるが、例えば別途設けられた不図示の設定部等が行ってもよいし、監視カメラの管理者等が入力等することで行われてもよい。監視カメラの管理者等が可能領域と不能領域を設定する場合には、例えばモニタ画面等に画像を表示し、監視カメラの管理者等が例えばマウス操作等によって可能領域と不能領域を手動で設定する。

【0022】

図２は、画像を格子状の複数の小領域に分割し、それら小領域ごとに、可能領域または不能領域の設定が行われる一例を示した図である。可能領域は、統計的に人物の軌跡情報が存在する場合に設定され、不能領域は、統計的に人物の軌跡情報が存在しない場合に設定される。すなわち、可能領域は、最低限、人物が移動できる程度に障害物がなく、視線を遮るものが無いことを示す領域であり、一方、不能領域は、障害物などで人物が移動し難く、また視線が遮られることを示す領域である。本実施形態では、人物の軌跡が所定量以上存在する領域が可能領域となされ、一方、人物の軌跡が所定量未満の領域が不能領域となされる。例えば、行動判定部２０５は、過去の所定期間（例えば過去１日分）の軌跡情報を基に、画像内で出現した複数の人物のうち所定の割合以上（例えば５％以上）の数の人物の移動軌跡が存在する各小領域を可能領域として設定する。一方、行動判定部２０５は、可能領域に設定されなかった残りの各小領域を不能領域に設定する。図２は、画像３００が格子状の複数の小領域に分割され、図中太線で示された各小領域３０１が可能領域として設定され、図中細線で示された各小領域３０２が不能領域として設定された例を示している。

【0023】

なお、可能領域を設定する際の所定量は、事前実験にて定めた値、監視カメラに写る人物の挙動を見て定めた値、もしくは移動する人物が写った大量の画像を用いたシミュレーションにより定めた値を用いてよい。また例えば、監視カメラの管理者等が可能領域と不能領域を設定するような場合、モニタ画面等に表示される画像は図２に示したような格子状の小領域に分割されていてもよい。

【0024】

さらに行動判定部２０５は、向き検出部２０４にて検出された人物の顔向きの情報と、前述のように設定された可能領域および不能領域とに基づいて、見通せる方向の判定処理を行う。本実施形態の場合、行動判定部２０５は、人物の顔中心から顔向き方向の画像端まで可能領域が連続する場合に、人物の視線方向は見通せる方向であると判定、つまりこのときの人物は見通せる方向を見たと判定する。例えば図２において、矢印３０３は人物３０４の顔向きを示しており、線分３０５は人物３０４の顔中心から画像端までを示し、線分３０５上の各小領域はすべて可能領域に属する。このため、行動判定部２０５は、人物３０４の視線方向は見通せる方向であると判定、つまり人物３０４が見通せる方向を見たと判定する。一方、例えば、人物３０４の顔中心から画像端までの各小領域の中に一つ以上不能領域に属する小領域が存在する場合、行動判定部２０５は、人物が見通せる方向を見ていないと判定する。

【0025】

先に記載した通り、可能領域は、人物の軌跡が所定量以上存在する場所であり、最低限、人物が移動できる程度に障害物がなく、視線を遮るものが無いことを示す領域である。このため、図２に示したように、顔向き方向に画像端までの線分３０５が可能領域のみに属することは、人物が見通せる方向を見ることとして扱うことが出来る。一方、不能領域は、人物の軌跡が所定量未満の場所であり、障害物等により人物が移動し難く、視線を遮るものが存在していることを示す領域である。このため、図２に示したように、顔向き方向に画像端までの線分において一つ以上不能領域に属する小領域がある場合、人物が見通し難い方向を見ることとして扱うことが出来る。

【0026】

そして、行動判定部２０５は、前述した顔振り行動の判定結果と見通せる方向の判定結果とを基に、人物の不審行動判定を行う。
本実施形態において、行動判定部２０５は、人物ＩＤごとに不審スコアを内部に保持し、前述の顔振り判定処理と同様に、顔向きが急減に変化した場合には、その人物ＩＤに対応した不審スコアを増加させる。不審行動判定を行う場合、行動判定部２０５は、前述した顔振り判定と同様にして、顔向き検出結果から顔向きの時系列変化量を求め、さらにその時系列変化量の累積値を不審スコアとして保持する。そして、行動判定部２０５は、その不審スコアに基づいて、人物が不審行動を行ったかどうかを判定する。例えば、行動判定部２０５は、顔振り行動の判定処理と同様に、人物の顔向きが急激に変化した場合には、その人物ＩＤに対応した不審スコアを増加させる。それに加え、行動判定部２０５は、前述した見通せる方向の判定結果から、同人物が見通せる方向を見たと判定した場合には不審スコアにボーナススコアを付与、つまり不審スコアを更に増加させる。一方、行動判定部２０５は、顔振り行動の判定処理と同様に、人物の顔向きが安定していると判定した場合には、その人物ＩＤに対応した不審スコアを減少させる。そして、行動判定部２０５は、不審スコアが変化する度に、不審判定閾値と比較し、不審スコアが不審判定閾値を超えた場合には人物が不審行動をしたと判定する。一方、不審スコアが不審判定閾値以下である場合、行動判定部２０５は、その人物が不審行動をしていないと判定する。

【0027】

なお、不審判定閾値、不審スコアの増加量、および不審スコアの減少量は、人物の行動を鑑みて事前に設定しておく。その設定の際には、事前実験による定めた値、監視カメラに写る人物の挙動を見て定めた値、もしくは、顔振り行動、非顔振り行動のラベル付けがある大量の画像を用いたシミュレーションにより定めた値を用いてよい。また、設定に用いる画像は、例えば万引きを行った人物、もしくは、その疑いがある不審な行動をする人物が写った複数の画像に基づいて設定することが好ましい。

【0028】

本実施形態において、図２では、画像３００を１０×１２の小領域に分割した例を挙げたが、分割数は、画像３００が撮像された際の画角や画像サイズに応じて調整されることが好ましい。ただし、より細かく分割した場合には、相対的に軌跡情報の密度が低くなるため、人物の動き方によっては、可能領域の中に不能領域が発生する場合がある。この場合は、例えば、軌跡情報の量を増やすことや、可能領域に囲まれた不能領域は可能領域とする処理を追加することが好ましい。

【0029】

＜システムの動作説明＞
本実施形態に係る撮像装置１００にて行われる処理について、図３のフローチャートを用いて説明する。
まずステップＳ１０１において、撮像装置１００の撮像部１０１は、動画を撮像して所定のフレームレートで画像を取得する。
次にステップＳ１０２において、送信部１０２は、撮像部１０１にて取得された画像に対し、撮像装置１００の固有番号や時間情報を付与し、ネットワーク上に送信可能な形式に加工して送信する。
そして、ステップＳ１０３において、撮像装置１００は、画像送信を停止する要求がなされたか否かを判定し、停止要求がない限り、ステップＳ１０１における画像の取得処理と、ステップＳ１０２における画像送信処理を繰り返す。

【0030】

本実施形態に係る画像処理装置２００における不審行動の判定処理について、図４のフローチャートを用いて説明する。
まずステップＳ２０１において、画像処理装置２００の受信部２０１は、撮像装置１００から送られてきた画像を受信する。受信部２０１は、受信した画像を検出追尾部２０２に送る。
次にステップＳ２０２において、検出追尾部２０２は、受信部２０１から送られてきた画像から人物を検出して追尾する人物検出追尾処理を行う。また、検出追尾部２０２は、人物検出結果である人物の画像上における矩形座標、および、追尾処理結果となる人物ＩＤや画像上の座標といった、メタデータを生成する。
そしてステップＳ２０３において、記憶部２０３は、ステップＳ２０２で生成された人物検出結果、追尾情報、およびメタデータを、記憶する。

【0031】

また、ステップＳ２０４において、向き検出部２０４は、検出追尾部２０２が検出した人物それぞれに関して、顔向き検出処理を行う。
次に、ステップＳ２０５において、行動判定部２０５は、ステップＳ２０４による顔向き検出結果と、ステップＳ２０３による軌跡情報とを使用して、人物の不審行動の検知処理を行う。そして、行動判定部２０５において不審行動が検知された場合、出力部２０６において従業員等への通知処理がなされる。
以上の各ステップの処理は、画像が取得されるごとに行われる処理である。画像処理装置２００は、画像解析処理の終了要求がなされたか否かを判定し、終了要求がない限り、ステップＳ２０１に処理に戻り、ステップＳ２０１からステップＳ２０５までの処理を繰り返す。

【0032】

以上説明したように、本実施形態のシステムでは、人物の顔向き方向に加えて、人物から見通せる方向を鑑みて不審行動の検知処理が行われる。例えば、人物が所望の商品を探すために商品棚や周囲に目を向ける行動は通常の買い物客が行う行動であるが、例えば特許文献１に記載の技術では、このような買い物客の行動を誤って不審行動として検知する虞がある。一方で、本実施形態では、人物から見通せる方向をも鑑みて不審行動の判定を行うため、人物自身を見る他者が存在するかどうかを確認するような不審行動を高精度に判定できる。

【0033】

本実施形態では、顔向き検出を使用した顔振り行動を不審行動の一つとして判定する例を記載したが、顔向き検出に限定されず、人物の視線方向そのものを検出する技術を用いても同様の効果が得られる。また、顔振り行動に限らず、人物が特定方向を凝視する行動など、人物自身を見る他者の存在を確認する行動を不審行動として検知する場合にも適用することが可能である。

【0034】

また本実施形態では、撮像装置１００が動画撮像する際のフレームレートに従い処理を実施する例、つまり動画の全ての画像を処理する例を挙げたが、検出追尾部２０２、向き検出部２０４及び行動判定部２０５は、必ずしも全ての画像を処理する必要はない。一般的に、追尾処理は高いフレームレートである方が好ましいのに対し、顔振り行動は追尾処理より低いフレームレートでも判定可能である。このため、検出追尾部２０２では高フレームレートで処理し、向き検出部２０４および行動判定部２０５では例えばフレームを間引いた低フレームレートで処理するようにしても十分な効果が期待できる。

【0035】

＜第２の実施形態＞
第２の実施形態では、前述した第１の実施形態で説明した内容に加えて更に、見通せる方向の先にある設備を鑑みて不審行動の判定を行って従業員等に通知するシステムについて説明する。第２の実施形態の場合、見通せる方向に対して重みを設定し、その重みを基に不審行動の判定を行う。本実施形態において、見通せる方向に対する重みは、例えば、ＵＩ（ユーザインタフェース）画面を通じて設定することができる。また本実施形態において、見通せる方向に対する重みは、見通せる方向の先にある設備の種類に応じて設定されたり、過去の不審行動を行った人物特徴に基づいて設定されたりする。

【0036】

第２の実施形態に係るシステムの各機能部の構成は、第１の実施形態の図１に示した構成と同様であるためその図示は省略する。また、撮像装置１００の各機能部の構成および動作は前述同様であり、画像処理装置２００の受信部２０１、検出追尾部２０２、記憶部２０３、向き検出部２０４、および出力部２０６は前述同様であるため、それらの説明は省略する。第２の実施形態の場合、画像処理装置２００の行動判定部２０５における処理が第１の実施形態の例とは異なる。

【0037】

第２の実施形態の場合、行動判定部２０５は、前述した第１の実施形態で説明した機能に加えて、設備方向設定部（不図示）としての機能を備えている。設備方向設定部は、撮像装置１００が撮像する画角に対して、店舗設備等の方向を設定する。

【0038】

ここで、店舗設備とは、レジや出入口、従業員通用口、従業員事務所、倉庫などであり、主に店舗の従業員が存在する可能性がある場所である。本実施形態では、見通せる方向に対する重みとして、これら店舗設備には重要度が設定される。

【0039】

図５は、設備方向の設定が行われる際に、例えば監視カメラからの映像を監視する監視室等に設置されているモニタの画面等に表示されるＵＩ画面の一例を示した図である。図５に示したＵＩ画面において、方向設定リスト４０１は、方向を示す名前と、その設定方向の重要度と、画像上の領域とを対応付けて管理するためのリストである。なお図５の例では、重要度として、高い、普通、低い、の三つに分けられているが、これは一例であり、重要度がさらに細分化されていてもよい。図５のＵＩ画面例は、レジ方向、出入口方向を設定した状態であり、領域４０２はレジ方向に対応付く画像上の領域である。方向は、画像の周囲にマウスカーソル４０３を操作することで設定される。また、方向設定を増減させる場合、図５のＵＩ画面内の新規作成ボタン４０４をマウスクリック等にて押下されることで方向設定が追加され、一方、方向設定のいずれかを選択した状態で削除ボタン４０５が押下されことで方向設定が削除される。

【0040】

第２の実施形態の場合、行動判定部２０５は、第１の実施形態で説明した不審行動の判定処理に加えて、前述した設備の方向設定を鑑みて不審行動判定処理を実行する。すなわち、第２の実施形態の行動判定部２０５は、顔振り行動の判定結果と、見通せる方向の判定結果と、設備の方向設定結果とを基に、人物の不審行動の判定・検知を行う。

【0041】

第２の実施形態においても第１の実施形態と同様に、行動判定部２０５は、人物ＩＤごとに不審スコアを保持し、人物ごとに顔向きが急激に変化した場合に、その人物ＩＤに対応した不審スコアを増加させる。第２の実施形態の場合、それに加え、行動判定部２０５は、同人物が見通せる方向を見た場合に、顔向き方向の先にある方向設定の重要度に応じて不審スコアに付与するボーナススコアの量を調整する。例えば、行動判定部２０５は、不審スコアに付与するボーナススコアの量を、方向設定がない場合と比べて、重要度が高い場合には３倍に、重要度が普通の場合には２倍に、重要度が低い場合には１倍にする。一方、行動判定部２０５は、第１の実施形態と同様にして判定した人物の顔向きが安定している場合には、不審スコアを減少させる。そして、行動判定部２０５は、不審スコアが変化する度に、不審判定閾値と比較し、不審スコアが不審判定閾値を超えた場合には人物が不審行動をしたと判定し、また、不審スコアが不審判定閾値以下である場合にはその人物が不審行動をしていないと判定する。

【0042】

なお、第２の実施形態において、ボーナススコアの量の調整は、人物の行動を鑑みて事前に設定する。その設定の際には、事前実験による定めた値、監視カメラに写る人物の挙動を見て定めた値、もしくは、顔振り行動、非顔振り行動のラベル付けがある大量の画像を用いたシミュレーションにより定めた値を用いてよい。また、その設定時に用いる画像は、例えば万引きを行った人物、もしくは、その疑いがある不審な行動をする人物が写った複数の画像を基に設定することが好ましい。

【0043】

以上説明したように、第２の実施形態に係るシステムでは、顔向き方向と、人物から見通せる方向とに加えて、見通せる方向の先にある設備を鑑みて不審行動が判定される。例えば、万引きを企てる人物にとって、従業員等が待機するレジ方向、逃走経路の出入口方向は、確認すべき重要な方向である。第２の実施形態によれば、これらレジ方向や逃走経路の出入口方向などの確認すべき重要な方向を鑑みることで、不審行動を高精度に判定することができる。

【0044】

また本実施形態では、方向設定を、システムの管理者や従業員等が設備方向設定用のＵＩ画面を通じて手動で設定する例を挙げたが、方向ごとの重要度の設定は、前述した設定例に限定されない。例えば、動画像を記録し、その動画像に写る万引き犯もしくは不審者、つまり過去に不審行動を行った人物等をマウスカーソル操作等にて選択した上で、その選択された人物の行動を解析し、同人物が凝視する方向、確認する方向を抽出する。そして、その抽出した方向に関して、重要度を高として設定することで、さらに精度の高い不審行動判定が可能となる。すなわち、過去の不審行動を行った人物特徴に基づいて、見通せる方向の重みを設定することで、不審行動をより高精度に判定することが可能となる。

【0045】

＜第３の実施形態＞
第３の実施形態では、前述した第１の実施形態で説明した内容に加えて、顔向きだけでなく、人物が向く方向をも鑑みて不審行動の判定を行い、従業員等に通知するシステムについて説明する。第３の実施形態は、例えば後ろ向きの人物の不審行動、つまり監視カメラに対して背を向けている人物の不審行動についても考慮した判定を可能にする例である。

【0046】

第３の実施形態に係るシステムの各機能部の構成は、第１の実施形態の図１に示した構成と同様であるためその図示は省略する。また、撮像装置１００の各機能部の構成および動作は前述同様であり、画像処理装置２００の受信部２０１、検出追尾部２０２、記憶部２０３、向き検出部２０４、および出力部２０６は前述同様であるため、それらの説明は省略する。第３の実施形態の場合、画像処理装置２００の行動判定部２０５における処理が第１の実施形態の例とは異なる。

【0047】

第３の実施形態の場合、行動判定部２０５は、前述した第１の実施形態で説明した機能に加えて、人物が向く方向をも鑑みて不審行動を判定・検知する。すなわち第３の実施形態における行動判定部２０５は、顔振り行動の判定結果と、見通せる方向の判定結果と、人物が向く方向とを基に、人物の不審行動判定を行う。

【0048】

ここで第３の実施形態の行動判定部２０５は、記憶部２０３に記憶されている人物の軌跡情報から当該人物の移動方向を取得し、その移動方向の情報を基に、撮像装置１００（つまり監視カメラ）に対して当該人物が向く方向を判定する。例えば、行動判定部２０５は、人物の移動方向が撮像装置１００に近づく方向である場合、人物が向く方向は撮像装置１００に対して前向きであると判定する。一方、撮像装置１００から遠ざかる方向である場合、行動判定部２０５は、人物が向く方向は後ろ向き（監視カメラに背を向けている）と判定する。

【0049】

そして、行動判定部２０５は、人物が前向きの場合と後ろ向きの場合とで、人物の顔向きと軌跡情報との組み合わせを変えて、人物の不審行動を検知する。すなわち第３の実施形態において、行動判定部２０５は、人物ＩＤごとに前述した不審スコアを保持し、人物が前向きである場合には、第１の実施形態と同様に当該人物の顔向きが急激に変化した場合に不審スコアを増加させる。また、行動判定部２０５は、人物が後ろ向きであって向き検出部２０４で顔向きが検出された場合、つまり後ろ向きの人物が横を向いた時の横顔が検出された場合には不審スコアを増加させ、一方、顔向きが検出されない場合には不審スコアを減少させる。それに加え、行動判定部２０５は、同一人物が見通せる方向を見た場合には不審スコアにボーナススコアを付与して不審スコアを増加させる。また、行動判定部２０５は、顔振り行動の判定処理と同様に、顔向きが安定している場合には不審スコアを減少させる。そして、行動判定部２０５は、前述同様に不審スコアを変化させる度に不審判定閾値と比較し、不審判定閾値を超えた場合には人物が不審行動をしたと判定し、また、不審スコアが不審判定閾値以下である場合にはその人物が不審行動をしていないと判定する。

【0050】

以上説明したように、第３の実施形態に係るシステムでは、第１の実施形態で説明した処理に加えて、人物が向く方向を鑑みて不審行動の判定が行われる。これにより、例えば、万引きを企てる人物が手元を隠すために撮像装置１００（監視カメラ）に対して背を向けた状態であっても、不審行動を高精度に判定することができる。
また第３の実施形態では、軌跡情報に基づいて人物が向く方向を推定する例を説明したが、この方法に限定されず、画像中の人物の外観から人物が向く方向を推定するような方向推定部を別途有しても同様の効果が得られる。

【0051】

次に図６を参照して、前述した各実施形態の画像処理装置２００の各機能部における処理を実現するためのハードウェア構成例を説明する。なお、画像処理装置２００の各機能部は、図６に示すハードウェアにより実現される場合だけでなく、ソフトウェアにより実現されてもよい。また、上述した各実施形態に係る画像処理装置２００の１以上の機能を他の装置が有していてもよい。

【0052】

前述した各実施形態の画像処理装置２００は、ＣＰＵ６００と、ＲＡＭ６１０と、ＲＯＭ６２０、ＨＤＤ６３０と、Ｉ／Ｆ６４０と、を有している。
ＣＰＵ６００は画像処理装置２００を統括制御する中央処理装置である。ＲＡＭ６１０は、ＣＰＵ６００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ６１０は、ＣＰＵ６００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ６１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

【0053】

ＲＯＭ６２０は、ＣＰＵ６００が画像処理装置２００を制御するためのプログラムなどを記憶する。ＲＯＭ６２０に記憶されたプログラムがＲＡＭ６１０に展開され、そのプログラムをＣＰＵ６００が実行することにより、前述した各実施形態で説明した画像処理装置２００の各機能部の処理が実現される。ＨＤＤ６３０は、画像データや不審行動の検知結果などのデータ等を記録する記憶装置である。Ｉ／Ｆ６４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

【0054】

なお、図６では、ＣＰＵ６００が前述した各機能部の処理を実行する例を説明したが、ＣＰＵ６００の処理のうち少なくとも一部を専用のハードウェアが行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ６２０からプログラムコードを読み出してＲＡＭ６１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

【0055】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0056】

１００：撮像装置、１０１：撮像部、１０２：送信部、２００：画像処理装置、２０１：受信部、２０２：検出追尾部、２０３：記憶部、２０４：向き検出部、２０５：行動判定部、２０６：出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】