特許 7484248 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-08

(45)【発行日】2024-05-16

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240509BHJP

   G06T 7/00 20170101ALI20240509BHJP

   G06V 20/52 20220101ALI20240509BHJP

   H04N 7/18 20060101ALI20240509BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 660B

G06V20/52

H04N7/18 D

H04N7/18 K

【請求項の数】 6

(21)【出願番号】P 2020042659

(22)【出願日】2020-03-12

(65)【公開番号】P2021144466

(43)【公開日】2021-09-24

【審査請求日】2023-01-11

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】辻 郁奈

(72)【発明者】

【氏名】太田 昂志

(72)【発明者】

【氏名】小林 剛

(72)【発明者】

【氏名】岸田 俊文

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１４／１７４７３８（ＷＯ，Ａ１）

【文献】国際公開第２０１６／００２４０８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／２９２

Ｈ０４Ｎ ７／１８

Ｇ０６Ｖ ２０／５０－２０／５２

(57)【特許請求の範囲】

【請求項1】

カメラによって撮像された撮像画像を時系列で取得する画像取得手段と、
前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積手段と、
前記画像取得手段によって取得された時系列の撮像画像から、動体の移動情報を算出する算出手段と、
前記算出手段によって算出された動体の移動情報と、前記蓄積手段によって蓄積された動体の移動情報とを比較する比較手段と、
前記比較手段による動体の移動情報の比較結果に基づいて、前記比較手段による比較の対象となった動体が異常な動きを示すか否かを判定する判定手段と、
前記判定手段による判定結果を出力する出力手段と、
前記出力手段によって出力された前記判定結果に対する動体が異常な動きを示すか否かに関するユーザ入力を受け付ける受付手段と、
を有し、
前記蓄積手段は、前記受付手段によって受け付けた前記ユーザ入力に応じて、前記算出手段によって算出された前記移動情報を用いて前記蓄積手段によって蓄積された前記移動情報を更新するか否かを決定する
ことを特徴とする画像処理装置。

【請求項2】

前記移動情報は、動体の移動量と動体の移動方向の少なくとも一方を含むことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記算出手段は、前記画像取得手段によって時系列で取得された複数の撮像画像間の画素値の差分を基に、前記移動量または前記移動方向の前記少なくとも一方を算出することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記移動情報が動体の移動量を含む場合、前記蓄積手段は、移動量の平均値、最頻値、中央値、最小値および最大値により決まる範囲のいずれかを蓄積することを特徴とする請求項２または３に記載の画像処理装置。

【請求項5】

カメラによって撮像された撮像画像を時系列で取得する画像取得ステップと、
前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積ステップと、
前記画像取得ステップによって取得された時系列の撮像画像から、動体の移動情報を算出する算出ステップと、
前記算出ステップによって算出された動体の移動情報と、前記蓄積ステップによって蓄積された動体の移動情報とを比較する比較ステップと、
前記比較ステップによる動体の移動情報の比較結果に基づいて、前記比較ステップによる比較の対象となった動体が異常な動きを示すか否かを判定する判定ステップと、
前記判定ステップによる判定結果を出力する出力ステップと、
前記出力ステップによって出力された前記判定結果に対する動体が異常な動きを示すか否かに関するユーザ入力を受け付ける受付ステップと、
前記受付ステップによって受け付けた前記ユーザ入力に応じて、前記算出ステップによって算出された前記移動情報を用いて前記蓄積ステップによって蓄積された前記移動情報を更新するか否かを決定する決定ステップと、
を有することを特徴とする画像処理方法。

【請求項6】

請求項５に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラの撮像画像において動体の異常な動きを検出する技術に関する。

【背景技術】

【0002】

ネットワークカメラ（ＩＰカメラ）を利用した監視においては、建物に設置したネットワークカメラによって撮影された映像を基に異常な動きを示す動体を検出し、管理者などのユーザに通知することが求められている。

【0003】

このため、異常な動きを示す動体を自動的に判定する技術が提案されている。特許文献１には、カメラによって撮影された映像のフレーム間での動作ベクトルを算出し、画像のブロックごとにあらかじめ定義された、異常動作を表す動作ベクトルを検出した場合に、異常な動きを示す動体を通知する技術が開示されている。また、特許文献２には、カメラによる被観察者の生活行動に関するパラメータをデータベースに記憶し、人感センサや撮像素子を用いて推定される生活行動の生起に関するパラメータをデータベースに記憶したパラメータと比較することで、被観察者の異常行動を判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１０００３１号公報

【文献】特開２００２－３５２３５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、ネットワークカメラを使用する個々の状況に応じた、異常動作や異常行動を定義するベクトルやパラメータなどのデータをあらかじめ作成する必要がある。また、従来技術を用いてさまざまな状況でも動体の異常な動きを精度よく検出するには、さまざまなバリエーションのデータを作成して使用する必要がある。この結果、ネットワークカメラの映像に対する画像処理や判定処理に伴う処理負荷が膨大になる可能性がある。

【0006】

本発明は上記実情に鑑みなされたものであって、カメラの撮像画像に対する画像処理の負荷を抑えて、画像内の動体の異常な動きを検出する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために本発明は、以下の構成を採用する。

【0008】

本発明の第一側面は、カメラによって撮像された撮像画像を時系列で取得する画像取得手段と、前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積手段と、前記画像取得手段によって取得された時系列の撮像画像から、動体の移動情報を算出する算出手段と、前記算出手段によって算出された動体の移動情報と、前記蓄積手段によって蓄積された動体の移動情報とを比較する比較手段と、前記比較手段による動体の移動情報の比較結果に基づいて、前記比較手段による比較の対象となった動体が異常な動きを示すか否かを判定する判定手段と、前記判定手段による判定結果を出力する出力手段と、を有することを特徴とする画像処理装置である。これにより、撮像画像から得られる移動情報と比較するための種々のデータをあらかじめ作成したりそのようなデータを使用したりすることがないため画像処理の負荷を抑えて異常な動きを示す動体を検出することができる。

【0009】

また、前記移動情報は、動体の移動量と動体の移動方向の少なくとも一方を含んでもよい。これにより、例えば、動体の移動量を基に通常は進入しない領域に動体が移動したことを検出したり、動体の移動方向を基に通常とは異なる方向に動体が移動したことを検出したり、動体の移動量と移動方向とを基にうろつきなど通常とは異なる挙動を示す動体を検出したりすることができる。

【0010】

また、前記算出手段は、前記画像取得手段によって時系列で取得された複数の撮像画像間の画素値の差分を基に、前記移動量または前記移動方向の前記少なくとも一方を算出してもよい。これにより、動体の移動量や移動方向を、隣り合う２つのフレームの撮像画像の画素値の差分から算出したり、隣り合う３つ以上のフレームの撮像画像の画素値の差分の平均値から算出したりすることができる。

【0011】

また、前記移動情報が動体の移動量を含む場合、前記蓄積手段は、移動量の平均値、最頻値、中央値、最小値および最大値により決まる範囲のいずれかを蓄積してもよい。これにより、異常な動きを示す動体を検出するために撮像画像から算出される移動量と比較する基準を、カメラの撮影環境に応じて柔軟に選択することができる。

【0012】

また、上記の画像処理装置は、前記出力手段によって出力された前記判定結果に対する動体が異常な動きを示すか否かに関するユーザ入力を受け付ける受付手段をさらに有し、前記蓄積手段は、前記受付手段によって受け付けた前記ユーザ入力に応じて、前記算出手段によって算出された前記移動情報を用いて前記蓄積手段によって蓄積された前記移動情報を更新するか否かを決定してもよい。これにより、画像処理装置によって正常な動きを示す動体が異常な動きを示すと判定された場合に、ユーザ入力によるフィードバックを基に蓄積された移動情報を更新することで、次回以降の異常な動きを示す動体の検出精度を向上させることができる。

【0013】

なお、本発明は、上記処理の少なくとも一部を含む、画像処理方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0014】

本発明によれば、カメラによって取得された画像の処理負荷を抑えて異常な動きを示す動体を検出することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明が適用された画像処理装置の構成例を示すブロック図である。

【図2】図２は、一実施形態に係るＰＣ（画像処理装置）の構成例を示すブロック図である。

【図3】図３は、一実施形態に係るＰＣの処理フロー例を示すフローチャートである。

【図4】図４は、一実施形態に係るＰＣのサブルーチンの処理フロー例を示すフローチャートである。

【図5】図５Ａは、一実施形態に係る撮像画像の具体例を示す模式図であり、図５Ｂと図５Ｃは、移動量の定常データと移動方向の定常データの具体例をそれぞれ示す模式図である。

【図6】図６Ａ～図６Ｃは、一実施形態に係る撮像画像における不審者の動きの具体例を示す模式図であり、図６Ｄと図６Ｅは、図６Ａ～図６Ｃの撮像画像から算出される移動量と移動方向の具体例をそれぞれ示す模式図である。

【発明を実施するための形態】

【0016】

＜適用例＞
本発明の適用例について説明する。ネットワークカメラ（ＩＰカメラ）を利用した監視においては、建物に設置したネットワークカメラによって撮影された映像を基に異常な動きを示す動体を検出し、管理者などのユーザに通知することが求められている。しかしながら、従来技術では、種々の使用環境において異常な動きを示す動体の検出精度を維持するには、撮像画像から動体を検出するために用いられる膨大な辞書を使用するため、画像処理の負荷が増大する懸念がある。

【0017】

図１は、本発明が適用された画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、画像取得部１０１、異常判定部１０２、出力部１０３を有する。画像取得部１０１は、ネットワークカメラによる撮像画像を取得する。異常判定部１０２は、以下の実施形態において詳述する処理を実行して、撮像画像に対する異常な動きを示す動体の検出を行う。より具体的には、異常判定部１０２は、撮像画像を基に動体の移動量と移動方向を算出し、算出した移動量と移動方向を基に、異常な動きを示す動体を特定する。出力部１０３は、異常判定部１０２によって特定された異常な動きを示す動体の通知を出力する。

【0018】

本発明に係る画像処理装置１００によれば、さまざまな使用環境において画像処理の負荷を抑えつつカメラの撮像画像に対する異常な動きを示す動体を精度よく検出することができる。

【0019】

＜実施形態の説明＞
本発明の一実施形態について説明する。図２は、本実施形態に係る画像処理システムの大まかな構成例を示す模式図である。本実施形態に係る画像処理システムは、ＰＣ２００（パーソナルコンピュータ；画像処理装置）、ネットワークカメラ３００、及び、表示装置４００を有する。ＰＣ２００とネットワークカメラ３００とは有線または無線で互いに接続されており、ＰＣ２００と表示装置４００は有線または無線で互いに接続されている。

【0020】

本実施形態では、一例として、家屋の玄関の軒下に設置されたネットワークカメラ３００によって玄関や家屋の敷地、敷地に隣接する道路などを撮像することを想定する。ネットワークカメラ３００は、複数フレームの撮像画像を取得し、取得した撮像画像をＰＣ２００に出力する。ＰＣ２００は、ネットワークカメラ３００による撮像画像に基づいて異常な動きを示す動体を特定し、特定した動体に関する情報を表示装置へ出力する。表示装置の一例としては、ディスプレイや情報処理端末（スマートフォンなど）が挙げられる。

【0021】

なお、本実施形態ではＰＣ２００がネットワークカメラ３００や表示装置４００とは別体の装置であるものとするが、ＰＣ２００はネットワークカメラ３００または表示装置４００と一体に構成されてもよい。また、ＰＣ２００の設置場所は特に限定されない。例えば、ＰＣ２００はネットワークカメラ３００と同じ場所に設置されてもよい。また、ＰＣ２００はクラウド上のコンピュータであってもよい。

【0022】

ＰＣ２００は、入力部２１０、制御部２２０、記憶部２３０、及び、出力部２４０を有する。制御部２２０は、動体情報取得部２２１、基準値算出部２２４、比較部２２５、及び、判定部２２６を有する。また、動体情報取得部２２１は、フレーム間差分算出部２２２、及び、移動情報算出部２２３を有する。入力部２１０、記憶部２３０、フレーム間差分算出部２２２、比較部２２５、判定部２２６、出力部２４０が、それぞれ本発明の画像
取得手段、蓄積手段、算出手段、比較手段、判定手段、出力手段に対応する。

【0023】

入力部２１０は、ネットワークカメラ３００によって撮像された動画を構成するフレームをネットワークカメラ３００から取得して制御部２２０に出力する。また、ネットワークカメラ３００は、光学カメラでなくてもよく、サーマルカメラなどであってもよい。

【0024】

制御部２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを含み、ＰＣ２００内の各部の制御や、各種情報処理などを行う。

【0025】

動体情報取得部２２１は、ネットワークカメラ３００の画角内の動体の時系列による動きを蓄積したデータを定常データとして生成し、生成した定常データを記憶部２３０に記憶する。また、動体情報取得部２２１のフレーム間差分算出部２２２は、定常データの隣接する２つ以上のフレーム間の画素差分量を算出する。また、動体情報取得部２２１の移動情報算出部２２３は、フレーム間差分算出部２２２によって算出された画素差分量を基に、動体の移動量および移動方向を算出する。

【0026】

基準値算出部２２４は、移動情報算出部２２３によって算出された動体の移動量および移動方向と記憶部２３０に蓄積されている定常データが示す移動量と移動方向を基に、動体の移動量の平均値、最頻値、中央値、最小値および最大値により決まる範囲や、動体の移動方向の角度に基づく平均値、最頻値、中央値、最小値および最大値により決まる範囲を算出する。そして、基準値算出部２２４は、算出結果を用いて記憶部２３０に記憶されている定常データを更新する。

【0027】

比較部２２５は、算出された動体の移動量および移動方向と定常データに含まれる動体の移動量および移動方向との差分を、異常と判定するための閾値と比較する。判定部２２６は、比較部２２５による比較結果を基に異常な動きを示す動体の判定を行う。

【0028】

記憶部２３０は、上記の定常データのほか、制御部２２０で実行されるプログラムや、制御部２２０で使用される各種データなどを記憶する。例えば、記憶部２３０は、ハードディスクドライブ、ソリッドステートドライブなどの補助記憶装置である。出力部２４０は、判定部２２６による異常な動きを示す動体の判定結果を通知する情報を、表示装置４００に出力する。なお、判定部２２６による動体の判定結果は、記憶部２３０に記憶されて、任意のタイミングで出力部２４０から表示装置４００に出力されてもよい。

【0029】

図３は、ＰＣ２００の処理フロー例を示すフローチャートである。ＰＣ２００は、入力部２１０によって取得される画像ごとに図３の処理フローを実行する。ＰＣ２００によって繰り返し実行される図３の処理フローの繰り返し周期は特に限定されないが、本実施形態では、ネットワークカメラ３００による撮像のフレームレートで図３の処理フローが繰り返されるとする。

【0030】

まず、入力部２１０が、ネットワークカメラ３００によって撮像された撮像画像を、ネットワークカメラ３００から取得する（ステップＳ３０１）。入力部２１０が取得した撮像画像は、ＰＣ２００内のＲＡＭなどに一時的に記憶される。また、入力部２１０は、１フレーム分の撮像画像しか取得していない場合は、ステップＳ３０１の処理を繰り返して、以下の処理に必要なフレーム数分の撮像画像を取得する。

【0031】

次に、動体情報取得部２２１のフレーム間差分算出部２２２が、入力部２１０によって取得された複数フレームの撮像画像のうち現在の（最新の）フレームの撮像画像と１つ前のフレームの撮像画像との間の画素値の差分を算出する（ステップＳ３０２）。なお、差
分の算出に用いるフレーム数に制限はないが、３つ以上のフレームの撮像画像における差分は、例えば隣接する２フレーム間の画素値の差分の絶対値をそれぞれ計算し、それらの平均値を画素値の差分として算出することができる。

【0032】

フレーム間差分算出部２２２が算出したフレーム間の画素値の差分は、ＰＣ２００内のＲＡＭなどに一時的に記憶される。また、フレーム間差分算出部２２２は、以下の処理で動体の移動量を算出するため、３つのフレーム間（例えば、現在のフレームとその前後のフレームとのそれぞれの間）の画素値の差分を算出していない場合は、ステップＳ３０１およびＳ３０２を繰り返して、各フレーム間の画素値の差分を算出する。

【0033】

次に、移動情報算出部２２３が、ステップＳ３０２で算出された複数フレーム間の画素値の差分を基に、撮像画像内の動体の移動量および移動方向を算出する（ステップＳ３０３）。移動量の一例としては画素値の差分から求まるスカラー値を、移動方向の一例としては角度を用いることができる。なお、撮像画像における動体の特定や、動体の移動量および移動方向の算出は、周知の技術を用いて行うことができるため、ここでは処理の詳細については説明を省略する。

【0034】

図５（Ａ）に、ネットワークカメラ３００による撮像画像の一例を模式的に示す。図５に示すように、ネットワークカメラ３００は、家屋に面する道路５０１や歩道５０２、歩道５０２から家屋の玄関口５０３まで続くアプローチ５０４、家屋の玄関口５０３に立つ人５０５、道路５０１を走行する車５０６などを撮像する。

【0035】

図５（Ｂ）、５（Ｃ）は、本実施形態において蓄積される定常データの一例を概略的に示す図である。図５（Ｂ）は、撮像画像内の動体の移動量を示す定常データであり、図５（Ｃ）は、撮像画像内の動体の移動方向を示す定常データである。定常データは、ネットワークカメラ３００が取得する撮像画像において、画素のブロックごとに動体の平均的な移動量および移動方向を表すデータである。なお、画素のブロックの大きさは１画素～複数画素の任意の画素数のブロックとすることができる。

【0036】

移動量の定常データでは、画素のブロックごとに動体の移動速度に応じた移動量の大きさが格納される。例えば、道路５０１は車が走行するため、定常データでは道路５０１に対応するブロックの移動量は大きくなる。また、歩道５０２やアプローチ５０４は人が往来するため、歩道５０２やアプローチ５０４に対応するブロックの移動量は、道路５０１に対応するブロックよりは小さく、他の周囲のブロックよりは大きくなる。

【0037】

また、移動方向の定常データでは、動体の移動方向を示す代表的な移動方向が格納される。例えば、道路５０１は車が走行する方向が決まっているため、図５Ａの撮像画像では、道路５０１に対応するブロックの移動方向は右方向または左方向が横一列に並ぶように格納される。また、アプローチ５０４は人が歩道５０２と玄関口５０４との間を移動するため、アプローチ５０４に対応するブロックの移動方向は上下方向が格納される。撮像画像内において静物部分は通常は動体の移動がないため、対応するブロックの移動方向は格納されていない（図中「Ｎ」）。

【0038】

再び図３のフローチャートの説明に戻る。ステップＳ３０４において、制御部２２０は、記憶部２３０に定常データが蓄積されているか否かを判定する。制御部２２０は、定常データのデータサイズや更新回数、定常データが蓄積されていることを示すフラグなどを用いて、定常データが蓄積されているか否かを判定することができる。制御部２２０は、定常データが蓄積されていると判定した場合は（Ｓ３０４：ＹＥＳ）、処理をステップＳ３０５に進める。一方、制御部２２０は、定常データが蓄積されていないと判定した場合は（Ｓ３０４：ＮＯ）、処理をステップＳ３０７に進める。

【0039】

ここで、ステップＳ３０５のサブルーチンの処理について、図４を参照しながら説明する。まず、ステップＳ４０１において、比較部２２５が、ステップＳ３０３で算出した動体の移動量および移動方向と、記憶部２３０に記憶されている定常データが示す移動量および移動方向とを比較して、ステップＳ３０３で算出した動体の移動量および移動方向の定常データとの偏差を算出する。

【0040】

次に、ステップＳ４０２において、比較部２２５は、ステップＳ３０５で算出された動体の移動量と移動方向のそれぞれの偏差が、閾値よりも大きいか否かを判定する。比較部２２５は、動体の移動量と移動方向の偏差のいずれかが閾値よりも大きいと判定した場合は（Ｓ３０５：ＹＥＳ）、処理をステップＳ４０５に進める。一方、比較部２２５は、動体の移動量と移動方向がいずれも閾値以下であると判定した場合は（Ｓ３０５：ＮＯ）、処理をステップＳ４０５に進める。

【0041】

ステップＳ４０３において、比較部２２５は、ステップＳ４０２において移動量と移動方向のいずれかの偏差が閾値よりも大きいと判定された動体を、異常な動きを示す動体とみなしてユーザに通知する。ユーザへの通知方法として、比較部２２５は、出力部２４０を介して、撮像画像内の動体を示す画像や、異常な動きを示す動体であるか否かの判定をユーザに求めるメッセージなどを表示装置４００に表示する。また、比較部２２５は、音声通知などその他の通知方法を用いて当該動体の通知を行ってもよい。

【0042】

ここで、上記の処理によって異常な動きを示す動体の撮像画像と移動量および移動方向との関係について、図６（Ａ）～図６（Ｅ）を参照しながら説明する。図６（Ａ）～図６（Ｃ）は、ネットワークカメラ３００による撮像画像を時系列（時刻ｔ－１、ｔ、ｔ＋１）に並べた例を示す。この例では、ネットワークカメラ３００が設置された家屋に不審者６０１が近づくことを想定する。これらネットワークカメラ３００の撮像画像は、上記のステップＳ３０２、Ｓ３０３の処理によって、画像上で不審者６０１が移動した範囲と重なる画素のブロックの移動量は、それ以外の範囲の画素のブロックの移動量よりも大きい値として算出される。図６（Ｄ）に、この例で算出される移動量の一例を示す。図６（Ｄ）の網掛け部分のブロックの移動量が、画像上で不審者６０１が移動した範囲と重なる画素のブロックの移動量である。また、上記のステップＳ３０２、Ｓ３０３の処理によって、画像上で不審者６０１が移動した範囲と重なる画素のブロックの移動方向が図６（Ｅ）のように算出される。

【0043】

そして、算出された図６（Ｄ）、図６（Ｅ）に示す移動量と移動方向と、それぞれの定常データ図５（Ｂ）、図５（Ｃ）に示す移動量と移動方向との偏差を求めることで、定常データの移動量との偏差が閾値よりも大きいブロックおよび移動方向との偏差が閾値よりも大きいブロックを、異常な動きを示す動体が存在するブロックとみなすことができる。移動量と移動方向に用いる閾値は、ブロックごとに異なる閾値が採用されてよく、閾値の大きさも適宜設定されてよい。

【0044】

このように、本実施形態によれば、ネットワークカメラの撮像画像を基に蓄積した移動量と移動方向を基に、画像内の異常な動きを示す動体をユーザに通知することができ、従来のように異常な動きを示す動体の判定に用いる膨大な辞書データや辞書データを用いた比較などの画像処理が不要となるため、従来に比べて画像処理を抑えて異常な動きを示す動体を検出することができる。

【0045】

ステップＳ４０３において、ユーザは、表示装置４００に表示される動体やメッセージなどを基に、異常な動きを示す動体であるか否かを判定し、図示しないマウスやキーボード、マイクなどの入力装置を操作して判定結果をＰＣ２００に入力する。

【0046】

次に、ステップＳ４０４において、判定部２２６は、ユーザ入力の受付手段としてステップＳ４０３においてユーザが入力した動体の判定結果を受け付け、ユーザが異常な動きを示す動体である（「異常あり」）と判定した場合は（Ｓ４０４：ＹＥＳ）処理をステップＳ４０５に進め、ユーザが異常な動きを示す動体ではない（「異常なし」）と判定した場合は（Ｓ４０４：ＮＯ）処理をＳ４０６に進める。

【0047】

ステップＳ４０５において、判定部２２６は、判定の対象となった動体が異常な動きを示す動体であるという判定結果を記憶部２３０に記憶して、本サブルーチンの処理を終了する。また、ステップＳ４０６において、判定部２２６は、判定の対象となった動体が異常な動きを示す動体ではないという判定結果を記憶部２３０に記憶して、本サブルーチンの処理を終了する。

【0048】

次に、図３のステップＳ３０６において、制御部２２０は、ステップＳ３０３において移動量および移動方向が算出された動体に対する判定部２２６による判定結果が異常なしであるか否かを判定する。制御部２２０は、判定部２２６による判定結果が異常なしである場合は（Ｓ３０６：ＹＥＳ）、処理をＳ３０７に進める。一方、制御部２２０は、判定部２２６による判定結果が異常ありである場合は（Ｓ３０６：ＮＯ）、処理をＳ３０１に戻す。Ｓ３０７において、制御部２２０は、ステップＳ３０３において算出した移動量および移動方向のデータと記憶部２３０に記憶されている定常データとを合わせたデータ群から、各画素の移動量および移動方向の最頻値を選択し、選択した最頻値で定常データを更新する。制御部２２０は、更新した定常データを記憶部２３０に記憶する。

【0049】

本実施形態では、ステップＳ３０６、Ｓ３０７の処理により、撮像画像において動体が異常な動作を示す動体ではないと判定された場合に限り定常データが更新されるため、異常な動作を示さない動体に関するデータが定常データに蓄積されていく。また、ステップＳ４０３～Ｓ４０６の処理により、ＰＣ２００によって異常な動きを示すと誤って判定された場合に、ユーザ入力によるフィードバックを受け付けて、動体の動きに異常がないとして定常データが更新される。このように、本実施形態によれば、定常データをより確度の高い判定基準を示すデータとして構築することができる。

【0050】

本実施形態の画像処理装置によれば、カメラから入力される撮像画像を基に、異常な動きを示す動体を検出するための定常データが蓄積される。このため、本実施形態の画像処理装置よる動体検出の処理負荷は、従来技術のように種々の使用環境に応じてあらかじめ膨大な辞書データを作成して使用する場合よりも軽減されることが期待できる。

【0051】

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記の各実施形態の構成および処理などは互いに組み合わせられてもよい。また、上記の実施形態では、動体の移動情報として動体の移動量と移動方向を用いることを想定しているが、移動量と移動方向の少なくとも一方を移動情報として用いてもよい。例えば、動体の移動量を用いる場合は、通常は進入しない領域に動体が移動したこと（立ち入り禁止区域内への進入など）を検出し、動体の移動方向を用いる場合は、通常とは異なる方向に動体が移動したこと（人や車の逆走など）を検出し、動体の移動量と移動方向とを用いる場合は、通常とは異なる挙動（うろつきなど）を示す動体を検出することができる。

【0052】

また、上記の実施形態のステップＳ４０２の判定では、移動量の偏差と移動方向の偏差のいずれかが閾値よりも大きい場合に、異常な動きを示す動体のユーザ通知を行うが、こ
れに代えて、移動量の偏差と移動方向の偏差が共にそれぞれの閾値よりも大きい場合に、ユーザ通知を行ってもよい。また、上記の実施形態において、ステップＳ４０３、Ｓ４０４の処理を省略して、ステップＳ４０２の判定結果を基にＳ４０５、Ｓ４０６において異常な動きを示す動体であるか否かを決定してもよい。

【0053】

また、上記の実施形態において、撮像画像内の動体の検出処理に、周知の人体検出技術や一般物体認識技術を組み合わせることで、撮像画像における監視対象を人や物体だけに絞り込むことができる。これにより、撮像画像に写り込む樹木の揺れなど、監視対象とは無関係の動体の動きを排除できるため、異常な動きを示す動体の検出精度がさらに高まることが期待できる。

【0054】

＜付記１＞
カメラによって撮像された撮像画像を時系列で取得する画像取得手段（２１０）と、
前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積手段（２３０）と、
前記画像取得手段によって取得された時系列の撮像画像から、動体の移動情報を算出する算出手段（２２２）と、
前記算出手段によって算出された動体の移動情報と、前記蓄積手段によって蓄積された動体の移動情報とを比較する比較手段（２２５）と、
前記比較手段による動体の移動情報の比較結果に基づいて、前記比較手段による比較の対象となった動体が異常な動きを示すか否かを判定する判定手段（２２６）と、
前記判定手段による判定結果を出力する出力手段（２４０）と、
を有することを特徴とする画像処理装置。

【0055】

＜付記２＞
カメラによって撮像された撮像画像を時系列で取得する画像取得ステップ（Ｓ３０１）と、
前記撮像画像内の動体の時系列の移動情報を蓄積する蓄積ステップ（Ｓ３０４、Ｓ３０７）と、
前記画像取得ステップによって取得された時系列の撮像画像から、動体の移動情報を算出する算出ステップ（Ｓ３０３）と、
前記算出ステップによって算出された動体の移動情報と、前記蓄積ステップによって蓄積された動体の移動情報とを比較する比較ステップ（Ｓ３０５）と、
前記比較ステップによる動体の移動情報の比較結果に基づいて、前記比較ステップによる比較の対象となった動体が異常な動きを示すか否かを判定する判定ステップ（Ｓ４０２）と、
前記判定ステップによる判定結果を出力する出力ステップ（Ｓ４０３）と、
を有することを特徴とする画像処理方法。

【符号の説明】

【0056】

１００：画像処理装置 １０１：画像取得部 １０２：異常判定部 １０３：出力部
２００：ＰＣ（画像処理装置）
２１０：入力部 ２３０：記憶部 ２４０：出力部
２２０：制御部
２２２：フレーム間差分算出部
２２３：移動情報算出部
２２５：比較部
２２６：判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】