特許 6396051 エリア状態推定装置、エリア状態推定方法、プログラムおよび環境制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6396051

(24)【登録日】2018年9月7日

(45)【発行日】2018年9月26日

(54)【発明の名称】エリア状態推定装置、エリア状態推定方法、プログラムおよび環境制御システム

(51)【国際特許分類】

   G01V 8/10 20060101AFI20180913BHJP

【ＦＩ】

   G01V8/10 S

【請求項の数】11

【全頁数】29

(21)【出願番号】特願2014-63118(P2014-63118)

(22)【出願日】2014年3月26日

(65)【公開番号】特開2015-184233(P2015-184233A)

(43)【公開日】2015年10月22日

【審査請求日】2017年2月23日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】西行 健太

【審査官】 田中 秀直

(56)【参考文献】

【文献】 特開２０１０−２５６０４５（ＪＰ，Ａ）

【文献】 特開２０１３−０９６９４７（ＪＰ，Ａ）

【文献】 特開２００８−０７７３６１（ＪＰ，Ａ）

【文献】 特開２０１２−２０９２１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｖ １／００−１３／００

(57)【特許請求の範囲】

【請求項1】

入力画像および背景画像を用いて、前記入力画像における複数のエリアのそれぞれで動体を検出するエリア単位動体検出部と、
前記エリアのエリア状態を推定するエリア状態推定部と
を備え、
前記エリア状態推定部は、
(i) 前記エリアの一つたる注目エリアにおいて、第１期間にわたって動体が検出されたときに、前記注目エリアのエリア状態を不在状態から進入状態へと遷移させ、
(ii)前記進入状態において第２期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を滞在状態へと遷移させ、
(iii)前記滞在状態において第３期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を退去状態へと遷移させ、
(iv)前記退去状態において第４期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を不在状態へと遷移させ、
前記エリア状態推定部は、(iii')前記滞在状態において前記第３期間にわたって前記注目エリアに動体が検出されず、かつ、前記注目エリアの周囲に位置する周囲エリアのエリア状態が前記進入状態であるときに、前記注目エリアのエリア状態を前記滞在状態から前記退去状態へと遷移させる、エリア状態推定装置。

【請求項2】

前記エリア状態推定部は、(v)前記進入状態において第５期間にわたって前記注目エリアに動体が検出されないことのみを条件として、前記エリア状態を前記進入状態から前記退去状態へと遷移させる、請求項１に記載のエリア状態推定装置。

【請求項3】

前記エリア状態推定部は、(vi)前記退去状態において前記第１期間と前記第２期間との和よりも短い第６期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を前記退去状態から前記滞在状態または前記進入状態へと遷移させる、請求項１または２に記載のエリア状態推定装置。

【請求項4】

前記エリア単位動体検出部は、前記エリア状態に応じた検出感度で前記注目エリアにおいて動体を検出する、請求項１から３のいずれか一つに記載のエリア状態推定装置。

【請求項5】

入力画像および背景画像を用いて、前記入力画像における複数のエリアのそれぞれで動体を検出するエリア単位動体検出部と、
前記エリアのエリア状態を推定するエリア状態推定部と
を備え、
前記エリア状態推定部は、
(i)前記エリアの一つたる注目エリアにおいて、第１期間にわたって動体が検出されたときに、前記注目エリアのエリア状態を不在状態から進入状態へと遷移させ、
(ii)前記進入状態において第２期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を滞在状態へと遷移させ、
(iii)前記滞在状態において第３期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を退去状態へと遷移させ、
(iv)前記退去状態において第４期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を不在状態へと遷移させ、
前記エリア単位動体検出部は、前記エリア状態に応じた検出感度で前記注目エリアにおいて動体を検出し、
前記エリア単位動体検出部は、前記エリア状態が前記退去状態である前記エリアにおける検出感度を、前記エリア状態が前記不在状態、前記進入状態または前記滞在状態である前記エリアにおける検出感度よりも高く設定する、エリア状態推定装置。

【請求項6】

入力画像および背景画像を用いて、前記入力画像における複数のエリアのそれぞれで動体を検出するエリア単位動体検出部と、
前記エリアのエリア状態を推定するエリア状態推定部と
を備え、
前記エリア状態推定部は、
(i)前記エリアの一つたる注目エリアにおいて、第１期間にわたって動体が検出されたときに、前記注目エリアのエリア状態を不在状態から進入状態へと遷移させ、
(ii)前記進入状態において第２期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を滞在状態へと遷移させ、
(iii)前記滞在状態において第３期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を退去状態へと遷移させ、
(iv)前記退去状態において第４期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を不在状態へと遷移させ、
前記エリア単位動体検出部は、前記エリア状態に応じた検出感度で前記注目エリアにおいて動体を検出し、
前記エリア単位動体検出部は、前記エリア状態が進入状態である前記エリアを周囲に有する前記エリアにおける検出感度を、前記エリア状態が不在状態、進入状態または滞在状態である前記エリアにおける検出感度よりも高く設定する、エリア状態推定装置。

【請求項7】

前記入力画像から得られる画像情報の登録判定期間における変化が基準値よりも小さいときに、前記背景画像の背景画像情報として登録する背景モデル更新部を更に備え、
前記エリア状態推定部は、
(I)前記エリアの前記エリア状態が前記進入状態に遷移したときに、その旨を示す進入フラグを前記登録判定期間よりも長い保持期間にわたって保持し、
(II)前記滞在状態において前記第３期間にわたって前記注目エリアに動体が検出されず、かつ、前記周囲エリアについての前記進入フラグが保持されているときに、前記注目エリアの前記エリア状態を前記退去状態または前記不在状態へと遷移させる、請求項１から６のいずれか一つに記載のエリア状態推定装置。

【請求項8】

前記エリア状態推定部は、(I')前記周囲エリアの前記エリア状態が前記進入状態へと遷移し、かつ、その遷移の前から、前記注目エリアの前記エリア状態が滞在状態を維持しているときに、前記周囲エリアについての前記進入フラグを保持し、
前記エリア状態推定装置は、
前記注目エリアに属する前記画像情報の前記登録判定期間を、他の前記エリアに属する前記画像情報の前記登録判定期間よりも短く設定する判定期間調整部を更に備える、請求項７に記載のエリア状態推定装置。

【請求項9】

請求項１から８のいずれか一つに記載のエリア状態推定装置と、
前記エリア状態に応じて前記エリアの環境を制御する環境制御装置と
を備える、環境制御システム。

【請求項10】

（ａ）入力画像および背景画像を用いて、前記入力画像における複数のエリアのそれぞれで動体を検出する工程と、
（ｂ）前記エリアの一つたる注目エリアにおいて、第１期間にわたって動体が検出されたときに、前記注目エリアのエリア状態を不在状態から進入状態へと遷移させる工程と、
（ｃ）前記進入状態において第２期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を滞在状態へと遷移させる工程と、
（ｄ）前記滞在状態において第３期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を退去状態へと遷移させる工程と、
（ｆ）前記退去状態において第４期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を前記不在状態へと遷移させる工程と
を備え、
工程（ｄ）において、前記滞在状態において前記第３期間にわたって前記注目エリアに動体が検出されず、かつ、前記注目エリアの周囲に位置する周囲エリアのエリア状態が前記進入状態であるときに、前記注目エリアのエリア状態を前記滞在状態から前記退去状態へと遷移させる、エリア状態推定方法。

【請求項11】

入力画像における複数のエリアのエリア状態を推定するエリア状態推定装置に、
（ａ）入力画像および背景画像を用いて、前記入力画像における複数のエリアのそれぞれで動体を検出する工程と、
（ｂ）前記エリアの一つたる注目エリアにおいて、第１期間にわたって動体が検出されたときに、前記注目エリアのエリア状態を不在状態から進入状態へと遷移させる工程と、
（ｃ）前記進入状態において第２期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を滞在状態へと遷移させる工程と、
（ｄ）前記滞在状態において第３期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を退去状態へと遷移させる工程と、
（ｆ）前記退去状態において第４期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を前記不在状態へと遷移させる工程と
を実行させ、
前記工程（ｄ）において、前記滞在状態において前記第３期間にわたって前記注目エリアに動体が検出されず、かつ、前記注目エリアの周囲に位置する周囲エリアのエリア状態が前記進入状態であるときに、前記注目エリアのエリア状態を前記滞在状態から前記退去状態へと遷移させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、エリア状態推定装置、エリア状態推定方法、プログラムおよび環境制御システムに関する。

【背景技術】

【0002】

例えばオフィス内で人物を検知し、その状態に応じて照明や空調を制御することへの要求がある。従来では赤外線を用いて人物を検知する装置が多く採用されていたが、この装置では検知範囲が狭かったり、検知する対象エリアの温度が限られたりするなどの課題があった。そこで、画像センサ（カメラ）を用いた人検知システムが提案されている。この人検知システムにおいては、画像センサで撮像した撮像画像を処理して動体（例えば人物）が検出される。

【0003】

なお本発明に関連する技術として、特許文献１，２および非特許文献１が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５２９４５６２号公報

【特許文献2】特許第４７１５６０４号公報

【非特許文献】

【0005】

【非特許文献1】R.Mester,T.Aach,and L.Dumbgen,“Illumination-invariant change detection using a statistical colinearity criterion”Proceedings of the 23rd DAGM-Symposium on Pattern Recognition,Springer-Verlag(2001)170-177

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来では動体の存否を判定しているだけであり、これでは動体の状態に応じた細かな制御（例えば照明制御または空調制御など）を行なうことが難しい。

【0007】

そこで、本発明は、エリアごとに動体の状態を推定することで、エリアに対するより細かな制御に寄与するエリア状態推定部を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明にかかるエリア状態推定装置の一態様は、入力画像および背景画像を用いて、前記入力画像における複数のエリアのそれぞれで動体を検出するエリア単位動体検出部と、前記エリアのエリア状態を推定するエリア状態推定部とを備え、前記エリア状態推定部は、(i) 前記エリアの一つたる注目エリアにおいて、第１期間にわたって動体が検出されたときに、前記注目エリアのエリア状態を不在状態から進入状態へと遷移させ、(ii)前記進入状態において第２期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を滞在状態へと遷移させ、(iii)前記滞在状態において第３期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を退去状態へと遷移させ、(iv)前記退去状態において第４期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を不在状態へと遷移させ、前記エリア状態推定部は、(iii')前記滞在状態において前記第３期間にわたって前記注目エリアに動体が検出されず、かつ、前記注目エリアの周囲に位置する周囲エリアのエリア状態が前記進入状態であるときに、前記注目エリアのエリア状態を前記滞在状態から前記退去状態へと遷移させる。

【0010】

また、本発明にかかるエリア状態推定装置の一態様は、前記エリア状態推定部は、(v)前記進入状態において第５期間にわたって前記注目エリアに動体が検出されないことのみを条件として、前記エリア状態を前記進入状態から前記退去状態へと遷移させる。

【0011】

また、本発明にかかるエリア状態推定装置の一態様は、前記エリア状態推定部は、(vi)前記退去状態において前記第１期間と前記第２期間との和よりも短い第６期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を前記退去状態から前記滞在状態または前記進入状態へと遷移させる。

【0012】

また、本発明にかかるエリア状態推定装置の一態様は、前記エリア単位動体検出部は、前記エリア状態に応じた検出感度で前記注目エリアにおいて動体を検出する。

【0013】

また、本発明にかかるエリア状態推定装置の一態様は、入力画像および背景画像を用いて、前記入力画像における複数のエリアのそれぞれで動体を検出するエリア単位動体検出部と、前記エリアのエリア状態を推定するエリア状態推定部とを備え、前記エリア状態推定部は、(i)前記エリアの一つたる注目エリアにおいて、第１期間にわたって動体が検出されたときに、前記注目エリアのエリア状態を不在状態から進入状態へと遷移させ、(ii)前記進入状態において第２期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を滞在状態へと遷移させ、(iii)前記滞在状態において第３期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を退去状態へと遷移させ、(iv)前記退去状態において第４期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を不在状態へと遷移させ、前記エリア単位動体検出部は、前記エリア状態に応じた検出感度で前記注目エリアにおいて動体を検出し、前記エリア単位動体検出部は、前記エリア状態が前記退去状態である前記エリアにおける検出感度を、前記エリア状態が前記不在状態、前記進入状態または前記滞在状態である前記エリアにおける検出感度よりも高く設定する。

【0014】

また、本発明にかかるエリア状態推定装置の一態様は、入力画像および背景画像を用いて、前記入力画像における複数のエリアのそれぞれで動体を検出するエリア単位動体検出部と、前記エリアのエリア状態を推定するエリア状態推定部とを備え、前記エリア状態推定部は、(i)前記エリアの一つたる注目エリアにおいて、第１期間にわたって動体が検出されたときに、前記注目エリアのエリア状態を不在状態から進入状態へと遷移させ、(ii)前記進入状態において第２期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を滞在状態へと遷移させ、(iii)前記滞在状態において第３期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を退去状態へと遷移させ、(iv)前記退去状態において第４期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を不在状態へと遷移させ、前記エリア単位動体検出部は、前記エリア状態に応じた検出感度で前記注目エリアにおいて動体を検出し、前記エリア単位動体検出部は、前記エリア状態が前記退去状態である前記エリアにおける前記エリア単位動体検出部は、前記エリア状態が進入状態である前記エリアを周囲に有する前記エリアにおける検出感度を、前記エリア状態が不在状態、進入状態または滞在状態である前記エリアにおける検出感度よりも高く設定する。

【0015】

また、本発明にかかるエリア状態推定装置の一態様は、前記入力画像から得られる画像情報の登録判定期間における変化が基準値よりも小さいときに、前記背景画像の背景画像情報として登録する背景モデル更新部を更に備え、前記エリア状態推定部は、(I)前記エリアの前記エリア状態が前記進入状態に遷移したときに、その旨を示す進入フラグを前記登録判定期間よりも長い保持期間にわたって保持し、(II)前記滞在状態において前記第３期間にわたって前記注目エリアに動体が検出されず、かつ、前記周囲エリアについての前記進入フラグが保持されているときに、前記注目エリアの前記エリア状態を前記退去状態または前記不在状態へと遷移させる。

【0016】

また、本発明にかかるエリア状態推定装置の一態様は、前記エリア状態推定部は、(I')前記周囲エリアの前記エリア状態が前記進入状態へと遷移し、かつ、その遷移の前から、前記注目エリアの前記エリア状態が滞在状態を維持しているときに、前記周囲エリアについての前記進入フラグを保持し、前記エリア状態推定装置は、前記注目エリアに属する前記画像情報の前記登録判定期間を、他の前記エリアに属する前記画像情報の前記登録判定期間よりも短く設定する判定期間調整部を更に備える。

【0017】

本発明にかかる環境制御システムの態様は、エリア状態推定装置と、前記エリア状態に応じて前記エリアの環境を制御する環境制御装置とを備える。

【0018】

本発明にかかるエリア状態推定方法の一態様は、（ａ）入力画像および背景画像を用いて、前記入力画像における複数のエリアのそれぞれで動体を検出する工程と、（ｂ）前記エリアの一つたる注目エリアにおいて、第１期間にわたって動体が検出されたときに、前記注目エリアのエリア状態を不在状態から進入状態へと遷移させる工程と、（ｃ）前記進入状態において第２期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を滞在状態へと遷移させる工程と、（ｄ）前記滞在状態において第３期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を退去状態へと遷移させる工程と、（ｆ）前記退去状態において第４期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を前記不在状態へと遷移させる工程とを備え、工程（ｄ）において、前記滞在状態において前記第３期間にわたって前記注目エリアに動体が検出されず、かつ、前記注目エリアの周囲に位置する周囲エリアのエリア状態が前記進入状態であるときに、前記注目エリアのエリア状態を前記滞在状態から前記退去状態へと遷移させる。

【0019】

本発明にかかるプログラムの一態様は、入力画像における複数のエリアのエリア状態を推定するエリア推定状態装置に、（ａ）入力画像および背景画像を用いて、前記入力画像における複数のエリアのそれぞれで動体を検出する工程と、（ｂ）前記エリアの一つたる注目エリアにおいて、第１期間にわたって動体が検出されたときに、前記注目エリアのエリア状態を不在状態から進入状態へと遷移させる工程と、（ｃ）前記進入状態において第２期間にわたって前記注目エリアに動体が検出されたときに、前記注目エリアのエリア状態を滞在状態へと遷移させる工程と、（ｄ）前記滞在状態において第３期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を退去状態へと遷移させる工程と、（ｆ）前記退去状態において第４期間にわたって前記注目エリアに動体が検出されないときに、前記注目エリアのエリア状態を前記不在状態へと遷移させる工程とを実行させ、工程（ｄ）において、前記滞在状態において前記第３期間にわたって前記注目エリアに動体が検出されず、かつ、前記注目エリアの周囲に位置する周囲エリアのエリア状態が前記進入状態であるときに、前記注目エリアのエリア状態を前記滞在状態から前記退去状態へと遷移させる。

【発明の効果】

【0020】

進入状態と滞在状態とを区別して動体の存在を検出し、退去状態と不在状態とを区別して動体の不在を検出する。よってより細かい動体の状態を知ることができる。

【図面の簡単な説明】

【0021】

【図1】画像処理装置の概念的な構成の一例を示すブロック図である。

【図2】入力画像の一例を模式的に示す図である。

【図3】画像処理装置の概念的な構成の一例を示すブロック図である。

【図4】画像処理装置の動作の一例を示すフローチャートである。

【図5】動体検出部の動作の一例を示すフローチャートである。

【図6】コードブックとコードワードとを模式的に示す図である。

【図7】コードワードに含まれる情報の一例を模式的に示す図である。

【図8】動体検出部の動作を説明するための図である。

【図9】画像ベクトルと背景ベクトルとの関係を示す図である。

【図10】エリア在／不在判定部の動作の一例を示すフローチャートである。

【図11】エリア状態推定部の動作の一例を示すフローチャートである。

【図12】エリア状態の遷移図の一例を示す図である。

【図13】エリア状態が滞在状態から退去状態へと遷移する様子を示す図である。

【図14】入力画像とエリア状態画像との一例を模式的に示す図である。

【図15】画像処理装置の概念的な構成の一例を示すブロック図である。

【図16】画像処理装置の概念的な構成の一例を示すブロック図である。

【図17】背景モデル更新処理部の動作の一例を示すフローチャートである。

【図18】エリア状態が変化する様子の一例を示す図である。

【図19】画像処理装置の概念的な構成の一例を示すブロック図である。

【発明を実施するための形態】

【0022】

第１の実施の形態．
図１は第１の実施の形態にかかる画像処理部（エリア状態推定装置）１の一例を概念的に示すブロック図である。図１に示されるように、画像処理部１には画像入力部２から入力画像Ｄ１が入力される。画像入力部２は外部から入力される入力画像Ｄ１を画像処理部１に入力する。入力画像Ｄ１は撮像部（不図示）によって撮像された撮像画像である。

【0023】

図２は入力画像Ｄ１の一例を模式的に示している。この入力画像Ｄ１にはある部屋が表れている。なお図２の入力画像Ｄ１は撮像部が全方位カメラである場合の一例である。よって入力画像Ｄ１の中心から遠ざかるにしたがって、物体が湾曲して表される。例えば入力画像Ｄ１において端に位置する壁１０１が、大きく湾曲して表されている。実際には壁１０１は湾曲しない平面形状を有している。また入力画像Ｄ１の中心から遠い領域は入力画像Ｄ１においてより小さく表示される。

【0024】

図２の例示では、机１０２と対になって設けられる椅子（不図示）に人１０３が座っており、人１０３の上半身が表れている。人１０３の下半身および椅子は机１０２によって隠れており、入力画像Ｄ１においては表れていない。

【0025】

画像処理部１は、画像入力部２から入力される入力画像Ｄ１に対して様々な画像処理を行う。画像処理部１は、ＣＰＵ１００と記憶部１１０を備えている。記憶部１１０は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等の、ＣＰＵ１００が読み取り可能な非一時的な記録媒体で構成されている。記憶部１１０には制御プログラム１１１が記憶されている。ＣＰＵ１００が記憶部１１０内の制御プログラム１１１を実行することによって、画像処理部１には後述する機能ブロックが形成される。

【0026】

なお記憶部１１０は、ＲＯＭおよびＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていても良い。記憶部１１０は、例えば、小型のハードディスクドライブおよびＳＳＤ（Solid State Drive）等を備えていても良い。

【0027】

図３に示すように、画像処理部１においては、動体検出部１０とエリア在／不在判定部２０とエリア状態推定部３０との機能ブロックが形成される。なお、これらの機能ブロックは、ＣＰＵ１００が制御プログラム１１１を実行することによって実現されるのではなく、論理回路などを用いたハードウェア回路で実現されても良い。

【0028】

図４は、画像処理部１の概略動作の一例を示すフローチャートである。ステップｓ１１において画像入力部２から入力画像Ｄ１が画像処理部１に入力されると、当該入力画像Ｄ１を処理対象として、ステップｓ１２〜ｓ１４までの一連の処理が実行される。入力画像Ｄ１は所定の時間ごとに順次に入力されるので、図４の動作は繰り返し実行される。

【0029】

＜画素単位動体検出＞
ステップｓ１２において動体検出部１０は入力画像Ｄ１と背景画像Ｄ０とを入力する（図３も参照）。背景画像Ｄ０は撮像部によって撮影された画像であるという点で入力画像Ｄ１と共通するものの、動体（例えば人１０３）を含まない画像である。この背景画像Ｄ０は例えば予め撮像されて背景モデル記憶部３に格納される。背景モデル記憶部３は、例えばフラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）またはハードディスク（ＨＤ）等の書き換え可能な非一次的な記録媒体で構成される。

【0030】

動体検出部１０は背景画像Ｄ０と入力画像Ｄ１とを用いて画素ごとに動体を検出する。より詳細には、入力画像Ｄ１と背景画像Ｄ０との差異が大きい画素を、動体を表す画素（以下、動体画素とも呼ぶ）であると判定して、動体を検出する。このような動体検出の手法としては、例えばCodeBook、Colinear、統計的背景差分など任意の手法を採用することができる。

【0031】

例えば簡単な動体検出としては、入力画像Ｄ１と背景画像Ｄ０との画素値の差を画素毎に算出し、その差が所定の基準値よりも大きい画素を、動体画素として検出する。

【0032】

或いは、入力画像Ｄ１と背景画像Ｄ０との差異を所定の画像ブロック毎に算出することもできる。ここでいう画像ブロックとは、入力画像Ｄ１（背景画像Ｄ０）を複数の領域に分割したものであり、例えば入力画像Ｄ１および背景画像Ｄ０において、縦３×横３の計９個の画素を有する画像ブロックである。以下、この手法の具体例について説明する。

【0033】

図５は動体検出処理の一例を示すフローチャートである。図５に示されるように、ステップｓ１２１において、動体検出部１０は、上述のステップｓ１１で入力された処理対象の入力画像Ｄ１における、ある画像ブロック（以後、「注目画像ブロック」と呼ぶことがある）に対して動体の検出を行う。つまり、動体検出部１０は、注目画像ブロックに動体が表れているか否かを検出する。より詳細には、動体検出部１０は入力画像Ｄ１の注目画像ブロックの画像情報と、背景画像Ｄ０の注目画像ブロックの画像情報（以下では、背景画像情報とも呼ぶ）とが一致するか否かを判定する。これらが一致しない、即ちこれらの差が基準値よりも大きいと判定したときに、注目画像ブロックが動体を示す画像（以下では、動体画像とも呼ぶ）であると判定する。注目画像ブロックの画像情報と背景画像情報とが一致するか否かの具体的な判定方法については後に述べる。

【0034】

ステップｓ１２１が実行されると、ステップｓ１２２において、動体検出部１０は、ステップｓ１２１での動体検出の結果を記憶する。そして、動体検出部１０は、ステップｓ１２３において、全ての画像ブロックについて処理が行われた否か、つまり、全ての画像ブロックを注目画像ブロックに設定したか否かを判定する。ステップｓ１２３での判定の結果、処理が行われていない画像ブロックが存在する場合には、動体検出部１０は、未だ処理が行われていない画像ブロックを新たな注目画像ブロックとして、ステップｓ１２１以降を実行する。一方で、ステップｓ１２３での判定の結果、全ての画像ブロックについて処理が行われている場合には、つまり、入力画像Ｄ１の全領域に対して動体の検出が完了している場合には、動体検出部１０は動体検出処理を終了する。

【0035】

＜動体検出の詳細＞
次にステップｓ１２１での動体検出の具体的手法について説明する。ここでは、複数の背景画像Ｄ０を用いる。例えば日中および夜間では明るさが相違するので、背景画像として明るさが異なる複数の画像が背景モデル記憶部３に記録される。その他、背景画像として登録すべき複数の画像も背景画像Ｄ０として背景モデル記憶部３に記録される。

【0036】

ここでは上述のように画像ブロック毎に入力画像Ｄ１と背景画像Ｄ０とを比較するので、複数の背景画像Ｄ０を画像ブロックごとに取り扱う。そこで、各画像ブロックに対応したコードブックＣＢ（図６参照）と、各コードブックＣＢに含まれるコードワードＣＷ（図６参照）という概念を導入する。コードブックＣＢは画像ブロックと同じ数だけ存在する。図６の例示では、図示の煩雑を避けるために、縦３個および横４個の計１２個のコードブックＣＢが示されている。各コードブックＣＢに属するコードワードＣＷは背景画像Ｄ０と同じ数だけ存在する。図６の例示では、３つの背景画像Ｄ０ａ〜Ｄ０ｃが背景モデルを構成しているので、各コードブックＣＢは３個のコードワードＣＷ（ＣＷ１〜ＣＷ３）を含んでいる。各コードワードＣＷは、図７に示すように、自身が属するコードブックＣＢに対応する画像ブロックにおける各背景画像Ｄ０の画像情報（背景画像情報）を含んでいる。この背景画像情報は動体検出に用いられる。またコードワードＣＷは最新一致時刻Ｔｅとコードワード生成時刻Ｔｉとを含んでいる。これらは第３の実施の形態で述べる背景画像情報の追加或いは更新に用いられる。

【0037】

図６において砂地のハッチングが示されているコードブックＣＢには、背景画像Ｄ０ａ〜Ｄ０ｃに基づいてそれぞれ生成された３つのコードワードＣＷ１〜ＣＷ３が含まれている。コードブックＣＢに含まれるコードワードＣＷ１は、背景画像Ｄ０ａにおける、当該コードブックＣＢが対応する画像ブロックに基づいて生成される。コードブックＣＢに含まれるコードワードＣＷ２は、背景画像Ｄ０ｂにおける、当該コードブックＣＢが対応する画像ブロックに基づいて生成される。そして、コードブックＣＢに含まれるコードワードＣＷ３は、背景画像Ｄ０ｃにおける、当該コードブックＣＢが対応する画像ブロックに基づいて生成される。

【0038】

以下では、注目画像ブロックに対応するコードブックＣＢを、対応コードブックＣＢと呼ぶことがあり、対応コードブックＣＢに属するコードワードＣＷを、対応コードワードＣＷと呼ぶことがある。

【0039】

ここでは、入力画像Ｄ１の注目画像ブロックと背景画像Ｄ０の注目画像ブロックとの差異を考慮するに当たって、次で説明するベクトルを用いる。図８は、入力画像Ｄ１の注目画像ブロック及び背景モデルの対応コードワードＣＷのそれぞれからベクトルを抽出する様子を表した図である。図９は、入力画像Ｄ１の注目画像ブロックから抽出されたベクトルと、背景モデルの対応コードワードＣＷから抽出されたベクトルとの関係を示す図である。

【0040】

本実施の形態では、入力画像Ｄ１中の注目画像ブロックの画像情報がベクトルとして扱われる。また、背景モデル中の各対応コードワードＣＷについて、当該対応コードワードＣＷに含まれる背景画像情報がベクトルとして扱われる。そして、注目画像ブロックの画像情報についてのベクトルと、各対応コードワードＣＷの背景画像情報についてのベクトルとが、同じ方向を向いているか否かに基づいて、注目画像ブロックが動体画像であるか否かが判定される。この２種類のベクトルが同じ方向を向いている場合には、注目画像ブロックの画像情報と、各対応コードワードＣＷの背景画像情報とは一致すると考えることができる。したがって、この場合には、入力画像Ｄ１中の注目画像ブロックは、背景を示す画像と変わらず、動体画像ではないと判定される。一方、２種類のベクトルが同じ方向を向いていない場合には、注目画像ブロックの画像情報と、各対応コードワードＣＷの背景画像情報とは一致しないと考えることができる。したがって、この場合には、入力画像Ｄ１中の注目画像ブロックは、背景を示す画像ではなく、動体画像であると判定される。

【0041】

具体的には、動体検出部１０は、入力画像Ｄ１中の注目画像ブロックに含まれる複数の画素の画素値を成分とした画像ベクトルｘ_ｆを生成する。図８には、９個の画素を有する注目画像ブロック２１０の各画素の画素値を成分とした画像ベクトルｘ_ｆが示されている。図８の例では、各画素は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の画素値を有しているため、画像ベクトルｘ_ｆは、２７個の成分で構成されている。

【0042】

同様に、動体検出部１０は、背景モデルの対応コードブックＣＢに含まれる対応コードワードＣＷ中の背景画像情報を用いて、背景画像情報に関するベクトルである背景ベクトルを生成する。図８に示される対応コードワードの背景画像情報５１０には、９個の画素についての画素値が含まれている。したがって、当該９個の画素についての画素値を成分とした背景ベクトルｘ_ｂが生成される。背景ベクトルｘ_ｂについては、対応コードブックＣＢに含まれる複数のコードワードＣＷのそれぞれから生成される。したがって、一つの画像ベクトルｘ_ｆに対して複数の背景ベクトルｘ_ｂが生成される。

【0043】

上述のように、画像ベクトルｘ_ｆと各背景ベクトルｘ_ｂとが同じ方向を向いている場合、入力画像Ｄ１中の注目画像ブロックは、背景を示す画像と変わらないことになる。しかしながら、画像ベクトルｘ_ｆ及び各背景ベクトルｘ_ｂには、ある程度のノイズ成分が含まれていると考えられることから、画像ベクトルｘ_ｆと各背景ベクトルｘ_ｂとが完全に同じ方向を向いていなくても、入力画像Ｄ１中の注目画像ブロックは背景を示す画像であると判定することができる。

【0044】

そこで、本実施の形態では、画像ベクトルｘ_ｆ及び各背景ベクトルｘ_ｂに、ある程度のノイズ成分が含まれていることを考慮して、画像ベクトルｘ_ｆと各背景ベクトルｘ_ｂとが完全に同じ方向を向いていない場合であっても、入力画像Ｄ１中の注目画像ブロックは背景を示す画像であると判定する。

【0045】

画像ベクトルｘ_ｆ及び背景ベクトルｘ_ｂにノイズ成分が含まれていると仮定すると、真のベクトルｕに対する画像ベクトルｘ_ｆと背景ベクトルｘ_ｂとの関係は、図９のように表すことができる。本実施の形態では、画像ベクトルｘ_ｆと背景ベクトルｘ_ｂとが、どの程度同じ方向を向いているかを示す評価値として、以下の（１）で表される評価値Ｄ^２を考える。

【0046】

【数1】

【0047】

そして、行列Ｘを画像ベクトルｘ_ｆと背景ベクトルｘ_ｂとを用いて、式（２）のように表すと、評価値Ｄ^２は、２×２行列ＸＸ^Ｔの非ゼロの最小固有値となる。したがって、評価値Ｄ^２については解析的に求めることができる。なお、評価値Ｄ^２が２×２行列ＸＸ^Ｔの非ゼロの最小固有値となることについては、上記の非特許文献１に記載されている。

【0048】

【数2】

【0049】

上述のように、一つの画像ベクトルｘ_ｆに対して複数の背景ベクトルｘ_ｂが生成されることから、画像ベクトルｘ_ｆと背景ベクトルｘ_ｂとを用いて表される評価値Ｄ^２の値も、背景ベクトルｘ_ｂの数と同じ数だけ得られることになる。

【0050】

入力画像Ｄ１中の注目画像ブロックが動体画像であるか否かの判定は、評価値Ｄ^２の複数の値のうちの最小値Ｃと、評価値Ｄ^２の複数の値についての平均値μ及び標準偏差σとを用いて表される、以下の式（３）で示される動体判定式が用いられる。この動体判定式はチェビシェフ（Chebyshev）の不等式と呼ばれる。

【0051】

【数3】

【0052】

ここで、式（３）のｋは定数であって、入力画像Ｄ１を撮像する撮像部の撮像環境（撮像部が設置される環境）等に基づいて定められる値である。定数ｋは実験等によって決定される。

【0053】

動体検出部１０は、動体判定式（不等式）を満たす場合、画像ベクトルｘ_ｆと各背景ベクトルｘ_ｂとが同じ方向を向いていないと考えて、注目画像ブロックは、背景を示す画像ではなく、動体画像であると判定する。一方で、動体検出部１０は、動体判定式を満たさない場合、画像ベクトルｘ_ｆと各背景ベクトルｘ_ｂとは同じ方向を向いていると考えて、注目画像ブロックは動体画像ではなく、背景を示す画像であると判定する。

【0054】

このように、本実施の形態では、注目画像ブロックから得られた画像ベクトルの方向と、各対応コードワードＣＷから得られた背景ベクトルの方向とが、同じか否かに基づいて動体検出が行われているため、本実施の形態に係る動体検出手法は、日照変化あるいは照明変化などの明るさの変化に対して比較的頑健な動体検出手法である。

【0055】

そして、動体検出部１０は、動体画像であると判定した画像ブロックに属する画素を動体画素であると判定する。このような動体検出によって、その画素が動体を表しているのか否かを示す二値情報を、画素毎に得ることができる。以下では、全ての画素についての当該二値情報を含む情報を画素単位動体画像Ｄ２と呼ぶ。

【0056】

＜エリア在／不在判定＞
次にステップｓ１３（図４）においてエリア在／不在判定部２０に画素単位動体画像Ｄ２が入力され（図３）、これに基づいて複数のエリアのそれぞれで動体を検出する。

【0057】

ここでいう複数のエリアは、入力画像Ｄ１を分割して得られるエリアであり、例えば実際の面積が互いに等しくなるように設定される。より詳細には、例えば撮像対象の部屋を上から見て等面積で格子状に分割して得られるエリアを、複数のエリアとして採用することができる。撮像部が全方位カメラである場合には、このようなエリアの輪郭は、入力画像Ｄ１においては入力画像Ｄ１の中心から遠ざかるほど湾曲する。また各エリアは入力画像Ｄ１の中心から遠ざかるほど小さく示される。よって各エリアに含まれる画素の数は互いに相違する。

【0058】

このようなエリアの設定は実座標と入力画像Ｄ１における座標との対応関係に基づいて行なわれる。またこの対応関係は撮像部の仕様に基づいて予め了知することができる。エリアの設定情報は例えば記憶部１１０などに予め格納され、エリア在／不在判定部２０はこの設定情報に基づいて、各エリアを認識することができる。

【0059】

エリア在／不在判定部２０は、各エリアに含まれる動体画素の数（以下、動体画素数と呼ぶ）ＰＮ１に基づいて、各エリアに動体が表れているか否か、即ち各エリアに動体が存在するか否かを判定する。図１０はエリア在／不在判定部２０の概略動作の一例を示すフローチャートである。ステップｓ１３１においてエリア在／不在判定部２０は、あるエリア（以下、注目エリアとも呼ぶ）の動体画素数ＰＮ１が基準値ＰＮｒｅｆよりも大きいか否かを判定する。ステップｓ１３１にて肯定的な判定がなされたときには、ステップｓ１３２において当該注目エリアに動体が存在していると判定する。つまり注目エリアにおいて動体を検出する。ステップｓ１３１にて否定的な判定がなされたときには、ステップｓ１３３において当該注目エリアに動体が存在していないと判定する。つまり注目エリアにおいて動体を検出しない。

【0060】

なお撮像部が全方位カメラである場合には、各エリアに含まれる画素数ＰＮ２が互いに相違し得る。この場合、各エリアに含まれる画素数ＰＮ２が大きいほど大きい値を基準値ＰＮｒｅｆとして採用することが望ましい。例えば基準値ＰＮｒｅｆは画素数ＰＮ２に対して正の比例係数で比例する。これにより、各エリアにおいて等価な条件で動体を検出することができる。

【0061】

以上のように本実施の形態によれば、動体検出部１０によって、あるエリアに含まれる画素が動体画素であると判定されたとしても、そのエリアに含まれる動体画素数ＰＮ１が少ないときには、そのエリアには動体が存在していないと判定する。つまり動体のサイズが小さいものをノイズと判定して、動体が存在していないと判定するのである。これにより動体の検出精度を向上することができる。

【0062】

なお、このように動体検出部１０の動体検出の結果が、その後のエリア在／不在判定部２０によって覆され得ることに鑑みれば、動体検出部１０による動体検出は仮の検出であるとも把握できる。

【0063】

ステップｓ１３２またはステップｓ１３３の次に、ステップｓ１３４において、エリア在／不在判定部２０は全てのエリアを注目エリアに設定したか否かを判定する。つまり全てのエリアについて処理を終了したか否かを判定する。ステップｓ１３４にて否定的な判定がなされたときには、未処理のエリアを注目エリアとして再びステップｓ１３１以後の処理を実行する。一方でステップｓ１３４にて肯定的な判定がなされたときには、全てのエリアについて処理を終了した判定して、エリア在／不在判定処理を終了する。

【0064】

このようなエリア在／不在判定部２０の動作により、そのエリアに動体が存在しているか否かの二値情報を、エリア毎に得ることができる。以下では、全てのエリアについての当該二値情報を含む情報を、エリア単位動体画像Ｄ３と呼ぶ。

【0065】

＜エリア状態の推定＞
次にステップｓ１４（図４）においてエリア状態推定部３０にエリア単位動体画像Ｄ３が入力され（図３）、これに基づいて、各エリアの状態（以下、エリア状態と呼ぶ）を、少なくとも進入状態、滞在状態、退去状態および不在状態の４つの状態のいずれかに推定する。ここでいう進入状態とは動体が当該エリアに進入した状態を示し、滞在状態は当該エリアに動体が比較的長い期間にわたって滞在した状態を示し、退去状態は当該エリアから動体が退去した状態を示し、不在状態は当該エリアに動体が比較的長い期間にわたって不在となっている状態を示す。エリア状態推定部３０は、推定した情報（エリア毎にエリア状態を示す情報、以下、エリア状態画像Ｄ４と呼ぶ）を出力する。またこのエリア状態画像Ｄ４は例えば記憶部１１０に格納される。

【0066】

図１１はエリア状態推定処理を示すフローチャートである。ステップｓ１４１においてエリア状態推定部３０は注目エリアのエリア状態を推定する。具体的な推定方法は後に詳述する。ステップｓ１４２においてエリア状態推定部３０はその結果を記録し、ステップｓ１４３において全てのエリアを注目エリアに設定したか否かを判定する。つまり全てのエリアのエリア状態を推定したか否かを判定する。否定的な判定がなされると、未処理のエリアを注目エリアに設定してステップｓ１４１以後の処理を再び実行する。ステップｓ１４３において肯定的な判定がなされると、全てのエリアのエリア状態を推定したと判定して、エリア状態推定処理を終了する。

【0067】

図１２はエリア状態の遷移の一例を示す図である。まず注目エリアのエリア状態が不在状態である場合について説明する。このとき、エリア状態推定部３０はエリア単位動体画像Ｄ３に基づいて注目エリアに動体が存在するか否かを判定する。そして注目エリアに動体が存在すると判定されていると、エリア状態推定部３０は注目エリアのエリア状態を不在状態からノイズ状態に遷移させる。ノイズ状態とは、検出された動体がノイズであると判定した状態を示している。つまり、エリア在／不在判定部２０によってエリアに動体が存在していると判定されたとしても、所定期間にわたってそのエリアに動体が存在していると判定されない限り、そのエリアに動体が存在するとは判定しないのである。言い換えれば、短期間に動体が検出されたとしても、それはノイズであると判定して、エリア状態をノイズ状態に遷移させているのである。

【0068】

なお、このようにエリア在／不在判定部２０の動体検出の結果が、その後のエリア状態推定部３０によって覆され得ることに鑑みれば、エリア在／不在判定部２０による動体検出は仮の検出であるとも把握できる。

【0069】

ノイズ状態において、所定期間にわたって注目エリアに動体が存在していると判定されたときには、エリア状態推定部３０は注目エリアのエリア状態を進入状態へと遷移させる。つまり、順次に入力される所定枚のエリア単位動体画像Ｄ３のいずれにおいても注目エリアに動体が存在すると判定されていると、エリア状態を進入状態へと遷移させるのである。

【0070】

なお入力画像Ｄ１は所定の時間ごとに入力されるので、期間の長さを入力画像Ｄ１の枚数（フレーム数と呼ぶ）で判断することができる。よってここでは期間をフレーム数で考える。

【0071】

エリア状態推定部３０は、注目エリアに動体が存在すると判定され続ける入力画像Ｄ１のフレーム数（以下、検出フレーム数とも呼ぶ）ＦＮ１を、エリア毎にカウントする。より詳細には、エリア単位動体画像Ｄ３において注目エリアに動体が存在すると判定されていれば、この注目エリアの検出フレーム数ＦＮ１に１を加算する。他方、注目エリアに動体が存在しないと判定されていれば、注目エリアの検出フレーム数ＦＮ１を０へと初期化する。この検出フレーム数ＦＮ１は、そのエリアにおいて動体が存在すると判定され続ける期間に相当することになる。

【0072】

そして、エリア状態推定部３０は検出フレーム数ＦＮ１が進入判定値ＦＮｒｅｆ１１よりも大きいか否かを判定し、肯定的な判定がなされたときに、エリア状態を不在状態から進入状態へと遷移させる。

【0073】

図１２においては、不在状態からノイズ状態への遷移を示す矢印の直上に「ＦＮ１＞０」が示されている。これは不在状態からノイズ状態への遷移の条件である。つまり、不在状態において検出フレーム数ＦＮ１が零よりも大きいと判定されたときに、エリア状態を不在状態からノイズ状態に遷移させている。要するに、不在状態において注目エリアに動体が検出されると、速やかにエリア状態をノイズ状態に遷移させていているのである。

【0074】

他方、ノイズ状態において、注目エリアに動体が存在してないと判定されたときには、エリア状態推定部３０は注目エリアのエリア状態を不在状態へと遷移させるとよい。これにより、エリア状態をノイズ状態から不在状態に戻すことができる。

【0075】

またこの遷移条件にも、フレーム数を用いることができる。エリア状態推定部３０は、注目エリアに動体が存在しないと判定される入力画像Ｄ１のフレーム数（以下、不検出フレーム数とも呼ぶ）ＦＮ２を、エリア毎にカウントする。例えば入力されるエリア単位動体画像Ｄ３において、注目エリアに動体が存在しないと判定されていると、この注目エリアの不検出フレーム数ＦＮ２に１を加算する。他方、注目エリアに動体が存在すると判定されているときには、注目エリアの不検出フレーム数ＦＮ２を０へと初期化する。この不検出フレーム数ＦＮ２は、そのエリアにおいて動体が存在しないと判定され続ける期間に相当することになる。

【0076】

そして、エリア状態推定部３０は、ノイズ状態において不検出フレーム数ＦＮ２が零よりも大きいか否かを判定し、肯定的な判定がなされたときに、エリア状態を不在状態へと遷移させる。

【0077】

なおここでは、ノイズを明記すべくノイズ状態を設けているものの、ノイズ状態は設けなくても良い。例えば不在状態において、所定期間にわたって動体が存在すると判定された場合のみにエリア状態を不在状態から進入状態へと遷移させてもよい。

【0078】

次に、進入状態において、所定期間にわたって注目エリアに動体が存在していると判定されたときには、エリア状態推定部３０は注目エリアのエリア状態を滞在状態へと遷移させる。つまり、順次に入力される所定枚のエリア単位動体画像Ｄ３のいずれにも注目エリアに動体が存在すると判定されていると、エリア状態を滞在状態へと遷移させるのである。より詳細な動作としては、エリア状態推定部３０は、進入状態において検出フレーム数ＦＮ１が滞在判定値ＦＮｒｅｆ１２（＞ＦＮｒｅｆ１１）よりも大きいか否かを判定し、肯定的な判定がなされたときに、エリア状態を滞在状態へと遷移させる。

【0079】

以上のように本実施の形態では、動体が検出され始めた初期期間においてエリア状態を進入状態とし、この初期期間よりも後の期間においてはエリア状態を滞在状態とする。つまり、単に動体が存在しているという情報のみならず、進入状態と滞在状態とを区別して動体を検出しているのである。

【0080】

また進入状態において、所定期間にわたって注目エリアに動体が存在しないと判定されたときには、エリア状態推定部３０は注目エリアのエリア状態を退去状態へと遷移させる。つまり、順次に入力される所定枚のエリア単位動体画像Ｄ３のいずれにおいても注目エリアに動体が存在しないと判定されていると、エリア状態推定部３０はエリア状態を退去状態へと遷移させる。より詳細な動作としては、エリア状態推定部３０は、不検出フレーム数ＦＮ２が退去判定値ＦＮｒｅｆ２１よりも大きいか否かを判定し、肯定的な判定がなされたときに、エリア状態を退去状態へと遷移させる。

【0081】

一方で滞在状態においては、次の２つの条件を満たしたときに、エリア状態推定部３０は注目エリアのエリア状態を退去状態へと遷移させる。第１の条件は、所定期間にわたって注目エリアに動体が存在しないと判定されていることである。これは上述したように進入状態から退去状態へと遷移するための条件でもある。

【0082】

第２の条件は、注目エリアの周囲にあるエリア（以下、周囲エリアと呼ぶ）のうち少なくとも一つのエリア状態が進入状態であることである。エリア状態推定部３０は、周囲エリアのエリア状態が進入状態か否かを順に判定し、周囲エリアのいずれか一つのエリア状態が進入状態であるときに、第２の条件を満たすと判定する。図１２の例示では、周囲エリアのエリア状態が進入状態であることを、「ＦＥ＝Ｔｒｕｅ」で表している。

【0083】

図１３はエリア状態が滞在状態から退去状態へと遷移する様子の一例を示す図である。ここでは、各エリアとして実際の空間における矩形状のエリアが模式的に示されている。複数のエリアは格子状に配置されている。撮像部が例えば全方位カメラである場合には、この矩形状のエリアは入力画像Ｄ１においては図２と同様にして湾曲する。図１３の例示では、簡易的に縦４×横４の１６個のエリアが示されている。またエリア内に示される「０」および「１」の数字はエリア在／不在判定部２０の動体検出の結果を示している。「１」は動体が存在していると判定されたことを示し、「０」は動体が存在していないと判定されたことを示している。また図１３では、各エリアに示されるハッチングの種類によってエリア状態を示している。空白が不在状態（ノイズ状態を含む）を示し、横線のハッチングが滞在状態を示し、縦線のハッチングが進入状態を示し、斜め線のハッチングが退去状態を示している。

【0084】

また図１３においては、エリア単位動体画像Ｄ３およびエリア状態画像Ｄ４の時間的な変化が左から右へと示されている。

【0085】

図１３の左端のエリア単位動体画像Ｄ３においては、ある一つのエリアＡ１のみにおいて動体が存在すると判定されている。これに対応するエリア状態画像Ｄ４においては、エリアＡ１のエリア状態が滞在状態となっている。他のエリアのエリア状態は不在状態である。

【0086】

ここで当該動体が例えば右隣のエリアＡ２に移動する場合を考える。これにより、左から２番目のエリア単位動体画像Ｄ３に示すように、エリアＡ１において動体が存在しないと判定され、エリアＡ２において動体が存在すると判定される。このときエリアＡ２のエリア状態はノイズ状態である。

【0087】

そして、エリアＡ２において動体が存在すると判定され続けると、言い換えればエリアＡ２の検出フレーム数ＦＮ１が進入判定値ＦＮｒｅｆ１１を超えると、左から３番目のエリア状態画像Ｄ４に示すように、エリアＡ２のエリア状態が進入状態へと遷移する。これにより、エリアＡ１について第２の条件が満足する。

【0088】

またエリアＡ１において、動体が所定期間にわたって存在しないと判定されると、つまり第１の条件も満足すると、右端のエリア状態画像Ｄ４に示すように、エリアＡ１のエリア状態が退去状態へと遷移する。

【0089】

このような滞在状態から退去状態への遷移により、次で説明する誤推定を抑制できる。例えば注目エリアにおいて動体が遮蔽物によって遮られた場合、注目エリアから動体が検出されなくなる。例えば図２において人１０３がしゃがんで机１０２に隠れた場合に、この人１０３が動体として検出されなくなる。この場合、動体検出部１０は人１０３を動体として検出しないので、エリア在／不在判定部２０も人１０３を動体として検出しない。この人１０３が所定期間にわたって動体として検出されないと、人１０３を含む注目エリアについて第１の条件が満足する。しかるに、このように単に動体が遮蔽物によって遮蔽された状態であれば、当該動体（人１０３）は周囲のエリアに進入しないので、第２の条件が成立しない。よって注目エリアのエリア状態は適切に滞在状態を維持する。

【0090】

例えば第１の条件のみを以ってエリア状態を滞在状態から不在状態へと遷移させると、単に動体が遮蔽物によって隠れているだけであるにも拘わらず、エリア状態が退去状態となる。本実施の形態によれば、そのようなエリア状態の誤推定を回避することができるのである。

【0091】

その一方で進入状態においては、上述のように、第１の条件のみを用いてエリア状態を退去状態へと遷移させている（図１２参照）。これは、動体が複数のエリアに跨って移動することを考慮した処理である。つまり注目エリアが進入状態であるときには、動体が他のエリアへと移動している最中である可能性があるので、第１の条件のみを採用しているのである。これにより、滞在状態から退去状態への遷移に比べて、速やかにエリア状態を進入状態から退去状態へと遷移させることができる。つまり高い応答性でエリア状態を推定することができる。

【0092】

なお図１２の例示では、進入状態から退去状態へと遷移させる際に用いる退去判定値ＦＮｒｅｆ２１と、滞在状態から退去状態へと遷移させる際に用いる退去判定値ＦＮｒｅｆ２１とは、互いに等しい。しかしながら、これらを異ならせても構わない。

【0093】

次に、退去状態において、注目エリアに動体が存在すると判定されると、エリア状態推定部３０はエリア状態を滞在状態へと遷移させる。より具体的には、検出フレーム数ＦＮ１と零とを比較し、検出フレーム数ＦＮ１が零よりも大きいときに、エリア状態推定部３０はエリア状態を滞在状態に遷移させる。これは、滞在状態であったエリアに動体が戻ってくる可能性を考慮した処理である。つまり、退去状態のエリアに動体が戻ってくる可能性があるので、その分、エリア状態を滞在状態へと遷移させやすくしているのである。これにより、比較的速やかに注目エリアのエリア状態を退去状態から滞在状態に遷移させることができる。つまり高い応答性でエリア状態を推定できる。

【0094】

なお退去状態から滞在状態へと遷移させる条件として、所定期間（不在状態から滞在状態への遷移に要する期間よりも短い期間）にわたる動体検出を採用してもよい。例えば検出フレーム数ＦＮ１が滞在判定値ＦＮｒｅｆ１３（＜滞在判定値ＦＮｒｅｆ１２）よりも大きいときに、エリア状態を退去状態から滞在状態へと遷移させても良い。これによっても、比較的速やかにエリア状態を退去状態から滞在状態へと遷移させることができる。

【0095】

なお図１２の例示では、退去状態で動体が検出されたときに、エリア状態を退去状態から滞在状態へと遷移させているものの、エリア状態を退去状態から進入状態へと遷移させても構わない。

【0096】

また退去状態において、所定期間にわたって注目エリアに動体が存在しないと判定されると、エリア状態推定部３０は注目エリアのエリア状態を不在状態へと遷移させる。つまり順次に入力される所定枚のエリア単位動体画像Ｄ３のいずれにおいても注目エリアに動体が存在しないと判定されていると、エリア状態推定部３０はエリア状態を不在状態へと遷移させる。より詳細な動作として、不検出フレーム数ＦＮ２が不在判定値ＦＮｒｅｆ２２（＞退去判定値ＦＮｒｅｆ２１）よりも大きいか否かを判定し、肯定的な判定がなされたときに、エリア状態推定部３０はエリア状態を不在状態へと遷移させる。

【0097】

図１４は、入力画像Ｄ１とエリア状態画像Ｄ４との一例を模式的に示す図である。この入力画像Ｄ１では、中央付近のやや左上に人１０３が座っており、右側に移動する人１０４が右下に示されている。このとき、画像処理部１の処理によって、人１０３を含むエリアのエリア状態は滞在状態（横線のハッチング）となり、人１０４を含むエリアのエリア状態が進入状態（縦線のハッチング）となる。

【0098】

以上のように、本画像処理部１は単に動体の在／不在のみを検出しているのではなく、エリア状態として、進入状態、滞在状態、退去状態および不在状態を推定している。よって、以下で述べるように、外部装置４はエリア状態に応じてより細かい制御を行なうことができる。

【0099】

＜外部装置４＞
エリア状態推定部３０が出力するエリア状態画像Ｄ４はエリア毎にエリア状態の情報を有しており、外部装置４に入力される（図１及び図３参照）。外部装置４はエリア状態画像Ｄ４に基づいてエリア状態に応じた制御を行なう。外部装置４はエリアの環境（温度、湿度、明るさ、音、表示など）を制御する環境制御装置である。例えば外部装置４は空気調和機または照明装置などである。外部装置４は、エリア状態に応じて各エリアの空間の状態（明るさ、温度、湿度など）を調整する。よって、従来に比してより細かな制御を行なうことができる。

【0100】

例えば外部装置４は複数の照明装置を有しており、この照明装置がエリア毎に設けられる。外部装置４は例えばエリア状態が滞在状態であるエリアの照明装置を最も高い照度で制御し、エリア状態が進入状態または退去状態であるエリアの照明装置を、より低い照度で制御し、エリア状態が退去状態であるエリアの照明装置を最も低い照度で制御する。

【0101】

また外部装置４が空気調和機である場合には、例えば空気の送出方向を調整するフラップを滞在状態のエリアへ向け、エリア状態が進入状態、退去状態または不在状態のエリアには、フラップを向けない。或いは、複数のフラップが設けられている場合には、多くのフラップを滞在状態のエリアに向け、少しのフラップを進入状態または退去状態のエリアに向けてもよい。

【0102】

或いは、エリアごとに空気調和機が設けられている場合には、滞在状態のエリアの空気調和機が所望の目標値（温度目標値または湿度目標値）で運転し、進入状態または退去状態のエリアの空気調和機はより小さい目標値で運転し、不在状態のエリアの空気調和機は最も小さい目標値で運転してもよい。ここでいう小さい目標値とは、現状の値（温度または湿度）との差が小さい目標値を意味する。

【0103】

より一般化して説明すると、エリア状態が滞在状態であるエリアにおいて、最も電力を要する目標値で環境を制御し、エリア状態が進入状態または退去状態であるエリアにおいて、より電力を必要としない目標値で環境を制御し、エリア状態が不在状態であるエリアにおいて、最も電力を必要としない目標値で環境を制御する。これにより、低い消費電力で有効な環境制御を行なうことができる。

【0104】

なお上述のようにエリア状態が高い応答性で更新されることで、外部装置４は実際のエリアの状態に応じて高い応答性で制御を行なうことができる。

【0105】

＜周囲エリアの範囲＞
なお上述の例において、周囲エリアは、注目エリアを囲む領域に存在するエリアであればよく、注目エリアを直近で囲む８個のエリアであってもよい。しかるに、滞在状態のエリアから動体が移動する際に、動体の速度が速いために、当該８個の周囲エリアのいずれもが進入状態にならず、その１エリア隣のエリアが進入状態となる場合も想定される。これに対応するためには、周囲エリアをより広い範囲で設定するとよい。例えば上記８個のエリアと、上記８個のエリアを直近で囲む１６個のエリアとを、周囲エリアとして採用しても良い。これにより、注目エリアの隣のエリアが進入状態にならずに、その隣のエリアが進入状態になったとしても、注目エリアのエリア状態を退去状態へと遷移させることができる。

【0106】

要するに、１以上のエリアを介して注目エリアと隣り合うエリアを周囲エリアに含めると良い。

【0107】

＜動体検出部およびエリア在／不在判定部＞
上述の例において、動体検出部１０およびエリア在／不在判定部２０からなる部分は、入力画像Ｄ１における複数のエリアのそれぞれで動体を検出するエリア単位動体検出部の具体的な一例と把握することができる。

【0108】

また上述の例において、画像ブロックとエリアとを区別して説明しているものの、画像ブロックと同じ範囲をエリアとして採用しても良い。この場合、動体検出部１０によってエリア単位で動体が検出されるので、エリア在／不在判定部２０の動作は不要である。

【0109】

＜入力画像Ｄ１の端のエリア＞
上述の例では、第１の条件および第２の条件が成立したときに、エリア状態を滞在状態から退去状態へと遷移させた。ただし、注目エリアが入力画像Ｄ１の端に位置するときには、第２の条件なしにエリア状態を滞在状態から退去状態へと遷移させてもよい。注目エリアが端に位置していれば、動体が他のエリアを介すことなく入力画像Ｄ１の外側に去ることがあり、この場合、周囲エリアが進入状態にならないからである。

【0110】

第２の実施の形態．
図１５は第２の実施の形態にかかる画像処理部１の一例を概念的に示す機能ブロック図である。第２の実施の形態においては、動体検出部１０およびエリア在／不在判定部２０はエリア状態推定部３０からエリア状態画像Ｄ４を受け取る。動体検出部１０およびエリア在／不在判定部２０はエリア状態に応じた検出感度で動体を検出する。

【0111】

ここでいう検出感度とは動体の検出しやすさを示し、検出感度が高いほど動体が検出されやすい。例えばエリア在／不在判定部２０は、各エリアの動体画素数ＰＮ１と基準値ＰＮｒｅｆとの大小に基づいてエリア単位で動体を検出するところ、この基準値ＰＮｒｅｆが検出感度を示す。基準値ＰＮｒｅｆが大きいほど動体を検出しにくいので、基準値ＰＮｒｅｆが大きいほど検出感度は低くなる。

【0112】

また例えば動体検出部１０は、背景画像Ｄ０と入力画像Ｄ１との差異に基づいて画素単位で動体を検出する。より詳細には当該差異を表すパラメータ（例えば上述の最小値Ｃ）が基準値（例えばμ＋ｋσ）よりも大きいときに動体が検出される。この基準値も検出感度を示す。この基準値が大きいほど検出感度は低くなる。なお動体判定式において、平均値μと標準偏差σとは背景モデルの背景画像Ｄ０によって決定される値であるので、定数ｋとして複数の値を採用すればよい。

【0113】

検出感度の値（上述の基準値）の複数は例えば予め記憶部１１０に記録されており、動体検出部１０およびエリア在／不在判定部２０は、それぞれエリア状態に応じて検出感度を選択し、これに基づいて動体を検出する。

【0114】

例えば動体検出部１０は、エリア状態が退去状態であるエリアに含まれる画素に対しては、エリア状態が不在状態（ノイズ状態を含む）、進入状態または滞在状態であるエリアに含まれる画素に比べて、高い検出感度で動体を検出する。つまりより小さい基準値を採用する。エリア状態が退去状態であるエリアには、動体が戻ってくる可能性があることから、比較的動体が表れる可能性が高い。よって、注目エリアに動体が表れる可能性が高いときに、高い検出感度で動体を検出することができる。これにより、より速やかに動体を検出することができる。ひいては高い応答性でエリア状態を推定することができる。

【0115】

また周囲エリアのエリア状態が進入状態であるエリア（エリア状態が進入状態であるエリアを周囲に有するエリア）に含まれる画素に対しても、エリア状態が不在状態（ノイズ状態を含む）、進入状態または滞在状態であるエリアに含まれる画素に比べて高い検出感度で動体を検出しても良い。周囲エリアのエリア状態が進入状態であれば、当該エリアに動体が進入する可能性が高いからである。これによっても、より速やかに動体を検出することができる。

【0116】

同様に、エリア在／不在判定部２０は、エリア状態が退去状態であるエリアに対して高い検出感度で動体を検出しても良い。つまりより小さい基準値ＰＮｒｅｆを採用してもよい。これによっても、より速やかに動体を検出することができる。

【0117】

また周囲エリアのエリア状態が進入状態であるエリアに対しても高い検出感度で動体を検出しても良い。つまりより小さい基準値ＰＮｒｅｆを採用する。これによっても、より速やかに動体を検出することができる。

【0118】

なお第２の実施の形態では、動体検出部１０およびエリア在／不在判定部２０の両方がエリア状態に応じた検出感度を採用しているが、いずれか一方のみがエリア状態に応じた検出感度を採用しても良い。

【0119】

第３の実施の形態．
第３の実施の形態では、入力画像Ｄ１からの画像情報を適宜に背景モデルに登録することを前提とする。まずこの前提について説明する。第３の実施の形態では図１６に示すように、背景モデル更新部４０およびキャッシュモデル記憶部６が更に設けられる。背景モデル更新部４０は入力画像Ｄ１および画素単位動体画像Ｄ２を入力する。背景モデル更新部４０は、簡単に説明すると、動体画素と判定された画素を含む入力画像Ｄ１が、所定の登録判定期間にわたって変化しないときに、その入力画像Ｄ１は動体を示しているのではなく背景を示していると判定して、これを背景モデルに登録する。

【0120】

このような背景モデル更新処理の具体例について詳細に説明する。背景モデル更新処理では、キャッシュモデルを記憶するキャッシュモデル記憶部６が使用される。キャッシュモデルには、背景モデルに登録される背景画像情報の候補である背景画像情報候補が含められる。キャッシュモデル記憶部６は、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）またはハードディスク（ＨＤ）等の書き換え可能な記憶手段で構成される。なお本例では、背景モデル記憶部３とキャッシュモデル記憶部６とはハードウェア的に独立しているが、一つの記憶装置が有する記憶領域の一部を背景モデル記憶部３として使用し、当該記憶領域の他の一部をキャッシュモデル記憶部６として使用しても良い。

【0121】

背景モデル更新部４０は、動体検出部１０において動体画像であると判定された画像ブロックの画像情報を背景画像情報候補として、いったんキャッシュモデルに登録する。そして、背景モデル更新部４０は、登録判定期間に入力される複数枚の入力画像Ｄ１に基づいて、キャッシュモデル記憶部６に記憶した背景画像情報候補を、背景画像情報として背景モデルに登録するか否かを判定する。より詳細には、入力画像Ｄ１から得られる背景候補画像が登録判定期間にわたって変化しないときに、この背景画像情報候補が背景の画像情報であると判定する。このように判定すると、背景モデル更新部４０は当該背景画像情報候補を背景画像情報として背景モデルに登録する。

【0122】

図１７は背景モデル更新処理を示すフローチャートである。この背景モデル更新処理は図４のステップｓ１２よりも後に行なわれる。図１７に示されるように、ステップｓ１５１において、背景モデル更新部４０は、ステップｓ１１で入力された処理対象の入力画像Ｄ１における注目画像ブロックが、動体検出部１０において動体画像であると判定されたか否かを判定する。ステップｓ１５１において、注目画像ブロックが動体検出部１０において動体画像ではないと判定されると、つまり、注目画像ブロックの画像情報が、背景モデル中の各対応コードワードＣＷの背景画像情報と一致すると判定されると、背景モデル更新部４０はステップｓ１５２を実行する。

【0123】

ステップｓ１５２では、背景モデル更新部４０は、注目画像ブロックの画像情報と一致すると判定された背景画像情報を含む、背景モデル中のコードワードＣＷの最新一致時刻Ｔｅを現在時刻に変更する。

【0124】

一方で、ステップｓ１５１において、注目画像ブロックが動体検出部１０において動体画像であると判定されると、背景モデル更新部４０はステップｓ１５３を実行する。ステップｓ１５３では、キャッシュモデルの更新が行われる。具体的には、背景モデル更新部４０は、注目画像ブロックの画像情報が、キャッシュモデル記憶部６内のキャッシュモデルに含まれる各対応コードワードＣＷに含まれていない場合には、当該画像情報を背景画像情報候補として含むコードワードＣＷを生成してキャッシュモデル内の対応コードブックＣＢに登録する。このコードワードＣＷには、画像情報（背景画像情報候補）以外にも、最新一致時刻Ｔｅおよびコードワード生成時刻Ｔｉが含まれている。ステップｓ１５３で生成されたコードワードＣＷに含まれる最新一致時刻Ｔｅは、暫定的に、コードワード生成時刻Ｔｉと同じ時刻に設定される。また背景モデル更新部４０は、注目画像ブロックの画像情報が、キャッシュモデル記憶部６内のキャッシュモデルに含まれる対応コードワードＣＷに含まれている場合には、つまり、注目画像ブロックの画像情報と一致する背景画像情報候補を含む対応コードワードＣＷがキャッシュモデルに含まれている場合には、キャッシュモデルにおける、当該背景画像情報候補を含むコードワードＣＷ中の最新一致時刻Ｔｅを現在時刻に変更する。

【0125】

このように、ステップｓ１５３では、コードワードＣＷのキャッシュモデルへの追加、あるいはキャッシュモデル中のコードワードＣＷの最新一致時刻Ｔｅの更新が行われる。

【0126】

なお、ステップｓ１５３において、背景モデル更新部４０は、キャッシュモデル記憶部６内のキャッシュモデルに、注目画像ブロックに対応するコードブックＣＢが登録されていない場合には、注目画像ブロックの画像情報を背景画像情報候補として含むコードワードＣＷを生成し、当該コードワードＣＷを含むコードブックＣＢを生成してキャッシュモデルに登録する。

【0127】

ステップｓ１５２あるいはステップｓ１５３が実行されると、ステップｓ１５４において、背景モデル更新部４０は、全ての画像ブロックを注目画像ブロックに設定したか否かを判定する。ステップｓ１５４において、処理が行われていない画像ブロックが存在すると判定された場合には、背景モデル更新部４０は、未だ処理が行われていない画像ブロックを新たな注目画像ブロックとして、ステップｓ１５１以降を実行する。一方で、ステップｓ１５４において、全ての画像ブロックについて処理が行われたと判定されると、背景モデル更新部４０はステップｓ１５５を実行する。

【0128】

ステップｓ１５５では、キャッシュモデルに含まれる、最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷが削除される。つまり、キャッシュモデル中のコードワードＣＷに含まれる画像情報が、ある程度の期間、入力画像Ｄ１から取得された画像情報と一致しない場合には、当該コードワードＣＷが削除される。コードワードＣＷに含まれる画像情報が、背景の画像情報である場合には、つまり入力画像Ｄ１に含まれる、背景を示す画像から取得された画像情報である場合には、当該コードワードＣＷ中の最新一致時刻Ｔｅは頻繁に更新されることから、最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷに含まれる画像情報については、入力画像Ｄ１に含まれる動体画像から取得された画像情報である可能性が高いと考えることができる。最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷがキャッシュモデルから削除されることによって、動体画像の画像情報がキャッシュモデルから削除される。以後、この所定期間を「削除判定用期間」と呼ぶことがある。削除判定用期間は、日照変化あるいは照明変化などの明るさの変化、およびポスターの設置あるいは机の配置変更などの環境の変化等による画像情報の変化と、検出対象とする人等の動体が動くときに生じる画像情報の変化とを区別するために予め設定される期間である。例えば、入力画像Ｄ１を撮像する撮像部の撮像フレームレートが３０ｆｐｓである場合、削除判定用期間は、例えば数十フレーム分から数百フレーム分の入力画像Ｄ１が入力される期間に設定される。

【0129】

ステップｓ１５５において、キャッシュモデルに含まれる、最新一致時刻Ｔｅが削除判定用期間更新されていないコードワードＣＷが削除されると、背景モデル更新部４０はステップｓ１５６を実行する。ステップｓ１５６では、背景モデル更新部４０は、キャッシュモデルに登録されているコードワードＣＷのうち、キャッシュモデルに登録されてから登録判定期間経過しているコードワードＣＷを特定する。ステップｓ１５６では、コードワードＣＷが生成されると、当該コードワードＣＷはすぐにキャッシュメモリに登録されることから、コードワードＣＷがキャッシュモデル内に登録された時刻として、当該コードワードＣＷに含まれるコードワード生成時刻Ｔｉを使用することができる。

【0130】

登録判定期間は削除判定用期間よりも大きな値に設定される。登録判定期間は、削除判定用期間よりも例えば数倍程度大きな値に設定される。本実施の形態では、登録判定期間はフレーム数で表されるものとする。登録判定期間が例えば“５００”であるとすると、登録判定期間は、５００フレーム分の入力画像Ｄ１が入力される期間となる。

【0131】

ステップｓ１５６が実行されると、ステップｓ１５７において、背景モデル更新部４０は、背景モデル登録処理を行う。背景モデル登録処理では、ステップｓ１５６で特定されたコードワードＣＷを、背景モデル記憶部３内の背景モデルに登録する。

【0132】

上記の説明から理解できるように、本実施の形態では、背景モデル更新部４０は、キャッシュモデル内のコードワードＣＷを、キャッシュモデルに登録してから登録判定期間経過するまでに削除することがある。背景モデル更新部４０が、キャッシュモデル内のコードワードＣＷ（背景画像情報候補）を、キャッシュモデルに登録してから登録判定期間経過するまでに削除するということは、背景モデル更新部４０が、登録判定期間において入力される複数枚の入力画像Ｄ１に基づいて、キャッシュメモリに登録したコードワードＣＷ（背景画像情報候補）を背景モデルに登録しないと判定したことを意味している。

【0133】

また、本実施の形態では、背景モデル更新部４０は、キャッシュモデル内のコードワードＣＷを、キャッシュモデルに登録してから登録判定期間経過するまでに削除せずに、背景モデルに登録することがある。背景モデル更新部４０が、キャッシュモデル内のコードワードＣＷ（背景画像情報候補）を、キャッシュモデルに登録してから登録判定期間経過するまで削除せずに背景モデルに登録するということは、背景モデル更新部４０が、登録判定期間において入力される複数枚の入力画像Ｄ１に基づいて、キャッシュメモリに登録したコードワードＣＷ（背景画像情報候補）を背景モデルに登録すると判定したことを意味している。

【0134】

このように、背景モデル更新部４０は、登録判定期間において入力される複数枚の入力画像Ｄ１に基づいて、キャッシュモデルに登録された背景画像情報候補を背景画像情報として背景モデルに登録するか否かを判定していることから、動体検出部１０において動体画像であると誤って判定された画像ブロックの画像情報を、背景画像情報として背景モデルに登録することができる。よって、背景モデルを適切に更新することができ、動体検出部１０での動体検出の精度が向上する。

【0135】

上述の背景モデル更新処理によれば、例えば人（動体）がある持ち物を持って、あるエリアに進入し、その後、当該持ち物をそのエリアに置いて立ち去った場合に、その持ち物を含む画像情報はいずれ背景モデルに登録される。

【0136】

図１８は人が持ち物を置いて立ち去った場合の一連のエリア単位動体画像Ｄ３とエリア状態画像Ｄ４との一例を示している。ここでは初期的に、エリアＡ１に人と持ち物との両方が比較的長期間にわたって存在している。よって、図１８の例示でも、初期的に、エリアＡ１において動体が検出され（エリアＡ１において「１」が示され）、エリアＡ１のエリア状態が滞在状態（横線のハッチング）となっている。

【0137】

次に人が持ち物をエリアＡ１に置いてエリアＡ２へと移動すると、エリアＡ１では当該持ち物が動体として検出され、エリアＡ２では人が動体として検出されることになる。よって図１８の左から２番目のエリア単位動体画像Ｄ３では、エリアＡ１，Ａ２において「１」が示されている。エリアＡ２において所定時間にわたって人が動体として検出されると、エリアＡ２のエリア状態が進入状態（縦線のハッチング）となる。

【0138】

続けて人が右隣のエリアＡ３に移動すると、エリアＡ２に動体が検出されなくなり、エリアＡ３に動体が検出される。この状態が続くことでエリアＡ２，Ａ３のエリア状態はそれぞれ退去状態および進入状態となる。エリアＡ２はその後も動体が検出されないので、そのエリア状態はいずれ不在状態となる。

【0139】

さらに人が右側に移動するとエリアＡ３でも動体が検出されなくなり、この状態が続くことでエリアＡ３のエリア状態は退去状態を経て不在状態となる。この状態が図１８の右から２番目のエリア状態画像Ｄ４で示される。

【0140】

一方で、エリアＡ１に属する画像ブロック（より詳細には、当該画像ブロックのうち、動体画像と判定された画像ブロック）の画像情報が登録判定期間にわたって変化しないと、背景モデル更新部４０はその画像情報を背景モデルに登録する。これによって、当該画像ブロックにおいて入力画像Ｄ１と背景モデルとの差異がなくなるので、エリアＡ１において当該持ち物が動体として検出されなくなる。これが、図１８の右端のエリア単位動体画像Ｄ３において、エリアＡ１の「０」で示されている。

【0141】

しかしながら、図１８の例示では、エリアＡ１の周囲エリアのエリア状態が進入状態ではないので、エリアＡ１について第２の条件を満足しない。よって、エリアＡ１のエリア状態は滞在状態を維持し続けることになる。これが、図１８の右端のエリア状態画像Ｄ４において、エリアＡ１の横線のハッチングで示されている。

【0142】

そこで第３の実施の形態では、動体を表す画像情報が背景モデルに登録された場合に、その動体を含むエリアのエリア状態を、適切に滞在状態から退去状態へ遷移させることを目的とする。

【0143】

エリア状態推定部３０は、注目エリアのエリア状態を進入状態へと遷移させるときに、当該注目エリアが進入状態になったという情報（以下、進入フラグと呼ぶ）を保持する。より詳細にはこの進入フラグを例えば記憶部１１０に記録する。この進入フラグは登録判定期間よりも長い保持期間にわたって保持され、保持期間が経過すると消去される。進入フラグはエリア毎に保持される。

【0144】

そしてエリア状態推定部３０は、第１および第２の条件の両方を満足するときのみならず、次の条件を満足するときにも、エリア状態を滞在状態から退去状態へと遷移させる。その条件とは、第１の条件と、周囲エリアについての進入フラグが保持されているという第３の条件との両方を満足するという条件である。

【0145】

図１８の例示に沿って説明すると、エリアＡ２のエリア状態が進入状態となったとき（図１８の左から２番目の状態）に、エリアＡ２について進入フラグが保持される。この進入フラグはエリアＡ２が進入状態になってから登録判定期間よりも長い保持期間にわたって保持される。よって、エリアＡ１に属する画像ブロックの画像情報が背景モデルに登録される時点（図１８の右端の状態参照）においても、エリアＡ２の進入フラグは消去されずに保持されている。これにより第３の条件が成立する。エリアＡ１に動体が検出されずに第１の条件が成立すると、エリア状態推定部３０はエリアＡ１のエリア状態を滞在状態から退去状態へと遷移させる。

【0146】

これにより、滞在状態であるエリアＡ１に属する画像ブロックの画像情報が背景モデルに登録された場合に、適切に当該エリアＡ１を滞在状態から退去状態へと遷移させることができる。

【0147】

なお上述の例では、滞在状態において第１および第３の条件の両方が成立したときに、エリア状態を滞在状態から退去状態へと遷移させているが、エリア状態を滞在状態から不在状態へと遷移させても良い。これにより、速やかにエリア状態を現実の状態に遷移させることができる。言い換えれば、高い応答性でエリア状態を推定できる。

【0148】

なおここでは、滞在状態から退去状態への条件に第２の条件を採用するからこそ上述のような問題が生じ、これを解決するために進入フラグを採用した。逆に言えば、エリア状態が滞在状態にならない場合には上述の問題は生じない。よってこの場合には、たとえエリア状態が進入状態になっても、そのエリアについて進入フラグを保持する必要はない。例えば、動体が撮像領域を単に横切る場合には、滞在状態となるエリアがないと想定されるので、進入フラグは不要である。

【0149】

そこで、進入フラグを保持するための条件として、周囲のエリア（例えばそのエリアを直近で囲む８個のエリア）のエリア状態が滞在状態である、という条件を追加する。これにより、滞在状態であるエリアから見れば、当該エリアの周囲エリアについて進入フラグが保持されることになる。よって、滞在状態であるエリアの画像情報が背景モデルに登録されたとしても、第３の条件を満足し、以って適切に当該エリアのエリア状態を退去状態（或いは不在状態）へと遷移させることができる。

【0150】

一方で、単なる動体の移動の際に、近接する２つエリアのエリア状態がそれぞれ滞在状態および進入状態とならなければ、上述の条件により、単なる移動の際に進入フラグが保持されることを回避できる。これを実現するには、エリア状態の遷移に要する期間を調整する必要がある。より詳細には、進入状態から退去状態へと遷移するのに要する進入退去時間（退去判定値ＦＮｒｅｆ２１に相当する期間）を、進入状態から滞在状態への遷移に要する進入滞在期間（進入判定値ＦＮｒｅｆ１１）よりも短く設定する必要がある。これらを逆に設定すると、次に説明するように、単なる動体の移動においても進入フラグが保持されるからである。例えば動体が右側に移動している場合を考慮する。この場合、左右方向において隣り合う第１及び第２のエリアのいずれもが進入状態になることがある。上記逆の設定においては、移動元に近い第１エリアが進入状態から退去状態になる前に、つまり第１エリアが進入状態である状態で、移動元から遠い第２エリアが滞在状態になりえる。よってこの場合、移動元に近い第１エリアについて進入フラグが保持される。つまり、単に動体が移動しているときにも、進入フラグが保持される。上記の期間の設定により、このような事態を回避できるのである。

【0151】

要するに、あるエリア（周囲エリア）のエリア状態が進入状態へと遷移し、かつ、それよりも前（少なくとも１フレーム前）から、そのエリアの周囲に位置するエリア（注目エリア）のエリア状態が滞在状態を維持するときに、そのエリア（周囲エリア）について進入フラグを保持すればよいのである。言い換えれば、注目エリアのエリア状態が滞在状態となっている状態で、周囲エリアのエリア状態が進入状態へと遷移したとことを条件として、当該周囲エリアに進入フラグを保持すればよい。これにより、不要な進入フラグの保持を回避できる。

【0152】

第４の実施の形態．
第４の実施の形態では図１９に示すように、判定期間調整部５０が更に設けられる。判定期間調整部５０は、エリア状態および進入フラグの有無に応じて登録判定期間を調整する。簡単に説明すると、判定期間調整部５０は、物体が置き去りにされたエリアについては、画像情報が背景を示していると判断して、そのエリアについては登録判定期間を短く設定するのである。

【0153】

なおエリア状態推定部３０は、第３の実施の形態で説明したように進入フラグを保持する。即ち、周囲エリアのエリア状態が進入状態へと遷移し、かつ、それよりも前（少なくとも１フレーム前）から、注目エリアのエリア状態が滞在状態を維持するときに、周囲エリアについて進入フラグを保持する。これにより不要な進入フラグの保持が回避される。つまり単なる動体の移動の際には、進入フラグが保持されない。逆にいえば、物体が置き去りにされて滞在状態となっているエリアがあるときに、その周囲のエリアに進入フラグが保持される。

【0154】

そこで、判定期間調整部５０は、注目エリアのエリア状態が滞在状態であり、かつ、周囲エリアについて進入フラグが保持されている場合には、注目エリアは置き去りにされた物体を含んでいると判定して、注目エリアに属する画像ブロックの登録判定期間を、他のエリアに属する画像ブロックの登録判定期間よりも短く設定する。この登録判定期間は、背景モデル更新部４０へと出力される。

【0155】

以上のように、第４の実施の形態においては、置き去りにされた物体が含まれている可能性が高いエリアに属する画像情報を、早期に背景モデルへと登録すべく、その登録判定期間を短く設定するのである。これにより、高い応答性でエリア状態を推定することができる。

【0156】

以上のように、画像処理部１は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この発明がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

【符号の説明】

【0157】

１ エリア状態推定装置
１０ 動体検出部
２０ エリア在／不在判定部
３０ エリア状態推定部
４０ 背景モデル更新部
５０ 判定期間調整部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】