特開 2017-142708 画像処理装置、画像処理方法及び監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-142708(P2017-142708A)

(43)【公開日】2017年8月17日

(54)【発明の名称】画像処理装置、画像処理方法及び監視システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20170721BHJP

   H04N 7/18 20060101ALI20170721BHJP

【ＦＩ】

   G06T7/20 200B

   H04N7/18 K

【審査請求】有

【請求項の数】3

【出願形態】ＯＬ

【全頁数】16

(21)【出願番号】特願2016-24429(P2016-24429)

(22)【出願日】2016年2月12日

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(71)【出願人】

【識別番号】502162882

【氏名又は名称】株式会社ケイズ

(74)【代理人】

【識別番号】100118393

【弁理士】

【氏名又は名称】中西 康裕

(72)【発明者】

【氏名】栗田 多喜夫

(72)【発明者】

【氏名】小谷 悠太

(72)【発明者】

【氏名】南 輝晃

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA09

5C054FC13

5C054HA19

5L096AA06

5L096CA04

5L096GA08

5L096HA03

(57)【要約】

【課題】時系列に取得された複数の画像を基に背景画像を生成し、背景画像と入力画像とに基づき差分画像を抽出する背景差分を行う画像処理装置、画像処理方法及び監視システムにおいて、背景画像の生成をより高速に行うことで、リアルタイムで画像処理を行う必要がある用途に最適な画像処理装置、画像処理方法及び監視システムを提供することを目的とする。
【解決手段】画像処理装置１００は、時系列に取得された複数の画像の中央値を用いて背景画像を形成する場合において、基準中央値、基準ロウヒープ、基準ハイヒープを作成保持しておき、この基準中央値、基準ロウヒープ、基準ハイヒープの更新によって背景画像を形成する中央値を算出することで、処理負担が少なく中央値の算出処理を高速に行っている。
【選択図】図２

【特許請求の範囲】

【請求項1】

時系列に画像を取得する画像取得部と、
前記画像取得部により取得した複数の画像を蓄積する画像蓄積部と、
蓄積された複数の画像を基に画素毎に基準待ち行列を作成する基準待ち行列作成部と、
画素毎に作成された前記基準待ち行列を保持しておく待ち行列保持部と、
前記基準待ち行列の基準中央値と、前記基準中央値未満の値で構成される基準ロウヒープと、前記基準中央値よりも大きな値で構成される基準ハイヒープと、を作成する基準値作成部と、
作成された前記基準中央値、前記基準ロウヒープ、基準基準ハイヒープと、を保持しておく基準値保持部と、
取得された入力画像に基づいて、前記待ち行列保持部における前記基準待ち行列のエンキュー、デキュー処理を行い前記基準待ち行列を更新する待ち行列更新部と、
該エンキュー、デキュー処理に基づき前記基準中央値、前記基準ロウヒープ、前記基準ハイヒープの更新を行う基準値更新部と、
前記基準値更新部により更新された前記基準中央値に基づき背景画像を生成する背景画像形成部と、
前記背景画像と前記入力画像により差分画像を抽出する差分画像抽出部と、
を備えることを特徴とする画像処理装置。

【請求項2】

時系列に取得された複数の画像を基に背景画像を形成し、該背景画像と入力画像とに基づき差分画像を抽出する背景差分を行う画像処理方法において、
前記複数の画像を基に画素毎に基準待ち行列を作成する待ち基準行列作成ステップと、
前記基準待ち行列に基づき、基準中央値と、前記基準中央値未満の値で構成される基準ロウヒープと、前記基準中央値よりも大きな値で構成される基準ハイヒープと、を決定する基準値作成ステップと、
入力画像に基づき前記基準待ち行列のエンキューとデキューとを行い前記基準待ち行列の更新を行う待ち行列更新ステップと、
前記エンキューとデキューに基づき、前記基準中央値、基準ロウヒープ、基準ハイヒープの更新を行う基準値更新ステップと、
更新された前記基準中央値に基づき前記背景画像を生成する背景画像形成ステップと、
を備えることを特徴とする画像処理方法。

【請求項3】

請求項１の画像処理装置からなる画像抽出手段と、
画像抽出手段により抽出された画像が通報条件を満たすか否かの通報判定手段と、
前記通報判定手段により通報条件を満たすと判定されると通報を行う通報手段と、
を備える監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及び監視システムに関し、より詳しくは、背景差分を用いる画像処理装置、画像処理方法及び監視システムに関する。

【背景技術】

【0002】

画像処理技術の一つに、取得した画像と、事前に取得しておいた画像とを比較し、差分を抽出することにより物体の出現や消失を検出する背景差分法が知られている。この時、事前に取得しておいた画像のことは一般的に背景画像と呼ばれている。

【0003】

この背景画像を生成する手法として、一定期間撮影した時系列の画像を基にして背景画像を生成する方法が知られており、特許文献１には、一定期間に取得した複数のフレームの画像を用い、それぞれ対応する画素の平均値を求めて背景画像を生成したものが記載されている。また、特許文献２には、特許文献１と同様に平均値を求めて行う手法とともに、一定期間に取得した複数のフレームの画像を用い、それぞれ対応する画素の中央値を求めて背景画像を生成したものが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−０２９１７５号公報

【特許文献2】特開２０１２−１０３７４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載されている複数の画像の対応する各画素における平均値を用いて背景画像を生成する場合、例えば、灰色の背景に白い物体が数フレーム入ってしまうと、数フレーム入り込んだ白い物体に大きく影響されてしまい正確な背景画像の生成が不可能になってしまう。したがって、より正確な背景画像を生成する上で、特許文献２に記載されている複数の画像の対応する各画素における中央値を求めて背景画像を生成する方法の方が好ましい。

【0006】

しかしながら、特許文献２において中央値を求める処理に関しては、画素の値を並び替えて、中央値を算出する、と記載されているだけである。したがって、背景画像の生成に用いる画像の数が少なければ、背景画像を生成する毎に画像数に応じた各画素における画素群の並べ替えを行って中央値を算出したとしても、それほど画像処理装置における処理負担は大きくない。

【0007】

一方、背景画像の生成に用いる画像の数が多くなれば、背景画像を生成する毎に各画素における画素群の並べ替えを行って中央値を算出していると、当然ながら画素群の構成数が多くなるので、画像処理装置における処理負担が非常に大きくなり、撮影と同時並行してリアルタイム処理を行おうとしても、処理が間に合わなくなるおそれがある。

【0008】

ここで、例えば、１秒３０フレームとすると、２秒で６０フレームとなるが、ゆっくりと移動する物があるとこれらも背景画像として写り込んでしまう可能性がある。このため、より正確な背景画像を生成する上では、撮影期間はある程度長い方が好ましい。しかしながら、撮影期間が増えればそれだけ画像数も増えてしまうことになるので、対応する各画素の画素群の構成数も当然多くなり、その都度、並べ替えを行って中央値を求めていたのでは、処理に非常に時間がかかってしまい、背景画像の生成処理が追いつかなくなってしまう。

【0009】

とくに、撮影した画像をいったん保存しておき、後日改めてデータ解析等の目的で背景差分による画像処理を行うような場合であれば、背景画像の生成に高速化は必要とされない。しかしながら、実際に高齢者や入退場者の監視のように、撮影しながら実時間において背景差分による画像処理を行うような場合には、リアルタイムで画像処理を行う必要がある。

【0010】

したがって、背景差分における背景画像の生成を行う画像処理装置、画像処理方法また、これらを利用した監視システムにおいては、中央値を求める処理はできるだけ高速化が望まれる。

【0011】

そこで、本発明は上記問題を解決するためになされたものであり、時系列に取得された複数の画像を基に背景画像を生成し、背景画像と入力画像とに基づき差分画像を抽出する背景差分を行う画像処理装置、画像処理方法及び監視システムにおいて、背景画像の生成をより高速に行うことで、リアルタイムで画像処理を行う必要がある用途に最適な画像処理装置、画像処理方法及び監視システムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上記課題を解決するため本発明の画像処理装置は、時系列に画像を取得する画像取得部と、前記画像取得部により取得した複数の画像を蓄積する画像蓄積部と、蓄積された複数の画像を基に画素毎に基準待ち行列を作成する基準待ち行列作成部と、画素毎に作成された前記基準待ち行列を保持しておく待ち行列保持部と、前記基準待ち行列の基準中央値と、前記基準中央値未満の値で構成される基準ロウヒープと、前記基準中央値よりも大きな値で構成される基準ハイヒープと、を作成する基準値作成部と、作成された前記基準中央値、前記基準ロウヒープ、基準基準ハイヒープと、を保持しておく基準値保持部と、取得された入力画像に基づいて、前記待ち行列保持部における前記基準待ち行列のエンキュー、デキュー処理を行い前記基準待ち行列を更新する待ち行列更新部と、該エンキュー、デキュー処理に基づき前記基準中央値、前記基準ロウヒープ、前記基準ハイヒープの更新を行う基準値更新部と、前記基準値更新部により更新された前記基準中央値に基づき背景画像を生成する背景画像形成部と、前記背景画像と前記入力画像により差分画像を抽出する差分画像抽出部と、を備えることを特徴とする。

【0013】

本発明の画像処理装置によれば、時系列に取得された複数の画像の中央値を用いて背景画像を形成する場合において、基準中央値、基準ロウヒープ、基準ハイヒープを作成保持しておき、この基準中央値、基準ロウヒープ、基準ハイヒープの更新によって背景画像を形成する中央値を算出するので、処理負担が少なく中央値の算出処理を高速に行うことができる。具体的には、本発明の画像処理装置は、新たな入力画像に対して、基準中央値のエンキュー、デキューだけで中央値が決まったり（後述するパターン１）、基準ロウヒープだけの更新で中央値が決まったり（後述するパターン５）と、簡単な処理で中央値を算出することができる。従って、本発明の画像処理装置は、リアルタイムで画像処理を行う用途に最適なものとなる。なお、本発明の画像処理装置は、前記基準値作成部における前記基準値中央値、前記基準ロウヒープ、前記基準ハイヒープの作成を、前記基準待ち行列をヒープソート処理することにより行うことができる。

【0014】

また、本発明の画像処理方法は、時系列に取得された複数の画像を基に背景画像を形成し、該背景画像と入力画像とに基づき差分画像を抽出する背景差分を行う画像処理方法において、前記複数の画像を基に画素毎に基準待ち行列を作成する待ち基準行列作成ステップと、前記基準待ち行列に基づき、基準中央値と、前記基準中央値未満の値で構成される基準ロウヒープと、前記基準中央値よりも大きな値で構成される基準ハイヒープと、を決定する基準値作成ステップと、入力画像に基づき前記基準待ち行列のエンキューとデキューとを行い前記基準待ち行列の更新を行う待ち行列更新ステップと、前記エンキューとデキューに基づき、前記基準中央値、基準ロウヒープ、基準ハイヒープの更新を行う基準値更新ステップと、更新された前記基準中央値に基づき前記背景画像を生成する背景画像形成ステップと、を備えることを特徴とする。

【0015】

本発明の画像処理方法によれば、時系列に取得された複数の画像を基に背景画像を形成し、この背景画像と入力画像とに基づき差分画像を抽出する背景差分を行う画像処理方法において、基準中央値、基準ロウヒープ、基準ハイヒープを作成保持しておき、この基準中央値、基準ロウヒープ、基準ハイヒープの更新によって背景画像を形成する中央値を算出するので、処理負担が少なく中央値の算出処理を高速に行うことができる。

【0016】

また、本発明の監視システムは、上記の画像処理装置からなる画像抽出手段と、画像抽出手段により抽出された画像が通報条件を満たすか否かの通報判定手段と、前記通報判定手段により通報条件を満たすと判定されると通報を行う通報手段と、を備えることを特徴とする。

【0017】

本発明の監視システムによれば、背景差分を用いて画像抽出を行い、この抽出された画像が通報条件を満たすか否かの判定によって通報を行う場合において、画像抽出を行うための背景画像の形成を高速に行うことができるため、リアルタイムでの監視に適したものとなる。

【図面の簡単な説明】

【0018】

【図1】本実施形態における監視システムの構成を示した概念図である。

【図2】本実施形態における画像処理装置の構成を示したブロック図である。

【図3】図３（Ａ）は本実施形態におけるある画素の基準待ち行列の具体例であり、図３（Ｂ）は基準待ち行列に対して最初に生成したヒープの例であり、図３（Ｃ）は基準待ち行列により作成した基準中央値、基準ロウヒープ、基準ハイヒープの例である。

【図4】本実施形態における基準値更新部での処理動作を示すフローチャートである。

【図5】本実施形態における基準値更新部における更新パターンの具体例１、２である。

【図6】本実施形態における基準値更新部における更新パターンの具体例３、４である。

【図7】本実施形態における基準値更新部における更新パターンの具体例５、６である。

【図8】本実施形態における基準値更新部における更新パターンの具体例７、８である。

【図9】本実施形態における基準値更新部における更新パターンの具体例９である。

【発明を実施するための形態】

【0019】

以下、実施形態及び図面を参照にして本発明を実施するための形態を説明するが、以下に示す実施形態は、本発明をここに記載したものに限定することを意図するものではなく、本発明は特許請求の範囲に示した技術思想を逸脱することなく種々の変更を行ったものにも均しく適用し得るものである。

【0020】

図１は、本発明の実施形態における画像処理装置１００を用いた監視システム１の構成を示したシステム概念図である。監視システム１は、インターネットからなるネットワークＮを介して接続されたカメラＣ、端末Ｔ、画像処理装置１００で構成されている。

【0021】

まず、カメラＣは、時系列に画像を取得する撮像装置からなり、画像処理装置１００における画像取得部１１０を構成する。このカメラＣは、例えば、公共の場所に設置されて画像を取得したり、ビル等の建物の出入口に設置されて画像を取得したり、室内に設置されて画像を撮影する。そして、監視システム１は、カメラＣにより取得された画像を用い画像処理装置１００により、例えば、公共の場所に設置された画像から通行人の監視を行ったり、ビル等の建物の出入口に設置された画像から侵入者の監視を行ったり、室内に設置された画像から高齢者の監視を行ったりする。

【0022】

なお、カメラＣは、可視光による画像を撮像するものだけでなく、赤外線による画像を撮像するものや、サーモグラフィーのような赤外線の熱分布を用いた画像を取得するものでも構わない。そして、監視システム１は、例えば、サーモグラフィーからなるカメラＣにより工場内の高温装置の画像を取得し、画像処理装置１００を用い、この装置での異常高温の温度管理、或はこの装置への作業者の接近等の監視として利用することもできる。

【0023】

また、カメラＣは、図１に示すように複数用いることができ、異なる場所にそれぞれカメラＣを設置することで、監視システム１は異なる場所を逐次監視することができるシステムとなっている。

【0024】

端末Ｔは、携帯電話やスマートフォン等の携帯端末からなり、監視システム１における通報手段を構成するものである。監視システム１は、画像処理装置１００により抽出された画像から、特定の通行人、不審な侵入者、或は危険な状況の高齢者等、所定の通報条件を満たす画像が抽出された場合に、端末Ｔを所持する者にネットワークＮを介して通報する。

【0025】

なお、通報手段としての端末Ｔは、所持者に対して監視システム１からの通報であることを知らせることができれば、どのような通報でも構わない。例えば、通報手段は、端末Ｔへの電話による通報や端末Ｔの発光或は振動による通報でも構わない。また、通報手段は、端末Ｔではなく、ネットワークＮに接続された警報装置等でも構わない。また、ネットワークＮもインターネットに限定されるものではない。

【0026】

次に、本実施形態における監視システム１を構成する画像処理装置１００について図面を用いて詳細に説明する。図２は、本実施形態における画像処理装置１００の構成を示すブロック図である。

【0027】

画像処理装置１００は、集中管理を行う管理センター等に設置されたコンピュータによって構成されており、時系列に取得された複数の画像を基にして背景画像を形成し、この背景画像と入力画像とに基づいて差分画像を抽出する背景差分と呼ばれる画像処理方法を実行する。そして、画像処理装置１００は、図示していない有線或は無線の接続部を介してネットワークＮに接続されている。

【0028】

この画像処理装置１００は、図２に示すように、画像取得部１１０、画像蓄積部１２０、基準待ち行列作成部１３０、待ち行列保持部１４０、基準値作成部１５０、基準値保持部１６０、待ち行列更新部１７０、基準値更新部１８０、背景画像形成部１９０、差分画像抽出部２００、を備えている。

【0029】

画像取得部１１０は、背景差分による画像処理を行うため、リアルタイムで時系列に画像を取得するためのものであり、ネットワークＮを介して接続するカメラＣを介して時系列に画像を取得していく。

【0030】

画像蓄積部１２０は、画像取得部１１０により取得した複数の画像を一時的に蓄積しておくためのものである。この画像蓄積部１２０は、コンピュータを構成しているＲＡＭ（Random Access Memory）やハードディスク等の記憶装置によって構成される。なお、カメラＣを複数用いて異なる場所の画像を取得する場合には、画像蓄積部１２０はカメラＣ毎に取得された画像をそれぞれ蓄積しておく。

【0031】

基準待ち行列作成部１３０は、画像蓄積部１２０に蓄積された複数の画像から、１画素毎に基準待ち行列を作成するものである。基準待ち行列は、時系列に蓄積される画像において、同一位置の画素を時系列に順次並べた画素群からなるものである。したがって、例えば、３２０×２４０ピクセルの画像を６０フレーム分で基準待ち行列を作成すると、同一位置の画素において６０個の画素群からなる基準待ち行列が作成され、この基準待ち行列が、画像を構成する画素数である７６８００個作成されることになる。この基準待ち行列作成部１３０は、コンピュータを構成するＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やハードディスク等で構成され、ＲＯＭやハードディスクに記憶されたプログラムに基づくＣＰＵでの演算により作成される。
待ち行列保持部１４０は、基準待ち行列作成部１３０で作成された全画素毎の基準待ち行列を保持しておくものであり、ＲＡＭ等によって構成される。

【0032】

基準値作成部１５０は、待ち行列保持部１４０に保持されている画素毎の基準待ち行列をそれぞれヒープにより昇順（或は降順）に並べ替えることにより（ヒープソート処理）、各基準待ち行列の基準中央値と、この基準中央値未満の値で構成されるヒープ（基準ロウヒープ）と、この基準中央値よりも大きな値で構成されるヒープ（基準ハイヒープ）と、を作成するものである。この基準値作成部１５０は、コンピュータを構成するＣＰＵ、ＲＯＭ等で構成される。

【0033】

ここで、基準値作成部１５０によるヒープソート処理により作成される基準中央値、基準ロウヒープ、基準ハイヒープの具体例について図３を用いて説明する。図３（Ａ）は待ち行列保持部１４０に保持されているある画素における基準待ち行列Ｅ１を示している。なお、基準待ち行列Ｅ１は、９枚の画像を用いて作成したある画素における基準待ち行列の例を示している。

【0034】

図３（Ｂ）は、基準待ち行列Ｅ１の配列に対して最初に生成したヒープを示している。なお、このヒープとは、親要素のデータが子要素のデータより常に大きいか等しい（または常に小さいか等しい）という性質を持つ木構造のことである。

【0035】

図３（Ｂ）のヒープから最大値の９を取り出し、残りの値でヒープを生成して最大値（次は８）を取り出す。この作業を繰り返すことで、基準待ち行列Ｅ１の値が昇順｛１、２、３、４、５、６、７、８、９｝に並べ替えられる。基準待ち行列Ｅ１をヒープソート処理により並べ替えた結果から中央値である基準中央値と、この基準中央値未満の値で構成される基準ロウヒープと、この基準中央値よりも上の値で構成される基準ハイヒープを作成する。なお、基準ロウヒープは親要素の値が子要素の値より常に大きいか等しい性質の木構造であり、基準ハイヒープは親要素の値が子要素の値より常に小さいか等しい性質の木構造となっている。

【0036】

図３（Ｃ）は、基準待ち行列Ｅ１をヒープソート処理により並べ替えた結果｛１、２、３、４、５、６、７、８、９｝から作成した基準中央値、基準ロウヒープ、基準ハイヒープを示している。そして、この基準中央値、基準ロウヒープ、基準ハイヒープは、ＲＡＭ等によって構成される基準値保持部１６０によって保持される。なお、本実施形態における基準値作成部１５０では、基準待ち行列Ｅ１をヒープソート処理により並べ替えたが、他のソート処理によって行っても構わない。

【0037】

待ち行列更新部１７０は、画像取得部１１０により取得された新たな画像（入力画像）に基づいて、待ち行列保持部１４０に保持されている基準待ち行列を更新するものであり、ＣＰＵ、ＲＯＭ等で構成される。基準待ち行列の更新は、基準待ち行列のエンキュー、デキュー処理により行われる。具体的には、基準待ち行列Ｅ１の場合に、入力画像における対応する画素の値が『０』であれば、基準待ち行列Ｅ１で最も古い値である『３』がデキューされ、この『０』がエンキューされ、この基準待ち行列Ｅ１は、｛４、７、５、６、８、１、９、２、０｝へと更新され、待ち行列保持部１４０によって保持される。

【0038】

基準値更新部１８０は、待ち行列更新部１７０におけるエンキューとデキュー処理とに基づいて、基準中央値、基準ロウヒープ、基準ハイヒープを更新するものであり、ＣＰＵ、ＲＯＭ等で構成される。そして、基準値更新部１８０により更新された基準中央値、基準ロウヒープ、基準ハイヒープは、基準値保持部１６０によって保持される。この基準値更新部１８０における具体例について説明する。図４は、基準値更新部１８０における具体的な基準値更新の処理動作を示すフローチャートである。

【0039】

まず、基準値更新部１８０は、待ち行列更新部１７０において、対応する画素おける基準待ち行列で新たにエンキューされる値が基準値保持部１６０に保持されている基準中央値と同一か否かの判定を行う（ステップＳ１）。ステップＳ１においてＹＥＳであれば、基準値更新部１８０は、対応する画素における基準待ち行列でデキューされる値が基準値保持部１６０に保持されている基準中央値と同一か否かの判定を行う（ステップＳ２）。ステップＳ２においてＹＥＳであれば、基準値更新部１８０は、後述するパターン１の更新パターンのようにして基準中央値、基準ロウヒープ、基準ハイヒープの更新を行う。

【0040】

次に、ステップＳ２においてＮＯであれば、基準値更新部１８０は、デキューされる値が基準中央値未満か否かの判定を行う（ステップＳ３）。基準値更新部１８０は、ステップＳ３においてＹＥＳであれば、後述するパターン２の更新パターンのようにして基準中央値、基準ロウヒープ、基準ハイヒープの更新を行い、ステップＳ３においてＮＯであれば、後述するパターン３の更新パターンのようにして基準中央値、基準ロウヒープ、基準ハイヒープの更新を行う。

【0041】

一方、ステップＳ１においてＮＯであれば、次に基準値更新部１８０は、基準待ち行列でエンキューされる値が基準値保持部１６０に保持されている基準中央値未満か否かの判定を行う（ステップＳ４）。

【0042】

そして、ステップＳ４においてＹＥＳであれば、基準値更新部１８０は、デキューされる値が基準値保持部１６０に保持されている基準中央値と同一か否かの判定を行う（ステップＳ５）。ステップＳ５においてＹＥＳであれば、基準値更新部１８０は、後述するパターン４の更新パターンのようにして基準中央値、基準ロウヒープ、基準ハイヒープの更新を行う。

【0043】

次に、ステップＳ５においてＮＯであれば、基準値更新部１８０は、デキューされる値が基準中央値未満か否かの判定を行う（ステップＳ６）。基準値更新部１８０は、ステップＳ６においてＹＥＳであれば、後述するパターン５の更新パターンのようにして基準中央値、基準ロウヒープ、基準ハイヒープの更新を行い、ステップＳ６においてＮＯであれば、後述するパターン６の更新パターンのようにして基準中央値、基準ロウヒープ、基準ハイヒープの更新を行う。

【0044】

そして、ステップＳ４においてＮＯであれば、次に基準値更新部１８０は、デキューされる値が基準値保持部１６０に保持されている基準中央値と同一か否かの判定を行う（ステップＳ７）。ステップＳ７においてＹＥＳであれば、基準値更新部１８０は、後述するパターン７の更新パターンのようにして基準中央値、基準ロウヒープ、基準ハイヒープの更新を行う。

【0045】

次に、ステップＳ７においてＮＯであれば、基準値更新部１８０は、デキューされる値が基準中央値未満か否かの判定を行う（ステップＳ８）。基準値更新部１８０は、ステップＳ８においてＹＥＳであれば、後述するパターン８の更新パターンのようにして基準中央値、基準ロウヒープ、基準ハイヒープの更新を行い、ステップＳ８においてＮＯであれば、後述するパターン９の更新パターンのようにして基準中央値、基準ロウヒープ、基準ハイヒープの更新を行う。

【0046】

以上のような処理が基準値更新部１８０で行われ、更新された基準中央値、基準ロウヒープ、基準ハイヒープが基準値保持部１６０に保持されることで、基準値更新部１８０での処理が終了する。

【0047】

次に上記のパターン１〜９の更新パターンについて具体例を示す。図５は更新パターンのパターン１、２を示し、図６は更新パターンのパターン３、４を示し、図７は更新パターンのパターン５、６を示し、図８は更新パターンのパターン７、８を示し、図９は更新パターンのパターン９を示している。また、図５〜９には、待ち行列更新部１７０で行われる基準待ち行列の更新と、基準値更新部１８０で行われる待ち行列更新部１７０でのエンキューとデキュー処理とに基づく、基準中央値、基準ロウヒープ、基準ハイヒープの更新とを示している。なお、図５〜９における具体例では、更新前の基準中央値、基準ロウヒープ、基準ハイヒープが、図３（Ｃ）に示したものと同じものとなっている。そのため更新前の基準待ち行列の構成は、昇順に並べ替えると｛１、２、３、４、５、６、７、８、９｝となっている。
［パターン１］

【0048】

図５に示すパターン１は、基準待ち行列｛５、３、４、７、６、８、１、９、２｝において、新たにエンキューされる値が基準中央値と同じ値『５』で、基準中央値と同じ値『５』がデキューされる場合のパターンである。
この場合、基準待ち行列は、待ち行列更新部１７０において｛３、４、７、６、８、１、９、２、５｝へと更新され、待ち行列保持部１４０で保持される。

【0049】

また、基準中央値、基準ロウヒープ、基準ハイヒープは、エンキュー（図５〜９においてＥｎと図示する）、デキュー（図５〜９においてＤｅと図示する）される値が基準中央値と同じなので、結局従前と同様のまま基準値保持部１６０に保持される。
［パターン２］

【0050】

図５に示すパターン２は、基準待ち行列｛３、４、７、５、６、８、１、９、２｝において、新たにエンキューされる値が基準中央値と同じ値『５』で、基準中央値未満の値『３』がデキューされる場合のパターンである。
この場合、基準待ち行列は、待ち行列更新部１７０において｛４、７、５、６、８、１、９、２、５｝へと更新され、待ち行列保持部１４０で保持される。

【0051】

また、基準中央値と同じ値がエンキューされ、基準ロウヒープ側の値がデキューされるため、基準ロウヒープ側においてエンキューされる『５』とデキューされる『３』を入れ替えてヒープの再構成が行われる更新が行われて、図示したものが基準値保持部１６０に保持される。
［パターン３］

【0052】

図６に示すパターン３は、基準待ち行列｛７、３、４、５、６、８、１、９、２｝において、新たにエンキューされる値が基準中央値と同じ値『５』で、基準中央値より大きな値『７』がデキューされる場合のパターンである。
この場合、基準待ち行列は、待ち行列更新部１７０において｛３、４、５、６、８、１、９、２、５｝へと更新され、待ち行列保持部１４０で保持される。

【0053】

また、基準中央値と同じ値がエンキューされ、基準ハイヒープ側の値がデキューされるため、基準ハイヒープ側においてエンキューされる『５』とデキューされる『７』を入れ替えてヒープの再構成が行われる更新が行われて、図示したものが基準値保持部１６０に保持される。
［パターン４］

【0054】

図６に示すパターン４は、基準待ち行列｛５、４、３、７、６、８、１、９、２｝において、新たにエンキューされる値が基準値未満の値『３』で、基準中央値と同じ値『５』がデキューされる場合のパターンである。
この場合、基準待ち行列は、待ち行列更新部１７０において｛４、３、７、６、８、１、９、２、３｝へと更新され、待ち行列保持部１４０で保持される。

【0055】

また、現在の基準中央値『５』がデキューされ、空いた基準中央値へ現在の基準ロウヒープ側の親（根）である『４』が移り、基準ロウヒープにおいて『３』がエンキューされてヒープの再構成が行われる更新が行われて、図示したものが基準値保持部１６０に保持される。この時、基準ハイヒープについての更新は行われない。
［パターン５］

【0056】

図７に示すパターン５は、基準待ち行列｛３、４、７、５、６、８、１、９、２｝において、新たにエンキューされる値が基準値未満の値『０』で、基準中央値未満の値『３』がデキューされる場合のパターンである。
この場合、基準待ち行列は、待ち行列更新部１７０において｛４、７、５、６、８、１、９、２、０｝へと更新され、待ち行列保持部１４０で保持される。

【0057】

また、エンキュー、デキューされる値が何れも基準中央値未満の値であるため、基準中央値、基準ハイヒープについては更新がなく、基準ロウヒープにおいてデキューされる『３』とエンキューされる『０』を入れ替えてヒープの再構成が行われる更新が行われて、図示したものが基準値保持部１６０に保持される。
［パターン６］

【0058】

図７に示すパターン６は、基準待ち行列｛７、４、３、５、６、８、１、９、２｝において、新たにエンキューされる値が基準値未満の値『１』で、基準中央値より大きな値『７』がデキューされる場合のパターンである。
この場合、基準待ち行列は、待ち行列更新部１７０において｛４、３、５、６、８、１、９、２、１｝へと更新され、待ち行列保持部１４０で保持される。

【0059】

また、基準ハイヒープ側において『７』がデキューされるので、現在の中央値である『５』と入れ替えて基準ハイヒープ側のヒープの再構成が行われ、空いた基準中央値へ現在の基準ロウヒープ側の親（根）である『４』が移り、『４』が新たな基準中央値となる。そして、基準ロウヒープ側では新たに『１』をエンキューしてヒープの再構成が行われる更新が行われて、図示したものが基準値保持部１６０に保持される。
［パターン７］

【0060】

図８に示すパターン７は、基準待ち行列｛５、４、３、７、６、８、１、９、２｝において、新たにエンキューされる値が基準値より大きな値『９』で、基準中央値と同じ値『５』がデキューされる場合のパターンである。
この場合、基準待ち行列は、待ち行列更新部１７０において｛４、３、７、６、８、１、９、２、９｝へと更新され、待ち行列保持部１４０で保持される。

【0061】

また、現在の基準中央値『５』がデキューされるので、空いた基準中央値へ、今回エンキューされる基準ハイヒープ側の現在の親（根）である『６』が移り、『６』が新たな基準中央値となる。そして、基準ハイヒープ側では新たに『９』をエンキューしてヒープの再構成が行われる更新が行われて、図示したものが基準値保持部１６０に保持される。この時、基準ロウヒープについての更新は行われない。
［パターン８］

【0062】

図８に示すパターン８は、基準待ち行列｛２、４、３、７、６、８、１、９、５｝において、新たにエンキューされる値が基準値より大きな値『８』で、基準中央値未満の値『２』がデキューされる場合のパターンである。
この場合、基準待ち行列は、待ち行列更新部１７０において｛４、３、７、６、８、１、９、５、８｝へと更新され、待ち行列保持部１４０で保持される。

【0063】

また、基準ロウヒープ側において『２』がデキューされるので、現在の中央値である『５』と入れ替えて基準ロウヒープ側のヒープの再構成が行われ、空いた基準中央値へ現在の基準ハイヒープ側の親（根）である『６』が移り、『６』が新たな基準中央値となる。そして、基準ハイヒープ側では新たに『８』をエンキューしてヒープの再構成が行われる更新が行われて、図示したものが基準保持部１６０に保持される。
［パターン９］

【0064】

図９に示すパターン９は、基準待ち行列｛６、４、３、７、２、８、１、９、５｝において、新たにエンキューされる値が基準値より大きな値『１０』で、基準中央値より大きな値『６』がデキューされる場合のパターンである。
この場合、基準待ち行列は、待ち行列更新部１７０において｛４、３、７、２、８、１、９、５、１０｝へと更新され、待ち行列保持部１４０で保持される。

【0065】

また、エンキュー、デキューされる値が何れも現在の基準中央値よりも大きな値なので、基準ハイヒープ側においてデキューされる『６』とエンキューされる『１０』を入れ替えてヒープの再構成が行われる更新が行われて、図示したものが基準保持部１６０に保持される。
以上のようして基準中央値、基準ロウヒープ、基準ハイヒープの更新が、本実施形態における画像処理装置１００の基準値更新部１８０において行われる。

【0066】

背景画像形成部１９０は、基準値保持部１６０に保持されている画素毎の基準中央値を用いて背景画像を形成するためのものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成される。そして、この背景画像の形成において、本実施形態における画像処理装置１００では、基準待ち行列作成部１３０により、画像蓄積部１２０に蓄積された複数の画像から、１画素毎に基準待ち行列を作成し、基準値作成部１５０により、待ち行列保持部１４０に保持されている画素毎の基準待ち行列をそれぞれヒープにより並べ替えて、基準待ち行列毎の基準中央値と、この基準中央値未満の値で構成される基準ロウヒープ、この基準中央値よりも大きな値で構成される基準ハイヒープと、を作成しておき、その後取得された入力画像に基づいて、待ち行列更新部１７０により、待ち行列保持部１４０に保持されている基準待ち行列をエンキュー、デキュー処理により更新するとともに、基準値更新部１８０により、待ち行列更新部１７０におけるエンキューとデキュー処理とに基づいて、基準中央値、基準ロウヒープ、基準ハイヒープを更新し、画素毎の基準中央値を用いて背景画像の形成を行っている。

【0067】

また、時系列に取得された複数の画像を基に背景画像を形成し、該背景画像と入力画像とに基づき差分画像を抽出する背景差分を行う本実施形態の画像処理方法において、複数の画像を基に画素毎に基準待ち行列を作成する待ち基準行列作成ステップと、この基準待ち行列に基づき、基準中央値と、基準ロウヒープと、基準ハイヒープと、を決定する基準値作成ステップと、入力画像に基づき基準待ち行列のエンキューとデキューとを行い基準待ち行列の更新を行う待ち行列更新ステップと、このエンキューとデキューに基づき基準中央値、基準ロウヒープ、基準ハイヒープの更新を行う基準値更新ステップと、更新された基準中央値に基づき背景画像を生成する背景画像形成ステップと、が行われている。

【0068】

従って、時系列に取得された複数の画像を用いて背景画像を形成する画像処理における、複数の画像の対応する画素群（基準待ち行列）の中央値を求めて背景画像を生成する方法において、本実施形態の画像処理装置１００及び画像処理方法では、この中央値を基準中央値、基準ロウヒープ、基準ハイヒープの更新により求めている。

【0069】

これは特許文献２に記載されているように、背景画像を生成する毎に対応する画素群の並べ替えを行って中央値を算出する処理方法に比べ、最初に作成しておいた基準中央値、基準ロウヒープ、基準ハイヒープの更新だけで中央値が算出できるので、処理負担が少なく中央値の算出処理を高速に行うことができる。つまり、画像処理装置１００は、図４〜８に示したように、新たな入力画像に対して、基準中央値のエンキュー、デキューだけで中央値が決まったり（パターン１）、基準ロウヒープだけの更新で中央値が決まったり（パターン５）と、簡単な処理で中央値を算出することができる。そして、画像処理装置１００は、リアルタイムで画像処理を行う必要がある監視等の用途において最適なものとなる。

【0070】

ここで、本実施形態のような画像処理装置１００における画像処理方法により背景画像を形成した場合と、異なる画像処理方法により背景画像を形成した場合との処理速度について検証した結果を述べる。なお、複数の画像を用いて対応する画素における画素群から中央値を求めたソート法として、本実施形態の画像処理方法をヒープ法と呼ぶこととする。また、異なる画像処理方法として、ソート法としてよく知られているバブルソート法とクイックソート法を用いた。

【0071】

なお、バブルソート法は、数列（画素群）の中で隣接する数値の大小比較を行い、条件を満たしていたら交換するという処理を要素数−１回行うことでソートする方法である。また、クイックソート法は、数列（画素群）の中から適当な値（ピボット）を選択し、ピボットよりも大きい値を後方に、小さい値を前方に移動して数列をピボットより小さい値と大きい値の領域に分割し、数列の分割が出来なくなるまで、分割した領域で同様の処理を繰り返してソートする方法である。

【0072】

処理速度の比較は、時系列の１０枚の画像を用いて各画素の中央値を求めて背景画像を作成する処理の時間をそれぞれ計測して行った。解像度は３２０×２４０ピクセルの画像とした。なお、その処理時間を１０で割って、１枚当たりにかかる時間についても比較を行った。

【0073】

バブルソート法は、今回１０１．５６［ｓ］かかり、１枚当たり１０．１５６［ｓ］であった。クイックソート法は、今回１４．５６［ｓ］かかり、１枚当たり１．４５６［ｓ］であった。本実施形態のヒープ法は、今回８．５７［ｓ］かかり、１枚当たり０．８５７［ｓ］であった。監視等の用途において、リアルタイムで画像を取得しながら画像処理を行う場合には、１枚当たりにかかる時間はできるだけ短い方がよく、本実施形態のヒープ法が有用であることがわかった。

【0074】

差分画像抽出部２００は、画像取得部１１０で取得された入力画像と、背景画像形成部１９０で形成された背景画像を用い、差分画像を抽出するためのものであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成される。この入力画像と背景画像を用いて差分画像を抽出する方法は既知の方法を用いることできる。

【0075】

以上のように、本実施形態の画像処理装置１００においては、差分画像の抽出に用いる背景画像の生成を複数の画像を用いて行う場合に、背景画像の形成を高速に行うことができる。従って、リアルタイムで画像処理を行う必要がある監視などの用途において、画像処理装置１００は非常に適したものとなる。

【0076】

そしてこの画像処理装置１００からなる画像抽出手段を備える監視システム１は、画像処理装置１００における差分画像抽出部２００において抽出された差分画像が所定の通報条件を満たすか否かの通報判定手段（図示せず）を備えている。なお、通報判定手段は、例えば、監視システム１が高齢者の監視であれば差分画像と転倒画像とのマッチングを行って転倒か否かを判定する。また、監視システム１が特定者の監視であれば差分画像における顔画像と特定者の顔画像とのマッチングを行って特定者か否かを判定する。

【0077】

そして、通報判定手段により通報条件を満たすと判定された場合、監視システム１は、通報手段（端末Ｔ）を介して通報を行う。このように、本実施形態の監視システム１においては、背景差分を用いた監視において、背景画像の形成を高速に行うことができるため、リアルタイムでの監視が必要な用途に非常に適している。

【符号の説明】

【0078】

１：監視システム
１００：画像処理装置
１１０：画像取得部
１２０：画像蓄積部
１３０：基準待ち行列作成部
１４０：待ち行列保持部
１５０：基準値作成部
１６０：基準値保持部
１７０：待ち行列更新部
１８０：基準値更新部
１９０：背景画像形成部
２００：差分画像抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】