(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1、2は、移動体(不審者等)を検知することはできるが、その移動体の種別(人、車等)や大きさ等の属性を検知するものではなかった。また、特許文献1、2は、非移動体である不審物の検知や、さらには、その不審物の種類や大きさ等の属性を検知するものでもなかった。
【0006】
なお、最近では、テロ行為等に対する安心、安全の確保が重要視されていることから、放置された不審物の発見や、その不審物に対する対応の迅速化も要望されている。
【0007】
ビデオカメラで撮像された物体の種類や大きさ等の属性を検知することは、公知のパターンマッチング等の画像処理で行えるが、物体の属性の検知精度を高めるために画像処理を比較的複雑にする必要がある。その結果、画像処理を行う装置側の負荷が増大する。すなわち、画像処理を行う装置は、処理性能がある程度高いものを使用しなければならない。一方で、比較的広い施設では、不審者や、不審物を監視する監視対象エリアを複数箇所設定し、監視対象エリア毎にビデオカメラを設置している。ビデオカメラ毎(監視対象エリア毎)に、そのビデオカメラが撮像した画像を画像処理するのに適した処理性能の端末を使用することは、システムの構築にかかるコストを増大させる。
【0008】
この発明の目的は、監視対象エリア内に位置する物体の検知、およびその属性の検知が精度よく行え、且つ、システムの構築にかかるコストの増加が抑えられる分散画像処理システムを提供することにある。
【課題を解決するための手段】
【0009】
この発明の分散画像処理システムは、上記課題を解決し、その目的を達するために、以下のように構成している。
【0010】
この分散画像処理システムは、通信可能に接続した端末と、サーバと、を備えている。サーバに通信可能に接続されている端末は、1台であってもよいし、複数台であってもよい。
【0011】
端末には、第1のカメラが接続されている。この第1のカメラは、撮像した監視対象エリアの動画像を端末の動画像入力部に入力する。端末は、簡易画像処理部において、動画像入力部に入力された動画像を処理し、撮像されている物体、および監視対象エリア内におけるこの物体の位置を検知する。この簡易画像処理部は、撮像されている物体の有無を検知するだけで、その物体の種類や大きさ等の属性まで検知する必要はない。簡易画像処理部は、例えば、動画像入力部に入力された動画像のフレーム画像と、監視対象エリアの背景画像と、の差分画像を生成し、この差分画像によって物体の有無を検知する。すなわち、簡易画像処理部は、処理負荷が小さい画像処理を実行する。
また、端末には、第2のカメラが接続されている。この第2のカメラは、監視対象エリア内の一部を撮像した静止画像を端末の静止画像入力部に入力する。簡易画像処理部が物体を検知したときには、撮像視野制御部がこの検知された物体の位置に基づいて、第2のカメラの撮像
倍率を制御する。例えば、
第2のカメラがズーム機能を備え、撮像視野制御部が第2のカメラの撮像倍率を制御する。これにより、第2のカメラで、検知した物体を鮮明に撮像した静止画像を得ることができる。
また、撮像視野制御部は、第2のカメラの撮像倍率だけでなく、第2のカメラの撮像方向も制御する構成にするのが好ましい。例えば、第2のカメラを直交する2軸方向(パン方向と、チルト方向)に個別に回動する雲台に取り付けておき、簡易画像処理部が検知した物体の位置に基づいて、撮像視野制御部が雲台のパン方向、およびチルト方向の回動角を個別に制御し、第2のカメラの撮像方向を制御する。
静止画像送信部は、簡易画像処理部が物体を検知したときに、撮像視野制御部が撮像
倍率を制御した第2のカメラによって撮像された静止画像、および、このときの第2のカメラの撮像
倍率をサーバに送信する。
【0012】
サーバは、画像処理部で、端末から送信されてきた静止画像を撮像した第2のカメラの撮像
倍率を用いて、この静止画像を処理し、この静止画像に撮像されている物体
の大きさを属性として検知する。
また、画像処理部は、パターンマッチング等により、静止画像に撮像されている物体の種類を検知する
構成としてもよい。
さらには、画像処理部は、検知した物体の種類に応じた認識処理等も行う
構成としてもよい。例えば、検知した物体が、不審者であれば、顔認識により、その不審者の性別、年齢等の属性の検知を行う
構成としてもよい。また、車両であれば、その車両のナンバープレートに表記されているナンバープレート番号を認識する文字認識を行う
構成としてもよい。
さらに、サーバは、出力部において、画像処理部の処理結果に基づく出力を行う。例えば、警備室の警報を作動させて処理結果を待機している警備員等に通知したり、警備員等が所持している携帯端末に処理結果を電子メールで送信したりする。これにより、検知された不審者や不審物に対する対応が迅速に行える。
【0013】
このように、端末は、第1のカメラが撮像した撮像画像に物体が撮像されているかどうか(物体の有無)が検知できればよく、撮像されている物体の
属性として種類や大き
さまで検知できなくてもよいので、物体の検知にかかる画像処理の処理負荷を十分に小さくできる。また、端末は、物体を検知したときに、物体が撮像されている撮像画像
(第2のカメラで撮像した静止画像)をサーバに送信し、物体を検知していないときに、撮像画像
(第2のカメラで撮像した静止画像)をサーバに送信しない。しかも、端末は、サーバに対して動画像を送信するのではなく、静止画像を送信する。このため、端末は、サーバに送信する画像のデータ量も抑えられるので、サーバとの通信にかかる負荷が抑えられる。また、端末と、サーバとを通信可能に接続するネットワークのトラフィック量も抑えられる。
【0014】
したがって、端末は、処理性能が低い安価なものであっても問題なく使用できる。また、監視対象エリア内に位置する物体の検知、およびその属性の検知については、サーバ側で精度よく行える。すなわち、監視対象エリア内に位置する物体の検知、およびその属性の検知が精度よく行え、且つ、システムの構築にかかるコストの増加が抑えられる。
【0017】
さらに、端末の簡易画像処理部が、撮像されている物体の検知とともに、検知した物体が移動体であるかどうかを検知し、静止画像送信部が、静止画像とともに、検知した物体が移動体であるかどうかをサーバに送信するようにしてもよい。
【発明の効果】
【0018】
この発明によれば、監視対象エリア内に位置する物体の検知、およびその属性の検知が精度よく行え、且つ、システムの構築にかかるコストの増加が抑えられる。
【発明を実施するための形態】
【0020】
以下、この発明の実施形態である分散画像処理システムについて説明する。
【0021】
図1は、この分散画像処理システムの構成を示す概略図である。この分散画像処理システムは、不審者や、放置物(不審物)に対する監視を行う監視対象エリア毎に、エリア端末1と、ビデオカメラ2と、ディジタルスチルカメラ3と、を設置している。また、センタにサーバ4を設置している。各監視対象エリアに設置しているエリア端末1は、ネットワーク5を介してサーバ4と通信可能に接続している。
【0022】
ビデオカメラ2、およびディジタルスチルカメラ3は、撮像画像をエリア端末1に入力する。ビデオカメラ2は、撮像エリアが監視対象エリア全体をカバーするように設置している。言い換えれば、ビデオカメラ2の撮像エリアが監視対象エリアである。ビデオカメラ2は、監視対象エリアを撮像した動画像(例えば、1秒間に30フレームの撮像画像)をエリア端末1に入力する。
【0023】
ディジタルスチルカメラ3は、直交する2軸方向(パン方向と、チルト方向)に個別に回動する雲台(不図示)に取り付けている。また、ディジタルスチルカメラ3は、撮像光学系を駆動し、撮像倍率を変化させるズーム機能を有する。ディジタルスチルカメラ3は、レリーズ信号の入力に応じて静止画像を撮像する。
【0024】
ビデオカメラ2が、この発明で言う第1のカメラに相当し、ディジタルスチルカメラ3がこの発明で言う第2のカメラに相当する。
【0025】
エリア端末1は、ビデオカメラ2が撮像した画像(動画像)を処理し、撮像されている物体の有無、すなわち監視対象エリア内に位置する物体の有無、を検知する。また、エリア端末1は、監視対象エリア内に位置する物体を検知すると、ディジタルスチルカメラ3の撮像視野を検知した物体に合わせ、このディジタルスチルカメラ3にレリーズ信号を入力する。エリア端末1は、ディジタルスチルカメラ3が撮像した画像(静止画像)を、ネットワーク5を介してサーバ4に送信する。
【0026】
サーバ4は、エリア端末1から送信されてきた静止画像を処理し、撮像されている物体(すなわち監視対象エリア内に位置する物体)の種類や、大きさ等の属性を検知する。サーバ4は、監視対象エリア内に位置する物体(エリア端末1が検知した物体)についての検知結果に応じた出力を行う。
【0027】
図2は、エリア端末の主要部の構成を示すブロック図である。エリア端末1は、制御部11と、動画像入力部12と、画像処理部13と、撮像視野制御部14と、撮像指示部15と、静止画像入力部16と、画像記憶部17と、通信部18とを有している。制御部11は、エリア端末1本体各部の動作を制御する。
【0028】
動画像入力部12には、ビデオカメラ2が撮像している監視対象エリアの動画像が入力される。ビデオカメラ2は、1秒間に30フレームの撮像画像を動画像入力部12に入力する。
【0029】
画像処理部13は、動画像入力部12に入力されたフレーム画像毎に、そのフレーム画像と、監視対象エリアの背景画像と、の差分画像を生成し、生成した差分画像によって監視対象エリア内に位置する物体(不審者や不審物)が撮像されているかどうかを検知する。公知のように、上記差分画像には、監視対象エリア内に位置する不審者や不審物等の物体があらわれる。
【0030】
撮像視野制御部14は、ディジタルスチルカメラ3の撮像視野を制御する。具体的には、撮像視野制御部14は、ディジタルスチルカメラ3を取り付けている雲台のパン方向、およびチルト方向の回動角を個別に制御する。雲台をパン方向、およびチルト方向に回動させる駆動機構(不図示)は、この雲台に設けている。すなわち、撮像視野制御部14は、雲台の駆動機構を制御して、パン方向、およびチルト方向の回動角を制御する。雲台のパン方向、およびチルト方向の回動角を変化させることで、ディジタルスチルカメラ3の撮像方向が変化する。また、撮像視野制御部14は、ディジタルスチルカメラ3に対して、撮像倍率を指示する。
【0031】
撮像指示部15は、ディジタルスチルカメラ3に対してレリーズ信号を入力する。
【0032】
静止画像入力部16は、ディジタルスチルカメラ3が撮像した静止画像が入力される。
【0033】
画像記憶部17は、ビデオカメラ2が撮像した監視対象エリアの動画像、すなわち動画像入力部12に入力された動画像、を記憶するハードディスク等の記録媒体を有する。
【0034】
通信部18は、ネットワーク5を介したサーバ4との通信を制御する。
【0035】
図3は、サーバの主要部の構成を示すブロック図である。サーバ4は、制御部41と、通信部42と、画像処理部43と、画像記憶部44と、出力部45と、を有している。制御部41は、サーバ4本体各部の動作を制御する。
【0036】
通信部42は、ネットワーク5を介したエリア端末1との通信を制御する。
【0037】
画像処理部43は、エリア端末1から送信されてきた静止画像を処理し、撮像されている物体の種類や大きさ等の属性を検知する。画像処理部43は、公知のパターンマッチング等にかかる画像処理を行って、撮像されている物体の種類や大きさ等の属性を検知する。また、検知した物体が人であれば、顔認識処理を行い、性別、年齢等を推定する。また、検知した物体が車両であれば、ナンバープレートに表記されているナンバープレート番号を認識する文字認識処理を行う。
【0038】
画像記憶部44は、エリア端末1から送信されてきた静止画像を記憶する。
【0039】
出力部45は、画像処理部43における画像処理の結果に基づく出力を行う。例えば、不審者や、不審物を検知したときに、検知した不審者や、不審物の種類や大きさ等を処理結果とし、警備室の警報を作動させて、待機している警備員等に通知することや、警備員等が所持している携帯端末に処理結果を電子メールで送信することを行う。
【0040】
次に、
図4を参照しながら、ビデオカメラ2の撮像エリアと、ディジタルスチルカメラ3の撮像エリアとの関係について説明する。ビデオカメラ2の撮像エリアは、上述したように、接続されているエリア端末1に割り当てられている監視対象エリアに相当する。ビデオカメラ2の撮像エリアは、固定されている。一方、ディジタルスチルカメラ3の撮像エリアは、撮像倍率によって、その大きさを変化させることができるとともに、取り付けている雲台のパン方向、およびチルト方向の回動角を変化させることで、監視対象エリアの任意の位置に合わせることができる。
【0041】
なお、ディジタルスチルカメラ3が、
図4に示す2箇所の撮像エリアを同時に撮像できるわけではない。
【0042】
次に、
図5、および
図6を参照しながら、この分散画像処理システムの動作について説明する。
図5は、エリア端末の動作を示すフローチャートである。
図6は、サーバの動作を示すフローチャートである。
【0043】
エリア端末1は、ビデオカメラ2から撮像画像(フレーム画像)が動画像入力部12に入力されると(S1)、画像処理部13において、そのフレーム画像と、監視対象エリアの背景画像との差分画像を生成する(S2)。画像処理部13は、S2で生成した差分画像により、監視対象エリア内に位置する物体(不審者や、不審物)の有無を検知する(S3)。エリア端末1は、S3で監視対象エリア内に位置する物体が無いことを検知すると、S1に戻る。
【0044】
なお、ここでは、S1〜S3にかかる処理を、ビデオカメラ2が撮像したフレーム画像毎に行う構成としているが、例えば、5フレーム毎や、10フレーム毎に行うようにしてもよい。
【0045】
エリア端末1は、S3で監視対象エリア内に位置する物体を検知すると、この物体の位置(監視対象エリア内の位置)、および大きさを検知する(S4)。監視対象エリア内における物体の位置は、その物体のフレーム画像上の位置から検知できる。また、物体の大きさは、その物体のフレーム画像上の大きさから検知できる。
【0046】
撮像視野制御部14が、S4で検知した物体の位置、および大きさに基づいて、ディジタルスチルカメラ3を取り付けている雲台のパン方向、およびチルト方向の回動角を算出するとともに、ディジタルスチルカメラ3の撮像倍率を算出する(S5)。S5では、ディジタルスチルカメラ3の撮像視野内に、S3で検知した物体全体が収まるように、パン方向、およびチルト方向の回動角、およびディジタルスチルカメラ3の撮像倍率を算出する。
【0047】
ディジタルスチルカメラ3は、監視対象エリア全体を撮像するのではなく、検知した物体を撮像すればよいので、その撮像倍率をビデオカメラ2の撮像倍率よりも大きくできる。したがって、ディジタルスチルカメラ3の撮像画像は、ビデオカメラ2の撮像画像よりも、検知した物体が鮮明に撮像される。
【0048】
撮像視野制御部14は、S5で算出した雲台のパン方向、およびチルト方向の回動角を、ディジタルスチルカメラ3を取り付けている雲台に指示するとともに、撮像倍率をディジタルスチルカメラ3に指示する(S6)。これにより、雲台がパン方向、およびチルト方向に回動し、ディジタルスチルカメラ3の撮像方向を変化させる。また、ディジタルスチルカメラ3は、撮像倍率を、今回指示された倍率に変更する。
【0049】
エリア端末1は、撮像指示部15がディジタルスチルカメラ3に対してレリーズ信号を入力する(S7)。これにより、ディジタルスチルカメラ3が、この時点における撮像視野での撮像を行い、撮像した静止画像を静止画像入力部16に入力する。上述したように、エリア端末1は、今回検知した物体の位置や大きさに合わせてディジタルスチルカメラ3の撮像視野を合わせているので、ビデオカメラ2が撮像したフレーム画像よりも、検知した物体を鮮明に撮像した静止画像を得ることができる。
【0050】
エリア端末1は、ディジタルスチルカメラ3が撮像した静止画像が入力されると(S8)、この静止画像をサーバ4に送信する(S9)。このとき、エリア端末1は、S4で検知した物体の位置、およびS5で算出したディジタルスチルカメラ3の撮像倍率についても、サーバ4に送信している。
【0051】
また、エリア端末1は、動画像入力部12に入力されているビデオカメラ2が撮像した監視対象エリアの動画像を常に画像記憶部17に記憶してもよいが、画像記憶部17の記憶容量を抑えるために、S3で物体を検知したタイミングを開始タイミングとし、その後一定時間だけ、動画像入力部12に入力されているビデオカメラ2が撮像した監視対象エリアの動画像を記憶するようにしてもよい。
【0052】
上記の説明から明らかなように、エリア端末1は、物体の検知にかかる画像処理部13での画像処理の処理負荷や、サーバ4への画像の送信にかかる処理負荷が十分に抑えられる。
【0053】
次に、
図6を参照しながら、サーバ4の動作について説明する。
【0054】
サーバ4は、ネットワーク5を介して接続されているいずれかのエリア端末1から送信されてきた静止画像を通信部42で受信すると(S11)、今回受信した静止画像を画像処理部43で処理する(S12)。S12では、上述したエリア端末1の画像処理部13と異なり、パターンマッチングにかかる画像処理を行い、今回受信した静止画像に撮像されている物体の種類や大きさ等の属性を検知する。具体的には、サーバ4は、画像処理部43において、撮像されている物体が、移動体である人や車等であるか、非移動体であるカバンやスーツケース等であるかをパターンマッチングにより検知する。また、サーバ4は、検知した物体が人であれば、画像処理部43で顔認識処理を行い、性別、年齢等を推定する。また、サーバ4は、検知した物体が車両であれば、画像処理部43でその車両のナンバープレートに表記されているナンバープレート番号を認識する文字認識処理を行う。
【0055】
なお、サーバ4は、ディジタルスチルカメラ3が通信部42で受信した静止画像を撮像したときの撮像倍率をエリア端末1から受信しているので、この静止画像上における物体の大きさから、この物体の実際の大きさを算出できる。
【0056】
パターンマッチング、顔認識処理、文字認識処理等については、公知であるので、ここでは詳細な説明を省略する。
【0057】
サーバ4は、出力部45において、S12における検知結果に応じた出力を行う(S13)。例えば、今回検知した不審者や、不審物の種類や大きさ等を処理結果とし、警備室の警報を作動させて、待機している警備員等に通知することや、警備員等が所持している携帯端末に処理結果を電子メールで送信することを行う。
【0058】
また、サーバ4は、ネットワーク5を介して接続されているエリア端末1から送信されてきた静止画像を画像記憶部44に記憶する。
【0059】
上述したように、エリア端末1は、物体の検知にかかる画像処理部13での画像処理の処理負荷や、サーバ4への画像の送信にかかる処理負荷が十分に抑えられる。
【0060】
また、エリア端末1が検知した物体の属性についてはサーバ4側で検知する。サーバ4は、物体の有無にかかる検知については行わない。また、サーバ4が物体の属性を検知するのに用いる静止画像は、ディジタルスチルカメラ3で検知した物体を鮮明に撮像した画像である。このため、サーバ4は、監視対象エリア内に位置する物体の属性を精度よく検知することができる。また、エリア端末1は、検知した物体が撮像されている静止画像をサーバ4に送信し、ビデオカメラ2で撮像した動画像についてはサーバ4に送信しないので、ネットワーク5のトラフィック量も抑えることができる。
【0061】
したがって、この分散画像処理システムでは、エリア端末1は、処理性能が低い安価なものであっても問題なく使用できる。また、監視対象エリア内に位置する物体の検知、およびその属性の検知については、サーバ4側で精度よく行える。これにより、監視対象エリア内に位置する物体の検知、およびその属性の検知が精度よく行え、且つ、システムの構築にかかるコストの増加が抑えられる。
【0062】
また、上述したディジタルスチルカメラ3と、雲台と、エリア端末1の撮像視野制御部14、撮像指示部15、および静止画像入力部16をなくし、エリア端末1が検知した物体が撮像されているビデオカメラ2のフレーム画像を静止画像として、サーバ4に送信するように構成してもよい。このようにすれば、エリア端末1の処理負荷を一層低減することができる。
【0063】
また、エリア端末1は、検知した物体が撮像されているビデオカメラ2のフレーム画像と、ディジタルスチルカメラ3が、この検知した物体を撮像した静止画像と、をサーバ4に送信する構成としてもよい。
【0064】
さらに、エリア端末1が、検知した物体が移動体であるか、非移動体であるかについても検知し、サーバ4に通知する構成としてもよい。エリア端末1は、検知した物体の位置が時間経過にともなって変化しているかどうかにより、この物体が移動体であるか、非移動体であるか検知できる。このようにすれば、サーバ4は、静止画像に撮像されている物体に対するパターンマッチングが、エリア端末1から通知された移動体、または非移動体に絞って行える。すなわち、サーバ4側の画像処理にかかる負荷も低減できる。