特許 6266946 監視カメラ及び画像監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6266946

(24)【登録日】2018年1月5日

(45)【発行日】2018年1月24日

(54)【発明の名称】監視カメラ及び画像監視装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20180115BHJP

   G06T 1/00 20060101ALI20180115BHJP

   G06T 3/00 20060101ALI20180115BHJP

   G08B 13/196 20060101ALI20180115BHJP

【ＦＩ】

   H04N7/18 D

   G06T1/00 340B

   G06T3/00 775

   G08B13/196

【請求項の数】3

【全頁数】18

(21)【出願番号】特願2013-224137(P2013-224137)

(22)【出願日】2013年10月29日

(65)【公開番号】特開2015-88817(P2015-88817A)

(43)【公開日】2015年5月7日

【審査請求日】2016年6月30日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(72)【発明者】

【氏名】徳見 修

(72)【発明者】

【氏名】黒川 高晴

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０００−２７８６８３（ＪＰ，Ａ）

【文献】 特開２００６−１３７２２（ＪＰ，Ａ）

【文献】 特開平５−１６６０９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００

Ｇ０８Ｂ １３／１９６

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １３／１９６

(57)【特許請求の範囲】

【請求項1】

監視領域を撮影して第一解像度の撮影画像を生成する撮影部と、
前記撮影画像を複数のブロックに区分して前記各ブロックを構成する画素間の輝度変化量を算出し、前記輝度変化量を予め定めた互いに値が異なる２以上の閾値と比較して前記各ブロックに含まれるエッジの強度を当該強度が強いほど高い段階となるように３以上の段階に分けるエッジレベル推定部と、
前記撮影画像において少なくとも前記段階が最低段階であるブロックを前記第一解像度よりも低い第二解像度の画像に置換し、さらに前記撮影画像において前記段階が最高段階であるブロックを前記第一解像度よりも低い第三解像度の画像に置換して認識用画像を生成する解像度変換部と、
前記認識用画像を外部に出力する画像出力部と、
を備えたことを特徴とする監視カメラ。

【請求項2】

前記エッジレベル推定部は、前記輝度変化量を互いに値が異なる３以上の前記閾値と比較して前記各ブロックに含まれるエッジの強度を４以上の段階に分け、
前記解像度変換部は、さらに前記撮影画像において前記段階が前記最低段階と前記最高段階の中間段階であるブロックを当該段階が高いほど低く設定された第四解像度の画像に置換して前記認識用画像を生成する請求項１に記載の監視カメラ。

【請求項3】

請求項１または２に記載の監視カメラと、前記画像出力部に接続されて前記認識用画像を伝送する画像通信網と、画像認識装置と、を備えた画像監視装置であって、
前記画像認識装置は、
前記画像通信網に接続されて前記認識用画像を受信する通信部と、
前記認識用画像からエッジ特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により抽出された前記エッジ特徴量を用いて前記監視領域の状態を認識する認識部と、
を備えたことを特徴とする画像監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視領域を撮影する監視カメラ、及び、当該監視カメラが撮影した画像を用いて監視領域の状態を認識する画像監視装置に関する。

【背景技術】

【0002】

近年、防犯意識の高まりから監視カメラの設置数は増加しており、監視カメラにより撮影した画像から侵入者等の物体を画像認識する研究も盛んに行われている。

【0003】

画像認識においては、画像上で、認識対象とする物体に当該物体と色の類似した領域が接しているときに認識精度が低下する問題がある。例えば、白いシャツを着用した人物が白い壁の前に立っている画像、白いシャツを着用した複数の人物が重なり合って写った画像に対して認識精度が低下する。この原因として物体の輪郭部におけるエッジ強度の低下が挙げられる。

【0004】

一方で、監視カメラの高解像度化が進んでいる。解像度の高い監視画像を利用すれば、物体の輪郭におけるエッジ強度の低下が抑制されるため、色の類似した領域が接している物体に対して認識精度向上が期待できる。しかし、解像度の高い監視画像はデータ量が多いため、高解像度のままで利用すると処理量、通信量が増大して装置がコスト高となる。

【0005】

通信量、記憶容量を低減する観点から監視カメラ側でデータ量を削減する監視システムが提案されている。例えば、特許文献１に記載の監視システムは、監視領域を撮影した監視カメラの受光素子から間引いて読み出した低解像度画像から動き領域或いは人物領域を特徴領域として検出し、受光素子から読み出した特徴領域の高解像度画像を監視領域の低解像度画像とともに送信する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００７―２４３６６０

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来技術では、監視カメラ側から動き領域或いは人物領域の全体を高解像度画像として送信するため、データ量削減が十分でなく、画像監視装置のコストを低減する余地があった。例えば、色の類似した領域同士が接している領域においては高精度な画像認識を行うために高解像度を要するが、そうでない領域においては低解像度であっても高精度な画像認識が可能であるため、その分だけデータ量削減の余地がある。

【0008】

また、従来技術では、特徴領域について高解像度画像と低解像度画像の両方が送信されるため、データ量削減が十分でなく、画像監視装置のコストを低減する余地があった。

【0009】

また、従来技術では、低解像度画像を解析して特徴領域を検出するため、背景と類似した色を有する物体の一部又は全部を検出し損ねる可能性が高まり、認識精度が低下するおそれがあった。

【0010】

また、従来技術では、特徴領域が検出されると高解像度画像と低解像度画像の両方が送信され、特徴領域が検出されないと低解像度画像のみが送信される。このように特徴領域の有無によって送信フレーム数が変動すると、これらを受信して処理する画像認識装置側の設計が複雑化し、画像監視装置のコスト高の要因となる。

【0011】

本発明は、上記問題を鑑みてなされたものであり、監視領域に存在する物体や背景の色によらず当該物体の認識処理に有用な解像度の画像を少ないデータ量で出力可能な監視カメラを提供すること、及び、該監視カメラを用いた画像監視装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

係る課題を解決するために本発明は、監視領域を撮影して第一解像度の撮影画像を生成する撮影部と、撮影画像を複数のブロックに区分して各ブロックを構成する画素間の輝度変化量を算出し、輝度変化量を予め定めた１又は複数の閾値と比較して各ブロックに含まれるエッジの強度が強いほど高い段階となるように複数段階に分けるエッジレベル推定部と、撮影画像において少なくとも段階が最低段階であるブロックを第一解像度よりも低い第二解像度の画像に置換して認識用画像を生成する解像度変換部と、認識用画像を外部に出力する画像出力部と、を備えたことを特徴とする監視カメラを提供する。

【0013】

また、本発明の好適な態様においては、エッジレベル推定部は、輝度変化量を互いに値が異なる２以上の閾値と比較して各ブロックに含まれるエッジの強度を３以上の段階に分け、解像度変換部は、さらに撮影画像において段階が最高段階であるブロックを第一解像度よりも低い第三解像度の画像に置換して認識用画像を生成する。
第三解像度は、第二解像度と同じ解像度、又は第二解像度よりも高い解像度とすることが好適である。

【0014】

また、本発明の好適な態様においては、エッジレベル推定部は、輝度変化量を互いに値が異なる３以上の閾値と比較して各ブロックに含まれるエッジの強度を４以上の段階に分け、解像度変換部は、さらに撮影画像において段階が最低段階と最高段階の中間段階であるブロックを当該段階が高いほど低く設定された第四解像度の画像に置換して認識用画像を生成する。

【0015】

また、本発明は、前記監視カメラと、前記画像出力部に接続されて認識用画像を伝送する画像通信網と、画像認識装置と、を備えた画像監視装置であって、画像認識装置は、画像通信網に接続されて認識用画像を受信する通信部と、認識用画像からエッジ特徴量を抽出する特徴量抽出部と、特徴量抽出部により抽出されたエッジ特徴量を用いて監視領域の状態を認識する認識部と、を備えたことを特徴とする画像監視装置を提供する。

【発明の効果】

【0016】

本発明の監視カメラ又は画像監視装置によれば、監視領域に存在する物体や背景の色によらず、当該物体の高精度な画像認識と装置コストの低減を両立することが可能となる。

【図面の簡単な説明】

【0017】

【図1】本発明を適用した画像監視装置１の構成例を示す図である。

【図2】エッジレベルと輝度変化量、解像度の関係の一例を示す図である。

【図3】監視カメラ２−１の動作を示すフローチャートの一例である。

【図4】解像度変換処理の一例を示す模式図である。

【図5】撮影画像の一例を示す模式図である。

【図6】認識用画像における高解像度領域及び低解像度領域の一例を示す模式図である。

【図7】画像認識装置４の動作を示すフローチャートの一例である。

【図8】エッジレベルと輝度変化量、解像度の関係について別の例を示す図である。

【図9】エッジレベルと輝度変化量、解像度の関係についてさらに別の例を示す図である。

【発明を実施するための形態】

【0018】

＜画像監視装置の構成＞
図１を参照して本発明の好適な実施形態の一例である画像監視装置１の構成を説明する。

【0019】

画像監視装置１は、複数の監視カメラ２−１，２−２，…，２−Ｎが画像通信網３を介して画像認識装置４に接続されてなる。

【0020】

各監視カメラ２−１，２−２，…，２−Ｎは、不審者の検知が要請された監視領域に設置され、予め設定された撮影周期で監視領域を撮影して監視領域の画像を画像通信網３に出力する。各監視カメラ２−１，２−２，…，２−Ｎが出力する画像は、後述する解像度変換処理によって不審者の画像認識を妨げない範囲で撮影画像の一部を低解像度化した画像であり、以下、当該画像を認識用画像と称する。

【0021】

画像通信網３は、各監視カメラ２−１，２−２，…，２−Ｎから出力された認識用画像を画像認識装置４に伝送するネットワークである。画像通信網３は、例えば、各監視カメラ２−１，２−２，…，２−Ｎと画像認識装置４をイーサネットケーブル（イーサネットは登録商標）等にて接続したＬＡＮ（Local Area Network）とすることができる。或いは画像通信網３は、各監視カメラ２−１，２−２，…，２−Ｎと画像認識装置４を同軸ケーブルで接続したアナログ網とすることもできる。

【0022】

画像認識装置４は、各監視カメラ２−１，２−２，…，２−Ｎから認識用画像を受信すると当該画像を画像処理して監視領域に存在する人物を認識する。さらに、画像認識装置４は、当該人物が不審者であるか否かを判定し、不審者が存在すると判定した場合に監視センターへ所定の異常信号を出力する。

【0023】

〔監視カメラの構成〕
以下、監視カメラ２−１の構成について説明する。

【0024】

監視カメラ２−１は、高解像撮影部２０、撮影画像記憶部２１、エッジレベル推定部２２、解像度変換部２３、認識用画像記憶部２４、画像出力部２５を備える。

【0025】

高解像撮影部２０は、予め設定された撮影周期で監視領域を撮影して第一解像度の撮影画像を生成する。そのために高解像撮影部２０は、受光量に応じた電気信号を出力するＣＣＤセンサ又はＣ−ＭＯＳなどの光電変換素子アレイと、光電変換素子アレイ上に監視領域の像を結像するための結像光学系と、光電変換素子アレイが出力したアナログの電気信号をデジタルの撮影画像に変換するＡ／Ｄ変換回路を有する。

【0026】

高解像撮影部２０が生成する撮影画像は、認識用画像よりも高解像度でデータ量が多い。第一解像度は例えば横８０００×縦４５００画素である。なお、本例において撮影画像は濃淡画像であるとする。

【0027】

高解像撮影部２０は、撮影画像記憶部２１に接続され、生成した撮影画像を順次、撮影画像記憶部２１に記憶させる。

【0028】

撮影画像記憶部２１は、撮影画像等を記憶するメモリ装置であり、ＲＡＭ（Random Access Memory）等で構成される。撮影画像記憶部２１は、高解像撮影部２０及びエッジレベル推定部２２に接続され、高解像撮影部２０により書き込まれた撮影画像は、エッジレベル推定部２２により順次読み出される。なお、撮影画像記憶部２１は、現フレームの書き込みと前フレームの読み出しを同時に行えるよう、撮影画像２フレーム分の記憶容量を有する。

【0029】

エッジレベル推定部２２は、撮影画像を複数のブロックに区分して各ブロックに含まれるエッジの強度を複数段階に分ける演算装置であり、ＤＳＰ（Digital Signal Processor）又はＭＣＵ（Micro Control Unit）等で構成される。この段階（エッジレベル）は、例えば、２つの閾値を用いて、ブロック内に強いエッジが含まれる最高段階のレベル、ブロック内に弱いエッジが含まれる中間段階のレベル、ブロック内に強いエッジも弱いエッジも無い最低段階のレベルの３段階とすることができる。

【0030】

エッジレベル推定部２２は、撮影画像記憶部２１及び解像度変換部２３に接続され、撮影画像記憶部２１から撮影画像を読み出してエッジレベルを推定し、読み出した撮影画像（各画素の輝度値）及び各ブロックのエッジレベルを解像度変換部２３に出力する。

【0031】

各ブロックの大きさは例えば１２×１２画素とすることができ、撮影画像は横６６６×縦３７５個のブロックに区分される。

【0032】

エッジレベル推定部２２は、各ブロックを構成する画素間の輝度変化量を算出し、輝度変化量を予め定めた１又は複数の閾値と比較して各ブロックに含まれるエッジの強度を複数段階に分ける。具体的には、エッジレベル推定部２２は、各ブロックにおける撮影画像のエッジ強度の平均値Ｅ１を当該ブロックの輝度変化量として算出し、Ｅ１が下限値Ｔ１Ｌ未満であれば当該ブロックは最低段階のエッジレベル、Ｅ１が下限値Ｔ１Ｌ以上且つ上限値Ｔ１Ｈ未満であれば当該ブロックは中間段階のエッジレベル、Ｅ１が上限値Ｔ１Ｈ以上であれば当該ブロックは最高段階のエッジレベルと判定する。

【0033】

上述したエッジレベルと輝度変化量の関係を図２に示す。また、図２を参照してエッジレベルとブロックの推定状態の関係を以下に説明する。

【0034】

下限値Ｔ１Ｌはエッジの有無を判定する閾値として事前の実験結果等に基づき予め設定することができる。すなわち、エッジレベルが最低段階のブロックは弱エッジすら無い平坦な領域であると推定される。そのため、この領域を低解像度化しても画像認識の精度は低下しにくく、且つこの領域の低解像度化によって認識用画像のデータ量を減らすことができる。

【0035】

また、上限値Ｔ１Ｈ（＞Ｔ１Ｌ）は弱エッジと強エッジを弁別するしきい値として事前の実験結果等に基づき予め設定することができる。すなわち、エッジレベルが最高段階のブロックは強いエッジが存在する領域であると推定される。そのため、この領域を低解像度化しても認識対象物体のエッジが抽出できるため画像認識の精度は低下しにくく、且つこの領域の低解像度化によって認識用画像のデータ量を減らすことができる。

【0036】

一方、エッジレベルが中間段階のブロックは弱いエッジが存在する領域であると推定され、この領域を低解像度化すると認識対象物体のエッジが抽出不能となって画像認識の精度が低下するおそれがある。そのため、この領域を高解像度とすることで画像認識の精度向上が期待できる。

【0037】

解像度変換部２３は、撮影画像の一部を低解像度の画像に置換して認識用画像を生成する演算装置であり、ＤＳＰ又はＭＣＵ等で構成される。

【0038】

解像度変換部２３は、エッジレベル推定部２２及び認識用画像記憶部２４に接続され、エッジレベル推定部２２から撮影画像及び弱エッジ領域が入力されると、認識用画像を生成し、当該認識用画像を認識用画像記憶部２４に記憶させる。

【0039】

再度、図２を参照して、認識用画像の生成処理例を説明する。

【0040】

解像度変換部２３は、撮影画像において少なくともエッジレベルが最低段階のレベル１であるブロックを、撮影画像の解像度である第一解像度Ｒ１よりも低い第二解像度Ｒ２の画像に置換する。例えば、解像度変換部２３は、レベル１のブロックを、その輝度値に当該ブロックの代表輝度値を設定した１画素に置換して認識用画像を生成する。代表輝度値は撮影画像における当該ブロック内の平均輝度値とすることができる。或いは、代表輝度値は撮影画像における当該ブロック内の最頻輝度値としてもよく、又は撮影画像における当該ブロック内のブロック内のいずれか１画素の輝度値としてもよい。

【0041】

また、解像度変換部２３は、撮影画像において少なくともエッジレベルが最高段階のレベル３であるブロックを第一解像度Ｒ１よりも低い第三解像度Ｒ３の画像に置換する。例えば、解像度変換部２３は、レベル３のブロックを、その輝度値に当該ブロックの代表輝度値を設定した１画素に置換して認識用画像を生成する。ブロック内の輝度変化はレベル３の方がレベル１よりも大きいため、画像認識精度向上の観点からＲ３≧Ｒ２とするのが好適である。本例においてはＲ２が認識対象物体の強エッジを分析するのに十分な解像度であるとしてＲ３＝Ｒ２とする。

【0042】

一方、エッジレベルが中間段階のレベル２であるブロックの解像度（第四解像度Ｒ４）は、第一解像度Ｒ１のままとし、解像度変換部２３は、撮影画像における１２×１２画素の輝度値をそのまま認識用画像において対応する画素の輝度値に設定する。
なお、第四解像度Ｒ４は、第三解像度Ｒ３よりも高い範囲で第一解像度Ｒ１よりも低く設定してもよい。

【0043】

以上に示した解像度の関係をまとめると、Ｒ１≧Ｒ４＞Ｒ３≧Ｒ２となる。

【0044】

認識用画像記憶部２４は、認識用画像等を記憶するメモリ装置であり、ＲＡＭ等で構成される。認識用画像記憶部２４は、解像度変換部２３及び画像出力部２５と接続され、解像度変換部２３により書き込まれた認識用画像は、画像出力部２５により順次読み出される。なお、認識用画像記憶部２４は、現フレームの書き込みと前フレームの読み出しを同時に行えるよう、認識用画像２フレーム分の記憶容量を有する。

【0045】

画像出力部２５は、認識用画像をカメラ装置２−１から外部に出力する通信インターフェース回路である。画像出力部２５は、認識用画像記憶部２４及び画像通信網３に接続され、認識用画像記憶部２４から認識用画像を読み出し、読み出した認識用画像を画像通信網３の通信プロトコルに適合した画像認識装置宛ての信号に変換して画像通信網３に送出する。

【0046】

なお、エッジレベル推定部２２と解像度変換部２３はひとつの演算装置で実現してもよい。また、撮影画像記憶部２１と認識用画像記憶部２４をひとつのメモリ装置で実現することもできる。

【0047】

監視カメラ２−２，…，２−Ｎの構成は、監視カメラ２−１と同様であるため説明を省略する。

【0048】

〔画像認識装置の構成〕
以下、画像認識装置４の構成について説明する。

【0049】

画像認識装置４は、画像入力部４０、特徴抽出部４１、不審者認識部（認識部）４２及び異常出力部４３を含んで構成される。

【0050】

画像入力部４０は、認識用画像を受信する通信回路である。画像入力部４０は、画像通信網３及び特徴抽出部４１に接続され、画像通信網３を介して監視カメラ２−１，２−２，…，２−Ｎからの認識用画像を受信すると、当該認識用画像を特徴抽出部４１に出力する。認証用画像のデータ量は撮影画像よりも格段に小さく、画像入力部４０の通信負荷は低減されている。

【0051】

特徴抽出部４１は、認識用画像から、不審者の画像認識に有用な所定特徴量を抽出する演算装置であり、ＣＰＵ（Central Processing Unit）、ＤＳＰ又はＭＣＵ等で構成される。特徴抽出部４１は、画像入力部４０及び不審者認識部４２に接続され、画像入力部４０から認識用画像が入力されると所定特徴量を抽出して不審者認識部４２に出力する。

【0052】

特徴抽出部４１が抽出する特徴量は、エッジ強度、エッジ方向、ＨＯＧ（Histograms of Oriented Gradients）特徴量、ハールライク特徴量等のエッジ特徴量、及び輝度ヒストグラム等である。

【0053】

上述したように認識用画像には、高解像度領域と低解像度領域が含まれる。特徴抽出部４１は、解像度ごとに認識用画像を分割し、分割画像のそれぞれに対して特徴量の抽出を行う。なお、図４を参照して説明したように、認識用画像は各ブロックの画素数を示すデータと当該画素数分の輝度値データがブロック順に並んだデータ構成となっており、特徴抽出部４１は、この画素数から各ブロックの解像度を判別し、画素数が示す数の輝度値を各ブロックに応じた座標に並べて、解像度ごとの分割画像を生成することができる。

【0054】

このように特徴抽出部４１は解像度ごとに監視領域に存在する認識対象物体の特徴量を抽出することで、強いエッジ特徴量のみならず、色の類似した領域同士が接して弱くなってしまったエッジ特徴量を含めて認識対象物体の特徴量を確実に抽出できる。また、処理負荷の大きな高解像度領域からの抽出処理は画像認識精度確保に必要な分だけとなるので、特徴抽出部４１の処理負荷の増加は適正に抑制される。

【0055】

不審者認識部４２は、特徴抽出部４１により抽出された特徴量を用いて不審者の存在を認識する演算装置であり、ＣＰＵ、ＤＳＰ又はＭＣＵ等で構成される。不審者認識部４２は、特徴抽出部４１及び異常出力部４３に接続され、特徴抽出部４１から特徴量が入力されると不審者が存在するか否かを判定し、不審者が存在すると判定した場合にその旨を表す所定信号を異常出力部４３へ出力する。なお、特徴抽出部４１と不審者認識部４２はひとつの演算装置で実現してもよい。

【0056】

不審者認識部４２は、例えば、認識用画像から抽出されたエッジ強度及びエッジ方向を予め設定された人の形状パターンと比較するパターンマッチング処理により人を検出し、検出した人物の輝度ヒストグラムを前後するフレームにて比較する追跡処理により当該人物の動きを解析して、動きが異常な人物を不審者と判定することができる。或いは、不審者認識部４２は、認識用画像から抽出されたＨＯＧ特徴量を予め人のＨＯＧ特徴量を学習した識別器に入力することで人を検出し、追跡処理により当該人物の動き解析を行って不審者の存在を判定することもできる。

【0057】

このように不審者認識部（認識部）４２は、解像度ごとに抽出された特徴量を用いて監視領域に存在する物体を認識することで、物体間及び物体と背景の間で色が類似することによるエッジ強度低下の影響を軽減して認識対象物体を高精度に認識できる。

【0058】

異常出力部４３は、異常信号を外部に出力する通信回路等である。異常出力部４３は、不審者認識部４２及びセンター装置に接続され、不審者認識部４２から不審者の存在を表す所定信号が入力されると、センター装置に所定の異常信号を送信する。

【0059】

＜画像監視装置の動作＞
以下、画像監視装置１の動作について説明する。

【0060】

〔監視カメラの動作〕
まず、図３のフローチャート及び図４の模式図を参照して監視カメラ２−１の動作を説明する。

【0061】

監視カメラ２−１において、以下に説明する図３のステップＳ１００〜Ｓ１０８の動作は高解像撮影部２０の撮影周期にて繰り返し行われる。

【0062】

ステップＳ１００にて、監視カメラ２−１の高解像撮影部２０は監視領域を撮影し、第一解像度Ｒ１の撮影画像を監視カメラ２−１の撮影画像記憶部２１に記憶させる。

【0063】

新たな撮影画像が撮影されると、監視カメラ２−１のエッジレベル推定部２２は、ステップＳ１０１にて、上述した６６６×３７５個のブロックのうち先頭ブロックを注目ブロックに設定し、ブロックについてのループ処理を開始する。以降、ステップＳ１０２〜Ｓ１０７のループ処理は予め定めた順序にて順次注目ブロックを変更して全ブロックに対し行われる。

【0064】

ステップＳ１０２にて、エッジレベル推定部２２は、注目ブロックにおける撮影画像のエッジ強度の平均値Ｅ１を算出する。

【0065】

そのためにエッジレベル推定部２２は、撮影画像記憶部２１に記憶されている撮影画像のうち注目ブロックと対応する１２×１２（＝１４４）画素とその周囲画素を読み出し、注目ブロック内の各画素におけるエッジ強度を算出し、それらの平均値を求める。

【0066】

エッジ強度は、ソーベルフィルタ、ラプラシアンフィルタ、キャニーフィルタなど、公知の各種フィルタを用いて算出することができる。また、エッジ強度を算出する際のフィルタサイズは、カメラ設置高や認識対象物体までの距離、撮影画像の解像度などの条件に合わせて適宜に設定することができる。

【0067】

ステップＳ１０３にて、エッジレベル推定部２２は、算出したエッジ強度の平均値Ｅ１を予め定めた下限値Ｔ１Ｌ及び上限値Ｔ１Ｈと比較して、注目ブロックのエッジレベルを判定する。

【0068】

すなわち、エッジレベル推定部２２は、注目ブロックのエッジ強度の平均値Ｅ１が下限値Ｔ１Ｌ以上且つ上限値Ｔ１Ｈ未満であれば当該ブロックが弱エッジを含んだレベル２であると判定し（Ｓ１０３にてＹＥＳ）、そうでなければ当該ブロックがエッジの無いレベル１又は強エッジからなるレベル３であると判定する（Ｓ１０３にてＮＯ）。

【0069】

エッジレベル推定部２２は、注目ブロックのエッジレベルとともに注目ブロックの座標及び注目ブロックを構成する撮影画像の各輝度値を監視カメラ２−１の解像度変換部２３に出力する。

【0070】

注目ブロックがレベル２と判定された場合、処理はステップＳ１０４へと進む。ステップＳ１０４にて、解像度変換部２３は、認識用画像において注目ブロックと対応するブロック内に撮影画像の各輝度値を設定することで、認識用画像における当該ブロックの解像度Ｒ４を解像度Ｒ１のままとし、高解像度を維持する。例えば、図４において、撮影画像のブロック５０のエッジレベルがレベル２と判定された場合、認識用画像の対応ブロック５１は１４４画素のままとなる。解像度変換部２３は、認識用画像記憶部２４にブロック５１の画素数に続いて左上画素から右下画素までの１４４個の輝度値を順番に並べた数値列５２を記憶させる。

【0071】

他方、注目ブロックがレベル１又は３と判定された場合、処理はステップＳ１０５へと進む。ステップＳ１０５にて、解像度変換部２３は、認識用画像において対応するブロックに撮影画像の代表輝度値を設定し、認識用画像における当該ブロックの解像度を解像度Ｒ２及びＲ３（Ｒ２＝Ｒ３）に低解像化する。例えば、図４において、撮影画像のブロック５３のエッジレベルがレベル１又は３と判定された場合、認識用画像の対応ブロック５４は１画素となる。解像度変換部２３は、認識用画像記憶部２４にブロック５４の画素数に続いてブロック５３の代表輝度値を並べた数値列５５を記憶させる。

【0072】

注目ブロックの解像度変換が行われると、解像度変換部２３は、Ｓ１０６にて全ブロックの処理が終了したか否かを確認する。全ブロックの処理が終了していなければ解像度変換部２３はエッジレベル推定部２２にその旨を通知し（Ｓ１０６にてＮＯ）、これを受けたエッジレベル推定部２２は、Ｓ１０７にて次ブロックを注目ブロックに設定し、処理をステップＳ１０２に戻して次ブロックに対する処理を行う。

【0073】

他方、全ブロックの処理が終了すると解像度変換部２３は画像出力部２５にその旨を通知し（Ｓ１０６にてＹＥＳ）、これを受けた画像出力部２５は、ステップＳ１０８にて認識用画像記憶部２４から認識用画像を読み出し、読み出した認識用画像を画像通信網３経由で画像認識装置４に出力する。

【0074】

認識用画像を出力した画像出力部２５はエッジレベル推定部２２にその旨を通知し、これを受けたエッジレベル推定部２２は、処理をステップＳ１００に戻して次フレームの撮影画像に対する処理を行う。なお、画像出力部２５による認識用画像の出力処理はエッジレベル推定部２２及び解像度変換部２３の処理と並列して行ってもよく、この場合、画像出力部２５が読み出しの開始時点でエッジレベル推定部２２に出力の通知をすればよい。

【0075】

図５及び図６を参照して、撮影画像と認識用画像を例示する。

【0076】

図５の撮影画像６０は白い壁６１の前に白いシャツ６２と黒いズボンを着用した人物が立っている監視領域を撮影したものである。

【0077】

図６は図５の撮影画像６０に対して監視カメラ２−１から出力される認識用画像７０の高解像度領域７１，７２，７３及び低解像度領域７４を表したものである。

【0078】

認識用画像７０において、壁６１とシャツ６２の境界付近、シャツ６２内の構造線付近及びズボン内の構造線付近が中間段階のエッジレベル２と判定されて高解像度領域７１，７２，７３となる。一方、壁６１と窓の境界、壁６１とズボンの境界、壁６１と肌の境界など色が大きく異なり強いエッジが生じる領域は最高段階のエッジレベル３と判定され、エッジの無い領域は最低段階のエッジレベル１と判定され、これらの領域は低解像度領域７４となる。

【0079】

高解像度領域７１，７２，７３では、物体の境界画素において混色が生じにくくなるため（例えば、壁６１とシャツ６２の境界画素が、壁６１の白とシャツ６２の白の中間色となりにくくなるため）、画像認識装置４において色の類似した領域が接している物体の輪郭であっても認識可能となり、誤認識を防止できる。

【0080】

他方、低解像度領域７４は、元々エッジが強い（太い）ため物体の境界画素において混色が生じても物体の輪郭が認識可能である、或いは元々エッジが無いため、低解像度化することで画像認識装置４における認識精度を低下させることなく、画像監視装置１における通信量及び画像認識装置４における処理量を減じることができる。

【0081】

監視カメラ２−２，…，２−Ｎの動作は、監視カメラ２−１と同様であるため説明を省略する。

【0082】

〔画像認識装置の動作〕
次に、図７のフローチャートを参照して画像認識装置４の動作を説明する。

【0083】

画像認識装置４において、以下に説明する図７のステップＳ２００〜Ｓ２０７の動作は認識用画像を受信するたびに実行される。

【0084】

ステップＳ２００にて、画像認識装置４の画像入力部４０は、画像通信網３を介して認識用画像を受信する。監視カメラ２−１，２−２，…，２−Ｎのいずれかから認識用画像を受信すると、画像入力部４０は当該画像を画像認識装置４の特徴抽出部４１に出力し、処理はステップＳ２０１に進む。

【0085】

ステップＳ２０１にて、特徴抽出部４１は、入力された認識用画像を解像度別に分割して分割画像を生成する。例えば、図６に示した認識用画像が入力された場合、高解像度領域７１，７２，７３のみに有効な輝度値を有する解像度Ｒ４（＝Ｒ１）の分割画像と、低解像度領域７４のみに有効な輝度値を有する解像度Ｒ２（＝Ｒ３）の分割画像が生成される。

【0086】

ステップＳ２０２にて、特徴抽出部４１は、各分割画像からエッジ特徴量を抽出し、抽出したエッジ特徴量を画像認識装置４の不審者認識部４２に出力する。

【0087】

ステップＳ２０３にて、不審者認識部４２は抽出したエッジ特徴量を用いて人検出処理を行う。すなわち、不審者認識部４２は、まず互いに解像度が異なる分割画像から抽出されたエッジ特徴量をいずれかひとつの解像度に統一して合成エッジ画像を生成する。例えば、図６に示した認識用画像が処理対象であれば、低い方の解像度Ｒ２に統一することができる。この場合、不審者認識部４２は、高解像度領域７１，７２，７３においてブロックごとにエッジ特徴量の平均値を求め、当該平均値を解像度Ｒ２の分割画像において対応する画素の値とすることで合成エッジ画像を生成すればよい。次に、不審者認識部４２は、合成エッジ画像のエッジ特徴量を人の形状パターンと比較し、或いは当該エッジ特徴量を人の特徴を学習させた識別器に入力して、人の特徴を表すエッジ特徴量が含まれているかを判定する。

【0088】

人のエッジ特徴量が検出されなかった場合（ステップＳ２０４にてＮＯ）、不審者認識部４２は処理をステップＳ２００に戻し、画像認識装置４は新たに認識用画像が受信されるまで待機する。他方、人のエッジ特徴量が検出された場合（ステップＳ２０４にてＹＥＳ）、処理はステップＳ２０５に進められる。

【0089】

ステップＳ２０５にて、不審者認識部４２は検出された人物の動きを解析する。すなわち、不審者認識部４２は、特徴抽出部４１に人が検出された領域における輝度ヒストグラムを抽出させ、当該輝度ヒストグラムを、送信元が同一の認識用画像から前回検出した人物の輝度ヒストグラムと比較することにより、当該人物の位置を追跡する。また、追跡のために、不審者認識部４２は検出された人物の輝度ヒストグラムを、送信元を表す情報、当該人物の位置履歴とともに記憶部（不図示）に記憶させる。

【0090】

ステップＳ２０６にて、不審者認識部４２は、動きを解析により得た人物の位置履歴から不審者が存在するか否かを判定する。例えば、不審者認識部４２は、人物の位置履歴のいずれかが長時間の滞在、高速移動などを表しているときに当該人物を不審者と判定する。不審者が存在しないと判定した場合（ステップＳ２０６にてＮＯ）、不審者認識部４２は処理をステップＳ２００に戻し、画像認識装置４は新たに認識用画像が受信されるまで待機する。他方、不審者が存在すると判定した場合（ステップＳ２０６にてＹＥＳ）、処理はステップＳ２０７に進められる。

【0091】

ステップＳ２０７にて、不審者認識部４２が存在する旨を画像認識装置４の異常出力部４３に出力し、これを受けた異常出力部４３は異常信号を生成して当該異常信号をセンター装置に送信する。

【0092】

以上の処理を終えると、不審者認識部４２は処理をステップＳ２００に戻し、画像認識装置４は新たに認識用画像が受信されるまで待機する。

【0093】

＜輝度変化量の変形例＞
上記実施形態において、エッジレベル推定部２２は各ブロックのエッジ強度の平均値Ｅ１を輝度変化量として算出し、これらを下限値Ｔ１Ｌ及び上限値Ｔ１Ｈと比較してエッジレベルを推定した。別の実施例において、エッジレベル推定部２２は輝度変化量として次に示す各指標を用いることもできる。

【0094】

（１）輝度分散値
エッジレベル推定部２２は輝度変化量として各ブロックにおける撮影画像の輝度分散値Ｅ２を算出する。エッジレベル推定部２２は、輝度分散値Ｅ２が下限値Ｔ２Ｌ未満のブロックを最低段階のレベル１、輝度分散値Ｅ２が下限値Ｔ２Ｌ以上且つ上限値Ｔ２Ｈ未満のブロックを中間段階のレベル２、輝度分散値Ｅ２が上限値Ｔ２Ｈ以上のブロックを最高段階のレベル３と判定する。
輝度分散値は、隣接画素の輝度値の差を累積することで算出が可能であるため、処理負荷が小さく、また逐次処理に適している。そのため輝度変化量を用いれば、エッジレベル推定部２２の処理を逐次処理とし、撮影画像記憶部２０のメモリ量を減じることができる。

【0095】

（２）ＦＦＴによる高周波成分量
エッジレベル推定部２２は各ブロックにおける撮影画像の輝度値をＦＦＴ（Fast Fourier Transform）分析することによりその高周波成分量を輝度変化量として算出する。なお、ＦＦＴを用いる場合、ブロックの画素数を２の累乗とすることが好適であり、例えば、ブロックサイズを１６×１６画素とすることができる。すなわち、エッジレベル推定部２２は、各ブロックにおける撮影画像の２５６画素の輝度値を並べたデータをＦＦＴ分析して、高域の最大強度値Ｅ３（高周波成分量）を算出する。そしてエッジレベル推定部２２は、高周波成分量Ｅ３が下限値Ｔ３Ｌ未満のブロックを最低段階のレベル１、高周波成分量Ｅ３が下限値Ｔ３Ｌ以上且つ上限値Ｔ３Ｈ未満のブロックを中間段階のレベル２、高周波成分量Ｅ３が上限値Ｔ２Ｈ以上のブロックを最高段階のレベル３と判定する。

【0096】

（３）ウェーブレット変換による高周波成分量
エッジレベル推定部２２は各ブロックにおける撮影画像の輝度値をウェーブレット（Wavelet）変換することによりその高周波成分量を輝度変化量として算出する。エッジレベル推定部２２は各ブロックの撮影画像に離散ウェーブレット変換を施して得られる高周波成分画像の平均値Ｅ４（高周波成分量）を算出する。そしてエッジレベル推定部２２は、高周波成分量Ｅ４が下限値Ｔ４Ｌ未満のブロックを最低段階のレベル１、高周波成分量Ｅ４が下限値Ｔ４Ｌ以上且つ上限値Ｔ４Ｈ未満のブロックを中間段階のレベル２、高周波成分量Ｅ４が上限値Ｔ４Ｈ以上のブロックを最高段階のレベル３と判定する。
ウェーブレット変換はＬＳＩ化が進んでいるため、ウェーブレット変換を用いれば装置コストを低減できる。また、離散ウェーブレット変換の過程で高周波成分画像とともに得られる低周波成分画像は解像度変換部２３における低解像度化処理にて利用できるため、エッジレベル推定部２２と解像度変換部２３の一部を共通化することで装置コストを低減できる。

【0097】

（４）低周波画像と撮影画像の差分値（高周波成分量）
エッジレベル推定部２２は撮影画像から生成した低周波画像と撮影画像の差分値を輝度変化量として用いる。すなわち、エッジレベル推定部２２は、撮影画像の各画素を中心とするフィルタサイズが３×３のメディアンフィルタを施して低周波画像を生成し、生成した低周波画像と撮影画像の対応する輝度値の差の絶対値を求めて、その平均値Ｅ５をブロックごとに算出する。そして、エッジレベル推定部２２は、差分平均値Ｅ５が下限値Ｔ５Ｌ未満のブロックを最低段階のレベル１、差分平均値Ｅ５が下限値Ｔ５Ｌ以上且つ上限値Ｔ５Ｈ未満のブロックを中間段階のレベル２、差分平均値Ｅ５が上限値Ｔ５Ｈ以上のブロックを最高段階のレベル３と判定する。メディアンフィルタの代わりに平滑化フィルタを用いてもよい。
この処理の過程で得られる低周波画像は解像度変換部２３における低解像度化処理にて利用できるため、エッジレベル推定部２２と解像度変換部２３の一部を共通化することで装置コストを低減できる。

【0098】

また、以上例示した以外にも撮影画像の輝度分布又は撮影画像の高周波成分量を分析する各種手法を適用して輝度変化量を算出することが可能である。

【0099】

＜エッジレベルの変形例＞
上記実施形態において、エッジレベル推定部２２は上限値及び下限値を用いて輝度変化量を３段階に分けることにより、エッジレベルを推定した。別の実施形態において、エッジレベル推定部２２は下限値のみを用いて輝度変化量を２段階に分けてエッジレベルを推定ことができる。図８に、この場合のエッジレベルと輝度変化量、解像度の関係例を示す。すなわち、エッジレベル推定部２２は各ブロックのエッジ強度の平均値Ｅ１を下限値Ｔ１Ｌと比較して、Ｅ１≧Ｔ１Ｌであるブロックをレベル２（少なくとも弱エッジが含まれる領域）と判定し、Ｅ１＜Ｔ１Ｌであるブロックをレベル１と判定する。これに応じて解像度変換部２３は、撮影画像におけるレベル１のブロックの解像度を、少なくともレベル２のブロックの解像度Ｒ４よりも低い解像度Ｒ２の画像に置換して認識用画像を生成する。

【0100】

同様に、エッジレベル推定部２２は各ブロックの輝度分散値Ｅ２を下限値Ｔ２Ｌと比較して、Ｅ２≧Ｔ２Ｌであるブロックをレベル２、Ｅ２＜Ｔ２Ｌであるブロックをレベル１と判定することもできる。或いは、エッジレベル推定部２２は各ブロックをＦＦＴ分析して得た高周波成分量Ｅ３を下限値Ｔ３Ｌと比較して、Ｅ３≧Ｔ３Ｌであるブロックをレベル２、Ｅ３＜Ｔ３Ｌであるブロックをレベル１と判定することもできる。さらには各ブロックをウェーブレット変換して得た高周波成分量Ｅ４、各ブロックにて低周波画像と撮影画像の差分値を平均して得た平均値Ｅ５、その他の輝度変化量を用いる場合も同様に、下限値のみを用いて輝度変化量を２段階に分けてエッジレベルを推定することが可能である。

【0101】

このように輝度変化量を２段階に分ける場合、撮影画像においてエッジが存在する領域全てが高解像度領域となるが、背景が単純な監視領域では十分なデータ量削減効果を奏することができる。

【0102】

また、別の実施形態において、エッジレベル推定部２２は輝度変化量を３つの閾値と比較して各ブロックのエッジレベルを４段階に分けることができる。図９に、この場合のエッジレベルと輝度変化量、解像度の関係例を示す。すなわち、エッジレベル推定部２２は各ブロックのエッジ強度の平均値Ｅ１を下限値Ｔ１Ｌ、中間値Ｔ１Ｍ、上限値Ｔ１Ｈ（Ｔ１Ｌ＜Ｔ１Ｍ＜Ｔ１Ｈ）と比較して、Ｅ１＜Ｔ１Ｌであるブロックをレベル１と判定し、Ｔ１Ｌ≦Ｅ１＜Ｔ１Ｍであるブロックをレベル２．１と判定し、Ｔ１Ｍ≦Ｅ１＜Ｔ１Ｈであるブロックをレベル２．２と判定し、Ｅ１≧Ｔ１Ｈであるブロックをレベル３と判定する。解像度変換部２３はこれに対応し、撮影画像において、レベル１のブロックを解像度Ｒ２の画像に置換し、レベル２．１のブロックを解像度Ｒ４．１の画像に置換する又はその解像度Ｒ１を維持し、レベル２．２のブロックを解像度Ｒ４．１よりも低い中間解像度Ｒ４．２の画像に置換し、レベル３のブロックを解像度Ｒ３の画像に置換して認識用画像を生成する。すなわち、解像度変換部２３は、中間段階であるレベル２のブロックを細分し、当該段階が高いほど低く設定された第四解像度Ｒ４．１，Ｒ４．２の画像に置換して認識用画像を生成する。なお、解像度変換部２３は、１２×１２画素のブロックを６×６画素の４ブロックなどに再分割し、再分割したブロックごとに撮影画像の代表輝度値を設定した４画素などとすることで中間解像度Ｒ５．２に変換することができる。

【0103】

同様に、エッジレベル推定部２２は、各ブロックの輝度分散値Ｅ２を下限値Ｔ２Ｌ、中間値Ｔ２Ｍ、上限値Ｔ２Ｈ（Ｔ２Ｌ＜Ｔ２Ｍ＜Ｔ２Ｈ）と比較して、Ｅ２＜Ｔ２Ｌであるブロックをレベル１、Ｔ２Ｌ≦Ｅ２＜Ｔ２Ｍであるブロックをレベル２．１、Ｔ２Ｍ≦Ｅ２＜Ｔ２Ｈであるブロックをレベル２．２、Ｅ２≧Ｔ２Ｈであるブロックをレベル３と判定することもできる。或いは、エッジレベル推定部２２は各ブロックをＦＦＴ分析して得た高周波成分量Ｅ３を下限値Ｔ３Ｌ、中間値Ｔ３Ｍ、上限値Ｔ３Ｈ（Ｔ３Ｌ＜Ｔ３Ｍ＜Ｔ３Ｈ）と比較して、Ｅ３＜Ｔ３Ｌであるブロックをレベル１、Ｔ３Ｌ≦Ｅ３＜Ｔ３Ｍであるブロックをレベル２．１、Ｔ３Ｍ≦Ｅ３＜Ｔ３Ｈであるブロックをレベル２．２、Ｅ３≧Ｔ３Ｈであるブロックをレベル３と判定することもできる。さらには各ブロックをウェーブレット変換して得た高周波成分量Ｅ４、各ブロックにて低周波画像と撮影画像の差分値を平均して得た平均値Ｅ５、その他の弱エッジ指標を用いる場合も、同様に中間値を設定してエッジレベルを４段階に分けることが可能である。

【0104】

輝度変化量に対して適用する中間値と中間解像度を実現するために再分割するブロックサイズの関係は事前の実験を通じて適宜に設定することができる。

【0105】

また、さらにはブロックの再分割が可能な範囲内で４つ以上の閾値を用いて５段階以上にするなど、段階を増やすこともできる。このように中間解像度を設定すれば、データ量の削減効果をさらに高めることが可能となる。

【0106】

＜その他の変形例＞
上記実施形態においては、撮影画像の解像度が横８０００×縦４５００画素である例を示したが、撮影画像の解像度はこれに限らず、例えば７６８０×４３２０画素（８Ｋ ＵＨＤＴＶ）、３８４０×２１６０（４Ｋ ＵＨＤＴＶ）、１９２０×１０８０画素（ＨＤ）など他の解像度であってもよい。

【0107】

また上記実施形態においては、撮影画像が濃淡画像である例を示したが、撮影画像をカラー画像とすることもできる。この場合、エッジレベル推定部２２はステップＳ１０２において注目ブロックのカラー画像をグレースケール変換してから輝度変化量を算出すればよい。

【0108】

以上のようにして監視カメラが生成する認識用画像は色の類似した領域同士が接している領域において高解像度であるため、これを利用する画像認識装置における認識対象物体の特徴の抽出し損ねを低減でき、画像監視装置において高精度な画像認識が可能となる。また、エッジの弱い領域を解像度が高い撮影画像に基づいて判定し、認識用画像において当該領域を高解像度領域とするので、色の類似した領域が接してエッジが弱くなっている領域を認識用画像において確実に高解像度領域とすることができ、画像監視装置において高精度な画像認識が可能となる。

【0109】

その一方で、認識用画像において、高解像度でなくとも認識対象物体の特徴を十分に抽出可能な上記領域以外の領域は低解像度であるため、通信、画像認識の対象となるデータ量を低減でき、画像監視装置を低コストで提供できる。また認識用画像における高解像度領域は、認識対象物体全体でなく、その一部に限定されるためデータ量を大幅に低減でき、画像監視装置を低コストで提供できる。また、１フレームの撮影画像に対して１フレームの認識用画像が生成されるため、認識用画像を受信する画像認識装置において処理が複雑とならず画像監視装置を低コストで提供できる。

【0110】

なお、上記実施形態においては、画像監視装置が不審者を認識する例を示したが、本発明は人の認識に限らず車両、船舶、災害など各種物体、各種事象の認識に適用でき、エッジ特徴量を用いて監視領域の状態を画像認識する様々な用途に有用である。

【符号の説明】

【0111】

１・・・画像監視装置
２−１，２−２，…，２−Ｎ・・・監視カメラ
２０・・・高解像撮影部
２１・・・撮影画像記憶部
２２・・・エッジレベル推定部
２３・・・解像度変換部
２４・・・認識用画像記憶部
２５・・・画像出力部
３・・・画像通信網
４・・・画像認識装置
４０・・・画像入力部
４１・・・特徴抽出部
４２・・・不審者認識部
４３・・・異常出力部
５０，５１，５３，５４・・・ブロック
５２，５５・・・ブロック・データ
６０・・・撮影画像
６１，６２・・・類似色領域
７０・・・認識用画像
７１，７２，７３・・・高解像度領域
７４・・・低解像度領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】