【実施例1】
【0013】
図1は本発明の実施例1の監視システム1の論理的な構成の例を示したブロック図である。
本例の監視システム1は、高速道路の沿線に、所定の間隔で配置される任意の数N台の監視カメラ装置2−1〜2−Nと、交通管制センター等の拠点に集約された中央処理システム3とを備える。
中央処理システム3は、映像解析部4と、映像表示部5と、映像記録部6と、それらを制御するシステム制御部7とを備える。
【0014】
監視カメラ装置2−1〜2−N(以下、個々を区別する必要が無い場合、1つを代表して監視カメラ2と呼ぶ)は、例えば、電動雲台と電動ズームを備えたPTZ(パン、チルト、ズーム)カメラであり、本例ではカメラ本体には高感度カラーカメラを用いる。適用すべきパン、チルト、ズームは、カメラ制御情報として与えられる。監視カメラ2は、そのカメラ本体で得られた映像信号を、符号化して監視カメラ映像として出力するとともに、非特許文献1のような周知技術により、映像中の車両の速度を計測する。計測した速度は、少なくとも速度に異常があった時には、速度異常検知情報として出力される。監視カメラ映像には、映像解析部4での処理を容易化するために、符号化される前に揺れ補正、階調補正、超解像等の処理が施され得る。
【0015】
映像解析部4は、監視カメラ2から受取った監視カメラ映像を解析し、解析結果を出力する。映像解析部4は、システム制御部7から指定される、最大でMチャンネル(MはNより小さい整数)のみを処理できればよく、N台の監視カメラ2からの監視カメラ映像を同時にリアルタイムで処理する能力を有する必要はない。映像解析部4は、車両を認識する能力を有し、予め正常時の車両の走行軌跡を蓄積若しくは学習しており、与えられた映像内で認識した車両の軌跡を生成して、正常ではない走行軌跡の発生を識別する。例えば、停止車両を追い抜いていく車両の軌跡、道路上の落下物を避ける軌跡、或いは同じ地点の前と後で減速と加速をする複数の車両の軌跡等が異常と検出され、それら停止車両や落下物や地点の位置情報が出力される。また、システム制御部7からの要求に応じ、更にその異常な走行軌跡の原因となった事象(物体)自体の検出を行う。
【0016】
映像表示部5は、監視カメラ2から受取った監視カメラ映像を、表示制御情報に従って表示する。例えばL(LはNより小さい整数)台のフラットパネルディスプレイを縦横に並べ、Lチャンネルの映像を入力として、その映像を監視カメラの情報(撮影地点名称)等と共に出力する。映像表示部5は、システム制御部7の命令に従い、異常が検知された映像を優先して表示したり、発報されたアラームを顕示したりする。
【0017】
映像記録部6は、監視カメラ2から受取った監視カメラ映像を、記録制御情報に従ってハードディスク等に記録する。一般に、N台の監視カメラ2の映像を同時にフルレートで伝送、記録しようとするとコストがかかりすぎるため、時間的・空間的・地理的に間引いて記録される。映像記録部6は、異常検知の結果に基づいて、映像の記録方法を変更しても良い。例えば、映像を圧縮して記録する場合は異常が検知された監視カメラの映像の圧縮率を下げて保存する。
【0018】
システム制御部7は、接続されたN台の監視カメラ2からの速度異常検知情報と、映像解析部4の解析結果とに基づきアラームを発報し、映像表示部に通知する機能を有する。また、一般的なCCTVと同様に、多数の監視カメラ2の映像を巡回的に切替えながら映像表示部5に表示させるために、表示制御情報を生成したり、映像記録部5の記録レート等を制御する記録制御情報を生成したりする。システム制御部7は、交通管制を行うプロセス制御システム(分散型制御システム(DCS)とも呼ばれる)の一部として実装されうる。交通管制システムは、トラフィックカウンタやETC 2.0で計測された交通量等を主な管理対象としている。
【0019】
図2に、監視システム1の動作の概略的な状態遷移図が示される。
本例の監視システム1は、大まかには、定常状態、渋滞原因探索、障害物探索、及び障害物観察の4つの状態を有する。長大な路線を管理する交通管制システムでは、この状態遷移は、地理的に局所的に行われうる。
定常状態は、渋滞も障害物もない状態であり、N台の監視カメラ2をトラフィックカウンターの様に用いて、速度異常が発生していないか監視する。また監視カメラ2を巡回的に選択しながらその映像を分析し、車両の避走(障害物を回避するような走行の軌跡)、或いは障害物そのものの検出も試みる。速度異常を検出すると渋滞原因探索状態に遷移し、避走を検出すると障害物探索状態に遷移し、障害物を検出すると障害物観察状態に遷移する。
【0020】
渋滞原因探索状態は、渋滞の発生始点や原因を探索する状態であり、速度異常を検出した映像の撮影地点およびその変化から渋滞の始点を推定し、その箇所で避走を示す車両の検出を試みる。それと同時に、始点以外の箇所では定常状態と同様に速度異常の監視を続ける。
図3のように、速度異常(低速)が連続する区間があればそれを渋滞区間と推定し、渋滞区間の、車両走行方向側の端(つまり、速度異常のあるカメラと、速度異常のないカメラの間)に、渋滞の始点が存在すると推定することができる。またあるカメラで走行車両の速度が急に低下したり、渋滞とみなせる低速に達した場合、その前後において速度異常がなければ、新たに発生した渋滞の始点であると推定できる。
推定された渋滞の始点が、自然渋滞が頻繁に発生する箇所で有ったり、他の既知の原因が判っている場合は、定常状態に遷移する。そうでなければ、PTZ制御により始点付近の高倍率映像を巡回的に取得し、避走を示す車両の検出を試み、検出すると障害物探索状態に遷移するとともにアラーム(障害物アラーム)を発報する。
【0021】
障害物探索状態では、避走検出地点の映像を分析して、障害物そのものの検知を試行する。それと同時に、検出地点以外では速度異常の監視を続ける。障害物の検出は背景差分法を用いる場合、障害物のない時の画像(背景画像)を予め作成しておく必要があるため、定常状態においていも高倍率映像の巡回取得を定期的に行うものとする。障害物を発見すると、適宜アラーム発報等をするとともに、障害物観察状態に遷移する。
【0022】
障害物観察状態では、発見した障害物を監視し続ける状態であり、車両により引っかけられてその場から消失した場合、渋滞原因探索状態に遷移して、走行方向の前方で再び道路に落とされた障害物による渋滞を探索することになる。また現地に赴いた作業員によって障害物の撤去が完了すると、定常状態に遷移する。
【0023】
図4に、本実施例の監視カメラ2の機能ブロック図が示される。監視カメラ2は、撮像部21と速度解析部22と高画質化処理部23とカメラ制御部24で構成される。
本例の監視カメラ2は、撮影した映像から被写体の速度を算出し、速度の異常を検知し速度異常検知情報として、中央処理システムに通知する。
【0024】
撮像部21は、カラー撮像素子を有し、撮像面に結像した被写体像を、撮像部出力映像として出力する。
速度解析部22は、入力した映像内の被写体(車両)の実際の速度を計算して出力する。
高画質化処理部23は入力した映像に対して超解像やコントラスト補正等の高画質化処理を施して出力する。速度解析部22と高画質化処理部23は、共通のプロセッサ上で動作するソフトウェアによって実現されうる。或いは共通のFPGA(Field-Programmable Gate Array)のようなハードウェアで、乗算器などを排他的に使用する様態で実現されうる。
【0025】
カメラ制御部24は、中央処理システム3からのカメラ制御情報に基づき、PTZや速度解析部22、高画質化処理部23の動作を制御する。中央処理システム3から速度異常検知情報の要求を受けた場合は、監視カメラ2は一定の期間内での速度異常が発生したかどうかを計測し、速度異常検知情報として応答する。速度異常は例えば、速度やその時間的変化に2つの閾値TL、THを設定し、車両の速度等がTL以下の場合、もしくはTH以上の場合に異常発生とする。
また、カメラ制御部24は、中央処理装置からの要求に従って、速度解析部と高画質化処理部の制御を行う。例えば、要求に従って片方の機能のみを動作するようにしても良い。高画質化処理部が動作している場合はその出力を監視カメラ映像として出力し、動作していない場合は撮像部出力映像を監視カメラ映像として出力する。
【0026】
電動雲台25は、カメラ制御部24を経由して受信したカメラ制御情報に従って、撮像部21の撮像方向を変更する。
電動ズームレンズ26は、受信したカメラ制御情報に従って、撮像部21の撮像範囲(ズーム倍率)を変更する。
なお、速度解析部22や高画質化処理部23、カメラ制御部24は、撮像部21のケース内に設けてもよい。
【0027】
図5に、現実世界での実際の速度を計算する原理が示される。まず、映像内で速度の計算を行う範囲である速度検出範囲を決定する。速度検出範囲の実際の距離はカメラの設置された高さと角度から求めることが出来る。または、道路上の白線など映像内の基準となる距離を用いて設定しても良い。車両の速度は例えば、上記で設定した速度検出範囲を車両が通過するのに何フレームかかるかを測定することにより求めることが出来る。
【0028】
図6に速度解析部22による速度算出のフローを示す。
まずS11として、撮像部出力映像を1フレーム取り込む。
次にS12として、入力したフレームに対して動体領域の検出を行う。動体領域は、周知の方法、例えばフレーム間の画素値の違いにより求めることが出来る。
S13において動体が存在したと判断すると、S14として動体領域内で、例えばハリスのコーナー検出やSUSAN演算子により、特徴点を検出する。
次にS15として、動体領域の特徴点を、時間領域で対応付けることで、動体の追跡を行う。各動体領域の特徴点群を、フレーム間で対応付けるような処理として、ミーンシフト、パーティクルフィルタ、カルマンフィルタ等の周知の技術が利用でき、道路脇の柱などにより車両が一時的に隠れても連続した軌跡をえることができる。追跡は、動体領域単位、特徴点単位、或いは距離が近く動きが類似する特徴点のクラスターの単位で行うことができ、対応付けようとうする特徴点の位置の差の他、もし利用できるのであればコーナー(エッジ)の方向や種類の相違も考慮してもよい。また常に同じ位置で単発的に検出される特徴点があるときは、それらの位置を学習して、1回目の検出をマスクするようにしてもよい。渋滞時に密に連なった車両の列は、S12では1つに合体した動体領域として検出されうるが、特徴点群は適当にグループ化するなどして扱うことができる。
最後にS15として、追跡した結果から、速度検出範囲を通過するのに何フレームを要したかを測定する。
【0029】
図7に、システム制御部7が行う障害物アラーム発報のフローを示す。
まずS31で、各監視カメラ2から速度異常情報の収集を行う。速度異常情報は、各監視カメラの被写体の速度が、一定期間内に設定された範囲から外れたかどうかを示す情報である。既に映像解析の対象となり高画質化モードで動作している監視カメラ2からは速度異常情報が得られないので、代わりに映像解析部4での解析の中で得られる軌跡情報等を利用することができる。 速度の算出は認識や学習等を用いた映像解析と比較して少ない計算コストの画像解析で実現できる。速度異常が検出された監視カメラ付近では、渋滞や車両がブレーキを踏むなど、何らかの異常が起きた可能性がある。
【0030】
次にS32で、映像解析部4で映像解析されるべき監視カメラ2の映像を選択する。
システム制御部7は、速度異常が検出された監視カメラ2の映像を優先して映像解析部4に受け渡す。もし、速度異常が検出されたカメラが位置的に隣り合っていた場合は
図3のように先頭の(下流の)監視カメラ2のみの優先度を上げる。これは、渋滞区間に応じて、道路上で連続する複数のカメラが速度異常を検出することが予期されるので、渋滞の先頭に対応するカメラを特に優先して選択することを意図している。 優先度が高いカメラ2がMより多く存在した場合は、最後に解析された時刻から現在までの期間が長いものを優先して解析する。優先度の高いカメラがM以下であった場合は、残った演算リソースによって、優先度の高いカメラに地理的に隣接するカメラやその他の監視カメラの映像を、最後に解析された時刻から現在までの期間が長いものから優先して解析してもよい。映像解析の対象として選択した履歴は、一定期間保持される。
【0031】
映像解析する監視カメラが決定すると、S33では、システム制御部7は、その情報を対象の監視カメラ2に伝達する。解析対象となった監視カメラ2はその間、速度異常検出の機能の動作を停止し、その演算リソースで映像の高画質化の処理を行う。また、監視カメラ2が映像の圧縮をして出力している場合、解析時のみビットレートを上げて画質の向上を図っても良い。
【0032】
S34では、映像解析部4は、解析対象となった監視カメラ2からの映像を解析し続け、解析結果を逐次、システム制御部7に返す。
S35では、システム制御部7は、受取った解析結果(最新の1つ)が、避走等の異常を示しているかを判断する。解析結果は誤検出を含みうるので、なお解析結果を過去一定期間分保持し、それらに基づいて判断してもよい。
【0033】
異常が確認されなかった場合、S36として、システム制御部7は、過去一定期間内に複数回以上、映像解析の対象となったカメラがあるか、履歴を検索する。
S37では、S36の検索に基づき、頻繁に解析対象となったカメラの有無を判断する。該当するカメラがあった場合、S35で異常と判断された場合と同じ処理(アラーム発報)に進む。該当するカメラがない場合、処理はS31に戻る。
【0034】
一方、S35で異常が確認されるかS37で該当カメラがあった場合、S38として、システム制御部7はアラームを発報する。
アラームは、異常が検知されたカメラの映像と位置や時刻等の情報を映像表示装置に送信することにより行う。
【0035】
S39では、異常が検出された監視カメラ2に、その情報を伝達する。これにより、監視カメラ2の側では、もし行っていれば速度異常検出の機能の動作を停止し、その演算リソースで映像の高画質化の処理を行うことができる。システム制御部7はまた、映像解析部4が出力した異常の位置情報が利用できるときは、該当する監視カメラ2に、その位置情報をより高倍率で鮮明に撮影するようなカメラ制御情報を送信するとともに、映像解析部4に、その異常の原因自体の検出を指示する。その際必要に応じ、映像解析部4には、そのカメラ制御情報によって変更された撮影方向や範囲の情報も提供される。 S39の後、処理はS31に戻る。
【0036】
本発明の範囲は、これまで説明した実施例の構成を含むことができるがこれに限定されるものではない。
例えば、映像解析部4は、上述した認識・学習技術等による道路の損傷検出、障害物の認識(検出)、車両の緊急停車の検出等を行ってもよい。また、監視カメラ2側で高解像度化されなった映像を解析するために、前処理として、コントラスト補正や揺らぎ補正、揺れ補正、超解像処理等を行ってもよい。
また車両の速度を計測する代わりに、所定時間当たりの通過台数を計測し、その変化から渋滞始点を探索してもよい。
また映像解析部4は、路面に引かれた走行レーンの境界ラインをハフ変換等により検出し、それを利用して動体の追跡を行ってもよい。例えば走行レーンの向きと大きく異なる動きを候補から除外して処理量を軽減することができ、レーンの幅を基準に車両の見かけの大きさや避走の程度を判断することができる。また、映像から障害物が検出されたときは、その大きさや走行レーンとの位置関係に基づいて、深刻度の異なるアラームを発報することができる。例えば当初路側帯で検出された障害物が走行レーンに移動したときは、より高い深刻度のアラームを発報し直す。
【0037】
また、監視カメラ2と映像解析部4との間での画像処理の分担の仕方には、本例で説明したほかに様々な様態が含まれる。例えば監視カメラ2の速度解析部22が常時、移動領域(車両)の軌跡を算出し、映像解析部4にそのデータを渡して以降の処理を行わせてもよい。映像解析部4では、軌跡データをスクリーン座標からグローバル座標系に変換し、速度に依存しない通過点等に標準化して平均化(累積)し、その平均化データとの相違度を以て避走を判断することができる。座標系変換には特許文献3等の周知技術が利用できる。平均化する軌跡データ(通過点データ)の数は一定以上(例えば車両10台分)必要であり、映像解析部4はそれぞれの監視カメラ2の撮影画角毎に平均化データを保持するものとする。避走のような非定常なデータを検出する周知のアルゴリズム(例えば1クラスSVM、Singular spectrum analysis等)を用いることもできる。