特許 6450852 落下物検知追跡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6450852

(24)【登録日】2018年12月14日

(45)【発行日】2019年1月9日

(54)【発明の名称】落下物検知追跡システム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20181220BHJP

   G08G 1/04 20060101ALI20181220BHJP

   H04N 7/18 20060101ALI20181220BHJP

【ＦＩ】

   G08G1/00 J

   G08G1/04 C

   H04N7/18 D

   H04N7/18 F

【請求項の数】5

【全頁数】10

(21)【出願番号】特願2017-539964(P2017-539964)

(86)(22)【出願日】2016年9月15日

(86)【国際出願番号】JP2016077237

(87)【国際公開番号】WO2017047688

(87)【国際公開日】20170323

【審査請求日】2018年2月13日

(31)【優先権主張番号】特願2015-184125(P2015-184125)

(32)【優先日】2015年9月17日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(72)【発明者】

【氏名】縣 禎輝

(72)【発明者】

【氏名】曽我 邦宏

(72)【発明者】

【氏名】山口 宗明

(72)【発明者】

【氏名】小宮 佑一郎

【審査官】 久保田 創

(56)【参考文献】

【文献】 特開平１０−９１８９９（ＪＰ，Ａ）

【文献】 特開２００２−２３０６７９（ＪＰ，Ａ）

【文献】 特開２００６−５９１８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００

Ｇ０８Ｇ １／０４

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

複数台のカメラの映像から特定の物体を検知してアラームを発報する落下物検知追跡システムにおいて、
前記複数台のカメラの夫々は、平常時、カメラの撮影画角を巡回的に制御しながら道路上の落下物を探索し、落下物を検出すると、その危険度に応じたアラームを発報するとともに追跡モードに入り、
当該追跡モードでは、当該落下物の位置と大きさを検出して危険度を再評価し、当該落下物が移動したときは、それまでに再評価していた危険度に応じて、新たな発報を行い、当該落下物を画角から見失ったときは、他のカメラへ探索依頼を行う落下物検知追跡システム。

【請求項2】

前記複数台のカメラの夫々は、前記平常時、落下物の凡その位置若しくは危険度を示す情報を含む探索依頼を他のカメラから受信すると依頼モードに入り、当該落下物を探索することを特徴とする請求項１記載の落下物検知追跡システム。

【請求項3】

前記複数台のカメラの夫々は、電動雲台及び電動ズームレンズを備えたカラーカメラであることを特徴とする請求項２記載の落下物検知追跡システム。

【請求項4】

前記危険度は、落下物の実空間での大きさと動き情報に基づくものであって、前記落下物が所定より大きいか動きのある部分の割合が所定より小さい場合に危険度が高いと推定し、それ以外の場合に危険度が低いと推定することを特徴とする請求項２記載の落下物検知追跡システム。

【請求項5】

前記複数台のカメラの夫々は、前記落下物を検知した付近の時刻で得られた車両情報を保持することを特徴とする請求項４記載の落下物検知追跡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は落下物の検知と追跡を行うシステム、及びそのための画像処理技術に関するものである。

【背景技術】

【0002】

従来、道路上の落下物を、カメラの映像から検出するものが知られる（例えば特許文献１乃至５参照）。従来の検知システムの多くは、道路に設定されたカメラ毎に独立して画像処理を行い、落下物の検知を行っている。落下物を検知すると、検知地点に落下物があることを監視センターにアラーム通知し、監視センターから回収車に出動命令を出すのが一般的である。
また、渋滞等の発生イベントや入力イベントを、原因イベントと結果イベントに分類する交通管制システムが知られる（例えば特許文献６参照。）。
また、周知の画像処理技術として、複数のカメラを使って物体を追尾する侵入物体監視方法（例えば特許文献７参照）や、カメラパラメータをキャリブレーションして取得画像座標系から図面座標系に変換する画像監視装置（例えば特許文献８参照）が知られる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５７２０３８０号公報

【特許文献2】特許第５０２０２９９号公報

【特許文献3】特開２００３−３０７７６号公報

【特許文献4】特許第３５３６９１３号公報

【特許文献5】特開平１１−３９５８９号公報

【特許文献6】特開２０００−０５７４７４号公報

【特許文献7】特許第３６４３５１３号公報

【特許文献8】特開２００１−３１９２１８号公報

【非特許文献】

【0004】

【非特許文献1】布施孝志、外２名，「高度撮影時系列画像を用いた車両動態認識手法の構築」，土木学会論文集，2003年7月20日，IV-60，No.737，p.159-173，インターネット＜URL：http://planner.t.u-tokyo.ac.jp/archive/web/research/fuse/vehicle_recognition.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の落下物検知システムには２つの問題がある。
１つ目は、落下物を検知した際、その落下物の危険度については考慮していない点である。例えば、鉄パイプやドラム缶など重くて大きな落下物は危険度が高く、ビニール袋のように軽くて小さい落下物は危険度が低い。危険度を考慮しないと重大事故に繋がる危険な落下物の回収作業が遅れてしまうリスクがある。また、回収が必要ない落下物を回収に行ってしまうかもしれない。

【0006】

２つ目は、各カメラが独立して落下物検知を行っている点である。各カメラが独立して動作していると、カメラの台数に比例して必要な画像処理能力が増加する他、検知した落下物が車両と接触し、別カメラの監視範囲まで移動した場合、状況の把握に時間がかかってしまう恐れがある。

【0007】

本発明の目的は、落下物の危険度を考慮することで回収作業の初動を迅速にし、周辺カメラと連動することにより現場状況の把握をより効果的にする落下物検知システム等を提供することにある。

【課題を解決するための手段】

【0008】

本発明の一側面において、落下物検知システムは、複数台のカメラの映像から特定の物体を検知してアラームを発報する。複数台のカメラの夫々は、平常時、カメラの撮影画角を巡回的に制御しながら道路上の落下物を探索し、落下物を検出すると、その危険度に応じたアラームを発報するとともに追跡モードに入り、当該追跡モードでは、当該落下物の位置と大きさを検出して危険度を再評価し、当該落下物が移動したときは、それまでに再評価していた危険度に応じて、新たな発報を行い、当該落下物を画角から見失ったときは、他のカメラへ探索依頼を行う。
また、複数台のカメラの夫々は、前記平常時、落下物の凡その位置若しくは危険度を示す情報を含む探索依頼を他のカメラから受信すると依頼モードに入り、当該落下物を探索する

【発明の効果】

【0009】

本発明によれば、危険度の高い落下物を迅速に回収でき、重大事故の発生を未然防止できる。さらに、落下物が移動する場合は、周辺カメラと連動して追跡を行うため、現場状況の把握が効果的になる。

【図面の簡単な説明】

【0010】

【図1】実施例１の落下物検知システムの構成図。

【図2】カメラ２の機能ブロック図。

【図3】落下物検知システムの各カメラのフローチャート。

【図4】依頼モードのフローチャート。

【図5】追跡モードのフローチャート。

【図6】落下物の危険度判定方法。

【図7】落下物が引きずられる場合の動作例。

【図8】落下物が衝突により飛ばされる場合の動作例。

【図9】落下物が衝突により飛ばされる場合の他の動作例。

【図10】落下物が衝突により飛ばされ、再検知できない場合の本発明の動作例。

【図11】別体の画像処理装置に画像処理技術を搭載した場合の落下物検知システムの構成図。

【発明を実施するための形態】

【0011】

本発明の実施形態の落下物検知システムは、平常時は、カメラの撮影画角（プリセット）を巡回的に制御しながら、道路上の車両以外の物体（落下物）を探索する。物体を検出すると、その危険度に応じたアラームを発報するとともに追跡モードに入る。追跡モードでは、当該物体の位置や大きさや動きを観察し、危険度を再評価する。そして物体が車両との接触等により移動したときは、それまでに再評価していた危険度に応じて、新たな発報（例えば事故発生アラーム）を行う。

【実施例1】

【0012】

図１は、本発明の実施例１に係る落下物検知システムの構成図である。落下物検知システムは、監視対象である道路を撮影するように設置された複数のカメラ１、２と、カメラの映像を監視して指令を出す監視センター３と、カメラ１、２と監視センター３を接続するネットワーク４とから構成される。
カメラ１、２は、本例では２台に代表させて説明するが、道路沿いに一定の間隔で多数設置されうる。カメラ１、２は、電動雲台や電動ズームレンズの他、落下物検知及び追跡を行う画像認識装置を搭載し（後述）、落下物を検知した場合は、ネットワーク４を介して監視センター３にアラーム通知を行う。カメラ１、２は、ETC(Electronic Toll Collection System ) 2.0非準拠車両を考慮する目的で、各ETC路側機に対応して設けられうる。

【0013】

監視センター３は、アラーム通知があると、落下物の危険度に応じた顕示等を行い、オペレータの業務(出動命令を回収車に行う）等を支援する。画像認識により物体が追跡されているので、物体に適度にズームアップした映像が自動的に表示され得るものの、オペレータは任意にカメラまたは表示の様態を変更することができる。このとき、落下物が移動し事故が発生したと判断された場合に、回収車以外に、最寄りの消防（救急車）、警察などにも容易に連絡を行えるようにするとよい。
ネットワーク４は、ＩＰ通信可能な通信媒体であり、例えばGE-PON（Gigabit Ethernet-Passive Optical Network、Ethernetは商標）等の光ネットワークが利用される。

【0014】

図２は、本例の落下物検知システムのカメラ１、２の機能ブロック図である。
カメラ１、２は、同一構成であり、撮像部１１、ＰＴＺ装置１２、映像符号化部１３、画像認識部１４、カメラ制御部１５から構成される。
撮像部１１は、カラーカメラ本体であり、撮像した映像のデジタル信号を出力する。
ＰＴＺ装置１２は、撮像部１１をパン及びチルト旋回可能に軸支し駆動する機構と、撮像部１１のズームレンズ及びそれを駆動する機構の総称であり、パン、チルト、ズーム値からなるプリセットポジションを複数記憶し、カメラ制御部からの制御に従って撮像部１１をそのポジションに合せる。プリセットポジションは、当該カメラの付近を中心に、両隣のカメラ付近までの道路の区間を、望ましい倍率で全て撮影できるように、複数設定される。

【0015】

映像符号化部１３は、撮像部からのデジタル信号を、カメラ制御部１５から指定された品質でＭＰＥＧ符号化し出力する。
画像認識部１４は、撮像部からのデジタル信号に、様々な画像処理、認識処理を行うプロセッサであり、道路上の物体（落下物）の検知の他、それに付随して、正常な走行車両の認識やそれらの車番の読み取り等を行ってもよい。ＰＴＺ装置１２におけるパン、チルト、ズーム値は、スクリーン座標からグローバル座標系への座標変換を行うために画像認識部１４にも与えられる。
カメラ制御部１５は、モードの遷移等の、カメラの全体的な制御を司る他、ネットワーク４に符号化映像を送出したり、他のカメラとの間で探索依頼を送受したりする。

【0016】

図３に本例のカメラ１、２のカメラ制御部２４による制御フローチャートを示す。
初めにＳ２１として、カメラ制御部２４は、他のカメラからの落下物探索依頼がないかをチェックし、ある場合は依頼モードＳ２６に分岐する。これは他のカメラで落下物を検知したが落下物が移動したことで見失い、周辺カメラに探索依頼を行ったときに発生する。
探索依頼がない場合は、Ｓ２２として、自己のカメラで現在撮影している画角内に落下物がないかを画像認識部１４に探索させる。

【0017】

落下物がある場合は、Ｓ２３として、落下物を落とした車両を特定する手がかりとするため、落下物を検知した付近の時刻又は領域で得られた車両情報（車両の画像、色、大きさ、車種、ナンバープレートの車番）を保持する。
その後、Ｓ２４として、追跡モード（図５）に移行し、落下物の危険度判定や落下物の移動の有無を判定し追跡を行う。
一方、Ｓ２５で落下物がないと判定された場合は、ＰＴＺ装置１２を制御して画角を別のプリセットポジションに移動させ、フローの先頭に戻る。なお頻繁なポジション移動はＰＴＺ装置１２の寿命を縮めるため、このＳ２１、Ｓ２２及びＳ２６のループの周期や用いるポジションの数は、適切に設定され得る。

【0018】

図４は、依頼モードＳ２６のフローチャートである。他のカメラから探索依頼がある場合、このモードに移行する。探索依頼には、依頼元の位置を特定する情報の他、落下物を検知した際に得た危険度の情報が含まれる。
まずＳ３１として、カメラ制御部２４は、ＰＴＺ装置１２を制御して依頼元カメラの方向に画角をプリセット移動する。依頼元カメラは、仮に隣のカメラであったとしてもかなり遠方であるので、このプリセットは、例えば見通すことができる道路の最遠点（消失点）を含むような画角であり、ズーム倍率は最大に設定される。

【0019】

その後Ｓ３２として、画像認識部１４が落下物探索を行う。
その後落下物が見つからない場合は、未試行の別のプリセットへ移動し（Ｓ３３）、全プリセットを探索したか判定する（Ｓ３４）。
全プリセットを探索しても見つからなかった場合、Ｓ３５として、カメラ制御部２４は見失いアラームを発報し依頼モードを終了する。

【0020】

Ｓ３２で落下物を見つけた場合、Ｓ３６として、画像認識部１４はフレームが入力されるたびに落下物の追跡処理を行う。追跡処理は、それ以前に検出された物体に類似する画像を、検出した付近で再び検出することによって、その物体の位置等を更新する繰り返し処理であり、その間、物体が画面の中央付近で適切な倍率で映るように、ＰＴＺ装置１２が制御される。また、落下物の大きさや動きのデータを所定時間保持し、危険度の推定に用いる。この繰り返し処理はＳ４３で追跡失敗が判断されるかＳ３９で回収済みと判断されるまで続けられる。

【0021】

次にＳ３７として、Ｓ４３又はＳ３９からＳ３６に戻る繰り返し処理で追跡を所定期間行った結果、落下物の位置（画像上の重心）が移動したかを判断する。
移動しない場合は、Ｓ３８として、カメラ制御部２４はその旨の信号を監視センター３に送信する。監視センター３では、位置情報を回収車に送信するための処理や操作等が適宜為される。また、沿線に設置されたETC 2.0路側機を通じて運転支援情報として提供するために、それらを管理するサーバ等にも位置情報が送信される。
次にＳ３９として、落下物を回収し終えた、或いは落下物ではない（車線規制の標識、工事・作業機械等）と判断されると、監視センター３からその旨が通知され、依頼モードは終了する。一方、落下物が未回収の間は、カメラ制御部２４はＳ３６に戻って追跡処理を続ける。

【0022】

Ｓ３７で落下物が移動すると判断していた場合、Ｓ４０として、画像認識部１４は依頼元カメラから受信した危険度若しくはＳ３２で独自に推定した危険度に応じて、危険度を判断する。危険度については図６で詳述する。
危険度が高い場合は、Ｓ４１として、落下物が車両との接触によって、依頼元カメラが検出した位置から現在の位置に移動したと判定し、事故発生アラームを発報する。危険度が低い場合はＳ４２として目視確認アラームを発報する。

【0023】

次にＳ４３として、Ｓ３６の追跡結果に基づき、落下物が画角内にあるか否か（追跡に成功したか否か）を判定する。画角内にあるうちはＳ４２に分岐して追跡を継続する。通常、複数回連続して追跡に失敗した（マッチング位置が発見できない）ときに、画角外と判定される。車両との接触により弾き飛ばされた可能性もあるので、一時的に追跡できない時は、画角を少しずつ車両進行方向に移動させてもよい。

【0024】

画角外と判定された（画角外へ移動した若しくは遠方すぎて撮影できなくなった）場合には、Ｓ４４として、他のカメラに探索依頼を出し、依頼モードを終了する。この探索依頼には、もしあれば、Ｓ４２で推定した落下物の危険度の情報が含められる。依頼先は、周辺のカメラであり、落下物が存在した走行レーンでの進行方向に存在するカメラに絞ってもよい。

【0025】

図４のフローチャートにおいて、Ｓ３６〜Ｓ４３で行われる追跡の処理の順序は任意である。

【0026】

図５は、追跡モードＳ２４のフローチャートである。
初めにＳ５１として、画像認識部１４は、追跡モードに遷移したことに呼応して、落下物の危険度を判定する。その際、落下物の時系列画像（動画）を撮像部１１から取得して、判定を行う。
危険度が高ければ、警告レベルが「高」のアラームを発報し（Ｓ５２）、危険度が低ければ、警告レベル「低」のアラームを発報する（Ｓ５３）。

【0027】

それ以降の処理は、図４の依頼モードのＳ３６〜Ｓ４４と同様である。つまり、落下物の位置を判定し（Ｓ５４）、移動しない場合は回収車に位置情報を送信し（Ｓ５５）、回収が済むと追跡モードを終了する（Ｓ５６）。落下物が移動した場合、前段で判定した危険度に応じたアラームを発報する（Ｓ５７）。危険度が高く落下物が移動した場合は、事故発生アラームを発報し、危険度が低く落下物が移動した場合、目視確認を促すアラームを発報する。どちらのアラームを発報した後も落下物の追跡を行い（Ｓ５８）、画角内にある場合は追跡を継続し、画角外へ移動した場合は周辺カメラへ探索依頼を出し（Ｓ５９）、追跡モードを終了する。

【0028】

図６は、本例の落下物の危険度推定を概念的に示す図である。画像認識部１４は落下物を検知したとき、Ｓ４０やＳ５１においてその落下物の大きさと動き情報から危険度を推定する。物体の大きさは、物体の実空間での大きさであり、落下物が大きい場合は、その物体の材質（大きさ以外の属性）に関わらず危険度が高いと推定する。落下物の大きさに関わらず動きが無い場合、重い物体であり危険度が高いと推定する。ただし落下物の一部が動いているような場合、例えばドラム缶の下にブルーシート下敷きになっている等の重い物体と軽い物体が一緒に落下したと考え、危険度が高いと推定する。最後に全体的に動きがありかつ小さい物体はビニール袋などと考え危険度が低いと推定する。危険度は数値として算出および保持され、Ｓ４０やＳ５１で判定される。

【0029】

Ｓ２２やＳ３２等において、落下物を走行車両や影などと区別して検知する方法として、例えば、特徴量を用いた統計的学習手法などが利用できる。特徴量には、例えば、HSV空間での強度度勾配画像を量子化したオリエンテーションマップや、そのヒストグラム等が利用できる。境界の大部分が彩度(Saturation)のみの勾配（エッジ）で構成された領域は、影或いはライトで照らされた領域であると推定され、それ以外の新規出現領域から、落下物が検知されうる。なお、走行する通常車両から抽出される特徴量を、不正解データとして学習させておいてもよい。
また、処理対象領域を減らすために、背景画像差分法などの古典手法を組み合わせてもよい。その場合、それぞれのプリセットポジションでの落下物探索の最中に更新した背景画像を保持しておき、再び同じポジションに戻った時にそれを継続的に使用することができる。
また、落下物は車の進行方向に逆らって移動して落下すると考えられるため、落下の瞬間を検知する目的で画像中のフローやエッジ情報を特徴量として用いてもよい。落下後は、一旦は道路上でほぼ静止すると考えられるため、所定時間内に同じ位置で何度も検出された物体を、落下物と判断できる。

【0030】

Ｓ３６、Ｓ５８等において落下物を追跡する方法としては、落下物を検知したフレームから落下物の画像を切り出してテンプレートとするテンプレートマッチングなどが利用できる。落下物は通過する車両によって一時的に隠されるが、テンプレートマッチングを画像全体で探索すると処理コストが膨大になる。そのため、効率化したアクティブ探索や確率的探索のパーティクルフィルタ、局所探索を行うMean Shiftなどを利用することで処理コストを削減する。
落下物の動きには、落下物全体の動き（並進運動）と局所的な動きとがあり、前者はテンプレートマッチング等により得られ、後者は位置合わせされた落下物画像の差分（テンプレートマッチング残差）や時空間ＦＦＴにより得られ、両者とも危険度の推定に用いられる。時空間ＦＦＴは２次元である画像データを列ベクトル化することで、２次元で行うことができる。局所的な動きの度合いを示す値は、落下物の見かけや大きさに依存しないように正規化されることが望ましい。

【0031】

図７、図８、図９、図１０に、トラックが荷物を落とした際の、本例の落下物検知システムの動作を模式的に示す。
図７では、落下物が車両と衝突し、衝突した車両が気づかずに落下物を引きずっていく例である。たとえばブルーシートなどの軽い物体はこのような事態になる場合がある。まず、落下物を検知すると追跡モードに切り替わり、落下物の位置を監視する。落下物と車両が衝突し落下物が移動すると事故発生アラームを発報する。そして、衝突した車両が落下物を引きずっていくと落下物を検知したカメラは落下物を見失う。このとき、周辺カメラに落下物の探索依頼を行うが、再検知ができない場合は通常の検知モードに戻る。落下物を引きずっていった車両の情報（画像等）は、事故発生アラーム時の映像を確認することで特定の手がかりにすることができる。

【0032】

図８は、落下物が車両との衝突により別の位置に移動する例である。落下物と車両が衝突すると落下物が移動したことで事故発生アラームをあげ、落下物の追跡を行う。このとき、落下物の追跡だけでなく、事故発生現場の周辺で停止している車両がいれば、異常停止車両として検知されうる。

【0033】

図９は、落下物が車両との衝突により別の位置に移動し、車両が別カメラの監視範囲で停止した例である。落下物と車両が衝突すると事故発生アラームを上げ、カメラ１では落下物を追跡する。カメラ２では停止車両を検知したとき、カメラ１で事故発生アラームが上がった関連性から、事故に関係する異常停止車両として検知を行う。

【0034】

図１０は、落下物が車両と衝突し道路外へ移動することで再検知できない例である。落下物と車両が衝突すると事故発生アラームを上げ、周辺カメラでも落下物を再検知できないときは、見失いアラームを発報して通常の検知モードに戻る。このとき、管轄外の周辺道路や周辺施設には警戒するように連絡することが望ましい。

【0035】

以上説明した様に、この実施形態では、カメラが設置された場所で、落下物が検知され、カメラ同士が連携して追跡する、自律分散協調型システムを形成している。このようなシステムでは、監視センター３はアラームの受信や解除さえできればよく集中処理のための大がかりな施設が不要であり、導入が容易である。なお、Ｓ５９で行われる探索依頼は、カメラから行われるものに限らず、渋滞や事故の発生を把握している交通管制システムなど上位システムから行われてもよい。

【0036】

本発明の範囲は、これまで説明した実施例の構成を含むことができるがこれに限定されるものではない。
例えば、映像認識部１４は、上記説明認識・学習技術等による道路の損傷検出、障害物の認識（検出）、車両の緊急停車の検出等を行ってもよい。また、監視カメラ２側で高解像度化されなった映像を解析するために、前処理として、コントラスト補正や揺らぎ補正、揺れ補正、超解像処理等を行ってもよい。
また車両の速度を計測する代わりに、所定時間当たりの通過台数を計測し、その変化から渋滞始点を探索してもよい。
また映像認識部１４は、オプティカルフロー等により車両進行方向や走行レーンを認識し、走行レーンと落下物の位置関係に基づいて、危険度の異なるアラームを発報することができる。例えば当初路側帯で検出された障害物が走行レーンに移動したときは、より高い深刻度のアラームを発報し直す。

【0037】

また、画像認識部１４は、カメラ自体に内蔵されるものに限定されない。図１１に、画像認識部１４をカメラではなく、ネットワーク４後段の画像処理装置５で処理する落下物検知システムの例を示す。通常、カメラ１等とネットワーク４との接続部には、接続箱等の電気設備が設けられて電源供給等を行うことが多く、この箱に画像処理装置５を設けることができる。

【符号の説明】

【0038】

１：カメラ、 ２：カメラ、 ３：監視センター、 ４：ネットワーク、 ５：画像処理装置、 ６：出動、 ７：落下物回収車、 ８：出動命令。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】