【解決手段】警戒領域Sを走査して各方向の測定点までの測距データを生成し、測距データに基づいて近接する測定点をセグメントG0〜G3としてグループ化し、今回得たセグメントG1〜G3のうち、トラッキング対象である前回得た車両MのセグメントGXから所定距離D1以内の範囲A内に存在し、大きさが最大のセグメントG2を、車両と同一物体であると判定してトラッキングする。これにより、遮蔽や鏡面反射があっても同一物体を精度良くトラッキングできる。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について、図面を参照して具体的に説明する。
本実施形態では、監視区域内で侵入物体等(例えば不審車両や不審者等)の異常を検知し、異常を検知した位置へ飛行ロボットを飛行させて、監視区域の目的箇所の撮影等を行う監視システムに本発明に係る物体検出センサを用いた例として説明する。
【0016】
<全体の構成>
図1に示すように、本実施形態の監視システム1は、物体検出センサ2、ロボポート3、飛行ロボット4、飛行制御装置5、監視センタ6によって構築される。監視システム1では、
図1に示すように、監視区域E内で発生した異常(例えば監視区域E内へ侵入してきた不審な車両Mなど)を物体検出センサ2が検知すると、異常を検知したことが物体検出センサ2から飛行制御装置5に通報される。飛行制御装置5は、物体検出センサ2から異常検知の通報があると、ロボポート3を介して飛行ロボット4に飛行指示を与える。飛行ロボット4は、飛行制御装置5からの飛行指示に従って監視区域Eへ向かって飛行し、監視区域Eの異常発生箇所の周辺に設定された目的箇所(例えば不審な車両M等の目標物を含む周辺領域)を撮影する。監視センタ6は、飛行ロボット4から飛行制御装置5を介して送信される撮影画像をモニタに表示し、監視区域Eの監視を行う。以下、監視システム1を構築する各部の構成について説明する。
【0017】
物体検出センサ2は、詳細は後述するが、予め設定された警戒領域S内にレーザ光などの探査信号を照射しながら所定の測定周期で空間走査を行い、光路上にある物体にて反射した反射光を受光することで、領域内に存在する被測定物としての物体の位置を検出する装置である。物体検出センサ2は、警戒領域S内に出現する物体を監視し、この物体が検出対象であると判定すると自己のアドレス情報を含む検出信号を飛行制御装置5に出力する。
【0018】
ロボポート3は、飛行ロボット4の待機場所であり、飛行制御装置5からの指示を受け、飛行ロボット4の離陸や着陸を行うための設備を備える。また、ロボポート3は、飛行ロボット4が着陸するときに飛行ロボット4をポート内に収容する機構を備え、飛行ロボット4をポート内に収容したときに、飛行ロボット4に対して接触又は非接触にて給電を行う機能を有する。
【0019】
飛行ロボット4は、飛行制御装置5から飛行指示を受けていない通常の状態ではロボポート3に待機しており、物体検出センサ2が異常を検知して飛行制御装置5に通報すると、飛行制御装置5からの指示により、予め記憶した監視区域E内の3次元の地理情報に基づいて障害物を回避しながら目標位置(目的地)に向かって自律的に飛行する。
【0020】
飛行制御装置5は、利用者が操作する操作部を備え、この操作部にて利用者が監視区域Eの監視を開始又は解除するための操作を行うと、この操作に応じて監視区域Eの監視建物内外の監視状態を開始又は解除に設定する。この設定があるとそれぞれ警備開始信号又は警備解除信号を物体検出センサ2に送信する。また、飛行制御装置5は、監視状態が開始された状態において物体検出センサ2の検出信号などに基づき監視区域Eの異常を確定し、監視センタ6に異常信号を出力するとともに飛行ロボット4に飛行指示を与える信号を送信する。
【0021】
監視センタ6は、警備会社などが運営するセンタ装置を備えた施設である。センタ装置は、通常、1又は複数のコンピュータで構成されている。監視センタ6では、センタ装置により各種機器を制御し、飛行制御装置5から受信した異常信号を記録するとともに、異常の情報をディスプレイに表示し、監視員が監視対象となる複数の監視区域Eを監視している。
【0022】
<物体検出センサ2の構成等>
次に、
図2に示す機能ブロック図を参照して物体検出センサ2の構成等を説明する。
物体検出センサ2は、警戒領域Sにおける検出対象にレーザ光が照射されるように、監視建物の屋外壁面に水平または一定の俯角を設定されて設置される。本実施形態における物体検出センサ2は、人物及び車両Mを検出対象としていることから、壁面における設置高さは警戒領域Sに侵入した人物及び車両Mにレーザ光を照射できる高さに設置される。また、物体検出センサ2は、飛行制御装置5から電源供給を受けて作動する。
【0023】
物体検出センサ2は、飛行制御装置5と接続されて通信を行う通信部21と、レーザ光を照射及び受光する検知部22と、HDDやメモリなどで構成され各種設定情報やプログラムなどを記憶する記憶部23と、MPUやマイコンなどで構成され各部の制御を行う制御部24とを有している。
【0024】
通信部21は、飛行制御装置5と接続され、飛行制御装置5から出力される警備開始信号および警備解除信号を受信して制御部24に当該信号を出力する。また、通信部21は、制御部24にて警戒領域Sにおける検出対象の存在が判定されると、自己のアドレス情報を含む検出信号を飛行制御装置5に送信する。
【0025】
検知部22は、レーザ光により警戒領域Sを走査して、レーザ光を反射した被測定物である物体上の測定点の位置を検出する。検知部22は、例えば波長890nm程度の近赤外線を発射するレーザ発振部221と、レーザ光を反射して物体検出センサ2より照射させる走査鏡222と、走査鏡222を等速に回転駆動させる走査制御部223と、受光素子を備えてレーザ発振部221の近傍に設けられる反射光検出部224と、レーザ光の照射結果として測距データを生成する測距データ生成部225とを備えている。
【0026】
レーザ発振部221より発射されるレーザ光は、走査鏡222と走査制御部223とにより照射方向を制御されて、少なくとも警戒領域Sの全体を走査する。この走査は、物体検出センサ2の設置角に応じて水平な平面について行うか、あるいは、俯角を以て遠距離となるほど地面に近づくような平面について行うことができる。走査は、所定の測定周期(例えば60msec)で行われ、例えば、同方向について繰り返し行ってもよく、また、往方向の走査を行った後に復方向の走査を行ってもよい。
【0027】
測距データ生成部225は、レーザ光の照射から反射光の検出までに要する時間から算出される物体検出センサ2とレーザ光を反射した被測定物(測定点)との距離と、走査制御部223により回転駆動される走査鏡222の角度(警戒領域Sにおける方向)とにより、レーザ光を反射した物体、即ちレーザ光を反射した測定点の相対位置を算出する。相対位置は、物体検出センサ2を基準とした測定点の位置であり、具体的には物体においてレーザ光を反射した面の位置である。また、測距データ生成部225は、所定時間内に反射光が返ってこない場合には、レーザ光の照射可能な距離内に物体がないと判断して、所定の擬似データを相対位置として記録する。擬似データは所定の値でよく、例えば物体検出センサ2が監視すべき警戒領域Sの外周となる距離値や、レーザ光による有効測定距離以上の適当な値でよい。
【0028】
測距データ生成部225により得られる測定データを本実施形態では測距データと呼ぶ。測距データは、具体的には検知部22による1回の走査で警戒領域Sを所定の角度間隔(例えば0.25°)で測定した結果である。例えば、180°の範囲について0.25°間隔で測距データを取得すると721個の距離値が得られる。これら721個の距離値のセットが一つの測距データになる。測距データは、角度(方向)と距離とを対応付けた複数の測定点データの集まりの情報(テーブル)として記憶される。
測距データ生成部225は、所定の周期間隔(例えば60msec)にて検知部22の1回の走査が終了する毎に測距データを生成して制御部24に出力する。
【0029】
記憶部23は、ROMやRAM、又はHDDにて構成され物体検出センサ2自身を特定するためのアドレス情報と各種プログラムなどを記憶しており、更に物体検出センサ2を動作させるための各種情報を記憶する。具体的に、記憶部23は、設定された警戒領域Sを示す警戒領域情報と、制御部24にて生成された基準データと、検知部22にて検出された物体のトラッキング情報とを記憶している。また、記憶部23には、検知部22から出力された過去所定周期分の測距データが記憶されている。
【0030】
警戒領域情報は、例えば物体検出センサ2にて監視すべき範囲として警備会社などによる監視区域Eの警備プランニングに応じ設定される警戒領域Sを示す情報である。
この警戒領域情報は、物体検出センサ2の設置時や監視区域Eの警備プランニング変更時などに、設定端末や図示しない操作部などから検知部22による走査面上の範囲を指定されて入力される。そして、入力された警戒領域Sの範囲は、検知部22で走査を行う所定の角度間隔(例えば0.25°)ごとに、検知部22からの角度(方向)と距離値が対応付けられて角度(方向)と距離のテーブルとして記憶部23に記憶される。本実施形態では、
図1に模式的に示すように、物体検出センサ2を中心とした略扇形状に警戒領域Sが設定されている。
なお、警戒領域情報は、これに限らず警戒領域Sの範囲を示す情報と物体検出センサ2との位置関係が識別可能に記憶されていればよく、例えば、物体検出センサ2を原点として相対的な位置関係を示す二次元座標にて設定され記憶していてもよい。
【0031】
基準データは、後述するトラッキング処理において、現在の測距データと比較して警戒領域Sに新規に出現した物体を抽出するために用いられる比較基準情報であり、検知部22による走査開始後から現在までの何れかの過去時点で取得された測距データにより生成される。基準データは、角度(方向)と距離のテーブルとして記憶されてよい。また、基準データは、何れの過去時点で生成されてもよく、また随時に取得される測距データを用いて更新されてもよい。本実施形態では、検知部22による走査が開始された後初回の走査で取得される測距データから基準データが生成され記憶される例について説明する。
【0032】
トラッキング情報は、後述するトラッキング処理において、警戒領域Sに新規に出現した物体を複数周期に渡り追跡するために用いられる情報である。トラッキング情報には、現在周期における物体の位置と大きさ及び検出対象と判定された場合には当該検出対象の識別情報(「車両」又は「人物」)と、当該物体が警戒領域Sに初めて出現した位置と大きさ、現在までの各周期における位置と大きさが対応づけられて記憶されている。また、トラッキング情報は、警戒領域Sに複数の物体が存在する場合に備えて、新規に検出した物体ごとにIDを付して管理される。
【0033】
制御部24は、CPU、ROM、RAM等からなるマイクロコンピュータ及びその周辺回路で構成され、上述した各部を制御する。そのために、制御部24は、このマイクロコンピュータ及びマイクロコンピュータ上で実行されるコンピュータプログラムによって実現される機能モジュールとして、検知部22の駆動を制御する駆動制御部241と、検知部22より取得された測距データから基準データを生成する基準データ生成部242と、特定の検出対象を精度良くトラッキングしていく機能を備えた監視制御部243と、を備えている。
【0034】
駆動制御部241は、通信部21を介して飛行制御装置5から警備開始信号が入力されると検知部22に駆動信号を出力し、検知部22の駆動を開始させて、走査制御部223による走査鏡222の駆動およびレーザ発振部221によるレーザ光の照射などを開始させる。また、駆動制御部241は、飛行制御装置5から警備解除信号が入力されると検知部22に駆動停止信号を出力し、その時点の走査終了を以て検知部22の駆動を停止させて、走査鏡222の駆動およびレーザ光の照射などを停止させる。
このように、飛行制御装置5の警備開始信号にあわせて検知部22を駆動させることで連続稼働による駆動部品の破損を防止することが可能となる。
【0035】
基準データ生成部242は、検知部22より取得される測距データを用いて基準データを生成する。上述したように、本実施形態では、検知部22による走査が開始された後初回の走査で取得される測距データから基準データが生成され記憶される例について説明する。即ち、基準データ生成部242は、駆動制御部241より駆動信号が出力され検知部22の走査が開始されると、この初回の走査で出力された測距データを基準データとして記憶部23に記憶する。測距データにおける測定点の位置として或る角度に対応する距離値が警戒領域S内でない場合、当該角度に対応する警戒領域Sの外周までの距離を基準データとして記憶する。この基準データには、当該走査による測定点までの距離が記憶されるため、この走査時点で警戒領域Sに存在する植栽や外壁などの既設物が基準データとして取り込まれることになる。
なお、これに限らず、基準データ生成部242は、検知部22による走査が開始された後、所定回数(例えば5分間の間に行われる走査)の測距データにおいて走査角度ごとに距離値の頻度を求め、最も頻度が高い距離値を当該走査角度の基準値として採用し、基準データを生成してもよい。
【0036】
監視制御部243は、現在の測距データと基準データとを比較して警戒領域Sに出現した物体を変化領域であるセグメントとして検出し、この物体の特徴量を算出する。そして、この特徴量に基づき、物体が検出対象であるか否かを判定する。本実施形態では、検出対象である車両M及び人物のうち、車両Mを特定の対象(特定のトラッキング対象)としてトラッキングすることを主たる目的の一つとして想定しており、特に車両Mについて人物の乗降があった場合等にも当該車両Mを精度良くトラッキングできるような制御手法に特徴がある。このため、車両Mと判定されなかったセグメントは人物として取り扱うものとするが、もちろん検出対象を判定するにあたってはそのような判定方法に限定するものではなく、人物を判定するにあたって異なる判定方法を用いても良い。また、車両と人物以外の検出対象として猫等の小動物・霧等の気象現象などその他を判定できるようにしても良い。
【0037】
なお、この監視制御部243は、
図2においては、便宜上、単一の機能ブロックで示されているが、以下に説明するように、本発明の課題を解決するための手段となる種々の小機能ブロックから構成されていると考えることができ、以下の説明においては、監視制御部243が有する種々の機能に対応する小機能ブロックのうち、少なくとも一部の名称をかっこ書きで示す。なお、この小機能ブロックの名称は、「課題を解決するための手段」における構成要件の名称に対応しているが、これは監視制御部243が有する機能の一部にすぎないことは言うまでもない。
【0038】
監視制御部243は、測距データから得られる走査角度ごとの距離値と、基準データに記憶された角度ごとの距離値との差分を対応する角度ごとに算出して、基準データよりも所定以上近距離となった測定点、つまり距離値が変化した測定点を変化点として検出する。そして、監視制御部243は、変化点のうち、同一の被測定物により距離値が変化したと考えられる近接する測定点をセグメントとしてグループ化する(グループ化手段)。
【0039】
監視制御部243は、前回の測定周期で取得したセグメントについてトラッキング情報を参照し、検出対象である車両Mと判定されているか否かを確認し、車両Mであると判定されている場合には、検出した車両Mについて人物の乗降があった場合等にも当該車両Mを精度良くトラッキングできる車両トラッキングを行う。この車両トラッキングについては、後に、模式図である
図3及び
図4を参照して原理を説明し、さらに
図5〜
図7のフローチャートを参照して動作を説明する。車両Mではないと判定されている場合には人物をトラッキングするための通常トラッキングを行うものとする。
【0040】
監視制御部243は、通常トラッキングにおいて、前回の測定周期で車両Mでないと判定されているセグメントについて、トラッキング情報を参照し、今回周期の検出結果(今回周期でグループ化したセグメント)との対応付けを行う。具体的には、両周期で検出された物体間の距離と大きさなどにより行われる。即ち、両周期で検出された物体間の距離が閾値以内で大きさの変動が閾値以内である場合に、セグメントの対応付けが行われる。
また、監視制御部243は、車両トラッキング及び通常トラッキングにおいて、前回と今回の測定周期でのセグメントの対応付けが行われた場合、トラッキング情報に、その対応付けがなされた前回の測定周期のセグメントのIDについて、現在周期で検出されたセグメントの位置と大きさが、現在までの各周期における位置と大きさと対応付けて記憶される。
【0041】
なお、検出対象が車両Mであるか否かの判定は、例えば次のように行うことができる。すなわち、警戒領域Sにおいて検出したセグメントを構成する測定点のうち、線分として近似できる測定点から線分データを検出する。そして、1つの線分データごとに、車体の平面を示す車両M形状らしさを評価する特徴量として、第1の車形状度を算出する。また、角度がある2つの線分データの組合せごとに、車両Mの角を示す車両M形状らしさを評価する特徴量として、第2の車形状度を算出する。そして、これら2つの車形状度(特徴量)から当該セグメントが検出対象である車両Mであるか否かを判定する(対象判定部)。
監視制御部243は、車両Mと判定したセグメントについて、そのセグメントのIDに対応付けて車両の識別情報を付加する。なお、車両Mでないと判定したセグメントについてはそのセグメントのIDに対応付けて人物の識別情報を付加する。
【0042】
<車両トラッキングの原理等について>
次に、
図3及び
図4の模式図を用いて、前述した車両トラッキングについて更に詳細に説明する。
図3(a)は、本実施形態の監視システム1において、物体検出センサ2が停止車両Mを検知した状況を示しており、同図(b)は、当該停止車両Mから乗車していた人物が降車してきた状況を示している。
【0043】
本実施形態の車両トラッキングは、今回の周期で検出したセグメントを、前回の周期で検出して車両Mと判定したセグメントに対応付けるトラッキング処理を行う手順として、第1の判定手法で行う候補抽出処理1(同一物体判定部)と、第2の判定手法で行う候補抽出処理2(第1及び第2の走査角度判定部及び遮蔽推定部)とを有しており、候補抽出処理1で抽出した候補と、候補抽出処理2で抽出した候補を比較して今回の車両Mを判定するようになっている(同一物体判定部)。なお、候補抽出処理1と候補抽出処理2は警戒領域Sを走査する測定周期に合わせて連続して繰り返し行っている。以下詳細に説明する。
【0044】
図3(a)に示すように、測定周期T
n 以前において警戒領域Sで1本の直線状のセグメントG0が検出され、物体検出センサ2が車両M判定処理を行った結果、当該セグメントは警戒領域Sに進入した車両Mであると判定されたものとする。なお、この車両Mは停止しており、物体検出センサ2によっては検出できないが、人物が乗車しているものとする。
【0045】
図3(b)に示すように、測定周期T
n+1 において、警戒領域Sに停止している前記車両Mから人物が降車したとする。この測定周期において、物体検出センサ2は、警戒領域S内に3つのセグメントを検出する。降車した人物に相当する中央の比較的小さいセグメントG3と、このセグメントG3の両側に現れる、1台の車両Mに相当する長さの異なる2本の直線状のセグメントG1,G2である。物体検出センサ2は、現在の測定周期T
n+1 の測距データから得られたこれら3つのセグメントG1,G2,G3のうち、前回(測定周期T
n )の特定の対象(車両M)である一点鎖線で示すセグメントGXから所定距離D1の一点鎖線で示す範囲A内に存在し、かつ大きさが最大のセグメントを、前回(測定周期T
n )検出されて車両Mと判定されたセグメントと同一物体であると判定する(同一物体判定部による候補抽出処理1)。
図3(b)に示す例では、右側の直線状のセグメントG2が、候補抽出処理1による候補となり、これが前回の車両MとされたセグメントGXと関連付けられる。なお、所定距離D1は、車両Mの移動時の速度も考慮して、上述した人物をトラッキングするための通常トラッキングにおける距離の閾値より大きな値として実験的に定められる(例えば1m等)。また、前回の特定の対象であるセグメントを示す一点鎖線は、今回のセグメントを示す実線とずらして図で示しているが、これは図を分かりやすく示すための便宜上のものであって、実際は停止している車両Mであることからほとんど一致しているものである(
図4も同じ)。
【0046】
そして、前回(測定周期T
n )の特定の対象(車両M)であるセグメントGXから所定距離D1の範囲A内に存在していても、大きさが最大のセグメントG2以外のセグメントG1,G3は、トラッキング非判定対象とし、トラッキング情報にその旨を記憶する(同一物体判定部)。このトラッキング非判定対象が記録されたセグメントG1,G3については、今回の測定周期T
n+1 ではセグメントとして認識し、物体が存在するものとして扱うが、次回の測定周期T
n+2 ではトラッキング処理を行わない。
【0047】
このような候補抽出処理1を行う物体検出センサ2によれば、特定の対象の車両Mの一部が乗降者によって遮蔽されたり、車両Mの一部(例えばドアノブ等)に鏡面反射が生じたりしたため、1つのセグメントG0しかなかった警戒領域Sに複数のセグメントG1,G2,G3が出現した場合であっても、その中の一つのセグメントG2を前周期で車両Mと判定されたセグメントG0と同一物体と判定して精度良くトラッキングしていくことが可能になる。また、人物であるセグメントG3を前周期で車両Mと判定されたセグメントG0と同一物体と判定してしまうことを防止できる。
【0048】
また、現周期で得られたセグメントG1,G2,G3の中の一つのみ(セグメントG2)を前周期で車両Mと判定されたセグメントG0と同一物体と判定し、これ以外のセグメントG1,G3はトラッキング非判定対象とするため、セグメントG0が分裂してできた、トラッキングする必要にない他のセグメントをトラッキング処理の対象とするような情報処理上の無駄及びこれに起因する情報利用上の不都合を防止できる。
【0049】
図4は、警戒領域Sにおける車両Mの検出状態を
図3からの一定時間経過した後の連続図として示すものであり、
図4(c)は、本実施形態の監視システム1において、
図3(b)において停止車両Mから降車した人物が物体検出センサ2に接近してきた状況を示しており、
図4(d)は、当該人物が物体検出センサ2を横切る状況を示している。
【0050】
図4(c)に示すように、測定周期T
n+a において、測定周期T
n+1 (
図3(b))で車両Mから降車した人物が物体検出センサ2に接近すると、物体検出センサ2からは人物が大きく見えるようになるため、物体検出センサ2が検出する2本の直線状のセグメントG1,G2の長さは、測定周期T
n+1 で検出された長さから徐々に小さく変化する。また左側の直線状のセグメントG1は、前回(測定周期T
n+a-1 )の特定の対象であるセグメントGXから所定距離D1の範囲A内にはなく、他の車両と判定されるべき候補となっている。このような状態において、物体検出センサ2は前述した候補抽出処理1を行う。現在の測定周期T
n+a の測距データから得られたこれらセグメントG1〜G3のうち、前回(測定周期T
n+a-1 )の車両Mと判定された一点鎖線で示すセグメントGXから所定距離D1の範囲A内に存在し、かつ大きさが最大のセグメントは、右側の直線状のセグメントG2であり、これが前回測定周期T
n+a-1 において車両Mと判定されたセグメントGXと同一物体であると判定され、候補抽出処理1による候補となる (同一物体判定部)。
【0051】
図4(c)に示す状況において、物体検出センサ2は前述した候補抽出処理2を行う。物体検出センサ2は、互いに所定距離D2以上離れている任意の2つのセグメントを警戒領域Sの一端から順次選択し、選択した2つのセグメントの各端部への走査角度の差が第1の閾値以下であるか否かを判定する (第1の走査角度判定部)。
図4(c)に示す例では、図の左側から任意の2つのセグメントを順次選択した例を示しており、直線状のセグメントG1と物体検出センサ2に近いセグメントG3との角度差が判定され、第1の閾値以下である場合には、物体検出センサ2に近いセグメントG3が左側の直線状のセグメントG1を遮蔽していると推定し(遮蔽推定部)、次の判断に進む。
次の判断では、前記2つのセグメントG1,G3のうち物体検出センサ2に近い位置にあるセグメントG3の他方の端部(図中右側の端部)と、前回の測距データから特定の対象である車両Mと判定された一点鎖線で示すセグメントGXの端部との走査角度の差が、第2の閾値以下であるか否かを判定する (第2の走査角度判定部)。これが第2の閾値以下である場合には、物体検出センサ2に近いセグメントG3が車両Mの手前にあって車両Mを遮っているために、車両Mの一部が左側の直線状のセグメントG1として現れていると見なし、左側の直線状のセグメントG1を候補抽出処理2による候補とする (遮蔽推定部)。なお、このように、2つのセグメントにおいて一方が他方を隠すような位置関係を遮蔽関係と称する。また、端部とはセグメントを構成する測定点のうち最も走査角度が小さい又は大きい測定点を意味する。そして、所定距離D2は、遮蔽関係を推定する上で明らかに異なる物体によるセグメントと考えられる距離であって実験的に定められる値である(例えば50cm等)。さらに、第1の閾値と第2の閾値は、セグメントの端部がほぼ一致していることを判断するための閾値で、例えば1°から2°の間の値とすることができる。
【0052】
物体検出センサ2は、候補抽出処理1による候補と候補抽出処理2による候補を比較し、セグメントの大きさが最大のものを今回の車両Mと判定する。従って、
図4(c)に示すような状況では、候補抽出処理1による候補(セグメントG2)の方が長いので、これが前回の車両Mと関係付けられて今回の車両Mと判定される(同一物体判定部)。
【0053】
図4(d)に示すように、測定周期T
n+a+1 において、人物が物体検出センサ2を横切るように移動すると、物体検出センサ2が検出する2本の直線状のセグメントG1,G2の長さが変化する。この例では、人物が左から右に移動していくので、左の直線状のセグメントG1が長くなっていき、右の直線状のセグメントG2が短くなっていく。このような状態において、物体検出センサ2は前述した候補抽出処理1を行う。現在の測定周期T
n+a+1 の測距データから得られたこれらセグメントG1〜G3のうち、前回(測定周期T
n+a )の車両Mと判定された一点鎖線で示すセグメントGXから所定距離D1の範囲A内に存在し、かつ大きさが最大のセグメントは、右側の直線状のセグメントG2であり、これが、前回測定周期T
n+a に検出されて車両Mとされた一点鎖線で示すセグメントGXと同一物体であると判定され、候補抽出処理1による候補となる (同一物体判定部)。
【0054】
図4(d)に示す状況において、物体検出センサ2は前述した候補抽出処理2を行う。物体検出センサ2は、互いに所定距離D2以上離れている任意の2つのセグメントを警戒領域Sの一端から順次選択し、選択した2つのセグメントの各端部への走査角度の差が第1の閾値以下であるか否かを判定する(第1の走査角度判定部)。
図4(d)に示す例では、左側の直線状のセグメントG1と物体検出センサ2に近いセグメントG3との角度差が判定され、第1の閾値以下である場合には、物体検出センサ2に近いセグメントG3が左側の直線状のセグメントG1を遮蔽していると推定し(遮蔽推定部)、次の判断に進む。
次の判断では、選択した2つのセグメントG1,G3のうち物体検出センサ2により近い位置にあるセグメントG3の他方の端部(図中右側の端部)と、前回の測距データから特定の対象である車両Mと判定された一点鎖線で示したセグメントGXの端部との走査角度の差が、第2の閾値以下であるか否かを判定する (第2の走査角度判定部)。これが第2の閾値以下である場合には、物体検出センサ2に近いセグメントG3が車両Mの手前にあって車両Mを遮っているために、前回特定した車両Mの一部がセグメントG1として現れていると見なし、左側の直線状のセグメントG1を候補抽出処理2による候補とする (遮蔽推定部)。
【0055】
物体検出センサ2は、候補抽出処理1による候補と候補抽出処理2による候補を比較し、セグメントの大きさが最大のものを今回の車両Mと判定する。
図4(d)に示す状況では、候補抽出処理2による候補(セグメントG1)の方が長いので、これが前回の車両Mと関係付けられて今回の車両Mと判定される (同一物体判定部)。右側の直線状のセグメントG2が徐々に小さくなり、逆に左側の直線状のセグメントG1が徐々に大きくなってきた
図4(d)に示すような状況において、候補抽出処理2による左側の候補(セグメントG1)を前回の車両Mと対応付けて今回の車両Mとするという的確な判定を行うことができる。本実施形態によれば、車両Mと判定されていた単一のセグメントGXが複数に分かれた場合であっても、当該車両MのIDと対応付けられる新たなセグメントは、可及的に前の車両Mと判定されたセグメントGXに近い大きさであると考える方が合理的であるため、上述したように、同一車両Mの候補として異なる基準で複数のセグメントが得られた場合には、最大のものを採用した方が情報処理においても無理がなく、より良好な結果が得られる。
【0056】
このような候補抽出処理2を行う物体検出センサ2によれば、トラッキング対象の車両Mの一部が乗降者によって遮蔽されたため、1つのセグメントG0しかなかった警戒領域Sに複数のセグメントG1,G2,G3が出現して車両Mに相当するセグメントがG1,G2がある程度以上離れた場合であっても、セグメント間の遮蔽関係を精度良く検出し、その中の一つのセグメントG2を前周期で車両Mと判定されたセグメントGXと同一物体と判定して精度良くトラッキングしていくことが可能になる。
【0057】
なお、本実施形態の物体検出センサ2では、セグメント間における遮蔽関係の検出において、今周期で検出されたセグメント同士の角度差を比較する基準である第1の閾値と、前周期で車両Mと判定されたセグメントと今周期で検出されたセグメントとの角度差を比較する基準である第2の閾値とが同じである例として説明したが、今周期で検出されたセグメント同士の角度差を比較する基準である第1の閾値よりも、前周期で車両Mと判定されたセグメントと今周期で検出されたセグメントとの角度差を比較する基準である第2の閾値の方が大きく設定されてもよい。車両Mと特定されたセグメントGXが存在する警戒領域Sにおいて、後の周期で複数のセグメントG1〜G3が検知されたような場合には、同一周期内にあるセグメント同士の端部の角度差よりも、相対的な移動が生じることも予想される異なる周期間でのセグメント同士の端部の角度差の方が大きいと考えられる。従って、第1の閾値と第2の閾値を上述したような大小関係にしたことによって、複数周期にわたって検知された複数のセグメント間の遮蔽関係をより的確に検出し、車両トラッキングも的確に行うことができる。具体的には、
図4に示したような事例において、後の周期で検出された物体検出センサ2に近いセグメントG3が奥側のセグメントG1を隠しており、この奥側のセグメントG1が、前周期で車両Mと特定されたセグメントGXと同一の物体であるとの的確な判定を得やすいという効果が得られる。
【0058】
また、本実施形態の物体検出センサ2によれば、前述したように、候補抽出処理2において、第1の閾値と第2の閾値を用いた判定により、今回検知されたセグメントG1〜G3のうち、遠方に位置するセグメントG1が、前回において車両Mと特定したセグメントGXと同一である判定している。この同一判定をより確かなものとするため、さらに別の手法による判定を加えても良い。例えば、前記同一物体判定部が、
図4(d)において、前記遠方に位置するセグメントG1の各測定点と、前回の測距データから前回特定の対象(すなわち車両M)であると判定したセグメントGXの測定点とが、実質的に一直線上にあると見なせる場合には、これらが同一物体であると判定するようにしてもよい。このような判定を前記候補抽出処理2に加えて適用するものとすれば、前記同一物体判定部によるセグメントの同一判定の精度が向上する。
【0059】
また、本実施形態の物体検出センサ2によれば、前述したように、第2の走査角度判定部による判定において、物体検出センサ2により近いセグメントG3の他方の端部(図中右側の端部)と、前回の測距データから特定の対象である車両Mと判定したセグメントGXの端部との走査角度の差を調べて遮蔽関係を推定していたが、遮蔽関係を推定するために別の手法をとることも考えられる。すなわち、互いに所定距離D2以上離れている任意の3つのセグメントを警戒領域Sの一端から順次選択し、選択した3つのセグメントの各端部への走査角度の差が第1の閾値以下であれば遮蔽関係にあると判定してもよい。そして、この判定があった場合に、前回の車両Mと判定したセグメントGXから所定距離D3(>所定距離D1)の範囲内にあるセグメントを今回の車両Mの候補としてもよい。
【0060】
<動作の説明>
以上のように構成された監視システム1について、図面を参照してその動作を説明する。ここでは、主として物体検出センサ2に関する動作について説明する。
図5は、物体検出センサ2の監視制御処理を示すフローチャートであり、
図6は、物体検出センサ2の監視制御処理におけるトラッキング処理を示すフローチャートであり、
図7は、物体検出センサ2のトラッキング処理における車両トラッキング処理を示すフローチャートである。
【0061】
まず物体検出センサ2の基本的な動作について
図5を参照して説明する。
駆動制御部241は、電源がONとなり所定の初期設定がなされると動作を開始し、飛行制御装置5から警備開始信号を受信するまで待ち受けを行う。警備開始信号を受信すると(ステップST1−Yes)、検知部22に駆動信号を出力し、検知部22の駆動を開始させる(ステップST2)。駆動信号の入力を受け検知部22が警戒領域Sの走査を開始して測距データが出力されると(ステップST3−Yes)、基準データ生成部242は、この初回の走査による測距データに基づき基準データを生成して記憶部23に記憶する(ステップST4)。
【0062】
そして、基準データを生成した後に測距データが取得されると(ステップST5−Yes)、監視制御部243によりトラッキング処理が行われる(ステップST6)。トラッキング処理については後述する。そして、トラッキング処理が終了すると、通信部21より、自己のアドレス信号を含む検出信号が飛行制御装置5に送信される(ステップST7)。なお、この検出信号は、物体検出センサ2が現在の測定周期で認識したセグメントのID、セグメントの位置信号、車両M又は人物の別を示すセグメントの識別情報を含む。
【0063】
物体検出センサ2は、飛行制御装置5から警備解除信号を受信していなければ(ステップST8−No)、かかるステップST5からST8の処理を繰り返し警戒領域Sの走査を行って監視を行う。他方、飛行制御装置5から警備解除信号を受信すると(ステップST8−Yes)、駆動制御部241が検知部22に駆動停止信号を出力して検知部22の駆動を停止させ(ステップST9)、記憶部23のトラッキング情報をリセットし(ステップST10)、一連の処理を終了する。なお、ステップST3及びST5において、走査周期(例えば60msec)を所定以上越えても測距データが取得されなければ、機器の異常として処理を終了してよい。
【0064】
次に、
図5のステップST6におけるトラッキング処理について
図6を参照して説明する。
図6において、監視制御部243は、現在周期にて取得された測距データと基準データを読み出し(ステップST31)、角度成分(方向)ごとに、現在の測距データで検出された距離値と基準データに記憶された距離値との差分計算を行う(ステップST32)。
【0065】
そして、監視制御部243は、現在の測距データと基準データとの差分結果から、現在の測距データが基準データよりも所定距離以上近くなっている変化点が存在するかを調べる(ステップST33)。監視制御部243は、変化点があれば(ステップST33−Yes)、その連続区間を調べ、連続する変化点で距離が近いものをグループ化してセグメントとして検出する(ステップST34)。ここでは、検知部22が走査する際の角度間隔が検出対象(人や車両M)と比較して十分に密であるので、連続していない変化点(孤立点)や、セグメントの大きさが検出対象(人物や車両M)の一部と判定できる所定サイズ(例えば15cm)に満たない物体をノイズとして除去してよい。
【0066】
監視制御部243は、以下に説明するように、前回の周期で検出されているセグメントについて今回の周期でグループ化したセグメントと同一のものがあるか否かについて判定し、同一である場合には両者の関係付けを行う同一物体判定処理を行う。
【0067】
監視制御部243は、前回の周期で検出されたセグメントを順次選択し(ステップST35)、各セグメントごとに、そのトラッキング情報を参照して当該セグメントに対して車両Mの識別情報が付与されているか否かを判定する(ステップST36)。当該セグメントが車両Mの識別情報であれば(ステップST36−Yes)、車両トラッキングを行う(ステップST38)。車両トラッキングについては後述する。当該セグメントが車両Mでなければ(ステップST36−No)、通常トラッキングを行う(ステップST37)。通常トラッキングについては前述した通りである。
【0068】
監視制御部243は、前回の周期で検出されたセグメントで同一物体判定処理が未了であるものがあれば(ステップST39−No)、ステップST35に戻って上記処理を繰り返し、前回の周期で検出された全てのセグメントについて同一物体判定処理が完了すれば(ステップST39−Yes)、ステップST40の特徴量算出処理に進む。
【0069】
監視制御部243は、今回グループ化した全てのセグメントについて、車両らしさを示す特徴量を算出し(ステップST40)、この特徴量に基づき、今回の周期で検出されたセグメントについて車両Mであるか否かの判定を行い、トラッキング情報における当該セグメントの識別情報に判定に応じた情報を上書き記憶し(ステップST41)、一連の処理を終了する。
【0070】
なお、車両判定を行うためにステップ40で算出する前記特徴量としては、前述した車両の表面を示す第1の車形状度と、車両の角を示す第2の車形状度といった1次特徴量を使用できる他、移動量などの2次特徴量も用いることができる。この2次特徴量はトラッキング情報から得られる量である。また、ステップ41における車両判定では、前記特徴量から得られる車度(車両らしさを表す指標)が所定の閾値以上であることと、また移動量を用いる場合はさらに移動量が所定以上あることによって判定が可能であり、また前記2条件のうちいずれかが満たされない場合であっても、セグメントのサイズが所定の基準値以上であれば車両と判定することとしてもよい。
【0071】
なお、上記通常トラッキング及び車両トラッキングにおいて、今回グループ化したセグメントのうち、前回周期にグループ化したセグメントと関係付けができなければ、現在周期のそのセグメントは新規に出現したセグメントとして新たなID情報を付与されてトラッキング情報に記憶することとなる。また、トラッキング情報に前回周期に存在したとして記憶されたセグメントであって、今回周期において関係付けがされなかったセグメントについては、このセグメントを生じさせた物体は警戒領域S外に移動したと判断して消去する。なお、当該セグメントが一時的な測定誤差や環境要因などによってたまたま関連付けができなかった場合を考慮して、そのセグメントのトラッキング情報を所定時間保持する(所定時間トラッキング情報を同じ情報で更新する)ようにしてもよい。
【0072】
次に、
図6のステップST38における車両トラッキング処理について、原理図である
図3及び
図4を適宜参照しつつ、
図7に示す手順に従って説明する。
図7に示す車両トラッキング処理の手順は、ステップST51からステップST53までの前記候補抽出処理1と、ステップST54からステップST58までの前記候補抽出処理2とによって概ね構成され、先に説明した第1の走査角度判定部、第2の走査角度判定部、遮蔽推定部、同一物体判定部等の構成を備えた監視制御部243が以下のような手順で行う。
【0073】
図3(b)及び
図7を参照して前記候補抽出処理1を説明する。
監視制御部243は、選択した前回の周期で車両Mと判定されたセグメントGXから距離D1以内の範囲AにあるセグメントG1〜G3を抽出する(ステップST51)。次に、当該範囲A内にあるセグメントG1〜G3のうち、最大のセグメントG2を、前記候補抽出処理1による今回の車両候補と特定する(ステップST52)。そして、車両候補としたセグメントG2以外のセグメントG1,G3をトラッキング非判定対象とする(ステップST53)
【0074】
図4(d)及び
図7を参照して前記候補抽出処理2を説明する。
監視制御部243は、警戒領域S内の走査範囲の一端から、所定距離D2以上離れている2つのセグメントを順次選択する(ステップST54)。次に、選択した2つのセグメントG1,G3の各端部への走査角度の差が第1の閾値以下である場合には(ステップST54−Yes)、選択した2つのセグメントG1,G3のうち物体検出センサ2に近い位置にあるセグメントG3の他方の端部と、前回車両Mと判定されたセグメントGXの端部との走査角度の差が、第2の閾値以下である場合には(ステップST56−Yes)、今回検出された奥側のセグメントG1を、前記候補抽出処理2による今回の車両候補と特定する(ステップST57)。なお、候補抽出処理1のステップST53でトラッキング非判定対象になったセグメントについては、候補抽出処理2のステップST57における今回の車両候補対象とはしない。
【0075】
監視制御部243は、ステップST58にて今回の車両候補と特定した場合、選択した2つのセグメントG1,G3の各端部への走査角度の差が第1の閾値以下でない場合(ステップST54−No)と、物体検出センサ2に近い位置にあるセグメントG3の他方の端部と、前回車両Mと判定されたセグメントGXの端部との走査角度の差が、第2の閾値以下でない場合(ステップST56−No)には、走査範囲の他端まで処理が終了するまでステップST54からステップST57の手順を繰り返す(ステップST58−No)。
【0076】
監視制御部243は、候補抽出処理1による候補と候補抽出処理2による候補を比較し、大きさが最大のものを今回の車両Mと判定してST35にて選択したセグメントのトラッキング情報との関係付けを行う(ステップST59)。そして、その他の今回の車両候補をトラッキング非判定対象としてトラッキング情報にその旨を記憶し(ステップST60)、一連の処理を終了する。
【0077】
以上説明した実施形態では、候補抽出処理1と候補抽出処理2で今回の車両候補をそれぞれ抽出し、これらを比較して最大のものを今回の車両候補としていたので、極めて高精度に車両トラッキングを行うことができたが、候補抽出処理1のみを行っても一定の効果を上げることはできる。すなわち、車両等の特定の対象としてセグメントG0が検知されている警戒領域Sにおいて、車両Mの乗降者や車体の一部分の鏡面反射等によって複数のセグメントG1〜G3が現れても、そのうちの何れかが前記車両M等の特定物体と同一物体であるものとし、後のセグメントに関係付けて精度良くトラッキングすることができる。
【0078】
上述の実施形態では、本発明に係る物体検出センサ2を飛行ロボット4の運用に用いる例を説明した。飛行ロボット4の出動条件として、物体検出センサ2が新たな車両Mを認識した場合には車両Mのナンバー撮影のために飛行ロボット4の出動が定められている場合、同一の車両Mについて遮りや鏡面反射等によって複数のセグメントが生じたとしても、同一の車両Mに相当するセグメントを精度よくトラッキングできる。このため、トラッキングがうまくいかずに、人物に相当するセグメントを車両Mと誤認識してこの人物の位置に飛行ロボット4がナンバー撮影に出動したり、分裂によって生じたセグメントについて新たな物体が出現したと誤認識して飛行ロボット4が同一の車両Mに対して再度出動して撮影を行うという無駄が生じてしまったりすることを防止できる。
【0079】
なお、
図6及び
図7に示した動作フローの同一物体判定処理について、前回の測定周期における車両Mセグメントを選択し(ステップST35、ステップST36−Yes)、この前回の車両Mセグメントを基準として算出した距離D1の範囲A内における現在の測定周期のセグメントと抽出し(ステップST51)、この中で大きさ最大のセグメントを今回の車両M候補と特定していたが(ステップST52)、これに限るものではない。例えば、その他の方法として、まず、現在のセグメントを選択し、この現在のセグメントを基準として算出した距離D1の範囲内に前回の車両Mセグメントが存在するか否かを判定する。そして、前回の同一IDの車両Mセグメントについてこの判定がなされた現在のセグメントが複数存在する場合に、その中で最大の現在セグメントをそのIDの車両Mセグメントと同一物体であると判定することも請求項に記載された範囲内である。
【0080】
なお、本発明の実施の形態では、車両Mを特定の対象とし、この車両Mが人物により遮られる等しても、車両Mを精度良くトラッキングできる例を示したが、これに限らず、特定の対象をその他の物体としてもよい。例えば、特定の対象を人物とし、歩道を歩行する人物をトラッキングする場合に、交通標識等の障害物の背後を歩行者が通行することで、歩行者が障害物に遮られる場合等でも本発明を適用することができる。
【0081】
また、所定距離D1を設定するにあたり、以下の点を考慮することが好ましい。所定距離D1を制限なく大きい値に設定した場合には、例えば、物体検出センサ2と車両Mの間を大型車両が横切るなどして車両Mが大型車両に遮られたとき、所定距離D1以内に大型車両が存在すると、大型車両に相当するセグメントの方が車両Mに相当するセグメントよりも大きくなり、車両MのIDが大型車両に引き継がれてしまうことがある。そのため、所定距離D1の設定においては、このような大型車両を排除できるような距離に制限することが好ましい。また、所定距離D1を極端に小さい値に設定した場合には、例えば、車両が人物により遮蔽されたり鏡面反射が生じたりすることで、車両に相当するセグメントが複数のセグメントに分裂し、それらのセグメントがある程度離れていると、所定距離D1に含まれなくなってしまうことがある。そのため、所定距離D1の設定においては、特定の対象に相当する複数の分裂セグメントがある程度離れていても、それを含むような距離にすることが好ましい。
【0082】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。