(58)【調査した分野】(Int.Cl.,DB名)
前記情報取得制御手段は、前記取得した重点監視指令に基づいて、前記移動体が前記重点監視位置乃至その近傍に存在するタイミングで、前記画像情報を生成する際のフレームレートを高く変更し、前記重点監視対象が拡大された画像情報を取得することを特徴とする請求項1又は2に記載の監視システム。
前記情報取得制御手段は、予め準備された、前記重点監視位置乃至その近傍から見た重点監視対象の特徴を含む監視対象テンプレートと、前記取得された画像情報の特徴とを比較して、前記画像情報の特徴と前記重点監視位置乃至その近傍から見た前記重点監視対象の特徴との比較結果に基づいて前記移動体が前記重点監視位置乃至その近傍に存在するタイミングを判断することを特徴とする請求項1〜4の何れか一項に記載の監視システム。
複数の移動体のそれぞれの位置情報を検出する位置検出手段と、前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、前記取得された位置情報及び/又は画像情報を含む監視情報を生成する監視情報生成手段と、を備える監視端末装置から無線通信を介して取得した監視情報を入力する中央監視装置を備える監視システムであって、
前記中央監視装置は、
前記監視端末装置から出力された位置情報及び画像情報を含む監視情報を入力する情報入力手段と、
重点的に監視をする重点監視対象と、前記重点監視対象の属性と、前記重点監視対象の属性に応じて、前記画像生成手段が前記画像情報を生成する際に前記移動体の周囲を撮像させるカメラを特定する指令と、前記重点監視対象を監視するための重点監視位置が指定された重点監視対象情報を含み、前記重点監視対象情報に含まれる前記重点監視位置と前記検出された前記移動体の位置情報との距離が所定値未満となり、前記移動体が前記重点監視位置乃至その近傍に存在すると判断されたタイミングで、当該タイミングに至る直前において前記画像生成手段に前記画像情報を取得させた直前の、被写体を撮像する際の撮像の倍率である撮像倍率を当該直前の撮像倍率よりも高い撮像倍率に変更し、前記移動体が前記重点監視位置乃至その近傍に至る前よりも前記重点監視対象が拡大された画像情報を生成させる重点監視指令を前記監視端末装置に送出する指令出力手段と、
前記重点監視対象が拡大された画像情報が入力された場合は、前記画像情報又は位置情報を表示する表示手段と、を備える監視システム。
複数の移動体のそれぞれの位置情報を検出する位置検出手段と、前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、前記取得された位置情報及び/又は画像情報を含む監視情報を生成する監視情報生成手段と、を備える監視端末装置から無線通信を介して取得した監視情報を入力する中央監視装置を備える監視システムであって、
前記中央監視装置は、
前記監視端末装置から出力された位置情報及び画像情報を含む監視情報を入力する情報入力手段と、
重点的に監視をする重点監視対象と、前記重点監視対象の属性と、前記重点監視対象の属性に応じて、前記画像生成手段が前記画像情報を生成する際に前記移動体の周囲を撮像させるカメラを特定する指令と、前記重点監視対象を監視するための重点監視位置が指定された重点監視対象情報を含み、前記重点監視対象情報に含まれる前記重点監視位置と前記検出された前記移動体の位置情報との距離が所定値未満となり、前記移動体が前記重点監視位置乃至その近傍に存在すると判断されたタイミングで、当該タイミング以外の通常時において前記画像生成手段に前記画像情報を取得させるため設定された通常の、被写体を撮像する際の撮像の倍率である撮像倍率を当該通常の撮像倍率よりも高い撮像倍率に変更し、前記移動体が前記重点監視位置乃至その近傍に存在するタイミング以外の通常時よりも前記重点監視対象が拡大された画像情報を生成させる重点監視指令を前記監視端末装置に送出する指令出力手段と、
前記重点監視対象が拡大された画像情報が入力された場合は、前記画像情報又は位置情報を表示する表示手段と、を備える監視システム。
複数の移動体のそれぞれの位置情報を検出する位置検出手段と、前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、前記取得された位置情報及び/又は画像情報を含む監視情報を生成する監視情報生成手段と、を備える監視端末装置から無線通信を介して取得した監視情報を入力する中央監視装置を備える監視システムが実行する監視方法であって、
前記中央監視装置は、情報入力手段と、指令出力手段と、表示手段と、を備え、
前記情報入力手段は、前記監視端末装置から出力された位置情報及び画像情報を含む監視情報を入力するステップを実行し、
前記指令出力手段は、重点的に監視をする重点監視対象と、前記重点監視対象の属性と、前記重点監視対象の属性に応じて、前記画像生成手段が前記画像情報を生成する際に前記移動体の周囲を撮像させるカメラを特定する指令と、前記重点監視対象を監視するための重点監視位置が指定された重点監視対象情報を含み、前記重点監視対象情報に含まれる前記重点監視位置と前記検出された前記移動体の位置情報との距離が所定値未満となり、前記移動体が前記重点監視位置乃至その近傍に存在すると判断されたタイミングで、当該タイミングに至る直前において前記画像生成手段に前記画像情報を取得させた直前の、被写体を撮像する際の撮像の倍率である撮像倍率を当該直前の撮像倍率よりも高い撮像倍率に変更し、前記移動体が前記重点監視位置乃至その近傍に至る前よりも前記重点監視対象が拡大された画像情報を生成させる重点監視指令を前記監視端末装置に送出するステップを実行し、
前記表示手段は、前記重点監視対象が拡大された画像情報が入力された場合は、前記画像情報又は位置情報を表示するステップを実行する、監視方法。
複数の移動体のそれぞれの位置情報を検出する位置検出手段と、前記複数の移動体のそれぞれに装着され、当該移動体の周囲を撮像して画像情報を生成する画像生成手段と、前記取得された位置情報及び/又は画像情報を含む監視情報を生成する監視情報生成手段と、を備える監視端末装置から無線通信を介して取得した監視情報を入力する中央監視装置を備える監視システムが実行する監視方法であって、
前記中央監視装置は、情報入力手段と、指令出力手段と、表示手段と、を備え、
前記情報入力手段は、前記監視端末装置から出力された位置情報及び画像情報を含む監視情報を入力するステップを実行し、
前記指令出力手段は、重点的に監視をする重点監視対象と、前記重点監視対象の属性と、前記重点監視対象の属性に応じて、前記画像生成手段が前記画像情報を生成する際に前記移動体の周囲を撮像させるカメラを特定する指令と、前記重点監視対象を監視するための重点監視位置が指定された重点監視対象情報を含み、前記重点監視対象情報に含まれる前記重点監視位置と前記検出された前記移動体の位置情報との距離が所定値未満となり、前記移動体が前記重点監視位置乃至その近傍に存在すると判断されたタイミングで、当該タイミング以外の通常時において前記画像生成手段に前記画像情報を取得させるため設定された通常の、被写体を撮像する際の撮像の倍率である撮像倍率を当該通常の撮像倍率よりも高い撮像倍率に変更し、前記移動体が前記重点監視位置乃至その近傍に存在するタイミング以外の通常時よりも前記重点監視対象が拡大された画像情報を生成させる重点監視指令を前記監視端末装置に送出するステップを実行し、
前記表示手段は、前記重点監視対象が拡大された画像情報が入力された場合は、前記画像情報又は位置情報を表示するステップを実行する監視方法。
【発明を実施するための形態】
【0009】
以下に示す一実施の形態は、本発明に係る監視システムを、街中の治安を警察署や消防署などの当局にて集中監視する監視システム1に具体化したものである。すなわち、複数の移動体のそれぞれの位置情報と、当該移動体の周囲の画像情報と、時刻情報とを所定のタイミングで取得し、これら位置情報と画像情報と時刻情報とを、無線通信を介して、当局に設置された中央監視装置へ送信し、これら位置情報を地図情報上に表示するとともに必要に応じて画像情報と時刻情報とをディスプレイに表示するものである。そのため、本例の監視システム1は、
図1に示すように位置情報及び画像情報などの監視情報を取得する監視端末装置10と、電気通信回線網30を介して監視情報を入力して処理する中央監視装置20とを備える。
図2は、監視端末装置10及び中央監視装置20の具体的構成を示すブロック図である。
【0010】
特に本実施形態の監視システムでは、画像情報を取得する際に、重点的に監視をする重点監視対象とこれを監視するための重点監視位置を指定する重点監視対象情報を含む監視指令を取得し、この取得した重点監視指令と移動体の位置情報とに基づいて、移動体が重点監視位置乃至その近傍に存在するタイミングで、移動体に設けられたカメラで重点監視対象が拡大された画像情報を取得することを特徴とする。
【0011】
監視端末装置10は、複数の移動体Vに搭載される端末装置であって、これら複数の移動体Vのそれぞれの位置情報を検出する位置検出機能と、複数の移動体のそれぞれに装着されたカメラで当該移動体の周囲を撮像して画像情報を生成する画像生成機能と、時刻検出機能と、所定のタイミングで位置情報、画像情報及び時刻情報を取得する情報取得制御機能と、取得された位置情報及び/又は画像情報を含む監視情報を生成する監視情報生成機能と、これら位置情報、画像情報及び時刻情報を中央監視装置20へ出力するとともに中央監視装置20からの指令を受け付ける通信機能と、異常の発生を通報する機能とを有する。そのため、複数の車載カメラ11a〜11e、画像処理装置12、通信装置13、車載制御装置14、位置検出装置15及び通報ボタン16を備える。なお、時刻情報は主として事象の事後解析に供される情報であるため省略してもよい。
【0012】
監視端末装置10が搭載される移動体Vは、目的とする監視領域を走行するものであれば特に限定されず、乗用車、二輪車、産業車両、路面電車などの移動体を含み、乗用車には自家用乗用車V2や緊急乗用車V3が含まれるが、なかでも特に予め決められた領域をランダム且つ常時走行するタクシーや路線バスV1などが好適に含まれる。
図1には、タクシーV1、自家用乗用車V2、パトカー、消防車又は救急車などの緊急乗用車V3を例示するが、これらを総称する場合は移動体Vまたは乗用車Vという。
【0013】
それぞれの移動体Vには、複数の車載カメラ11a〜11e(以下、総称する場合はカメラ11という。)、画像処理装置12、通信装置13、車載制御装置14、位置検出装置15及び通報ボタン16が搭載されている。カメラ11は、CCDカメラなどで構成され、移動体Vの周囲を撮像し、その撮像信号を画像処理装置12へ出力する。画像処理装置12は、カメラ11からの撮像信号を読み出し、画像情報に画像処理する。この画像処理の詳細は後述する。
【0014】
位置検出装置15は、GPS装置及びその補正装置などで構成され、当該移動体Vの現在位置を検出し、車載制御装置14へ出力する。通報ボタン16は、車室内に設置された入力ボタンであって、運転手や同乗者がインシデント(事故、火事、犯罪など治安に関する出来事)を発見した際に異常を通報するための情報を入力する手動ボタンである。この情報には、異常を通報した移動体Vの位置情報を含めることができる。
【0015】
車載制御装置14は、CPU,ROM,RAMにより構成され、通報ボタン16が押されたときに、画像処理装置12、通信装置13及び位置検出装置15を制御し、画像処理装置12で生成された画像情報と、位置検出装置15で検出された移動体Vの位置情報と、CPUが内蔵する時計からの時刻情報とを通信装置13及び電気通信回線網30を介して中央監視装置20へ出力する。また、電気通信回線網30及び通信装置13を介して受信された中央監視装置20から画像送信指令などの情報を要求する指令を受け付け、画像処理装置12、通信装置13及び位置検出装置15を制御し、画像処理装置12で生成された画像情報と、位置検出装置15で検出された移動体Vの位置情報と、CPUが内蔵する時計からの時刻情報とを含む監視情報を、通信装置13及び電気通信回線網30を介して中央監視装置20へ出力する。また、監視者が、重点的に監視を希望する重点監視対象を特定した場合には、監視情報に重点監視対象が拡大された画像情報を含めることができる。これらの制御の詳細も後述する。
【0016】
通信装置13は、無線通信が可能な通信手段であり、電気通信回線網30を介して中央監視装置20の通信装置23と情報の授受を実行する。電気通信回線網30が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網30が本例の監視システム1の専用電気通信回線網である場合は、それ専用の通信装置13,23を用いることができる。なお、電気通信回線網30に代えて、無線LAN、WiFi(登録商標)、WiMAX(登録商標)、Bluetooth(登録商標)、専用無線回線などを用いることもできる。
【0017】
中央監視装置20は、上述した監視端末装置10から出力された位置情報及び画像情報を入力する情報入力機能と、地図データベースからの地図情報を表示するとともに、受信した位置情報を地図情報上に表示制御する表示制御機能と、受信した画像情報をディスプレイ24に表示する表示制御機能と、を有する。また、中央監視装置20は、重点的に監視をする重点監視対象とこれを監視するための重点監視位置が指定された重点監視対象情報を含み、移動体Vが重点監視位置近傍に存在するタイミングで、重点監視対象が拡大された画像情報を生成させる重点監視指令を監視端末装置10に送出する指令出力機能をさらに備える。この重点監視指令は、予め中央制御装置21が記憶していてもよいし、後述する入力装置25を介して入力してもよい。そのため、中央制御装置21、画像処理装置22、通信装置23、ディスプレイ24及び入力装置25を備える。
【0018】
中央制御装置21は、CPU,ROM,RAMにより構成され、画像処理装置22、通信装置23及びディスプレイ24を制御して、監視端末装置10から送信された位置情報、画像情報及び時刻情報を受信し、必要に応じて画像処理を施したうえでディスプレイ24に表示する。
【0019】
画像処理装置24は、地図データベースを有し、当該地図データベースからの地図情報をディスプレイ24に表示するとともに、監視端末装置10の位置検出装置15により検出された位置情報を当該地図情報上に重畳表示する。また、監視端末装置10の車載カメラ11で撮像され、画像処理装置12で処理された画像情報をディスプレイ24に表示するための画像処理を施す。
【0020】
ディスプレイ24は、たとえば一つの画面上に2つのウィンド画面が表示できる大きさの液晶表示装置又は2つのウィンド画面をそれぞれ表示する2つの液晶表示装置により構成することができる。そして、一方のウィンド画面には、地図情報上に各移動体Vの位置情報を重ね合わせた画面を表示し(
図1参照)、他方のウィンド画面には、車載カメラ11で撮像された映像に係る画像情報を表示する。さらに、ディスプレイ24は、重点監視対象が拡大された画像情報が監視端末装置10から入力された場合は、画像情報を拡大して表示することができる。この拡大して表示する処理は、重点監視対象が拡大された映像をそのまま(拡大されたまま)表示する処理と、重点監視対象が拡大された映像をさらに拡大して表示する処理とを含む。これにより、監視者は、ディスプレイ24に表示された映像により、重点監視対象の細部を詳細に観察することができる。
【0021】
入力装置25は、キーボード又はマウスで構成され、所望の移動体Vに対して情報取得指令を出力したり、ディスプレイ24に表示される各種情報の処理指令を入力したりする場合に用いられる。先述した重点監視指令は、入力装置25を介して監視者が入力することもできる。特に限定されないが、監視者は、地図情報上に重畳表示された重点監視対象のアイコンをクリック(選択入力)することにより重点監視指令を生成及び入力することができる。重点監視対象には、この重点監視対象を監視するのに適した重点監視位置が対応づけられており、重点監視対象を指定すれば、重点監視位置も指定される。これら重点監視対象及び重点監視位置は重点監視指令に含められる。また、監視者は、入力装置25を介して、後述する領域特定情報(重点監視対象の一部である注視領域を特定する情報)、撮像方向又は撮像に用いるカメラ11の特定情報、フレームレートの何れか一つ以上を入力し、重点監視指令を生成することができる。
【0022】
通信装置23は、無線通信が可能な通信手段であり、電気通信回線網30を介して監視端末装置10の通信装置13と情報の授受を実行する。電気通信回線網30が商用電話回線網である場合は携帯電話通信装置を汎用することができ、電気通信回線網30が本例の監視システム1の専用電気通信回線網である場合は、それ専用の通信装置13,23を用いることができる。
【0023】
次に車載カメラ11a〜11eの装着位置と撮像範囲について説明する。ここでは移動体Vとして乗用車Vを例に挙げて説明する。カメラ11a〜11eはCCD等の撮像素子を用いて構成され、4つの車載カメラ11a〜11dは乗用車Vの外部の異なる位置にそれぞれ設置され、車両周囲の4方向をそれぞれ撮影する。本実施形態のカメラ1は、被写体を拡大して撮像するズームアップ機能を備え、制御命令に従って任意に焦点距離を変更し、又は制御命令に従って任意に撮像倍率を変更することができる。
【0024】
例えば、
図5に示すように、フロントグリル部分などの乗用車Vの前方の所定位置に設置された車載カメラ11aは、乗用車Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面(フロントビュー)を撮影する。また、左サイドミラー部分などの乗用車Vの左側方の所定位置に設置された車載カメラ11bは、乗用車Vの左側方のエリアSP2内及びその周囲の空間に存在する物体又は路面(左サイドビュー)を撮影する。また、リアフィニッシャー部分やルーフスポイラー部分などの乗用車Vの後方部分の所定位置に設置された車載カメラ11cは、乗用車Vの後方のエリアSP3内及びその後方の空間に存在する物体又は路面(リアビュー)を撮影する。また、右サイドミラー部分などの乗用車Vの右側方の所定位置に設置された車載カメラ11dは、乗用車Vの右側方のエリアSP4内及びその周囲の空間に存在する物体又は路面(右サイドビュー)を撮影する。なお、
図5には図示を省略したが、1つの車載カメラ11eは、乗用車の室内の例えば天井部に設置され、
図6に示すように室内のエリアSP5を撮像し、タクシーの無賃乗車や強盗などの犯罪防止又は犯罪通報に供される。
【0025】
図6は、各車載カメラ11a〜11eの配置を乗用車Vの上空から見た図である。同図に示すように、エリアSP1を撮像する車載カメラ11a、エリアSP2を撮像する車載カメラ11b、エリアSP3を撮像する車載カメラ11c、エリアSP4を撮像する車載カメラ11dの4つは、乗用車Vのボディの外周VEに沿って左回り(反時計回り)又は右回り(時計回り)に沿って設置されている。つまり、同図に矢印Cで示す左回り(反時計回り)に乗用車Vのボディの外周VEに沿って見ると、車載カメラ11aの左隣りに車載カメラ11bが設置され、車載カメラ11bの左隣りに車載カメラ11cが設置され、車載カメラ11cの左隣りに車載カメラ11dが設置され、車載カメラ11dの左隣りに車載カメラ11aが設置されている。逆に同図に示す矢印Cの方向とは反対に(時計回り)に乗用車Vのボディの外周VEに沿って見ると、車載カメラ11aの右隣りに車載カメラ11dが設置され、車載カメラ11dの右隣りに車載カメラ11cが設置され、車載カメラ11cの右隣りに車載カメラ11bが設置され、車載カメラ11bの右隣りに車載カメラ11aが設置されている。
【0026】
図7Aは、フロントの車載カメラ11aがエリアSP1を撮像した画像GSP1の一例を示し、
図7Bは、左サイドの車載カメラ11bがエリアSP2を撮像した画像GSP2の一例を示し、
図7Cは、リアの車載カメラ11cがエリアSP3を撮像した画像GSP3の一例を示し、
図7Dは、右サイドの車載カメラ11dがエリアSP4を撮像した画像GSP4の一例を示し、
図7Eは、室内の車載カメラ11eが室内エリアSP5を撮像した画像GSP5の一例を示す画像図である。ちなみに、各画像のサイズは、縦480ピクセル×横640ピクセルである。画像サイズは特に限定されず、一般的な端末装置で動画再生が可能なサイズであればよい。
【0027】
なお、車載カメラ11の配置数及び配置位置は、乗用車Vの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数の車載カメラ11は、それぞれの配置に応じた識別子が付されており、車載制御装置14は、各識別子に基づいて各車載カメラ11のそれぞれを識別することができる。また、車載制御装置14は、指令信号に識別子を付することにより、特定の車載カメラ11に撮像命令その他の命令を送出することができる。
【0028】
車載制御装置14は、画像処理装置12を制御して車載カメラ11によって撮像された撮像信号をそれぞれ取得し、画像処理装置12は、各車載カメラ11からの撮像信号を処理して
図7A〜
図7Eに示す画像情報に変換する。そして、車載制御装置14は、
図7A〜
図7Dに示す4つの画像情報に基づいて監視画像を生成するとともに(画像生成機能)、この監視画像を柱体の投影モデルの側面に設定された投影面に投影するためのマッピング情報を監視画像に対応づけ(マッピング情報付加機能)、中央監視装置20へ出力する。以下、画像生成機能とマッピング情報付加機能について詳述する。
【0029】
なお、乗用車Vの周囲を撮像した4つの画像情報に基づいて監視画像を生成し、これにマッピング情報を関連付ける処理は、本例のように監視端末装置10で実行するほか、中央監視装置20で実行することもできる。この場合には、乗用車Vの周囲を撮像した4つの画像情報を監視端末装置10から中央監視装置20へそのまま送信し、これを中央監視装置20の画像処理装置22及び中央制御装置21にて監視画像を生成するとともにマッピング情報を関連付け、投影変換すればよい。
【0030】
まず、画像生成機能について説明する。本実施形態の監視端末装置10の車載制御装置14は、画像処理装置12を制御して各車載カメラ11a〜11eの撮像信号をそれぞれ取得し、さらに乗用車Vのボディの外周に沿って右回り又は左回りの方向に設置された車載カメラ11a〜11dの画像情報がこれらの車載カメラ11a〜11dの設置順に配置されるように、一枚の監視画像を生成する。
【0031】
上述したように、本実施形態において、4つの車載カメラ11a〜11dは乗用車Vのボディの外周VEに沿って左回り(反時計回り)にカメラ11a、11b、11c、11dの順に設置されているので、車載制御装置14は、これらの車載カメラ11a〜11dの設置の順序(車載カメラ11a→11b→11c→11d)に従って、各車載カメラ11a〜11dが撮像した4枚の画像が一体となるように水平方向に繋げ、一枚の監視画像を生成する。本実施形態の監視画像において、各画像は乗用車Vの接地面(路面)が下辺となるように配置され、各画像は路面に対して高さ方向(垂直方向)の辺で互いに接続される。
【0032】
図8は、監視画像Kの一例を示す図である。同図に示すように、本実施形態の監視画像Kは、図面左側から図面右側へ向かう方向Pに沿って、フロントの車載カメラ11aがエリアSP1を撮像した撮像画像GSP1、左サイドの車載カメラ11bがエリアSP2を撮像した撮像画像GSP2、リアの車載カメラ11cがエリアSP3を撮像した撮像画像GSP3、及び右サイドの車載カメラ11dがエリアSP4を撮像した撮像画像GSP4が、水平方向にこの順序で並べて配置され、これら4つの画像が一連の画像とされている。このように生成された監視画像Kを、路面(車両の接地面)に対応する画像を下にして左端から右側へ順番に表示することにより、監視者は、車両Vの周囲を反時計回りに見回したのと同様にディスプレイ24上で視認することができる。
【0033】
なお、一つの監視画像Kを生成する際には、各車載カメラ11a〜11dの撮影タイミングを略同時にして取得した4つの画像が用いられる。これにより、監視画像Kに含まれる情報を同期させることができるので、所定タイミングにおける車両周囲の状況を正確に表現することができる。
【0034】
また、カメラの撮像タイミングが略同時である各撮像画像から生成した監視画像Kを経時的に記憶し、所定の単位時間あたりに複数の監視画像Kが含まれる動画の監視画像Kを生成するようにしてもよい。撮像タイミングが同時の画像に基づいて動画の監視画像Kを生成することにより、車両周囲の状況の変化を正確に表現することができる。
【0035】
ところで、各撮像領域の画像をそれぞれ経時的に記憶し、各撮像領域ごとに生成した動画の監視画像Kを中央監視装置20へ送信した場合には、中央監視装置20の機能によっては、複数の動画を同時に再生できない場合がある。このような従来の中央監視装置20においては、複数の動画を同時に再生表示することができないため、各動画を再生する際には画面を切り替えて動画を一つずつ再生しなければならない。つまり、従来の中央監視装置20では、複数方向の映像(動画)を同時に見ることができず、車両周囲の全体を一画面で監視することができないという不都合がある。
【0036】
これに対して本実施形態の車載制御装置14は、複数の画像から一つの監視画像Kを生成するので、中央監視装置20の機能にかかわらず、異なる撮像方向の画像を同時に動画再生することができる。つまり、監視画像Kを連続して再生(動画再生)することにより、監視画像Kに含まれる4枚の画像を同時に連続して再生(動画再生)し、方向の異なる領域の状態変化を一画面で監視することができる。
【0037】
また、本実施形態の監視端末装置10は、監視画像Kの画素数が各車載カメラ11a〜11dの画像の画素数と略同一になるように画像のデータ量を圧縮して監視画像Kを生成することもできる。
図7A〜
図7Dに示す各画像のサイズは480×640ピクセルであるのに対し、本実施形態では、
図8に示すように監視画像Kのサイズが1280×240ピクセルとなるように圧縮処理を行う。これにより、監視画像Kのサイズ(1280×240=307,200ピクセル)が、各画像のサイズ(480×640×4枚=307,200ピクセル)と等しくなるので、監視画像Kを受信した中央監視装置20側の機能にかかわらず、画像処理及び画像再生を行うことができる。
【0038】
さらに、本実施形態の車載制御装置14は、配置された各画像の境界を示す線図形を、監視画像Kに付することもできる。
図8に示す監視画像Kを例にすると、車載制御装置14は、配置された各画像の境界を示す線図形として、各画像の間に矩形の仕切り画像Bb,Bc,Bd,Ba,Ba´を監視画像Kに付することができる。このように、4つの画像の境界に仕切り画像を配置することにより、一連にされた監視画像Kの中で、撮像方向が異なる各画像をそれぞれ別個に認識させることができる。つまり、仕切り画像は各撮像画像の額縁として機能する。また、各撮像画像の境界付近は画像の歪みが大きいので、撮像画像の境界に仕切り画像を配置することにより、歪みの大きい領域の画像を隠すことや、歪みが大きいことを示唆することができる。
【0039】
また、本実施形態の車載制御装置14は、後述する投影モデルの側面に設定された投影面に4つの画像を投影させた場合の歪みを補正してから、監視画像Kを生成することもできる。撮影された画像の周辺領域は画像の歪みが生じやすく、特に広角レンズを用いた車載カメラ11である場合には撮像画像の歪みが大きくなる傾向があるため、画像の歪みを補正するために予め定義された画像変換アルゴリズムと補正量とを用いて、撮像画像の歪みを補正することが望ましい。
【0040】
特に限定されないが、車載制御装置14は、
図9に示すように、中央監視装置20において監視画像Kを投影させる投影モデルと同じ投影モデルの情報をROMから読み出し、この投影モデルの投影面に撮像画像を投影し、投影面において生じた歪みを予め補正することもできる。なお、画像変換アルゴリズムと補正量は車載カメラ11の特性、投影モデルの形状に応じて適宜定義することができる。このように、投影モデルの投影面に関し画像Kを投影した場合の歪みを予め補正しておくことにより、歪みの少ない視認性の良い監視画像Kを提供することができる。また、歪みを予め補正しておくことにより、並べて配置された各画像同士の位置ズレを低減させることができる。
【0041】
次に、マッピング情報付加機能について説明する。本実施形態の監視端末装置10において、車載制御装置14は、乗用車Vの接地面を底面とする柱体の投影モデルMの側面に設定された投影面に、生成された監視画像Kを投影するためのマッピング情報を監視画像Kに対応づける処理を実行する。マッピング情報は、監視画像Kを受信した中央監視装置20に、容易に投影基準位置を認識させるための情報である。
図10は本実施形態の投影モデルMの一例を示す図、
図11は
図10に示す投影モデルMのxy面に沿う断面模式図である。
【0042】
図10,11に示すように、本実施形態の投影モデルMは、底面が正八角形で、鉛直方向(図中z軸方向)に沿って高さを有する正八角柱体である。なお、投影モデルMの形状は、底面の境界に沿って隣接する側面を有する柱体であれば特に限定されず、円柱体、若しくは三角柱体、四角柱体、六角柱体などの角柱体、又は底面が多角形で側面が三角形の反角柱体とすることもできる。
【0043】
また、同図に示すように、本実施形態の投影モデルMの底面は乗用車Vの接地面と平行である。また、投影モデルMの側面の内側面には、投影モデルMの底面に接地する乗用車Vの周囲の映像を映し出す投影面Sa,Sb,Sc,Sd(以下、投影面Sと総称する。)が設定されている。投影面Sは、投影面Saの一部と投影面Sbの一部、投影面Sbの一部と投影面Scの一部、投影面Scの一部と投影面Sdの一部、投影面Sdの一部と投影面Saの一部により構成することもできる。監視画像Kは、乗用車Vを取り囲む投影モデルMの上方の視点R(R1〜R8、以下、視点Rと総称する。)から乗用車Vを俯瞰した映像として投影面Sに投影される。
【0044】
本実施形態の車載制御装置14は、右端又は左端に配置された撮像画像の基準座標を、マッピング情報として監視画像Kに対応づける。
図8に示す監視画像Kを例にすると、車載制御装置14は、投影モデルMに投影される際の、監視画像Kの始端位置又は終端位置を示すマッピング情報(基準座標)として、右端に配置された撮像画像GSP1の左上頂点の座標A(x、y)と、左端に配置された撮像画像GSP2の右上頂点の座標B(x、y)とを監視画像Kに付する。なお、始端位置又は終端位置を示す撮像画像の基準座標は特に限定されず、左端に配置された監視画像Kの左下頂点、又は右端に配置された監視画像Kの右下頂点としてもよい。またマッピング情報は、監視画像Kの画像データの各画素に付してもよいし、監視画像Kとは別のファイルとして管理してもよい。
【0045】
このように、監視画像Kの始端位置又は終端位置を示す情報、つまり投影処理において基準とする基準座標をマッピング情報として監視画像Kに対応づけることにより、監視画像Kを受信した中央監視装置20が、容易に投影処理時における基準位置を認識することができるので、車載カメラ11a〜11dの配置順に並べられた監視画像Kを、投影モデルMの側面の投影面Sに容易且つ迅速に順次投影することができる。すなわち、
図11に示すように車載カメラ11aの撮像方向に位置する投影面Saに車両前方の撮像画像GSP1を投影し、車載カメラ11bの撮像方向に位置する投影面Sbに車両右側方の撮像画像GSP2を投影し、車載カメラ11cの撮像方向に位置する投影面Scに車両後方の撮像画像GSP3を投影し、車載カメラ11dの撮像方向に位置する投影面Sdに車両左側方の撮像画像GSP4を投影することができる。
【0046】
これにより、投影モデルMに投影された監視画像Kは、あたかも乗用車Vの周囲を見回したときに見える映像を示すことができる。つまり、車載カメラ11a〜11dの設置順序に応じて水平方向一列に配置された4つの画像を含む監視画像Kは、投影モデルMの柱体において、同じく水平方向に並ぶ側面に投影されるので、柱体の投影モデルMの投影面Sに投影された監視画像Kに、乗用車Vの周囲の映像をその位置関係を維持したまま再現することができる。
【0047】
なお、本実施形態の車載制御装置14は、監視画像Kの各座標値と投影モデルMの各投影面Sの座標値との対応関係をマッピング情報として記憶し、監視画像Kに付することができるが、中央監視装置20に予め記憶させてもよい。
【0048】
また、
図10,11に示す視点R、投影面Sの位置は例示であり、任意に設定することができる。特に、視点Rは、操作者の操作によって変更可能である。視点Rと監視画像Kの投影位置との関係は予め定義されており、視点Rの位置が変更された場合には所定の座標変換を実行することにより、新たに設定された視点Rから見た監視画像Kを投影面S(Sa〜Sd)に投影することができる。この視点変換処理には公知の手法を用いることができる。
【0049】
以上のように、本実施形態の車載制御装置14は、所定タイミングで撮影された画像情報に基づいて監視画像Kを生成し、この監視画像Kにマッピング情報、基準座標、境界を示す線図形(仕切り画像)の情報を対応づけ、撮像タイミングに従って経時的に記憶する。特に限定されないが、車載制御装置14は、所定の単位時間あたりに複数の監視画像Kを含む一つの動画ファイルとして監視画像Kを記憶してもよいし、ストリーミング方式で転送・再生が可能な形態で監視画像Kを記憶してもよい。
【0050】
また、本実施形態の車載制御装置14は、上述の監視画像Kの生成処理を実行しつつ、重点監視対象情報に基づいて重点監視対象が拡大された画像情報を生成する。具体的に、車載制御装置14は、重点的に監視をする重点監視対象とこれを監視するための重点監視位置を指定する重点監視対象情報を含む重点監視指令を取得し、当該取得した重点監視指令に基づいて、乗用車Vが重点監視位置乃至その近傍に存在するタイミングで、重点監視対象が拡大された画像情報を取得する。車載制御装置14は、予め定義された重点監視対象情報又は重点監視指令をROMに記憶しておき、適宜読み出して取得することができ、中央監視装置20から電気通信回線30を介して取得することができる。
【0051】
この重点監視位置は重点監視対象を観察するのに適した場所であるが、この重点監視位置は、障害物など
により視界が遮られることなく
、重点監視対象の全体が隠れることなく見える(撮像できる)地点であることが好ましい。この重点監視位置から重点監視対象を撮像すると、重点監視対象の監視に適した画像情報を得ることができる。また、本実施形態では、重点監視対象を拡大した画像情報を取得するので、重点監視対象の細部の状況を子細に観察することができる。
【0052】
重点監視位置及びその近傍を定義する位置は、重点監視対象と対応づけて予め定義され、車載制御装置14に記憶させてもよいし、中央制御装置21に記憶させておき重点監視指令に含ませて電気通信回線30を介して車載制御装置14に取得させてもよい。重点監視位置の近傍の位置は、重点
監視位置からの距離により定義することができる。
【0053】
特に限定されないが、本実施形態の重点監視対象は、予め特定された公官庁、施設、店舗、イベント会場などの建造物及びこれらの場に所在する人間、動物、物体その他の被写体とすることができる。具体的には、国家行政庁、地方行政庁、国防省などの政府官公庁などの庁舎や、教会、病院、学校、美術館、博物館、放送局などの建物、国際会議、学会、シンポジウム、晩餐会などが開催される施設、銀行、宝飾品店などの店舗、コンサート、見本市などが開催されるイベント会場などを重点監視対象として指定することができる。さらに、これらの場所に所在する人間、動物、物体などの被写体となりうるものも重点監視対象として指定することができる。また、物体としては、車両、看板、ごみ箱、ロッカーなどの建造物等とは別の立体物を含む。建造物等などに設置されたごみ箱や、その近傍に存在する車両や台車などに不審物が取り付けられる可能性があるため、これらについてもきめ細かく監視をする必要があるからである。
【0054】
ところで、事故や事件につながる不審物が置かれる場所は、建物の柱やごみ箱やポストの脇であったりするので、通常の撮像倍率の画像情報では見落としてしまう可能性がある。これに対し、本実施形態の監視システム1では、重点監視対象を拡大した画像情報を取得するので、このような場所の異変(平常時との変化点)を見逃さずに監視することができる。
具体的に、本実施形態の監視システムは、重点監視指令を取得後、その重点監視指令に基づいて、乗用車Vが重点監視位置乃至その近傍に存在する状態となったタイミングで、このタイミング以外の通常時(乗用車Vが重点監視位置乃至その近傍に存在しない状態、以下同じ)において、カメラ11の通常の(デフォルトの)撮像倍率(画像情報を取得させるために設定された通常の撮像倍率)を、この通常の撮像倍率よりも高い撮像倍率に変更し、乗用車Vが重点監視位置乃至その近傍に存在するタイミング以外の通常時よりも重点監視対象が拡大された画像情報を取得する。
また、本実施形態の監視システムは、重点監視指令を取得後、その重点監視指令に基づいて、乗用車Vが重点監視位置乃至その近傍に存在する状態となったタイミングで、このタイミングに至る直前において、カメラ11が実際に撮像処理を行った撮像倍率(直前の処理ルーチンにおいて画像情報を取得した撮像倍率)を、この直前の撮像倍率よりも高い撮像倍率に変更し、乗用車Vが重点監視位置乃至その近傍に至る前よりも重点監視対象が拡大された画像情報を取得する。
【0055】
このとき、車載制御装置14は、取得した重点監視対象情報に基づいて、乗用車Vが重点監視位置近傍に存在するタイミングで、画像情報を生成する際のフレームレートを高く変更し、画像情報を生成することができる。フレームレートを高く設定するタイミングは、任意に設定することができ、乗用車Vの現在位置と重点監視位置との距離に基づいて判断することができる。特に限定されないが、乗用車Vの現在位置と重点監視位置との距離が所定値未満となったときにフレームレートを高く変更し、乗用車Vの現在位置と重点監視位置との距離がゼロ乃至所定値以上となったときにフレームレートを元のデフォルト値に戻すことができる。もちろん、フレームレートを変更するタイミングは、時刻に基づいて判断することもできる。
【0056】
さらに、車載制御装置14は、図外の車両コントローラから車速情報(乗用車Vの走行速度)を取得する速度取得機能を備え、この取得した車速に応じてフレームレートを設定することができる。特に限定されないが、本実施形態の車載制御装置14は、車速が所定値よりも高い場合には、フレームレートを高く設定し、車速が所定値よりも低い場合にはフレームレートを低く設定することができる。この場合において、車速が高いほどフレームレートを高く設定することができる。
【0057】
車載制御装置14は、乗用車Vが重点監視位置に存在するタイミングを、位置検出装置15から取得した現在位置に基づいて判断する。つまり、乗用車Vの現在位置と重点監視位置との距離が所定値未満となった場合に、乗用車Vが重点監視位置に存在するタイミングとして判断する。しかし、本実施形態のように撮像タイミングを判断する観点からは、乗用車Vが重点監視位置に接近し、通過するタイミングを高い精度で判断することが求められる。このため、本実施形態では、乗用車Vから見える映像に基づいて乗用車Vの現在位置に基づいて乗用車Vが重点監視位置近傍に存在するか否かを判断する。この手法は、単独で用いてもよいし、現在位置に基づく判断とともに用いてもよい。
【0058】
具体的に、予め準備された、重点監視位置乃至その近傍から見た重点監視対象の特徴を含む監視対象テンプレートと、取得された画像情報の特徴とを比較して、画像情報と重点監視対象との比較結果に基づいて乗用車Vが重点監視位置近傍に存在するタイミングを判断する。公官庁、施設、店舗、イベント会場などの建造物のエントランスなどの外観には形態上の特徴があることが多い。たとえば、入口の形状、入口の個数、入口の配列、モニュメントの形状、看板や表札に記載された文字や図形などは、建造物ごとに特徴的である場合がある。本実施形態では、重点監視位置乃至その近傍から見た重点監視対象の形態上の特徴を抽出し、監視対象テンプレートを予め準備する。そして、これらの監視対象テンプレートの特徴とカメラ11により取得された画像情報から抽出された特徴とをパターンマッチングし、カメラ11が撮像した画像情報の特徴が、ある監視対象テンプレートの特徴と所定評価値以上で一致した場合には、乗用車Vは重点監視位置乃至その近傍に存在すると判断することができる。監視端末装置10の処理負荷を軽減する観点からは、位置検出装置15により検出された現在位置に基づいて、乗用車V近傍に存在する重点監視対象を絞り込み、パターンマッチングの処理対象となる監視対象テンプレートを絞りこむことが好ましい。
【0059】
また、重点監視対象情報には、重点監視対象の一部である注視領域を特定する領域特定情報を含ませることができる。たとえば、建物のエントランスの柱の周囲、ごみ箱の隣など不審物が置かれやすい場所が予め特定できる場合には、建物全部又は物体全部を重点監視対象とすることなく、特に監視を強化したい一部分を重点監視対象とすることができる。これにより、重点監視対象を効率的に高いレベルで監視することができる。
【0060】
さらに、重点監視対象情報には、重点監視対象が公官庁、施設、店舗、イベント会場などの建造物であるか、監視対象物が路上設置物や歩行者などの物体であるかといった、属性を含めることができる。車載制御装置14は、重点監視対象の属性に応じて、画像情報を生成する際に乗用車Vの周囲を撮像するカメラ11を特定することができる。つまり、重点監視対象の属性に応じて特定されたカメラ11に撮像を実行させることができる。たとえば、重点監視対象が路上に設置されたごみ箱や電話ボックスなどの路上設置物、又は路上を移動する歩行者であれば、フロントのカメラ11aにより撮像することが可能であるので、路上設置物や歩行者を重点監視対象とする場合には、フロントのカメラ11aを特定する。また、重点監視対象が公官庁、施設、店舗、イベント会場などの建造物などの道路の右側又は左側に存在するものである場合には、右サイド又は左サイドのカメラ11b又は11dにより撮像することが可能であるので、公官庁、施設、店舗、イベント会場などの建造物などを重点監視対象とする場合には、右サイドのカメラ11d又は左サイドのカメラ11dを特定する。このように、重点監視対象の属性に応じてカメラ11を選択するので、重点監視対象を属性に応じて適切に撮像することができる。
【0061】
車載制御装置14は、重点監視対象の属性に応じて、画像情報を生成する際の撮像倍率を特定することができる。つまり、重点監視対象の属性に応じて特定されたカメラ11に撮像倍率を上げて撮像を実行させることができる。たとえば、重点監視対象が路上に設置されたごみ箱や電話ボックスなどの路上設置物、又は路上を移動する歩行者であれば、通常設定されている撮像倍率Mよりも高い撮像倍率Aで撮像し、重点監視対象が公官庁、施設、店舗、イベント会場などの建造物などである場合には、撮像倍率Aよりもさらに高い撮像倍率Bで撮像する。乗用車Vのカメラ11の位置を基準とすると、走行路沿いにある路上設置物や道路沿いの歩道を歩く歩行者よりも、路上設置物や歩道よりも奥にある建造物の方が遠くに存在するので、遠くにある建造物が重点監視対象として特定される場合には、より高い撮像倍率Bで撮像し、乗用車Vの走行路沿いに存在する路上設置物や歩行者が重点監視対象として特定される場合には、撮像倍率Bよりも低いが通常の撮像倍率Mよりも高い撮像倍率で撮像する。このように、重点監視対象の属性に応じて撮像倍率を変更するので、重点監視対象を属性に応じて適切に撮像することができる。
【0062】
以上のように取得された重点監視対象が拡大された画像情報は、監視画像Kの一部として、又は監視画像Kとは別に、電気通信回線30を介して中央監視装置20へ送出される。
【0063】
中央監視装置20の通信装置23は、監視端末装置10から送信された監視画像Kとこの監視画像Kに対応づけられたマッピング情報を受信する。なお、中央監視装置20は、重点監視対象を拡大した画像情報は監視画像Kの一部として受信してもよいし、別途受信してもよい。また、室内の車載カメラ11eにて撮影された画像情報は別途受信する。この監視画像Kは、上述したとおり乗用車Vのボディの異なる位置に設置された4つの車載カメラ11の画像が、乗用車Vのボディの外周に沿って右回り又は左回りの方向に沿って設置された車載カメラ11a〜11dの設置順序(車両Vのボディの外周に沿う右回り又は左回りの順序)に従って配置されたものである。また、この監視画像Kには、監視画像Kを八角柱体の投影モデルMの投影面Sに投影させるためのマッピング情報が対応づけられている。通信装置23は取得した監視画像K及びマッピング情報を画像処理装置22へ送出する。
【0064】
画像処理装置22は、予め記憶している投影モデルMを読み出し、マッピング情報に基づいて、
図10及び
図11に示す乗用車Vの接地面を底面とする八角柱体の投影モデルMの側面に設定された投影面Sa〜Sdに監視画像Kを投影させた表示画像を生成する。具体的には、マッピング情報に従い、受信した監視画像Kの各画素を、投影面Sa〜Sdの各画素に投影する。また、画像処理装置22は、監視画像Kを投影モデルMに投影する際に、監視画像Kと共に受信した基準座標に基づいて、監視画像Kの開始点(監視画像Kの右端又は左端)を認識し、この開始点が予め投影モデルM上に定義された開始点(投影面Sの右端又は左端)と合致するように投影処理を行う。また、画像処理装置22は、監視画像Kを投影モデルMに投影する際に、各画像の境界を示す線図形(仕切り画像)を投影モデルM上に配置する。仕切り画像は、予め投影モデルMに付しておくこともでき、投影処理後に監視画像Kに付すこともできる。
【0065】
ディスプレイ24は、投影モデルMの投影面Sに投影した監視画像K又は重点監視対象が拡大された画像情報を表示する。
図12は、監視画像Kの表示画像の一例を示す。なお、マウスやキーボードなどの入力装置25又はディスプレイ24をタッチパネル式の入力装置25とすることで、監視者の操作により視点を自在に設定・変更することができる。視点位置と投影面Sとの対応関係は上述の画像処理装置22又はディスプレイ24において予め定義されているので、この対応関係に基づいて、変更後の視点に応じた監視画像Kをディスプレイ24に表示することができる。
【0066】
図13は、
図12の重点監視対象Aを拡大した画像情報の表示例を示す図である。
図13に示すように、重点監視対象Aの詳細な画像を得ることができる。さらに、
図13に示す重点監視対象Aの一部分である注視領域Pのみを拡大した画像情報(図示せず)を得ることもできる。
【0067】
次に本実施形態に係る監視システム1の動作について説明する。
図3は監視端末装置10側の動作を示すフローチャート、
図4A,4Bは中央監視装置20側の動作を示すフローチャートである。
【0068】
図3に示すように、監視端末装置10においては、所定の時間間隔(同図に示す1ルーチン)で車載カメラ11から周囲の映像と室内の映像を取得し、画像処理装置12によって画像情報に変換する(ステップST1)。また、位置検出装置15から当該監視端末装置10が搭載された乗用車Vの現在位置情報を検出する(ステップST2)。
【0069】
ステップST3では、異常を通報する通報ボタン16が押されたか否かを判断し、通報ボタン16が押された場合はステップST4へ進み、ステップST1にて取得した画像情報と、ステップST2で取得した位置情報と、CPUの時刻情報とを関連付け、これらを、異常が発生した旨の異常情報とともに、通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。これにより、事故、犯罪などの治安に関する異常が発生したことを、乗用車Vの位置情報と、乗用車Vの周囲の画像情報と共に中央監視装置20へ自動送信されるので、街中の監視がより一層強化されることになる。なお、本例では最初のステップST1及びST2において画像情報と位置情報とを取得するが、ステップST3とST4との間のタイミングでこれら画像情報と位置情報とを取得してもよい。
【0070】
さらに、ステップST5で、車載制御装置10は、異常が発生した地点から所定距離以内に存在する重点監視対象をズームアップ(拡大)して撮像するとともに、ステップST1のときのフレームレートよりも高いフレームレートで撮像する。これにより、異常が発生した場所の近傍における所定距離以内の範囲の重点監視対象の詳細を示す撮像倍率の高い画像を得ることができる。なお、他の乗用車Vが異常を通報した場合であっても、その乗用車Vの所定距離以内に存在する場合には、同様の処理を行う。自己の乗用車Vが異常を通報した乗用車Vの現在位置から所定距離以内に存在するか否かの情報は、中央監視装置20から取得することができる。
【0071】
ステップST3に戻り、通報ボタン16が押されていない場合はステップST6へ進み、予め車載制御装置14に記憶された重点監視対象情報を含む重点監視指令を読み出して取得するか、又は中央監視装置20から電気通信回線網30を介して重点監視位置を含む重点監視指令を取得する。この重点監視指令は、重点的に監視をする重点監視対象を監視するための重点監視位置が指定された重点監視対象情報を含み、乗用車Vが重点監視位置に存在するタイミングで、重点監視対象が拡大された画像情報を生成させる指令である。重点監視指令は、車載制御装置14又は中央監視装置20が、乗用車Vが重点監視位置又は重点監視位置近傍に位置することを判断した場合に取得する指令である。
【0072】
ステップST7に進み、中央監視装置20から重点監視指令を取得する場合は、中央監視装置20は、重点監視対象情報と乗用車Vから送信されてくる現在位置とを比較して、重点監視位置又は重点監視位置近傍に位置する乗用車Vを特定し、特定した乗用車の監視端末装置10へ重点監視指令を送出する。車載制御装置14は取得した重点監視指令に基づいて、自己の乗用車が重点監視位置近傍、すなわち所定距離範囲内に存在するタイミングであるか否かを判断する。中央監視装置20から取得する重点監視指令には、重点監視対象が拡大された画像情報を取得するタイミングを時刻で特定してもよいし、位置で特定してもよい。重点監視対象が拡大された画像情報を取得するタイミングが位置で特定されている場合には、車載制御装置14側で現在位置と比較して、重点監視対象が拡大された画像情報を取得するタイミングを判断する。
【0073】
上述したように、重点監視対象が拡大された画像情報を取得するタイミングは、乗用車Vの現在位置と重点監視位置との距離に基づいて乗用車Vが重点監視位置に存在するタイミングを判断することができる。これに加えて、中央監視装置20は、監視端末装置10から取得した画像情報の特徴と、予め準備された、重点監視位置近傍から見た重点監視対象の特徴を含む監視対象テンプレートと比較して、両者が一致したと評価できる場合に乗用車Vが重点監視位置近傍に存在すると判断することができる。また、重点監視指令には、重点監視対象の属性に応じて、撮像に用いる車載カメラ11を特定する指令を含めることができる。さらに、重点監視指令には、重点監視対象の一部である注視領域を特定する領域特定情報を含めることができる。
【0074】
なお、監視端末装置10が重点監視対象情報を備えていれば、中央監視装置20から重点監視指令を取得しなくても、監視端末装置10側において、重点監視位置近傍に乗用車Vが存在するタイミングで、重点監視対象が拡大された画像情報を取得することができる。この場合において、自身の乗用車Vが重点監視位置に存在するタイミングは、乗用車Vの現在位置と重点監視位置との距離に基づいて判断する。これに加えて、画像情報の特徴と、重点監視位置近傍から見た重点監視対象の特徴を含む監視対象テンプレートと比較して、両者が一致したと評価できる場合に乗用車Vが重点監視位置近傍に存在すると判断することができる。また、重点監視対象情報に重点監視対象の属性が含まれている場合には、撮像に用いる車載カメラ11を特定し、その車載カメラを用いて画像情報を取得することができる。また、重点監視対象情報に、重点監視対象の一部である注視領域を特定する領域特定情報が含まれている場合には、その領域の画像情報を取得することができる。
【0075】
自己の乗用車が重点監視位置近傍に存在する場合はステップST8に進み、重点監視指令に含まれる、自身の乗用車Vが重点監視位置に存在すると予測されるタイミングで重点監視対象をズームアップして撮像するため、車載カメラ11にズームアップ指令を送出する。
【0076】
ステップST9において、重点監視指令にフレームレートをアップさせる指令が含まれているか否かを判断する。フレームレートをアップさせる指令が重点監視指令に含まれている場合には、ステップST10へ進み、フレームレートをアップして撮像するため、変更後の相対的に高いフレームレートを設定し、車載カメラ11にフレームレートアップ指令を送出する。このフレームレートは乗用車Vの移動速度に応じて設定することができる。そして、ステップST11へ進み、重点監視対象を拡大するとともに高いフレームレートで撮像した画像情報を含む監視情報と、ステップST2で取得した位置情報と、CPUの時刻情報とを関連付け、これらを通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。他方、ステップST9において、重点監視指令にフレームレートをアップさせる指令が含まれていない場合には、ステップST12へ進み、重点監視対象をズームアップした画像情報を含む監視情報を中央監視装置20へ送出する。
【0077】
ステップST7において重点監視指令が無い場合であっても、ステップST13へ進む。ステップST13にて、中央監視装置20から画像送信指令がある場合はステップST14へ進んで、ステップST1にて取得した画像情報と、ステップST2で取得した位置情報と、CPUの時刻情報とを関連付け、これらを通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。これにより、乗用車Vの搭乗者が通報ボタン16を押さなくとも、中央監視装置20を操作する監視者が要求した場合に、必要とされる画像情報を適宜送信することができる。なお、本例では最初のステップST1及びST2において画像情報と位置情報とを取得するが、ステップST3とST4との間のタイミングでこれら画像情報と位置情報とを取得してもよい。これにより、通常の画像送信指令を実行しつつ、重点監視指令を取得した場合には、重点監視対象をズームアップした画像情報や、ズームアップして、さらにフレームレートを高くした画像情報を取得することができる。なお、中央監視装置20から画像送信指令がなくても、必要とされる重点監視対象の詳細を示す画像情報を監視端末装置10から適宜送信することができる。なお、このステップST7は、
図4BのステップST23と重複するのでいずれか一方を省略してもよい。
【0078】
ステップST13において、画像送信指令を取得しない場合には、ステップST15へ進み、ステップST2で取得した位置情報のみを通信装置13及び電気通信回線網30を介して中央監視装置20へ送信する。そして、中央監視装置20側では、各乗用車Vの現在位置を地図情報上に表示するので(
図4AのステップST12)、各乗用車Vの現在位置をタイムリーに把握することができる。
【0079】
一方、中央監視装置20においては、
図4Aに示すように、ステップST11において、監視端末装置10を搭載した乗用車全てから、位置情報と異常情報を取得する。なお、通信負荷が高くなければこのタイミングで画像情報を取得してもよい。
【0080】
図4AのステップST12では、ステップST11で取得した位置情報に基づいて乗用車Vを、ディスプレイ24に表示された地図データベースの地図情報上に
図1の左上に示すように表示する。乗用車Vの位置情報は、
図3の1ルーチン毎の所定のタイミングにて取得され送信されるので、監視者は乗用車Vの現在位置をタイムリーに把握することができる。
【0081】
ステップST13では、乗用車Vの監視端末装置10から通報される異常情報、すなわち事故、犯罪などの治安に関する異常が発生した旨の通報を受信したか否かを判断する。この異常情報は、乗用車Vの搭乗者が監視端末装置10の通報ボタン16を押すことで出力される。異常情報がある場合は、ステップST14にて異常情報が出力された乗用車Vを特定し、その乗用車の監視端末装置10から画像情報および時刻情報を受信し、画像情報をディスプレイ24に表示する。また、
図1左上に示すように、地図情報上に表示されたその乗用車を他の乗用車と識別できるように色彩を変更するなど、強調表示を行う。これにより、異常が発生した位置を地図情報上で視認することができるとともに、異常内容をディスプレイ24にて把握することができる。
【0082】
次のステップST15では、異常情報を出力した乗用車Vの近傍(所定距離内)を走行する乗用車Vを検出し、その乗用車Vに対して画像情報および時刻情報の送信指令を出力する。これにより異常情報を出力した乗用車Vの近傍を走行する乗用車Vから画像情報を取得することができるので、異常情報を出力した乗用車Vからの画像情報に加えた複数の画像情報により、異常情報の内容を詳細に把握することができる。
【0083】
ステップST16では、異常情報を出力した乗用車Vの位置情報をパトカー、救急車、消防車等の緊急乗用車へ送信する。この場合に、異常内容を報知するために画像情報を添付して送信してもよい。これにより、現場からの通報が入る前に緊急乗用車を出動させることができ、事故や犯罪に対する迅速な対処が可能となる。
【0084】
ステップST17では、監視端末装置10から受信した全ての位置情報、画像情報および時刻情報を記録媒体へ記録する。この記録は、事故や犯罪の発生後においてこれらを解決する際に用いられる。なお、ステップST13にて異常情報がない場合はステップST14〜ST17の処理を行うことなくステップST18へ進む。
【0085】
ステップST18では、パトカー、救急車又は消防車などの緊急乗用車から画像情報の送信指令があるか否かを判断し、画像送信指令が入力された場合にはステップST19へ進む。ステップST19では、画像情報の送信指令で特定された地域に乗用車Vが存在するか否かを判断し、乗用車Vが存在する場合はステップST20へ進む。そして、ステップST20において、画像情報の送信指令で特定された地域に存在する乗用車Vに対して画像情報の送信指令を出力する。これにより、次のルーチンの
図4AのステップST11にてその乗用車Vからの画像情報を取得することができ、これを緊急乗用車に転送したり、緊急乗用車からの送信指令の意味を把握したりすることができる。なお、ステップST18及びST19に該当しない場合はステップST18〜ST20の処理を行うことなくステップST21へ進む。
【0086】
ステップST21では、予め設定された犯罪多発遅滞などの不審箇所の近傍領域に乗用車Vが存在するか否かを判断し、存在する場合はステップST22へ進んでその乗用車Vに対して画像情報の送信指令を出力する。不審箇所とは治安の悪い通り、街などである。これにより、不審箇所である通りや街の監視を強化することができ、犯罪の未然防止が期待できる。なお、不審箇所の近傍領域に乗用車Vが存在しない場合はステップST22の処理を行うことなくステップST23へ進む。
【0087】
ステップST23では、詳細を監視しておくべき重点監視対象を撮像できる重点監視位置の近傍に乗用車Vが存在するか否かを判断し、重点監視位置の近傍に乗用車Vが存在する場合はステップST24へ進んでその乗用車Vに対して重点監視対象を拡大した画像情報の送信を求める重点監視指令を出力する。これにより、重点監視対象を詳細に監視することができ、特定された重点監視対象において事件や事故の原因となる不審物の発見を効果的に行うことができ、犯罪の未然防止が期待できる。なお、重点監視位置の近傍に乗用車Vが存在しない場合はステップST24の処理を行うことなくステップST25へ進む。
【0088】
ステップST25では、各乗用車Vから受信した位置情報に基づいて、監視が必要とされる所定領域(不審箇所及び重点監視領域には限定されない)内に、一定時間内に乗用車Vが走行していない路線があるか否かを判断し、そのような路線があった場合において、その路線を走行する乗用車Vがあるか否かを監視する。そして、直近にその路線を走行する乗用車Vが存在すれば、ステップST26へ進み、その乗用車Vに対して画像情報の送信指令を出力する。これにより、不審箇所や重点監視領域以外の区域であって乗用車Vの通行量が少ない路線の画像情報を自動的に取得することができる。なお、ステップST25の条件を満足する路線がない場合はステップST26の処理を行うことなく
図4AのステップST11へ戻る。
【0089】
以上のとおり、本実施形態の監視システムは以下の効果を奏する。
(1)本例の監視システム1は、複数の乗用車Vに車載カメラ11を装着し、当該車載カメラで周囲を撮像する際に、乗用車Vが重点監視位置近傍に存在するタイミングで、重点監視対象が拡大された画像情報を取得するので、監視者が重点的に監視をしたい重点監視対象を詳細に監視することができる。ランダムに走行する複数の移動体のうち、重点監視対象を監視するための重点監視位置乃至その近傍を走行する移動体に装着した車載カメラ11を用いて、重点的に監視したい重点監視対象が拡大された画像情報を取得することができる。この結果、現場に行かなくても、重点監視対象の細部まで監視することができる。このように、重点監視対象の詳細な画像情報を離隔した地において取得することができ、平常時と異なる点に早く気付くことができるので、事件や事故の発生を未然に防止することができる。ちなみに、固定カメラでは決まった監視対象しか監視することができないが、乗用車Vはランダムに走行するので、事件や事故に関する通報、イベント開催などの状況に応じて、重点的に監視したい対象が変化する場合であっても、その対象の状況を詳細に示す画像情報により監視することができる。
重点監視対象が拡大された画像情報を取得する際に、乗用車Vが重点監視位置乃至その近傍に存在する状態となったタイミングで、通常時におけるカメラ11のデフォルトの撮像倍率を高く変更して、乗用車Vが重点監視位置乃至その近傍に存在するタイミング以外の通常時よりも重点監視対象が拡大された画像情報を取得するようにしても、同様の作用及び効果を得ることができる。
同じく、重点監視対象が拡大された画像情報を取得する際に、乗用車Vが重点監視位置乃至その近傍に存在する状態となったタイミングの直前に実行された撮像処理におけるカメラ11の撮像倍率を高く変更して、乗用車Vが重点監視位置乃至その近傍に至る前よりも重点監視対象が拡大された画像情報を取得するようにしても、同様の作用及び効果を得ることができる。
【0090】
(2)本例の監視システム1は、乗用車Vが重点監視位置乃至近傍に存在するタイミングでフレームレートを高く変更して、重点監視対象が拡大された画像情報を取得するので、重点監視対象を連続的に撮像することができる。高いフレームレートで撮像することにより重点監視対象の動画を得ることができるので、重点監視対象を経時的に観察することができる。また、乗用車Vは移動しているので、異なる撮像方向から重点監視対象を撮像することができるため、重点監視対象を多方向から観察することができる。
【0091】
(3)本例の監視システム1は、乗用車Vの移動速度に応じてフレームレートを設定するので、車速が速い場合でも、重点監視対象を拡大した画像情報を確実に得ることができる。
【0092】
(4)本例の監視システム1は、予め準備された重点監視対象の特徴を含む監視対象テンプレートと、実際に取得された画像情報の特徴とを比較し、両者の相関値が高い場合には、乗用車Vが重点監視位置に乃至その近傍に存在するタイミングであると判断するので、街並みの景観から乗用車Vの位置を判断できる。位置検出装置15では細街路の識別を正確にできない場合もあるが、街並みの景観を考慮することにより、乗用車Vが重点監視位置乃至その近傍に存在するか否かを正確に判断することができる。
【0093】
(5)本例の監視システム1は、重点監視対象の一部である注視領域を領域特定情報により特定できるので、重点監視対象のうち特に注視したい部分を拡大した画像情報を取得することができる。これにより、建造物などの柱の陰や、ポストの脚部、不審車両のナンバープレートなどを拡大した画像情報を取得することができる。
【0094】
(6)本例の監視システム1は、重点監視対象の属性に応じて適当な車載カメラ11a〜11dを選択することができるので、重点監視対象の像を確実に画像情報に含めることができる。
【0095】
(7)本例の監視システム1は、重点監視対象の属性に応じて適当な撮像倍率を設定することができるので、乗用車Vから重点監視対象までの距離に応じて、重点監視対象を拡大した画像情報を取得することができる。これにより、相対的に遠い場所にある重点監視対象についても適切な撮像倍率で拡大した画像情報を取得することができる。
【0096】
(8)本例の監視システム1は、中央監視装置20からの重点監視指令を受け付けたら重点監視対象が拡大された画像情報を送信するので、監視者が現場に出動することなく、希望する重点監視対象の詳細な映像を中央監視装置20が設置された場所で確認することができる。また、重点監視対象の詳細観察が必要なときに限って、重点監視対象が拡大された画像情報を送信するので、通信容量を必要最少とすることができ、通信速度の低下を抑制することができる。また、情報の記録容量も必要最少とすることができ、廉価かつ小型のシステムとすることができる。
【0097】
(9)本例の監視システム1は、電気通信回線網を30介して画像情報、位置情報又は時刻情報のいずれかを含む監視情報を中央監視装置20へ出力するので、複数の乗用車Vから複数の監視情報を中央監視装置20に集積させることができる。
【0098】
(10)本例の中央監視装置20は、監視端末装置10に重点監視対象を拡大した画像情報を取得させ、その画像情報又は位置情報をディスプレイ24に表示させるので、監視者は、現場に出動することなく、希望する重点監視対象の映像を中央監視装置20が設置された場所で確認することができる。また、監視端末装置10から位置情報を受信した場合には、ディスプレイ24の地図情報上に表示するので、画像情報取得可能な乗用車Vの配置を中央監視装置20にて把握することができる。その結果、画像情報が取得できる領域の分布が把握でき、監視者の警備計画への寄与が期待できる。
【0099】
(11)本例の中央監視装置20は、ディスプレイ24を用いて重点監視対象を拡大された状態で表示するので、監視者に重点監視対象を拡大して示すことができる。
【0100】
(12)本例の重点監視対象は、予め特定された公官庁、施設、店舗、イベント会場などの建造物及びこれらの場に所在する人間、動物、物体その他の被写体を含むので、街中にある監視対象の中から監視者が重点的に監視を希望する対象を選択することができる。
【0101】
(13)本例の監視方法は、上記監視端末装置10と中央監視装置20とを備える監視システムと同様の作用及び効果を奏する。
【0102】
なお、上述した実施形態では、乗用車Vの位置情報と車載カメラ11a〜11eからの画像情報を取得するようにしたが、
図1に示す、街中に設置された固定カメラ11fからの画像情報と組み合わせて取得してもよい。また、位置情報と画像情報を取得する乗用車Vは、
図1に示すように予め決められた領域を走行するタクシーV1やバスを用いることが望ましいが、自家用乗用車V2や緊急乗用車V3を用いてもよい。
【0103】
また、上述した実施形態では、乗用車Vに5つの車載カメラを搭載し、このうち4つの車載カメラ11a〜11dを用いて360°周囲の映像を画像情報として取得したが、室内の車載カメラ11eを省略してもよい。また、交通量が多い監視領域のように多くの乗用車Vから画像情報が取得できる環境等であれば特に、4つの車載カメラ11a〜11dを3つ以下にしてもよい。
【0104】
上記乗用車Vは本発明に係る移動体に相当し、上記位置検出装置15は本発明に係る位置検出手段に相当し、上記車載カメラ11及び画像処理装置12は本発明に係る画像生成手段に相当し、上記車載制御装置14は本発明に係る情報取得制御手段に相当し、上記車載制御装置14のCPUは本発明に係る時刻検出手段に相当し、上記通報ボタン16は本発明に係る指令入力手段に相当し、上記通信装置13は本発明に係る指令受付手段及び情報出力手段に相当し、上記通信装置23は本発明に係る情報入力手段、異常情報受付手段及び指令出力手段に相当し、上記ディスプレイ24は本発明に係る表示手段に相当する。