特許第6625932号(P6625932)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東芝の特許一覧
<>
  • 特許6625932-監視装置及び監視システム 図000002
  • 特許6625932-監視装置及び監視システム 図000003
  • 特許6625932-監視装置及び監視システム 図000004
  • 特許6625932-監視装置及び監視システム 図000005
  • 特許6625932-監視装置及び監視システム 図000006
  • 特許6625932-監視装置及び監視システム 図000007
  • 特許6625932-監視装置及び監視システム 図000008
  • 特許6625932-監視装置及び監視システム 図000009
  • 特許6625932-監視装置及び監視システム 図000010
  • 特許6625932-監視装置及び監視システム 図000011
  • 特許6625932-監視装置及び監視システム 図000012
  • 特許6625932-監視装置及び監視システム 図000013
  • 特許6625932-監視装置及び監視システム 図000014
  • 特許6625932-監視装置及び監視システム 図000015
  • 特許6625932-監視装置及び監視システム 図000016
  • 特許6625932-監視装置及び監視システム 図000017
  • 特許6625932-監視装置及び監視システム 図000018
  • 特許6625932-監視装置及び監視システム 図000019
  • 特許6625932-監視装置及び監視システム 図000020
  • 特許6625932-監視装置及び監視システム 図000021
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6625932
(24)【登録日】2019年12月6日
(45)【発行日】2019年12月25日
(54)【発明の名称】監視装置及び監視システム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20191216BHJP
   G08G 1/04 20060101ALI20191216BHJP
   G08G 1/16 20060101ALI20191216BHJP
   G08B 25/00 20060101ALI20191216BHJP
【FI】
   H04N7/18 D
   H04N7/18 G
   G08G1/04 D
   G08G1/16 D
   G08B25/00 510M
【請求項の数】9
【全頁数】24
(21)【出願番号】特願2016-108915(P2016-108915)
(22)【出願日】2016年5月31日
(65)【公開番号】特開2017-216575(P2017-216575A)
(43)【公開日】2017年12月7日
【審査請求日】2018年9月4日
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110001737
【氏名又は名称】特許業務法人スズエ国際特許事務所
(72)【発明者】
【氏名】宋 妍
(72)【発明者】
【氏名】西山 学
(72)【発明者】
【氏名】渡辺 友樹
(72)【発明者】
【氏名】関根 真弘
【審査官】 秦野 孝一郎
(56)【参考文献】
【文献】 特開2008−160496(JP,A)
【文献】 特開2010−277420(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G08G 1/00−99/00
G08B 23/00−31/00
(57)【特許請求の範囲】
【請求項1】
対象の位置及び移動方向を示す第1情報を取得する第1取得部と、
複数の移動体の位置及び前記複数の移動体の各々に搭載されるセンサを示す第2情報を取得する第2取得部と、
前記第1情報及び前記第2情報に基づき、前記複数の移動体から前記対象を監視するための第1移動体または、複数の前記センサから前記対象を監視するための第1センサの少なくとも一方を選択する選択部と、
前記対象を監視するために選択された前記第1移動体または前記第1センサの少なくとも一方を示す第3情報を、前記複数の移動体の少なくとも1つに送信する通信部と、を具備する監視装置。
【請求項2】
前記通信部は、前記第1移動体に搭載されるセンサまたは前記第1センサによって取得された第4情報を受信する請求項1記載の監視装置。
【請求項3】
前記第1取得部は、
固定カメラを用いて撮像された画像を用いて、前記第1情報を取得し、
前記第4情報を用いて、前記対象の位置及び移動方向を算出する、請求項2記載の監視装置。
【請求項4】
前記第1取得部は、前記第4情報を用いて、前記対象の位置及び移動方向を算出し、
前記選択部は、前記算出された対象の位置及び移動方向に基づき、前記複数の移動体から前記対象を監視するための第2移動体、または複数の前記センサから前記対象を監視するための第2センサの少なくとも一方を選択し、
前記通信部は、前記対象を監視するために選択された前記第2移動体または前記第2センサの少なくとも一方を示す情報を、前記複数の移動体の少なくとも1つに送信する、請求項2記載の監視装置。
【請求項5】
前記通信部は、さらに、
前記対象を監視するために前記第1移動体が選択された場合、前記第1移動体に搭載されるセンサをオン状態に設定するための情報を前記第1移動体に送信し、
前記対象を監視するために前記第1センサが選択された場合、前記第1センサをオン状態に設定するための情報を前記第1センサを備える第3移動体に送信する、請求項1記載の監視装置。
【請求項6】
前記通信部は、さらに、
前記対象を監視するために前記第1移動体が選択されなかった場合、前記第1移動体に設けられるセンサをオフ状態に設定するための情報を前記第1移動体に送信し、
前記対象を監視するために前記第1センサが選択されなかった場合、前記第1センサをオフ状態に設定するための情報を、前記第1センサを備える前記第移動体に送信する、請求項5記載の監視装置。
【請求項7】
前記選択部は、
前記複数の移動体の各々が前記選択部によって選択された回数を記録し、
前記回数と、前記複数の移動体の各々のバッテリの残量の少なくとも一方を用いて、前記複数の移動体から前記第1移動体を選択する、請求項1記載の監視装置。
【請求項8】
前記選択部は、
第1領域内に存在する前記複数の移動体から、前記第1領域の一部であって、前記対象が存在する第2領域内に存在する移動体を選択し、
前記選択された移動体から、前記第1情報及び前記第2情報に基づき、前記対象を監視するための第1移動体を選択する、請求項1記載の監視装置。
【請求項9】
監視装置と、少なくとも1つの固定カメラと、複数の移動体とによって構成される監視システムであって、
前記監視装置は、
前記少なくとも1つの固定カメラによって撮像される画像を用いて、対象の位置及び移動方向を示す第1情報を取得し、
前記複数の移動体の位置及び前記複数の移動体の各々に搭載されるセンサを示す第2情報を取得し、
前記第1情報及び前記第2情報に基づき、前記複数の移動体から前記対象を監視するための第1移動体または、複数の前記センサから前記対象を監視するための第1センサの少なくとも一方を選択し、
前記対象を監視するために選択された前記第1移動体または前記第1センサの少なくとも一方を示す第3情報を、前記複数の移動体の少なくとも1つに送信するように構成される、監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、移動する対象を監視する技術に関する。
【背景技術】
【0002】
カメラを用いて移動する対象を監視する様々なシステムが利用されている。このようなシステムの一つに、各々が監視可能な領域が定められた複数の固定カメラを用いるシステムがある。このシステムでは、移動する対象の移動方向を考慮して、監視に使用されるカメラ及び各カメラの監視モードを切り替えることにより、その移動する対象を監視することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第5686435号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、このような固定カメラを用いるシステムでは、死角が動的に変動する環境において、移動する対象を十分に監視できないという課題があった。
【0005】
本発明の一形態は、死角が動的に変動する環境において、移動する対象を十分に監視できる監視装置及び監視システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態によれば、監視装置は、第1取得部と、第2取得部と、選択部と、通信部とを具備する。第1取得部は、対象の位置及び移動方向を示す第1情報を取得する。第2取得部は、複数の移動体の位置及び前記複数の移動体の各々に搭載されるセンサを示す第2情報を取得する。選択部は、前記第1情報及び前記第2情報に基づき、前記複数の移動体から前記対象を監視するための第1移動体または、複数の前記センサから前記対象を監視するための第1センサの少なくとも一方を選択する。通信部は、前記対象を監視するために選択された前記第1移動体または前記第1センサの少なくとも一方を示す第3情報を、前記複数の移動体の少なくとも1つに送信する。
【図面の簡単な説明】
【0007】
図1】一実施形態に係る監視装置を含む監視システムの構成を説明するためのブロック図。
図2】同実施形態の監視装置の機能構成を示すブロック図。
図3】同実施形態の監視装置によって実行される処理の手順を示すフローチャート。
図4】同実施形態の監視装置に含まれる対象検出結果取得部の構成を示すブロック図。
図5】同実施形態の監視装置に含まれる移動体情報取得部の構成を示すブロック図。
図6】同実施形態の監視装置に含まれる監視移動体選定部の構成を示すブロック図。
図7】同実施形態の監視装置によって監視される、監視領域が駐車場であり、対象が歩行者であり、移動体が車両である環境の例を説明するための図。
図8図7の監視領域において、車両と歩行者の位置が決定される例を示す図。
図9図7の監視領域において、車両と歩行者との距離が算出される例を示す図。
図10図7の監視領域において、歩行者を監視するための監視移動体が選定される例を示す図。
図11図7の監視領域において、歩行者を監視するための監視移動体が選定される別の例を示す図。
図12図7の監視領域において、歩行者を監視するための監視移動体が選定されるさらに別の例を示す図。
図13図7の監視領域の一部である分割監視領域が注目監視領域として用いられる例を示す図。
図14図7の監視領域の一部である分割監視領域が注目監視領域として用いられる別の例を示す図。
図15】同実施形態の監視装置によって作成されるセンサ監視可能範囲マップの例を示す図。
図16】同実施形態の監視装置によって監視される、監視領域が交差点であり、横断歩道で道路を渡る歩行者が対象である環境の例を説明するための図。
図17】同実施形態の監視装置によって監視される、監視領域が交差点であり、横断歩道で道路を渡る歩行者が対象である環境の別の例を説明するための図。
図18】同実施形態の監視装置によって監視される、監視領域が交差点であり、横断歩道でない場所で道路を渡る歩行者が対象である環境の例を説明するための図。
図19】同実施形態の監視装置によって監視される、監視領域が交差点であり、横断歩道でない場所で道路を渡る歩行者が対象である環境の別の例を説明するための図。
図20】同実施形態の監視装置に含まれる監視移動体選定部の別の構成を示すブロック図。
【発明を実施するための形態】
【0008】
以下、実施の形態について図面を参照して説明する。
まず、図1を参照して、一実施形態に係る監視装置を含む監視システム100の概略的な構成を説明する。この監視システム100は、例えば、駐車場や交差点のような監視領域内に存在する、特定の対象を監視するためのシステムである。この特定の対象は、例えば、人や動物である。監視システム100は、例えば、監視装置1、固定カメラ21,22、移動体41,42、及びネットワーク5から構成される。監視装置1と、固定カメラ21,22及び移動体41,42の各々とは、ネットワーク5を介して接続され、様々なデータをやり取りすることができる。監視装置1は、固定カメラ21,22や移動体41,42から受信されるデータを用いて、監視領域内の特定の対象を監視するための処理を実行する。
【0009】
固定カメラ21,22は、例えば、駐車場や交差点のような路上、建物等に固定して設置され、設置された場所の画像又は映像を取得するために用いられる。固定カメラ21は、カメラ211、通信デバイス212等を備える。カメラ211は、設置された場所の画像を撮像する。また、通信デバイス212は、有線又は無線による通信を実行するように構成されている。通信デバイス212は、信号を送信する送信部と、信号を受信する受信部とを含む。固定カメラ21は、カメラ211で撮像された画像のデータを、通信デバイス212を介して監視装置1に送信することができる。同様にして、固定カメラ22は、カメラ221で撮像された画像のデータを、通信デバイス222を介して監視装置1に送信することができる。
【0010】
移動体41,42は、例えば、ロボットや車両のような、モーター等の動力によって移動する物体である。移動体41は、カメラ、ビデオカメラ、GPSレシーバ、ライダー、レーダー、ソナー等の各種のセンサ411,412、通信デバイス413、バッテリ414等を備える。ライダーは、例えば、レーザーレンジファインダである。レーダーは、例えば、ミリ波レーダーである。センサ411,412は、例えば、移動体41の位置の取得、画像の撮像、周囲に物体があるかどうかや周囲の物体までの距離等の検出を行う。また、通信デバイス413は、有線又は無線による通信を実行するように構成されている。通信デバイス413は、信号を送信する送信部と、信号を受信する受信部とを含む。移動体41は、センサ411,412によって取得された位置、画像、検出結果等を示すデータを、通信デバイス413を介して監視装置1に送信することができる。移動体41は、バッテリ414から供給される電力を利用して、センサ411,412や通信デバイス413を動作させることができる。
【0011】
同様にして、移動体42は、センサ421,422によって取得された位置、画像、検出結果等を示すデータを、通信デバイス423を介して監視装置1に送信することができる。移動体42は、バッテリ424から供給される電力を利用して、センサ421,422や通信デバイス423を動作させることができる。
【0012】
監視領域内では、対象が移動すると共に、移動体41,42も移動するので、固定カメラ21,22や移動体41,42のセンサ411,412,421,422の内、対象を監視可能なカメラ又はセンサが動的に変化する。つまり、この監視領域は死角が動的に変化する環境であるといえる。監視装置1は、そのような死角の変化に応じて、監視に用いられる移動体41,42のセンサを動的に選定し、選定されたセンサを有する移動体や固定カメラ21,22から受信されるデータを用いて、監視領域内の特定の対象を監視するための処理を実行する。より具体的には、監視装置1は、例えば、駐車場や交差点内を通行する歩行者を、固定カメラ21,22や監視のためのセンサを有する移動体41,42から受信されるデータを用いて監視することができる。そして、監視装置1は、監視されている歩行者に関する情報を、例えば、移動体41,42に通知することによって、移動体41,42が歩行者に衝突するような事故を防止することができる。
【0013】
監視装置1は、専用もしくは汎用コンピュータ、又は各種電子機器に内蔵される組み込みシステムとして実現され得る。監視装置1は、処理回路11、メモリ12、通信デバイス13、バス14等を備える。処理回路11、メモリ12及び通信デバイス13は、バス14を介して相互に接続され得る。
【0014】
処理回路11は、対象検出結果取得機能11A、移動体情報取得機能11B、監視移動体選定機能11C、及び監視移動体情報通信機能11Dを有する。これらの各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ12に記憶されている。処理回路11はプログラムをメモリ12から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。各プログラムを読み出した状態の処理回路11は、上述した各機能11A〜11Dを有することになる。なお、図1には単一のプロセッサを備える処理回路11で、対象検出結果取得機能11A、移動体情報取得機能11B、監視移動体選定機能11C、及び監視移動体情報通信機能11Dに対応する処理が実現される例を示したが、複数の独立したプロセッサを組み合わせて処理回路11を構成し、各プロセッサがプログラムを実行することによりこれら機能を実現してもよい。各処理機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
【0015】
なお、処理回路11が有する対象検出結果取得機能11A、移動体情報取得機能11B、監視移動体選定機能11C、及び監視移動体情報通信機能11Dは、それぞれ、後述する対象検出結果取得部、移動体情報取得部、監視移動体選定部、及び監視移動体情報通信部の一例である。
【0016】
上記説明において用いた「プロセッサ」という用語は、例えば、CPU(Central Processing Unit)、GPU(Graphical Processing Unit)、あるいは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイスの回路を意味する。プログラマブル論理デバイスは、例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、又はフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)である。プロセッサはメモリ12に保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリ12にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
【0017】
メモリ12は、処理回路11が行う各処理機能に伴うデータ等を必要に応じて記憶する。本実施形態のメモリ12は、例えば、各種のプログラムと、固定カメラ21,22及び移動体41,42から受信されたデータとを記憶する。このプログラムは、例えば、OS(Operating System)や対象を監視するためのプログラムを含む。メモリ12は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。また、メモリ12に記憶される各種のデータは、監視装置20の外部の記憶装置に格納されてもよい。メモリ12は、ネットワーク5上のサーバ(図示せず)から、有線又は無線LAN(Local Area Network)や3G/4G移動通信等の各種の通信方式に基づく接続を介して伝送されたプログラムを記憶又は一時記憶する記憶媒体であってもよい。ネットワーク5上のサーバは、例えば、インターネット上のサーバである。また、記憶媒体は1つに限られず、複数の媒体に上述したようなデータが格納される場合も、実施形態における記憶媒体に含まれ、媒体の構成はいずれの構成であってもよい。
【0018】
通信デバイス13は、有線又は無線で接続された外部装置と情報の入出力を行うインターフェースである。通信デバイス13は、ネットワーク5に接続して通信を行ってもよい。通信デバイス13は、信号を送信する送信部と、信号を受信する受信部とを含む。
【0019】
図2は、監視装置1の機能構成を示すブロック図である。この機能構成は、例えば、処理回路11によって実行されるプログラムの機能構成として実現され得る。監視装置1は、例えば、対象検出結果取得部101と、移動体情報取得部102と、監視移動体選定部103と、監視移動体情報通信部104と、を備えている。これら対象検出結果取得部101、移動体情報取得部102、監視移動体選定部103、及び監視移動体情報通信部104は、図1に示した対象検出結果取得機能11A、移動体情報取得機能11B、監視移動体選定機能11C、及び監視移動体情報通信機能11Dの各々を実現するための処理部である。
【0020】
対象検出結果取得部101は、監視される対象の位置及び対象の移動方向を含む対象情報105を取得する。対象検出結果取得部101は、取得された対象情報105を監視移動体選定部103に送る。
【0021】
移動体情報取得部102は、移動体41,42の位置と移動体41,42に搭載されているセンサを示す情報を含む移動体情報106を取得する。移動体情報取得部102は、取得された移動体情報106を監視移動体選定部103に送る。
【0022】
監視移動体選定部103は、対象情報105と移動体情報106とに基づき、移動体41,42から対象を監視するための監視移動体、又は複数の移動体に搭載されている複数のセンサから、対象を監視するための監視用センサの少なくとも一方を選択する。監視移動体選定部103は、例えば、対象情報105に含まれる対象の位置及び移動方向と、移動体41,42に搭載されている各センサの監視可能範囲とに基づき、監視移動体及び監視用センサを選定する。監視移動体選定部103は、選定された監視移動体及び監視用センサの情報を含む監視移動体情報107を監視移動体情報通信部104に送る。
【0023】
監視移動体情報通信部104は、監視移動体情報107を利用して、監視移動体又は監視用センサの少なくとも一方を示す情報と対象情報105とを監視移動体に送信する。また、監視移動体情報通信部104は、監視移動体に搭載されるセンサ、又は監視用センサによって取得された情報を受信する。
【0024】
次いで、本監視装置1の動作の詳細について説明する。
図3は、監視装置1に設けられる処理回路11によって実行される処理の手順を示すフローチャートである。図3を参照しながら、各処理部101〜104の動作を説明する。
【0025】
まず、対象検出結果取得部101は、移動体の位置及び移動体の移動方向を含む対象情報105を取得する(ステップS201)。
【0026】
図4は、対象検出結果取得部101の構成を示す。対象検出結果取得部101は、例えば、撮像部301、対象検出部302、対象位置算出部303、対象移動方向算出部304、対象認識部305、対象位置取得部306、対象移動方向取得部307、及び統合部308を備える。
【0027】
撮像部301は撮像画像309を取得する。この撮像部301は、例えば、固定カメラ21,22に設けられるカメラ211,221によって撮像された画像を、ネットワーク5を介して受信することにより、この受信された画像を撮像画像309として取得する。なお、撮像画像309は、路上等に設置された1台の固定カメラによって撮像された画像であってもよいし、2台以上の複数の固定カメラによって撮像された複数の画像であってもよい。
【0028】
対象検出部302は、撮像画像309を利用して、監視される対象を検出する。対象検出部302は、検出された対象を示す対象検出結果3010を、対象位置算出部303及び対象移動方向算出部304に送る。
【0029】
対象位置算出部303は、対象検出結果3010を用いて、対象の位置3011を算出する。また、対象移動方向算出部304は、対象検出結果3010を用いて、対象の移動方向3012を算出する。
【0030】
より具体的には、対象検出部302は、監視される対象を認識するための対象識別器の辞書データをあらかじめ保持し、この辞書データを用いて、撮像画像309から対象を検出する。
【0031】
ここでは、監視される対象が歩行者である場合について例示する。
対象識別器の辞書データは、例えば、歩行者を含む矩形領域と歩行者を含まない矩形領域とをそれぞれ歩行者に関する正例及び負例とした複数のトレーニング画像を用いて、各トレーニング画像上の矩形領域に対してあらかじめ算出された、歩行者を検出する際に有効とされているHOG(Histogram of Oriented Gradients)、CoHOG(Co-Occurrence Histograms of Oriented Gradients)等の特徴量を含む。このような特徴量を利用して、SVM(Support Vector Machine)やAdaboost等に基づく識別器を学習させることによって、歩行者を判別可能な対象識別器の取得が可能になる。
【0032】
撮像画像309内のある矩形領域中に歩行者が存在するか否かを判別するとき、対象検出部302は、まず、上記のトレーニング画像と同様にして、その矩形領域の特徴量を算出する。そして、対象検出部302は、対象識別器を用いて、算出された特徴量が歩行者であるか否かを判別する。これにより、ある矩形領域に歩行者が存在するか否かの結果を取得することができる。しかしながら、矩形領域中に歩行者が存在するか否かを判別する方法には、上記に挙げられた特徴量及び識別器以外のものも利用することができ、上記に挙げられた特徴量及び識別器に限られない。また、特徴量の算出と識別とを同時に行うことができる深層学習を用いて歩行者を検出することもできる。
【0033】
なお、撮像画像309から歩行者が検出される場合に、撮像画像309上に、歩行者が存在するか否かが判別されるべき矩形領域を設定するための方法の一例としては、Selective Search手法があるが、この手法に限定されない。あるいは、撮像画像309と背景画像との差分画像を利用して、歩行者に関する矩形領域を取得することもできる。以上により、対象検出部302は、撮像画像309から歩行者を含む矩形領域を検出できるので、検出された歩行者の撮像画像309上での位置を取得することができる。
【0034】
また、監視領域上に、撮像部301によって取得される撮像画像309があらかじめマッピングされているならば、すなわち、撮像画像309に対応する監視領域上の範囲があらかじめ取得されているならば、対象位置算出部303は、撮像画像309上の歩行者の位置に基づいて、監視領域上での歩行者の位置3011を算出することができる。さらに、対象移動方向算出部304は、連続して取得された複数の撮像画像309間での歩行者の位置に基づいて、その歩行者の移動量も算出できるので、歩行者の移動方向3012を算出することができる。
【0035】
さらに、対象検出結果取得部101は、上記のように初めて検出された対象と同時に、現在、継続して監視されている対象、すなわち、既に検出されていた対象の情報をも取得することができる。以下では、この現在、継続して監視されている対象を、被監視対象とも称する。
【0036】
より具体的には、対象認識部305は、被監視対象を、被監視対象を監視するための監視用センサによって取得されたデータを用いて認識し、この認識結果と対象を特定できる情報とを含む対象認識情報3013を取得する。監視用センサは、例えば、ライダー、カメラ、レーダー、ソナー、等である。また、対象を特定できる情報、例えば、対象に付与されたIDである。対象認識部305は、例えば、対象検出部302による対象の検出と同様にして、カメラである監視用センサによって撮像された画像から被監視対象を認識してもよい。また、対象認識部305は、ライダーやレーダーである監視用センサによって取得された三次元データから、被監視対象と推定される物体を認識するようにしてもよい。対象認識部305は、例えば、被監視対象の特徴を有する物体を、被監視対象と推定される物体として認識する。対象認識部305は、取得された対象認識情報3013を対象位置取得部306及び対象移動方向取得部307に送る。
【0037】
対象位置取得部306は、対象認識情報3013を利用して、監視領域上の被監視対象の位置3014を取得し、統合部308に送る。対象移動方向取得部307は、対象認識情報3013を利用して、被監視対象の監視領域上での移動方向3015を取得し、統合部308に送る。これら被監視対象の位置3014及び移動方向3015の取得方法は、例えば、上述した対象位置算出部303及び対象移動方向算出部304による、対象の位置3011及び移動方向3012の取得方法と同様である。
【0038】
統合部308は、新たに検出された対象の位置3011及び移動方向3012と、被監視対象の位置3014及び移動方向3015とを統合し、その統合によって得られた対象情報105を監視移動体選定部103へ送る。
【0039】
次いで、移動体情報取得部102は、移動体41,42の位置や移動体41,42に搭載されたセンサの情報を含む移動体情報106を取得する(ステップS202)。
【0040】
図5は、移動体情報取得部102の構成を示す。移動体情報取得部102は、例えば、撮像部301、移動体検出部401、移動体位置算出部402、及び移動体センサ情報取得部403を備える。
【0041】
撮像部301は撮像画像309を取得する。この撮像部301は、例えば、固定カメラ21,22に設けられるカメラ211,221によって撮像された画像を、ネットワーク5を介して受信することにより、この受信された画像を撮像画像309として取得する。この撮像部301は、対象検出結果取得部101に設けられる撮像部301と共通のものであってもよい。つまり、撮像部301によって取得された撮像画像309が、対象検出結果取得部101と移動体情報取得部102の双方でそれぞれ利用されてもよい。
【0042】
移動体検出部401は、撮像画像309を用いて移動体検出結果404を取得し、この移動体検出結果404を移動体位置算出部402及び移動体センサ情報取得部403に送る。移動体位置算出部402は、移動体検出結果404を用いて、移動体の位置405を取得する。また、移動体センサ情報取得部403は、移動体検出結果404を用いて、移動体に設けられるセンサを示す移動体センサ情報406を取得する。これら移動体の位置405と移動体センサ情報406とは移動体情報106として用いられる。
【0043】
より具体的には、移動体検出部401は、移動体を識別するための移動体識別器の辞書データをあらかじめ保持し、この辞書データを用いて、撮像画像309から移動体を検出する。この移動体は、例えば、車両、ロボット等である。
【0044】
ここでは、検出される移動体が車両である場合について例示する。
移動体識別器の辞書データは、例えば、車両を含む矩形領域と車両を含まない矩形領域とをそれぞれ車両に関する正例及び負例とした複数のトレーニング画像を用いて、各トレーニング画像上の矩形領域に対してあらかじめ算出された、HOG(Histograms of Oriented Gradients)、EOH(Edge of Orientation Histogram)やEdgeletなどの特徴量を含む。このような特徴量を利用して、SVM(Support Vector Machine)などに基づく識別器を学習させることによって、車両を判別可能な移動体識別器の取得が可能になる。
【0045】
撮像画像309内のある矩形領域中に車両が存在するか否かを判別するとき、移動体検出部401は、まず、上記のトレーニング画像と同様にして、その矩形領域の特徴量を算出する。そして、移動体検出部401は、移動体識別器を用いて、算出された特徴量が車両であるか否かを判別する。これにより、ある矩形領域に車両が存在するか否かの結果を取得することが可能になる。しかしながら、矩形領域中に車両が存在するか否かを判別する方法には、上記に挙げられた特徴量及び識別器以外のものも利用することができ、上記に挙げられた特徴量及び識別器に限られない。また、特徴量の算出と識別とを同時に行うことができる深層学習を用いて車両を検出することもできる。
【0046】
移動体位置算出部402は、移動体検出部401によって検出された車両が存在する、監視領域上の位置である移動体位置405を算出する。対象位置算出部303による対象が存在する監視領域上の位置の算出と同様に、移動体位置算出部402は、監視領域上に、撮像部301によって取得される撮像画像309があらかじめマッピングされているならば、すなわち、撮像画像309に対応する監視領域上の範囲があらかじめ取得されているならば、移動体位置算出部402は、検出された撮像画像309上の車両の位置に基づいて、監視領域上での車両の位置である移動体位置405を算出することができる。
【0047】
また、移動体センサ情報取得部403は、通信を介して、移動体から移動体センサ情報406を取得してもよい。また、移動体センサ情報取得部403は、通信を介して、移動体の種類を判定して、移動体の種類毎に、移動体に搭載されたセンサを示すセンサ情報のような各種の情報が格納されたサーバ等から、その移動体に対応するセンサ情報406を取得してもよい。移動体センサ情報取得部403は、例えば、車種を判定し、サーバ等から、その車種に対応するセンサ情報406を取得する。なお、センサ情報406の取得は、これらの取得方法に限られるものではない。
【0048】
なお、移動体位置算出部402は、車両と通信することで車両の位置である移動体位置405を取得する構成であってもよい。例えば、監視領域に入る車両(以下、第1車両とも称する)は処理回路415及び通信デバイス413によって、事前に第1車両に付与されたIDを用いて監視装置1に通信をし続ける。監視装置1の移動体位置算出部402は、監視領域内の車両に付与されているIDのリストを保持し、このリストを用いて、同一のIDを利用している別の車両があるかどうかをチェックする。同一のIDが利用されていない場合、監視装置1は、第1車両にそのIDを利用させ、その後、第1車両の位置を取得するときにこのIDを利用する。一方、同一のIDが既に利用されている場合、第1車両に別のIDを付与して、第1車両と監視装置1とでIDを共有する。第1車両は、IDが定まった地点から、第1車両が停車するまで、GPSレシーバによって受信されるGPS信号を利用して第1車両の位置を特定し、監視装置1に位置を送信する。移動体位置算出部402は、予め保持されている地図情報を用いた位置の変換により、第1車両が存在する監視領域上の位置である移動体位置405を取得することができる。
【0049】
あるいは、各駐停車位置の中心等に、駐停車された車両を検出するためのセンサを設置し、このセンサによって検出される、監視領域内に駐停車されている車両を示す情報を用いて車両を探索するようにしてもよい。このセンサは、例えば、地面や天井に設置することができる。設置されるセンサは、各種の近距離無線通信や、ネットワーク5を介した通信によって、車両との間でデータをやり取りすることができる。したがって、このセンサと車両との間で、当該車両の駐停車位置に関する情報が共有される。そして、この車両から、車両のID、駐停車位置に関する情報、等が監視装置1に送信されることにより、移動体位置算出部402は、車両の位置である移動体位置405を取得することができる。さらに、駐車券をあらかじめ発行する駐車場において、発行された駐車券に指定された位置に車両を駐車させることで車両の駐車位置である移動体位置405を取得することもできる。
【0050】
なお、車両の先頭の向きは、車両が監視装置1との間で、IDを用いて、車両の位置に関する通信を複数回行うと共に、車両のチェンジレバーの位置を示す情報も送信することで取得可能となる。車両のチェンジレバーの位置を示す情報は、例えば、前進、後退、等の情報を含む。駐停車時の車両の向きは、例えば、車両に搭載される各センサの位置や向きを決定し、センサによる監視可能範囲を特定するために利用される。
【0051】
移動体センサ情報取得部403は、車両から、IDを利用して、当該車両に搭載されているセンサを示す情報が監視装置1に送信されることによって、移動体センサ情報406を取得することができる。
【0052】
以上の処理によって移動体情報取得部102は、移動体位置405並びに移動体センサ情報406を移動体情報106として取得し、この移動体情報106を監視移動体選定部103に送る。移動体情報106は、車両の駐車位置や車両に搭載されているセンサの種類の情報を含むが、これらの情報に限られるものではない。
【0053】
次いで、監視移動体選定部103は監視移動体と監視用センサを選定する(ステップS203)。監視移動体選定部103は、対象情報105及び移動体情報106に基づき、複数の移動体から対象を監視するための監視移動体または、それら複数の移動体に搭載される複数のセンサから対象を監視するための監視用センサの少なくとも一方を選択する。
【0054】
図6は、監視移動体選定部103の構成を示す。監視移動体選定部103は、例えば、監視領域算出部501、監視移動体選択部502、センサ監視可能範囲算出部503、及び監視用センサ選択部504を備える。
【0055】
監視領域算出部501は、対象検出結果取得部101によって取得された対象情報105を利用して、監視領域情報505を算出する。そして、監視移動体選択部502は、この監視領域情報505と移動体情報取得部102によって取得された移動体情報106とに基づき、監視移動体選択情報506を取得する。また、センサ監視可能範囲算出部503は、移動体情報106を用いて、監視領域内にある移動体上に搭載されているセンサの監視可能範囲情報507を取得する。そして、監視用センサ選択部504は、センサ監視可能範囲情報507及び監視移動体選択情報506に基づき、選択された監視移動体上に搭載されているセンサを選択し、監視移動体情報107を取得する。
【0056】
次いで、図7から図15を参照して、本実施形態の監視装置1によって、駐車場を通行する歩行者が監視される例について説明する。図7に示すように、監視場所である駐車場には、2つの固定カメラ21,22が設置され、移動体である複数の車両41〜49が駐停車されている。固定カメラ21,22は、例えば、駐車場の出入口や駐車場全体を見渡すことができる位置に設置され、駐車場に入ってきた歩行者6や車両41〜49を検出しやすい画像を撮像することができる。以下では、この駐車場内に存在する歩行者6が、監視装置1によって監視される対象であって、この歩行者6を監視するための監視移動体が車両41〜49から選定される場合を例示する。
【0057】
まず、監視領域について説明する。図7に示されるような駐車場を監視場所とした場合、この駐車場内に存在する歩行者6を監視するために、監視領域を駐車場に設定する。監視装置1は、監視領域全体を監視するための処理を行ってもよいし、監視領域の一部を監視するための処理を行ってもよい。以下では、監視装置1によって監視のための処理が施される領域を注目監視領域とも称する。監視領域全体、すなわち、駐車場全域が注目監視領域として設定される場合には、この監視領域内にある全ての車両41〜49が、監視移動体として選択される監視移動体候補として用いられる。
【0058】
図8から図10を参照して、監視領域全体が注目監視領域に設定される場合に、この注目監視領域内の監視移動体候補である車両41〜49から、歩行者6を監視するための監視移動体が選択される例について説明する。監視移動体選定部103内の監視移動体選択部502は、図8に示すように、駐停車中の各車両41〜49の中心の位置と歩行者6の中心の位置とを算出する。監視移動体選択部502は、図9に示すように、算出された車両41〜49の中心の位置と歩行者6の中心の位置とに基づいて、駐停車中の各車両41〜49と歩行者6との距離を算出する。そして、監視移動体選択部502は、図10に示すように、車両41〜49の内、歩行者6との距離が近いものから順に、最大n台の車両41,42,46,47を監視移動体、すなわち、監視車両A,B,C,Dとして選択する。なお、図10に示す例では、n=4である。監視用センサ選択部504は、監視移動体41,42,46,47の各々に搭載されるセンサから、歩行者6を監視するための監視用センサを選択する。なお、監視移動体に1つのセンサしか搭載されていない場合には、その1つのセンサが監視用センサとして用いられるので、監視用センサ選択部504による選択は不要である。また、監視用センサ選択部504は、監視移動体に複数のセンサが搭載されている場合に、その監視移動体に搭載される全てのセンサを監視用センサとして選択してもよい。さらに、監視用センサ選択部504は、監視移動体を選択せずに、注目監視領域内に存在する複数のセンサから監視用センサを選択してもよい。その場合、例えば、各センサにIDが付与され、IDによって識別される複数のセンサから、監視用センサが選択される。
【0059】
また、監視移動体選定部103の監視移動体選択部502は、歩行者6が注目監視領域内を移動したことに応じて、この歩行者6を監視するための監視移動体を動的に変更する。上述したように、対象検出結果取得部101は、現在の選定されている監視用センサを用いて取得された情報を用いて、監視中の対象の位置及び移動方向を算出する。監視移動体選択部502は、算出された対象の位置及び移動方向に基づき、車両41〜49から対象を監視するための新たな移動体を選定し、この新たな移動体に搭載される1つ以上のセンサから対象を監視するための新たな監視用センサを選定する。図11に示す例では、監視移動体選択部502は、車両41〜49の内、移動した歩行者6との距離が近いものから順に、車両42,43,47,48を新たな監視移動体として選択している。そして、監視用センサ選択部504は、新たな監視移動体42,43,47,48の各々に搭載されるセンサから、歩行者6を監視するための監視用センサを選択する。
【0060】
なお、監視用センサを備える監視移動体が、監視装置1の監視移動体選定部103に対して、歩行者6が注目監視領域内を移動したことに基づいて、監視用センサと監視移動体の少なくとも一方を変更すべきことを通知するようにしてもよい。例えば、監視移動体として選択されていた車両41の処理回路415は、センサ411によるデータを用いて検出される歩行者6の位置に基づいて、このセンサ411によって監視可能な範囲外に歩行者6が移動することが推定される場合、通信デバイス413を介して、監視装置1に監視用センサを別のセンサに変更すべきこと、又は監視移動体を別の移動体に変更すべきことを通知してもよい。
【0061】
さらに、監視移動体選定部103は、駐停車されていた車両が注目監視領域から出たこと、又は注目監視領域に新たな車両が駐停車されたことに応じて、歩行者6を監視するための監視移動体を動的に変更することができる。図12は、図11に示した例において、注目監視領域内に駐停車されていた車両48が、注目監視領域から出た場合の例を示す。この場合、監視移動体選定部103の監視移動体選択部502は、車両41〜47,49の内、歩行者6との距離が近いものから順に、車両42,43,47,49を監視移動体として選択する。
【0062】
なお、監視移動体選択部502は、駐停車中の車両の中心の位置を、移動体情報106に含まれる移動体位置405を利用して算出することができる。また、駐停車中の車両41〜49の中心の位置として、車両が駐停車されている駐車矩形領域の中心の位置が用いられてもよく、車両の中心の位置を算出する方法は、移動体情報106の移動体位置405を利用して算出する方法に限られない。
【0063】
また、監視移動体選択部502は、車両41〜49の各々が監視移動体として選択された回数をカウントし、カウントされた回数を記録してもよい。監視移動体選択部502は、選択された回数と各車両41〜49のバッテリの残量の少なくとも一方を用いて、車両41〜49から監視移動体を選択することができる。監視移動体選択部502は、例えば、選択された回数がしきい値未満である移動体から監視移動体を選択してもよい。また、監視移動体選択部502は、例えば、バッテリの残量がしきい値より大きい移動体から監視移動体を選択してもよい。
【0064】
ところで、駐車場が大きくなるにつれて、その駐車場に駐停車可能な車両の台数は増加することが想定される。そのような場合、駐車場内の全ての車両を監視移動体候補とし、それら監視移動体候補から監視移動体が選定されるならば、その選定のための計算コストは増大する可能性がある。そのため、図7に示した駐車場全域、すなわち、監視領域全体を注目監視領域に設定するのではなく、図13又は図14に示されるように、監視領域の一部を注目監視領域に設定してもよい。図13図14では、一例として、二種類の注目監視領域を示している。
【0065】
図13は、監視領域全体をあらかじめ小領域に分割することにより、監視領域内に複数の分割監視領域71,72が設定される例を示す。監視領域算出部501は、これら複数の分割監視領域71,72から、監視される対象である歩行者6が存在している分割監視領域71を、注目監視領域に設定する。
【0066】
また、図14に示すように、監視領域算出部501は、監視される対象である歩行者6を中心とした特定の範囲を注目監視領域に設定してもよい。この特定の範囲は、例えば、矩形の範囲である。
【0067】
監視領域算出部501は、設定された注目監視領域を示す監視領域情報505を監視移動体選択部502に出力する。
【0068】
監視領域の一部が注目監視領域に設定される場合にも、図8から図12を参照して上述した方法と同様にして、監視移動体選択部502は、その注目監視領域内に存在する移動体から監視移動体を選択することができる。つまり、監視領域算出部501及び監視移動体選択部502は、監視領域内に存在する複数の移動体から、監視領域の一部であって、対象が存在する注目監視領域である、例えば、分割監視領域71内に存在する移動体を選択し、それら選択された移動体から、対象情報105及び移動体情報106に基づき、対象を監視するための移動体を選択することができる。
【0069】
センサ監視可能範囲算出部503は、移動体情報106を利用してセンサ監視可能範囲情報507を算出する。センサ監視可能範囲算出部503は、センサ監視可能範囲情報507を算出する際、図15に示されるように、移動体に搭載されている各センサの監視可能範囲が、監視領域上にマッピングされたセンサ監視可能範囲マップ81を作成する。
【0070】
センサ監視可能範囲算出部503は、例えば、車両42に搭載されたビデオカメラ421の監視可能範囲に対応する、監視領域上の領域82を算出する。ビデオカメラ421に対応するセンサ監視可能範囲マップ81では、この領域82に対応するピクセルに、監視可能領域であることを示す値が設定され、それ以外のピクセルに、監視不可能領域であることを示す値)が設定される。監視可能領域であることを示す値には、例えば、1が用いられる。監視不可能領域であることを示す値には、例えば、0が用いられる。なお、ビデオカメラ421の監視可能範囲は、例えば、ビデオカメラ421が車両42に取り付けられた位置や向き、ビデオカメラ421の視野角等に基づいて算出される。
【0071】
また、センサ監視可能範囲算出部503は、例えば、車両45に搭載されたセンサ451の監視可能範囲に対応する、監視領域上の領域83を算出する。センサ451は、例えば、ライダー、レーダー、ソナー、等である。センサ451に対応するセンサ監視可能範囲マップ81では、この領域83に対応するピクセルに、監視可能領域であることを示す値が設定され、それ以外のピクセルに、監視不可能領域であることを示す値が設定される。なお、センサ451の監視可能範囲は、例えば、センサ451が車両45に取り付けられた位置や向き、センサ451の各種の仕様等に基づいて算出される。
【0072】
センサ監視可能範囲算出部503は、このようにして算出された、移動体に搭載されているセンサ毎のセンサ監視可能範囲マップ81を含むセンサ監視可能範囲情報507を生成することができる。
【0073】
監視用センサ選択部504は、センサ監視可能範囲情報507及び監視移動体選択情報506を用いて、例えば、あらかじめ設定された基準又は規則に従って、監視移動体に設けられる1つ以上のセンサから、少なくとも1つのセンサを選択する。この基準又は規則では、例えば、デフォルトではライダーセンサを選択し、移動体に、高性能カメラやレーザーなどの、監視のために、より有用なセンサが設けられている場合に、それら高性能カメラやレーザーなどを選択することが規定される。ただし、この基準又は規則は一例であって、これに限定されるものではない。また、高性能カメラは、例えば、フルハイビジョン画質、撮像素子が6以下、動画有効画素数300万画素以上などのカメラである。
【0074】
最後に、監視移動体情報通信部104は、監視移動体情報107と対象情報105とを用いて通信する(ステップS204)。監視移動体情報通信部104は、監視移動体又は監視用センサの少なくとも一方を示す情報と、対象を示す対象情報105とを送信する。監視移動体情報通信部104は、これら情報を、監視領域内の全ての移動体に送信してもよいし、監視移動体だけに送信してもよい。監視移動体情報通信部104は、この通信時において、監視移動体に搭載される監視用センサの情報を利用して、監視移動体上の監視用センサのスイッチのONを命令する。監視移動体情報通信部104は、例えば、監視用センサをオン状態、すなわち、動作状態に設定するための情報を監視移動体に送信することによって、監視移動体上の監視用センサをオン状態に設定する。このオン状態に設定された監視用センサを用いて、監視される特定の対象に対し、対象情報105中に含まれる対象の位置及び移動方向の情報を利用して監視が行われる。監視用センサを有する監視移動体は、監視により取得された情報を監視装置1に送信する。監視移動体情報通信部104は、監視移動体から、監視用センサを用いて取得された情報を受信する。なお、監視用センサが搭載される監視移動体の処理回路は、監視用センサによって取得されたデータに特定の処理を施した後に、そのデータを監視装置1に送信してもよい。この特定の処理は、例えば、対象検出結果取得部101、移動体情報取得部102及び監視移動体選定部103によって実行される処理の一部に相当し得る。
【0075】
また、監視移動体情報通信部104は、監視移動体選定部103の監視用センサ選択部504によって選定されなかった、監視移動体上のセンサのスイッチのOFFを命令する。監視移動体情報通信部104は、例えば、選定されなかったセンサをオフ状態、すなわち、非動作状態に設定するための情報を監視移動体に送信することによって、監視移動体上のセンサをオフ状態に設定する。
【0076】
さらに、監視移動体情報通信部104は、監視移動体選定部103の監視移動体選択部502によって選定されなかった、移動体に搭載されるセンサそれぞれのスイッチのOFFを命令してもよい。監視移動体情報通信部104は、例えば、センサをオフ状態、すなわち、非動作状態に設定するための情報を移動体に送信することによって、移動体上のセンサをオフ状態に設定することができる。
【0077】
また、監視移動体情報通信部104は、監視移動体選定部103によって新たな監視用センサ及び監視移動体が選定された場合、新たな監視用センサを示す情報と対象情報105とを、その新たな監視移動体に送る。そして、監視移動体情報通信部104は、新たな監視移動体から、新たな監視用センサを用いて取得された情報を受信する。監視移動体情報通信部104は、上述したように、監視移動体選定部103によって選定された監視用センサをオン状態に設定し、選定されなかったセンサをオフ状態に設定するための処理を行うことができる。
【0078】
なお、対象が監視領域を出ようとしていることが推定される場合、監視移動体は、この対象に関する情報を監視装置1に送信してもよい。監視装置1の対象検出結果取得部101は、この情報を用いて新たな対象情報105を取得し、この新たな対象情報104を利用して対象の監視を続行することができる。
【0079】
対象は、その対象が死角とならないセンサ、すなわち、対象を監視可能な移動体のセンサを利用して監視される。そして、対象があるセンサによる監視可能範囲外に出ようとする場合、そのセンサを有する監視移動体は、対象が監視可能範囲外に出ようとしていることを監視装置1に通達する。監視装置1は、この通達に応じて、対象を監視可能な新たな移動体又はセンサを選択することにより、対象の監視を続行することができる。
【0080】
現在、対象を監視している監視移動体は、監視中の対象を被監視対象とし、当該対象の位置及び移動方向を監視装置1に通達することもできる。監視装置1の監視移動体選定部103は、通達された対象の位置及び移動方向を用いて、監視移動体及び監視用センサの再選定を行い、新たに選定された監視移動体及び監視用センサを用いて監視を続行する。このとき、対象検出結果取得部101は、被監視対象を特定し、すなわち、継続して監視されているいずれの対象であるかを判別し、特定された被監視対象の位置及び移動情報を取得する。被監視対象を認識し、当該対象の位置及び移動方向を取得するために、カメラやライダーなどのセンサが用いられる。カメラが用いられる場合、上述した方法と同様に、画像から対象が検出され、対象の位置やIDを利用して被監視対象が特定される。一方、ライダーセンサなどが利用される場合、既存の手法を利用して、三次元データから対象が検出される。一例として、ある技術ではミリ波レーダーシステムを利用することによって、対象の位置を0.1秒以下で検出できる。ただし、周囲に多くの移動体も存在すると考えられるため、既に取得されている対象の位置を利用して、例えば、その位置や、その位置から推定される現在の位置から、センサによる計測を行うことにより、正確で迅速な対象の位置の取得が可能になる。同様にして、カメラやライダーなどのセンサを利用して、監視を行うことにより、対象検出結果取得部101及び移動体情報取得部102は、監視移動体の位置、対象の位置及び移動方向の取得が可能になる。対象検出結果取得部101は、複数の監視移動体から得られる対象に関する位置及び移動方向の情報を用いて、あらかじめ保持している監視領域のマップ上に対象をマッピングすることにより、対象のマップ上における位置及び移動方向の情報の取得が可能になる。
【0081】
このような対象の位置及び移動方向の情報を利用し、監視移動体及び監視用センサの選定が可能になり、またある対象の監視の終了判定にも上記のマップを利用することが可能である。この終了判定では、マップを用いて、例えば、対象が監視領域から出たことが検出された場合に、監視を終了すると判断する。上記の処理により求められた対象の位置及び移動方向に関する情報は、再び対象情報105に含まれる。
【0082】
なお、図3に示すフローチャートにおいて、例えばステップS201とステップS202とは、必ずしもこの順序で実行されなくてもよい。
【0083】
監視装置1は、上記の駐車場だけでなく、図16から図19に示すような交差点及びその付近でも対象を監視することができ、またこれらに限定されないあらゆる場所で対象を監視することができる。
【0084】
図16及び図17は、監視装置1によって、交差点内の横断歩道を横断する歩行者6が監視される例を示す。
図16に示す例において、交差点には、3台の固定カメラ21,22,23が設置され、移動体である複数の車両41〜45が停車している。上述した駐車場の例と同様に、対象検出結果取得部101は、歩行者6の位置及び移動方向を示す対象情報105を取得する。移動体情報取得部102は、複数の車両41〜45の位置及びそれら複数の車両41〜45の各々に搭載される1つ以上のセンサを示す移動体情報106を取得する。
【0085】
監視移動体選定部103は、取得された対象情報105及び移動体情報106に基づき、複数の車両41〜45から歩行者6を監視するための監視移動体43,44,45を選定する。監視移動体選定部103は、例えば、歩行者6と各車両41〜45との距離に基づいて、距離が近い車両43,44を選定し、歩行者6の移動方向に基づいて、移動により近付くことが推定される車両45を選定する。監視移動体選定部103は、これら監視移動体43,44,45の各々に搭載される1つ以上のセンサから、歩行者6を監視するための監視用センサを選定する。
【0086】
監視移動体情報通信部104は、選定された監視用センサを示す監視移動体情報107と歩行者6を示す対象情報105とを監視移動体43,44,45に送信し、これら監視移動体43,44,45の各々から、監視用センサを用いて取得されたデータを受信する。そして、対象検出結果取得部101は、この受信されたデータを利用して、新たな対象情報105を取得することができる。
【0087】
また、図17に示す例では、交差点には、3台の固定カメラ21,22,23が設置され、移動体である車両41〜47が停車又は走行している。対象検出結果取得部101は、歩行者6の位置及び移動方向を示す対象情報105を取得する。移動体情報取得部102は、複数の車両41〜47の位置及びそれら複数の車両41〜47の各々に搭載される1つ以上のセンサを示す移動体情報106を取得する。監視移動体選定部103は、取得された対象情報105及び移動体情報106に基づき、複数の車両41〜47から歩行者6を監視するための監視移動体43,45,46,47を選定し、この監視移動体43,45,46,47の各々に搭載される1つ以上のセンサから、歩行者6を監視するための監視用センサを選定する。監視移動体情報通信部104は、選定された監視用センサを示す監視移動体情報107と歩行者6を示す対象情報105とを監視移動体43,45,46,47に送信し、これら監視移動体43,45,46,47の各々から、監視用センサを用いて取得されたデータを受信する。そして、対象検出結果取得部101は、この受信されたデータを利用して、新たな対象情報105を取得することができる。
【0088】
取得された対象認識情報3013を用いることにより、対象を監視することができ、また監視車両及び監視用センサを再選定することができる。
【0089】
次いで、図18及び図19は、監視装置1によって、交差点付近の横断歩道でない場所を横断する歩行者6が監視される例を示す。
【0090】
図18に示す例において、交差点には、3台の固定カメラ21,22,23が設置され、移動体である複数の車両41〜46,48,49が停車又は走行している。対象検出結果取得部101は、歩行者6の位置及び移動方向を示す対象情報105を取得する。移動体情報取得部102は、複数の車両41〜46,48,49の位置及びそれら複数の車両41〜46,48,49の各々に搭載される1つ以上のセンサを示す移動体情報106を取得する。
【0091】
監視移動体選定部103は、取得された対象情報105及び移動体情報106に基づき、複数の車両41〜46,48,49から歩行者6を監視するための監視移動体41,42,43,44を選定する。監視移動体選定部103は、例えば、歩行者6と各車両41〜46,48,49との距離に基づいて、距離が近い車両41,42を選定し、歩行者6の移動方向に基づいて、移動により近付くことが推定される車両43,44を選定する。監視移動体選定部103は、これら監視移動体41,42,43,44の各々に搭載される1つ以上のセンサから、歩行者6を監視するための監視用センサを選定する。
【0092】
監視移動体情報通信部104は、選定された監視用センサを示す監視移動体情報107と歩行者6を示す対象情報105とを監視移動体41,42,43,44に送信し、これら監視移動体41,42,43,44の各々から、監視用センサを用いて取得されたデータを受信する。そして、対象検出結果取得部101は、この受信されたデータを利用して、新たな対象情報105を取得することができる。
【0093】
また、図19に示す例では、交差点には、3台の固定カメラ21,22,23が設置され、移動体である車両41〜46,48,49が停車又は走行している。対象検出結果取得部101は、歩行者6の位置及び移動方向を示す対象情報105を取得する。移動体情報取得部102は、複数の車両41〜46,48,49の位置及びそれら複数の車両41〜46,48,49の各々に搭載される1つ以上のセンサを示す移動体情報106を取得する。監視移動体選定部103は、取得された対象情報105及び移動体情報106に基づき、複数の車両41〜46,48,49から歩行者6を監視するための監視移動体43,44,45,46を選定し、この監視移動体43,44,45,46の各々に搭載される1つ以上のセンサから、歩行者6を監視するための監視用センサを選定する。監視移動体情報通信部104は、選定された監視用センサを示す監視移動体情報107と歩行者6を示す対象情報105とを監視移動体43,44,45,46に送信し、これら監視移動体43,44,45,46の各々から、監視用センサを用いて取得されたデータを受信する。そして、対象検出結果取得部101は、この受信されたデータを利用して、新たな対象情報105を取得することができる。
【0094】
このようにして取得された新たな対象情報105を用いることにより、対象を監視することができ、また監視車両及び監視用センサを再選定することができる。
【0095】
以上説明したように、本実施形態によれば、死角が動的に変動する環境において、移動する対象を十分に監視することができる。対象検出結果取得部101は、対象の位置及び移動方向を示す対象情報(第1情報)105を取得する。移動体情報取得部102は、複数の移動体の位置及びそれら複数の移動体の各々に搭載されるセンサを示す移動体情報(第2情報)106を取得する。監視移動体選定部103は、対象情報105及び移動体情報106に基づき、複数の移動体から対象を監視するための第1移動体、又は複数の上記センサから対象を監視するための第1センサの少なくとも一方を選択する。監視移動体情報通信部104は、第1移動体又は第1センサの少なくとも一方を示す監視移動体情報107と対象を示す対象情報105(第3情報)を送信する。
【0096】
これにより、監視装置1は、第1移動体に搭載されるセンサ又は第1センサによって取得されたデータを用いて、対象を監視することができ、また新たに得られる対象情報105を用いて、対象を監視するための移動体及び監視用センサを再選定することができる。そのため、例えば、死角が動的に変動し、固定カメラのみによる監視が困難である場所においても、対象情報105及び移動体情報106に基づいて適切に選定された移動体上のセンサを利用することにより、対象を確実に監視することができる。
【0097】
[変形例]
本実施形態の変形例について説明する。監視移動体を選択した後、監視移動体に搭載されているセンサの中から監視用センサを選択する上述の実施形態に対して、本変形例は、対象の監視に用いられる監視用センサを決定した後、その監視用センサが搭載されている移動体を監視移動体として選択するという点で相違する。本変形例は、上述の実施形態と全体的な構成は同様であるため、図20を参照して、構成が相違する監視移動体選定部103について説明する。この監視移動体選定部103は、例えば、監視領域算出部501、センサ監視可能範囲算出部503及び監視移動体選択部502を備える。
【0098】
監視領域算出部501は、対象情報105を用いて監視領域情報505を算出し、この監視領域情報505をセンサ監視可能範囲算出部503に送る。センサ監視可能範囲算出部503は、監視領域情報505及び移動体情報106を用いてセンサ監視可能範囲情報507を取得し、このセンサ監視可能範囲情報507を監視移動体選択部502に送る。
【0099】
監視移動体選択部502は、センサ監視可能範囲情報507を利用して、監視用センサを選択する。監視移動体選択部502は、例えば、図15に示されたようなセンサ監視可能範囲マップ81をあらかじめ取得し、監視領域情報505及び対象情報105中の対象の位置、移動方向を考慮し、センサ監視可能範囲マップ81において対象を監視可能なセンサを選択する。より具体的には、監視移動体選択部502は、対象が存在するセンサ監視可能範囲マップ81上の位置に基づき、各々のセンサが監視できる範囲内に対象が存在するか否かに基づいて、各センサが対象を監視可能であるかどうかを判定する。また、上述した実施形態と同様に、監視移動体選択部502は、対象の移動方向も考慮して、例えば、ある時間(例えば、数秒)が経過した後に対象が存在すると推定される位置を監視できるセンサを監視用センサとして選択してもよい。
【0100】
そして、監視移動体選択部502は、選択された監視用センサが搭載される移動体を監視移動体として選択し、選択された監視移動体及び監視用センサを示す監視移動体情報107を監視移動体情報通信部104に送る。監視移動体情報通信部104は、対象情報105と監視移動体又は監視用センサの少なくとも一方を示す監視移動体情報107とを送信する。
【0101】
以上により、本変形例によれば、監視領域内に存在する複数のセンサから、対象を監視するための監視用センサが選択された後に、それらセンサが搭載されている移動体が選択される。これにより、監視移動体及び監視用センサを示す監視移動体情報107を取得することが可能となる。
【0102】
また、本実施形態に記載された様々な機能の各々は、処理回路によって実現されてもよい。処理回路の例には、中央処理装置(CPU)のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラムに対応する命令群を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたCPU以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。
【0103】
また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【0104】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0105】
1…監視装置、11…処理回路、11A…対象検出結果取得機能、11B…移動体情報取得機能、11C…監視移動体選定機能、11D…監視移動体情報通信機能、12…メモリ、13…通信デバイス、14…バス、100…監視システム、21,22…固定カメラ、211,221…カメラ、212,222…通信デバイス、41,42…移動体、411,412,421,422…センサ、413,423…通信デバイス、414,424…バッテリ、415,425…処理回路、5…ネットワーク。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20