IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 本田技研工業株式会社の特許一覧

特開2024-51893エリア監視システムおよびエリア監視方法
<>
  • 特開-エリア監視システムおよびエリア監視方法 図1
  • 特開-エリア監視システムおよびエリア監視方法 図2
  • 特開-エリア監視システムおよびエリア監視方法 図3
  • 特開-エリア監視システムおよびエリア監視方法 図4
  • 特開-エリア監視システムおよびエリア監視方法 図5
  • 特開-エリア監視システムおよびエリア監視方法 図6
  • 特開-エリア監視システムおよびエリア監視方法 図7
  • 特開-エリア監視システムおよびエリア監視方法 図8
  • 特開-エリア監視システムおよびエリア監視方法 図9
  • 特開-エリア監視システムおよびエリア監視方法 図10
  • 特開-エリア監視システムおよびエリア監視方法 図11
  • 特開-エリア監視システムおよびエリア監視方法 図12
  • 特開-エリア監視システムおよびエリア監視方法 図13
  • 特開-エリア監視システムおよびエリア監視方法 図14
  • 特開-エリア監視システムおよびエリア監視方法 図15
  • 特開-エリア監視システムおよびエリア監視方法 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024051893
(43)【公開日】2024-04-11
(54)【発明の名称】エリア監視システムおよびエリア監視方法
(51)【国際特許分類】
   G08G 1/01 20060101AFI20240404BHJP
   G08G 1/04 20060101ALI20240404BHJP
   G08G 1/09 20060101ALI20240404BHJP
   G08G 1/16 20060101ALI20240404BHJP
【FI】
G08G1/01 A
G08G1/04 A
G08G1/09 F
G08G1/16 C
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022158274
(22)【出願日】2022-09-30
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】小森 賢二
(72)【発明者】
【氏名】安井 裕司
(72)【発明者】
【氏名】松永 英樹
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181AA21
5H181BB04
5H181CC03
5H181CC04
5H181CC14
5H181EE11
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
(57)【要約】
【課題】監視対象エリアをより適切に監視することができるエリア監視システムおよびエリア監視方法を提供すること。
【解決手段】実施形態のエリア監視システムにおいて、監視対象エリアに設置され、前記監視対象エリアを移動する移動体を検出する複数のセンサ装置と、前記複数のセンサ装置のそれぞれの検出結果に基づいて前記複数のセンサ装置のそれぞれで検出された移動体が同一物体であるか否か判定する判定部と、を備え、前記複数のセンサ装置は、少なくとも電波式センサと光学式センサとを含み、前記判定部は、前記電波式センサと前記光学式センサのそれぞれで前記移動体が検出された場合に、前記移動体の移動に関する特徴量と、前記移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて、前記電波式センサと前記光学式センサのそれぞれで検出された前記移動体が前記同一物体か否かを判定する。
【選択図】図6
【特許請求の範囲】
【請求項1】
監視対象エリアに設置され、前記監視対象エリアを移動する移動体を検出する複数のセンサ装置と、
前記複数のセンサ装置のそれぞれで検出された移動体が同一物体であるか否か判定する判定部と、を備え、
前記複数のセンサ装置は、少なくとも電波式センサと光学式センサとを含み、
前記判定部は、前記電波式センサと前記光学式センサのそれぞれで前記移動体が検出された場合に、前記移動体の移動に関する特徴量と、前記移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて、前記電波式センサと前記光学式センサのそれぞれで検出された前記移動体が前記同一物体か否かを判定する、
エリア監視システム。
【請求項2】
前記判定部は、前記移動体が前記光学式センサに検出された後にセンサ範囲外に移動し、移動先に前記電波式センサが存在する場合に、前記移動体の位置の偏差と、速度分布と、前記移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて、前記移動体が同一物体か否かを判定する、
請求項1に記載のエリア監視システム。
【請求項3】
前記判定部は、前記移動体が前記電波式センサに検出された後にセンサ範囲外に移動し、移動先に前記光学式センサが存在する場合に、前記移動体の位置の偏差と、速度分布と、前記移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて、前記移動体が同一物体か否かを判定する、
請求項1に記載のエリア監視システム。
【請求項4】
前記監視対象エリアの状況を管理する管理部を更に備え、
前記管理部は、前記移動体が車両であって、前記車両に接近する物体が存在する場合に前記車両に対する行動指示を行う、
請求項1に記載のエリア監視システム。
【請求項5】
前記管理部は、前記車両に接近する物体の接触に対する影響度に応じて、前記車両に対する行動指示の内容を異ならせる、
請求項4に記載のエリア監視システム。
【請求項6】
前記管理部は、前記監視対象エリアに情報提供装置が設定されている場合に、前記行動指示の内容を示す画像または音声を前記情報提供装置に出力させる、
請求項4に記載のエリア監視システム。
【請求項7】
前記管理部は、前記複数のセンサ装置に画像センサが含まれる場合に、前記画像センサにより撮像された画像に含まれる前記車両に接近する物体の属性に関する情報を前記情報提供装置に出力させる、
請求項6に記載のエリア監視システム。
【請求項8】
前記管理部は、前記車両に対する行動指示の内容に応じた速度制御または操舵制御のうち一方または双方を前記車両に実行させるための情報を前記車両に出力する、
請求項4に記載のエリア監視システム。
【請求項9】
前記監視対象エリアに含まれる道路の曲率が閾値未満の区間には前記電波式センサが設置され、前記道路の曲率が閾値以上の区間には前記光学式センサが設置される、
請求項1に記載のエリア監視システム。
【請求項10】
コンピュータが、
監視対象エリアに設置され、前記監視対象エリアを移動する移動体を検出する複数のセンサ装置のそれぞれの検出結果に基づいて前記複数のセンサ装置のそれぞれで検出された移動体が同一物体であるか否か判定し、
前記複数のセンサ装置は、少なくとも電波式センサと光学式センサとを含み、
前記電波式センサと前記光学式センサのそれぞれで前記移動体が検出された場合に、前記移動体の位置の移動に関する特徴量と、前記移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて、前記電波式センサと前記光学式センサのそれぞれで検出された前記移動体が前記同一物体か否かを判定する、
エリア監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、エリア監視システムおよびエリア監視方法に関する。
【背景技術】
【0002】
近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて安全予防技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。これに関連して、従来では、車両に搭載されたセンサによって車両が走行車線から逸脱する場合に警告を出力したり、複数の検出部の検出結果を用いて物体の移動の開始を判定する技術が知られている(例えば、特許文献1および2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014-31167号公報
【特許文献2】特開2021-51466号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、安全予防に関する技術においては、監視対象エリアに関する状況の変化等によって、エリア内を移動する移動体の状況または道路の状況が正確に把握できない場合があった。そのため、監視対象エリアを適切に監視できない可能性があるというのが課題であった。
【0005】
本願は、上記課題の解決のため、監視対象エリアをより適切に監視することができるエリア監視システムおよびエリア監視方法を提供することを目的の一つする。そして、延いては持続可能な輸送システムの発展に寄与するものである。
【課題を解決するための手段】
【0006】
この発明に係るエリア監視システムおよびエリア監視方法は、以下の構成を採用した。
(1):この発明の一態様に係るエリア監視システムは、監視対象エリアに設置され、前記監視対象エリアを移動する移動体を検出する複数のセンサ装置と、前記複数のセンサ装置のそれぞれで検出された移動体が同一物体であるか否か判定する判定部と、を備え、前記複数のセンサ装置は、少なくとも電波式センサと光学式センサとを含み、前記判定部は、前記電波式センサと前記光学式センサのそれぞれで前記移動体が検出された場合に、前記移動体の移動に関する特徴量と、前記移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて、前記電波式センサと前記光学式センサのそれぞれで検出された前記移動体が前記同一物体か否かを判定する、エリア監視システムである。
【0007】
(2):上記(1)の態様において、前記判定部は、前記移動体が前記光学式センサに検出された後にセンサ範囲外に移動し、移動先に前記電波式センサが存在する場合に、前記移動体の位置の偏差と、速度分布と、前記移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて、前記移動体が同一物体か否かを判定するものである。
【0008】
(3):上記(1)の態様において、前記判定部は、前記移動体が前記電波式センサに検出された後にセンサ範囲外に移動し、移動先に前記光学式センサが存在する場合に、前記移動体の位置の偏差と、速度分布と、前記移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて、前記移動体が同一物体か否かを判定するものである。
【0009】
(4):上記(1)の態様において、前記監視対象エリアの状況を管理する管理部を更に備え、前記管理部は、前記移動体が車両であって、前記車両に接近する物体が存在する場合に前記車両に対する行動指示を行うものである。
【0010】
(5):上記(4)の態様において、前記管理部は、前記車両に接近する物体の接触に対する影響度に応じて、前記車両に対する行動指示の内容を異ならせるものである。
【0011】
(6):上記(4)の態様において、前記管理部は、前記監視対象エリアに情報提供装置が設定されている場合に、前記行動指示の内容を示す画像または音声を前記情報提供装置に出力させるものである。
【0012】
(7):上記(6)の態様において、前記複数のセンサ装置に画像センサが含まれる場合に、前記画像センサにより撮像された画像に含まれる前記車両に接近する物体の属性に関する情報を前記情報提供装置に出力させるものである。
【0013】
(8):上記(4)の態様において、前記管理部は、前記車両に対する行動指示の内容に応じた速度制御または操舵制御のうち一方または双方を前記車両に実行させるための情報を前記車両に出力するものである。
【0014】
(9):上記(1)の態様において、前記監視対象エリアに含まれる道路の曲率が閾値未満の区間には前記電波式センサが設置され、前記道路の曲率が閾値以上の区間には前記光学式センサが設置されるものである。
【0015】
(10):本発明の他の態様に係るエリア監視方法は、コンピュータが、監視対象エリアに設置され、前記監視対象エリアを移動する移動体を検出する複数のセンサ装置のそれぞれの検出結果に基づいて前記複数のセンサ装置のそれぞれで検出された移動体が同一物体であるか否か判定し、前記複数のセンサ装置は、少なくとも電波式センサと光学式センサとを含み、前記電波式センサと前記光学式センサのそれぞれで前記移動体が検出された場合に、前記移動体の移動に関する特徴量と、前記移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて、前記電波式センサと前記光学式センサのそれぞれで検出された前記移動体が前記同一物体か否かを判定する、エリア監視方法である。
【発明の効果】
【0016】
上記(1)~(10)の態様によれば、監視対象エリアをより適切に監視することができる。
【図面の簡単な説明】
【0017】
図1】実施形態に係るエリア監視システム1の構成の一例を示す図である。
図2】センサ装置100の構成の一例を示す図である。
図3】情報提供装置200の構成の一例を示す図である。
図4】車両300の構成の一例を示す図である。
図5】車両300を上方から見た透視図である。
図6】エリア監視サーバ400の構成の一例を示す図である。
図7】第1の監視例について説明するための図である。
図8】第2の監視例について説明するための図である。
図9】第3の監視例について説明するための図である。
図10】センサ種別に対する特性情報の一例を示す図である。
図11】情報提供の第1の例を示す図である。
図12】情報提供の第2の例を示す図である。
図13】実施形態のエリア監視システム1により実行される処理の流れの一例を示すシーケンス図である。
図14】第1の処理の一例を示すフローチャートである。
図15】第2の処理の一例を示すフローチャートである。
図16】第3の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、図面を参照し、本発明のエリア監視システムおよびエリア監視方法の実施形態について説明する。なお、実施形態のエリア監視システムにおける移動体とは、二輪、三輪、または四輪等の車両、自転車、人(歩行者)等、道路を移動可能な物体を含む。「道路」には、車両専用の道路(車線)だけでなく、車両や人等が移動可能な道、通路、路面、所定の大きさや長さを有する領域等が含まれてよい。車両は、人(運転者)が搭乗し、路面を移動可能なあらゆる車両を含み、例えば、一人乗りの車両(マイクロモビリティ)等を含む。以下の説明において、車両は、四輪のマイクロモビリティであるものとして説明する。また、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合、左右を逆に読み替えればよい。
【0019】
[システム構成]
図1は、実施形態に係るエリア監視システム1の構成の一例を示す図である。図1に示すエリア監視システム1は、例えば、センサ装置100と、情報提供装置200と、車両300と、エリア監視サーバ400とを備える。これらは、例えば、ネットワークNWを介して通信可能に接続されている。ネットワークNWは、例えば、インターネット、セルラー網、Wi-Fi網、WAN(Wide Area Network)、LAN(Local Area Network)、プロバイダ装置、無線基地局等を含む。エリア監視システム1には、センサ装置100、情報提供装置200、車両300、エリア監視サーバ400のそれぞれが、一以上含まれてよい。また、エリア監視システム1は、情報提供装置200または車両300の少なくとも一方が含まれない構成であってもよい。また、エリア監視システム1は、一以上の中継装置(例えば、ゲートウェイ装置や小規模サーバ)を介して各構成との間で情報の送受信が行われてよい。
【0020】
センサ装置100は、監視対象エリアに存在する物体を検出する。監視対象エリアとは、例えば、車両300や、歩行者、自転車等の交通参加者等の移動体が通行するような道路を含むエリアである。センサ装置100は、監視対象エリアが道路等の場合に、道路に沿って所定間隔等で複数設置される。センサ装置100には、光学式センサと、電波式センサとが含まれてよい。光学式センサは、例えばデジタルカメラ等のカメラ装置(画像センサ)であり、具体的には、ステレオカメラや単眼カメラ、魚眼カメラ、赤外線カメラ等が含まれる。電波式センサには、レーダ装置やLIDER(Light Detection and Ranging)、TOF(Time Of Flight)カメラ等が含まれる。レーダ装置は、センサ装置100の周辺にミリ波等の電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。LIDARは、センサ装置100の周辺に光(或いは光に近い波長の電磁波)を照射し、散乱光を測定する。LIDARは、発光から受光までの時間に基づいて、センサ装置100から対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。監視対象エリアが道路の場合、センサ装置100は、例えば道路の上方から道路を含む領域を撮像するように設置される。設置される複数のセンサ装置100のそれぞれのセンサ範囲(撮影範囲)は、少なくとも一部が重なっていてもよく、重なっていなくてもよい。
【0021】
情報提供装置200は、監視対象エリア付近に設置され、監視対象エリアを通行する車両300や交通参加者に情報を提供する。また、情報提供装置200は、監視対象エリアを保全(管理)する管理者(保全担当者)が所有する端末装置(例えば、スマートフォンやタブレット端末)であってもよい。
【0022】
車両300は、例えば、ガソリン、軽油、水素等の燃料によって稼働する内燃機関の稼働に応じて出力される動力によって走行する。また、車両300は、バッテリにより供給される電力によって駆動される電動機(電動モータ)によって走行してもよい。バッテリは、例えば、リチウムイオン二次電池(Lithium-Ion Battery:LIB)やニッケル水素電池、全固体電池等である。また、車両300は、上述した内燃機関または電動機を駆動源とするハイブリッド車両であってもよい。内燃機関や電動機は、車両300に搭載された動力源の一例である。
【0023】
エリア監視サーバ400は、ネットワークNWを介して、センサ装置100や車両300から得られる情報に基づいて、監視対象エリアの状況(例えば、エリア内を移動する移動体の状況や路面の状況、センサ装置100の設置状況)を監視し、監視結果に基づく情報を情報提供装置200により出力させる。エリア監視サーバ400は、例えば、クラウドコンピューティングシステムに組み込まれたサーバ装置や記憶装置に実現されてもよい。この場合、クラウドコンピューティングシステムにおける複数のサーバ装置や記憶装置によって、エリア監視サーバ400の機能が実現されてもよい。
【0024】
次に、センサ装置100、情報提供装置200、車両300、およびエリア監視サーバ400のそれぞれの機能構成について具体的に説明する。
【0025】
[センサ装置]
図2は、センサ装置100の構成の一例を示す図である。なお、図2の例では、センサ装置100がカメラ装置である場合の構成を示している。センサ装置100は、例えば、通信部110と、撮像部120と、制御部130とを備える。
【0026】
通信部110は、ネットワークNWを介して、エリア監視サーバ400、その他の外部装置と通信する。例えば、通信部110は、撮像部120により撮像された画像データをエリア監視サーバ400に送信する。また、通信部110は、エリア監視サーバ400から受信した情報を、周辺に存在する情報提供装置200や車両300に送信してもよい。
【0027】
撮像部120は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。撮像部120は、監視対象エリアを含む領域を所定周期や所定のタイミングで繰り返し撮像する。撮像部120の画角(撮影領域)は固定である。撮像部120は、ステレオカメラであってもよく、単眼カメラや魚眼カメラ、赤外線カメラ等であってもよい。
【0028】
なお、センサ装置100が電波式センサの場合、撮像部120に代えて(または加えて)、レーダ装置やLIDAR、TOFカメラ等が設けられる。また、センサ装置100には、周囲の音を収音するマイクが設けられてよい。
【0029】
制御部130は、センサ装置100の各構成全体を制御する。例えば、制御部130は、撮像部120により撮影された画像(以下、カメラ画像と称する)と、撮像日時情報と、センサ装置100を識別する識別情報(例えば、センサID)とを含むセンサデータを、ネットワークNWを介してエリア監視サーバ400に送信する。センサデータには、カメラ画像に加えて(または代えて)、レーダ装置やLIDAR、マイク等の各種センサによって得られる情報が含まれてよい。
【0030】
[情報提供装置]
図3は、情報提供装置200の構成の一例を示す図である。情報提供装置200は、例えば、通信部210と、ディスプレイ220と、スピーカ230と、制御部240とを備える。
【0031】
通信部210は、ネットワークNWを介して、エリア監視サーバ400、その他の外部装置と通信する。例えば、通信部210は、エリア監視サーバ400から送信された各種情報を受信する。
【0032】
ディスプレイ220は、エリア監視サーバ400から提供された情報に関する画像を表示する。ディスプレイ220は、例えば電光掲示板、電子看板等のデジタルサイネージシステムである。スピーカ230は、エリア監視サーバ400から提供された情報に関する音声を出力する。情報提供装置200には、ディスプレイ220、および、スピーカ230のうち、少なくとも1つが含まれていればよい。
【0033】
制御部240は、情報提供装置200の各構成全体を制御する。例えば、制御部240は、エリア監視サーバ400により提供された情報に関する画像や音声を生成し、生成した画像や音声をディスプレイ220またはスピーカ230から出力させる。また、制御部240は、エリア監視サーバ400から画像や音声が提供された場合は、その画像や音声をそのままディスプレイ220やスピーカ230に出力させてもよい。
【0034】
なお、情報提供装置200には、上述した構成に代えて(または加えて)、発光部が設けられてよい。発光部は、例えば、監視対象エリアの道路に設けられた停止線や横断歩道等の路面標示の少なくとも一部に設けられた発光体を点灯または点滅させる。発光部は、例えば、LED(Light Emitting Diode)であるが、これに限定されない。また、発光部は、ディスプレイの周囲または少なくとも一部を発光させてもよい。また、発光部は、予め決められた色で発光してもよく、制御部240により指示された色で発光してもよい。また、制御部240は、エリア監視サーバ400からの指示により、発光部を発光させる。発光部は、例えば、道路を横断する横断歩道や車両の進行を停止させる停止線に設けられる。
【0035】
[車両]
図4は、車両300の構成の一例を示す図である。車両300には、例えば、外界検知デバイス302と、車両センサ304と、操作子306と、内部カメラ308と、測位装置310と、通信装置312と、HMI(Human Machine Interface)314と、移動機構320と、駆動装置330と、外部報知装置340と、記憶装置350と、制御装置360とが搭載される。なお、これらの構成のうち本発明の機能を実現するのに必須でない一部の構成が省略されてもよい。
【0036】
外界検知デバイス302は、車両300の外部状況を検知する。例えば、外界検知デバイス302は、車両300の周囲の少なくとも一部(進行方向を含む)を検知範囲とする各種デバイスである。外界検知デバイス302は、外部カメラ、レーダ装置、LIDAR、センサフュージョン装置等を含む。外部カメラは、例えば、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。外部カメラは、車両300の任意の箇所に取り付けられる。前方を撮像する場合、外部カメラは、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。外部カメラは、例えば、周期的に繰り返し車両300の周辺(進行方向を含む周辺)を撮像する。外部カメラは、ステレオカメラであってもよく、単眼カメラや魚眼カメラ等であってもよい。
【0037】
レーダ装置は、車両300の周辺にミリ波等の電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置は、車両300の任意の箇所に取り付けられる。車両300は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。LIDARは、車両300の周辺に光(或いは光に近い波長の電磁波)を照射し、散乱光を測定する。LIDARは、発光から受光までの時間に基づいて、車両300から対象までの距離を検出する。LIDARは、車両300の任意の箇所に取り付けられる。外界検知デバイス302は、検知結果を示す情報(画像、物体の位置等)を制御装置360に出力する。
【0038】
車両センサ304は、例えば、速度センサ、加速度センサ、ヨーレート(角速度)センサ、方位センサ、並びに操作子306に取り付けられた操作量検出センサ等を含む。
【0039】
操作子306は、車両300の乗員による運転操作を受け付ける。操作子306は、例えば、加減速を指示するための操作子(例えばアクセルペダルやブレーキペダル、ダイヤルスイッチ、レバー)と、操舵を指示するための操作子(例えばステアリングホイール)とを含む。この場合、車両センサ304は、アクセル開度センサやブレーキ踏量センサ、ステアリングトルクセンサ等を含んでよい。車両300は、操作子306として、上記以外の態様の操作子(例えば、円環状でない回転操作子、ジョイスティック、ボタン等)を備えてもよい。
【0040】
内部カメラ308は、車両300の乗員の少なくとも頭部を正面から撮像する。内部カメラ308は、CCDやCMOS等の撮像素子を利用したデジタルカメラである。内部カメラ308は、撮像した画像を制御装置360に出力する。
【0041】
測位装置310は、車両300の位置を測位する装置である。測位装置310は、例えば、GNSS(Global Navigation Satellite System)受信機であり、GNSS衛星から受信した信号に基づいて、車両300の位置を特定し、位置情報として出力する。なお、車両300の位置情報は、通信装置312が接続しているWi-Fi基地局の位置から推定されてもよい。測位装置310は、車両センサ304に含まれてよい。
【0042】
通信装置312は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等を利用して、周辺に存在する他の車両と通信したり、或いは無線基地局を介して各種外部装置(例えば、エリア監視サーバ400、センサ装置100、情報提供装置200)と通信する。
【0043】
HMI314は、車両300の乗員に対して各種情報を提示(または報知、通知)すると共に、乗員による入力操作を受け付ける。HMI314は、各種ディスプレイ装置、スピーカ、マイク、ブザー、タッチパネル、スイッチ、キー、ランプ等を含む。HMI314は、「内部報知装置」の一例である。例えば、HMI314は、制御装置360により制御される車両300の走行状態を、走行状態の違いによって異なる報知態様で乗員に報知する。また、HMI314は、例えば、制御装置360からの情報を提示したり、通信装置312により外部装置から取得した情報を提示する。
【0044】
移動機構320は、道路において車両300を移動させるための機構である。移動機構320は、例えば、操舵輪と駆動輪とを含む車輪群である。また、移動機構320は、多足歩行するための脚部であってもよい。
【0045】
駆動装置330は、移動機構320に力を出力して車両300を移動させる。例えば、駆動装置330は、駆動輪を駆動するモータ、モータに供給する電力を蓄えるバッテリ、操舵輪の操舵角を調整する操舵装置等を含む。駆動装置330は、駆動力出力手段、或いは発電手段として、内燃機関や燃料電池等を備えてもよい。また、駆動装置330は、摩擦力や空気抵抗によるブレーキ装置を更に備えてもよい。駆動装置330は、操作子306の操作内容(手動運転操作)に代えて(または加えて)、エリア監視サーバ400からの操舵制御や速度制御に関する情報に基づいて、車両300の走行を制御してもよい。
【0046】
外部報知装置340は、例えば車両300の外板部に設けられ、車両300の外部に向けて情報を報知するためのランプ、ディスプレイ装置、スピーカ等である。外部報知装置340は、例えば、制御装置360により制御される車両300の走行状態を、走行状態の違いによって異なる報知態様で移動体の周囲(車両300から所定距離以内)に報知する。
【0047】
図5は、車両300を上方から見た透視図である。図中、FWは操舵輪、RWは駆動輪、SDは操舵装置、MTはモータ、BTはバッテリである。操舵装置SD、モータMT、バッテリBTは駆動装置330に含まれる。また、APはアクセルペダル、BPはブレーキペダル、WHはステアリングホイール、SPはスピーカ、MCはマイクである。図示する車両300は一人乗りの四輪車両であり、乗員Pは運転席DSに着座してシートベルトSBを装着している。矢印α1は車両300の進行方向(速度ベクトル)である。
【0048】
外界検知デバイス302は車両300の前端部付近に、内部カメラ308は乗員Pの前方から乗員Pの頭部を撮像可能な位置にそれぞれ設けられている。また、車両300の前端部付近に、ディスプレイ装置としての外部報知装置340が設けられている。また、移動体内部の乗員Pの前方には、ディスプレイ装置としてのHMI314が設けられている。外部報知装置340はスピーカSPと一体に形成されてもよく、HMI314は、スピーカSPおよびマイクMCと一体に形成されてもよい。
【0049】
図4に戻り、記憶装置350は、例えば、HDD(Hard Disk Drive)やフラッシュメモリ、RAM(Random Access Memory)等の非一過性の記憶装置である。記憶装置350には、地図情報352、制御装置360が実行するプログラム354等が格納される。地図情報352は、例えば、位置情報に対応付けられた道路情報(道路形状(幅員、曲率、勾配)、停止線や横断歩道の位置)、POI(Point Of Interest)情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が格納される。位置情報には、緯度経度が含まれる。図では記憶装置350を制御装置360の枠外に記載しているが、記憶装置350は制御装置360に含まれるものであってよい。
【0050】
制御装置360は、例えば物体認識部362と、制御部364とを備える。物体認識部362と、制御部364とは、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)354を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶装置350に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置350にインストールされてもよい。
【0051】
物体認識部362は、外界検知デバイス302の出力に基づいて、車両300の周囲状況を認識する。例えば、物体認識部362は、車両300から所定距離以内に存在する物体を認識する。物体とは、車両や自転車、歩行者等の移動体、道路区画線、段差、ガードレール、路肩、中央分離帯等の走路境界、道路標識や看板等の路上に設置された構造物、および、走路上に存在する(落ちている)落下物等の障害物のうち一部または全部を含む。物体認識部362は、例えば、外界検知デバイス302の外部カメラが撮像した画像が入力されると物体の存在、位置、種別等の情報を出力するように学習された学習済モデルに、外部カメラの撮像した画像を入力することで、他の移動体の存在、位置、種別等情報を取得する。他の移動体の種別は、画像におけるサイズや外界検知デバイス302のレーダ装置が受信する反射波の強度等に基づいて推定することもできる。また、物体認識部362は、例えば、レーダ装置がドップラーシフト等を利用して検出した他の移動体の速度を認識してもよい。
【0052】
また、物体認識部362は、車両300が走行している道路を区画する区画線を認識する。例えば、物体認識部362は、例えば、外界検知デバイス302の外部カメラが撮像した画像を解析することで、区画線を認識する。なお、区画線の認識には、レーダ装置、LIDAR、センサフュージョン装置等の出力が補助的に用いられてもよい。
【0053】
また、物体認識部362は、測位装置310による車両300の位置情報と地図情報352とを照合して、車両300が道路上を走行しているか否か(道路を逸脱しているか否か)を認識してもよい。
【0054】
制御部364は、車両300の各構成全体を制御する。例えば、制御部364は、物体認識部362により認識された情報に基づいて、HMI314から乗員に通知するための情報を出力させたり、外部報知装置340に情報を出力させる。また、制御部364は、外界検知デバイス302により取得した情報や、物体認識部362により認識された周辺状況、測位装置310により測位された車両300の位置情報等と、日時情報(取得日時、認識日時、測位日時)とを含む車両データを通信装置312によりエリア監視サーバ400に送信させる。また、制御部364は、エリア監視サーバ400から提供された情報に基づいて、HMI314に情報を出力させたり、外部報知装置340に情報を出力させたり、駆動装置330に走行制御を実行させたりする。
【0055】
[エリア監視サーバ]
図6は、エリア監視サーバ400の構成の一例を示す図である。エリア監視サーバ400は、例えば、サーバ側通信部410と、取得部420と、解析部430と、管理部440と、提供部450と、サーバ側記憶部460とを備える。取得部420と、解析部430と、管理部440と、提供部450とは、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶装置に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
【0056】
サーバ側記憶部460は、上記の各種記憶装置、或いはSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM等により実現されてもよい。サーバ側記憶部460は、例えば、監視情報DB(Database)462、インフラ設備情報464、地図情報466、プログラム、その他の各種情報等が格納される。
【0057】
監視情報DB462には、センサ装置100から送信されたセンサデータや、車両300から送信された車両データ等の内容が格納される。インフラ設備情報464には、例えば、センサ装置100のセンサIDまたは情報提供装置200の識別情報(情報提供装置ID)に、設置位置と、設置した向き(画角(撮影範囲)、表示方向)と、種類情報とがそれぞれ対応付けられている。例えば、センサ装置100の場合、種類情報には、ステレオカメラ、単眼カメラ、魚眼カメラ、赤外線カメラ、TOFカメラ、レーダ装置やLIDAR、マイク等を識別する識別情報が含まれる。また、情報提供装置200の場合、種類情報には、例えば、ディスプレイ、スピーカ、発光部を識別する識別情報が含まれる。地図情報466は、地図情報352と同様の情報が含まれる。地図情報466は、サーバ側通信部410が外部装置と通信することにより、随時、アップデートされてよい。
【0058】
サーバ側通信部410は、ネットワークNWを介して、センサ装置100、情報提供装置200、車両300、その他の外部装置と通信する。
【0059】
取得部420は、センサ装置100や車両300、その他外部装置から情報を取得する。例えば、取得部420は、センサ装置100からセンサデータを取得したり、車両300から車両データを取得し、取得したデータを監視情報DB472に格納する。
【0060】
解析部430は、取得部420により取得されたセンサデータや車両データを解析する。例えば、解析部430は、センサデータや車両データに画像データが含まれる場合に、画像データを解析する。例えば、解析部430は、画像データを俯瞰図座標系に座標変換し、変換した座標系に基づいて周知の手法(二値化処理、輪郭抽出処理、画像強調処理、特徴量抽出処理、パターンマッチング処理等)で画像解析処理を行って、センサ装置100の周辺状況を認識する。また、解析部430は、座標変換を行わずに上述の画像解析処理を行ってもよい。
【0061】
例えば、解析部430は、画像データの解析によって得られる特徴情報と、物体ごとに予め決められた特徴情報とのマッチング結果(合致度合)に基づいて、画像データに含まれる物体を特定する。合致度合は、例えば、特徴情報に含まれる複数の特徴要素のうち、一致する要素がどのぐらいあるかによって導出されてもよく、特徴要素ごとまたは特徴情報全体の類似度によって導出されてもよい。また、合致度合は、例えば、それぞれの要素ごとの差分の合計に基づいて導出されてもよい。また、合致度合は、機械学習(ニューラルネットワーク)や深層学習(ディープラーニング)等のAI(人工知能:Artificial Intelligence)による機能を用いて、比較される二つの情報から導出されてもよく、他の手法を用いて導出されてもよい。
【0062】
また、解析部430は、画像データに含まれる監視対象エリア内に存在する物体の位置、種類、速度等を認識してもよい。物体には、例えば、車両300や歩行者、自転車等の移動体が含まれる。また物体には、道路構造物等が含まれてもよい。道路構造物には、例えば、道路標識や交通信号機、縁石、中央分離帯、ガードレール、フェンス、壁、踏切、路面に描画された横断歩道、停止線等が含まれる。また、物体には、車両300の走行の障害となる(または障害となる可能性が高い)障害物が含まれてもよい。
【0063】
また、解析部430は、監視対象エリア内に存在する移動体の位置(相対位置)を認識したり、時系列の画像データを用いて移動体の速度、加速度、移動方向等の状態を認識する。物体の位置は、例えば、移動体の代表点(重心や駆動軸中心等)を原点とした絶対座標系の位置として認識される。物体の「状態」とは、例えば、移動体の加速度やジャーク、あるいは「行動状態」(例えば横断歩道を通行している、またはしようとしているか否か)を含んでもよい。また、解析部430は、物体認識部362で行った物体認識処理と同様の処理により物体を認識してもよい。
【0064】
また、解析部430は、監視対象エリアに含まれる移動体を特定するための形状等の特徴情報を解析してもよい。特徴情報には、形状の他、模様(外部から視認可能な記号、数字等を含む)、色等が含まれてよい。また解析部430は、移動体の所定区間における走行時間を計測してもよい。
【0065】
また、解析部430は、画像データに含まれる道路の位置と、予め同一のセンサ装置100によって撮像された基準となる画像データ(基準画像)に含まれる道路の位置との誤差を解析してもよい。基準画像は、同一のセンサ装置100を用いて、正しい位置、方向、および画角(撮影範囲)で撮影した画像である。例えば、画像データに基づく道路状況と、予め決められた基準画像に基づく道路状況との乖離度合を導出する。乖離度合とは、乖離の大きさを示す指標値であり、乖離が大きいほど度合が大きくなる。例えば、解析部430は、撮像した画像データと、基準となる画像データのそれぞれを二値化し、二値化した結果から得られる道路区画線の距離や方向等のずれ量(乖離量)から乖離度合を解析する。
【0066】
また、解析部430は、画像データを取得した季節、天候、または時間帯に基づいて、画像データの全画像領域のうち、解析対象として用いる画像領域を抽出し、抽出した領域の画像(抽出画像)を用いて乖離量を解析してもよい。これにより、監視対象エリア周辺の建物や樹木等による影の移動によって、画像に含まれる物体を誤認識することを抑制することができる。
【0067】
また、解析部430は、監視対象エリアにおいて、複数のセンサ装置のセンサ範囲外を移動体が移動している場合に、他の移動体に搭載されたセンサ(外界検知デバイス302)により得られた車両データを用いて、監視対象エリアの状況を監視してもよい。また、解析部430は、センサデータから移動体の移動に関する情報と、移動体の属性に応じた反射強度とのうち少なくとも一つの情報を認識してもよい。移動体の移動に関する情報には、例えば、移動体の位置の偏差や速度分布等、移動によって変化する(移動量が導出可能な)各種情報が含まれる。移動体の位置の偏差とは、例えば、道路の延伸方向(縦方向)に対する横方向(道路幅方向)の位置の偏差である。偏差には、車線中央よりも右側に寄っている等の情報や、所定時間における横位置変化量等の情報が含まれる。速度分布とは、移動体の時系列の速度のパターン(例えば、徐々に減速または加速している、または一定速度で走行している)である。移動体の属性とは、例えば、車両や歩行者、自転車等の種別である。
【0068】
管理部440は、解析部430による解析結果等に基づいて、監視対象エリアの状況を管理する。例えば、管理部440は、監視対象エリアに含まれる道路を走行する車両300が、道路から逸脱する傾向にあるか否かや、車両300がスリップ(横滑り)しているか否か、他の物体と接触する可能性があるか否か等を管理する。また、管理部440は、解析部430により計測された車両300の所定区間の走行時間と、予め決められた基準走行時間との差が閾値以上である場合に、車両300の異常(例えば、乗員の体調不良、車両故障)または監視対象エリアに異常(例えば、路面凍結)があると判定してもよい。
【0069】
また、管理部440は、例えば判定部442を備えてもよい。判定部442は、監視対象エリア付近に設置された複数のセンサ装置100のそれぞれの検出結果に基づいて、複数のセンサ装置100のそれぞれで検出された移動体が同一物体であるか否か判定する。管理部440は、同一物体であると判定された場合には、各センサの解析結果を統合して移動体の挙動を追跡し、同一物体でないと判定された場合には、個別に移動体の挙動を追跡する。また、判定部442は、解析部430により解析された基準画像との乖離度合が閾値以上か否かを判定してもよい。管理部440は、乖離度合が閾値以上であると判定された場合、周辺監視エリアもしくはセンサ装置100の少なくとも一方の保全が必要であると判定する。例えば、管理部440は、センサ装置100により撮像された画像に含まれる道路の位置と、基準画像に含まれる道路の位置との誤差が閾値以上である場合に、センサ装置100の保全が必要であると判定する。
【0070】
提供部450は、監視対象エリアを走行する車両300や、エリア付近に設置されたセンサ装置100、情報提供装置200を介して、監視対象エリアを移動する移動体(車両300や歩行者等の交通参加者)に情報を提供する。この場合の提供する情報には、例えば、移動体に対する行動指示(例えば、減速、停止等)が含まれる。また、提供部450は、監視対象エリアを管理する管理者(例えば、保全担当者)等に情報を提供してもよい。この場合の提供する情報には、保全箇所や保全内容(例えば、センサ装置の設置位置の調整、監視対象エリアの清掃)が含まれる。
【0071】
[エリア監視の具体例]
次に、エリア監視システム1におけるエリア監視の具体例について、幾つかの例に分けて説明する。
【0072】
<第1の監視例>
図7は、第1の監視例について説明するための図である。第1の監視例は、例えば、路上(監視対象エリアの一例)に設置された複数のセンサ装置100から得られる情報を統合して監視対路上の状況を網羅的に監視するものである。図7の例では、道路区画線LR、LLによって区画された車線L1を走行する車両300-1、300-2と、車線L1付近に設置されたセンサ装置100-1、100-2が示されている。センサ装置100-1は「第1のセンサ装置」の一例であり、センサ装置100-2は「第2のセンサ装置」の一例である。車両300-1は、車線L1の延伸方向に向かって速度V1で走行し、車両300-2は、車両300-1の後方を速度V2で車両300-1と同一方向に走行しているものとする。センサ装置100-1、100-2は、所定間隔を空けて設置されており、それぞれ固定の画角(撮像範囲)AR1、AR2で少なくとも道路(車線L1)の一部を含む領域を撮像する。撮像されたカメラ画像を含むセンサデータは、通信部110によりエリア監視サーバ400に送信される。なお、センサ装置100-1、100-2の設置位置、方向、画角(基準画像に関する情報)については、予めインフラ設備情報464に登録されている。
【0073】
エリア監視サーバ400の取得部420は、センサ装置100-1、100-2から送信されたセンサデータを取得する。取得したセンサデータは、監視情報DB462に格納されてよい。解析部430は、センサデータを解析し、車両300-1、300-2の位置や道路区画線LR、LLの位置等を認識する。また、解析部430は、時系列のセンサデータから得られる所定時間における移動量(位置の変化量)から車両300-1、300-2の速度を解析する。また、解析部430は、車両300の形状(例えば、車両300のルーフ部分)等の特徴情報の合致度合に基づいて、複数のセンサ装置100から取得したそれぞれのセンサデータに含まれる車両を同定する。例えば、解析部430は、合致度合が閾値以上の車両を同一車両(同一物体)として同定し、その車両には共通の識別情報を付与し、合致度合が閾値未満の車両には、他と異なる識別情報を付与する。これにより、管理部440は、付与された識別情報に基づいて車両ごとに移動状況を管理することができる。また、解析部430は、監視対象エリアに存在する車両300以外の移動体についても同様の解析処理を行ってよい。
【0074】
管理部440は、解析結果に基づいて、車両300の走行状況を追跡し、車両300-1、300-2が車線L1を逸脱する傾向にあるか否かを管理したり、スリップ等により車両300-1、300-2の挙動に異常が生じているか否か等を管理する。例えば、管理部440の判定部442は、解析結果により、所定の地点間における車両300の移動速度や移動方向を取得し、取得した移動速度や移動方向と道路区画線LR、LLとの位置関係から、所定時間内に車両300が道路区画線LR、LLを踏み越える可能性があると判定した場合に、その車両300が車線L1を逸脱する傾向にあると判定する。
【0075】
また、管理部440は、車線L1(道路)の延伸方向と車両300の進行方向とにより成す角度の所定時間における変化量(所定時間内における進行方向に対するヨー角(ヨーレート(角速度))の変化率)が閾値以上である場合に、車両300がスリップしていると判定してもよい。
【0076】
ここで、監視対象エリアに設置される複数のセンサ装置100は、それぞれのセンサ範囲(例えば、カメラ装置の画角)が重なるような間隔で連続に設置することで、同一車両や同一人物を、より精度良く追跡することができる。しかしながら、実際には道路形状や設備コスト等の影響で、センサ範囲が重ならずに設置される場合もあり、その場合には監視対象エリアに死角が生じる。そこで、第1の監視例では、センサ範囲が重複していない状況下において、通行する車両が複数のセンサ装置100のうちの一つのセンサ範囲外となり、他方のセンサ装置100がセンサ範囲に向かっていると推定される場合に、センサ範囲が重複しない区間の情報を、車両300に搭載された外界検知デバイス302の検知結果から取得する。
【0077】
例えば、図7に示す車両300-1の走行状況を監視する場合、センサ装置100-1、100-2のセンサ範囲(画角AR1、AR2)外における車両300-1の挙動を車両300-2に搭載された外界検知デバイス302で撮像された画像データを用いて追跡する。これにより、画角AR1、AR2に含まれない死角エリアにおける車両300-1の車線逸脱やスリップ等を認識することができる。
【0078】
なお、第1の監視例は、複数のセンサ装置100のセンサ範囲が重複する場合であっても、季節、天候、または時間帯に基づいて、画像データの全画像領域から抽出した画像を用いて解析することにより、死角エリアが生じた場合にも同様に車両300-2に搭載された外界検知デバイス302で撮像された画像データの解析結果を用いて追跡を行ってよい。
【0079】
このように、第1の監視例によれば、センサ装置100によるセンサデータの死角を車両300-2から取得した車両データを用いて補間することで、死角エリアを減少させることができ、監視対象エリアで発生している状況を漏れなく監視することができる。
【0080】
<第2の監視例>
図8は、第2の監視例について説明するための図である。第2の監視例は、例えば、監視対象エリアに設置された複数のセンサ装置100で撮像された画像の解析結果と、監視対象エリアに含まれる道路形状とに基づいて、車両300の挙動を監視するものである。図8の例では、車線L1に直交するように車線L2が連結されたT字路の道路を示している。
【0081】
第2の監視例において、センサ装置100-1、100-2は、センサ範囲(画角AR1、AR2)が重複しない位置に設置されている。管理部440は、それぞれのセンサ装置100-1、100-2に基づいて、車両300-1の走行状況を追跡する。ここで、管理部440は、センサ装置100-1の画角AR1内に存在した車両300が画角AR1外に移動し、センサ装置100-2の画角AR2の方向に向かうと推定される場合であって、所定時間内にセンサ装置100-2で撮像されたセンサデータに車両300が認識されない場合に、車両300に異常が生じている可能性があると予測したり、車両300が停止したと予測する。また、管理部440は、センサ装置100-1、100-2の位置情報に基づいて、地図情報466を参照し、センサ装置100の設置位置周辺の道路形状を取得し、センサ装置100-1と100-2のそれぞれのセンサ範囲の間に車線L1と連結する車線(分岐車線)L2が存在する場合に、車両300が車線L2に進んだ可能性があると予測する。なお、車線L2は、「分岐する道路」の一例である。
【0082】
また、管理部440は、所定時間内にセンサ装置100-2で撮像されたセンサデータに車両300が認識されない場合であって、且つ、他の車両も認識されない(または通過する車両数が閾値未満)である場合に、画角AR1とAR2の間の区間で事故等の異常が生じている可能性があると予測してもよい。第1、第2の監視例によれば、路上に設置された複数のセンサ装置100を用いて、監視対象エリアをより適切に監視することができる。
【0083】
<第3の監視例>
図9は、第3の監視例について説明するための図である。第3の監視例は、監視対象エリア付近に設置されたセンサ装置100の設置状況を監視するものである。なお、図9の例では、対向車両も通行可能な道路RD1を図中X軸方向に走行する車両300を示している。例えば、センサ装置100は、地震や風雨等の影響で向きやセンサ範囲が基準からずれてしまうことがある。そのずれを早期に検出しないと、物体を認識できなかったり、誤認識等により正確なエリア監視ができない可能性が生じる。そこで、第3の監視例において、管理部440は、監視対象エリアの道路RD1を同一方向(例えば、X軸方向)に走行する車両300が通過する位置(走行路位置)を集計し、集計結果に基づいてセンサ装置100の設置状況を監視する。
【0084】
例えば、管理部440は、路上に設置されるセンサ装置100について、集計結果として得られる実際に認識された走行路位置と、予め決められた走行路位置との誤差(ピクセルの乖離量)W1を取得し、取得した誤差W1が閾値以上である場合に、センサ装置100の状態(設置状態)に異常があると判定する。
【0085】
なお、図9の例では、道路RD1の横方向へのずれ量W1に基づいて判定したが、これに代えて(または加えて)、道路D1の縦方向、斜め方向、回転方向等に対するそれぞれのずれ量を取得し、取得した多次元のずれ量に基づいて、センサ装置100の状態に異常があるか否かを判定してもよい。
【0086】
また、管理部440は、画像データから道路領域として認識されたピクセル総量が、閾値以下であると判定された場合、道路上に落ち葉や他の障害物等が存在している可能性があると予測してもよい。
【0087】
なお、日射方向や周辺環境(例えば樹木や建物等)、監視対象エリアに設置された外灯により、監視対象エリア内の道路上に影ができると予測される場合に、道路として認識されるピクセル総量が変化する可能性がある。そこで、管理部440は、時間帯ごとにピクセル総量を調整してもよく、時間帯における影の位置や範囲を考慮して画像内に認識処理を行わないエリアを設定し、そのエリア外の画像を用いて道路のピクセル総量に基づく道路の状況を監視してもよい。なお、管理部440は、季節ごとに時間帯を調整してもよく、天候による影の有無によって、上述した処理を行うか否かを判定してもよい。
【0088】
また、第3の監視例において、管理部440は、監視結果に基づいて、監視対象エリアもしくはセンサ装置100の少なくとも一方に関する保全が必要か否かを判定してもよい。例えば、保全には、例えば監視対象エリアに含まれる道路の保全や、監視対象エリアに設置されたセンサ装置100の保全が含まれる。道路の保全には、例えば、道路上の落ち葉やごみの清掃、障害物の撤去、水たまりの排水作業等が含まれる。また、センサ装置100の保全には、例えば、センサ装置100の設置方向のずれを修正(再調整)したり、装置自体を修理または交換する作業等が含まれる。ここで、道路の保全に対する監視と、センサ装置100の保全に対する監視の具体例について以下に説明する。
【0089】
<道路の保全に対する監視>
道路の保全に対する監視の場合、管理部440は、例えば基準画像とカメラ画像との第1乖離量が所定量以上である場合にカメラ画像に含まれる道路の保全が必要であると判定し、提供部450に保全を促す情報を提供させる。第1乖離量とは、例えば、カメラ画像の道路として認識されている部分のピクセル総量が基準画像の同部位と比した際のピクセル量(ビット数)の差分値である。例えば、路面に落ち葉等が堆積している道路のカメラ画像を二値化した場合、落ち葉の堆積している領域が道路として認識されず、カメラ画像の道路として認識されている部分のピクセル量が基準画像よりも少なくなる可能性がある。また、道路上または道路周辺に水たまりなどがある場合には、撮像環境によっては逆にピクセル量が基準画像よりも多くなる可能性がある。したがって、管理部440は、第1乖離量に基づく乖離度合が閾値以上である場合(つまり乖離が大きい場合)に道路の保全が必要であると判定する。
【0090】
<センサ装置100の保全に対する監視>
センサ装置100(例えば、カメラ装置)の保全に対する監視の場合、例えば、管理部440は、基準画像に含まれる道路の位置とカメラ画像に含まれる道路の位置の誤差が閾値以上である場合に、提供部450にセンサ装置100の保全を促す情報を提供させる。例えば、管理部440は、例えば基準画像とカメラ画像との第2乖離量が所定量以上である場合にそのカメラ画像を撮像したカメラ装置の保全が必要であると判定し、提供部450に保全を促す情報を提供させる。第2乖離量とは、二値化基準画像と二値化カメラ画像のそれぞれで、道路として認識(設定)されている部分を掛け合わせて出力し、その出力結果と、二値化基準画像の道路として認識されたピクセル量(ビット数)との差分値である。「掛け合わせて出力する」とは、例えば、それぞれの二値化画像で道路として認識されている部分(ピクセル)を「1」、それ以外の部分(ピクセル)を「0」とし、それぞれの画像の同一位置にあるピクセルの値(1または0)同士を掛け算し、更にその結果を全ピクセルで加算した合計値である。管理部440は、第2乖離量に基づく乖離度合が閾値以上である場合(つまり乖離が大きい場合)にセンサ装置100の保全が必要であると判定する。なお、上述した第1乖離量と第2乖離量は、例えば解析部430により解析される。
【0091】
このように、第3の監視例によれば、センサ装置100の位置異常や道路の異常を早期に検出し、保全担当者等に通知することができる。
【0092】
<第4の監視例>
次に、第4の監視例について説明する。第4の監視例は、種類(特性)が異なる複数なるセンサ装置から得られるセンサデータの組み合わせにより監視対象エリアを監視するものである。図10は、センサ種別に対する特性情報の一例を示す図である。図10の例では、センサ種別ごとに、特性情報として、位置精度、速度制御、検出範囲、状況把握、耐環境に対する評価結果が示されている。図10の例では、「◎」が最も評価が高く、「〇」、「△」の順に評価が低くなっているものとする。また、図10には、コスト面におけるセンサ種別ごとの評価結果が含まれていてもよい。
【0093】
例えば、道路のように所定の距離を有する区間では、複数のセンサを用いて監視対象エリア内の物体を検出する必要が生じる。複数のセンサ装置は、同一の特性(性能、機能)を備えていない場合もあるため、監視対象エリアに応じた適切な組み合わせが必要である。そのため、第4の監視例では、図10に示すように予め決められたセンサ種別ごとの特性に基づいて、各センサの特性を考慮して、監視対象エリアに最適なセンサの種類や数を設置して、監視対象エリアの状況を監視する。例えば、物体の位置をより正確に監視したいエリアには、ステレオカメラやTOFカメラ、LIDAR等が利用され、物体の速度をより正確に監視したいエリアには、レーダ装置が設置される。また、監視対象エリアに含まれる道路の曲率が閾値未満の区間には電波式センサが設置され、道路の曲率が閾値以上の区間には光学式センサが設置されてもよい。管理部440は、図10に示すような特性情報や道路形状等に基づいて、監視対象エリア付近に設置するセンサ装置100の種類(組み合わせ)や数を管理する。また、管理部440は、センサ装置100のコストに応じて設置するセンサの種類や数を調整してもよい。
【0094】
例えば、監視対象エリアに、電波式センサと、光学式センサが設置されており、光学式センサにより移動体(例えば、車両300)が認識された後に、その移動体がセンサ範囲外に移動し、移動先に電波式センサが存在する場合、判定部442は、それぞれのセンサデータから取得することが可能な、移動体の移動に関する情報(位置の偏差、速度分布)、移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて各センサで検出された物体が同一物体であるか否かを判定する。例えば、判定部442は、第1のセンサ装置と第2のセンサ装置のセンサ種別によって、移動体の位置の偏差と、速度分布と、反射強度とのうち、少なくとも一つの情報を選択してそれぞれのセンサで検出された移動体が同一物体であるか否かを判定する。
【0095】
また、判定部442は、電波式センサにより移動体が認識された後に検出範囲外に移動し、移動先に光学式センサが存在する場合にも、同様の情報を用いて同一物体であるか否かを判定してもよい。
【0096】
更に、管理部440は、上述した移動体が車両300であって、車両300に接近する物体(例えば、他車両、歩行者、自転車)が存在する場合(言い換えると、車両300と接触する可能性がある物体が存在する場合)に、車両300に対する行動指示を行ってもよい。行動指示には、例えば、速度制御(減速や停止)または操舵制御のうち一方または双方に関する指示が含まれる。
【0097】
また、管理部440は、例えば車両300に接近する物体の接触に対する影響度に応じて、車両300に対する行動指示の内容を異ならせてもよい。例えば、もし接近してくる物体が人や自転車など、車両300に対して弱い交通参加者(ケガ等の身体に対する影響度が大きい交通参加者)である場合、接近する物体が他車両である場合に比して、行動内容を強める(大きな行動を指示する)。具体的には、人が車両300に接近している場合(人が所定距離以内の場合)に、車両300が接近するよりも、より強力な減速を指示する。これにより、安全性をより向上させることができる。
【0098】
提供部450は、監視対象エリアに情報提供装置200が設定されている場合に、管理部440の制御により、行動指示の内容を示す画像または音声を情報提供装置200に出力させる。これにより、情報提供装置200から出力される行動指示により、車両300の乗員は、物体との接触を回避する運転を行うことができる。なお、管理部440は、複数のセンサ装置100にカメラ装置(画像センサ)が含まれる場合に、カメラ装置のカメラ画像に含まれる車両300に接近する物体の属性に関する情報を取得し、取得した情報を情報提供装置200に出力させるように提供部450を制御してもよい。これにより、接近している物体の近くに設置された情報提供装置200に、行動指示の表示だけでなく、接近物体の属性(人、車両、自転車など)を表示させることができるので、行動を指示した対象物体をより正確に把握させることができる。
【0099】
また、提供部450は、管理部440の制御により、車両300に対する行動指示の内容に応じた速度制御または操舵制御のうち一方または双方を車両300に実行させるための情報を車両300に出力してもよい。これにより、車両300の乗員の運転操作を待たずに、車両300の走行制御を実行することができる。
【0100】
このように、第4の監視例によれば、監視対象エリアに種類の異なるセンサ装置100が設置された場合であっても、それぞれのセンサデータを用いてより適切に状況を監視することができる。また、第4の監視例によれば、監視内容等に応じて、より低コストのセンサ装置を組み合わせることができるため、設備コストを削減することができる。なお、上述した第1~第4の監視例のそれぞれには、他の監視例の一部または全部が含まれてもよい。
【0101】
[情報提供]
次に、監視結果に基づく情報提供の一例について図を用いて説明する。図11は、情報提供の第1の例を示す図である。図11の例では、例えば、第1の監視例に基づいて、車両300が車線L1から逸脱すると判定された場合に、逸脱しない方向に移動するように車両300の乗員に情報を提供するものである。図11の例では、車両が逸脱しやすいカーブ路(曲率が所定以上となる区画)にセンサ装置100が設置されている。また、車線L1付近には、情報提供装置200が設置されている。
【0102】
管理部440は、センサ装置100から得られるセンサデータに基づいて車両300の走行を追跡する。ここで、追跡結果に基づいて車両300の進行方向(図中矢印A1)が、車線L1の領域を逸脱する(道路区画線LRを踏み越える)可能性があると判定した場合、提供部450は、情報提供装置200に逸脱を抑制するための情報(行動指示)を表示させる。図10の例では、車両300の乗員が見える位置に設置された情報提供装置200のディスプレイ220に「左に操舵してください」等の文字情報を表示されている。この文字情報をどの情報提供装置200に表示させるかについては、管理部440で管理される。
【0103】
また、提供部450は、車両300の乗員に操舵操作を実行させるための情報(行動指示)を、センサ装置100を介して車両300に送信してHMI314に表示させてもよく、車両Mの操舵制御を自動で行う制御情報を車両300に送信し、駆動装置330に車両300を左に操舵させる走行制御を実行させてもよい。これにより、車両300を図中矢印A2方向に移動させることができる。
【0104】
また、管理部440により車両300がスリップしていると判定された場合、提供部450は、「路面凍結注意」等の注意喚起情報を情報提供装置200のディスプレイ220に表示させたり、車両300の乗員に減速操作(または自動減速制御)を実行させるための情報(行動指示)を車両300に送信してもよい。
【0105】
なお、図11の例では、エリア監視サーバ400からの情報を、センサ装置100を介して情報提供装置200や車両300に送信している例を示しているが、エリア監視サーバ400から直接情報提供装置200や車両300に送信されてもよい。
【0106】
図12は、情報提供の第2の例を示す図である。図12の例では、車線L1内を移動する移動体同士の接触を回避するための通知を行うものである。図12の例では、車線L1内を移動する車両300と、歩行者P1と、自転車P2とが示されている。図12に示す車線L1付近には、車線L1を含む領域を撮像するセンサ装置100と、情報提供装置200とが設置されている。また、図12に示す矢印A3、A4、A5は、時系列のセンサデータから取得した車両300、歩行者P1、自転車P2の移動方向を示している。
【0107】
エリア監視サーバ400の管理部440は、センサ装置100により検出されたセンサデータを解析し、解析結果から、車両300と、歩行者P1、自転車P2の何れかが他の物体を接触する可能性があるか否かを判定し、接触する可能性があると判定された場合に、センサ装置100、情報提供装置200、車両300等に接触を回避するための情報(行動指示)を提供する。
【0108】
例えば、提供部450は、情報提供装置200のディスプレイ220から「接触にご注意ください」といった文字画像を表示させるための提供情報を、ネットワークNWを介して情報提供装置200に送信する。これにより、情報提供装置200のディスプレイ220に表示された文字を見た車両300の乗員や歩行者P1、自転車P2の乗員は、接触を早めに回避することができる。
【0109】
また、提供部450は、車両300のHMI314にディスプレイ220に表示させた情報と同様の情報を表示させるように車両300に情報を送信してもよく、歩行者P1や自転車P2が接近していることを通知する情報を送信してもよい。また、提供部450は、車両300を停止させる制御情報を車両300に送信させてもよく、車両300の外部報知装置340から歩行者P1、自転車P2の乗員に対して、車両300が接近していることを伝える警告音(クラクション)等を出力させる指示情報を車両300に送信してもよい。これにより、道路(車線L1)を通行する物体の状況に応じて、より適切な情報を提供することができ、車線L1通行時の安全性をより向上させることができる。
【0110】
また、第3の監視例において情報提供を行う場合、管理部440は、保全担当者の端末装置(不図示)に保全(環境整備)を依頼する情報を提供してもよい。この場合、異常があったセンサ装置100の位置や監視対象エリアの位置、異常の種別(例えば、センサ装置100の移動)を通知してもよい。これにより、保全担当者は、保全を行う場所や内容等をより具体的に把握することができ、より適切な作業準備や作業を行うことができる。
【0111】
更に、情報提供装置200に発光部が設けられている場合に、行動指示に応じてた発光状態となるように発光体を制御してもよい。例えば、図11に示すように車両300が車線L1を逸脱する傾向にあると判定された場合に、提供部450は、上述した情報提供に加えて(または代えて)、道路区画線LRに設置された発光部を点灯させる。また、図12に示すように、移動体同士が接近している場合に、路面に設置された発光部を点灯させる。なお、提供部450は、車両300と道路区画線LRとの距離や、移動体同士の接近度合(相対距離)に応じて、点灯や点滅を切り替えたり、色や光量(強度)を調整してもよい。これにより、現在の状況を、より適切に移動体に把握させることができる。
【0112】
[処理シーケンス]
図13は、実施形態のエリア監視システム1により実行される処理の流れの一例を示すシーケンス図である。図13の例では、センサ装置100と、車両300と、エリア監視サーバ400と、情報提供装置200とを用いた処理について説明する。なお、図13の例では、センサ装置100はカメラ装置であるものとし、車両300はセンサ装置100により撮影される画角(監視対象エリア)を走行する車両であるものとし、情報提供装置200は、センサ装置100の監視対象エリア付近に設置されているものとする。
【0113】
図13の例において、センサ装置100は、監視対象エリアを撮像し(ステップS100)、撮像されたカメラ画像を含むセンサデータをエリア監視サーバ400に送信する(ステップS102)。また、車両300は、外界検知デバイス302等により、監視対象エリアの周囲状況を検知し(ステップS104)、検知した結果を含む車両データをエリア監視サーバ400に送信する(ステップS106)。
【0114】
エリア監視サーバ400は、センサデータと車両データとを受信し、受信したデータに含まれる画像データ等を解析し(ステップS108)、解析結果等に基づいて、監視対象エリアを管理するステップS110)。具体的には、上述した第1~第4の監視例の少なくとも一つが実行される。その後、エリア監視サーバ400は、監視対象エリアに対する情報提供が必要であると判定した場合に、提供情報を生成し(ステップS112)、生成した提供情報を情報提供装置200に送信する(ステップS114)。また、エリア監視サーバ400は、生成した提供情報を車両300に送信する(ステップS116)。
【0115】
情報提供装置200は、エリア監視サーバ400から送信された情報を受信し、受信した情報に対応する画像をディスプレイ220等に表示させる(ステップS118)。なお、情報提供装置200は、ディスプレイ220に画像を表示することに代えて(または加えて)、受信した情報に対応する音声をスピーカ230から出力させてもよい。受信した情報に対応する態様で道路に設けられた発光部を点灯(または点滅)させてもよい。
【0116】
車両300は、エリア監視サーバ400から送信された情報を受信し、受信した情報に対応する画像をHMI314に表示させたり、受信した情報に対応する走行制御(例えば、速度制御、操舵制御)を実行する(ステップS120)。なお、車両300は、上述した制御に代えて(または加えて)、受信した情報に対応する音声を外部報知装置340に出力してもよい。これにより、本シーケンスの処理は、終了する。
【0117】
なお、ステップS112の処理において、エリア監視サーバ400は、監視対象エリアの保全作業が必要である場合に、保全担当者に提供する情報を生成し、生成した情報を保全担当者が所有する端末装置に送信してもよい。
【0118】
次に、上述したステップS108~S112の具体的な処理についてフローチャートを用いて説明する。
【0119】
<第1の処理>
図14は、第1の処理の一例を示すフローチャートである。なお、図14の例では、監視対象エリアに設置されるセンサ装置100がカメラ装置であるものとし、移動体の一例が車両300であるものとして説明する。また、図14に示す処理は、所定周期または所定のタイミングで繰り返し実行されてよい。これらは、後述する図15に示す処理(第2の監視処理)についても同様とする。
【0120】
図14の例において、取得部420は、カメラ装置からカメラデータを取得する(ステップS200)。次に、解析部430は、取得したカメラデータを解析する(ステップS202)。管理部440は、解析結果として得られる車両の形状に基づいて、カメラデータに含まれる車両ごとに識別情報を付与し(ステップS204)、監視対象エリア内における車両300の走行状況を管理する(ステップS206)。
【0121】
次に、管理部440は、車両300が走行中の車線(道路)を逸脱するか否か、または、車両300がスリップしているか否かを判定する(ステップS208)。車線を逸脱する、またはスリップしていると判定された場合、提供部450は、車両300に提供する情報を生成し(ステップS210)、生成した情報を情報提供装置200に出力させる(ステップS212)。なお、ステップS212の処理では、車両300に提供する情報を車両300に送信してもよい。この場合、車両300に提供する情報には、HMI314から出力させる情報(画像や音声)、または操舵制御や速度制御を行うための情報が含まれる。これにより、本フローチャートの処理は、終了する。また、ステップS208の処理において、車両300の車線逸脱およびスリップがないと判定された場合も、本フローチャートの処理を終了する。なお、上述したステップS208の処理は、カメラデータに含まれる監視対象エリアを移動する移動体同士が接触する可能性があるか否かを判定してもよい。
【0122】
<第2の処理>
図15は、第2の処理の一例を示すフローチャートである。図15の例において、取得部420は、監視対象エリアに設置されたカメラ装置により撮像されたカメラデータを取得する(ステップS300)。次に、解析部430は、取得したカメラデータを解析する(ステップS302)。管理部440は、解析結果として得られるカメラデータに基づく道路状況と、予め決められた基準画像に基づく道路状況との乖離度合を導出する(ステップS304)。次に、判定部442は、乖離度合が閾値以上か否かを判定する(ステップS306)。乖離度合が閾値以上であると判定された場合、提供部450は監視対象エリアもしくはカメラ装置(センサ装置の一例)の少なくとも一方に関する保全を促す情報を生成し(ステップS308)、生成した情報を情報提供装置200の一例である保全担当者の端末装置に出力させる(ステップS310)。これにより、本フローチャートの処理は、終了する。また、ステップS306の処理において、乖離度合が閾値以上でないと判定された場合、本フローチャートの処理を終了する。
【0123】
<第3の処理>
図16は、第3の処理の一例を示すフローチャートである。図16の例では、監視対象エリアに設置される複数のセンサ装置100に、電波式センサと光学式センサとが含まれる可能性があるものとする。また、図16に示す処理は、所定周期または所定のタイミングで繰り返し実行されてよい。図16の例において、取得部420は、センサ装置100からセンサデータを取得する(ステップS400)。次に、解析部430は、取得したセンサデータを解析する(ステップS402)。次に、判定部442は、センサデータを取得したセンサ装置100に電波式センサと光学式センサのセンサデータを含むか否かを判定する。電波式センサと光学式センサのセンサデータを含むと判定した場合、判定部442は、移動体の位置の偏差と、速度分布と、反射強度とのうち少なくとも一つの情報に基づいて同一物体を判定する(ステップSS406)。なお、移動体の位置の偏差と速度分布は一例であり、移動体の移動に関する他の情報が用いられてもよい。また、電波式センサと光学式センサのセンサデータを含まない(どちらか一方のセンサデータのみである)と判定した場合、判定部442は、各センサの解析結果の類似度に基づいて同一物体を判定する(ステップS408)。次に、管理部440は、同一物体の移動状態を管理する(ステップS410)。これにより、本フローチャートは、終了する。なお、第3の監視処理においては、ステップS410の後、同一物体のスリップや車線逸脱等を監視し、監視結果に基づく情報提供を行ってもよい。更に、他の物体と接触するか否かを監視し、監視結果に基づく情報提供を行ってもよい。
【0124】
<変形例>
上述したエリア監視サーバ400の構成のうち少なくとも一部は、センサ装置100、情報提供装置200または車両300に設けられてもよい。例えば、解析部430の機能がセンサ装置100または車両300に設けられる場合、それぞれで解析された結果が、エリア監視サーバ400に送信される。
【0125】
また、実施形態における情報提供装置200の構成のうち少なくとも一部は、センサ装置100に設けられてもよく、センサ装置100の構成のうち少なくとも一部は、情報提供装置200に設けられていてもよい。
【0126】
以上説明した実施形態によれば、エリア監視システム1において、監視対象エリアに設置され、監視対象エリアを移動する移動体を検出する複数のセンサ装置100と、複数のセンサ装置100のそれぞれの検出結果に基づいて複数のセンサ装置100のそれぞれで検出された移動体が同一物体であるか否か判定する判定部442と、を備え、複数のセンサ装置100は、少なくとも電波式センサと光学式センサとを含み、判定部442は、電波式センサと光学式センサのそれぞれで移動体が検出された場合に、移動体の移動に関する特徴量と、移動体の属性に応じた反射強度とのうち少なくとも一つの情報に基づいて、電波式センサと光学式センサのそれぞれで検出された移動体が同一物体か否かを判定することにより、監視対象エリアをより適切に監視することができる。したがって、持続可能な輸送システムの発展に寄与することができる。
【0127】
例えば、実施形態によれば、監視対象エリアに設けられた複数のセンサ装置100を連携して移動体の追跡や状況把握をより正確に行うことができる。また、実施形態によれば、所定のエリアに設置されたカメラ等のインフラ設備を有効に活用して、インフラ協調型の監視システムを提供することができる。また、監視対象エリアに固定されたセンサ装置は、センサ範囲(画角等)が固定であるため、例えば撮像された画像に含まれる道路形状や道路区画線の位置を高精度に取得することができるため、道路状況や道路を移動する移動体の移動状況をより高精度に把握することができる。また、実施形態によれば、エリア監視システム1に対して、より適切かつ迅速に保全を行うことができる。これにより、インフラ設備を適切に動作させることができる。また、実施形態によれば、電波式センサと光学式センサを用いた交通管理を行うことができる。したがって、各センサの特性を考慮し、監視対象エリアごとに最適なセンサの種類や数を設置することができる。したがって、インフラ設備による地域全体の状況把握を、より適切に行うことができる。
【0128】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0129】
1 エリア監視システム
100 センサ装置
110、210 通信部
120 撮像部
130、240、364 制御部
200 情報提供装置
220 ディスプレイ
230 スピーカ
240 制御部
300 車両
302 外界検知デバイス
304 車両センサ
306 操作子
308 内部カメラ
310 測位装置
312 通信装置
314 HMI
340 外部報知装置
360 制御装置
400 エリア監視サーバ
410 サーバ側通信部
420 取得部
430 解析部
440 管理部
442 判定部
450 提供部
460 サーバ側記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16