IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社IHIの特許一覧

特開2023-37355監視システム、監視方法、及び、監視プログラム
<>
  • 特開-監視システム、監視方法、及び、監視プログラム 図1
  • 特開-監視システム、監視方法、及び、監視プログラム 図2
  • 特開-監視システム、監視方法、及び、監視プログラム 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023037355
(43)【公開日】2023-03-15
(54)【発明の名称】監視システム、監視方法、及び、監視プログラム
(51)【国際特許分類】
   G01S 17/89 20200101AFI20230308BHJP
   G08G 1/04 20060101ALN20230308BHJP
【FI】
G01S17/89
G08G1/04 A
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2021144045
(22)【出願日】2021-09-03
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】佐々木 秀邦
(72)【発明者】
【氏名】▲濱▼口 謙一
【テーマコード(参考)】
5H181
5J084
【Fターム(参考)】
5H181AA01
5H181AA21
5H181BB04
5H181CC03
5H181MB01
5H181MB11
5J084AA04
5J084AB01
5J084AB07
5J084AB16
5J084AC04
5J084CA31
5J084CA32
5J084CA65
5J084EA05
(57)【要約】
【課題】複数の計測点情報におけるリアルタイム同期処理を容易に行うことができる監視システム、監視方法、及び、監視プログラムを提供する。
【解決手段】監視システム、監視方法、及び、監視プログラムによれば、複数の測定装置を用いて、対象領域内の路面及び物体の表面上の計測点を表す、複数の点群データを取得する。複数の点群データによって表される計測点のうち、測定装置の位置及び測定方向を基準として定まる除外領域に含まれない計測点を、対象領域内の物体ごとにクラスタリングして複数の形状データを生成する。複数の形状データに基づいて、対象領域内の物体を表す障害物データを生成する。
【選択図】図1
【特許請求の範囲】
【請求項1】
対象領域内の路面及び物体の表面上の計測点を表す第1点群データを取得する第1測定装置と、
前記第1測定装置とは異なる位置に設置され、前記対象領域内の路面及び物体の表面上の計測点を表す第2点群データを取得する第2測定装置と、
前記対象領域内の物体を表す障害物データを生成する生成部と、
を備える監視システムであって、
前記第1測定装置は、
前記第1点群データによって表される計測点のうち、前記第1測定装置の位置及び測定方向を基準として定まる第1除外領域に含まれない計測点を、前記対象領域内の物体ごとにクラスタリングして第1形状データを生成し、
前記第1形状データを前記生成部に送信し、
前記第2測定装置は、
前記第2点群データによって表される計測点のうち、前記第2測定装置の位置及び測定方向を基準として定まる第2除外領域に含まれない計測点を、前記対象領域内の物体ごとにクラスタリングして第2形状データを生成し、
前記第2形状データを前記生成部に送信し、
前記生成部は、前記第1形状データ及び前記第2形状データに基づいて、前記障害物データを生成する監視システム。
【請求項2】
前記第1除外領域は、前記第1測定装置からの距離が、所定長さ、及び、前記第1測定装置の水平方向の角度分解能に基づいて定められる距離よりも大きくなる領域であり、
前記第2除外領域は、前記第2測定装置からの距離が、前記所定長さ、及び、前記第2測定装置の水平方向の角度分解能に基づいて定められる距離よりも大きくなる領域である、請求項1に記載の監視システム。
【請求項3】
前記所定長さをd、
前記第1測定装置の水平方向の角度分解能をθ1、
前記第2測定装置の水平方向の角度分解能をθ2、として、
前記第1除外領域は、前記第1測定装置からの距離が、d/(2・tanθ1)よりも大きくなる領域であり、
前記第2除外領域は、前記第2測定装置からの距離が、d/(2・tanθ2)よりも大きくなる領域である、請求項2に記載の監視システム。
【請求項4】
前記所定長さとして、前記対象領域内における監視対象物の最小幅が設定される、請求項2又は3に記載の監視システム。
【請求項5】
第1測定装置を用いて、対象領域内の路面及び物体の表面上の計測点を表す第1点群データを取得し、
前記第1測定装置とは異なる位置に設置された第2測定装置を用いて、前記対象領域内の路面及び物体の表面上の計測点を表す第2点群データを取得し、
前記第1点群データによって表される計測点のうち、前記第1測定装置の位置及び測定方向を基準として定まる第1除外領域に含まれない計測点を、前記対象領域内の物体ごとにクラスタリングして第1形状データを生成し、
前記第2点群データによって表される計測点のうち、前記第2測定装置の位置及び測定方向を基準として定まる第2除外領域に含まれない計測点を、前記対象領域内の物体ごとにクラスタリングして第2形状データを生成し、
前記第1形状データ及び前記第2形状データに基づいて、前記対象領域内の物体を表す障害物データを生成する、監視方法。
【請求項6】
第1測定装置、及び、前記第1測定装置とは異なる位置に設置された第2測定装置と接続されたコンピュータに、
前記第1測定装置を用いて、対象領域内の路面及び物体の表面上の計測点を表す第1点群データを取得するステップと、
前記第2測定装置を用いて、前記対象領域内の路面及び物体の表面上の計測点を表す第2点群データを取得するステップと、
前記第1点群データによって表される計測点のうち、前記第1測定装置の位置及び測定方向を基準として定まる第1除外領域に含まれない計測点を、前記対象領域内の物体ごとにクラスタリングして第1形状データを生成するステップと、
前記第2点群データによって表される計測点のうち、前記第2測定装置の位置及び測定方向を基準として定まる第2除外領域に含まれない計測点を、前記対象領域内の物体ごとにクラスタリングして第2形状データを生成するステップと、
前記第1形状データ及び前記第2形状データに基づいて、前記対象領域内の物体を表す障害物データを生成するステップと、
を実行させるための監視プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、監視システム、監視方法、及び、監視プログラムに関する。
【背景技術】
【0002】
特許文献1には、車両の運転及び歩行者の安全を支援するために、交差点等の監視領域において車両及び歩行者等の情報を収集し、利用者に情報を提供する交通情報監視システムが開示されている。当該技術によれば、レーザ光で交差点を走査することで複数の計測点情報を取得し、複数の計測点情報に基づいて交差点内に存在する車両を検出する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010-197341号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示される技術によれば、遮蔽物の影となる範囲(死角)に対してレーザレーダからレーザ光を照射できない。そのため、このような範囲における物体の検出が不能となるおそれがある。例えば、大型のトラック等が交差点を横切る場合に、トラックの影となる範囲に存在するバイク及び歩行者等を検出できないことがある。この現象をオクルージョンという。このような問題に対し、検出精度を向上させるために、複数台のレーザレーダが設置され、各レーザレーダによって取得された計測点情報を用いて物体検出が行われることがある。しかしながら、一般に、レーザレーダによって取得される複数の計測点情報のデータ量は大きいので、通信に時間を要し、リアルタイム同期処理が困難になるおそれがある。
【0005】
本開示は上述の状況を鑑みて成されたものである。即ち、本開示は、複数の計測点情報におけるリアルタイム同期処理を容易に行うことができる監視システム、監視方法、及び、監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る監視システムは、第1測定装置と、第2測定装置と、生成部と、を備える。第1測定装置は、対象領域内の路面及び物体の表面上の計測点を表す第1点群データを取得する。第2測定装置は、第1測定装置とは異なる位置に設置され、対象領域内の路面及び物体の表面上の計測点を表す第2点群データを取得する。生成部は、対象領域内の物体を表す障害物データを生成する。ここで、第1測定装置は、第1点群データによって表される計測点のうち、第1測定装置の位置及び測定方向を基準として定まる第1除外領域に含まれない計測点を、対象領域内の物体ごとにクラスタリングして第1形状データを生成し、生成部に送信する。第2測定装置は、第2点群データによって表される計測点のうち、第2測定装置の位置及び測定方向を基準として定まる第2除外領域に含まれない計測点を、対象領域内の物体ごとにクラスタリングして第2形状データを生成し、生成部に送信する。生成部は、第1形状データ及び第2形状データに基づいて、障害物データを生成する。
【0007】
上記第1除外領域は、第1測定装置からの距離が、所定長さ、及び、第1測定装置の水平方向の角度分解能に基づいて定められる距離よりも大きくなる領域であってもよい。上記第2除外領域は、第2測定装置からの距離が、所定長さ、及び、第2測定装置の水平方向の角度分解能に基づいて定められる距離よりも大きくなる領域であってもよい。
【0008】
上記所定長さをd、上記第1測定装置の水平方向の角度分解能をθ1、上記第2測定装置の水平方向の角度分解能をθ2とする。この場合、上記第1除外領域は、第1測定装置からの距離が、d/(2・tanθ1)よりも大きくなる領域であってもよい。上記第2除外領域は、第2測定装置からの距離が、d/(2・tanθ2)よりも大きくなる領域であってもよい。
【0009】
上記所定長さとして、対象領域内における監視対象物の最小幅が設定されてもよい。
【0010】
本開示に係る監視方法は、第1測定装置を用いて、対象領域内の路面及び物体の表面上の計測点を表す第1点群データを取得する。また、第1測定装置とは異なる位置に設置された第2測定装置を用いて、対象領域内の路面及び物体の表面上の計測点を表す第2点群データを取得する。そして、第1点群データによって表される計測点のうち、第1測定装置の位置及び測定方向を基準として定まる第1除外領域に含まれない計測点を、対象領域内の物体ごとにクラスタリングして第1形状データを生成する。また、第2点群データによって表される計測点のうち、第2測定装置の位置及び測定方向を基準として定まる第2除外領域に含まれない計測点を、対象領域内の物体ごとにクラスタリングして第2形状データを生成する。そして、第1形状データ及び第2形状データに基づいて、対象領域内の物体を表す障害物データを生成する。
【0011】
本開示に係る監視プログラムは、第1測定装置、及び、第1測定装置とは異なる位置に設置された第2測定装置と接続されたコンピュータに、次のステップを実行させる。第1測定装置を用いて、対象領域内の路面及び物体の表面上の計測点を表す第1点群データを取得するステップと、第2測定装置を用いて、対象領域内の路面及び物体の表面上の計測点を表す第2点群データを取得するステップを実行させる。そして、第1点群データによって表される計測点のうち、第1測定装置の位置及び測定方向を基準として定まる第1除外領域に含まれない計測点を、対象領域内の物体ごとにクラスタリングして第1形状データを生成するステップを実行させる。また、第2点群データによって表される計測点のうち、第2測定装置の位置及び測定方向を基準として定まる第2除外領域に含まれない計測点を、対象領域内の物体ごとにクラスタリングして第2形状データを生成するステップを実行させる。そして、第1形状データ及び第2形状データに基づいて、対象領域内の物体を表す障害物データを生成するステップを実行させる。
【発明の効果】
【0012】
本開示によれば、複数の計測点情報におけるリアルタイム同期処理を容易に行うことができる。
【図面の簡単な説明】
【0013】
図1】本開示の実施形態に係る監視システムの構成を概略的に示す図である。
図2図1に示されるマスタレーザレーダ装置及びスレーブレーザレーダ装置の配置例を示す平面図である。
図3図1に示されるマスタレーザレーダ装置及びスレーブレーザレーダ装置の配置例を示す斜視図である。
【発明を実施するための形態】
【0014】
以下、いくつかの例示的な実施形態について、図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複する説明を省略する。
【0015】
[監視システムの構成]
図1は、本開示の実施形態に係る監視システムの構成を概略的に示す図である。図2は、図1に示されるマスタレーザレーダ装置及びスレーブレーザレーダ装置の配置例を示す平面図である。図3は、図1に示されるマスタレーザレーダ装置及びスレーブレーザレーダ装置の配置例を示す斜視図である。
【0016】
図1に示される監視システム1は、後述のレーザセンサ4,6を用いて、監視領域RD(対象領域)を監視するシステムである。より具体的には、監視システム1は、監視領域RDに存在する物体(移動体)を検出する。監視領域RDは、監視対象となる領域である。監視領域RDは、道路上の任意の場所に設定され得る。監視領域RDの設定場所として、例えば、交差点、合流地点、及び道路の途中が選択される。図2及び図3に示されるように、監視領域Rは、交差点Cに設定される。監視対象の物体としては、車両、及び歩行者(人)が挙げられる。
【0017】
監視システム1は、スレーブレーザレーダ装置2(第1測定装置)と、マスタレーザレーダ装置3(第2測定装置)と、を備えている。スレーブレーザレーダ装置2及びマスタレーザレーダ装置3は、監視領域RDの近傍に設置されている。図2及び図3の例では、スレーブレーザレーダ装置2とマスタレーザレーダ装置3とは、交差点Cの対角線上に設けられている。交差点Cは、4本の道路TR1~TR4が合流する地点である。
【0018】
道路TR1と道路TR2とは、一方向に沿って延びており、交差点Cを介して互いに接続されている。道路TR3と道路TR4とは、道路TR1,TR2とは交差する方向に延びており、交差点Cを介して互いに接続されている。スレーブレーザレーダ装置2及びマスタレーザレーダ装置3は、地上に設置された支持部材P(図3参照)に固定されている。支持部材Pは、例えば、交差点C付近の路側に設けられた柱状構造体である。支持部材Pは、電柱、及び倉庫の壁であってもよい。
【0019】
スレーブレーザレーダ装置2とマスタレーザレーダ装置3とは、通信回線によって互いに通信可能に接続されている。通信回線は、有線及び無線のいずれで構成されてもよい。通信回線は、インターネット回線及び移動体通信網等の非専用回線でもよく、専用回線でもよい。なお、交差点C等においてはスレーブレーザレーダ装置2とマスタレーザレーダ装置3との距離が長いので、通信回線として専用回線を有線で配線することが困難であることがある。このため、図2及び図3の例では、通信回線として無線の通信回線が用いられ得る。
【0020】
[スレーブレーザレーダ装置の構成]
スレーブレーザレーダ装置2は、レーザセンサ4と、処理装置5と、を備えている。レーザセンサ4は、支持部材Pに固定されている。つまり、レーザセンサ4は、地上に設置されている。
【0021】
なお、レーザセンサ4は、監視領域RDに対する相対的な位置が固定されていれば、地上に設置されている必要はない。レーザセンサ4は、例えば、ドローンに設置されて、空中に浮遊した状態であってもよい。
【0022】
レーザセンサ4は、照射可能領域RAに向けてレーザ光を照射し、照射したレーザ光の反射光を受光することで、照射可能領域RA内の各計測点の計測点情報を生成する。照射可能領域RAは、レーザセンサ4がレーザ光を照射可能な領域であり、例えば150m程度の範囲である。照射可能領域RAは、監視領域RDの少なくとも一部を含む。
【0023】
計測点情報は、時刻情報、及び位置情報を含む。時刻情報は、位置情報で示される計測点の計測点情報を生成した(反射光を受光した)時刻を示す情報である。位置情報は、計測点の位置座標を示す情報である。位置座標には、ヨー角、ピッチ角、及び深度で表される極座標系が用いられてもよく、x座標、y座標、及びz座標で表される3次元座標系が用いられてもよい。
【0024】
本開示の実施形態で用いられる座標系CSは、3次元座標系である。座標系CSのx軸は、道路TR1及び道路TR2に沿って延び、道路TR1から道路TR2に向かう方向が正となるように設定される。座標系CSのy座標は、道路TR3及び道路TR4に沿って延び、道路TR3から道路TR4に向かう方向が正となるように設定される。座標系CSのz軸は、地表を基準(z=0)とし、地表よりも上方が正となるように設定される。計測点情報は、反射強度情報をさらに含んでもよい。反射強度情報は、位置情報で示される計測点から、時刻情報で示される時刻に受光した反射光の強度を示す情報である。
【0025】
レーザセンサ4は、レーザ光の照射方向を変えることで、照射可能領域RAを主走査方向及び副走査方向に走査する。これにより、照射可能領域RAに含まれる複数の計測点にレーザ光が順に照射される。照射可能領域RAに含まれるすべての計測点へのレーザ光の一巡の照射は、1フレームと称される場合がある。照射可能領域RAへのレーザ光の照射は、所定の時間間隔で繰り返される。レーザセンサ4は、1フレーム分の複数の計測点情報を含む点群情報DM1(第1点群データ)を1フレームごとに処理装置5に出力する。点群情報DM1は、フレームID(Identifier)をさらに含んでもよい。フレームIDは、フレームを一意に識別可能な識別情報である。フレームIDとして、例えば、フレームの順番を示すフレーム番号が用いられ得る。
【0026】
処理装置5は、レーザセンサ4によって生成された複数の計測点情報を含む点群情報DM1を処理することで、部分情報DP1(第1形状データ)を生成する装置である。
【0027】
処理装置5(制御部)は、例えば、CPU(中央処理装置)、メモリ、及び入出力部を備える汎用のマイクロコンピュータによって構成される。処理装置5には、監視装置として機能するためのコンピュータプログラム(監視プログラム)がインストールされている。コンピュータプログラムを実行することにより、処理装置5は、監視装置が備える複数の情報処理回路(51,52,53,54)として機能する。なお、コンピュータプログラム(監視プログラム)は、コンピュータによって読み書き可能な記憶媒体に格納されるものであってもよい。
【0028】
本開示では、ソフトウェアによって複数の情報処理回路(51,52,53,54)を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路(51,52,53,54)を構成することも可能である。また、複数の情報処理回路(51,52,53,54)を個別のハードウェアにより構成してもよい。
【0029】
図1に示すように、処理装置5は、複数の情報処理回路(51,52,53,54)として、取得部51、記憶部52、処理部53、出力部54を備える。
【0030】
取得部51は、レーザセンサ4から点群情報DM1を取得する。取得部51は、取得した点群情報DM1を処理部53に出力する。
【0031】
記憶部52は、各種設定情報を記憶する。各種設定情報には、検出除外範囲(第1除外領域)を示す除外情報が含まれる。検出除外範囲は、監視対象外となる範囲である。検出除外範囲は、監視領域RD外の範囲、及び監視領域RDのうちの監視不要な範囲を含む。検出除外範囲は、予め設定されている。例えば、入力装置(不図示)を用いて、ユーザが検出除外範囲を設定するものであってもよい。例えば、交差点Cを模擬した3次元空間がディスプレイ等の出力装置(不図示)に表示され、ユーザが枠等によって検出除外範囲を設定する。
【0032】
例えば、地面以下、及び道路の上空は、監視されなくてもよい。このため、地面以下を除外するために、検出除外範囲の高さとして、地表を基準として所定の高さより低い範囲が設定されてもよい。例えば、z<20cmの範囲が検出除外範囲として設定される。上空を除外するために、検出除外範囲の高さとして、地表を基準として所定の高さより高い範囲が設定されてもよい。例えば、z>500cmの範囲が検出除外範囲として設定される。
【0033】
また、交差点C内及び交差点Cの周囲には、信号機、支柱、電柱、街路樹、及び高架等の固定物(静止物)がある。これらの固定物は、監視不要であるので、これらの固定物を除外するために、検出除外範囲として固定物の範囲が設定されてもよい。固定物の範囲は、xy平面(水平面)における固定物の境界を示す座標(x,y)として設定されてもよい。
【0034】
その他、検出除外範囲(第1除外領域)は、レーザセンサ4の水平方向の角度分解能に基づいて定められるものであってもよい。具体的には、レーザセンサ4からの距離が、所定長さ、及び、レーザセンサ4の水平方向の角度分解能に基づいて定められる距離よりも大きくなる領域として定められるものであってもよい。ここで、レーザセンサ4の水平方向の角度分解能は、計測点とレーザセンサ4を結んだ線のうち、隣接する線同士がなす角度によって表される。
【0035】
例えば、所定長さをd、レーザセンサ4の水平方向の角度分解能をθ1、レーザセンサ4からを距離S1として、第1除外領域は、制約条件「S1>d/{2・tan(θ1)}」を満たす領域として定められるものであってもよい。ここで、距離S1に関する制約条件は、レーザセンサ4から距離S1の位置にある、所定長さを有する物体に対して、水平方向に3点未満の個数の計測点しか計測できないという条件から導き出される。水平方向に3点以上の個数の計測点を計測できる場合、物体の一部をxy平面に投影して得られる像の面積を計測することができる。第1除外領域を設定することで、後述する合成部83において、複数の検出物体が同一であるか否かの判断が可能となる。
【0036】
なお、所定長さには、監視領域RD内における監視対象物の最小幅が設定される。監視領域RDに存在する監視対象の物体としては、車両、及び歩行者(人)が挙げられ、監視対象の物体の種類に応じて、適宜、所定長さが設定される。
【0037】
このように、レーザセンサ4からの距離が、レーザセンサ4の水平方向の角度分解能に基づいて定められる距離よりも大きくなる領域を第1除外領域とする。その結果、十分な角度分解能での測定が困難な物体を測定対象から除外し、後述する処理部53での処理を削減することができる。さらには、出力部54が送信するデータのサイズを削減することができる。
【0038】
処理部53は、点群情報DM1を処理することで部分情報DP1を生成する。具体的には、処理部53は、取得部51から点群情報DM1を受け取ると、記憶部52から読み出した除外情報によって示される検出除外範囲に含まれる計測点の計測点情報を、点群情報DM1から除外(削除)する。これにより、監視対象外の計測点が除外されるとともに、ノイズ等に起因する異常な計測点情報が除外される。処理部53は、残りの計測点情報を含む部分情報DP1を出力部54に出力する。部分情報DP1は、フレームIDをさらに含んでもよい。
【0039】
その他、処理部53は、検出除外範囲に含まれる計測点の計測点情報を点群情報DM1から除外し、除外後の複数の計測点情報をクラスタリングして部分情報DP1を生成するものであってもよい。例えば、処理部53は、クラスタリングの処理として、監視領域RD内の複数の計測点のうち、近傍の計測点同士をつなぎ合わせてクラスタ(塊)に分割するものであってもよい。クラスタリングの手法として、例えば、ユークリッドクラスタリングがあるが、これに限定されない。ユークリッドクラスタリングでは、ユークリッド距離が所定距離未満となる計測点同士は同じクラスタに属する計測点として分類され、ユークリッド距離が所定距離以上となる計測点同士は異なるクラスタに属する計測点として分類される。処理部53は、得られたクラスタを単一の検出物体(車両及び人等)として検出するものであってもよい。
【0040】
処理部53は、検出物体の寸法(幅、奥行き、及び高さ)及び位置を計算する。検出物体の位置は、検出物体の四隅(前方右端、前方左端、後方右端、及び後方左端)の座標でもよく、クラスタに含まれる計測点情報の位置の平均でもよく、検出物体の重心位置でもよい。
【0041】
出力部54は、処理装置5の外部に部分情報DP1を出力する。具体的には、出力部54は、処理部53から部分情報DP1を受け取ると、通信回線を介して、部分情報DP1をマスタレーザレーダ装置3に送信する。
【0042】
このように、処理装置5は、点群情報DM1から、検出除外範囲に含まれる計測点の計測点情報を削除することによって、部分情報DP1を生成し、部分情報DP1をマスタレーザレーダ装置3に送信する。このため、部分情報DP1のデータ量は、点群情報DM1のデータ量よりも小さくなる。
【0043】
[マスタレーザレーダ装置の構成]
マスタレーザレーダ装置3は、レーザセンサ6(第2測定装置)と、処理装置7と、検出装置8と、を備えている。レーザセンサ6は、支持部材Pに固定されている。つまり、レーザセンサ6は、地上に設置されている。
【0044】
なお、レーザセンサ6は、監視領域RDに対する相対的な位置が固定されていれば、地上に設置されている必要はない。レーザセンサ6は、例えば、ドローンに設置されて、空中に浮遊した状態であってもよい。
【0045】
レーザセンサ6は、レーザセンサ4と同様に、照射可能領域RBに向けてレーザ光を照射し、照射したレーザ光の反射光を受光することで、照射可能領域RB内の各計測点の計測点情報を生成する。照射可能領域RBは、レーザセンサ6がレーザ光を照射可能な領域であり、例えば150m程度の範囲である。照射可能領域RBは、監視領域RDの少なくとも一部を含む。
【0046】
レーザセンサ6においても、レーザセンサ4と同一の座標系CSが用いられる。レーザセンサ6は、1フレーム分の複数の計測点情報を含む点群情報DM2(第2点群データ)を1フレームごとに処理装置7に出力する。点群情報DM2は、フレームIDをさらに含んでもよい。
【0047】
なお、レーザセンサ6の時刻は、レーザセンサ4の時刻と同期している。レーザセンサ4の時刻とレーザセンサ6の時刻との同期は、例えば、NTP(Network Time Protocol)を用いて行われる。このため、レーザセンサ6の1フレームの開始時刻及び終了時刻は、レーザセンサ4の1フレームの開始時刻及び終了時刻と一致している。1フレームの開始時刻は、そのフレームの最初の計測点情報の生成(取得)時刻である。1フレームの終了時刻は、そのフレームの最後の計測点情報の生成(取得)時刻である。
【0048】
処理装置7は、レーザセンサ6によって生成された複数の計測点情報を含む点群情報DM2を処理することで部分情報DP2(第2形状データ)を生成する装置である。
【0049】
処理装置7(制御部)は、例えば、CPU(中央処理装置)、メモリ、及び入出力部を備える汎用のマイクロコンピュータによって構成される。処理装置7には、監視装置として機能するためのコンピュータプログラム(監視プログラム)がインストールされている。コンピュータプログラムを実行することにより、処理装置7は、監視装置が備える複数の情報処理回路(71,72,73,74)として機能する。なお、コンピュータプログラム(監視プログラム)は、コンピュータによって読み書き可能な記憶媒体に格納されるものであってもよい。
【0050】
本開示では、ソフトウェアによって複数の情報処理回路(71,72,73,74)を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路(71,72,73,74)を構成することも可能である。また、複数の情報処理回路(71,72,73,74)を個別のハードウェアにより構成してもよい。
【0051】
図1に示すように、処理装置5は、複数の情報処理回路(71,72,73,74)として、取得部71、記憶部72、処理部73、出力部74を備える。
【0052】
取得部71は、レーザセンサ6から点群情報DM2を取得する。取得部71は、取得した点群情報DM2を処理部73に出力する。
【0053】
記憶部72は、各種設定情報を記憶する。各種設定情報には、検出除外範囲(第2除外領域)を示す除外情報が含まれる。検出除外範囲は、予め設定されている。例えばスレーブレーザレーダ装置2と同様に、入力装置を用いて、ユーザが検出除外範囲を設定する。処理装置7に設定されている検出除外範囲は、処理装置5に設定されている検出除外範囲と同一であってもよく、異なっていてもよい。処理装置5及び処理装置7で同じ検出除外範囲を設定する場合には、処理装置7は、処理装置7に設定された検出除外範囲を示す除外情報を処理装置5に送信してもよい。
【0054】
その他、検出除外範囲(第2除外領域)は、レーザセンサ6の水平方向の角度分解能に基づいて定められるものであってもよい。具体的には、レーザセンサ6からの距離が、所定長さ、及び、レーザセンサ6の水平方向の角度分解能に基づいて定められる距離よりも大きくなる領域として定められるものであってもよい。ここで、レーザセンサ6の水平方向の角度分解能は、計測点とレーザセンサ6を結んだ線のうち、隣接する線同士がなす角度によって表される。
【0055】
例えば、所定長さをd、レーザセンサ6の水平方向の角度分解能をθ2、レーザセンサ6からを距離S2として、第2除外領域は、制約条件「S2>d/{2・tan(θ2)}」を満たす領域として定められるものであってもよい。ここで、距離S2に関する制約条件は、レーザセンサ6から距離S2の位置にある、所定長さを有する物体に対して、水平方向に3点未満の個数の計測点しか計測できないという条件から導き出される。水平方向に3点以上の個数の計測点を計測できる場合、物体の一部をxy平面に投影して得られる像の面積を計測することができる。第2除外領域を設定することで、後述する合成部83において、複数の検出物体が同一であるか否かの判断が可能となる。
【0056】
このように、レーザセンサ6からの距離が、レーザセンサ6の水平方向の角度分解能に基づいて定められる距離よりも大きくなる領域を第2除外領域とする。その結果、十分な角度分解能での測定が困難な物体を測定対象から除外し、後述する処理部73での処理を削減することができる。さらには、出力部74が送信するデータのサイズを削減することができる。
【0057】
処理部73は、点群情報DM2を処理することで部分情報DP2を生成する。具体的には、処理部73は、取得部71から点群情報DM2を受け取ると、記憶部72から読み出した除外情報によって示される検出除外範囲に含まれる計測点の計測点情報を、点群情報DM2から除外する。これにより、監視対象外の計測点が除外されるとともに、ノイズ等に起因する異常な計測点情報が除外される。処理部73は、残りの計測点情報を含む部分情報DP2を出力部74に出力する。部分情報DP2は、フレームIDをさらに含んでもよい。
【0058】
その他、処理部73は、検出除外範囲に含まれる計測点の計測点情報を点群情報DM2から除外し、除外後の複数の計測点情報をクラスタリングして部分情報DP2を生成するものであってもよい。例えば、処理部73は、クラスタリングの処理として、監視領域RD内の複数の計測点のうち、近傍の計測点同士をつなぎ合わせてクラスタ(塊)に分割するものであってもよい。処理部73は、得られたクラスタを単一の検出物体(車両及び人等)として検出するものであってもよい。
【0059】
処理部73は、検出物体の寸法(幅、奥行き、及び高さ)及び位置を計算する。検出物体の位置は、検出物体の四隅(前方右端、前方左端、後方右端、及び後方左端)の座標でもよく、クラスタに含まれる計測点情報の位置の平均でもよく、検出物体の重心位置でもよい。
【0060】
出力部74は、処理装置7の外部に部分情報DP2を出力する。具体的には、出力部74は、処理部73から部分情報DP2を受け取ると、部分情報DP2を検出装置8に出力する。
【0061】
このように、処理装置7は、点群情報DM2から、検出除外範囲に含まれる計測点の計測点情報を削除することによって、部分情報DP2を生成し、部分情報DP2を検出装置8に出力する。このため、部分情報DP2のデータ量は、点群情報DM2のデータ量よりも小さくなる。
【0062】
検出装置8は、部分情報DP1及び部分情報DP2に基づいて、監視領域RDにおける検出結果を生成する装置である。検出装置8は、例えば、CPU(中央処理装置)、メモリ、及び入出力部を備える汎用のマイクロコンピュータによって構成される。検出装置8には、監視装置として機能するためのコンピュータプログラム(監視プログラム)がインストールされている。コンピュータプログラムを実行することにより、検出装置8は、監視装置が備える複数の情報処理回路(81,82,83,84,85)として機能する。なお、コンピュータプログラム(監視プログラム)は、コンピュータによって読み書き可能な記憶媒体に格納されるものであってもよい。
【0063】
本開示では、ソフトウェアによって複数の情報処理回路(81,82,83,84,85)を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路(81,82,83,84,85)を構成することも可能である。また、複数の情報処理回路(81,82,83,84,85)を個別のハードウェアにより構成してもよい。
【0064】
図1に示すように、検出装置8は、複数の情報処理回路(81,82,83,84,85)として、取得部81、記憶部82、合成部83(生成部)、検出部84、出力部85を備える。
【0065】
取得部81は、処理装置5から部分情報DP1を取得し、処理装置7から部分情報DP2を取得する。送信遅延等に起因して、同一フレームであっても、取得部81が部分情報DP1を受信するタイミングと、取得部81が部分情報DP2を受信するタイミングと、が互いに異なることがある。
【0066】
図1の例では、部分情報DP1は通信回線を介して送信されるのに対し、部分情報DP2はマスタレーザレーダ装置3の内部の通信線を介して送信されるため、取得部81は、部分情報DP2を受信した後に、部分情報DP1を受信する。このため、取得部81は、部分情報DP2を記憶部82に出力し、記憶部82に記憶する。取得部81は、部分情報DP1を合成部83に出力する。
【0067】
記憶部82は、フレームごとに部分情報DP2を記憶する。記憶部82は、フレームごとに異なるファイルに部分情報DP2を記憶してもよい。記憶部82は、処理装置7から受信した部分情報DP2に含まれる複数の計測点情報を、それぞれの計測点情報の時刻情報で示される時刻でソートし、各フレームの部分情報DP2を記憶してもよい。この場合、計測点の座標からフレームが識別され得るので、フレームIDは省略されてもよい。
【0068】
合成部83(生成部)は、部分情報DP1と、部分情報DP1のフレームと同じフレームの部分情報DP2とを合成(マージ)することにより、合成情報を生成する。具体的には、まず、合成部83は、取得部81から部分情報DP1を受け取ると、その部分情報DP1に含まれる複数の計測点情報の時刻情報によって示される時刻のうち、最古時刻と、最新時刻と、を抽出する。
【0069】
レーザセンサ4の1フレームの開始時刻及び終了時刻と、レーザセンサ6の1フレームの開始時刻及び終了時刻とは一致している。そのため、同一フレームでは、部分情報DP1の最古時刻及び最新時刻は、部分情報DP2の最古時刻及び最新時刻とおおよそ一致している。このため、合成部83は、記憶部82に記憶されている複数のフレームの部分情報DP2のうち、抽出した最古時刻及び最新時刻に近い最古時刻及び最新時刻を有するフレームの部分情報DP2を取得する。
【0070】
記憶部82には、各フレームの開始時刻及び終了時刻が予め記憶されていてもよい。この場合、合成部83は、部分情報DP1の最古時刻及び最新時刻によって規定される時間帯を、その開始時刻と終了時刻との間に含むフレームを特定し、当該フレームの部分情報DP2を取得する。また、部分情報DP1及び部分情報DP2がフレームIDを含む場合には、合成部83は、記憶部82に記憶されている複数のフレームの部分情報DP2のうち、部分情報DP1のフレームIDと同一のフレームIDを含む部分情報DP2を取得する。
【0071】
合成部83は、部分情報DP1と部分情報DP2とを合成する。より具体的には、合成部83は、部分情報DP1に含まれる複数の計測点情報と、部分情報DP2に含まれる複数の計測点情報と、を含む合成情報を生成する。合成情報は、例えば、部分情報DP1に含まれる複数の計測点情報と、部分情報DP2に含まれる複数の計測点情報と、をリスト化(配列)したテーブルの形式で表現され得る。
【0072】
部分情報DP1及び部分情報DP2は、互いに同一の計測点の計測点情報を含み得る。このため、2つの計測点情報が互いに同一の計測点の計測点情報である場合には、合成部83は、いずれか一方を削除してもよい。合成部83は、例えば、2つの計測点情報の位置座標間の距離が、予め設定された距離以下である場合に、これら2つの計測点情報は同一の計測点の計測点情報と判定してもよい。合成部83は、合成情報を検出部84に出力する。
【0073】
部分情報DP1及び部分情報DP2がクラスタリングされた後のデータである場合には、合成部83は、クラスタ同士の重なりに基づいて、クラスタ同士が同一の検出物体(車両及び人等)であるか否かを判定するものであってもよい。
【0074】
例えば、合成部83は、部分情報DP1に含まれるクラスタと、部分情報DP2に含まれるクラスタについて、xy平面に投影して得られる像を算出する。合成部83は、算出した像同士の重なる部分の面積の、元の像の全体の面積に占める割合が所定閾値以上である場合に、部分情報DP1に含まれるクラスタと、部分情報DP2に含まれるクラスタとが同一の検出物体であると判定するものであってもよい。
【0075】
その他、合成部83は、部分情報DP1に含まれるクラスタによって囲まれる領域と、部分情報DP2に含まれるクラスタによって囲まれる領域の共通部分を求めるものであってもよい。共通部分の体積の、元のクラスタによって囲まれる領域の体積に占める割合が所定閾値以上である場合に、部分情報DP1に含まれるクラスタと、部分情報DP2に含まれるクラスタとが同一の検出物体であると判定するものであってもよい。
【0076】
上述の方法により同一の検出物体と判定された場合に、合成部83は、両クラスタを統合して合成情報を算出してもよい。
【0077】
検出部84(生成部)は、合成情報に基づいて、対象領域内の物体を表す障害物データを生成する。具体的には、検出部84は、合成部83から合成情報を受け取ると、合成情報に含まれる複数の計測点情報をクラスタリングする。つまり、検出部84は、監視領域RD内の複数の計測点のうち、近傍の計測点同士をつなぎ合わせ、障害物データとして、クラスタ(塊)に分割する。検出部84は、得られたクラスタを単一の検出物体(車両及び人等)として検出する。
【0078】
検出部84は、障害物データとして、検出物体の寸法(幅、奥行き、及び高さ)及び位置を計算するものであってもよい。検出物体の位置は、検出物体の四隅(前方右端、前方左端、後方右端、及び後方左端)の座標でもよく、クラスタに含まれる計測点情報の位置の平均でもよく、検出物体の重心位置でもよい。
【0079】
検出部84は、検出物体について、検出結果を出力部85に出力する。検出結果は、検出物体の寸法を示す寸法情報、検出物体の位置を示す位置情報、及び検出物体を検出した検出時刻を示す検出時刻情報を含む。検出時刻は、例えば、クラスタに含まれる各計測点の計測点情報が有する時刻情報によって示される時刻の平均時刻である。
【0080】
なお、検出部84は、検出物体を追跡してもよい。つまり、検出部84は、異なるフレーム(異なる時刻)において検出された検出物体に対し、物体IDの対応付けを行ってもよい。物体IDは、検出物体を一意に識別可能な識別情報である。具体的には、検出部84は、検出物体の位置及び寸法、並びに、過去の観測結果から推定される速度及び角速度等に基づいて、現在のフレームにおいて検出された検出物体が、過去のフレームにおいて検出された検出物体のいずれかと対応しているかを判定する。
【0081】
検出部84は、現在のフレームにおいて検出された検出物体が、過去のフレームにおいて検出された検出物体のいずれとも対応しないと判定した場合に、新規の検出物体として当該検出物体に新しい物体IDを付与する。検出部84は、現在のフレームにおいて検出された検出物体が、過去のフレームにおいて検出された検出物体と対応すると判定した場合に、対応する検出物体に付与されている物体IDを現在のフレームにおいて検出された検出物体に付与する。検出部84は、物体IDが付与されている検出物体のうち、長時間検出されていない検出物体について、物体IDを削除する。
【0082】
なお、複数の検出物体を追跡する(ID付けする)問題は、マルチターゲットトラッキング問題と称される。検出部84は、公知のアルゴリズムを用いて、各検出物体を追跡する。公知のアルゴリズムとして、SNN(Suboptimal Nearest Neighbor)、GNN(Global Nearest Neighbor)等が挙げられる。その他にも、公知のアルゴリズムとして、JPDAF(Joint Probabilistic Data Association Filter)等が挙げられる。これらの場合、検出部84は、物体ID、物体位置情報、及び検出時刻情報等を、検出結果として出力部85に出力する。
【0083】
出力部85は、検出装置8(マスタレーザレーダ装置3)の外部に検出結果を出力する。出力部85は、例えば、不図示の外部装置に検出結果を送信する。外部装置の例としては、上位管理システム、及び交通管制システムが挙げられる。検出結果の送信は、無線通信で行われてもよく、有線通信で行われてもよい。なお、出力部85は、検出結果のデータ形式を外部装置が処理しやすいデータ形式に変換し、変換された検出結果を外部装置に送信してもよい。
【0084】
[実施形態の効果]
以上詳細に説明したように、本開示に係る監視システム、監視方法、及び、監視プログラムは、第1測定装置を用いて、対象領域内の路面及び物体の表面上の計測点を表す第1点群データを取得する。また、第1測定装置とは異なる位置に設置された第2測定装置を用いて、対象領域内の路面及び物体の表面上の計測点を表す第2点群データを取得する。そして、第1点群データによって表される計測点のうち、第1測定装置の位置及び測定方向を基準として定まる第1除外領域に含まれない計測点を、対象領域内の物体ごとにクラスタリングして第1形状データを生成する。また、第2点群データによって表される計測点のうち、第2測定装置の位置及び測定方向を基準として定まる第2除外領域に含まれない計測点を、対象領域内の物体ごとにクラスタリングして第2形状データを生成する。そして、第1形状データ及び第2形状データに基づいて、対象領域内の物体を表す障害物データを生成する。
【0085】
これにより、複数の計測点情報におけるリアルタイム同期処理を容易に行うことができる。特に、複数台の測定装置を設置して、各測定装置によって取得された計測点情報を用いて物体検出を行う場合であっても、複数の計測点情報を送信する際のデータ量を削減できる。その結果、通信時間を短縮し、リアルタイム同期処理を容易に行うことができる。また、対象領域内の物体ごとにクラスタリングして生成された形状データに基づいて障害物データを生成するため、さらに、複数の計測点情報を送信する際のデータ量を削減できる。
【0086】
上記第1除外領域は、第1測定装置からの距離が、所定長さ、及び、第1測定装置の水平方向の角度分解能に基づいて定められる距離よりも大きくなる領域であってもよい。上記第2除外領域は、第2測定装置からの距離が、所定長さ、及び、第2測定装置の水平方向の角度分解能に基づいて定められる距離よりも大きくなる領域であってもよい。
【0087】
これにより、検出精度が低いために追跡することが困難な遠方の物体を測定の対象から除外することができる。その結果、物体追跡の処理に係る負荷を小さくすることができる。さらには、複数の計測点情報を送信する際のデータ量を削減でき、通信時間を短縮してリアルタイム同期処理を容易に行うことができる。
【0088】
上記所定長さをd、上記第1測定装置の水平方向の角度分解能をθ1、上記第2測定装置の水平方向の角度分解能をθ2とする。この場合、上記第1除外領域は、第1測定装置からの距離が、d/(2・tanθ1)よりも大きくなる領域であってもよい。上記第2除外領域は、第2測定装置からの距離が、d/(2・tanθ2)よりも大きくなる領域であってもよい。
【0089】
これにより、検出精度が低いために追跡することが困難な遠方の物体を測定の対象から除外することができる。その結果、物体追跡の処理に係る負荷を小さくすることができる。また、測定対象となる物体に対して、水平方向に少なくとも3点よりも多くの計測点を計測することが保証される。その結果、測定対象となる物体に対して、確実に物体追跡の処理を行うことができる。さらには、測定対象となる物体に対して、物体追跡の処理を継続することができる。
【0090】
上記所定長さとして、対象領域内における監視対象物の最小幅が設定されてもよい。これにより、対象領域内を通過することが想定される監視対象物に合わせて除外領域を設定できる。さらには、監視対象物に対して、水平方向に少なくとも3点よりも多くの計測点を計測することが保証される。その結果、監視対象物の追跡処理を継続して実行できる。
【0091】
上述の実施形態で示した各機能は、1又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサ、電気回路などが含まれ、さらには、特定用途向けの集積回路(ASIC)のような装置、又は、記載された機能を実行するよう配置された回路構成要素なども含まれる。
【0092】
いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正または変形をすることが可能である。上記実施形態のすべての構成要素、及び請求の範囲に記載されたすべての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。
【符号の説明】
【0093】
1 監視システム
2 スレーブレーザレーダ装置(第1測定装置)
3 マスタレーザレーダ装置(第2測定装置)
4 レーザセンサ
5 処理装置
6 レーザセンサ
7 処理装置
8 検出装置
DM1 点群情報(第1点群データ)
DM2 点群情報(第2点群データ)
DP1 部分情報(第1形状データ)
DP2 部分情報(第2形状データ)
RA 照射可能領域
RB 照射可能領域
RD 監視領域
図1
図2
図3