(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】物体認識装置、及び、物体認識方法
(51)【国際特許分類】
G06T 7/521 20170101AFI20221220BHJP
G06T 7/00 20170101ALI20221220BHJP
G01S 17/89 20200101ALI20221220BHJP
G08G 1/16 20060101ALI20221220BHJP
G01S 17/66 20060101ALN20221220BHJP
G01S 17/93 20200101ALN20221220BHJP
【FI】
G06T7/521
G06T7/00 300F
G01S17/89
G08G1/16 A
G01S17/66
G01S17/93
(21)【出願番号】P 2018074742
(22)【出願日】2018-04-09
【審査請求日】2021-01-20
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100106149
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】酒井 映
【審査官】笠田 和宏
(56)【参考文献】
【文献】特開2000-329852(JP,A)
【文献】城殿 清澄, 外3名,"高解像度レーザレーダによる歩行者識別",日本ロボット学会誌,日本,一般社団法人日本ロボット学会,2011年12月15日,第29巻, 第10号,pp.97-104
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/521
G06T 7/00
G01S 17/89
G08G 1/16
G01S 17/66
G01S 17/93
(57)【特許請求の範囲】
【請求項1】
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得部(A1)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を得るクラスタリング部(A3)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記3次元距離センサが前記測距点群データを生成した時に受信したノイズレベルを、前記3次元距離センサによる物体の検出精度
の指標値
として算出するクラスタ精度指標算出部(A2)と、
前記クラスタ精度指標算出部が算出した前記指標値に基づいて、前記クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定する特徴量選択部(A
4)と、
前記特徴量選択部によって決定されている種類の前記特徴量を当該クラスタ点群から抽出する特徴量算出部(A5)と、
前記特徴量算出部が算出した前記特徴量に基づいて前記クラスタ点群が表す物体を識別する識別処理部(A6)と、を備え、
前記特徴量算出部は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を前記粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成されており、
前記特徴量選択部は、前記ノイズレベルが低いほど前記細粒質特徴量を優先的に物体の識別に用いる前記特徴量として選定するように構成されている物体認識装置。
【請求項2】
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得部(A1)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を得るクラスタリング部(A3)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値を、前記3次元距離センサによる物体の検出精度
の指標値
として算出するクラスタ精度指標算出部(A2)と、
前記クラスタ精度指標算出部によって算出された前記指標値に基づいて、前記クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定する特徴量選択部(A
4)と、
前記特徴量選択部によって決定されている種類の前記特徴量を当該クラスタ点群から抽出する特徴量算出部(A5)と、
前記特徴量算出部が算出した前記特徴量に基づいて前記クラスタ点群が表す物体を識別する識別処理部(A6)と、を備え、
前記特徴量算出部は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を前記粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成されており、
前記特徴量選択部は、前記強度代表値が高いほど前記細粒質特徴量を優先的に物体の識別に用いる前記特徴量として選択するように構成されている物体認識装置。
【請求項3】
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得部(A1)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を得るクラスタリング部(A3)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値、及び、前記3次元距離センサが前記測距点群データを生成した時に受信したノイズレベルの両方を、前記3次元距離センサによる物体の検出精度
の指標値
として算出するクラスタ精度指標算出部(A2)と、
前記クラスタ精度指標算出部によって算出された前記指標値に基づいて、前記クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定する特徴量選択部(A
4)と、
前記特徴量選択部によって決定されている種類の前記特徴量を当該クラスタ点群から抽出する特徴量算出部(A5)と、
前記特徴量算出部が算出した前記特徴量に基づいて前記クラスタ点群が表す物体を識別する識別処理部(A6)と、を備え、
前記特徴量算出部は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を前記粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成されており、
前記特徴量選択部は、前記ノイズレベルと前記強度代表値の両方に基づいて物体の識別に用いる前記特徴量の組合せを変更するように構成されている物体認識装置。
【請求項4】
請求項
2又は
3に記載の物体認識装置であって、
前記クラスタ精度指標算出部は、前記指標値として、前記測距点群データに基づいて前記クラスタ点群を構成する前記測距点毎の反射強度の分散である強度分散を算出するように構成されており、
前記特徴量選択部は、前記強度分散が低いほど前記細粒質特徴量を優先的に物体の識別に用いる前記特徴量として選定するように構成されている物体認識装置。
【請求項5】
請求項
1から
4の何れか1項に記載の物体認識装置であって、
前記クラスタ精度指標算出部は、前記指標値として、前記測距点群データに基づいて前記クラスタ点群の解像度を算出するように構成されており、
前記特徴量
選択部は、前記解像度が高いほど前記細粒質特徴量を優先的に物体の識別に用いる前記特徴量として選定するように構成されている物体認識装置。
【請求項6】
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得部(A1)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を得るクラスタリング部(A3)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値、及び、前記3次元距離センサが前記測距点群データを生成した時に受信したノイズレベルの少なくとも何れか一方を、前記3次元距離センサによる物体の検出精度
の指標値
として算出するクラスタ精度指標算出部(A2)と、
前記クラスタ精度指標算出部によって算出された前記指標値に基づいて、前記クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定する特徴量選択部(A
4)と、
前記特徴量選択部によって決定されている種類の前記特徴量を当該クラスタ点群から抽出する特徴量算出部(A5)と、
前記特徴量算出部が算出した前記特徴量に基づいて前記クラスタ点群が表す物体を識別する識別処理部(A6)と、を備え、
前記特徴量算出部は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を前記粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成されており、
前記クラスタ精度指標算出部は、前記指標値として、前記測距点群データに基づいて前記クラスタ点群の解像度を算出し、
前記特徴量選択部は、前記解像度が高いほど前記細粒質特徴量を優先的に物体の識別に用いる前記特徴量として選定するように構成されている物体認識装置。
【請求項7】
請求項
1から
6の何れか1項に記載の物体認識装置であって、
前記特徴量算出部は、前記粗粒質特徴量として、前記クラスタ点群を構成する前記測距点の数、前記クラスタ点群のサイズを表す値、前記クラスタ点群の輪郭長、
前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値、及び、前記クラスタ点群を構成する前記測距点毎の反射強度の分散の少なくとも何れか1つを算出可能に構成されているとともに、前記細粒質特徴量として、前記クラスタ点群の円度、直線度、点間角分布、及び曲率分布の少なくとも何れか1つを算出可能に構成されている物体認識装置。
【請求項8】
請求項
1から
7の何れか1項に記載の物体認識装置であって、
前記特徴量選択部は、
前記指標値が前記クラスタ点群の検出精度が低レベルとあるとみなす所定の低精度条件を充足している場合には、前記識別に用いる前記特徴量として、前記細粒質特徴量に該当する前記特徴量は採用せず、
前記指標値が前記クラスタ点群の検出精度が高レベルとあるとみなす所定の高精度条件を充足している場合には、前記識別に用いる前記特徴量として、前記粗粒質特徴量に該当する前記特徴量は採用しないように構成されている物体認識装置。
【請求項9】
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得部(A1)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を得るクラスタリング部(A3)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値、及び、前記3次元距離センサが前記測距点群データを生成した時に受信したノイズレベルの少なくとも何れか一方を、前記3次元距離センサによる物体の検出精度
の指標値
として算出するクラスタ精度指標算出部(A2)と、
前記クラスタ精度指標算出部によって算出された前記指標値に基づいて、前記クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定する特徴量選択部(A
4)と、
前記特徴量選択部によって決定されている種類の前記特徴量を当該クラスタ点群から抽出する特徴量算出部(A5)と、
前記特徴量算出部が算出した前記特徴量に基づいて前記クラスタ点群が表す物体を識別する識別処理部(A6)と、を備え、
前記特徴量算出部は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を前記粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成されており、
前記特徴量選択部は、
前記指標値が前記クラスタ点群の検出精度が低レベルとあるとみなす所定の低精度条件を充足している場合には、前記識別に用いる前記特徴量として、前記細粒質特徴量に該当する前記特徴量は採用せず、
前記指標値が前記クラスタ点群の検出精度が高レベルとあるとみなす所定の高精度条件を充足している場合には、前記識別に用いる前記特徴量として、前記粗粒質特徴量に該当する前記特徴量は採用しないように構成されている物体認識装置。
【請求項10】
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得部(B1)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を抽出するクラスタリング部(B3)と、
前記クラスタリング部が抽出した前記クラスタ点群に対して、物体の追跡に使用する特徴量として少なくとも1種類の前記特徴量を算出する特徴量算出部(B5)と、
前記クラスタリング部が抽出した前記クラスタ点群の代表位置を算出する代表位置算出部(B4)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記クラスタリング部が抽出した前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値、及び、前記3次元距離センサが前記測距点群データを生成した時に受信していたノイズレベルの少なくとも何れか一方を、前記3次元距離センサによる物体の検出精度
を示す指標値
として算出するクラスタ精度指標算出部(B2)と、
前記
クラスタ精度指標
算出部が
算出した前記指標値に基づいて、物体の認識に用いられる特徴量の重みを変更する重み調整部(B7)と、
前記代表位置算出部が算出した前記代表位置と前記クラスタ精度指標算出部が算出した前記指標値とを前記クラスタ点群と対応付けて保存する保存処理部(B6)と、
前記クラスタ点群の前記代表位置及び前記特徴量に基づいて、前時刻で取得した前記測距点群データから抽出された前記クラスタ点群である検出済みクラスタ点群と、新たに取得した前記測距点群データから抽出された前記クラスタ点群である現時刻クラスタ点群との対応付けを行う追跡処理部(B9)と、を備え、
前記追跡処理部は、前記検出済みクラスタ点群の前時刻における前記代表位置に基づいて定まる現時点における前記検出済みクラスタ点群の位置と前記現時刻クラスタ点群の前記代表位置との距離を示す3D距離成分と、前記検出済みクラスタ点群と前記現時刻クラスタ点群との前記特徴量の差を示す特徴量差成分を、重み係数を用いて重み付け加算してなる重み付け距離に基づいて前記対応付けを実施するように構成されており、
前記重み調整部は、前記クラスタ精度指標算出部によって算出された前記指標値に基づいて、前記重み係数の値を決定するように構成されている物体認識装置。
【請求項11】
請求項1
0に記載の物体認識装置であって、
前記クラスタ精度指標算出部は、前記ノイズレベルを算出するように構成されており、
前記重み調整部は、前記ノイズレベルが低いほど、前記特徴量差成分が前記重み付け距離に寄与する割合が小さくなるように前記重み係数を決定する物体認識装置。
【請求項12】
請求項1
0又は1
1に記載の物体認識装置であって、
前記クラスタ精度指標算出部は、前記強度代表値を算出するように構成されており、
前記重み調整部は、前記強度代表値が高いほど、前記特徴量差成分が前記重み付け距離に寄与する割合が小さくなるように前記重み係数を決定する物体認識装置。
【請求項13】
請求項1
0から1
2の何れか1項に記載の物体認識装置であって、
前記クラスタ精度指標算出部によって算出された前記指標値に基づいて、前記現時刻クラスタ点群に対応する前記検出済みクラスタ点群の候補を抽出するためのパラメータである追跡閾値を調整する閾値調整部(B8)を備え、
前記追跡処理部は、処理の対象とする前記現時刻クラスタ点群である対象クラスタ点群に対応する前記検出済みクラスタ点群として、前記重み付け距離が追跡閾値以内となっている前記検出済みクラスタ点群のうち、前記重み付け距離が最も低い前記検出済みクラスタ点群を採用するように構成されている物体認識装置。
【請求項14】
請求項1
3に記載の物体認識装置であって、
前記クラスタ精度指標算出部は、前記ノイズレベルを算出するように構成されており、
前記閾値調整部は、前記ノイズレベルが低いほど、前記追跡閾値を小さい値に設定する物体認識装置。
【請求項15】
請求項1
3に記載の物体認識装置であって、
前記クラスタ精度指標算出部は、前記強度代表値を算出するように構成されており、
前記閾値調整部は、前記強度代表値が高いほど、前記追跡閾値を小さい値に設定する物体認識装置。
【請求項16】
請求項1
3に記載の物体認識装置であって、
前記クラスタ精度指標算出部は、前記ノイズレベルと前記強度代表値の両方を算出するように構成されており、
前記閾値調整部は、前記ノイズレベルと前記強度代表値の両方に基づいて前記追跡閾値を決定するように構成されている物体認識装置。
【請求項17】
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得部(C1)と、
前記測距点間の実空間上の距離を示す3D距離成分と、反射強度の差を示す強度差成分と、に基づいて測距点群をクラスタリングするクラスタリング部(C3)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、前記3次元距離センサによる物体の検出精度を直接的又は間接的に示す、所定の状態量である指標値を取得する精度指標取得部(C2)と、
前記精度指標取得部が取得した前記指標値に基づいて、物体の認識に用いられる特徴量の重みを変更する重み調整部(C31)と、
を備え、
前記精度指標取得部は、前記3次元距離センサが前記測距点群データを生成した時に受信したノイズレベル、及び、同一のクラスタに属するか否かの判定処理の対象とする2つの前記測距点の反射強度の代表値である強度代表値の少なくとも何れか一方を前記指標値として算出し、
前記クラスタリング部は、前記判定処理の対象とする2つの前記測距点についての前記3D距離成分と前記強度差成分とを、重み係数を用いて重み付け加算してなる重み付け距離に基づいて、前記クラスタリングを実施し、
前記重み調整部は、前記精度指標取得部が算出している前記指標値に基づいて、前記重み係数の値を決定するように構成されている物体認識装置。
【請求項18】
請求項1
7に記載の物体認識装置であって、
前記精度指標取得部は、前記ノイズレベルを算出するように構成されており、
前記重み調整部は、前記ノイズレベルが低いほど、前記強度差成分が前記重み付け距離に寄与する割合が小さくなるように前記重み係数を決定する物体認識装置。
【請求項19】
請求項1
7又は1
8に記載の物体認識装置であって、
前記精度指標取得部は、前記強度代表値を算出するように構成されており、
前記重み調整部は、前記強度代表値が高いほど、前記強度差成分が前記重み付け距離に寄与する割合が小さくなるように前記重み係数を決定する物体認識装置。
【請求項20】
請求項1
7から
19の何れか1項に記載の物体認識装置であって、
前記精度指標取得部によって算出された前記指標値に基づいて、前記判定処理の対象とする2つの前記測距点が同一のクラスタに属するものであるか否かの判定に使用される結合閾値を調整する閾値調整部(C32)を備え、
前記クラスタリング部は、前記判定処理の対象とする2つの前記測距点についての前記重み付け距離が結合閾値未満となっている場合に、これらの前記測距点は同一のクラスタに属するものであると判定するように構成されている物体認識装置。
【請求項21】
請求項20に記載の物体認識装置であって、
前記精度指標取得部は、前記ノイズレベルを算出するように構成されており、
前記閾値調整部は、前記ノイズレベルが高いほど、前記結合閾値を大きく設定するように構成されている物体認識装置。
【請求項22】
請求項20に記載の物体認識装置であって、
前記精度指標取得部は、前記強度代表値を算出するように構成されており、
前記閾値調整部は、前記強度代表値が小さいほど、前記結合閾値を大きく設定するように構成されている物体認識装置。
【請求項23】
請求項20に記載の物体認識装置であって、
前記精度指標取得部は、前記ノイズレベルと前記強度代表値の両方を算出するように構成されており、
前記閾値調整部は、前記ノイズレベルと前記強度代表値の両方に基づいて前記結合閾値を決定するように構成されている物体認識装置。
【請求項24】
物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を前記粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成された物体認識装置で実行される物体認識方法であって、
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得ステップ(S101)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記3次元距離センサが前記測距点群データを生成した時に受信したノイズレベルを、前記3次元距離センサによる物体の検出精度
の指標値
として取得する精度指標取得ステップ(S102、S106)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を得るステップ(S103)と、
前記精度指標取得ステップで得られた
前記指標値に基づいて前記クラスタ点群が表す物体の識別に用いる前記特徴量の組合せを決定するステップであって、前記ノイズレベルが低いほど前記細粒質特徴量を優先的に物体の識別に用いる前記特徴量として選定するステップ(S107)と、
上記ステップで決定された種類の前記特徴量を当該クラスタ点群から抽出するステップ(S109)と、
上記ステップで抽出された前記特徴量に基づいて前記クラスタ点群が表す物体を識別するステップ(S110)と、を含む物体認識方法。
【請求項25】
物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を前記粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成された物体認識装置で実行される物体認識方法であって、
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得ステップ(S101)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を得るステップ(S103)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値を、前記3次元距離センサによる物体の検出精度
の指標値
として算出する精度指標取得ステップ(S102、S106)と、
前記精度指標取得ステップで得られた
前記指標値に基づいて、前記クラスタ点群が表す物体の識別に用いる前記特徴量の組合せを決定するステップであって、前記強度代表値が高いほど前記細粒質特徴量を優先的に物体の識別に用いる前記特徴量として選択するステップ(S107)と、
上記ステップで決定された種類の前記特徴量を当該クラスタ点群から抽出するステップ(S109)と、
上記ステップで抽出された前記特徴量に基づいて前記クラスタ点群が表す物体を識別するステップ(S110)と、を含む物体認識方法。
【請求項26】
物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を前記粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成された物体認識装置で実行される物体認識方法であって、
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得ステップ(S101)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を得るステップ(S103)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値、及び、前記3次元距離センサが前記測距点群データを生成した時に受信したノイズレベルの両方を、前記3次元距離センサによる物体の検出精度
の指標値
として取得する精度指標取得ステップ(S102、S106)と、
前記精度指標取得ステップで得られた
前記ノイズレベルと前記強度代表値の両方に基づいて物体の識別に用いる前記特徴量の組合せを決定するステップ(S107)と、
上記ステップで決定された種類の前記特徴量を当該クラスタ点群から抽出するステップ(S109)と、
上記ステップで抽出された前記特徴量に基づいて前記クラスタ点群が表す物体を識別するステップ(S110)と、を含む物体認識方法。
【請求項27】
物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を前記粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成された物体認識装置で実行される物体認識方法であって、
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得ステップ(S101)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を得るステップ(S103)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値、及び、前記3次元距離センサが前記測距点群データを生成した時に受信したノイズレベルの少なくとも何れか一方を、前記3次元距離センサによる物体の検出精度
の指標値
として取得する精度指標取得ステップ(S102、S106)と、
前記測距点群データに基づいて前記クラスタ点群の解像度を算出するステップと、
前記精度指標取得ステップで得られた
前記指標値に基づいて、前記クラスタ点群が表す物体の識別に用いる前記特徴量の組合せを決定するステップであって、前記解像度が高いほど前記細粒質特徴量を優先的に物体の識別に用いる前記特徴量として選定するステップ(S107)と、
上記ステップで決定された種類の前記特徴量を当該クラスタ点群から抽出するステップ(S109)と、
上記ステップで抽出された前記特徴量に基づいて前記クラスタ点群が表す物体を識別するステップ(S110)と、を含む物体認識方法。
【請求項28】
物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を前記粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成された物体認識装置で実行される物体認識方法であって、
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから前記測距点群データを取得する測距結果取得ステップ(S101)と、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を得るステップ(S103)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値、及び、前記3次元距離センサが前記測距点群データを生成した時に受信したノイズレベルの少なくとも何れか一方を、前記3次元距離センサによる物体の検出精度の指標値として取得する精度指標取得ステップ(S102、S106)と
、
前記精度指標取得ステップで得られた前記指標値に基づいて、前記クラスタ点群が表す物体の識別に用いる前記特徴量の組合せを決定するステップ(S107)と、
上記ステップで決定された種類の前記特徴量を当該クラスタ点群から抽出するステップ(S109)と、
上記ステップで抽出された前記特徴量に基づいて前記クラスタ点群が表す物体を識別するステップ(S110)と、を含み、
前記物体の識別に用いる前記特徴量の組合せを決定するステップは、
前記指標値が前記クラスタ点群の検出精度が低レベルとあるとみなす所定の低精度条件を充足している場合には、前記識別に用いる前記特徴量として、前記細粒質特徴量に該当する前記特徴量は採用せず、
前記指標値が前記クラスタ点群の検出精度が高レベルとあるとみなす所定の高精度条件を充足している場合には、前記識別に用いる前記特徴量として、前記粗粒質特徴量に該当する前記特徴量は採用しないように構成されている物体認識方法。
【請求項29】
レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光する3次元距離センサで生成される、前記レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを用いて物体を追跡するための物体認識方法であって、
前記測距点群データが備える前記測距点をクラスタリングし、クラスタ点群を抽出するステップ(S203)と、
前記クラスタ点群に対して、少なくとも1種類の所定の特徴量と、前記クラスタ点群の代表位置を算出するステップ(S206)と、
前記測距点群データ、又は前記3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、
前記クラスタ点群を構成する前記測距点毎の反射強度を代表的に表す強度代表値、及び、前記3次元距離センサが前記測距点群データを生成した時に受信していたノイズレベルの少なくとも何れか一方を、前記3次元距離センサによる物体の検出精度
を示す指標値
として取得する精度指標取得ステップ(S202、S205)と、
前記精度指標取得ステップで得られた前記指標値に基づいて、物体の認識に用いられる特徴量の重みを変更する重み調整ステップ(S207)と、
前記代表位置と前記指標値とを前記クラスタ点群と対応付けて保存するステップと、
前記指標値に基づいて、前時刻で取得した前記測距点群データから抽出された前記クラスタ点群である検出済みクラスタ点群と、新たに取得した前記測距点群データから抽出された前記クラスタ点群である現時刻クラスタ点群との対応付け処理に使用する重み係数の値を決定するステップ(S207)と、
前記検出済みクラスタ点群ごとに、前記現時刻クラスタ点群に対する前記代表位置の差である3D距離成分と、前記特徴量の差である特徴量差成分を算出するステップ(S209)と、
前記3D距離成分と前記特徴量差成分を、前記重み係数を用いて重み付け加算してなる重み付け距離に基づいて、前記現時刻クラスタ点群と前記検出済みクラスタ点群の対応付けを行うステップ(S210)と、を含む物体認識方法。
【請求項30】
3次元距離センサが照射したレーザ光を反射した点である測距点のクラスタリングを行うための物体認識方法であって、
前記3次元距離センサから、測距点
毎の位置
及び反射強度を示す測距点群データ
を取得する測距結果取得ステップ(S301)と、
前記3次元距離センサが前記測距点群データを生成した時に受信したノイズレベル、及び、同一のクラスタに属するか否かの判定処理の対象とする2つの前記測距点の反射強度の代表値である強度代表値の、少なくとも何れか一方を、前記3次元距離センサによる物体の検出精度
を示す指標値
として取得する精度指標取得ステップ(S302、S304)と、
前記精度指標取得ステップで得られた前記指標値に基づいて、
クラスタリングとしての前記判定処理に使用される重み
係数の値を変更する重み調整ステップ(S305)と、
前記判定処理の対象とする2つの前記測距点についての、実空間上の距離を示す3D距離成分と、反射強度の差を示す強度差成分とを、前記重み係数を用いて重み付け加算してなる重み付け距離に基づいて、前記判定処理の対象とする2つの前記測距点が同一のクラスタに属するか否かを判定するステップ(S308)と、を含む物体認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、3次元距離センサが生成する測距点群データに基づいて、当該3次元測距センサの検出範囲に存在する物体を認識する物体認識装置、及び、物体認識方法に関する。
【背景技術】
【0002】
従来、レーザ光を照射するとともに、当該レーザ光が物体で反射されて返ってくる反射光を受光することで、複数の検出方向毎の物体までの距離情報を示す測距点群データを生成する3次元距離センサ(例えばLIDAR: LIght Detection And Ranging、Laser Imaging Detection And Ranging)がある。なお、3次元距離センサが生成する測距点群データは、換言すれば、検出方向毎の物体までの距離を示す3次元距離画像に相当する。
【0003】
また、特許文献1に例示されているように、当該3次元距離センサを用いた物体認識装置として、3次元距離センサが生成した測距点群データが示すレーザ光の反射点(以降、測距点)を、測距点毎の距離情報に基づいてクラスタリングし、当該クラスタリングの結果として得られるクラスタの特徴量(例えば大きさ)に基づいて、クラスタに対応する検出物体の種別等を識別する技術がある。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
検出物体が人体等のレーザ光を反射しにくい物体である場合や、検出物体との距離が離れている場合、3次元距離センサによる物体の測距精度は低下する傾向がある。また、外乱光などのノイズ要素が強い状況下においては、ノイズを測距点として検出してしまいやすく、測距点が実在する物体を表すものであるのか否かの信頼度が低下する。一般的に、測距精度が低い場合やノイズレベルが高い場合、物体の認識精度は低下する。
【0006】
ところで、物体の認識には、物体の大きさや、測距点の距離分布、反射強度の分布などの種々の特徴量が使用される。物体の認識で使用される特徴量の中には、耐ノイズ性が高い特徴量や、測距点毎の測距精度の低下の影響を受けにくい特徴量が存在する。
【0007】
本開示は、上記の着眼点に基づいて成されたものであり、その目的とするところは、より精度良く物体を認識可能な物体認識装置、及び、物体認識方法を提供することにある。
【課題を解決するための手段】
【0008】
その目的を達成するための本開示における第1の物体認識装置は一例として、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得部(A1)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を得るクラスタリング部(A3)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、3次元距離センサが測距点群データを生成した時に受信したノイズレベルを、3次元距離センサによる物体の検出精度の指標値として算出するクラスタ精度指標算出部(A2)と、クラスタ精度指標算出部が算出した指標値に基づいて、クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定する特徴量選択部(A4)と、特徴量選択部によって決定されている種類の特徴量を当該クラスタ点群から抽出する特徴量算出部(A5)と、特徴量算出部が算出した特徴量に基づいてクラスタ点群が表す物体を識別する識別処理部(A6)と、を備え、特徴量算出部は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成されており、特徴量選択部は、ノイズレベルが低いほど細粒質特徴量を優先的に物体の識別に用いる特徴量として選定するように構成されている。
上記目的を達成するための第2の物体認識装置は、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得部(A1)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を得るクラスタリング部(A3)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、クラスタ点群を構成する測距点毎の反射強度を代表的に表す強度代表値を、3次元距離センサによる物体の検出精度の指標値として算出するクラスタ精度指標算出部(A2)と、クラスタ精度指標算出部によって算出された指標値に基づいて、クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定する特徴量選択部(A4)と、特徴量選択部によって決定されている種類の特徴量を当該クラスタ点群から抽出する特徴量算出部(A5)と、特徴量算出部が算出した特徴量に基づいてクラスタ点群が表す物体を識別する識別処理部(A6)と、を備え、特徴量算出部は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成されており、特徴量選択部は、強度代表値が高いほど細粒質特徴量を優先的に物体の識別に用いる特徴量として選択するように構成されている。
上記目的を達成するための第3の物体認識装置は、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得部(A1)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を得るクラスタリング部(A3)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、クラスタ点群を構成する測距点毎の反射強度を代表的に表す強度代表値、及び、3次元距離センサが測距点群データを生成した時に受信したノイズレベルの両方を、3次元距離センサによる物体の検出精度の指標値として算出するクラスタ精度指標算出部(A2)と、クラスタ精度指標算出部によって算出された指標値に基づいて、クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定する特徴量選択部(A4)と、特徴量選択部によって決定されている種類の特徴量を当該クラスタ点群から抽出する特徴量算出部(A5)と、特徴量算出部が算出した特徴量に基づいてクラスタ点群が表す物体を識別する識別処理部(A6)と、を備え、特徴量算出部は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成されており、特徴量選択部は、ノイズレベルと強度代表値の両方に基づいて物体の識別に用いる特徴量の組合せを変更するように構成されている。
上記目的を達成するための第4の物体認識装置は、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得部(A1)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を得るクラスタリング部(A3)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、クラスタ点群を構成する測距点毎の反射強度を代表的に表す強度代表値、及び、3次元距離センサが測距点群データを生成した時に受信したノイズレベルの少なくとも何れか一方を、3次元距離センサによる物体の検出精度の指標値として算出するクラスタ精度指標算出部(A2)と、クラスタ精度指標算出部によって算出された指標値に基づいて、クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定する特徴量選択部(A4)と、特徴量選択部によって決定されている種類の特徴量を当該クラスタ点群から抽出する特徴量算出部(A5)と、特徴量算出部が算出した特徴量に基づいてクラスタ点群が表す物体を識別する識別処理部(A6)と、を備え、特徴量算出部は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成されており、クラスタ精度指標算出部は、指標値として、測距点群データに基づいてクラスタ点群の解像度を算出し、特徴量選択部は、解像度が高いほど細粒質特徴量を優先的に物体の識別に用いる特徴量として選定するように構成されている。
上記目的を達成するための第5の物体認識装置は、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得部(A1)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を得るクラスタリング部(A3)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、クラスタ点群を構成する測距点毎の反射強度を代表的に表す強度代表値、及び、3次元距離センサが測距点群データを生成した時に受信したノイズレベルの少なくとも何れか一方を、3次元距離センサによる物体の検出精度の指標値として算出するクラスタ精度指標算出部(A2)と、クラスタ精度指標算出部によって算出された指標値に基づいて、クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定する特徴量選択部(A4)と、特徴量選択部によって決定されている種類の特徴量を当該クラスタ点群から抽出する特徴量算出部(A5)と、特徴量算出部が算出した特徴量に基づいてクラスタ点群が表す物体を識別する識別処理部(A6)と、を備え、特徴量算出部は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成されており、特徴量選択部は、指標値がクラスタ点群の検出精度が低レベルとあるとみなす所定の低精度条件を充足している場合には、識別に用いる特徴量として、細粒質特徴量に該当する特徴量は採用せず、指標値がクラスタ点群の検出精度が高レベルとあるとみなす所定の高精度条件を充足している場合には、識別に用いる特徴量として、粗粒質特徴量に該当する特徴量は採用しないように構成されている。
上記目的を達成するための第6の物体認識装置は、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得部(B1)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を抽出するクラスタリング部(B3)と、クラスタリング部が抽出したクラスタ点群に対して、物体の追跡に使用する特徴量として少なくとも1種類の特徴量を算出する特徴量算出部(B5)と、クラスタリング部が抽出したクラスタ点群の代表位置を算出する代表位置算出部(B4)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、クラスタリング部が抽出したクラスタ点群を構成する測距点毎の反射強度を代表的に表す強度代表値、及び、3次元距離センサが測距点群データを生成した時に受信していたノイズレベルの少なくとも何れか一方を、3次元距離センサによる物体の検出精度を示す指標値として算出するクラスタ精度指標算出部(B2)と、クラスタ精度指標算出部が算出した指標値に基づいて、物体の認識に用いられる特徴量の重みを変更する重み調整部(B7)と、代表位置算出部が算出した代表位置とクラスタ精度指標算出部が算出した指標値とをクラスタ点群と対応付けて保存する保存処理部(B6)と、クラスタ点群の代表位置及び特徴量に基づいて、前時刻で取得した測距点群データから抽出されたクラスタ点群である検出済みクラスタ点群と、新たに取得した測距点群データから抽出されたクラスタ点群である現時刻クラスタ点群との対応付けを行う追跡処理部(B9)と、を備え、追跡処理部は、検出済みクラスタ点群の前時刻における代表位置に基づいて定まる現時点における検出済みクラスタ点群の位置と現時刻クラスタ点群の代表位置との距離を示す3D距離成分と、検出済みクラスタ点群と現時刻クラスタ点群との特徴量の差を示す特徴量差成分を、重み係数を用いて重み付け加算してなる重み付け距離に基づいて対応付けを実施するように構成されており、重み調整部は、クラスタ精度指標算出部によって算出された指標値に基づいて、重み係数の値を決定するように構成されている。
上記目的を達成するための第7の物体認識装置は、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得部(C1)と、測距点間の実空間上の距離を示す3D距離成分と、反射強度の差を示す強度差成分と、に基づいて測距点群をクラスタリングするクラスタリング部(C3)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、3次元距離センサによる物体の検出精度を直接的又は間接的に示す、所定の状態量である指標値を取得する精度指標取得部(C2)と、精度指標取得部が取得した指標値に基づいて、物体の認識に用いられる特徴量の重みを変更する重み調整部(C31)と、を備え、精度指標取得部は、3次元距離センサが測距点群データを生成した時に受信したノイズレベル、及び、同一のクラスタに属するか否かの判定処理の対象とする2つの測距点の反射強度の代表値である強度代表値の少なくとも何れか一方を指標値として算出し、クラスタリング部は、判定処理の対象とする2つの測距点についての3D距離成分と強度差成分とを、重み係数を用いて重み付け加算してなる重み付け距離に基づいて、クラスタリングを実施し、重み調整部は、精度指標取得部が算出している指標値に基づいて、重み係数の値を決定するように構成されている。
【0009】
上記の構成では、認識処理部が物体の認識に使用する特徴量の重みが、3次元距離センサによる物体の検出精度を直接的又は間接的に示す所定の指標値に応じて変更される。このような構成によれば、実際の検出状況に適した特徴量を優先的に(具体的には重みを大きくして)用いることにより、より精度良く物体を認識できるようになる。
【0010】
また、目的を達成するための本開示における第1の物体認識方法は一例として、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成された物体認識装置で実行される物体認識方法であって、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得ステップ(S101)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、3次元距離センサが測距点群データを生成した時に受信したノイズレベルを、3次元距離センサによる物体の検出精度の指標値として取得する精度指標取得ステップ(S102、S106)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を得るステップ(S103)と、精度指標取得ステップで得られた指標値に基づいてクラスタ点群が表す物体の識別に用いる特徴量の組合せを決定するステップであって、ノイズレベルが低いほど細粒質特徴量を優先的に物体の識別に用いる特徴量として選定するステップ(S107)と、上記ステップで決定された種類の特徴量を当該クラスタ点群から抽出するステップ(S109)と、上記ステップで抽出された特徴量に基づいてクラスタ点群が表す物体を識別するステップ(S110)と、を含む。
上記目的を達成するための本開示における第2の物体認識方法は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成された物体認識装置で実行される物体認識方法であって、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得ステップ(S101)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を得るステップ(S103)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、クラスタ点群を構成する測距点毎の反射強度を代表的に表す強度代表値を、3次元距離センサによる物体の検出精度の指標値として算出する精度指標取得ステップ(S102、S106)と、精度指標取得ステップで得られた指標値に基づいて、クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定するステップであって、強度代表値が高いほど細粒質特徴量を優先的に物体の識別に用いる特徴量として選択するステップ(S107)と、上記ステップで決定された種類の特徴量を当該クラスタ点群から抽出するステップ(S109)と、上記ステップで抽出された特徴量に基づいてクラスタ点群が表す物体を識別するステップ(S110)と、を含む。
上記目的を達成するための本開示における第3の物体認識方法は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成された物体認識装置で実行される物体認識方法であって、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得ステップ(S101)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を得るステップ(S103)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、クラスタ点群を構成する測距点毎の反射強度を代表的に表す強度代表値、及び、3次元距離センサが測距点群データを生成した時に受信したノイズレベルの両方を、3次元距離センサによる物体の検出精度の指標値として取得する精度指標取得ステップ(S102、S106)と、精度指標取得ステップで得られたノイズレベルと強度代表値の両方に基づいて物体の識別に用いる特徴量の組合せを決定するステップ(S107)と、上記ステップで決定された種類の特徴量を当該クラスタ点群から抽出するステップ(S109)と、上記ステップで抽出された特徴量に基づいてクラスタ点群が表す物体を識別するステップ(S110)と、を含む。
上記目的を達成するための本開示における第4の物体認識方法は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成された物体認識装置で実行される物体認識方法であって、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得ステップ(S101)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を得るステップ(S103)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、クラスタ点群を構成する測距点毎の反射強度を代表的に表す強度代表値、及び、3次元距離センサが測距点群データを生成した時に受信したノイズレベルの少なくとも何れか一方を、3次元距離センサによる物体の検出精度の指標値として取得する精度指標取得ステップ(S102、S106)と、測距点群データに基づいてクラスタ点群の解像度を算出するステップと、精度指標取得ステップで得られた指標値に基づいて、クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定するステップであって、解像度が高いほど細粒質特徴量を優先的に物体の識別に用いる特徴量として選定するステップ(S107)と、上記ステップで決定された種類の特徴量を当該クラスタ点群から抽出するステップ(S109)と、上記ステップで抽出された特徴量に基づいてクラスタ点群が表す物体を識別するステップ(S110)と、を含む。
上記目的を達成するための本開示における第5の物体認識方法は、物体の種別に応じた特徴を粗く表す特徴量である粗粒質特徴量と、物体の種別に応じた特徴を粗粒質特徴量よりも相対的に細かく表す特徴量である細粒質特徴量とを、それぞれ少なくとも1種類ずつ算出可能に構成された物体認識装置で実行される物体認識方法であって、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光することで、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを生成する3次元距離センサから測距点群データを取得する測距結果取得ステップ(S101)と、測距点群データが備える測距点をクラスタリングし、クラスタ点群を得るステップ(S103)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、クラスタ点群を構成する測距点毎の反射強度を代表的に表す強度代表値、及び、3次元距離センサが測距点群データを生成した時に受信したノイズレベルの少なくとも何れか一方を、3次元距離センサによる物体の検出精度の指標値として取得する精度指標取得ステップ(S102、S106)と、精度指標取得ステップで得られた指標値に基づいて、クラスタ点群が表す物体の識別に用いる特徴量の組合せを決定するステップ(S107)と、上記ステップで決定された種類の特徴量を当該クラスタ点群から抽出するステップ(S109)と、上記ステップで抽出された特徴量に基づいてクラスタ点群が表す物体を識別するステップ(S110)と、を含み、物体の識別に用いる特徴量の組合せを決定するステップは、指標値がクラスタ点群の検出精度が低レベルとあるとみなす所定の低精度条件を充足している場合には、識別に用いる特徴量として、細粒質特徴量に該当する特徴量は採用せず、指標値がクラスタ点群の検出精度が高レベルとあるとみなす所定の高精度条件を充足している場合には、識別に用いる特徴量として、粗粒質特徴量に該当する特徴量は採用しないように構成されている。
上記目的を達成するための本開示における第6の物体認識方法は、レーザ光を照射するとともに当該レーザ光が物体で反射されて返ってくる反射光を受光する3次元距離センサで生成される、レーザ光を反射した物体表面上の点である測距点の位置を示す測距点群データを用いて物体を追跡するための物体認識方法であって、測距点群データが備える測距点をクラスタリングし、クラスタ点群を抽出するステップ(S203)と、クラスタ点群に対して、少なくとも1種類の所定の特徴量と、クラスタ点群の代表位置を算出するステップ(S206)と、測距点群データ、又は3次元距離センサの動作環境を検出する環境センサの検出値に基づいて、クラスタ点群を構成する測距点毎の反射強度を代表的に表す強度代表値、及び、3次元距離センサが測距点群データを生成した時に受信していたノイズレベルの少なくとも何れか一方を、3次元距離センサによる物体の検出精度を示す指標値として取得する精度指標取得ステップ(S202、S205)と、精度指標取得ステップで得られた指標値に基づいて、物体の認識に用いられる特徴量の重みを変更する重み調整ステップ(S207)と、代表位置と指標値とをクラスタ点群と対応付けて保存するステップと、指標値に基づいて、前時刻で取得した測距点群データから抽出されたクラスタ点群である検出済みクラスタ点群と、新たに取得した測距点群データから抽出されたクラスタ点群である現時刻クラスタ点群との対応付け処理に使用する重み係数の値を決定するステップ(S207)と、検出済みクラスタ点群ごとに、現時刻クラスタ点群に対する代表位置の差である3D距離成分と、特徴量の差である特徴量差成分を算出するステップ(S209)と、3D距離成分と特徴量差成分を、重み係数を用いて重み付け加算してなる重み付け距離に基づいて、現時刻クラスタ点群と検出済みクラスタ点群の対応付けを行うステップ(S210)と、を含む。
上記目的を達成するための本開示における第7の物体認識方法は、3次元距離センサが照射したレーザ光を反射した点である測距点のクラスタリングを行うための物体認識方法であって、3次元距離センサから、測距点毎の位置及び反射強度を示す測距点群データを取得する測距結果取得ステップ(S301)と、3次元距離センサが測距点群データを生成した時に受信したノイズレベル、及び、同一のクラスタに属するか否かの判定処理の対象とする2つの測距点の反射強度の代表値である強度代表値の、少なくとも何れか一方を、3次元距離センサによる物体の検出精度を示す指標値として取得する精度指標取得ステップ(S302、S304)と、精度指標取得ステップで得られた指標値に基づいて、クラスタリングとしての判定処理に使用される重み係数の値を変更する重み調整ステップ(S305)と、判定処理の対象とする2つの測距点についての、実空間上の距離を示す3D距離成分と、反射強度の差を示す強度差成分とを、重み係数を用いて重み付け加算してなる重み付け距離に基づいて、判定処理の対象とする2つの測距点が同一のクラスタに属するか否かを判定するステップ(S308)と、を含む。
【0011】
上記の方法は前述の物体認識装置として開示する構成に対応するものである。上記の方法によれば、前述の物体認識装置として開示の構成と同様の効果を奏する。
【0012】
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【0013】
【
図1】物体認識ECU1の概略的な構成を示すブロック図である。
【
図2】第1実施形態の物体認識ECU1の機能ブロック図である。
【
図3】LIDAR2の作動及び測距点群データについて説明する図である。
【
図4】LIDAR2を用いて検出された物体の識別に使用される特徴量の一例を示すテーブルである。
【
図5】識別モデル記憶部12の構成を説明する図である。
【
図6】クラスタ点群の検出精度に応じた複数の識別モデルのそれぞれを構成する特徴量の組合せの一例を示した図である。
【
図7】クラスタ点群の検出精度に応じた識別モデルの生成手順を説明する図である。
【
図8】反射強度と測距精度との関係を示す図である。
【
図9】ノイズレベルと測距信頼度との関係を示す図である。
【
図10】学習データの分割ルールの一例を示す図である。
【
図11】第1実施形態の物体認識ECU1が実施する物体認識処理のフローチャートである。
【
図12】ノイズレベル及び強度平均に応じた識別モデルの選定規則の一例を示す図である。
【
図13】クラスタ点群の検出精度が高いほど優先的に細粒質特徴量を採用する構成について説明するための図である。
【
図14】ノイズレベルに基づいて識別処理に用いる特徴量の組合せを変更する態様の一例を示す図である。
【
図15】強度平均に基づいて識別処理に用いる特徴量の組合せを変更する態様の一例を示す図である。
【
図16】強度平均と強度分散とに基づいて識別処理に用いる特徴量の組合せを変更する態様の一例を示す図である。
【
図17】ノイズレベルと解像度とに基づいて識別処理に用いる特徴量の組合せを変更する態様の一例を示す図である。
【
図18】物体認識ECU1が車両外部に配されているサーバ20と協働して検出物体の識別を実施する場合の構成例を示す図である。
【
図19】第2実施形態における物体認識ECU1の機能ブロック図である。
【
図20】第2実施形態の物体認識ECU1が実施する追跡処理のフローチャートである。
【
図21】3D距離重み係数λの制御態様の一例を示す図である。
【
図22】追跡閾値τの制御態様の一例を示す図である。
【
図23】第3実施形態における物体認識ECU1の機能ブロック図である。
【
図24】3D距離重み係数θの制御態様の一例を示す図である。
【
図25】結合閾値εの制御態様の一例を示す図である。
【
図26】クラスタリング処理のフローチャートである。
【発明を実施するための形態】
【0014】
[第1実施形態]
以下、本開示の実施形態について図を用いて説明する。
図1は、本開示に係る物体認識装置としての物体認識ECU1を備える車載システム100の概略的な構成の一例を示す図である。車載システム100は、例えば乗用車等の車両に搭載されており、
図1に示すように物体認識ECU1、LIDAR2、及び自動運転ECU3を備えている。各部材名称中のECUは、Electronic Control Unitの略であって、電子制御装置を指す。LIDARは、LIght Detection And Ranging/Laser Imaging Detection And Rangingの略である。以降では、車載システム100が搭載されている車両を自車両とも記載する。
【0015】
物体認識ECU1は、LIDAR2及び自動運転ECU3のそれぞれと車両内に構築されている通信ネットワーク4を介して相互通信可能に接続されている。なお、LIDAR2や自動運転ECU3は、専用線によって物体認識ECU1と相互通信可能に接続されていても良い。
【0016】
物体認識ECU1は、後述するLIDAR2から入力される測距点群データに基づいて、車両の周辺に存在する物体の種別(例えば歩行者であるか否か)等を特定するECUである。物体認識ECU1が物体認識装置に相当する。物体認識ECU1は、構成要素として、入出力部11、識別モデル記憶部12、及び演算部13を備える。演算部13は、入出力部11及び識別モデル記憶部12のそれぞれと相互通信可能に接続されている。
【0017】
入出力部11は、物体認識ECU1(主として演算部13)が通信ネットワーク4に接続する他の装置と相互通信するためのインターフェースとして機能する回路モジュールである。例えば入出力部11は、LIDAR2から出力されたデータ(すなわち測距点群データ)を取得して、演算部13に提供する。また、演算部13から入力されたデータを所定の外部デバイス(例えば自動運転ECU3)に出力する。
【0018】
識別モデル記憶部12は、物体の種別を識別するためのデータである識別モデルを記憶している記憶装置である。識別モデルについては別途後述する。識別モデル記憶部12は、例えばハードディスクドライブやソリッドステートドライブ等といった、書き換え可能であって且つ不揮発性の記憶媒体を用いて実現されている。識別モデル記憶部12は、演算部13によってデータの読み出し及び書き込みが可能に構成されている。
【0019】
演算部13は、種々の演算処理を実行する構成であって、コンピュータとして構成されている。すなわち、演算部13は、CPU131、RAM132、フラッシュメモリ133、I/O、及びこれらの構成を接続するバスラインなどを備える。フラッシュメモリ133には、通常のコンピュータを演算部13として機能させるためのプログラム(以降、物体認識プログラム)等が格納されている。
【0020】
なお、演算部13は、CPUの代わりに、GPUやMPUを用いて実現されていても良い。さらにCPUやGPU、MPUを組合せて実現されていてもよい。また、上述の物体認識プログラムは、非遷移的実体的記録媒体(non- transitory tangible storage medium)に格納されていればよく、その具体的な格納媒体は、フラッシュメモリ133に限定されない。CPU131が物体認識プログラムを実行することは、物体認識プログラムに対応する物体認識方法が実行されることに相当する。CPU131が物体認識プログラムを実行することによって発揮される機能については別途後述する。
【0021】
演算部13は、CPU131が物体認識プログラムを実行することによって、
図2に示す種々の機能ブロックに対応する機能を提供する。すなわち、演算部13は機能ブロックとして測距結果取得部A1、測距精度評価部A2、クラスタリング部A3、モデル選択部A4、特徴量算出部A5、及び識別処理部A6を備える。これらの機能の詳細については別途後述する。なお、これらの種々の機能ブロックの一部又は全部は、ハードウェアとして実現されていても良い。或る機能をハードウェアとして実現する態様には1つ又は複数のICを用いて実現する態様も含まれる。
【0022】
LIDAR2は、レーザ光を複数の方向に照射し、その反射光を受光した方向と時間とに基づいて、反射点毎の三次元位置を検出する装置である。本実施形態では一例としてLIDAR2は、車両前方の所定範囲を検出範囲とするように車両の所定位置に設置されており、垂直方向に配された複数ラインのレーザを水平方向に走査することで、車両前方の検出範囲内に存在する物体表面上の複数の点の位置を検出するように構成されている。LIDAR2の搭載位置としては、例えばフロントバンパやフロントグリル、フロントウインドウの上端付近を採用することができる。LIDAR2は、3次元距離センサに相当する。
【0023】
なお、ここでの垂直方向及び水平方向とはLIDAR2にとっての垂直方向及び水平方向であって、LIDAR2に対して予め設定されている。LIDAR2は、垂直方向が車両の高さ方向と平行となり、かつ、水平方向が車両水平面と平行となる姿勢で取り付けられている。車両水平面は車両の高さ方向に垂直な平面である。
【0024】
垂直方向においてレーザ光を照射する角度範囲が、垂直方向におけるLIDAR2の検出範囲に相当する。また、水平方向においてレーザ光を照射する角度範囲が、水平方向におけるLIDAR2の検出範囲に相当する。垂直方向及び水平方向のそれぞれのおけるレーザ光の照射範囲が、LIDAR2の視野角(つまり検出範囲)を定める。
【0025】
LIDAR2は、レーザ光を多数の照射方向に照射することで、レーザ光の照射方向毎の反射光の受光強度(以降、反射強度)と、レーザ光を照射してからその反射光を受光するまでの時間に応じて定まる距離情報を算出する。また、レーザ光を反射した点(つまり反射点)が存在する方向と距離が定まれば、当該反射点のLIDAR2に対する相対的な3次元位置を特定することもできる。レーザ光の照射方向が物体の検出方向に相当する。
【0026】
本実施形態のLIDAR2は、検出結果を示す測距点群データとして、車両前方に存在する物体表面のある点(つまり測距点)の3次元位置と反射強度を表すデータを生成する。つまり、測距点群データは、測距点毎の位置情報と反射強度の情報とを示す。測距点の位置情報は、LIDAR2から当該測距点までの距離を間接的に示す。
【0027】
なお、LIDAR2が検出結果を示すデータとして生成する測距点群データは、検出方向毎の物体までの距離と反射強度を示すデータであってもよい。このような測距点群データは別の観点によれば、距離画像データに相当する。距離画像データも測距点群データに含まれる。1つの照射方向が、距離画像における1つの画素を構成する。
【0028】
また、本実施形態では一例として、測距点群データが示す測距点毎の位置情報は、例えばLIDAR2の位置を基準(換言すれば原点)とする3次元直交座標系によって表現されている。なお、測距点の位置情報は、LIDAR2から測距点までの距離及び方向を示す極座標で表されていてもよい。
【0029】
検出範囲を構成する多数のレーザ光の照射方向は、水平方向の角度と、垂直方向の角度によって特定される。水平方向については左から順に番号を付し、この番号を方位番号と呼ぶ。水平方向においてレーザ光を照射する数(以降、方位数)は適宜設計されればよい。
図3では一例として方位数が401に設定されている態様を図示している。また、垂直方向における照射方向については上から順に番号を付し、この番号をライン番号と呼ぶ。ここでのラインとは、LIDAR2が水平方向に1回走査を行うことによるレーザ照射方向の軌跡に相当する。
図3では一例として、ライン数が8に設定されている態様を示している。
【0030】
本実施形態のLIDAR2は、方位数=401、ライン数=8に設定されているものとする。LIDAR2が備えるライン数や方位数は適宜設計されればよい。LIDAR2の検出範囲(換言すれば視野角)を一定とした場合、ライン数が多いほど、また、方位数が多いほど、密にレーザ光を照射することを意味する。つまり、ライン数や方位数が多いほど解像度が高いことを意味する。
【0031】
一般的にLIDARの解像度は、水平方向の解像度(換言すれば角度分解能)と、垂直方向の解像度に分けられる。水平方向の解像度は、例えば水平方向にレーザ光を照射する角度間隔によって表されて、水平方向にレーザ光を照射する角度間隔が小さいほど水平方向の解像度が高いことを意味する。例えば水平方向の解像度が2倍であるということは、半分の角度間隔でレーザ光を掃引照射するように構成されていることを意味する。また垂直方向の解像度は、例えばライン同士がなす角度間隔によって表され、ライン間隔が狭いほど垂直方向の解像度が高いことを意味する。なお、LIDARの解像度は、物体の有無を検出する方向の密度であって、スキャン型のLIDARにおいては、検出範囲に対してレーザ光を照射する方向の数(すなわち照射密度)に相当する。
【0032】
なお、本実施形態でLIDAR2はレーザ光を掃引照射することで所望の検出範囲を形成する、いわゆるスキャン型のLIDARとするが、これに限らない。LIDAR2は、レーザ光を広範囲に照射し、車両の周辺にある物体によって反射したレーザ光を三次元距離画像素子で撮像し、所定のアルゴリズムで解析することで測距点群データを生成するタイプ(いわゆるフラッシュ型)のLIDARであってもよい。フラッシュ型のLIDARにおいても、検出方向毎の角度差が低いほど解像度が高いことを意味する。レーザ光は、赤外線を用いて実現されていても良い。
【0033】
LIDAR2は、所定の間隔で(例えば100ミリ秒毎に)動作することで、測距点群データを逐次生成する。LIDAR2が生成した測距点群データは、物体認識ECU1に提供される。以降における1プロセスとは、LIDAR2が1つの測距点群データを生成することである。また、1フレームとは、1プロセスにて得られた測距点群データのことである。
【0034】
ところで、測距点群データにおいて、反射光を受光したことを示す有意な受光強度の変化を検出しなかった照射方向の距離情報及び反射強度としては、物体を検出しなかったことを示す距離情報(例えば無限大に相当する所定値)と、反射波を検出するための所定の観測期間中における受光強度の平均値又は中央値とが設定されればよい。反射光の受光に対応する有意な受光強度の変化を検出しなかった照射方向とは、反射物としての測距点が存在しない方向に相当する。そのため以降では、反射光の受光に対応する有意な受光強度の変化を検出しなかった照射方向のことを、非検出方向とも称する。
【0035】
非検出方向において観測される受光強度の平均値は、当該方向におけるノイズレベルを示す。具体的には、LIDAR2が備える電子回路の熱抵抗に由来する電気的な雑音(いわゆるホワイトノイズ)に、太陽光等の外乱光が重畳した値の大きさを概略的に示す。ホワイトノイズは、抵抗雑音とも称される要素である。なお、測距点を取得できている照射方向であっても、反射波を示す信号部分以外の時間帯において観測されている受光強度は当該方向におけるノイズレベルを示す。故に、LIDAR2は、全ての照射方向におけるノイズレベルを特定可能である。
【0036】
1フレームに含まれる非検出方向毎のノイズレベルの平均値を、当該フレームにおけるノイズレベルと定義する。すなわち、LIDAR2が受信しているノイズのレベルを示す。なお、他の態様として1フレームを構成する全ての照射方向でのノイズレベルの平均値を、1フレームにおけるノイズレベルと見なしても良い。また、平均値の代わりに中央値を採用しても良い。なお、本実施形態では、フレーム単位でのノイズレベルは、1フレームとしての測距点群データに基づいて、物体認識ECU1が算出するものとするが、これに限らない。LIDAR2自身が、フレーム毎のノイズレベルを算出して物体認識ECU1に提供するように構成されていても良い。
【0037】
自動運転ECU3は、物体認識ECU1での物体の認識結果に基づいて車両の加減速制御及び操舵制御を行うことにより、運転席の乗員よる運転操作の代行を行う(つまり自動運転機能を提供する)ECUである。なお、ここでは物体認識ECU1の認識結果を利用する構成の一例として自動運転ECU3を例示しているが、物体認識ECU1の認識結果を利用する構成(換言すればアプリケーション)はこれに限らない。物体認識ECU1の認識結果は、多様なアプリケーションで利用することができる。
【0038】
<識別モデル及び特徴量>
ここでは識別モデルと種々の特徴量について説明する。物体の種別を識別するための識別モデルは、所定の識別関数(例えばSVM)とそれに伴うパラメータ群に相当する。ここでの特徴量とは、1つの検出物体を構成する測距点の集合(以降、クラスタ点群)の特徴を示す状態量である。検出物体の種別を識別するための特徴量としては、
図4に示すように、多様な特徴量を採用することができる。すなわち、クラスタ点群を構成する測距点の数(以降、測距点数)や、クラスタ点群の横幅、高さ、奥行幅、輪郭長、強度平均、強度分散、スライス特徴、スライス特徴の相対位置、局所強度平均、局所強度分散、円度、直線度、点間角分布、曲率分布などを採用することができる。横幅、高さ及び奥行幅はサイズを表す1つの特徴量として取り扱ってもよい。
【0039】
ここで例示している強度平均とはクラスタ点群を構成する測距点毎の反射強度の平均であり、強度分散とは、クラスタ点群を構成する測距点毎の反射強度を母集団とする分散である。測距点毎の反射強度は、測距点までの距離の二乗を乗算することによって正規化されたものとすることが好ましい。そのような態様によれば距離に非依存な特徴量となるためである。
【0040】
また、スライス特徴とは、ライン毎の測距点の分布を数値化した特徴量である。スライス特徴は、歩行者の頭から足元までの大まかな輪郭形状を表現する。スライス特徴の相対位置は、対象の輪郭を大まかに捉える特徴量である。スライス特徴の相対位置は、スライス特徴では考慮されていない隣接ラインとの配置関係を表現する。
【0041】
局所強度平均は、ライン毎の反射強度の平均値を要素とする特徴量である。局所強度分散は、ライン毎の反射強度の分散値を要素とする特徴量である。円度はクラスタ点群の円形性を示す特徴量であり、直線度はクラスタ点群の直線性を示す特徴量である。点間角分布は、隣接する3点を結ぶ直線がなす角度の分布を示す特徴量である。曲率分布は、隣接する点を結ぶ遠の半径の分布を示す特徴量である。なお、上述した特徴量以外にも、クラスタ点群を構成する測距点の3次元共分散行列や、測距点の3次元慣性モーメント行列、面積、二次曲線フィッティング係数、ライン数などを採用することができる。
【0042】
上記の種々の特徴量の算出方法の詳細や、上記以外の特徴量としては、「低解像度LIDARを用いた歩行者検出のための特徴量に関する検討」(電子情報通信学会技術研究報告、一般社団法人電子情報通信学会、2014年10月2日、Vol.114,No.230 (PRMU2014 54-64),pp.7-12)や、「高解像度レーザレーダによる歩行者識別」(日本ロボット学会誌、Vol.29 No.10, PP.963-970,2011)等に記載されている内容を援用することができる。
【0043】
以降では測距点数、クラスタ点群の幅、高さ、輪郭長、強度平均、強度分散、スライス特徴、スライス特徴の相対位置、局所強度平均、局所強度分散、円度、直線度、点間角分布、曲率分布を、
図4に示す特徴量記号を用いて順に特徴量f1、f2、…、f14とも記載する。例えば特徴量f11とは、円度を指す。
【0044】
ところで、特徴量f1~f6は、物体の形状特性やレーザ光の反射特性といった、物体の種別に由来する特徴を大まかに(換言すれば粗く)表現する特徴量(以降、粗粒質特徴量)である。対して、円度や直線度等の特徴量f11~f14は、物体の形状や反射特性に関する特徴を相対的に細かく表す特徴量(以降、細粒質特徴量)である。便宜上、粗粒質特徴量及び細粒質特徴量のどちらにも該当しない特徴量f7~f10のことを中粒質特徴量と称する。
【0045】
細粒質特徴量は、物体の種別に応じた形状や反射特性に関する特徴を相対的に細かく表す特徴量であるため、測距精度や解像度が高い場合には、細粒質特徴量を用いて識別を行うことにより、物体の識別精度が高まることが期待できる。例えば、測距点の検出精度が高い場合には、識別モデルの構成要素として円度等の細粒質特徴量を採用することにより、歩行者以外の物体を歩行者である、あるいは歩行者を歩行者以外の物体である、と誤判定する恐れを低減できる。
【0046】
ただし、細粒質特徴量は、物体の形状や反射特性に関する特徴を相対的に細かく表す特徴量であるため、測距精度やノイズの影響を受けやすい(つまりロバスト性が低い)。クラスタ点群を構成する測距点の検出精度が相対的に低下する状況下においては、クラスタ点群から算出される細粒質特徴量が、識別モデルとして設定されている適正範囲から外れやすくなる。すなわち、クラスタ点群を構成する測距点の検出精度が低下する状況下においては、細粒質特徴量を用いても、識別精度が向上とするとは限らない。
【0047】
対して、粗粒質特徴量は、物体の種別に応じた形状や反射特性に関する特徴を粗く表す特徴量であるため、これらの特徴量による物体の識別精度自体は高くないが、測距誤差やノイズに対して相対的に高いロバスト性を有する。すなわち、粗粒質特徴量と細粒質特徴量とでは、識別精度の向上に寄与する度合いや、クラスタ点群を構成する測距点の検出精度に対するロバスト性において異なる。
【0048】
なお、クラスタ点群を構成する測距点の検出精度が相対的に低下する場合とは、クラスタ点群が遠方に存在する場合や、検出物体が人体等のレーザ光を反射しにくい物体である場合などや、ノイズレベルが高い場合などである。クラスタ点群が遠方に存在する場合には、反射強度が相対的に小さくなり、反射強度が弱いほど、反射光自体の検出精度が低下することに起因して、測距精度は低下する。
【0049】
また、検出物体が人体等のレーザ光を反射しにくい物体である場合には、前記同様に測距精度が低下する。さらに、ノイズレベルが高い場合には、クラスタ点群に含まれるノイズ点が相対的に増加してしまう。ノイズ点は、ノイズ信号によって誤検出された点であって、実際には物体が存在しない点である。クラスタ点群を構成する測距点毎の検出精度は、クラスタ点群全体としての検出精度に対応する。クラスタ点群の検出精度は、測距点毎の測距精度と、クラスタ点群に含まれているノイズ点の多寡によって評価することができる。
【0050】
本実施形態の物体認識ECU1は、上述した特徴量毎の特性に着眼したものであって、クラスタ点群の検出精度に応じて、クラスタ点群の識別に使用する特徴量の組合せを変更するように構成されている。これに伴い識別モデル自体も、検出状況に応じて異なる特徴量の組合せによって構成されている。本実施形態の識別モデル記憶部12は、クラスタ点群の検出精度を低レベル、中レベル、高レベルの3段階に分け、クラスタ点群の検出精度に応じた識別モデルとして、
図5に示すように、第1識別モデルM1、第2識別モデルM2、及び第3識別モデルM3を備える。なお、本実施形態では一例としてクラスタ点群の検出精度を3レベルに分けて、各レベルに応じた識別モデルを構築する態様を開示するが、これに限らない。クラスタ点群の検出精度の高さを表すレベル数は、2や4以上であっても良い。
【0051】
第1識別モデルM1は、相対的に測距点の検出精度が低いことが見込まれるクラスタ点群(つまり検出精度が低いクラスタ点群)の識別に用いる識別モデルである。第1識別モデルM1は、
図6に示すように、測距点数、幅、高さ、輪郭長、強度平均、及び強度分散を組合せて実現されている。
図6においてモデル番号が1の識別モデルとは第1識別モデルを指す。また、モデル番号が2、3に設定されている識別モデルとは、第2、第3識別モデルを指す。
【0052】
なお、第1識別モデルM1を形成する特徴量の組合せはこれに限らない。第1識別モデルM1は、上述した粗粒質特徴量の少なくとも何れか1つに加えて、少なくとも1つの中粒質特徴量も併用して実現されていてもよい。具体的には、第1識別モデルM1は、測距点数、幅、高さ、強度平均、強度分散、及びスライス特徴を用いて形成されていても良い。第1識別モデルM1は、細粒質特徴量よりも粗粒質特徴量を優先して用いて実現されていれば良い。便宜上、第1識別モデルM1を形成する特徴量のグループを第1特徴量群と称する。
【0053】
第3識別モデルM3は、相対的に測距点の検出精度が高いことが見込まれる(つまり検出精度が高い)クラスタ点群の識別に用いる識別モデルである。第3識別モデルM3を構成する特徴量としては、円度、直線度、点間角分布、及び曲率分布が採用されている。なお、第3識別モデルM3を形成する特徴量の組合せはこれに限らない。第3識別モデルM3は、上述した細粒質特徴量の少なくとも何れか1つに加えて、少なくとも1つの中粒質特徴量を併用して実現されていても良い。第3識別モデルM3は、粗粒質特徴量よりも細粒質特徴量を優先して用いて実現されていれば良い。便宜上、第3識別モデルM3を形成する特徴量のグループを第3特徴量群と称する。
【0054】
第2識別モデルM2は、測距点の検出精度が第1識別モデルM1及び第3識別モデルM3で想定する検出精度の中間的なレベルであることが見込まれるクラスタ点群の識別に用いられる識別モデルである。換言すれば第2識別モデルM2は、検出精度が中レベルのクラスタ点群の識別に用いられる識別モデルである。第2識別モデルM2を構成する特徴量の組合せは、例えば、第1特徴量群と第3特徴量群とを足し合わせた集合とすることができる。また、第1特徴量群と第3特徴量群とを足し合わせてなる特徴量の集合に、さらに、スライス特徴、スライス特徴の相対位置、局所強度平均、及び局所強度分散を加えた組合せとしてもよい。ここでは一例として、第2識別モデルM2を構成する特徴量として、特徴量f1~f14が採用されているものとする。
【0055】
なお、識別モデル記憶部12は、識別対象とする物体種別毎に、第1識別モデルM1~第3識別モデルM3を記憶している。例えば識別モデル記憶部12は、クラスタ点群が示す検出物体が歩行者であるか否かを識別するための識別モデルとして、それぞれ特徴量の組合せが異なる第1~第3識別モデルを備える。これに伴い識別モデル記憶部12は、第1識別モデルM1として、検出物体が歩行者であるか否かを識別するための識別モデルM1aや、検出物体が2輪車両であるか否かを識別するための第1識別モデルM1b、検出物体が4輪車両であるか否かを識別するための第1識別モデルM1cなどを備えている。
【0056】
第2識別モデルM2や、第3識別モデルM3についても、同様に、物体認識ECU1の識別対象とする物体の種別毎に用意されている(図示略)。このような構成は、識別対象とする種別毎、及び、クラスタ点群の検出精度の想定レベル毎の識別モデルとして、それぞれ特徴量の組合せが異なる識別モデルを備える構成に相当する。
【0057】
なお、本実施形態では一例として予め設定されている複数種類の物体種別毎の識別モデルを備え、クラスタ点群が何れの種別に該当するかまで識別するものとするが、これに限らない。特定の1種類の物体(例えば歩行者)であるか否かを識別するように構成されていてもよい。その場合には、識別モデル記憶部12は歩行者についての第1識別モデルM1、第2識別モデルM2、及び第3識別モデルM3のみを保持していれば良い。
【0058】
上述した検出精度毎、及び物体種別毎の識別モデルは、例えば検出精度毎、及び物体種別毎に用意された学習データを用いて生成されれば良い。具体的には、検出物体が歩行者であるか否かを識別するための(つまり歩行者用の)第1~第3識別モデルは、
図7に概念的に示す手順で生成されれば良い。すなわち、事前に学習データとして用意された歩行者及び非歩行者のクラスタ点群を、クラスタ点群の検出精度を示す所定の指標情報(後述)を用いて、第1識別モデルM1用のデータグループGr1、第2識別モデルM2用のデータグループGr2、第3識別モデルM3用のデータグループGr3、及び、その他の不使用データグループGr4に分ける。第1識別モデルM1用のデータグループGr1とは、第1識別モデルM1用の学習データとして選定されたクラスタ点群の集合に相当する。他のグループも同様である。
【0059】
クラスタ点群の検出精度を示す所定の指標情報としては、クラスタ点群を構成する測距点毎の反射強度の平均(以降、平均強度)や、クラスタ点群の抽出元となるフレーム(以降、抽出元フレーム)のノイズレベルを採用することができる。
【0060】
原理上、反射強度は距離の二乗に反比例して低下する。反射強度が弱いほど、反射光自体の検出精度が低下することに起因して、測距精度が低下する。これらの事情から
図8に示すように反射強度と測距精度との間には相関があり、反射強度が高いほど測距精度が高い傾向がある。
【0061】
また、抽出元フレームのノイズレベルが高いほど、クラスタ点群として抽出されている測距点群にノイズ点が含まれている可能性が高くなるため、測距点自体の信頼度(以降、測距信頼度)が低下する。測距信頼度は、換言すれば、測距点群データに含まれている測距点が真に物体の反射点である可能性の高さに相当する概念である。すなわち、
図9に示すように抽出元フレームのノイズレベルと測距信頼度との間には相関があり、ノイズレベルが低いほど測距信頼度が高い傾向がある。
【0062】
図8中に示すα1は、測距精度が所定の許容値以下となるレベルに対応する反射強度(以降、第1反射強度)である。第1反射強度α1は、後述する識別処理を保留にする閾値として機能する。識別モデルの学習のフェーズにおいて、平均強度が第1反射強度α1未満であるクラスタ点群については、学習データとしては採用せずに保留データとして取り扱う。
【0063】
α2として示す反射強度は、測距精度が低レベルであるとみなす範囲と、中レベルであるとみなす範囲の境界を示す反射強度(以降、第2反射強度)である。α3として示す反射強度は、測距精度が中レベルであるとみなす範囲と、高レベルであるとみなす範囲の境界を示す反射強度(以降、第3反射強度)である。第1反射強度α1、第2反射強度α2、及び第3反射強度α3の具体的な値は適宜設計されれば良い。
【0064】
α4として示す反射強度は、反射強度が強すぎることに起因して識別処理を保留にするための閾値(以降、第4反射強度)を示している。反射光の強度がLIDARの受光レンジの上限を超えている場合には、当該反射光の受光強度は、受光レンジの上限値として出力され(換言すれば反射強度が飽和してしまい)、真の受光強度は不明となる。その結果、測距精度が低下する場合がある。
【0065】
そこで、本実施形態では、平均強度が第4反射強度α4以上であるクラスタ点群については、学習データとしては採用せずに保留データとして取り扱う。つまり、第4反射強度α4は、識別モデルの学習フェーズにおいては学習データとして採用しないクラスタ点群を抽出するための閾値として機能する。第4反射強度α4の具体的な値はLIDAR2が検出可能な受光強度の最大値(換言すれば受光レンジの上限値)に応じて適宜設計されれば良い。例えば、受光レンジの上限値を0.95倍した値とすればよい。ここでの受光レンジとは反射強度の検出範囲に相当する。
【0066】
また、
図9においてβ1として示すノイズレベルは、測距信頼度が高レベルであるとみなす範囲と、中レベルであるとみなす範囲の境界を示すノイズレベル(以降、第1ノイズレベル)である。β2として示すノイズレベルは、測距信頼度が中レベルであるとみなす範囲と、低レベルであるとみなす範囲の境界を示すノイズレベル(以降、第2ノイズレベル)である。
【0067】
β3として示すノイズレベルは、ノイズレベルが強すぎることに起因して識別処理を保留にするための閾値(以降、第3ノイズレベル)を示している。識別モデルの学習のフェーズにおいて、ノイズレベルが第3ノイズレベルβ3以上であるクラスタ点群については、学習データとしては採用せずに保留データとして取り扱う。つまり、第3ノイズレベルβ3は、識別モデルの学習フェーズにおいては学習データとして採用しないクラスタ点群を抽出するための閾値として機能する。第1~第3ノイズレベルの具体的な値は、ノイズレベルの評価方法に対応するように、試験等に基づいて適宜設定されれば良い。便宜上、第3ノイズレベルβ3以上のノイズレベルを保留ノイズレベルとも称する。
【0068】
抽出元フレーム(ひいてはクラスタ点群)のノイズレベルは、後述する測距精度評価部A2の評価方法と同様の方法によって評価される。例えば、非検出方向毎のノイズレベルに基づいて決定される。
【0069】
なお、ノイズレベルが低レベルとなる環境とは、例えば夜間などの外乱光が少ない状況であり、ノイズレベルが中レベルとなる環境とは例えば曇天の昼間である。ノイズレベルが高レベルとなる環境とは例えば晴天時の昼間である。ノイズレベルが保留ノイズレベルとなる環境とは逆光となっている状態、すなわち、太陽などの強い光源がLIDARの検出方向に存在する場合である。逆光環境を形成する強い光源には、対向車のヘッドライトなども含まれうる。
【0070】
本実施形態では、
図7に例示する種々の環境で取得された学習データとしてのクラスタ点群は、
図10に示す分割ルールに則って分類されて識別モデルの生成に供される。なお、当該学習データの分割ルールは、後述する物体認識に使用する特徴量の選定規則に対応するように設定されている。
【0071】
具体的には、強度平均が第1反射強度α1未満であるデータや、第4反射強度α4以上であるデータ、ノイズレベルが第3ノイズレベルβ3以上であるデータは、学習データとしては使用しないように、不使用データグループGr4に分類する。強度平均が第1反射強度α1以上、第2反射強度α2未満であり、且つ、ノイズレベルが第1ノイズレベルβ1以上であるデータは、第1識別モデルM1用のデータグループGr1に分類する。強度平均が第2反射強度α2以上、第3反射強度α3未満であり、且つ、ノイズレベルが第2ノイズレベルβ2以上であるデータもまた、第1識別モデルM1用のデータグループGr1に分類する。
【0072】
強度平均が第3反射強度α3以上、第4反射強度α4未満であり、且つ、ノイズレベルが第1ノイズレベルβ1未満であるデータは、第3識別モデルM3用のデータグループGr3に分類する。その他のデータについては第2識別モデルM2用のデータグループGr2に分類する。学習データの分割は、設計者によって手動で実施されてもよいし、ソフトウェアを用いて自動で実行されても良い。
【0073】
また、学習データとしてのクラスタ点群の抽出元となる多数のフレームは、LIDAR2を搭載した試験車両を走行させることで収集すればよい。試験車両は、当該システムの設計者や提供者等が管理する車両である。また、他の態様として、学習データは、LIDAR2を搭載している一般車両から、無線通信によって自動的に随時収集するように構成されていても良い。その場合、一般車両は、測距点群データを逐次、識別モデルを構築する機能を備える装置(例えばサーバ)へと提供するように構成されていればよい。ここでの一般車両とは試験車両以外の車両、具体的には、一般のユーザが使用する車両や、バスやタクシー、トラックなどの商用車を指す。無線通信には車車間通信や路車間通信を含む。
【0074】
なお、フレームからクラスタ点群を抽出し、物体の種別を示すデータと対応付ける処理(いわゆるタグ付け)は、ここでは一例として設計者や開発者が手動で行うものとするが、別途、クラスタ点群が備える特徴量を用いて自動的に(換言すればソフトウェアによって)識別されても良い。
【0075】
そして、第1識別モデルM1用の学習データとして選定された複数のクラスタ点群のそれぞれに対して、幅や高さ、輪郭長、強度平均などの第1識別モデルM1の構成要素として設定されている種々の特徴量を算出し、歩行者/非歩行者を判別する識別モデルを学習する。歩行者/非歩行者を判別する識別関数とそのパラメタ群、および識別閾値が識別モデルに相当する。複数の特徴量を変数として備える識別モデルの学習は、パターン認識でよく使われる多クラスSVM(Support Vector Machine)や、AdaBoost、Decision Tree等を用いて実現できる。これらの手法により、識別関数のパラメタ群、および識別閾値が学習され、歩行者用の第1識別モデルM1、M1aとして識別モデル記憶部12に保存される。
【0076】
歩行者用の第2識別モデルM2や第3識別モデルM3についても、第1識別モデルM11と同様の手順で生成されれば良い。例えば歩行者用の第2識別モデルM2については、第2識別モデル用の学習データとして選定された歩行者及び非歩行者を示すクラスタ点群に対して、円度や直線度などの第3識別モデルM3の構成要素として設定されている種々の特徴量を算出し、歩行者/非歩行者を判別する特徴量毎の閾値や範囲を学習すればよい。
【0077】
また、4輪車用の識別モデルなど、歩行者以外の物体の種別を識別するための識別モデルについても、識別対象についての学習データを用いて上記の方法によって生成されればよい。なお、以上では対象物体と非対象物体を判別する、いわゆる2クラス判別問題として各種識別モデルを生成する構成を例示したが、これに限らない。3クラス以上を同時判別する、いわゆる多クラス判別問題として識別モデルを生成してもよい。また、識別モデルの生成は、ここではセンタ等に配置されているサーバを用いて実施されるものとするが、これに限らない。物体認識ECU1が識別モデルを構築する機能を備えていても良い。
【0078】
<物体認識処理>
次に、
図11に示すフローチャートを用いて、物体認識ECU1(主として演算部13)が実施する物体認識処理について説明する。
図11に示すフローチャートは、LIDAR2が測距点群データを生成する周期で逐次実行されれば良い。
【0079】
まずステップS101では測距結果取得部A1が、LIDAR2から測距点群データを取得し、ステップS102に移る。ステップS101が測距結果取得ステップに相当する。ステップS102では測距精度評価部A2が、ステップS101で取得した1フレームとしての測距点群データのノイズレベルを評価する。具体的には、1フレームに含まれる非検出方向毎のノイズレベルの平均を、当該フレームにおけるノイズレベルとして算出する。ステップS102でのノイズレベルの算出が完了するとステップS103に移る。測距精度評価部A2が精度指標取得部及びクラスタ精度指標算出部に相当する。また、ステップS102が精度指標取得ステップに相当する。
【0080】
なお、本実施形態の測距精度評価部A2は、測距点群データが備える反射強度情報に基づいてノイズレベルを算出するものとするが、これに限らない。測距精度評価部A2は、例えばLIDAR2のハードウェア温度に基づいてノイズレベルを算出しても良い。そのような構成において測距精度評価部A2は、ハードウェア温度が高いほど、ノイズレベルが高いと判定する。また、前述の第1ノイズレベルβ1等のパラメータは、ハードウェア温度に対して設定されていても良い。LIDAR2のハードウェア温度は、LIDAR2に内蔵されている温度センサから取得すればよい。なお、LIDAR2のハードウェア温度は、LIDAR2付近に配置されてあって、LIDAR2の筐体表面の温度を検出するように配置されている温度センサの出力値から推定しても良い。
【0081】
また、フレーム単位でのノイズレベルは、LIDAR2の検出方向の明るさによって定まる傾向がある。故に、測距精度評価部A2は、車室外の明るさを検出するように配置されている照度センサを用いてノイズレベルを算出しても良い。そのような構成において測距精度評価部A2は、照度センサによって検出されている照度が高いほど、ノイズレベルが高いと判定する。前述の第1ノイズレベルβ1等のパラメータは、照度に対して設定されていても良い。なお、ノイズレベルの評価に用いる照度センサは、LIDAR2の光軸方向(ここでの車両前方)の照度を検出するように配置されていることが好ましい。温度センサや照度センサは環境センサに相当する。LIDAR2付近の温度や、LIDAR2の検出方向の明るさがLIDAR2の動作環境に相当する。
【0082】
ステップS103ではクラスタリング部A3が、クラスタリングを行う。クラスタリングとは、点間距離が所定距離より低い測距点同士を、1つの物体に対応するものとしてグループ化することである。以降におけるクラスタとは、クラスタリングによって得られる測距点のグループ(換言すればまとまり)を指す。クラスタリングを行うことにより、点群データが示す点群は、各検出物体に対応するクラスタとして区分される。便宜上、1つのクラスタを構成する点群のことをクラスタ点群とも記載する。
【0083】
ステップS104では、ステップS103でのクラスタリングによって、少なくとも1つのクラスタが得られたか否かを判定する。ステップS103でのクラスタリングによって、少なくとも1つのクラスタが得られた場合にはステップS105以降の処理を継続する。一方、クラスタが1つも得られなかった場合には、ステップS104を否定判定して本フローを終了する。つまり、ステップS103でのクラスタリングによってクラスタがつも得られなかった場合には以降の処理はキャンセルされれば良い。
【0084】
ステップS105では識別処理部A6が、ステップS103で得られた少なくとも1つのクラスタの中から処理の対象とするクラスタ(以降、対象クラスタ)を1つ選定し、ステップS106に移る。ステップS106では測距精度評価部A2が、対象クラスタの強度平均を算出してステップS107に移る。ステップS106もまた精度指標取得ステップに相当する。
【0085】
ステップS107ではモデル選択部A4が、ステップS102で算出されているノイズレベルとステップS106で算出されている強度平均とに基づいて、対象クラスタの識別に用いる識別モデルを選定する。識別モデルの選定基準の一例は、
図12に示す通りである。具体的には、強度平均が第1反射強度α1以上、第2反射強度α2未満であり、且つ、ノイズレベルが第1ノイズレベルβ1以上である場合には、第1識別モデルM1を後述のステップS110の識別処理に用いる識別モデル(以降、使用モデル)に設定する。また、強度平均が第2反射強度α2以上、第3反射強度α3未満であり、且つ、ノイズレベルが第2ノイズレベルβ2以上である場合にも、第1識別モデルM1を使用モデルに設定する。
【0086】
強度平均が第1反射強度α1以上、第2反射強度α2未満であり、且つ、ノイズレベルが第1ノイズレベルβ1未満である場合には、第2識別モデルM2を使用モデルに設定する。強度平均が第2反射強度α2以上、第3反射強度α3未満であり、且つ、ノイズレベルが第2ノイズレベルβ2未満である場合には、第2識別モデルM2を使用モデルに設定する。強度平均が第3反射強度α3以上、第4反射強度α4未満であり、且つ、ノイズレベルが第1ノイズレベルβ1以上である場合には、第2識別モデルM2を使用モデルに設定する。
【0087】
強度平均が第3反射強度α3以上、第4反射強度α4未満であり、且つ、ノイズレベルが第1ノイズレベルβ1未満である場合には、第3識別モデルM3を使用モデルに設定する。なお、強度平均が第1反射強度α1以上、第2反射強度α2未満であり、且つ、ノイズレベルが第1ノイズレベルβ1以上である場合、及び、強度平均が第2反射強度α2以上、第3反射強度α3未満であり、且つ、ノイズレベルが第2ノイズレベルβ2以上である場合が、クラスタ点群の検出精度が低レベルとあるとみなす低精度条件を充足している場合に相当する。また、強度平均が第3反射強度α3以上、第4反射強度α4未満であり、且つ、ノイズレベルが第1ノイズレベルβ1未満である場合が、クラスタ点群の検出精度が高レベルとあるとみなす高精度条件を充足している場合に相当する。
【0088】
ところで、本実施形態においては、第1識別モデルM1、第2識別モデルM2、及び第3識別モデルM3は異なる特徴量の組合せによって実現されている。そのため、以上のように反射強度やノイズレベルに応じて識別モデルを選定する構成は、反射強度やノイズレベルに応じて特徴量の組合せを変更する構成に相当する。
【0089】
例えば第1識別モデルM1を使用モデルに設定する構成は、第1識別モデルM1に対応する種々の特徴量、すなわち、第1特徴量群を形成する特徴量f1~f6を、ステップS110での識別処理に用いる特徴量(以降、使用特徴量)に設定する構成に相当する。また、第2識別モデルM2を使用モデルに設定する構成は、第2識別モデルM2に対応する種々の特徴量、すなわち、第2特徴量群を形成する特徴量f1~f14を使用特徴量として選定する構成に相当する。さらに、第3識別モデルM3を使用モデルに設定する構成は、第3識別モデルM3に対応する種々の特徴量、すなわち、第3特徴量群を形成する特徴量f11~f14を使用特徴量として選定する構成に相当する。故に、モデル選択部A4は、識別に用いる特徴量の組合せを変更する特徴量選択部に相当する。
【0090】
また、平均強度やノイズレベルといったクラスタ点群の検出精度の高さの指標値に応じて特徴量の組合せを変更とする構成は、クラスタ点群の検出精度の高さの指標値に応じて特徴量毎の重みを変更する構成に相当する。故に、モデル選択部A4は、識別に用いる特徴量毎の重みを変更する重み調整部に相当するとともにステップS107は重み調整ステップに相当する。
【0091】
また、本実施形態のモデル選択部A4は、強度平均が第1反射強度α1未満である場合は、識別処理に使用可能な識別モデルが存在しないと判定し、識別を保留にする。強度平均が第1反射強度α1未満である場合とは、反射強度が許容レベル以下である場合に相当する。反射強度が低すぎる場合、測距点毎の距離誤差が大きく、誤識別をしてしまう可能性が相対的に高まる。そこで、本実施形態のように、強度平均が所定の第1反射強度α1以下である場合には識別処理を保留にすることで、対象クラスタの種別を誤判定してしまう恐れを低減することができる。
【0092】
さらに、本実施形態のモデル選択部A4は、強度平均が第4反射強度α4以上である場合にも、識別処理に使用可能な識別モデルが存在しないと判定し、識別を保留にする。強度平均が第4反射強度α4以上である場合とは、前述の通り、反射強度が飽和レベルとなっていることに起因して測距精度が低下している恐れがある。そのような懸念に対し、本実施形態のように強度平均が所定の第4反射強度α4以上である場合には識別処理を保留にすることで、対象クラスタの種別を誤判定してしまう恐れを低減することができる。
【0093】
また、本実施形態のモデル選択部A4は、ノイズレベルが第3ノイズレベルβ3以上である場合にも、識別処理に使用可能な識別モデルが存在しないと判定し、識別を保留にする。ノイズレベルが第3ノイズレベルβ3以上である場合には、ノイズ点が対象クラスタの点群に紛れ込んでいる可能性が高く、これに伴い、ノイズ点によって対象クラスタの種別を誤判定してしまう恐れが高い。そのような懸念に対し、本実施形態のようにノイズレベルが所定の第3ノイズレベルβ3以上である場合には識別処理を保留にすることで、対象クラスタの種別を誤判定してしまう恐れを低減することができる。
【0094】
ステップS107において識別処理を保留にすることを決定した場合には、例えば処理上のフラグである保留フラグをオンに設定する。保留フラグは、対象クラスタの識別処理を実行するか保留にするかを示すフラグである。ステップS107において使用モデルが選定された場合、すなわち識別処理を実行すること決定した場合、保留フラグはオフに設定される。ステップS107において対象クラスタの識別を保留にすることを決定した場合には保留フラグがオンに設定される。ステップS107での使用モデル(換言すれば使用特徴量の組合せ)の選定が完了すると、ステップS108を実行する。
【0095】
ステップS108では特徴量算出部A5が、保留フラグがオンに設定されているか否かを判定する。保留フラグがオンに設定されている場合にはステップS108を肯定判定してステップS111に移る。一方、保留フラグがオフに設定されている場合にはステップS108を否定判定してステップS109に移る。
【0096】
ステップS108では特徴量算出部A5が、対象クラスタについてのステップS107で選定された識別モデル(つまり使用モデル)に対応する特徴量を算出する。例えばステップS107で使用モデルとして第1識別モデルM1が使用モデルに設定されている場合には、対象クラスタについての特徴量f1~f6をそれぞれ算出する。また、第2識別モデルM2が使用モデルに設定されている場合には、対象クラスタについての特徴量f1~f14をそれぞれ算出する。第3識別モデルM3が使用モデルに設定されている場合には、対象クラスタについての特徴量f11~f14をそれぞれ算出する。特徴量算出部A5は種々の特徴量を算出可能に構成されている。ステップS109での演算処理が完了するとステップS110を実行する。
【0097】
ステップS110では識別処理部A6が、ステップS107で選定した使用モデルと、ステップS109で算出した複数種類の特徴量とを用いて対象クラスタの種別を識別する。具体的には、使用モデルに該当する種別毎の識別モデルと、ステップS109で算出した特徴量とを用いて種別毎の識別スコアを求める。そして、スコアが最大となるモデルの種別を、そのクラスタを示す種別として決定する。なお、何れの種別についてのスコアも所定の閾値以下である場合には、対象クラスタの種別は不明であるとして処理すればよい。
【0098】
また、仮に物体認識ECU1が、対象クラスタが歩行者であるか否かを識別するように構成されている場合には、ステップS109で算出された特徴量と、識別モデル記憶部12に記憶されたクラスタ点群の検出精度に応じた識別モデルとを用い、対象クラスタの歩行者らしさを示すスコアを算出し、スコアが所定の閾値以上である場合に、対象クラスタに対応する検出物体は歩行者であると判定すればよい。他の種別の物体を識別対象とする場合も同様である。ステップS110が認識処理ステップに相当する。
【0099】
ステップS110での処理が完了するとステップS111を実行する。ステップS111では、ステップS103で抽出された全てのクラスタに対してステップS105からステップS110までの一連の処理を実行したか、換言すれば識別処理を実行したかを判定する。未処理のクラスタが残っている場合にはステップS105に戻り、未処理のクラスタを対象クラスタに設定してステップS106以降の処理を実行する。未処理のクラスタが存在しない場合には本フローを終了する。
【0100】
<第1実施形態の効果>
物体を高精度に検出できている場合には、対象クラスタの特徴量を詳細に表現する、細かい特徴量(つまり細粒質特徴量)を用いることにより、物体の識別精度を高めることができる。しかしながら、物体を高精度に検出できていない場合にも、物体を高精度に検出できている場合と同じように細粒質特徴量を用いて識別を行おうとすると、特徴空間内において識別対象と識別対象以外の境界が曖昧となり易く、識別境界面を決定することが困難になる恐れがある。その結果、検出物体の種類を誤判定してしまう恐れが高まってしまう。つまり、クラスタ点群の検出精度によって識別処理に適する特徴量の種類は変化する。故に、クラスタ点群の検出精度に応じて検出物体の識別に用いる特徴量の組合せは変更することが好ましい。
【0101】
また、クラスタ点群の検出精度は直接的には評価することが困難である一方、クラスタ点群の検出精度は、クラスタ点群を構成する測距点の反射強度と相関があり、強度平均が高いほどクラスタ点群の検出精度は高くなる傾向がある。つまり、反射強度が高いほどクラスタ点群の検出精度は高い。また、クラスタ点群の検出精度は、ノイズレベルが低いほど高くなる傾向がある。つまり、ノイズレベルが低いほどクラスタ点群の検出精度は高い。
【0102】
上述した実施形態は上記の点に着眼して成されたものであり、クラスタ点群の強度平均が高いほど、及び、ノイズレベルが低いほど、すなわち、クラスタ点群の検出精度が高いほど細粒質特徴量を優先的に使用特徴量として採用する。また、平均強度やノイズレベルが、クラスタ点群の検出精度が低いことを示唆する値となっている場合には、粗粒質特徴量を優先的に使用特徴量として採用する。
【0103】
このような構成によれば、逆光等のLIDAR2の検出環境や、物体との距離や物体の反射特性が、物体の識別精度に与える影響を低減することができる。つまり、物体識別のロバスト性を高めることができる。また、物体の検出状況に応じた特徴量を用いて識別を行うため、検出物体の種別の識別精度を高めることができる。
【0104】
なお、クラスタ点群の検出精度が高いほど細粒質特徴量を優先的に使用特徴量として採用する構成には、例えば
図13(A)に示すように、使用特徴量として採用する特徴量群において細粒質特徴量が占める比率を大きくする構成が含まれる。また、クラスタ点群の検出精度が高いほど細粒質特徴量を優先的に使用特徴量として採用する構成には、例えば
図13の(B)に示すように、クラスタ点群の検出精度が高いほど細粒質特徴量を使用特徴量として採用する数を増やす構成が含まれる。さらに、クラスタ点群の検出精度が高いほど細粒質特徴量を優先的に使用特徴量として採用する構成には、例えば
図13の(C)に示すように、クラスタ点群の検出精度が高いほど細粒質特徴量についての重みを大きくする構成が含まれる。
【0105】
なお、以上ではクラスタ点群の検出精度を示す指標として、測距点毎の反射強度の平均である強度平均を用いる態様を開示したが、これに限らない。測距点毎の反射強度の中央値や最大値を、クラスタ点群の検出精度を示す指標として採用しても良い。測距点毎の反射強度の平均値や、中央値、最大値などが、測距点毎の反射強度を代表的に表す強度代表値に相当する。
【0106】
以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の変形例は、技術的な矛盾が生じない範囲において適宜組合せて実施することができる。
【0107】
なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。
【0108】
[変形例1]
上述した実施形態では一例としてクラスタ点群の検出精度を3レベルに分けて、使用特徴量の組合せを変更する態様を開示したが、これに限らず、クラスタ点群の検出精度の高さを表すレベル数は、2や4以上であっても良い。物体認識ECU1は、クラスタ点群の検出精度についてのレベル(以降、検出精度レベル)が高いほど、細粒質特徴量を優先的に使用特徴量として採用するように構成されていればよい。また、検出精度レベル毎の識別モデルは、その検出精度レベルで使用される特徴量を用いて構成されていれば良い。つまり、検出精度レベル毎の識別モデルは、検出精度レベル毎の使用特徴量の組合せや特徴量毎の重みに対応するように生成されていれば良い。
【0109】
[変形例2]
以上では、クラスタ点群の検出精度を反射強度(厳密には強度平均)とノイズレベルの両方に基づいて、識別処理に使用する特徴量の組合せを変更する態様を開示したが、これに限らない。
図14に示すように反射強度を用いずに、ノイズレベルのみを用いて識別処理に使用する特徴量の組合せを変更するように構成されていても良い。そのような構成によっても、ノイズレベルの変化にロバストな識別処理を実現することができる。ノイズレベルに応じて識別処理に使用する特徴量の組合せを変更する構成は、ノイズレベルに応じて異なる特徴量の組合せで構成されている識別モデルを用いて識別処理を実施する構成に相当する。
【0110】
なお、ノイズレベルに応じて識別処理に使用する特徴量の組合せを変更する構成においては、識別モデルの学習フェーズにおける学習データの分割もまた、ノイズレベルを判断基準として実施されればよい。クラスタ点群の検出精度に応じた識別モデルを生成するための学習データは、識別処理に使用する特徴量の選定基準に対応する基準で分割されればよい。
【0111】
[変形例3]
また、
図15に示すように、ノイズレベルを用いずに、反射強度の平均値(つまり強度平均)を用いて識別処理に使用する特徴量の組合せを変更するように構成されていても良い。そのような構成によっても強度平均の変化にロバストな識別処理を実現することができる。強度平均に応じて識別処理に使用する特徴量の組合せを変更する構成は、強度平均に応じて異なる特徴量の組合せで構成されている識別モデルを用いて識別処理を実施する構成に相当する。
【0112】
なお、強度平均に応じて識別処理に使用する特徴量の組合せを変更する構成においては、識別モデルの学習フェーズにおける学習データの分割もまた、強度平均を判断基準として実施されればよい。クラスタ点群の検出精度に応じた識別モデルを生成するための学習データは、識別処理に使用する特徴量の選定基準に対応する基準で分割されればよい。
【0113】
[変形例4]
図16に示すようにクラスタ点群を構成する測距点毎の反射強度の平均である強度平均と、測距点毎の反射強度の分散である強度分散とに基づいて識別処理に使用する特徴量の組合せを変更するように構成されていても良い。
図16に示すγ1及びγ2は、強度分散に基づいて使用特徴量の組合せを変更するための閾値である。
図16に示す第1分散値γ1は、反射強度のばらつきが低レベルであるとみなす範囲と、中レベルであるとみなす範囲の境界を示している。
図16に示す第2分散値γ2は、反射強度のばらつきが中レベルであるとみなす範囲と、高レベルであるとみなす範囲の境界を示している。第1分散値γ1と第2分散値γ2の具体的な適宜設計されれば良い。
【0114】
本変形例のように、強度平均だけでなく強度分散も用いてクラスタ点群の検出精度を評価する構成によれば、より精度良く、クラスタ点群を構成する測距点毎の測距精度(ひいてはクラスタ点群の検出精度)を評価でき、その結果として、クラスタ点群の識別精度を高めることができる。具体的には次の通りである。上述した変形例3や第1実施形態など、強度平均によってクラスタ点群の検出精度を評価する構成では、仮に検出物体が局所的な高反射部分を備える場合、大部分は低反射にも関わらず一部の強い反射強度を有する測距点に引っ張られて強度平均が上り、細かい特徴量を選定してしまうことが考えられる。そのような場合には、真の(換言すれば実質的な)クラスタ点群の検出精度に対して適正な識別モデルを採用することができず、検出物体の種別を誤判定してしまう可能性がある。
【0115】
そのような事象に対して、本変形例のように強度分散を併用することで、反射強度のばらつきも考慮でき、クラスタ点群の実質的な検出精度により適合した識別モデルを選定することが可能となる。なお、物体認識ECU1は、強度分散とノイズレベルによって識別処理に使用する特徴量の組合せを変更する構成されていても良いし、強度分散のみによって識別処理に使用する特徴量の組合せを変更するように構成されていても良い。
【0116】
[変形例5]
以上では、強度平均や、強度分散、及びノイズレベルの少なくとも何れか1つを判断基準として用いて識別処理に使用する特徴量の組合せを変更する態様を開示したが、これに限らない。さらに、強度平均、強度ノイズレベルの少なくとも何れか1つと、クラスタ点群の解像度を併用して識別処理に使用する特徴量の組合せを変更するように構成されていても良い。解像度もまた、クラスタ点群の検出精度の高さを示唆するパラメータであるからである。
【0117】
なお、クラスタ点群の解像度を示す指標としては、クラスタ点群を構成するライン数や、測距点密度などを採用することができる。ライン数が多いほど解像度が高いことを意味する。測距点密度は、単位面積又は単位体積当たりの測距点の分布密度を示すパラメータであり、測距点数をクラスタ点群の面積や体積で除算した値とすることができる。測距点密度が高いほど解像度が高いことを意味する。
【0118】
本変形例における物体認識ECU1は例えば
図17に示すようにノイズレベルと解像度に基づいて、識別処理に使用する特徴量の組合せを変更するように構成されている。もちろん他の態様として物体認識ECU1は、強度平均、ノイズレベル、及び解像度の3種類の指標に基づいて、識別処理に使用する特徴量の組合せを変更するように構成されていてもよい。
【0119】
図17に示すρ1及びρ2は、解像度に基づいて使用特徴量の組合せを変更するための閾値である。
図17に示す第1解像度ρ1は、解像度が低レベルであるとみなす範囲と、中レベルであるとみなす範囲の境界を示している。
図17に示す第2解像度ρ2は、解像度が中レベルであるとみなす範囲と、高レベルであるとみなす範囲の境界を示している。第1解像度ρ1と第2解像度ρ2の具体的な適宜設計されれば良い。
【0120】
本変形例のように識別処理に使用する特徴量の組合せを決定する際の判断基準として対象クラスタの解像度を採用する場合には、物体認識ECU1は、クラスタ点群の解像度が高いほど(つまりクラスタ点群の検出精度が高いほど)、粗粒質特徴量よりも細粒質特徴量を優先的に使用特徴量として採用するように構成されていれば良い。
【0121】
解像度が高いほどクラスタ点群を高精度に検出できていることを示す。故に、解像度が高い場合には、細粒質特徴量を用いて識別処理を行うことにより、物体の識別精度を高めることができる。また、解像度が低い場合には、粗粒質特徴量を優先的に用いて識別処理を行うことにより、物体の誤識別の恐れを低減することができる。
【0122】
[変形例6]
上述した第1実施形態や種々の変形例(以降、第1実施形態等)にて言及した物体認識ECU1の機能の一部は、車両の外部に設けられたサーバ20が備えてあって、サーバ20と車載システム100とが協働(換言すれば連携)することによって物体認識処理が完結するように構成されていても良い。
【0123】
例えば、モデル選択部A4、特徴量算出部A5、及び識別処理部A6に相当する機能はサーバ20に設けることができる。なお、前提としてこの変形例における車載システム100は、広域通信網30に無線接続するための通信装置を備えており、広域通信網30を介してサーバ20と相互通信可能構成されているものとする。ここでの広域通信網30とは、携帯電話網やインターネット等の、電気通信事業者によって提供される公衆通信ネットワークを指す。
図18に示す基地局40は、車載システム100が広域通信網30に接続するための無線基地局である。
【0124】
サーバ20がモデル選択部A4、特徴量算出部A5、及び識別処理部A6に相当する機能を備える構成においては、物体認識ECU1は、フレーム単位でのノイズレベルやクラスタ点群の強度平均といった、識別モデルを決定するための検出精度指標情報と、クラスタ点群データとを対応付けてサーバ20に提供するように構成されていれば良い。その場合、サーバ20は、車載システム100から送信されてきた検出精度指標情報を用いて識別モデルを決定するとともに、当該識別モデルを用いてクラスタ点群の識別を行った結果を返送する。
【0125】
このような構成によっても上述した第1実施形態等と同様の効果を奏する。加えて当該構成によれば物体認識ECU1の演算負荷を低減できる。また、物体認識ECU1が識別モデル記憶部12を備えている必要がなくなり、物体認識ECU1の製造コストを低減することができる。なお、クラスタリング部A3や測距精度評価部A2もサーバ20に設けられていても良い。つまり、物体認識ECU1に相当する装置は、車両に搭載されているECUとサーバ20とを含むシステムとして実現されていても良い。
【0126】
[第2実施形態]
上述した第1実施形態等では、LIDAR2による物体の検出精度の高さを示唆する指標値に基づいて、識別処理に用いる特徴量の組合せを変更する態様を開示したが、これに限らない。例えば、物体認識ECU1は、LIDAR2による物体の検出精度の高さを示唆する指標値に基づいて、物体の追跡処理に用いる特徴量の重みを変更するように構成されていてもよい。以下、当該技術的思想に対応する物体認識ECU1の実施の形態の一例を第2実施形態として述べる。
【0127】
本実施形態における物体認識ECU1(具体的には演算部13)は、CPU131が物体認識プログラムを実行することによって、
図19に示す種々の機能ブロックに対応する機能を提供する。すなわち、物体認識ECU1は機能ブロックとして測距結果取得部B1、測距精度評価部B2、クラスタリング部B3、代表位置算出部B4、特徴量算出部B5、保存処理部B6、重み調整部B7、閾値調整部B8、及び追跡処理部B9を備える。これらの機能の詳細については別途後述する。なお、これらの種々の機能ブロックの一部又は全部は、ハードウェアとして実現されていても良い。或る機能をハードウェアとして実現する態様には1つ又は複数のICを用いて実現する態様も含まれる。
【0128】
測距結果取得部B1、測距精度評価部B2、及びクラスタリング部B3は、前述の第1実施形態における測距結果取得部A1及びクラスタリング部B3に相当する構成である。測距精度評価部B2もまた、前述の測距精度評価部A2と同様に、フレーム単位でのノイズレベルや、クラスタ点群毎の強度平均を算出する。ただし、測距精度評価部B2が算出したノイズレベルはフレーム番号と対応付けてRAM等に保存されるものとする。また、クラスタ点群毎の強度平均は、後述する保存処理部B6によって当該クラスタ点群の抽出元となったフレームの番号や、クラスタ点群の管理番号(以降、クラスタ番号)等と対応付けて保存される。測距精度評価部B2は、精度指標取得部及びクラスタ検出精度指標算出部に相当する。
【0129】
代表位置算出部B4は、クラスタ点群の代表位置を算出する構成である。クラスタ点群の代表位置としては、例えばクラスタ点群の重心に相当する座標(以降、クラスタ重心座標)を採用することができる。クラスタ重心座標は、クラスタ点群を構成する各測距点の座標に基づいて算出することができる。他の態様として、クラスタ点群のうち、最もLIDAR2との距離が近い測距点の位置座標をクラスタ点群の代表位置として採用しても良い。
【0130】
特徴量算出部B5は、クラスタリング部B3によって算出されたクラスタ毎に、クラスタの追跡処理に使用する所定の種類の特徴量(以降、追跡用特徴量)を算出する構成である。追跡用特徴量としては、サイズ(つまり横幅、高さ及び奥行幅)や、強度平均、強度分散、輪郭長など、識別処理で用いられる種々の特徴量を採用することができる。ここでは追跡用特徴量としてサイズ情報が採用されているものとする。なお、追跡用特徴量の組合せもまた、前述の第1実施形態等と同様に、クラスタ点群の検出精度に基づいて変更するように構成されていても良い。
【0131】
保存処理部B6は、クラスタ毎に算出される代表位置や、追跡用特徴量としてのサイズ情報を、当該クラスタ点群の抽出元となったフレームの番号や、複数のクラスタを管理するためのクラスタ番号、クラスタ点群の点群データ等と対応付けてRAM132等の所定の記憶媒体に保存する構成である。重み調整部B7、及び閾値調整部B8については別途後述する。
【0132】
追跡処理部B9は、過去に取得されたフレームに含まれていたクラスタと、今回新たに取得されたフレーム(以降、現フレーム)からクラスタリング部A3が抽出したクラスタとの対応付けを行う構成である。つまり、追跡処理部B9は、クラスタリング部A3で抽出された各クラスタを追跡する処理を実施する。便宜上、前フレームのうち、前時刻に取得されたフレームについては前フレームとも記載する。
【0133】
追跡処理部B9は、
図20に示す手順で追跡処理を実行する。なお、
図20に示すフローチャートは、例えば、測距結果取得部B1が現フレームとしての測距点群データを取得する度に実行されればよい。追跡処理部B9は認識処理部に相当する。
【0134】
まず、ステップS201では追跡処理部B9が、前フレームにて抽出されているクラスタの現時点における位置(つまり現在位置)を所定の推定方法を用いて推定する。現在位置の推定は、例えばカルマンフィルタなどといった多様な方法を採用することができる。カルマンフィルタを用いる場合、カルマンフィルタの運動モデルとしては、等速直線モデルを用いることができる。クラスタの位置情報は代表位置によって表されれば良い。
図20に記載の検出済みクラスタとは、前フレームにて抽出されたクラスタを指す。検出済みクラスタは検出済みクラスタ点群に相当する。
【0135】
なお、本実施形態では説明の簡略化のため、前フレームから推定するクラスタについての状態量は位置情報のみとするが、これに限らない。現在位置だけでなく速度や姿勢などといった状態量についても推定するように構成されていてもよい。ステップS201での処理が完了するとステップS202を実行する。
【0136】
ステップS202では測距精度評価部B2が、現フレームとしての測距点群データのノイズレベルを評価する。ノイズレベルの算出方法は、前述の第1実施形態に記載の方法を援用することができる。ステップS202でのノイズレベルの算出が完了するとステップS203に移る。
【0137】
ステップS203ではクラスタリング部B3が、現フレームが備える測距点群のクラスタリングを行い、ステップS204に移る。なお、ステップS203でのクラスタリングによって、クラスタが1つも得られなかった場合には、以降の処理はキャンセルされればよい。現フレームから抽出されるクラスタ毎の点群が現時刻クラスタ点群に相当する。
【0138】
ステップS204では追跡処理部B9が、ステップS203で得られた少なくとも1つのクラスタの中から対象クラスタを1つ選定し、ステップS205に移る。ステップS205では測距精度評価部B2が、対象クラスタの強度平均を算出してステップS206に移る。ステップS206では代表位置算出部B4が対象クラスタの代表位置を算出するとともに、特徴量算出部B5が追跡用特徴量(ここではサイズ)を算出してステップS207に移る。なお、当該ステップで算出された代表位置及び追跡用特徴量は、保存処理部B6が対象クラスタを示す所定の情報(例えばクラスタ番号やクラスタ点群の点群データ)と対応付けてRAM等に保存する。
【0139】
ステップS207では重み調整部B7が、ステップS202で算出されているノイズレベルと、ステップS205で算出されている強度平均とに基づいて、対象クラスタと検出済みクラスタとの対応づけに用いるパラメータの1つである3D距離重み係数λを決定する。3D距離重み係数λは、複数の検出済みクラスタの中から対象クラスタに対応する検出済みクラスタを特定する際において、検出済みクラスタの代表位置と、対象クラスタとの代表位置との3次元空間上の距離の影響度合い(つまり重み)を調整するためのパラメータである。
【0140】
3D距離重み係数λは、ノイズレベル及び強度平均のそれぞれを軸とする、予め用意されたマップやテーブルを用いて決定される。ノイズレベル及び強度平均に応じた3D距離重み係数λは、
図21に示すように、ノイズレベルが高いほど、また、強度平均が低いほど低い値となるように設定されれば良い。換言すれば3D距離重み係数λは、ノイズレベルが低いほど、また、強度平均が高いほど高い値となるように設定されれば良い。
【0141】
前述の通り、ノイズレベルが低いほど、また、強度平均が高いほど、クラスタ点群を構成する測距点の測距精度が高いことを示す。つまり、上記の構成は、対象クラスタを構成する測距点群の信頼度が高いほど、3D距離重み係数λを高い値に設定する構成に相当する。3D距離重み係数λを大きくすることで、検出済みクラスタの代表位置と対象クラスタとの代表位置との距離が、後述する重み付け距離dに寄与する割合が大きくなる。対象クラスタを構成する測距点群の信頼度が高いほど、3D距離重み係数λを高い値に設定することで、検出済みクラスタと対象クラスタとの3次元空間上の距離成分(以降、3D距離成分)が重み付け距離dに寄与する割合が大きくなり、追跡処理の精度を高めることができる。
【0142】
なお、ノイズレベルが低いほど3D距離重み係数λを大きくする構成は、相対的に、ノイズレベルが低いほど追跡用特徴量の差成分(以降、特徴量差成分)が重み付け距離dに寄与する割合を小さくする構成に相当する。また、強度平均が低いほど3D距離重み係数λを大きくする構成は、強度平均が低いほど、特徴量差成分が重み付け距離dに寄与する割合を小さくする構成に相当する。
【0143】
3D距離重み係数λは、所定の基準値λ0を基準として定まるλ1からλ2までの値を取るように構成されている。λ1は3D距離重み係数λの最小値であって、例えば基準値λ0を0.5倍した値に設定されている。λ2は3D距離重み係数λの最大値であって、例えば基準値λ0を1.5倍した値に設定されている。基準値λ0の具体的な値は、ノイズレベル及び強度平均が所定の標準レベルである場合を想定して設計されればよい。例えば基準値λ0は1や2などとすることができる。ノイズレベルや強度平均が標準レベルとなっている場合、後述する重み付け距離dにおける3D距離成分が特徴量差成分よりも大きく寄与するように、基準値λ0は1以上に設定されていることが好ましい。
【0144】
次のステップS208では閾値調整部B8が、ステップS202で算出されているノイズレベルと、ステップS205で算出されている強度平均とに基づいて、対象クラスタと検出済みクラスタとの対応づけに用いるパラメータの1つである追跡閾値τを決定する。追跡閾値τは、複数の検出済みクラスタの中から、対象クラスタに対応する検出済みクラスタの候補を抽出するための閾値として機能するパラメータである。
【0145】
追跡閾値τは、ノイズレベル及び強度平均のそれぞれを軸とする、予め用意されたマップやテーブルを用いて決定されれば良い。ノイズレベル及び強度平均に応じた3D距離重み係数λは、
図22に示すように、ノイズレベルが低いほど、また、強度平均が高いほど低い値となるように設定されれば良い。換言すれば追跡閾値τは、ノイズレベルが高いほど、また、強度平均が低いほど高い値となるように設定されれば良い。このような構成は、対象クラスタを構成する測距点群の信頼度が高いほど、追跡閾値τを低い値に設定する構成に相当する。
【0146】
なお、本実施形態では、追跡閾値τは、所定の基準値τ0を基準として定まるτ1からτ2までの値を取るように構成されている。τ1は追跡閾値τの最小値であって、例えば基準値τ0を0.5倍した値に設定されている。τ2は追跡閾値τの最大値であって、例えば基準値τ0を1.5倍した値に設定されている。基準値τ0の具体的な値は、ノイズレベル及び強度平均が標準的なレベルである場合を想定して設計されればよい。
【0147】
ステップS209では追跡処理部B9が、ステップS207で算出されている3D距離重み係数λを用いて、対象クラスタと複数の検出済みクラスタのそれぞれとの重み付け距離dを算出する。ある検出済みクラスタと、対象クラスタとの重み付け距離dは下記式1によって算出される。
【数1】
【0148】
式中のXo、Yo、Zoは、対象クラスタの代表位置を表し、Xp、Yp、Zpは比較対象としている検出済みクラスタの代表位置の現時刻における推定値を表している。この代表位置の推定値は、ステップS201で算出したものである。また、Foは対象クラスタのサイズを表しており、Fpは検出済みクラスタのサイズを表している。式1中の中括弧で囲まれている(Xo-Xp)2+(Yo-Yp)2+(Zo-Zp)2が前述の3D距離成分を表している。また、式1中の(Fo-Fp)2が前述の特徴量差成分を表している。式1は、3D距離成分及び特徴量差成分を3D距離重み係数λを用いて重み付け加算した値に相当する。
【0149】
なお、本実施形態では追跡用特徴量としてサイズのみを採用しているが、これに限らない。追跡用特徴量としてN種類の特徴量を採用してもよい。
【0150】
上記式1を用いて、検出済みクラスタ毎の重み付け距離dの算出が完了するとステップS210を実行する。ステップS210では、種々の検出済みクラスタのうち、重み付け距離dがステップS208で決定されている追跡閾値τ未満となっている検出済みクラスタを候補クラスタとして抽出する。また、候補クラスタのうち、重み付け距離dが最小値となっている検出済みクラスタ(以降、最近傍クラスタ)を、対象クラスタに対応する検出済みクラスタとして採用する。対象クラスタに対応する検出済みクラスタとは、同一の物体についてのクラスタである。
【0151】
ステップS210での処理が完了するとステップS211を実行する。ステップS211では、ステップS203でのクラスタリングにて抽出された全てのクラスタに対してステップS204からステップS210までの一連の処理を実行したかを判定する。未処理のクラスタが残っている場合にはステップS204に戻り、未処理のクラスタを対象クラスタに設定してステップS204以降の処理を実行する。未処理のクラスタが存在しない場合には本フローを終了する。
【0152】
上記の構成によれば、測距精度の低下やノイズレベルに応じて3D距離重み係数λや追跡閾値τを変更する。このような構成は、対象とするクラスタ点群の検出精度に応じて追跡の条件を変更する構成に相当する。対象クラスタ点群の検出精度に応じて追跡の条件を変更する構成によれば、前フレームで検出されているクラスタと、現フレームで検出されているクラスタとの対応付け(つまり追跡)のロバスト性を高めることができる。
【0153】
なお、上述した実施形態では3D距離重み係数λを調整するための要素として、ノイズレベルと強度平均の両方を用いる態様を開示したがこれに限らない。重み調整部B7は、強度平均を用いずにノイズレベルのみによって3D距離重み係数λを調整するように構成されていても良い。その場合には3D距離重み係数λはノイズレベルが高いほど低い値に設定されればよい。また、重み調整部B7は、ノイズレベルを用いずに強度平均のみによって3D距離重み係数λを調整するように構成されていても良い。その場合には3D距離重み係数λは強度平均が低いほど低い値に設定されればよい。
【0154】
また、上述した実施形態では追跡閾値τを調整するための要素として、ノイズレベルと強度平均の両方を用いる態様を開示したがこれに限らない。閾値調整部B8は、強度平均を用いずにノイズレベルのみによって追跡閾値τを調整するように構成されていても良い。その場合には追跡閾値τはノイズレベルが高いほど高い値に設定されればよい。また、閾値調整部B8は、ノイズレベルを用いずに強度平均のみによって追跡閾値τを調整するように構成されていても良い。その場合には追跡閾値τは強度平均が低いほど高い値に設定されればよい。
【0155】
さらに、他の態様として、重み付け距離dは、追跡用特徴量についての重み係数(以降、特徴重み係数)μを用いて、下記式1aで算出されてもよい。
【数2】
【0156】
特徴重み係数μは、ノイズレベル及び強度平均のそれぞれを軸とする、予め用意されたマップやテーブルを用いて決定されれば良い。特徴重み係数μは、ノイズレベルが高いほど、また、強度平均が低いほど高い値となるように設定されれば良い。換言すれば特徴重み係数μは、ノイズレベルが低いほど、また、強度平均が高いほど低い値となるように設定されれば良い。3D距離重み係数λの設定態様は上述の通りである。
【0157】
そのような構成によれば、対象クラスタを構成する測距点群の信頼度が高いほど、相対的に3D距離重み係数λを大きくするとともに特徴重み係数μを小さくする。これにより測距信頼度が高いほど、3D距離成分が重み付け距離dに寄与する割合が大きくなり、追跡処理の精度を高めることができる。
【0158】
また、対象クラスタを構成する測距点群の信頼度が低いほど、相対的に3D距離重み係数λを小さくするとともに特徴重み係数μを大きくする。これにより、特徴差成分が重み付け距離dに寄与する割合が高くなり、測距精度が低い検出状況においても追跡精度を維持又は向上させることができる。なお、3D距離重み係数λ及び特徴重み係数μは合計値が一定の値(例えば1)となるように構成されていてもよい。換言すれば、特徴重み係数μ=1-λとなるように構成されていても良い。
【0159】
[第3実施形態]
上述した第1実施形態等では、LIDAR2による物体の検出状況に基づいて、識別処理に用いる特徴量の組合せを変更したり、追跡処理に用いる各種パラメータの値を変調整したりする態様を開示したが、LIDAR2による物体の検出状況に基づいて変更するパラメータは、これらに限らない。例えば、物体認識ECU1は、LIDAR2による物体の検出状況に基づいて、クラスタリングに用いるパラメータである3D距離重み係数θを変更するように構成されていてもよい。以下、当該技術的思想に対応する物体認識ECU1の実施の形態の一例を第3実施形態として述べる。
【0160】
本実施形態における物体認識ECU1(具体的には演算部13)は、CPU131が物体認識プログラムを実行することによって、
図23に示す種々の機能ブロックに対応する機能を提供する。すなわち、物体認識ECU1は機能ブロックとして測距結果取得部C1、測距精度評価部C2、及びクラスタリング部C3を備える。クラスタリング部C3は、重み調整部C31、閾値調整部C32、及び結合処理部C33を備える。これらの機能の詳細については別途後述する。なお、これらの種々の機能ブロックの一部又は全部は、ハードウェアとして実現されていても良い。或る機能をハードウェアとして実現する態様には1つ又は複数のICを用いて実現する態様も含まれる。
【0161】
測距結果取得部C1及び測距精度評価部C2は、前述の第1実施形態における測距結果取得部A1及び測距精度評価部A2に相当する構成である。測距精度評価部C2は精度指標取得部に相当する。測距精度評価部C2は後述する強度代表値を算出する。
【0162】
クラスタリング部C3は、概略的には、下記式2によって定まる重み付け距離dが、結合閾値εより低い測距点同士を、1つの物体に対応するもの(つまり1つのクラスタ)としてグループ化する。クラスタリング部C3は認識処理部に相当する。
【数3】
【0163】
式中のθは、クラスタリングに於ける3D距離重み係数を表している。x1、y1、z1は、第1の測距点の位置を表しており、x2、y2、z2は、第2の測距点の位置を表している。p1は第1の測距点の反射強度を表しており、p2は第2の測距点の反射強度を表している。第1、第2の測距点は、処理の対象とする任意の測距点である。
【0164】
式2中の(x1-x2)2+(y1-y2)2+(z1-z2)2は、測距点間の実空間上の距離を示す成分(以降、3D距離成分)を表している。また、式2中の(p1-p2)2は、反射強度を示す成分(以降、強度差成分)を表している。強度差成分は、2つの測距点の反射強度の類似度を示すパラメータに相当する。上記式2によって定まる重み付け距離dは、3次元空間における(換言すれば実際の)測距点同士の距離成分と、反射強度の類似度のそれぞれを軸として備える二次元平面内での距離を示す。
【0165】
クラスタリング部C3は、例えば、照射方向が上下又は左右方向において隣接する関係の測距点の組合せに対して上記式2で定まる重み付け距離dを算出して、処理の対象とする2測距点が同一のクラスタに属するか否かを判定する。照射方向が上下又は左右方向において隣接する関係の測距点の組みとは、ライン番号が同じで照射方位番号が1つ違いの測距点の組合せや、照射方位番号が同じでライン番号が1つ違いの測距点の組合せを指す。便宜上、任意の2つの測距点が同一のクラスタに属するものであるか否かを判定する処理を結合判定処理と称する。なお、他の態様として結合判定処理は、測距点群データが備える全ての測距点の組合せに対して同一のクラスタに属するか否かの判定を行うように構成されていても良い。
【0166】
重み調整部C31は、測距精度評価部C2が検出しているノイズレベル、及び、処理の対象とする2つの測距点の反射強度の代表値(以降、強度代表値)に基づいて、3D距離重み係数θを調整する構成である。結合判定処理の対象とする2つの測距点の強度代表値としては、2つの測距点の反射強度の平均値(換言すれば中間値)を採用することができる。なお、他の態様として2つの測距点の強度代表値は、2つの測距点の反射強度の最小値としてもよいし、最大値としても良い。
【0167】
重み調整部C31は、
図24に示すように、ノイズレベルが高いほど、また、強度代表値が低いほど3D距離重み係数θを低い値に設定する。換言すれば重み調整部C31は、ノイズレベルが低いほど、また、強度代表値が高いほど高い値となるように設定する。前述の通り、ノイズレベルが低いほど、また、強度代表値が高いほど、測距点の測距精度が高いことが期待できる。つまり、上記の構成は、測距点の測距信頼度が高いほど、3D距離重み係数θを高い値に設定する構成に相当する。このように、ノイズレベルが低いほど、また、強度代表値が高いほど3D距離重み係数θを大きくすることで、重み付け距離dに寄与する距離成分が大きくなり、クラスタリングの精度を高めることができる。なお、ノイズレベルが低いほど、また、強度代表値が高いほど3D距離重み係数θを大きくする構成は、ノイズレベルが低いほど、また、強度代表値が高いほど、反射強度が重み付け距離dに寄与する割合を小さくする構成に相当する。
【0168】
なお、ノイズレベルや強度代表値に応じた3D距離重み係数θは、ノイズレベル及び強度平均のそれぞれを軸とする、予め用意されたマップやテーブルを用いて決定されれば良い。また、
図24で一例として3D距離重み係数θは、所定の基準値θ0を基準として定まるθ1からθ2までの値を取るように構成されている。θ1は3D距離重み係数θの最小値であって、例えば基準値θ0を0.5倍した値に設定されている。θ2は3D距離重み係数θの最大値であって、例えば基準値θ0を1.5倍した値に設定されている。基準値θ0の具体的な値は、ノイズレベル及び強度平均が所定の標準レベルである場合を想定して設計されればよい。具体的には基準値θ0は1や2などとすることができる。ノイズレベルや強度代表値が標準レベルとなっている場合に、重み付け距離dにおける3D距離成分の影響度合いが強度差成分よりも大きくなるように、基準値λ0は1以上に設定されていることが好ましい。
【0169】
閾値調整部C32は、測距精度評価部C2が検出しているノイズレベル、及び、結合判定処理の対象とする測距点の強度代表値に基づいて結合閾値εを調整する構成である。閾値調整部C32は、
図25に示すように、ノイズレベルが低いほど、また、強度代表値が高いほど低い値に設定する。換言すれば閾値調整部C32は、ノイズレベルが高いほど、また、強度代表値が低いほど高い値となるように設定する。
【0170】
前述の通り、ノイズレベルが低いほど、また、強度代表値が高いほど、測距点の測距精度が高いことが期待できるため、上記の構成は、測距点の測距信頼度が高いほど、結合閾値εを低い値に設定する構成に相当する。なお、ノイズレベルや強度代表値に応じた結合閾値εは、ノイズレベル及び強度平均のそれぞれを軸とする、予め用意されたマップやテーブルを用いて決定されれば良い。
【0171】
また、本実施形態では、結合閾値εは、所定の基準値ε0を基準として定まるε1からε2までの値を取るように構成されている。ε1は結合閾値εの最小値であって、例えば基準値ε0を0.5倍した値に設定されている。ε2は結合閾値εの最大値であって、例えば基準値ε0を1.5倍した値に設定されている。
【0172】
結合処理部C33は、2つの測距点の組合せ毎に、式2を用いて重み付け距離dを算出するとともに、当該算出された重み付け距離dが閾値調整部C32によって決定されている結合閾値ε未満となっている測距点同士を同一のクラスタに属するものと判定する。つまり測距点の組合せ毎に結合判定処理を実施する構成である。
【0173】
図26は、クラスタリング処理に係る物体認識ECU1の作動を説明するためのフローチャートである。
図26に示すフローチャートは、例えばLIDAR2を駆動させる度に実行されれば良い。換言すれば所定の周期で開始されれば良い。
【0174】
ステップS301では測距結果取得部C1が、LIDAR2から測距点群データを取得し、ステップS302に移る。ステップS302では測距精度評価部C2が、ステップS301で取得した1フレームとしての測距点群データのノイズレベルを評価する。ステップS303では互いに隣接する関係にある任意の2つの測距点を処理の対象に設定してステップ304に移る。
【0175】
ステップS304では測距精度評価部C2が、処理の対象としている2つの測距点についての強度代表値を算出してステップS305に移る。ステップS305では重み調整部C31が、ステップS302で算出されているノイズレベルと、ステップS304で算出されている強度代表値とに基づいて3D距離重み係数θを決定し、ステップS306に移る。ステップS306では閾値調整部C32が、ステップS302で算出されているノイズレベルと、ステップS304で算出されている強度代表値とに基づいて結合閾値εを決定し、ステップS307に移る。
【0176】
ステップS307では結合処理部C33が、式2に基づいて重み付け距離dを算出してステップS308に移る。ステップS308では、ステップS307で算出した重み付け距離dが結合閾値ε未満である否かを判定する。重み付け距離dが結合閾値ε未満である場合には、処理の対象としている2つの測距点は同一のクラスタに属するものであると判定する。一方、重み付け距離dが結合閾値ε以上である場合には、処理の対象としている2つの測距点は同一のクラスタに属するものではない(換言すれば別の物体である)と判定する。
【0177】
ステップS309では、互いに隣接する測距点の組合せとして、未処理の測距点の組合せが存在するか否かを判定する。未処理の測距点の組合せが存在する場合にはステップS303に戻り、未処理の測距点の組合せに対してステップS304~S308を実行する。ステップS304~S308が前述の結合判定処理に相当する。ステップS309において未処理の測距点の組合せが存在しない場合、つまり、全ての測距点の組合せに対して結合判定処理を実施した場合には本フローを終了する。
【0178】
第3実施形態として上述した構成によれば、ノイズレベルが低いほど、また、強度代表値が高いほど結合閾値εを小さくする。これにより、実際には別の物体に対応する測距点同士を同一のクラスタを構成するものであるとして誤結合してしまう恐れを低減できる。さらに、ノイズレベルが高いほど、また、強度代表値が低いほど結合閾値εを大きくすることで、実際には同一の物体に対応する測距点同士を、別のクラスタを構成するものであるとして誤分離してしまう恐れを低減できる。つまり、上記の構成によれば、クラスタリングの精度やロバスト性を高めることができる。
【0179】
なお、上述した実施形態では3D距離重み係数θを調整するための要素として、ノイズレベルと強度代表値の両方を用いる態様を開示したがこれに限らない。重み調整部C31は、強度代表値を用いずにノイズレベルのみによって3D距離重み係数θを調整するように構成されていても良い。その場合には3D距離重み係数θはノイズレベルが高いほど低い値に設定する。また、重み調整部C31は、ノイズレベルを用いずに強度代表値のみによって3D距離重み係数θを調整するように構成されていても良い。その場合には3D距離重み係数θは強度代表値が低いほど低い値に設定する。
【0180】
また、上述した実施形態では結合閾値εを調整するための要素として、ノイズレベルと強度代表値の両方を用いる態様を開示したがこれに限らない。閾値調整部C32は、強度代表値を用いずにノイズレベルのみによって結合閾値εを調整するように構成されていても良い。その場合には結合閾値εはノイズレベルが高いほど高い値に設定されればよい。また、閾値調整部C32は、ノイズレベルを用いずに強度代表値のみによって結合閾値εを調整するように構成されていても良い。その場合には結合閾値εは強度代表値が低いほど高い値に設定されればよい。
【0181】
さらに、他の態様として、重み付け距離dは、反射強度の差についての重み係数(以降、強度重み係数)δを用いて、下記式2aで算出されてもよい。
【数4】
【0182】
強度重み係数δは、ノイズレベル及び強度代表値のそれぞれを軸とする、予め用意されたマップやテーブルを用いて決定されれば良い。強度重み係数δは、ノイズレベルが高いほど、また、強度代表値が低いほど高い値となるように設定されれば良い。換言すれば強度重み係数δは、ノイズレベルが低いほど、また、強度代表値が高いほど低い値となるように設定されれば良い。3D距離重み係数θの設定態様は上述の通りである。
【0183】
そのような構成によれば、結合判定処理の対象とする2つの測距点の測距信頼度が高いほど、相対的に3D距離重み係数θを大きくするとともに強度重み係数δを小さくする。これにより重み付け距離dに対する測距点間の3次元空間上の距離成分の影響度合いは大きくなり、結合判定処理の精度を高めることができる。また、測距点の測距信頼度が低いほど、相対的に3D距離重み係数θを小さくするとともに強度重み係数δを大きくする。これにより、重み付け距離dに対する測距点同士の反射強度の類似性の影響度合いは大きくなり、測距精度が低い検出状況においても結合判定精度を維持又は向上させることができる。なお、3D距離重み係数θと強度重み係数δとは合計値が一定の値(例えば1)となるように構成されていてもよい。換言すれば、強度重み係数δ=1-θとなるように構成されていても良い。
【0184】
[その他の変形例]
以上では物体認識装置が車両に搭載されている態様を開示したが、本開示の構成は、車載システムにも適用可能である。例えば物体認識装置と接続しているLIDARは、施設の出入り口付近を検出範囲とするように、当該出入り口付近に設置されているLIDARであってもよい。
【符号の説明】
【0185】
1…物体認識ECU(物体認識装置)、2…LIDAR、A1、B1、C1…測距結果取得部、A2、B2、C2…測距精度評価部(精度指標取得部、クラスタ精度指標算出部)、A3、B3…クラスタリング部、A4…モデル選択部(特徴量選択部、重み調整部)、A5…特徴量算出部、A6…識別処理部(認識処理部)、B4…代表位置算出部、B5…特徴量算出部、B6…保存処理部、B7、C31…重み調整部、B8、C32…閾値調整部、B9…追跡処理部(認識処理部)、C3…クラスタリング部(認識処理部)、C33…結合処理部、S101、S301…測距結果取得ステップ、S102、S106、S202、S205、S302、S304…精度指標取得ステップ、S107、S207、S305…重み調整ステップ、S110、S210、S303~S309…認識処理ステップ