(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024039486
(43)【公開日】2024-03-22
(54)【発明の名称】グリッドマップ生成システム及びグリッドマップの生成方法並びにコンピュータプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240314BHJP
【FI】
G06T7/70 A
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022144079
(22)【出願日】2022-09-09
(71)【出願人】
【識別番号】591245473
【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
(74)【代理人】
【識別番号】100177839
【弁理士】
【氏名又は名称】大場 玲児
(74)【代理人】
【識別番号】100172340
【弁理士】
【氏名又は名称】高橋 始
(74)【代理人】
【識別番号】100182626
【弁理士】
【氏名又は名称】八島 剛
(72)【発明者】
【氏名】李 明宇
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096AA09
5L096BA04
5L096CA02
5L096CA18
5L096DA01
5L096FA66
5L096FA67
5L096FA69
5L096GA19
5L096GA51
5L096JA03
(57)【要約】 (修正有)
【課題】複数のセンサによる検出結果を融合した占有グリッドマップを生成するシステム、方法及びプログラムを提供する。
【解決手段】グリッドマップ生成システムは、複数のセンサによる検出対象データ(objs[i])を融合し、センサ優先度が最も高いセンサ以外のセンサによる同一の検出対象のデータを除外して物体位置融合データ(fus_objs)を生成しS2、複数のセンサ毎に、物体位置融合データ(fus_objs)に基づいてセンサの測定範囲に存在する検出対象(obj)に応じた占有グリッドマップ(grds[i])をそれぞれ生成しS3、生成した複数の占有グリッドマップ(grds[i])を融合し、それぞれのグリッドに対して、複数の占有グリッドマップ(grds[i])がそれぞれ示す占有状態のうち、あらかじめ設定された占有状態優先度が最も高い占有状態を適用して融合占有グリッドマップ(fus_grds)を生成するS4。
【選択図】
図6
【特許請求の範囲】
【請求項1】
センサの計測データに基づいて検出対象に応じた空間の占有状態を示す占有グリッドマップを生成するグリッドマップ生成システム(10)であって、
所定の基準で設定されるセンサ優先度にしたがって前記センサ優先度の順位が設定された複数のセンサ(1,3,5,7)を備え、
前記複数のセンサ(1,3,5,7)による検出対象データ(objs[i])を融合し、二つ以上の前記センサにより同一の検出対象が検出されている場合、前記センサ優先度が最も高いセンサ以外のセンサによる当該同一の検出対象のデータを除外して物体位置融合データ(fus_objs)を生成した後、
前記複数のセンサ(1,3,5,7)ごとに、前記物体位置融合データ(fus_objs)に基づいて前記センサの測定範囲に存在する検出対象(obj)の位置を二次元平面に投影し、前記検出対象(obj)に応じた占有グリッドマップ(grds[i])をそれぞれ生成し、
生成された複数の前記占有グリッドマップ(grds[i])を融合し、それぞれのグリッドに対して、前記複数の占有グリッドマップ(grds[i])がそれぞれ示す占有状態のうち、あらかじめ設定された占有状態優先度が最も高い占有状態を適用して融合占有グリッドマップ(fus_grds)を生成する、
グリッドマップ生成システム。
【請求項2】
前記複数のセンサ(1,3,5,7)ごとに前記物体位置融合データ(fus_objs)に基づいてそれぞれ前記占有グリッドマップ(grds[i])を生成する処理では、
それぞれの前記センサ(1,3,5,7)を基点として、前記同一の検出対象以外の前記検出対象のうち前記センサ優先度が高順位のセンサによる前記検出対象(obj)を優先し、前記検出対象(obj)に応じてそれぞれのグリッドに対して前記占有状態を設定することにより前記占有グリッドマップ(grds[i])を生成する、
請求項1に記載のグリッドマップ生成システム。
【請求項3】
前記複数のセンサは、第1のセンサ及び第2のセンサを備え、前記第2のセンサのセンサ優先度が前記第1のセンサのセンサ優先度より高順位に設定されており、
前記第1のセンサによる第1の検出対象(obj1)が、前記第2のセンサによる第2の検出対象(obj2)と同一の検出対象を含む場合、前記第1の検出対象(obj1)から当該同一の検出対象を除外して、前記物体位置融合データ(fus_objs)を生成し、
前記第1のセンサを基点として、前記同一の検出対象以外の前記第1の検出対象(obj1)に応じて前記第1のセンサの測定範囲(SA1)のそれぞれのグリッドに対して前記占有状態を設定した後、前記第2の検出対象(obj2)に応じて前記第1のセンサの測定範囲(SA1)のそれぞれの前記グリッドに対して前記占有状態を上書き設定することにより第1の占有グリッドマップ(grds[1])を生成し、
前記第2のセンサを基点として、前記同一の検出対象以外の前記第1の検出対象(obj1)に応じて前記第2のセンサの測定範囲(SA2)のそれぞれのグリッドに対して前記占有状態を設定した後、前記第2の検出対象(obj2)に応じて前記第2のセンサの測定範囲(SA2)のそれぞれの前記グリッドに対して前記占有状態を上書き設定することにより第2の占有グリッドマップ(grds[2])を生成し、
前記第1の占有グリッドマップ(grds[1])と前記第2の占有グリッドマップ(grds[2])とを融合し、それぞれのグリッドに対して、前記第1の占有グリッドマップ(grds[1])が示す占有状態及び前記第2の占有グリッドマップ(grds[2])が示す占有状態のうち、前記占有状態優先度が高い占有状態を適用して前記融合占有グリッドマップ(fus_grds)を生成する、
請求項1に記載のグリッドマップ生成システム。
【請求項4】
前記グリッドマップ生成システム(10)は、
第1のセンサの計測データに基づく演算処理を実行する第1のデータ処理部(75)と、
第2のセンサの計測データに基づく演算処理を実行する第2のデータ処理部(71)と、
前記第1のデータ処理部による演算結果及び前記第2のデータ処理部による演算結果を融合する処理を実行する融合処理部(51)と、を有し、
前記第1のデータ処理部(75)は、前記第1のセンサの計測データに基づいて、第1の検出対象(obj1)の位置情報を含む第1の検出対象データ(objs[1])を生成し、
前記第2のデータ処理部(71)は、前記第2のセンサの計測データに基づいて、第2の検出対象(obj2)の位置情報を含む第2の検出対象データ(objs[2])を生成し、
前記融合処理部(51)は、前記第1の検出対象データ(objs[1])と前記第2の検出対象データ(objs[2])とを融合し、前記第1のセンサによる前記第1の検出対象(obj1)が、前記第2のセンサによる前記第2の検出対象(obj2)と同一の検出対象を含む場合、前記第1の検出対象(obj1)から前記同一の検出対象を除外して前記物体位置融合データ(fus_objs)を生成し、
前記第1のデータ処理部(75)は、前記第1のセンサを基点として、前記同一の検出対象以外の前記第1の検出対象(obj1)に応じて前記第1のセンサの測定範囲(SA1)のそれぞれのグリッドに対して前記占有状態を設定した後、前記第2の検出対象(obj2)に応じて前記第1のセンサの測定範囲(SA1)のそれぞれの前記グリッドに対して前記占有状態を上書き設定することにより第1の占有グリッドマップ(grds[1])を生成し、
前記第2のデータ処理部(71)は、前記第2のセンサを基点として、前記同一の検出対象以外の前記第1の検出対象(obj1)に応じて前記第2のセンサの測定範囲(SA2)のそれぞれのグリッドに対して前記占有状態を設定した後、前記第2の検出対象(obj2)に応じて前記第2のセンサの測定範囲(SA2)のそれぞれの前記グリッドに対して前記占有状態を上書き設定することにより第2の占有グリッドマップ(grds[2])を生成し、
前記融合処理部(51)は、前記第1の占有グリッドマップ(grds[1])と前記第2の占有グリッドマップ(grds[2])とを融合し、それぞれの前記グリッドに対して、前記第1の占有グリッドマップ(grds[1])が示す占有状態及び前記第2の占有グリッドマップ(grds[2])が示す占有状態のうち、前記占有状態優先度が高い占有状態を適用して前記融合占有グリッドマップ(fus_grds)を生成する、
請求項2に記載のグリッドマップ生成システム。
【請求項5】
前記グリッドマップ生成システム(10)は、
前記センサ優先度が前記第2のセンサのセンサ優先度よりさらに高順位に設定された第3のセンサと、前記第3のセンサの計測データに基づく演算処理を実行する第3のデータ処理部と、をさらに備え、
前記第1のデータ処理部は、前記第1のセンサの計測データに基づいて、前記第1の検出対象(obj1)の位置情報を含む第1の検出対象データ(objs[1])を生成し、
前記第2のデータ処理部は、前記第2のセンサの計測データに基づいて、前記第2の検出対象(obj2)の位置情報を含む第2の検出対象データ(objs[2])を生成し、
前記第3のデータ処理部は、前記第3のセンサの計測データに基づいて、前記第3のセンサによる第3の検出対象の位置情報を含む第3の検出対象データ(objs[3])を生成し、
前記融合処理部は、前記第1の検出対象データ(objs[1])と前記第2の検出対象データ(objs[2])と前記第3の検出対象データ(objs[3])を融合し、前記第1のセンサによる前記第1の検出対象(obj1)が、前記第2のセンサによる前記第2の検出対象(obj2)又は前記第3のセンサによる前記第3の検出対象と同一の検出対象を含む場合、前記第1の検出対象データ(objs[1])から当該第1の同一の検出対象のデータを除外するとともに、前記第2のセンサによる前記第2の検出対象(obj2)が、前記第3のセンサによる前記第3の検出対象と同一の検出対象を含む場合、前記第2の検出対象データ(objs[2])から当該第2の同一の検出対象を除外して前記物体位置融合データ(fus_objs)を生成し、
前記第1のデータ処理部は、前記第1のセンサを基点として、前記第1の同一の検出対象以外の前記第1の検出対象(obj1)に応じて前記第1のセンサの測定範囲(SA1)のそれぞれのグリッドに対して前記占有状態を設定した後、前記第2の同一の検出対象以外の前記第2の検出対象(obj2)に応じて前記第1のセンサの測定範囲(SA1)のそれぞれの前記グリッドに対して前記占有状態を上書き設定し、さらに前記第3の検出対象に応じて前記第1のセンサの測定範囲(SA1)のそれぞれの前記グリッドに対して前記占有状態を上書き設定することにより第1の占有グリッドマップ(grds[1])を生成し、
前記第2のデータ処理部は、前記第2のセンサを基点として、前記第1の同一の検出対象以外の前記第1の検出対象(obj1)に応じて前記第2のセンサの測定範囲(SA2)のそれぞれのグリッドに対して前記占有状態を設定した後、前記第2の同一の検出対象以外の前記第2の検出対象(obj2)に応じて前記第2のセンサの測定範囲(SA2)のそれぞれの前記グリッドに対して前記占有状態を上書き設定し、さらに前記第3の検出対象に応じて前記第2のセンサの測定範囲(SA2)のそれぞれの前記グリッドに対して前記占有状態を上書き設定することにより第2の占有グリッドマップ(grds[2])を生成し、
前記第3のデータ処理部は、前記第3のセンサを基点として、前記第1の同一の検出対象以外の前記第1の検出対象(obj1)に応じて前記第3のセンサの測定範囲のそれぞれのグリッドに対して前記占有状態を設定した後、前記第2の同一の検出対象以外の前記第2の検出対象(obj2)に応じて前記第3のセンサの測定範囲のそれぞれの前記グリッドに対して前記占有状態を上書き設定し、さらに前記第3の検出対象に応じて前記第3のセンサの測定範囲のそれぞれの前記グリッドに対して前記占有状態を上書き設定することにより第3の占有グリッドマップを生成し、
前記融合処理部は、前記第1の占有グリッドマップ(grds[1])と前記第2の占有グリッドマップ(grds[2])と前記第3の占有グリッドマップとを融合し、それぞれのグリッドに対して、前記第1の占有グリッドマップが示す占有状態、前記第2の占有グリッドマップ(grds[2])が示す占有状態及び前記第3の占有グリッドマップが示す占有状態のうち、前記占有状態優先度が最も高い占有状態を適用して前記融合占有グリッドマップ(fus_grds)を生成する、
請求項4に記載のグリッドマップ生成システム。
【請求項6】
前記融合占有グリッドマップ(fus_grds)のそれぞれの前記グリッドには、前記占有状態として、
全ての前記複数のセンサの測定範囲外であることを示す未初期化状態(O_ui)、
前記複数のセンサのうちの少なくとも一つのセンサの測定範囲内であるが占有状態が未知であることを示す未知状態(O_uk)、
前記複数のセンサのうちの少なくとも一つのセンサの測定範囲内にあり、物体が存在することを示す物体検出状態(O_ob)、
前記複数のセンサのうちの少なくとも一つのセンサの測定範囲内にあるが、他の物体の影になっているために測定できないことを示す遮蔽状態(O_oc)、
前記複数のセンサのうちの少なくとも一つのセンサの測定範囲内にあり、他の物体の影になっておらず、物体が存在しないことを示す空き状態(O_fs)、のいずれかが設定され、
前記占有状態優先度は、前記未初期化状態(O_ui)、前記未知状態(O_uk)、前記物体検出状態(O_ob)、前記遮蔽状態(O_oc)、前記空き状態(O_fs)、の順に高くなるように設定されている、
請求項1に記載のグリッドマップ生成システム。
【請求項7】
前記複数のセンサが、撮像カメラ(3)、レーダセンサ(5,7)及びLiDAR(1)を含み、
前記センサ優先度は、前記撮像カメラ(3)、前記レーダセンサ(5,7)、前記LiDAR(1)、の順に前記センサ優先度の順位が高くなるように設定されている、
請求項1に記載のグリッドマップ生成システム。
【請求項8】
センサの計測データに基づいて検出対象に応じた空間の占有状態を示す占有グリッドマップを生成するグリッドマップの生成方法であって、
所定の基準で設定されるセンサ優先度にしたがって前記センサ優先度の順位が設定された複数のセンサ(1,3,5,7)を備え、
前記複数のセンサ(1,3,5,7)による検出対象データ(objs[i])を融合し、二つ以上の前記センサにより同一の検出対象が検出されている場合、前記センサ優先度が最も高いセンサ以外のセンサによる当該同一の検出対象のデータを除外して物体位置融合データ(fus_objs)を生成することと、
前記複数のセンサ(1,3,5,7)ごとに、前記物体位置融合データ(fus_objs)に基づいて前記センサの測定範囲に存在する検出対象(obj)の位置を二次元平面に投影し、前記検出対象(obj)に応じた占有グリッドマップ(grds[i])をそれぞれ生成することと、
生成された複数の前記占有グリッドマップ(grds[i])を融合し、それぞれのグリッドに対して、前記複数の占有グリッドマップ(grds[i])がそれぞれ示す占有状態のうち、あらかじめ設定された占有状態優先度が最も高い占有状態を適用して融合占有グリッドマップ(fus_grds)を生成することと、
を含む、グリッドマップの生成方法。
【請求項9】
所定の基準で設定されるセンサ優先度にしたがって前記センサ優先度の順位が設定された複数のセンサ(1,3,5,7)による検出対象データ(objs[i])を融合し、二つ以上の前記センサにより同一の検出対象が検出されている場合、前記センサ優先度が最も高いセンサ以外のセンサによる当該同一の検出対象のデータを除外して物体位置融合データ(fus_objs)を生成することと、
前記複数のセンサ(1,3,5,7)ごとに、前記物体位置融合データ(fus_objs)に基づいて前記センサの測定範囲に存在する検出対象(obj)の位置を二次元平面に投影し、前記検出対象(obj)に応じた占有グリッドマップ(grds[i])をそれぞれ生成することと、
生成された複数の前記占有グリッドマップ(grds[i])を融合し、それぞれのグリッドに対して、前記複数の占有グリッドマップ(grds[i])がそれぞれ示す占有状態のうち、あらかじめ設定された占有状態優先度が最も高い占有状態を適用して融合占有グリッドマップ(fus_grds)を生成することと、
を含む処理を一つ又は複数のコンピュータに実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、グリッドマップ生成システム及びグリッドマップの生成方法並びにコンピュータプログラムに関する。
【背景技術】
【0002】
車両等の移動体を自動運転させる技術において、移動体の周囲環境を把握することは極めて重要である。周囲環境を把握する手段の一態様として、センサを用いて移動体の周囲環境を検出し、検出された物体が存在する位置を二次元平面に投影して移動体の周囲を二次元マップで表現する占有グリッドマップを生成する技術が知られている。占有グリッドマップは、等間隔で分割された複数のグリッドにより構成され、それぞれのグリッドには物体に応じた空間の占有率を示す状態値が設定される。例えば特許文献1には、撮像カメラの画像データに基づいて車両の周囲の占有グリッドを算出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、撮像カメラの画像データは、物体の有無を把握することには適している一方、物体が存在する位置を特定する精度が他のLiDARやレーダセンサの計測データに比べると低いのが実情である。このため、撮像カメラに代えて、あるいは、撮像カメラと併せてLiDARやレーダセンサを用いて占有グリッドマップを生成することができれば有用と考えられる。複数のセンサを用いる場合、センサの種類や設置位置によってそれぞれのセンサの測定範囲や検出結果が異なるため、これらの複数のセンサによる検出結果を融合して一つの占有グリッドマップを生成する必要がある。
【0005】
本発明は、複数のセンサによる検出結果を融合した占有グリッドマップを生成することが可能なグリッドマップ生成装置及びグリッドマップの生成方法並びにコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、
センサの計測データに基づいて検出対象に応じた空間の占有状態を示す占有グリッドマップを生成するグリッドマップ生成システムであって、
所定の基準で設定されるセンサ優先度にしたがって前記センサ優先度の順位が設定された複数のセンサを備え、
前記複数のセンサによる検出対象データを融合し、二つ以上の前記センサにより同一の検出対象が検出されている場合、前記センサ優先度が最も高いセンサ以外のセンサによる当該同一の検出対象のデータを除外して物体位置融合データを生成した後、
前記複数のセンサごとに、前記物体位置融合データに基づいて前記センサの測定範囲に存在する検出対象の位置を二次元平面に投影し、前記検出対象に応じた占有グリッドマップをそれぞれ生成し、
生成された複数の前記占有グリッドマップを融合し、それぞれのグリッドに対して、前記複数の占有グリッドマップがそれぞれ示す占有状態のうち、あらかじめ設定された占有状態優先度が最も高い占有状態を適用して融合占有グリッドマップを生成する、グリッドマップ生成システムが提供される。
【0007】
また、本発明の別の観点によれば、
センサの計測データに基づいて検出対象に応じた空間の占有状態を示す占有グリッドマップを生成するグリッドマップの生成方法であって、
所定の基準で設定されるセンサ優先度にしたがって前記センサ優先度の順位が設定された複数のセンサを備え、
前記複数のセンサによる検出対象データを融合し、二つ以上の前記センサにより同一の検出対象が検出されている場合、前記センサ優先度が最も高いセンサ以外のセンサによる当該同一の検出対象のデータを除外して物体位置融合データを生成することと、
前記複数のセンサごとに、前記物体位置融合データに基づいて前記センサの測定範囲に存在する検出対象の位置を二次元平面に投影し、前記検出対象に応じた占有グリッドマップをそれぞれ生成することと、
生成された複数の前記占有グリッドマップを融合し、それぞれのグリッドに対して、前記複数の占有グリッドマップがそれぞれ示す占有状態のうち、あらかじめ設定された占有状態優先度が最も高い占有状態を適用して融合占有グリッドマップを生成することと、
を含む、グリッドマップの生成方法が提供される。
【0008】
また、本発明の別の観点によれば、
所定の基準で設定されるセンサ優先度にしたがって前記センサ優先度の順位が設定された複数のセンサによる検出対象データを融合し、二つ以上の前記センサにより同一の検出対象が検出されている場合、前記センサ優先度が最も高いセンサ以外のセンサによる当該同一の検出対象のデータを除外して物体位置融合データを生成することと、
前記複数のセンサごとに、前記物体位置融合データに基づいて前記センサの測定範囲に存在する検出対象の位置を二次元平面に投影し、前記検出対象に応じた占有グリッドマップをそれぞれ生成することと、
生成された複数の前記占有グリッドマップを融合し、それぞれのグリッドに対して、前記複数の占有グリッドマップがそれぞれ示す占有状態のうち、あらかじめ設定された占有状態優先度が最も高い占有状態を適用して融合占有グリッドマップを生成することと、
を含む処理を一つ又は複数のコンピュータに実行させる、コンピュータプログラムが提供される。
【発明の効果】
【0009】
以上説明したように本発明によれば、複数のセンサによる検出結果を融合した占有グリッドマップを生成することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施の形態に係る移動体の一例としての車両の構成例を示す模式図である。
【
図3】種類が異なるセンサそれぞれの測定範囲及び反射点の計測状態を示す模式図である。
【
図4】同種のセンサの設置位置の違いによる測定範囲の死角を示模式図である。
【
図5】同実施形態に係るグリッドマップ生成システムの構成例を示すブロック図である。
【
図6】同実施形態に係るグリッドマップ生成システムによる処理手順のフローチャートを示す。
【
図7】同実施形態に係るLiDAR及びレーダセンサを備えたシステムにおける物体位置融合処理を示す説明図である。
【
図8】同実施形態に係るレーダセンサのデータ処理部による占有グリッドマップ生成処理を示す説明図である。
【
図9】同実施形態に係るレーダセンサのデータ処理部による占有グリッドマップ生成処理を示す説明図である。
【
図10】同実施形態に係るLiDARのデータ処理部による占有グリッドマップ生成処理を示す説明図である。
【
図11】同実施形態に係るLiDARのデータ処理部による占有グリッドマップ生成処理を示す説明図である。
【
図12】同実施形態に係る融合占有グリッドマップ生成処理を示す説明図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については同一の符号を付することにより重複説明を省略する。
【0012】
<1.移動体の構成例>
まず、本実施形態に係るグリッドマップ生成システムを適用可能な移動体の構成例を説明する。
【0013】
本実施形態に係るグリッドマップ生成システムは、四輪自動車や自動二輪車等の車両の他、船舶、航空機又はロボット等の種々の移動体に適用することができる。本実施形態では、移動体として四輪自動車にグリッドマップ生成システムを適用した例を説明する。
【0014】
図1は、移動体の一例としての車両の構成例を示す模式図である。
図1に示した車両は、内燃機関や駆動用モータ等の駆動力源20から出力される駆動トルクを左右の前輪へ伝達する二輪駆動の車両として構成されている。車両は、前後左右の車輪へ駆動力を伝達する四輪駆動の車両であってもよい。また、車両が電気自動車やハイブリッド電気自動車の場合、車両には、駆動用モータへ供給される電力を蓄積する二次電池や、駆動用モータへ供給される電力及びバッテリに充電される電力を発電する発電機、駆動用モータの駆動を制御するインバータ装置等が搭載される。
【0015】
車両は、車両の走行を制御する機器として、駆動力源20、電動ステアリング装置25及びブレーキ液圧制御ユニット30を備えている。駆動力源20は、図示しない変速機や差動機構を介して車輪に伝達される駆動トルクを出力する。駆動力源20や変速機の駆動は車両制御装置40により制御される。
【0016】
電動ステアリング装置25は図示しない電動モータやギヤ機構を含み、車両制御装置40により制御されることによって左右の前輪の操舵角を調節する。車両制御装置40は、手動運転中には、ドライバによるステアリングホイールの操舵角に基づいて電動ステアリング装置25を制御する。また、車両制御装置40は、自動運転中には、演算により設定される目標操舵角に基づいて電動ステアリング装置25を制御する。
【0017】
ブレーキ液圧制御ユニット30は、それぞれの車輪に設けられたブレーキキャリパに供給する油圧を調節し、制動力を発生させる。ブレーキ液圧制御ユニット30の駆動は、車両制御装置40により制御される。車両が電気自動車あるいはハイブリッド電気自動車の場合、ブレーキ液圧制御ユニット30は、駆動用モータによる回生ブレーキと併用される。
【0018】
車両制御装置40は、駆動力源20、電動ステアリング装置25及びブレーキ液圧制御ユニット30の駆動を制御する一つ又は複数の電子制御装置を含む。車両制御装置40は、環境認識処理装置50から送信される信号を取得可能に構成され、車両の自動運転制御を実行可能に構成されている。なお、自動運転制御には、緊急ブレーキ制御やACC(Adaptive Cruise Control)を含むものとする。また、車両制御装置40は、車両の手動運転時においては、ドライバの運転操作量の情報を取得し、駆動力源20、電動ステアリング装置25及びブレーキ液圧制御ユニット30の駆動を制御する。
【0019】
グリッドマップ生成システム10は、周囲環境を検出するための複数のセンサと、車両の位置情報を検出する位置検出センサ13と、環境認識処理装置50とを備えている。本実施形態の車両は、周囲環境を検出するためのセンサとして、LiDAR1、撮像カメラ3F,3R及びレーダセンサ5C,5L,5R,7C,7L,7Rを備えている。
【0020】
図1に示した車両では、LiDAR1は車両のフロント側に設置され、車両の前方の環境認識に用いられる。LiDAR1は、照射軸を車長方向前方に向けて設置されている。LiDAR1は、例えば照射軸と照射軸に直交する軸の2軸が成す平面が車高方向に直交するようにアライメントされた状態で設置される。ただし、LiDAR1の照射軸の軸方向はこの例に限定されるものではなく、任意の方向へ向けて設置されてよい。
【0021】
LiDAR1は、所定の角度範囲(角度解像度)に向けてレーザや赤外線等の光学波を送信するとともに当該光学波の反射波を受信し、送信波及び受信波に基づいて反射点(以下「測定点」ともいう)の位置を算出する。測定点の位置の情報は、LiDAR1から測定点までの距離の情報、及び、LiDAR1の照射軸に対して測定点の位置する方向が成す角度(以下、「方位角」ともいう)の情報を含む。
【0022】
具体的に、LiDAR1は、所定の時間間隔に設定された処理サイクルごとに、照射軸を中心とする所定の角度範囲に対して光学波を照射するとともに反射波を受信する。例えばLiDAR1は、水平方向に向けて所定の角度範囲を成すように設けられた複数のレーザ射出機を垂直方向に走査するようにして光学波を照射する。あるいはLiDAR1は、垂直方向に向けて所定の角度範囲を成すように設けられた複数のレーザ射出機を水平方向に走査するようにして光学波を照射してもよい。
【0023】
LiDAR1は、光学波を送信してから反射波を受信するまでの時間に基づいて、測定点までの距離を算出する。また、LiDAR1は、測定点の受信方向に基づいて、測定点の方位角を算出する。LiDAR1は、各処理サイクルにおいて受信したすべての反射波について、従来公知の処理を実行して測定点の位置の情報を算出する。測定点の位置情報は、LiDAR1の位置を原点とする三次元直交座標系であるセンサ座標系上での位置座標として現わされる。センサ座標系は、LiDAR1の照射軸をX軸、車幅方向に沿った軸をY軸、車両の高さ方向に沿った軸をZ軸とする三次元直交座標系として示される。LiDAR1は、測定点がプロットされたフレーム画像を、各測定点の位置の情報とともに環境認識処理装置50へ送信する。
【0024】
撮像カメラ3F,3R(以下、特に区別を要する場合を除き「撮像カメラ3」と総称する。)は、それぞれ車両のフロント側及びリア側に設置され、車両の前方あるいは後方の環境認識に用いられる。撮像カメラ3は、撮影方向を適宜の方向に向けて設置されている。撮像カメラ3は、例えば上下左右の直交する2軸が成す平面が車高方向に直交するようにアライメントされた状態で設置される。撮像カメラ3は、撮像素子を備え、所定の画角内の撮像データを生成し、撮像データに基づいて物体の位置及び速度を算出する。物体の位置の情報は、撮像カメラ3からまでの距離の情報、物体の範囲、及び、撮像カメラ3の画角の中心軸に対して物体の位置する方向が成す角度(以下「方位角」ともいう)の情報を含む。
【0025】
具体的に、撮像カメラ3は、所定の時間間隔に設定された処理サイクルごとに周囲の風景を撮影した撮像データを生成し、公知の画像認識処理(エッジ検出及びパターンマッチング等)により物体の位置の情報を算出する。物体の位置の情報は、撮像カメラ3の位置を原点とする三次元直交座標系であるセンサ座標系上での位置座標として現わされる。センサ座標系は、撮像カメラ3のそれぞれの画角の中心軸をX軸、車幅方向に沿った軸をY軸、車両の高さ方向に沿った軸をZ軸とする二次元直交座標系として示される。また、撮像カメラ3は、処理サイクルごと(フレーム間)の物体の移動距離に基づいて物体の速度を算出する。撮像カメラ3は、各物体の位置の情報及び速度の情報(以下「検出データ」ともいう)を環境認識処理装置50へ送信する。
【0026】
レーダセンサ5C,5L,5R(以下、特に区別を要する場合を除き「レーダセンサ5」と総称する。)は、それぞれ車両のフロント側の中央、左側及び右側に設置され、車両の前方、左前方及び右前方の環境認識に用いられる。レーダセンサ7C,7L,7R(以下、特に区別を要する場合を除き「レーダセンサ7」と総称する。)は、それぞれ車両のリア側の中央、左側及び右側に設置され、車両の前方、左前方及び右前方の環境認識に用いられる。
【0027】
レーダセンサ5,7は、それぞれ照射軸を適宜の方向に向けて設置されている。レーダセンサ5,7は、例えば照射軸と照射軸に直交する軸の2軸が成す平面が車高方向に直交するようにアライメントされた状態で設置される。レーダセンサ5,7は、所定の角度範囲(角度解像度)に向けてレーダ波を送信するとともに当該レーダ波の反射波を受信し、送信波及び反射波の情報に基づいて反射点(以下「測定点」ともいう)の位置及び速度を算出する。レーダセンサ5,7としては、例えばミリ波を照射するミリ波レーダセンサが例示されるが、レーダ波の波長はミリ波に限定されない。測定点の位置の情報は、レーダセンサ5,7から測定点までの距離の情報、及び、レーダセンサ5,7の照射軸に対して測定点の位置する方向が成す角度(以下「方位角」ともいう)の情報を含む。
【0028】
具体的に、レーダセンサ5,7は、所定の時間間隔に設定された処理サイクルごとに、照射軸を中心とする所定の角度範囲に対してレーダ波を照射するとともに反射波を受信する。レーダセンサ5,7は、レーダ波を送信してから反射波を受信するまでの時間に基づいて、測定点までの距離を算出する。また、レーダセンサ5,7は、測定点の受信方向に基づいて、測定点の方位角を算出する。レーダセンサ5,7は、各処理サイクルにおいて受信したすべての反射波について、従来公知の処理を実行して測定点の距離及び方位角を算出し、各測定点の位置の情報を取得する。測定点の位置の情報は、レーダセンサ5,7の位置を原点とする三次元直交座標系であるセンサ座標系上での位置座標として現わされる。センサ座標系は、レーダセンサ5,7のそれぞれの照射軸をX軸、車幅方向に沿った軸をY軸、車両の高さ方向に沿った軸をZ軸とする二次元直交座標系として示される。
【0029】
また、レーダセンサ5,7は、送信波と反射波との位相差に基づいて、測定点の速度を算出する。レーダセンサ5,7は、各測定点の位置の情報及び速度の情報(以下「測定点のデータ」ともいう)を環境認識処理装置50へ送信する。
【0030】
なお、LiDAR1、撮像カメラ3及びレーダセンサ5,7の設置位置及び測定範囲は上記の例に限定されるものではない。また、LiDAR1、撮像カメラ3及びレーダセンサ5,7の数も上記の例に限定されるものではなく、LiDAR1、撮像カメラ3及びレーダセンサ5,7のうちのいずれかが設置されていなくてもよく、さらにその他の周囲環境を認識可能なセンサが備えられていてもよい。
【0031】
位置検出センサ13は、例えばGPS(Global Positioning System)センサに代表されるGNSS(Global Navigation Satellite System)センサであり、衛星から送信される衛星信号を受信し、世界座標系上での位置検出センサ13の経度及び緯度の位置情報を取得する。位置検出センサ13は、取得した位置情報と、位置検出センサ13に設定されている基準方向の情報とを位置データとして環境認識処理装置50へ送信する。基準方向は、位置検出センサ13の設置位置を原点とする車両座標系の一つの軸を規定する方向であり、例えば車両の車長方向前方に一致する方向に設定されている。
【0032】
環境認識処理装置50は、LiDAR1、レーダセンサ5,7及び撮像カメラ3から送信される計測データに基づいて車両の周囲に存在する物体の状況を認識する処理を実行する。特に、本実施形態に係る環境認識処理装置50は、LiDAR1、レーダセンサ5,7及び撮像カメラ3から送信される計測データに基づいて生成される、車両の周囲の状況を二次元平面で表した占有グリッドマップに基づいて、車両の周囲に存在する物体の状況を認識する。以下、本実施形態に係るグリッドマップ生成システム10について詳細に説明する。
【0033】
<2.グリッドマップ生成システム>
(2-1.占有グリッドマップ)
まず、占有グリッドマップについて簡単に説明する。
【0034】
図2は、占有グリッドマップGMを示す説明図である。占有グリッドマップGMは、設定エリアを縦横それぞれ等間隔で複数に分割した複数のグリッドにより構成される。一例として、設定エリアが縦横それぞれ実空間上の256mに相当する範囲に設定され、それぞれのグリッドのサイズが縦横それぞれ実空間上の0.25mに相当するサイズに設定され、縦1024個×横1024個のグリッドにより構成される。ただし、占有グリッドマップGMの設定エリアやグリッドのサイズは上記の例に限定されるものではなく、任意のサイズに設定されてよい。
【0035】
図2では、左右両側に縁石91L,91Rが存在し、左前方に建造物93が存在する道路を、グリッドマップ生成システムを搭載した車両90が走行している例が示されている。この場合、車両90に備えられた複数のセンサにより縁石91L,91R及び建造物93がそれぞれ検出され、三次元空間上の縁石91L,91R及び建造物93の検出位置が二次元平面上に投影される。そして、それぞれのグリッドに対して、縁石91L,91R及び建造物93の検出位置に応じてあらかじめ設定された占有状態が設定される。
【0036】
それぞれのグリッドには、占有状態として以下のいずれかが設定される。
-全ての複数のセンサの測定範囲外であることを示す未初期化状態O_ui
-複数のセンサのうちの少なくとも一つのセンサの測定範囲内であるが占有状態が未知であることを示す未知状態O_uk
-複数のセンサのうちの少なくとも一つのセンサの測定範囲内にあり、かつ、物体が存在することを示す物体検出状態O_ob
-複数のセンサのうちの少なくとも一つのセンサの測定範囲内にあるが、他の物体の影になっているために測定できないことを示す遮蔽状態O_oc
-複数のセンサのうちの少なくとも一つのセンサの測定範囲内にあり、他の物体の影になっておらず、かつ、物体が存在しないことを示す空き状態O_fs
【0037】
図2に示した占有グリッドマップGMの例では、縁石91L,91R及び建造物93の検出位置に対応するグリッドには物体検出状態O_obが設定され、車両90から見て建造物93の奥側に位置するグリッドには遮蔽状態O_ocが設定される。また、車両90存在する、全てのセンサの測定範囲外の領域に位置するグリッドには未初期化状態O_uiが設定され、その他のグリッドには空き状態O_fsが設定されている。
【0038】
車両制御装置40は、占有グリッドマップGMを参照することで、車両90の前方の走行可能エリアを特定し、車両90が検出対象物体と接触しないように、あるいは、検出対象物体から所定距離以上離れるように車両90の自動運転条件を設定することができる。
【0039】
ここで、撮像カメラ3により計測される検出対象物体の位置精度は、天候や日射条件等の影響を受けやすく、LiDAR1やレーダセンサ5,7に比べて位置精度が低くなる場合がある。また、LiDAR1及びレーダセンサ5,7は、いずれも検出対象物体による反射点を検出するセンサであるが、レーダセンサ5,7によるレーダ波の照射密度は、LiDAR1による赤外光の照射密度よりも低いことが知られている。また、種類の異なるセンサは、それぞれ測定範囲(角度範囲)や設置位置が異なる場合があり、計測データを融合させることが必要となる。
【0040】
図3は、種類が異なるLiDAR1とレーダセンサ5それぞれの測定範囲及び反射点の計測状態を示す模式図である。LiDAR1及びレーダセンサ5は、車両前方に向かって左右に設置されている。図示した例では、レーダセンサ5の測定範囲FOV_Raは、LiDAR1の測定範囲FOV_Liよりも狭くなっている。また、レーダセンサ5からのレーダ波の照射密度がLiDAR1からの赤外光の照射密度よりも低いため、物体101によるレーダ波の反射点の密度が、赤外光の反射密度よりも低くなっている。
【0041】
図4は、同種のレーダセンサ5L,5Rの設置位置の違いによる測定範囲の死角を示す模式図である。二つのレーダセンサ5L,5Rは、車両前方に向かって左右に設置されている。前方に存在する物体101が、車両90の中心よりも左側を走行している場合、右側に設置されたレーダセンサ5Rからは計測可能である一方、左側に設置されたレーダセンサ5Lからは物体101に遮蔽されて計測不能な遮蔽領域OCが形成される。
【0042】
このため、本実施形態に係るグリッドマップ生成システム10は、異なる位置に設置された種類の異なる複数のセンサによる計測データを融合して占有グリッドマップを生成するように構成されている。
【0043】
(2-2.構成例)
図5は、本実施形態に係るグリッドマップ生成システム10の構成例を示すブロック図である。
【0044】
グリッドマップ生成システム10は、互いに通信可能に接続された、周囲の環境を検出するための種類の異なる複数のセンサと、環境認識処理装置50とを備えている。環境認識処理装置50は、位置検出センサ13のセンサ信号を取得可能に構成されている。また、環境認識処理装置50は、車両の周囲に存在する物体の状況の認識結果を、車両制御装置40へ送信可能に構成されている。
【0045】
LiDAR1は、LiDAR1の計測データに基づく演算処理を実行する第1のデータ処理部71を有する。また、撮像カメラ3F,3Rは、それぞれ計測データに基づく演算処理を実行する第2のデータ処理部73F,73Rを有する。また、レーダセンサ5C,5L,5R,7C,7L,7Rは、それぞれ計測データに基づく演算処理を実行する第3のデータ処理部75C,75L,75R,77C,77L,77Rを有する。
【0046】
それぞれのセンサに備えられたデータ処理部は、一つ又は複数のCPU(Central Processing Unit)又はGPU(Graphics Processing Unit)等の演算処理装置を含むマイクロコンピュータ又はマイクロプロセッサユニット等として構成されている。これらの装置の一部又は全部は、ファームウェア等の更新可能なもので構成されていてもよく、CPU等からの指令によって実行されるプログラムモジュール等であってもよい。
【0047】
それぞれのセンサは、環境認識処理装置50との間で信号あるいはメッセージを送受信するための図示しないインタフェースを備えている。また、それぞれのセンサは、データ処理部により実行されるコンピュータプログラムや、演算処理に用いられる種々のパラメータ、計測データ、データ処理部による演算処理結果等のデータを記憶するための図示しない記憶部を備える。記憶部は、RAM(Random Access Memory)やROM(Read Only Memory)等の記憶素子であってよいが、その種類は特に限定されるものではない。
【0048】
本実施形態では、周囲の環境を検出するための複数のセンサに、所定の基準で設定されるセンサ優先度が設定されている。例えばそれぞれのセンサの検出精度あるいは信頼性の評価結果が高い順にセンサ優先度の順位が設定される。本実施形態では、撮像カメラ3、レーダセンサ5,7、LiDAR1の順にセンサ優先度の順位が高くなるように設定されている。
【0049】
環境認識処理装置50は、融合処理部51を備える。融合処理部51は、CPU等の演算処理装置を含んで構成され、LiDAR1、撮像カメラ3、レーダセンサ5,7及び位置検出センサ13から取得されるデータに基づいて種々の演算処理を実行する。また、融合処理部51は、演算結果の情報を車両制御装置40へ送信する処理を実行する。
【0050】
環境認識処理装置50は、LiDAR1、撮像カメラ3、レーダセンサ5,7、位置検出センサ13及び車両制御装置40との間で信号あるいはメッセージを送受信するための図示しないインタフェースを備えている。当該インタフェースは、CAN(Controller Area Network)又はLIN(Local Inter Net)等の一つ又は複数の通信プロトコルの規格に適合する構成を有する。
【0051】
また、環境認識処理装置50は、RAMやROM等の記憶素子、あるいは、HDDやSSD等の記録媒体を含む図示しない記憶部を備えている。記憶部は、融合処理部51により実行されるコンピュータプログラムや、演算処理に用いられる種々のパラメータ、LiDAR1及び位置検出センサ13から取得された情報、融合処理部51による演算処理結果等のデータを記憶する。
【0052】
以下、グリッドマップ生成システム10のそれぞれのデータ処理部及び融合処理部の機能を簡単に説明した後に、それぞれのデータ処理部及び融合処理部の具体的な動作例を説明する。
【0053】
(第1のデータ処理部)
LiDAR1に備えられた第1のデータ処理部71は、LiDAR1により計測される測定点のデータに基づいて、検出対象の位置情報を含む第1の検出対象データを生成し、融合処理部51へ送信する。また、第1のデータ処理部71は、融合処理部51から送信される物体位置融合データに基づいて、LiDAR1を基点とするLiDAR1の測定範囲に存在する検出対象の位置を二次元平面に投影することにより検出対象に応じた空間の占有状態を示す第1の占有グリッドマップを生成し、融合処理部51へ送信する。
【0054】
(第2のデータ処理部)
撮像カメラ3F,3Rにそれぞれ備えられた第2のデータ処理部73F,73Rは、それぞれ撮像カメラ3により計測される計測データに基づいて、検出対象の位置情報を含む第2の検出対象データを生成し、融合処理部51へ送信する。また、第2のデータ処理部73F,73Rは、それぞれ融合処理部51から送信される物体位置融合データに基づいて、撮像カメラ3を基点とする撮像カメラ3の測定範囲に存在する検出対象の位置を二次元平面に投影することにより検出対象に応じた空間の占有状態を示す第2の占有グリッドマップを生成し、融合処理部51へ送信する。
【0055】
(第3のデータ処理部)
レーダセンサ5C,5L,5R,7C,7L,7Rにそれぞれ備えられた第3のデータ処理部75C,75L,75R,77C,77L,77Rは、それぞれレーダセンサ5,7により計測される測定点のデータに基づいて、検出対象の位置情報を含む第3の検出対象データを生成し、融合処理部51へ送信する。また、第3のデータ処理部75C,75L,75R,77C,77L,77Rは、それぞれ融合処理部51から送信される物体位置融合データに基づいて、レーダセンサ5,7を基点とするレーダセンサ5,7の測定範囲に存在する検出対象の位置を二次元平面に投影することにより検出対象に応じた空間の占有状態を示す第3の占有グリッドマップを生成し、融合処理部51へ送信する。
【0056】
(融合処理部)
融合処理部51は、LiDAR1、撮像カメラ3及びレーダセンサ5,7から送信される検出対象データを融合し、二つ以上のセンサにより同一の検出対象が検出されている場合、センサ優先度が最も高いセンサ以外のセンサによる当該同一の検出対象のデータを除外して物体位置融合データを生成し、LiDAR1、撮像カメラ3及びレーダセンサ5,7に対して送信する。また、融合処理部51は、LiDAR1、撮像カメラ3及びレーダセンサ5,7から送信される複数の占有グリッドマップを融合し、それぞれのグリッドに対して、複数の占有グリッドマップがそれぞれ示す占有状態のうち、あらかじめ設定された占有状態優先度が最も高い占有状態を適用して融合占有グリッドマップを生成し、車両制御装置40へ送信する。これにより、車両制御装置40は、受信した融合占有グリッドマップに基づいて車両前方の走行可能エリアを特定し、車両の自動運転制御を実行する。
【0057】
(2-3.動作例)
続いて、本実施形態に係るグリッドマップ生成システムにより実行されるグリッドマップ生成処理の具体的な動作例を説明する。なお、本実施形態の理解を容易にするために、以下、LiDAR1及びレーダセンサ5の二つのセンサの計測データに基づいて占有グリッドマップを生成する例を参照しながら説明する。
【0058】
図6は、グリッドマップ生成システム10による処理手順のフローチャートを示す。グリッドマップ生成システム10が、周囲の環境を検出するためのセンサとして、種類の異なるセンサを含むn個のセンサを備えているとする。なお、以下の説明における符号中の「i」は、センサの識別符号を示す(i=1,2,・・・,n)。また、識別符号iの値が大きいほど、センサ優先度が高順位であることを意味するものとする。
【0059】
(検出対象抽出処理)
まず、それぞれのセンサに備えられたデータ処理部は、当該センサの計測データSDiに基づいて検出対象objのデータ(検出対象データ)objs[i]を抽出する処理を実行する(ステップS1)。本実施形態では、センサの測定点のデータから直接グリッドマップを生成するのではなく、まず、検出対象物体の抽出が行われる。これは、種類の異なる複数のセンサによる測定点のデータを融合する処理が煩雑であり処理時間あるいは処理負荷が増える一方、それぞれのセンサの計測データから抽出した検出対象を融合することで処理時間及び処理負荷を軽減することができるからである。
【0060】
ここで、それぞれのセンサの独立性を確保するために、それぞれのセンサによる計測データを用いた処理は、それぞれのセンサのデータ処理部で処理される。車両に適用される物体認識処理にはリアルタイム性が求められることから、本実施形態では、マルチスレッドプロセスを適用し、それぞれのセンサのデータ処理部によるデータ処理が並列に実行される。したがって、ステップS1において、すべてのセンサでのデータ処理(スレッド処理Th_1-i)が完了するまで次のステップS2に移行しないように構成される。
【0061】
LiDAR及びレーダセンサによる検出対象の抽出は、測定点のデータに基づいて公知の手法により行われる。また、撮像カメラによる検出対象の抽出は、画像データに基づいて公知の手法により行われる。それぞれのセンサにより抽出される検出対象のデータは、検出対象の位置の情報を含む。例えばそれぞれの検出対象objの位置の情報は、以下の式(1)のように定義され得る。
【0062】
【0063】
p1:検出対象の第1の点の位置座標
p2:検出対象の第2の点の位置座標
h:検出対象の高さ
t:検出対象のデータを抽出した時刻
si:センサの識別情報
【0064】
それぞれのセンサのデータ処理部は、計測データから検出対象objを抽出した検出対象データobjs[i]を環境認識処理装置50に送信し、ステップS1の各スレッド処理Th_1-iを終了する。
【0065】
なお、検出対象となる物体の表面は直線あるいは平坦面とは限らないが、本実施形態に係るグリッドマップ生成システム10では、一つの物体の異なる部分により複数の検出対象objが抽出されてもよい。
【0066】
また、それぞれのセンサにより抽出される検出対象objの位置の情報は、同一の空間座標系上の位置の情報として示される。例えばそれぞれのセンサにより検出される測定点あるいは検出対象の位置は、センサの設置位置を原点とする三次元座標(センサ系三次元座標)として示され、当該センサ系三次元座標上の位置座標を共通の三次元座標(固定座標系)上の位置座標に変換する変換式を用いて、全てのセンサによる検出対象objの位置の情報を固定座標系上の位置の情報として表すことができる。なお、固定座標系とは、車両の位置や向きが変化しても、原点の位置及び三軸の向きが変化しない座標系をいう。
【0067】
(物体位置融合処理)
次いで、環境認識処理装置50の融合処理部51は、すべてのセンサから検出対象データobjs[i]を受信すると、それぞれのセンサで抽出された検出対象を融合する物体位置融合処理を実行する(ステップS2)。ここでは、融合処理部51は、二つ以上のセンサにより同一の検出対象objが検出されている場合、センサ優先度が最も高いセンサ以外のセンサによる当該同一の検出対象objのデータを除外して物体位置融合データを生成する(スレッド処理Th_2-1)。
【0068】
具体的に、融合処理部51は、センサ優先度の低いセンサによる検出対象データobjs[1]からセンサ優先度の高いセンサによる検出対象データobjs[n]まで、すべての検出対象objについて、センサ優先度がより高順位のセンサによる検出対象objが近くに存在するかを探索する。センサ優先度が相対的に低いセンサによる検出対象objの近くに、センサ優先度が相対的に高いセンサによる検出対象objが存在する場合、融合処理部51は、センサ優先度が相対的に低いセンサによる検出対象objを除外する。
【0069】
異なるセンサにより検出された検出対象objが互いに近くに存在するか否かは、例えば検出対象objの位置座標に基づいて互いの最短距離を算出し、最短距離が所定の閾値未満であるか否かにより判定することができる。あるいは、上記式(1)に示した検出対象objの位置の情報に基づいて、検出対象obj同士の類似度を算出し、類似度が所定の閾値以上であるか否かにより判定してもよい。なお、異なるセンサにより検出された検出対象objが互いに近くに存在するか否かを判定する方法は、上記の例に限定されない。
【0070】
図7は、LiDAR1及びレーダセンサ5を備えたシステムにおける物体位置融合処理を示す説明図である。
図7には、センサ優先度が相対的に低いレーダセンサ及びセンサ優先度が相対的に高いLiDARの測定範囲に物体101が存在する場合にレーダセンサにより検出された検出対象データobjs[1]と、LiDARにより検出された検出対象データobjs[2]とを融合する例が示されている。
【0071】
図7の上段に示したように、レーダセンサによる計測データSD1には、物体101により反射されて計測された測定点以外に、物体による反射点ではない測定点が含まれている。このレーダセンサによる計測データSD1から、二つの検出対象obj1-1,obj1-2を含む第1の検出対象データobjs[1]が抽出される。また、
図7の中段に示したように、LiDARによる計測データSD1には、物体101により反射されて計測された測定点が含まれている。このLiDARによる計測データSD2から、三つの検出対象obj2-1,obj2-2,obj2-3を含む第2の検出対象データobjs[2]が抽出される。なお、LiDARにより計測される反射点の密度は、レーダセンサにより計測される反射点の密度よりも高くなっている。
【0072】
図7の下段に示したように、第1の検出対象データobjs[1]と第2の検出対象データobjs[2]とを重ね合わせると、第1の検出対象データobjs[1]のうちの検出対象obj1-1と、第2の検出対象データobjs[2]のうちの検出対象obj2-2とが互いに近くに存在している。この場合、融合処理部51は、センサ優先度の低いレーダセンサによる第1の検出対象データobjs[1]のうちの検出対象obj1-1のデータを除外して、物体位置融合データfus_objsを生成する。
【0073】
例えば3つのセンサを備える場合、融合処理部51は、センサ優先度が最も低い第1のセンサによる第1の検出対象データobjs[1]と、センサ優先度が二番目に低い第2のセンサによる第2の検出対象データobjs[2]と、センサ優先度が最も高い第3のセンサによる第3の検出対象データobjs[3]とを融合する。この場合、第1のセンサによる第1の検出対象が、第2のセンサによる第2の検出対象又は第3のセンサによる第3の検出対象と同一の検出対象を含む場合、融合処理部51は、第1の検出対象データobjs[1]から当該第1の同一の検出対象のデータを除外する。また、第2のセンサによる第2の検出対象が、第3のセンサによる第3の検出対象と同一の検出対象を含む場合、融合処理部51は、第2の検出対象データobjs[2]から当該第2の同一の検出対象を除外する。融合処理部51は、センサの数だけこの処理を繰り返し、物体位置融合データfus_objsを生成する。
【0074】
融合処理部51は、生成した物体位置融合データfus_objsをそれぞれのセンサに送信し、ステップS2のスレッド処理Th_2-1を終了する。
【0075】
(占有グリッドマップ生成処理)
次いで、それぞれのセンサのデータ処理部は、融合処理部51により生成された物体位置融合データfus_objsに基づいて、それぞれのセンサの測定範囲に存在する検出対象objの位置を二次元平面に投影し、検出対象objに応じた占有グリッドマップgrds[i]を生成する占有グリッドマップ生成処理を実行する(ステップS3)。ステップS3においても、リアルタイム処理を達成するために、それぞれのセンサごとに、自身のセンサを基点とするセンサの測定範囲に存在する検出対象に応じてそれぞれのグリッドに対して占有状態を設定することによりそれぞれ占有グリッドマップgrds[i]を生成する(スレッド処理Th_3-i)。
【0076】
具体的に、それぞれのセンサのデータ処理部は、物体位置融合データfus_objsに含まれる三次元空間上の検出対象objを、車両の前後方向及び幅方向を含む二次元平面に投影する。また、それぞれのセンサのデータ処理部は、それぞれのセンサを基点として、物体位置融合データfus_objsに含まれる検出対象objのうち、センサ優先度が高順位のセンサによる検出対象objを優先し、検出対象objに応じてそれぞれのグリッドに対して占有状態を設定することによりそれぞれ占有グリッドマップを生成する。このように、抽出された検出対象objのデータに応じて占有グリッドマップを生成することにより、それぞれのセンサにより計測される膨大な数の測定点から直接占有グリッドマップを生成する場合に比べて、容易に占有グリッドマップを生成することができる。
【0077】
例えば3つのセンサを備える場合、第1のセンサのデータ処理部は、第1のセンサから見て、物体位置融合データfus_objsに含まれる、センサ優先度が最も低い第1のセンサによる第1の検出対象(同一の検出対象を除外後の検出対象)までの間のグリッドの占有状態を空き状態O_fsに設定する。また、第1のセンサのデータ処理部は、第1のセンサから見て、物体位置融合データfus_objsに含まれる、第1のセンサによる第1の検出対象が存在しない範囲(角度範囲)のグリッドの占有状態を空き状態O_fsに設定する。また、第1のセンサのデータ処理部は、第1のセンサから見て、物体位置融合データfus_objsに含まれる、第1のセンサによる第1の検出対象の奥側のグリッドの占有状態を遮蔽状態O_ocに設定する。さらに、第1のセンサのデータ処理部は、物体位置融合データfus_objsに含まれる、第1のセンサによる第1の検出対象に重なるグリッドの占有状態を物体検出状態O_obに設定する。
【0078】
次に、第1のセンサのデータ処理部は、第1のセンサから見て、物体位置融合データfus_objsに含まれる、センサ優先度が二番目に低い第2のセンサによる第2の検出対象(同一の検出対象を除外後の検出対象)までの間のグリッドの占有状態を空き状態O_fsに設定する。また、第1のセンサのデータ処理部は、第1のセンサから見て、物体位置融合データfus_objsに含まれる、第2のセンサによる第2の検出対象が存在しない範囲(角度範囲)のグリッドの占有状態を空き状態O_fsに設定する。また、第1のセンサのデータ処理部は、第1のセンサから見て、物体位置融合データfus_objsに含まれる、第2のセンサによる第2の検出対象の奥側のグリッドの占有状態を遮蔽状態O_ocに設定する。さらに、第1のセンサのデータ処理部は、物体位置融合データfus_objsに含まれる、第2のセンサによる第2の検出対象に重なるグリッドの占有状態を物体検出状態O_obに設定する。このとき、データ処理部は、第1のセンサによる第1の検出対象に応じて設定した占有状態を上書き設定する。これにより、第1のセンサによる第1の検出対象よりも第2のセンサによる第2の検出対象を優先して、占有状態が設定される。
【0079】
さらに、第1のセンサのデータ処理部は、第1のセンサから見て、物体位置融合データfus_objsに含まれる、センサ優先度が最も高い第3のセンサによる第3の検出対象までの間のグリッドの占有状態を空き状態O_fsに設定する。また、第1のセンサのデータ処理部は、第1のセンサから見て、物体位置融合データfus_objsに含まれる、第3のセンサによる第3の検出対象が存在しない範囲(角度範囲)のグリッドの占有状態を空き状態O_fsに設定する。また、第1のセンサのデータ処理部は、第1のセンサから見て、物体位置融合データfus_objsに含まれる、第3のセンサによる第3の検出対象の奥側のグリッドの占有状態を遮蔽状態O_ocに設定する。さらに、第1のセンサのデータ処理部は、物体位置融合データfus_objsに含まれる、第3のセンサによる第3の検出対象に重なるグリッドの占有状態を物体検出状態O_obに設定する。このとき、データ処理部は、第1のセンサによる第1の検出対象に応じて設定した占有状態及び第2のセンサによる第2の検出対象に応じて設定した占有状態を上書き設定する。これにより、第1のセンサによる第1の検出対象及び第2のセンサによる第2の検出対象よりも第3のセンサによる第3の検出対象を優先して、占有状態が設定された第1の占有グリッドマップgrds[1]が生成される。
【0080】
第2のセンサのデータ処理部及び第3のセンサのデータ処理部も同様に、センサ優先度が低いセンサによる検出対象に応じて設定される占有状態を、センサ優先度が高順位のセンサによる検出対象に応じて設定される占有状態により上書き設定し、第2のセンサあるいは第3のセンサを基点とする、それぞれのセンサの測定範囲の各グリッドの占有状態を、空き状態O_fs、遮蔽状態O_oc又は物体検出状態O_obのいずれかに設定した第2及び第3の占有グリッドマップgrds[2],grds[3]を生成する。
【0081】
図8~
図11は、LiDAR1及びレーダセンサ5を備えたシステムにおいて、
図7に示した物体位置融合データfus_objsに基づく占有グリッドマップ生成処理を示す説明図である。
図8及び
図9は、センサ優先度が相対的に低いレーダセンサ5のデータ処理部による第1の占有グリッドマップgrds[1]を生成する処理を示す説明図である。
図10及び
図11は、センサ優先度が相対的に高いLiDAR1のデータ処理部による第2の占有グリッドマップgrds[2]を生成する処理を示す説明図である。
【0082】
図8に示すように、まず、レーダセンサ5のデータ処理部は、レーダセンサ5から見て、センサ優先度が相対的に低いレーダセンサ5による第1の検出対象であって、物体位置融合処理により除外された検出対象以外の検出対象obj1-2までの間のグリッドの占有状態を空き状態O_fsに設定する。また、レーダセンサ5のデータ処理部は、レーダセンサ5から見て、検出対象obj1-2が存在しない範囲(角度範囲)のグリッドの占有状態を空き状態O_fsに設定する。また、レーダセンサ5のデータ処理部は、レーダセンサ5から見て、検出対象obj1-2の奥側のグリッドの占有状態を遮蔽状態O_ocに設定する。さらに、レーダセンサ5のデータ処理部は、検出対象obj1-2に重なるグリッドの占有状態を物体検出状態O_obに設定する。
【0083】
次に、
図9に示すように、レーダセンサ5のデータ処理部は、レーダセンサ5から見て、物体位置融合データfus_objsに含まれる、センサ優先度が相対的に高いLiDAR1による第2の検出対象obj2-1,obj2-2,obj2-3までの間のグリッドの占有状態を空き状態O_fsに設定する。また、レーダセンサ5のデータ処理部は、レーダセンサ5から見て、第2の検出対象obj2-1,obj2-2,obj2-3が存在しない範囲(角度範囲)のグリッドの占有状態を空き状態O_fsに設定する。また、レーダセンサ5のデータ処理部は、レーダセンサ5から見て、第2の検出対象obj2-1,obj2-2,obj2-3の奥側のグリッドの占有状態を遮蔽状態O_ocに設定する。さらに、レーダセンサ5のデータ処理部は、第2の検出対象obj2-1,obj2-2,obj2-3に重なるグリッドの占有状態を物体検出状態O_obに設定する。このとき、データ処理部は、レーダセンサ5による第1の検出対象obj1-2に応じて設定した占有状態を上書き設定する。これにより、レーダセンサ5による第1の検出対象obj1-2よりもLiDAR1による第2の検出対象obj2-1,obj2-2,obj2-3を優先してレーダセンサ5の測定範囲のグリッドに占有状態が設定され、レーダセンサ5により誤検出されていた検出対象obj1-2が削除された第1の占有グリッドマップgrds[1]が生成される。
【0084】
一方、
図10に示すように、まず、LiDAR1のデータ処理部は、LiDAR1から見て、センサ優先度が相対的に低いレーダセンサ5による第1の検出対象であって、物体位置融合処理により除外された検出対象以外の検出対象obj1-2までの間のグリッドの占有状態を空き状態O_fsに設定する。また、LiDAR1のデータ処理部は、LiDAR1から見て、検出対象obj1-2が存在しない範囲(角度範囲)のグリッドの占有状態を空き状態O_fsに設定する。また、LiDAR1のデータ処理部は、LiDAR1から見て、検出対象obj1-2の奥側のグリッドの占有状態を遮蔽状態O_ocに設定する。さらに、LiDAR1のデータ処理部は、検出対象obj1-2に重なるグリッドの占有状態を物体検出状態O_obに設定する。
【0085】
次に、
図11に示すように、LiDAR1のデータ処理部は、LiDAR1から見て、物体位置融合データfus_objsに含まれる、センサ優先度が相対的に高いLiDAR1による第2の検出対象obj2-1,obj2-2,obj2-3までの間のグリッドの占有状態を空き状態O_fsに設定する。また、LiDAR1のデータ処理部は、LiDAR1から見て、第2の検出対象obj2-1,obj2-2,obj2-3が存在しない範囲(角度範囲)のグリッドの占有状態を空き状態O_fsに設定する。また、LiDAR1のデータ処理部は、LiDAR1から見て、第2の検出対象obj2-1,obj2-2,obj2-3の奥側のグリッドの占有状態を遮蔽状態O_ocに設定する。さらに、LiDAR1のデータ処理部は、第2の検出対象obj2-1,obj2-2,obj2-3に重なるグリッドの占有状態を物体検出状態O_obに設定する。このとき、データ処理部は、レーダセンサ5による第1の検出対象obj1-2に応じて設定した占有状態を上書き設定する。これにより、レーダセンサ5による第1の検出対象obj1-2よりもLiDAR1による第2の検出対象obj2-1,obj2-2,obj2-3を優先してLiDAR1の測定範囲のグリッドに占有状態が設定され、レーダセンサ5により誤検出されていた検出対象obj1-2が削除された第2の占有グリッドマップgrds[1]が生成される。
【0086】
それぞれのセンサのデータ処理部は、生成した占有グリッドマップgrds[i]を環境認識処理装置50に送信し、ステップS3のスレッド処理Th_3-iを終了する。
【0087】
(融合占有グリッドマップ生成処理)
次いで、環境認識処理装置50の融合処理部51は、すべてのセンサから占有グリッドマップgrds[i]を受信すると、複数の占有グリッドマップgrd[i]を融合した融合占有グリッドマップfus_grdsを生成する(ステップS4)。融合処理部51は、融合占有グリッドマップfus_grdsの設定エリアのそれぞれのグリッドに対して、複数の占有グリッドマップgrds[i]がそれぞれ示す占有状態のうち、あらかじめ設定された占有状態優先度が最も高い占有状態を適用して融合占有グリッドマップfus_grdsを生成する(スレッド処理Th_4-1)。
【0088】
図12は、
図9及び
図11に示した第1の占有グリッドマップgrds[1]と第2の占有グリッドマップgrds[2]とを融合して生成される融合占有グリッドマップfus_grdsを示す説明図である。
【0089】
第1の占有グリッドマップgrds[1]と第2の占有グリッドマップgrds[2]とを重ね合わせると、二つの領域Ar1,Ar2に設定された占有状態が、第1の占有グリッドマップgrds[1]と第2の占有グリッドマップgrds[2]とで異なっている。具体的に、第1の占有グリッドマップgrds[1]において領域Ar1のグリッドの占有状態は遮蔽状態O_ocに設定され、第2の占有グリッドマップgrds[2]において領域Ar1のグリッドの占有状態は空き状態O_fsに設定されている。この場合、領域Ar1の占有状態は、占有状態優先度の高い空き状態O_fsに設定される。
【0090】
同様に、第1の占有グリッドマップgrds[1]において領域Ar2のグリッドの占有状態は空き状態O_fsに設定され、第2の占有グリッドマップgrds[2]において領域Ar2のグリッドの占有状態は遮蔽状態O_ocに設定されている。この場合、領域Ar2の占有状態は、占有状態優先度の高い空き状態O_fsに設定される。
【0091】
また、
図12には含まれないものの、センサ優先度の高いLiDAR1の測定範囲SA2外、かつ、センサ優先度の低いレーダセンサ5の測定範囲SA1内の領域であって、第1の占有グリッドマップgrds[1]において空き状態O_fsでも遮蔽状態O_ocでもない領域の占有状態は、占有状態が未知であることを示す未知状態O_ukに設定される。これは、レーダセンサ5の測定結果の信頼度が相対的に低いからである。
【0092】
なお、LiDAR1の測定範囲及びレーダセンサ5の測定範囲のいずれにも含まれない領域の占有状態は、他のセンサのデータ処理部により生成された占有グリッドマップの占有状態にしたがって設定される。例えばLiDAR1の測定範囲及びレーダセンサ5の測定範囲のいずれにも含まれない領域であって、他のセンサの測定範囲にも含まれない領域の占有状態は、未初期化状態O_uiに設定される。
【0093】
グリッドマップ生成システム10は、ステップS1~ステップS4の処理を各処理サイクルごとに繰り返し融合占有グリッドマップfus_grdsを生成する。そして、融合処理部51は、生成した融合占有グリッドマップfus_grdsのデータを車両制御装置40へ送信する。これにより、車両制御装置40では、取得した情報に基づいて車両の前方の走行可能範囲を判断しながら自動運転制御が実行される。
【0094】
このように、本実施形態に係るグリッドマップ生成システム10は、周囲の環境を検出するための複数のセンサによる計測データから、それぞれ検出対象物体を抽出し、それぞれのセンサによる検出対象データを融合した物体位置融合データに基づいてそれぞれのセンサの検出範囲のグリッドに対して占有状態を設定する。このため、センサの測定点のデータから直接占有グリッドマップを生成する場合に比べて、容易に占有グリッドマップを生成することができる。
【0095】
また、本実施形態に係るグリッドマップ生成システム10は、それぞれのセンサを基点として、センサ優先度が低いセンサによる検出対象データから同一の検出対象を除外した検出対象のうちセンサ優先度が高順位のセンサによる検出対象を優先し、検出対象に応じてそれぞれのグリッドに対して占有状態を設定することにより占有グリッドマップを生成する。したがって、センサ優先度が低いセンサによる誤検出の測定点のデータを除外して占有グリッドマップを生成することができ、占有グリッドマップの信頼性を高めることができる。
【0096】
また、本実施形態に係るグリッドマップ生成システム10は、センサに対してセンサ優先度を設定し、センサ優先度の高いセンサにより検出された検出対象に応じた占有状態を優先して占有グリッドマップを生成する。したがって、より信頼性の高い検出対象に応じた占有グリッドマップが生成される。また、本実施形態に係るグリッドマップ生成システム10は、それぞれの占有グリッドマップを融合する際に、占有状態優先度が最も高い占有状態の設定を適用してそれぞれのグリッドに占有状態を設定する。したがって、融合占有グリッドマップの信頼性を高めることができる。
【0097】
また、本実施形態にかかるグリッドマップ生成システム10は、マルチスレッド処理を採用し、それぞれのセンサごとに検出対象を抽出する処理、及び、占有グリッドマップを生成する処理を実行させる。これにより、移動体の物体検出技術において要求されるリアルタイム性を担保しつつ、信頼度の高い融合占有グリッドマップを生成することができる。
【0098】
グリッドマップ生成システムによる上記効果は、物体検出方法及び物体検出処理を実行させるコンピュータプログラムによっても同様の効果を奏することができる。
【0099】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが本発明はこのような例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、これらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0100】
1:LiDAR、3:撮像カメラ、5,7:レーダセンサ、10:グリッドマップ生成システム、50:環境認識処理装置、51:融合処理部、71:第1のデータ処理部、73:第2のデータ処理部、75,77:第3のデータ処理部、90:車両、91L,91R:縁石、93:建造物、SDi:計測データ、Th_1-i:スレッド処理、Th_2-1:スレッド処理、Th_3-i:スレッド処理、Th_4-1:スレッド処理、fus_grds:融合占有グリッドマップ、fus_objs:物体位置融合データ、grds[i]:占有グリッドマップ、obj:検出対象、objs[i]:検出対象データ