(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-15
(45)【発行日】2024-05-23
(54)【発明の名称】動力車両のドライバーアシストシステムまたは運転システムのアシスト機能または自動運転機能のための主要対象物選定
(51)【国際特許分類】
G08G 1/16 20060101AFI20240516BHJP
B60W 40/04 20060101ALI20240516BHJP
B60W 30/16 20200101ALI20240516BHJP
B60W 30/00 20060101ALI20240516BHJP
【FI】
G08G1/16 C
B60W40/04
B60W30/16
B60W30/00
【外国語出願】
(21)【出願番号】P 2020000651
(22)【出願日】2020-01-07
【審査請求日】2022-12-05
(31)【優先権主張番号】10 2019 200 828.3
(32)【優先日】2019-01-24
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】591245473
【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
(74)【代理人】
【識別番号】100118902
【氏名又は名称】山本 修
(74)【代理人】
【氏名又は名称】中西 基晴
(74)【代理人】
【識別番号】100196508
【氏名又は名称】松尾 淳一
(74)【代理人】
【氏名又は名称】鳥居 健一
(74)【代理人】
【識別番号】100161908
【氏名又は名称】藤木 依子
(74)【代理人】
【識別番号】100177839
【氏名又は名称】大場 玲児
(74)【代理人】
【識別番号】100172340
【氏名又は名称】高橋 始
(74)【代理人】
【識別番号】100182626
【氏名又は名称】八島 剛
(72)【発明者】
【氏名】シュライヒャー,マティアス
(72)【発明者】
【氏名】ミハルケ,トマス
(72)【発明者】
【氏名】シュテレット,ヤン
(72)【発明者】
【氏名】ドルゴフ,マキシム
(72)【発明者】
【氏名】バウマン,ウルリヒ
【審査官】武内 俊之
(56)【参考文献】
【文献】特開2007-058751(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
B60W 40/04
B60W 30/16
B60W 30/00
(57)【特許請求の範囲】
【請求項1】
動力車両のドライバーアシストシステムまたは運転システムのアシスト機
能または自動運転機能
(28,30,32)のための主要対象物選定方法において、
前記システムが、前記動力車両の周辺交通を検知するための少なくとも1つのセンサ(10)を含み、
前記システムが、前記
アシスト機能または自動運転機能(28,30,32)のために主要対象物を選定するためのルール型の第1の対象物選定ブランチ(20)と、第2の対象物選定ブランチとを含む複数の対象物選定ブランチ(20,22)を含み、前記第2の対象物選定ブランチが、前記
アシスト機能または自動運転機能(28,30,32)のために主要対象物を選定するための人工ニューラルネットワーク(22)を含み、
前記方法が、
前記少なくとも1つのセンサ(10)のセンサデータ(12)を集合させて1つまたは複数の対象物データセット(16)を形成させるステップと、
前
記対象物データセット(16)によって特徴づけられる交通状況の新規性を前記人工ニューラルネットワーク(22)のトレーニングデータに関し評価するステップと、
前記システムの前記
複数の対象物選定ブランチ(20,22)の間での切換えを行い、その際前記交通状況
の新規性が閾
値を越えているときに、
前記ルール型の
第1の対象物選定ブランチ(20)を使用するステップと、
を含んでいる方法。
【請求項2】
前記対象物データセット(16)を、前記
アシスト機能または自動運転機能(28,30,32)のための前記主要対象物を選定するための入力量としても使用するために、前記第2の対象物選定ブランチ内に前記人工ニューラルネットワーク(22)が設置されている、請求項1に記載の方法。
【請求項3】
前記第2の対象物選定ブランチ内において、前記人工ニューラルネットワーク(22)が、前記人工ニューラルネットワークの入力層(40)に接続している少なくとも1つの畳み込み層(42)を有している、請求項1または2に記載の方法。
【請求項4】
前記対象物データセット(16)によって特徴づけられる、前記人工ニューラルネットワーク(22)のトレーニングデータに関する交通状況
の新規性の前記評価が、前記対象物データセットを含んでいるデータタプルと、前記トレーニングデータから算出されるこの種のデータタプルの多次元確率分布(62)との距離を評価することを含んでいる、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前
記対象物データセット(16)によって特徴づけられる、前記人工ニューラルネットワーク(22)のトレーニングデータに関する交通状況の新規性
の評価は、前
記対象物データセット(16)によって特徴づけられる前記交通状況の新規性を、周辺シナリオを特徴づけている補助データ(34)と関連付けて評価することである、請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記
アシスト機能または自動運転機能(28,30,32)は、先行車両を追尾するための前記動力車両の縦方向速度制御のための機能であり、主要対象物選定として、追尾すべき先行車両を選定する、請求項1~5のいずれか一項に記載の方法。
【請求項7】
動力車両のためのドライバーアシストシステムまたは運転システムにおいて、前記動力車両の周辺交通を検知するための少なくとも1つのセンサ(10)と、前記システムのアシスト機
能または自動運転機能(28,30,32)のために主要対象物を選定するための対象物選定ユニット(18,20,22)とを備え、前記対象物選定ユニット(18,20,22)が、前記
アシスト機能または自動運転機能(28,30,32)のために主要対象物を選定するためのルール型の第1の対象物選定ブランチ(20)と、第2の対象物選定ブランチとを含む複数の対象物選定ブランチ
(20,22)を含み、前記第2の対象物選定ブランチが、前記
アシスト機能または自動運転機能(28,30,32)のために主要対象物を選定するための人工ニューラルネットワーク(22)を含み、前記システムが、請求項1~6のいずれか一項に記載の方法を実施するために設置されている、動力車両のためのドライバーアシストシステムまたは運転システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動力車両のドライバーアシストシステムまたは運転システムのアシスト機能または自動運転機能のための主要対象物選定方法であって、前記システムが、前記動力車両の周辺交通を検知するための少なくとも1つのセンサを含んでいる前記主要対象物選定方法に関するものである。さらに、本発明は動力車両のためのドライバーアシストシステムまたは運転システムに関する。
【背景技術】
【0002】
先行車両に安全な距離で追尾できるように車速を適合させる、一部自動化されたドライバーアシストシステムは知られている。この種の車速コントローラはACC(Adaptive Cruise Control)システムと呼ばれる。レーダーセンサによって検出された複数のレーダー対象物から、追尾すべき主要対象物、いわゆる目標対象物が特定される。目標対象物は通常は自身の走行車線上にあり、自車に先行して走行している。
【0003】
目標対象物の特定は、適当に設置されてドライバーアシストシステム内で実行されるアルゴリズムによりルール型式で行われる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の課題は、アシスト機能または自動運転機能のための目標対象物をより効率的に且つその際同時に確実に選定することを可能にする方法および対応するドライバーアシストシステムまたは運転システムを提示することである。
【課題を解決するための手段】
【0005】
この課題は、本発明によれば、独立請求項に記載した構成によって解決される。本発明の有利な更なる構成および実施形態は従属請求項に記載されている。
【0006】
自動運転機能は、たとえば、ドライバーアシストのための機能、或いは、一部自動化された運転または条件付きで自動化された(制限的に自動化された)運転または高度に自動化された運転または完全に自動化された運転のための機能を含むことができる。自動運転機能は、特に自律運転または一部自律運転のための機能を含むことができる。
【0007】
これに対応して、ドライバーアシストシステムまたは運転システムは、たとえばドライバーアシストのためのシステムまたは自動運転のためのシステムを含むことができ、特に一部自動化された運転または条件付きで自動化された(制限的に自動化された)運転または高度に自動化された運転または完全に自動化された運転のためのシステムを含むことができる。運転システムは、特に自動運転システムまたは自律運転システムであってよい。
【0008】
本方法は、通常の場合には第2の対象物選定ブランチを使用し、前記機能のために主要対象物を人工ニューラルネットワークによって選定することを可能にする。これは機械学習方法(ML, Machine Learning)の使用を可能にする。ニューラルネットワークの利用は、従来のルール型アプローチに比べて、対象物選定の性能を著しく向上させることができる。さらに、センサデータの集合によってニューラルネットワークのサイズを比較的小さくできるので有利である。これにより、ニューラルネットワークを適用して効率的な算出が可能であり、ニューラルネットワークを重み付けするための所要メモリ容量が少なくなる。集合対象物データセットによって特徴づけられる交通状況の新規性をニューラルネットワークのトレーニングデータに関連して評価することにより、本方法の信頼性を著しく向上させることができるので、特に有利である。適用事例における機械学習方法の性能は、処理すべきまたは分類すべきデータセットが学習方法のトレーニング中に利用されるデータセットに対し十分匹敵しうるかどうかに強く依存していることが確認された。極端な場合、ニューラルネットワークのみを使用すると、系統的に入力データセットの誤った評価が行われることがある。請求項1に従って交通状況の新規性を評価することにより、新規性が閾値を越えた場合、ルール型対象物選定ブランチを、アシスト機能または運転機能のための主要対象物を選定するために使用することに切換えることができる。これにより、ルール型対象物選定の利点を、人工ニューラルネットワークを用いた対象物選定の利点と組み合わせることができ、その結果特に信頼性があり、同時に可能限り効率的な方法を達成できる。特に、ニューラルネットワークの性能を、従来のルール型アプローチの明らかな頑強性と組み合わせて対象物選定を行うことが可能になる。
【0009】
好ましくは、複数の対象物データセットを、アシスト機能または運転機能のための主要対象物を選定するための入力量としても使用するために、第2の対象物選定ブランチ内に人工ニューラルネットワークが設置されている。それぞれの個々の対象物データセットを1つのニューラルネットワークによって評価し、評価の結果を用いて選定するのに比べて、複数の対象物データセットをニューラルネットワークの複数の入力量として同時に使用することは、複数の対象物データセットによって特徴づけられる複数の対象物間の関係を付加的な情報源として併用することを可能にさせる。すなわち、たとえば車道上の車線マークが欠如している場合または劣悪な場合でも、複数の対象物間の相対位置から、複数の対象物のうちのどの対象物が自身の走行車線(自己走行車線ともいう)上を走行し、したがってたとえばドライバーアシスト機能のための主要対象物として問題になるかを推定することができる。
【0010】
少なくとも1つのセンサは、たとえばカメラおよび/またはレーダーセンサおよび/またはライダーセンサを含んでいてよい。
【0011】
センサデータを集合させて形成される対象物データセットは、移動対象物および/または静止対象物に対応していてよい。静止対象物はたとえばガードレールを含んでいてよい。静止対象物の対象物データセットは、たとえば道路境界部に関する情報を含んでいてよい。すなわち、たとえば道路境界部を判定するために、ガードレールの形態の対象物を利用することができる。ルール型対象物選定ブランチは、たとえば、判定した道路境界部に対する、および、検出した動的対象物に対する相対的な自車の自己位置を利用して、および場合によっては、判定した道路境界部に対する自車の相対位置に基づいて、どの対象物が同じ走行車線上で自車の前を走行しているかを検出するために設置されていてよい。センサがカメラを含んでいれば、ビデオ画像で検出可能な路面標識を、主要対象物を選定するために利用(併用)することができる。
【0012】
対象物データセットの形態で集合させたセンサデータは、たとえば車両または歩行者のような対象物に対応していてよい。したがって、複数の対象物データセットは、対象物のリストに対応していてよい。各対象物は、対象物データセット内で、状態空間内の点によって記述することができ、その際点はたとえば以下の要素のうちの1つまたは複数を有していてよく、すなわちデカルト座標系における横方向位置、縦方向位置、速度、加速度、対象物の方位、対象物の長さまたは幅のような拡がり、或いは、上記の量の分散値を含んでいてよい。センサデータを集合させると、特にビデオ画像と比べて、または、同一の対象物に由来する多数のレーダー検出と比べて、生データ(センサデータ)よりも情報の総数を著しく減少させることができる。
【0013】
好ましくは、第2の対象物選定ブランチ内において、人工ニューラルネットワークは、人工ニューラルネットワークの入力層に接続している少なくとも1つの畳み込み層を有している。畳み込み層(重畳層とも呼ばれる)は、各ニューロンの活動を不連続な折り畳みを介して折り畳みマトリックスまたはフィルタカーネルに対応して算出するようにした層である。入力データ(対象物データセット)の折り畳みにより、周辺交通での対象物間の関連性を特に効率的に評価することが可能になる。したがって、人工ニューラルネットワークとは好ましくは折り畳み型人工ニューラルネットワークである。この場合、折り畳み層は、個々の対象物特性を際立たせることができ且つ組み合わせることができる一次元フィルタの数量Mに対応している。たとえば対象物の特性とは、自己走行車線の左側にあって、自己車線方向での加速(加速の)を行うような対象物特性である。フィルタ、すなわち畳み込み層の構造は、適当なトレーニングデータセットを備えたニューラルネットワークのトレーニングの際に自動的に生成される。
【0014】
好ましくは、集合対象物データセットによって特徴づけられる、人工ニューラルネットワークのトレーニングデータに関する交通状況の新規性の評価は、対象物データセットを含んでいるデータタプルと、トレーニングデータから算出されるこの種のデータタプルの多次元確率分布との距離を評価することを含んでいる。
【0015】
多次元確率分布をモデリングする場合、交通状況に対応する、各トレーニングデータセットのすべてのトレーニングデータに対し、1つまたは複数の集合対象物データセットに対応して、交通状況に対応する入力データタプルを、入力値から算出されるべき確率分布に対する入力値(入力データデュプル)として使用することができる。したがって、確率分布はトレーニングデータを表現している。
【0016】
この場合、各入力データデュプルに対しては、トレーニングデータの各交通状況に応じて、1つの確率分布を特定することができ、その際個々の確率分布は、新規性を評価するために累積されて、使用する確率分布になる。多次元確率分布を用いたトレーニングデータのモデリングには、1つの交通状況の新規性を広範囲に評価できるという利点があり、特に、たとえば1つの対象物データセットに対応するような1つの対象物のすべての属性に関して、および/または、交通状況の中にある複数の対象物の配列に関して広範囲に評価できる。
【0017】
1つの実施態様では、集合対象物データセットによって特徴づけられる、人工ニューラルネットワークのトレーニングデータに関する交通状況の新規性の評価は、集合対象物データセットによって特徴づけられる交通状況の新規性を、周辺シナリオを特徴づけている補助データと関連付けて評価することを含んでいる。周辺シナリオを特徴づけている補助データは、たとえば天候(たとえば日光/雨/雪/霧)に関する情報、トンネルの有無に関する情報(たとえばYes/No)、および/または、工事現場に関する情報(たとえばYes/No)を含んでいてよい。このような情報は、たとえば道路交通ネットワーク情報から取得でき(たとえばトンネル)、或いは、情報サービス(工事現場)または補助センサ装置(天候)を通じて入手できる。周辺シナリオを特徴づける補助データを考慮することにより、周辺シナリオを特徴づけているデータに基づけばトレーニングデータとの重大なずれが明らかであるような状況において、仮に主要対象物を選定するためにニューラルネットワークによって使用されるべき対象物データセットがトレーニングデータに好適に整合していても、ルール型対象物選定ブランチへの切換えを行うことが可能になる。これによって、補助データによって特徴づけられる、交通状況の潜在的異種性を考慮することができる。
【0018】
本発明の対象は、さらに、動力車両の周辺交通を検知するための少なくとも1つのセンサと、ドライバーアシストシステムのアシスト機能または自動運転機能のために主要対象物を選定するための対象物選定ユニットとを備えたドライバーアシストシステムまたは運転システムであり、この場合該システムにおいて、上述した方法の1つが実行される。
【0019】
次に、一実施形態を図面を用いて詳細に説明する。
【図面の簡単な説明】
【0020】
【
図1】2つの対象物選定ブランチを備えたセンサシステムの基本概要図である。
【
図2】1つの対象物選定ブランチの畳み込みニューラルネットワークの概要図である。
【
図3】ニューラルネットワークのトレーニングデータから確率分布を算出することを説明するための概要図である。
【発明を実施するための形態】
【0021】
図1に示したセンサシステムは、自車の周辺交通を検知するための1つまたは複数のセンサを含んでいる。センサ10はその例を図示したものである。センサから提供されるセンサデータ12は、予処理ユニット14によって予処理される。予処理は、センサデータ12を集合させて1つまたは複数の対象物データセット16を形成させることを含んでおり、その際1つの対象物データセット16を、検出された1つの対象物に対応させることができる。対象物データセットXはたとえばベクトルまたはリストであってよく、縦方向位置xと、横方向位置yと、方位φ
zと、縦方向速度v
xと、横方向速度v
yと、縦方向加速度a
xと、横方向加速度a
yとを含んでいる。
【0022】
X=(x,y,φz,vx,vy,ax,ay)
【0023】
対象物データセットXは、対応する状態空間の1つの要素である。
【0024】
集合対象物データセット16は、以下でさらに説明する新規性評価器18に与えられる。新規性が閾値を越えているかどうかに応じて、処理をルール型の第1の処理ブランチ20か、或いは、畳み込みニューラルネットワーク(CNN, Convolutional Neural Network)22を含んでいる第2の処理ブランチのいずれかへ分岐させる。
【0025】
交通状況の新規性の評価は、人工ニューラルネットワーク22のトレーニングデータに関して行う。
【0026】
第1の対象物選定ブランチ20を使用する場合、この第1の対象物選定ブランチは、ACC速度制御器の形態のドライブアシスト機能のために、目標対象物としての主要対象物24を選定する。ドライブアシスト機能は、動力車両の自動運転システムの自動運転機能の一部であってもよい。
【0027】
ニューラルネットワーク22を備えた第2の対象物選定ブランチを使用する場合には、ニューラルネットワーク22は、ドライブアシスト機能のために、目標対象物としての主要対象物26を選定する。
【0028】
それぞれ選定された主要対象物24,26は、状況分析ユニット28と、トラクトリックスプランニングユニット30と、縦方向速度の固有制御部32とを含むドライブアシスト機能へ受け渡される。
【0029】
予処理部14の出力から印加されるデータがニューラルネットワーク22のトレーニングの範囲内で利用されるデータとかなり異なっていることを新規性評価器18が検知した場合には、ルール型の第1の対象物選定ブランチ20へ分岐させる。他方、新規性評価器18に印加されるデータとトレーニングデータとの間に十分な類似性がある場合には、ニューラルネットワーク22を備えた第2の対象物選定ブランチを使用する。使用されないそれぞれの対象物選定ブランチは、たとえば一時的にオフにする。
【0030】
新規性評価器18には、さらに、たとえば天候、トンネルの有無、または工事現場の有無に関する情報のような周辺シナリオを特徴づける補助データ34を供給することができる。この補助データは、新規性を評価する際に一緒に考慮することができる。
【0031】
図2は、畳み込み人工ニューラルネットワーク22の構成に対する一例の概要図である。ニューラルネットワーク22は、入力層40と、これに接続している第1の畳み込み処理層42と、第2の畳み込み処理層44と、他の処理層46,48と、出力層50とを含んでいる。これら層の上記数量は基本構成を説明するために用いたにすぎず、実際には変更することができる。
【0032】
入力層40は、円によって特徴づけた各入力部位に対象物データセット16を有している。第1および第2の層42,44(重畳フィルタと呼ぶこともできる)により、対象物間の関係を考慮することができる。入力層40において破線の四角形で特徴づけたデータセットは、たとえば層42の、層42において破線で示したセグメントの中に入り込む。
【0033】
円によって特徴づけた、出力層50の出力部位は、それぞれ、関連付けられた1つの入力部位での対象物が目標対象物であるという分類、または、目標対象物が認められないという分類に相当している。
【0034】
ニューラルネットワーク22は、入力部位に印加される対象物データセットの取り違えに対し順列可変である。
【0035】
図3は、ニューラルネットワーク22のトレーニングデータに基づく確率分布の算出をきわめて簡略に図示したものである。円によって特徴づけた入力値xのそれぞれはトレーニングデータの交通状況に対応しており、特に交通状況の中にある複数の対象物を特徴づけるデータタプルであってよい。
【0036】
入力値のそれぞれに対しては、たとえば1つのガウス分布60が想定される。複数のガウス分布60を、加算されて正規化された1つの確率密度62に統合させる。
【0037】
いま、システムの適用事例において1つのデータタプルをある交通状況の中で集合させた複数の対象物データセットから統合させる場合、新規性評価器18は確率密度62に対するデータタプルの距離dを算出することができ、この距離は、トレーニングデータに対する交通状況の新規性を表す基準である。このようにして算出した新規性が閾値sを越えていれば、上述したように第1の対象物選定ブランチ20への分岐を行う。もしそうでなければ、ニューラルネットワーク22を対象物選定のために使用する。
【0038】
距離dに対する距離基準としては、たとえば測定値とガウス分布との間の距離の算出に対応するマハラノビス距離を使用することができ、または、2つの分布間の距離の算出に対応するカルバック・ライブラー情報量を使用することができる。データタプルから1つの分布を得るため、データタプルをガウス分布化された測定値と見なすことができる。個々の測定サイクルごとに得られたデータタプルの真正な分布を求めるため、たとえば数秒の移動タイムウィンドウを併せて考慮してもよい。
【0039】
たとえばそれぞれのデータタプルがガウス混合分布化されていることを想定して、トレーニングデータから、確率密度62を算出するために適した確率分布を求めることができ、そのためにいわゆるカーネル密度推定(Kernel Density Estimation (KDE))、ディリクレプロセスガウスミクスチャモデル(Dirichlet Process Gaussian Mixture Model (DGPMM))、またはEM法(Exception Maximization (EM))を用いる。したがって、トレーニングデータに対応するすべてのデータタプルを使用して、1つの多次元分布が生成される。
【0040】
ここで説明している方法には、特に、リアルに発生しているデータとトレーニングデータとのずれが増大していく際に、交通状況の新規性を適時検知することにより、ニューラルネットワークの予知不能な不適正挙動を生じさせるような、ニューラルネットワークの汎化能力のオーバーフローを回避できるというリスク対策が可能という利点がある。
【0041】
ニューラルネットワーク22の第1の層として畳み込みネットワーク層を使用することで、たとえば修正分類率の改善に見られるようにネットワークの性能がかなり改善される。修正分類率とは、一般に、
【0042】
修正分類率=(TP+TN)/(TP+TN+FP+FN)
【0043】
として算出でき、ここでTP(True Positive)は真陽性分類の数量、TN(True Negative)は真陰性分類の数量、FP(False Positive)は偽陽性分類の数量、FN(False Negative)は偽陰性分類の数量である。
【0044】
さらに、ニューラルネットワークを使用すると、適当なトレーニングデータによって交通状況の特殊な事例も学習できるという利点が得られる。特殊な事例とは、たとえば、(1)ACCは、自車前方の車両の割り込みに対し、割り込み車両が自車の走行車線内に完全に入ってしまわないうちに、かなり早い時点で反応しなければならないという事例、(2)ACCは、自車の車線変更の際、自車が新たな車線内に完全に入ってしまわないうちに、早い時期に自車の以前の走行車線上で選定した目標対象物を排斥しなければ(すなわち解除しなければ)、著しい待ち時間なしに自車の加速を許容しないという事例、(3)自車前方の目標対象物が車線を離れはじめると、早い時期に自車走行車線内の以前の目標対象物の前方にある新たな目標対象物に切換えねばならないという事例である。
【符号の説明】
【0045】
10 センサ
12 センサデータ
16 集合対象物データセット
18 新規性評価器(対象物選定ユニット)
20 ルール型対象物選定ブランチ(対象物選定ユニット)
22 ニューラルネットワーク(対象物選定ユニット)
28 状況分析ユニット(アシスト機能)
30 トラクトリックスプランニングユニット(アシスト機能)
32 縦方向速度の固有制御部(アシスト機能)
34 補助データ
40 入力層
42 畳み込み層
62 確率分布