特許 7617719 改善された周辺検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-09

(45)【発行日】2025-01-20

(54)【発明の名称】改善された周辺検出方法

(51)【国際特許分類】

   B60Q 1/00 20060101AFI20250110BHJP

【ＦＩ】

B60Q1/00 C

【請求項の数】 5

【外国語出願】

(21)【出願番号】P 2020148739

(22)【出願日】2020-09-04

(65)【公開番号】P2021049972

(43)【公開日】2021-04-01

【審査請求日】2023-07-11

(31)【優先権主張番号】10 2019 214 319.9

(32)【優先日】2019-09-20

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(72)【発明者】

【氏名】マルティン・イウディカ

(72)【発明者】

【氏名】セバスチャン・レーサンジェ

(72)【発明者】

【氏名】アフマド・アブデルダイム

(72)【発明者】

【氏名】フランク・エドリング

【審査官】野木 新治

(56)【参考文献】

【文献】特開２００６－２９０２７３（ＪＰ，Ａ）

【文献】国際公開第２０１９／１１１４６４（ＷＯ，Ａ１）

【文献】特開２０００－３１８５１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｑ １／００

(57)【特許請求の範囲】

【請求項1】

車両の少なくとも１つの第１周辺検出センサ（１）を用いる改善された周辺検出方法において、前記少なくとも１つの第１周辺検出センサ（１）は光学センサであって、
－前記少なくとも１つの第１周辺検出センサ（１）を用いて前記車両の周辺を検出するステップ（Ｓ１）と、
－前記周辺検出センサ（１）のセンサデータに基づいて第１周辺モデルを作成するステップ（Ｓ２）と、
－画像評価装置（３）を用いて光学センサデータを評価することにより、前記周辺モデルにおける低い適合度を有する領域、即ち検出困難である領域を算出するステップ（Ｓ３）と、
－選択された措置を実施することにより、低い適合度を有する前記領域の検出可能性を向上させるステップ（Ｓ４）と、
－少なくとも１つの光学センサ（１）を用いて前記車両の前記周辺を再度検出するステップ（Ｓ５）と、
－前記措置実施後の前記光学センサ（１）の前記センサデータを、前記措置実施前の前記光学センサ（１）の前記センサデータと比較するステップ（Ｓ６）と、
－第２周辺モデルを作成するために、前記措置後の前記センサデータを、前記少なくとも１つの第１周辺検出センサ（１）の既存のセンサデータと融合させるステップ（Ｓ７）と、を備える、当該方法において、
前記措置は、低い適合度を有する前記領域を照射することを含み、
低い適合度を有する前記領域を照射するために、前記車両の少なくとも１つの照射装置（６）が制御され、
前記少なくとも１つの照射装置（６）は、前照灯、霧灯、赤外光源および／または追加の前記車両に搭載される光源を含み、そして
前記追加の光源は、光線を選択可能な周波数で放射するように構成される光源であって、検出された前記周辺において、特定の前記周波数により特定される、既知の反射特性を有する物体がハイライトされる、
ことを特徴とする方法。

【請求項2】

前記センサデータを比較するステップ後、低い適合度を有するさらなる領域が存在するか否かを確認する、請求項１に記載の方法。

【請求項3】

低い適合度を有するさらなる領域が存在する場合、選択された前記措置が繰り返されるかまたは修正して適用される、請求項２に記載の方法。

【請求項4】

前記光学センサデータの適合度を評価する際、コントラスト、検出領域の照度、捕捉された光線の波長、検出領域に関する様々な検出された波長の分布および／または画像領域における最小グレースケール閾値の超過が分析される、請求項１に記載の方法。

【請求項5】

車両において用いられるシステム（７）において、前記システム（７）は請求項１～４に記載の方法を実施するように構成され、車両の周辺を検出する少なくとも１つの第１周辺検出センサ（１）であって、前記第１周辺検出センサ（１）は光学センサである、少なくとも１つの第１周辺検出センサ（１）と、光学センサデータを評価して比較する画像評価装置（３）と、少なくとも１つの照射装置（６）を制御する少なくとも１つのアクチュエータ（５）と、周辺モデルを作成しセンサデータを融合する演算ユニット（４）と、を備えるシステム（７）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、改善された周辺検出方法に関する。

【背景技術】

【0002】

先行技術において、様々なセンサデータと地図データに基づいて周辺モデルを算出するシステムが知られている。また、この周辺モデルを、外部ソース（他車両、インフラストラクチャオブジェクト、車車間・路車間通信）を用いて妥当性確認するか、または空間的に狭く限定された（静的）領域において拡張するシステムの概念が存在する。

【0003】

すでに現在の技術水準において、ターゲット車両（自車）により検出される周辺の特性の妥当性を確認すること、またはその精確性を拡張することが可能である。現在の周辺状況に基づくセンサの検出領域にギャップまたは不確かさが含まれる場合、現在の技術水準においては、自車が独自にギャップまたは不確かさを低減させることは不可能である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、本発明の課題は、改善された周辺検出方法を提供し、それにより得られる作成された周辺モデルの適合度を高めることである。

【課題を解決するための手段】

【0005】

この課題は独立請求項１および９の主題により解決される。さらなる有利な構成および実施態様が従属請求項の主題である。

【0006】

周辺モデルは、車両移動（軌道）を計画可能な（高度）自動運転車両用の枠組みを示す。まず、本発明に基づく最初の検討により、周辺モデルが現在の状況（十分に照射されていない車道領域、確かな軌道計画に必要とされるよりも小さいセンサ範囲による予測範囲）に起因して不十分さを含む場合、（高度）自動運転車両は減少した数の可能な車両軌道しか演算できず、現実の車両周辺から理想的つまり十分に快適または確かな軌道を提供することができない確率が上がることが確認された。したがって、公知の先行技術と比較して、周辺モデルが現実の車両周辺とより一致し、これにより十分に快適または十分に確かな軌道を発見する確率を大きく向上させるように、車両周辺のカバーと適合性を拡張する可能性を生み出すことが目的であった。

【0007】

したがって、本発明によると、車両の少なくとも１つの第１周辺検出センサを用いる改善された周辺検出方法において、少なくとも１つの第１周辺検出センサは光学センサであって、
－少なくとも１つの第１周辺検出センサを用いて車両の周辺を検出するステップと、
－第１周辺検出センサのセンサデータに基づいて第１周辺モデルを作成するステップと、
－画像評価装置を用いて光学センサデータを評価することにより、周辺モデルにおける低い適合度を有する領域を算出するステップと、
－選択された措置を実施することにより、低い適合度を有する領域の検出可能性を向上させるステップと、
－少なくとも１つの光学センサを用いて車両の周辺を再度検出するステップと、
－措置実施後の光学センサのセンサデータを、措置実施前の光学センサのセンサデータと比較するステップと、
－第２周辺モデルを作成するために、措置後のセンサデータを、少なくとも１つの第１周辺検出センサ（１）の既存のセンサデータと融合させるステップと、を備える方法が提案される。

【0008】

低い適合度を有する領域を算出することが有利であるのは、これらの領域が周辺モデルにおける不確かさと不精確さを引き起こし、このことは軌道計画にとって不利であるからである。これらの領域の算出に基づいて、諸措置または少なくとも１つの措置を実施することができ、これによりこれらの領域の検出可能性が向上する。このことは、不確かさまたは不精確さを低減させ、したがって周辺モデルの適合度を高めるのに有利である。

【0009】

低い適合度を有する領域の検出可能性を向上させる際、特に光学センサによる検出可能性が向上する。

【0010】

融合の際、措置後に光学センサにより検出される周辺モデルの物体が、存在する物体と融合される。また、２つのセンサからの周辺モデルを融合させることも考えられる。この場合、第２センサとしてレーダセンサ、ライダセンサまたは超音波センサが用いられてよい。第２センサを用いる際、例えば、措置後のセンサデータは第２周辺検出センサのセンサデータと融合されてよく、これにより、より精確な周辺モデルを生成することができ、したがって周辺モデルの適合度をさらに改善することができる。

【0011】

特に好ましい実施態様において、措置は、低い適合度を有する領域を照射することを含む。照射の概念として、本発明に照らすと、可視帯域において光線を用いて領域を照射することだけではなく、不可視光線を用いて照射すること、または変化する波長を用いて照射することも理解される。特に好ましくは、まず、不可視光線を用いた照射が実施される。これが有利であるのは、このようにすることで運転者が照射に刺激されず、または気を取られないからである。

【0012】

低い適合度を有する領域を照射するために、特に好ましくは、車両の少なくとも１つの照射装置が制御される。

【0013】

さらなる好ましい実施態様において、少なくとも１つの照射装置は、前照灯、ハイビーム、霧灯、マトリクスライト、レーザライト、赤外光源および／または追加の前記車両に搭載される光源を含む。この場合、追加の光源は、例えば光線を可視帯域外に放射することができる。一般に、上記光源のすべては、これらの光線を検出領域に少なくとも１つの車両に設けられる光学センサが放射するように車両に設けられる。

【0014】

ヘッドライト（前照灯）および霧灯を目標を定めて点灯または増光することにより、検出領域の目標部分は前方に向けられた光学センサにより照射される。自然の明るさでのコントラスト比が不十分な情報コンテンツしか含まない状況下では、このようにして周辺特性や物体との距離に関する追加情報が得られる。

【0015】

現在の技術水準では、車両周辺を能動的に必要に応じて照射する、車両に固定して搭載される光源を用いることが考慮されていない。搭載される光源を能動的に制御すること、およびこれと接続されるアクチュエータにより、光学センサの検出領域における照射不足領域について目標を定めた照射が、追加のハードウェア費用をかけることなく行われる。障害物は早期に検出され、以前は良好に照射されていなかった領域を軌道計画用に使用することができ、すでに搭載されている光源を用いることで、現行のシステムも上記機能に関して拡張することができる。

【0016】

さらなる好ましい実施態様において、追加の光源は、光線を選択可能な周波数で放射するように構成される光源であって、検出された周辺において、特定の周波数により特定される、既知の反射特性を有する物体がハイライトされる。

【0017】

能動的に周辺を照射する際に様々な周波数または波長を用いることで、車道タイプと車道特性を推論することも可能である。このために、所定のインターバルで特定の波長、例えば赤外光線または紫外光線をインパルス照射し、これらの波長に適切なフィルタを有するイメージセンサを用いて波長毎に特有の画像をそれぞれ検出する。異なる波長によるその後の画像融合における交互のパルス制御またはインパルス照射により、追加の画像情報またはコントラスト情報を得ることができ、これにより、車道境界線および車線境界線がより明確に画定可能であり、センサが可視光線の帯域において例えば対向車両により検出不可能である場合には情報をセンサ画像から抽出することもできる。

【0018】

別の周波数もしくは波長の光線、または標準的な投光装置の光線または自然光におけるのとは別の波長成分の光線の場合、コントラスト差は異なって現れる。例えば、「薄灰色の車道が薄灰色のコンクリート柵により分けられている」場面では、自然の明るさではコントラストはほぼないが、赤外光線照射下では強いコントラストを示す。

【0019】

能動的な照射、または搭載される照射手段のパルス／インパルス制御により、突然の車道変化、例えば道路にあいた穴、工事により掘られた穴、摩擦係数の飛躍、車道境界線、車道欠損、港湾などを反射特性に基づいてより良好に検出でき、周辺モデルにおいて考慮することができる。

【0020】

走行区画線に使用される顔料とその反射特性を考慮し、そのために顔料に適合させた波長の照射手段を車両に搭載することも考えられる。これにより、パルス制御またはインパルス照射により、車線および車道区画線を光学センサ用に特にハイライトし、様々なタイプの標示（通常のもの、白色標示、黄色の工事現場標示および一般的な様々な色彩）を認識することが可能になる。さらに、対応する照射手段を有する（高度）自動運転車両のカメラだけには可視である反射特性を有する、自動運転車両用の明確な車道区画線を定義してもよい。これにより、特に（高度）自動運転車両用に個々の道路または車線を準備しておくことができ、人間の運転者がこれらの変更の標示または追加の標示に合わせて調整する必要がない。このことは、例えば黄色の標示には黄色光用の対応する波長または周波数が選択されるため、特別な顔料がなくても可能である。このようにして、黄色線はカメラ画像においてより明るく現れる。

【0021】

さらに、好ましくは、センサデータを比較するステップ後、低い適合度を有するさらなる領域が存在するか否かを確認する。これにより、措置が十分であったか、そして以前は検出困難であった低い適合度を有する領域がいまではより高い適合度を有するようになっているか否かが確認されることになる。低い適合度を有するさらなる領域として、新しい領域または以前すでに検出していた低い適合度を有する領域のいずれかと理解してよい。

【0022】

特に好ましくは、低い適合度を有するさらなる領域が存在する場合、選択された前記措置が繰り返される。低い適合度を有するさらなる領域が存在する場合、または同じ領域がいまだに低い適合度を有する場合には、他の措置を導入することも考えられる。例えば、これらの領域に関するデータをインフラストラクチャまたは他の交通参加者から取り込んでよい。

【0023】

特に好ましくは、光学センサデータの適合度を評価する際、コントラスト、検出領域の照度、捕捉された光線の波長および／または検出領域に関する様々な検出された波長の分布が分析される。この分析が有利であるのは、このようにして、低い適合度を有する領域の検出可能性を向上させるためにはどの照射方法または一般的にどの手段が適しているかを決定できるからである。

【0024】

さらに、本発明によると、車両において用いられるシステムにおいて、システムは本発明による方法を実施するように構成され、車両の周辺を検出する少なくとも１つの第１および第２周辺検出センサであって、第１周辺検出センサは光学センサであって、第２周辺検出センサはレーダセンサ、ライダセンサまたは超音波センサである、少なくとも１つの第１および第２周辺検出センサと、光学センサデータを評価して比較する画像評価装置と、少なくとも１つの照射装置を制御する少なくとも１つのアクチュエータと、周辺モデルを作成しセンサデータを融合する演算ユニットと、を備えるシステムが提案される。また、演算ユニットは、目標を定めて対応する領域を照射するために、アクチュエータを用いていかに照射装置を制御するかに関するパラメータを設定する。

【0025】

さらなる有利な実施形態は図面により見出される。

【図面の簡単な説明】

【0026】

【図1】図１は、本発明の１つの実施形態の概略フロー図を示す。

【図2】図２は、本発明の１つの実施形態に係るシステムの概略図を示す。

【発明を実施するための形態】

【0027】

図１は、本発明の１つの実施形態の概略フロー図を示す。フロー図は、車両の少なくとも１つの第１周辺検出センサを用いる改善された周辺検出方法において、少なくとも１つの第１周辺検出センサは光学センサである方法を示す。ステップＳ１において、少なくとも１つの第１周辺検出センサを用いて車両の周辺が検出される。ステップＳ２において、少なくとも１つの第１周辺検出センサのセンサデータに基づいて第１周辺モデルが作成される。次のステップＳ３において、画像評価装置を用いて光学センサデータを評価することにより、周辺モデルにおける低い適合度を有する領域が算出される。ステップＳ４において、選択された措置を実施することにより、低い適合度を有する領域の検出可能性を向上させる。次のステップＳ５において、少なくとも光学センサを用いて車両の周辺が再度検出される。その後ステップＳ６において、措置実施後の光学センサのセンサデータは、措置実施前の光学センサのセンサデータと比較される。最後にステップＳ７において、第２周辺モデルを作成するために、措置後のセンサデータは、少なくとも１つの第１周辺検出センサの既存のセンサデータと融合される。

【0028】

図２は、本発明の１つの実施形態に係るシステム７の概略図を示す。ここで、システム７は車両において用いられるように設けられ、システムは本発明による方法を実施するように構成され、車両の周辺を検出する少なくとも１つの第１周辺検出センサ１および第２周辺検出センサであって、第１周辺検出センサ１は光学センサであって、第２周辺検出センサ２はレーダセンサ、ライダセンサまたは超音波センサである、少なくとも１つの第１周辺検出センサ１および第２周辺検出センサと、光学センサデータを評価して比較する画像評価装置３と、少なくとも１つの照射装置６を制御する少なくとも１つのアクチュエータ５と、周辺モデルを作成しセンサデータを融合する演算ユニット４と、を備える。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下を含む。
１．
車両の少なくとも１つの第１周辺検出センサ（１）を用いる改善された周辺検出方法において、前記少なくとも１つの第１周辺検出センサ（１）は光学センサであって、
－前記少なくとも１つの第１周辺検出センサ（１）を用いて前記車両の周辺を検出するステップ（Ｓ１）と、
－前記周辺検出センサ（１）のセンサデータに基づいて第１周辺モデルを作成するステップ（Ｓ２）と、
－画像評価装置（３）を用いて光学センサデータを評価することにより、前記周辺モデルにおける低い適合度を有する領域を算出するステップ（Ｓ３）と、
－選択された措置を実施することにより、低い適合度を有する前記領域の検出可能性を向上させるステップ（Ｓ４）と、
－少なくとも１つの光学センサ（１）を用いて前記車両の前記周辺を再度検出するステップ（Ｓ５）と、
－前記措置実施後の前記光学センサ（１）の前記センサデータを、前記措置実施前の前記光学センサ（１）の前記センサデータと比較するステップ（Ｓ６）と、
－第２周辺モデルを作成するために、前記措置後の前記センサデータを、前記少なくとも１つの第１周辺検出センサ（１）の既存のセンサデータと融合させるステップ（Ｓ７）と、を備える方法。
２．
前記措置は、低い適合度を有する前記領域を照射することを含む、上記１に記載の方法。
３．
低い適合度を有する前記領域を照射するために、前記車両の少なくとも１つの照射装置（６）が制御される、上記２に記載の方法。
４．
前記少なくとも１つの照射装置（６）は、前照灯、霧灯、赤外光源および／または追加の前記車両に搭載される光源を含む、上記３に記載の方法。
５．
前記追加の光源は、光線を選択可能な周波数で放射するように構成される光源であって、検出された前記周辺において、特定の前記周波数により特定される、既知の反射特性を有する物体がハイライトされる、上記４に記載の方法。
６．
前記センサデータを比較するステップ後、低い適合度を有するさらなる領域が存在するか否かを確認する、上記１に記載の方法。
７．
低い適合度を有するさらなる領域が存在する場合、選択された前記措置が繰り返されるかまたは修正して適用される、上記６に記載の方法。
８．
前記光学センサデータの適合度を評価する際、コントラスト、検出領域の照度、捕捉された光線の波長、検出領域に関する様々な検出された波長の分布および／または画像領域における最小グレースケール閾値の超過が分析される、上記１に記載の方法。
９．
車両において用いられるシステム（７）において、前記システム（７）は上記１～８に記載の方法を実施するように構成され、車両の周辺を検出する少なくとも１つの第１周辺検出センサ（１）であって、前記第１周辺検出センサ（１）は光学センサである、少なくとも１つの第１周辺検出センサ（１）と、光学センサデータを評価して比較する画像評価装置（３）と、少なくとも１つの照射装置（６）を制御する少なくとも１つのアクチュエータ（５）と、周辺モデルを作成しセンサデータを融合する演算ユニット（４）と、を備えるシステム（７）。

【符号の説明】

【0029】

１ 第１周辺検出センサ
２ 第２周辺検出センサ
３ 画像評価ユニット
４ 演算ユニット
５ アクチュエータ
６ 照射装置
７ システム
Ｓ１～Ｓ７ 方法ステップ

【図1】

【図2】