特開 2024-18956 周辺環境モデルを生成する方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024018956

(43)【公開日】2024-02-08

(54)【発明の名称】周辺環境モデルを生成する方法およびシステム

(51)【国際特許分類】

   G06T 3/4053 20240101AFI20240201BHJP

   G06T 1/40 20060101ALI20240201BHJP

   B60W 40/02 20060101ALI20240201BHJP

【ＦＩ】

G06T3/40 730

G06T1/40

B60W40/02

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023084646

(22)【出願日】2023-05-23

(31)【優先権主張番号】10 2022 207 741.5

(32)【優先日】2022-07-27

(33)【優先権主張国・地域又は機関】DE

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】マティアス・シュライアー

【テーマコード（参考）】

3D241

5B057

【Ｆターム（参考）】

3D241BA00

3D241DC25Z

3D241DC31Z

3D241DC33Z

3D241DC35Z

3D241DC39Z

5B057AA16

5B057CA08

5B057CB08

5B057CB13

5B057CD05

5B057DB03

5B057DB09

5B057DC40

(57)【要約】      （修正有）

【課題】周辺環境モデルを低コストで供給する方法およびシステムを提供する。
【解決手段】自車両（ＦＥ）において周辺環境モデルを生成する方法は、自車両（ＦＥ）の周辺環境を、少なくとも１つの周辺環境検出センサを用いて記録するステップと、少なくとも１つの周辺環境検出センサの記録に基づいて第１周辺環境モデル（Ｕ１）を生成するステップ（Ｓ２）と、センサデータに基づいて生成される周辺環境モデル（ＵＦ）を用いて訓練されたニューラルネットワークにおいて第１周辺環境モデル（Ｕ１）を処理するステップ（Ｓ３）と、前記第１周辺環境モデル（Ｕ１）の処理に基づいて第２周辺環境モデル（Ｕ２）を生成するステップ（Ｓ４）とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

自車両（ＦＥ）において周辺環境モデルを生成する方法において、
－前記自車両（ＦＥ）の周辺環境を、少なくとも１つの周辺環境検出センサ（２）を用いて記録するステップ（Ｓ１）と；
－前記少なくとも１つの周辺環境検出センサの記録に基づいて第１周辺環境モデル（Ｕ１）を生成するステップ（Ｓ２）と；
－訓練されたニューラルネットワークにおいて前記第１周辺環境モデル（Ｕ１）を処理するステップ（Ｓ３）と；
－前記第１周辺環境モデル（Ｕ１）の処理に基づいて第２周辺環境モデル（Ｕ２）を生成するステップ（Ｓ４）とを備える方法。

【請求項2】

前記ニューラルネットワークにおける処理により、前記生成された第１周辺環境モデル（Ｕ１）の解像度を向上させることを特徴とする、請求項１に記載の方法。

【請求項3】

前記ニューラルネットワークが、学習された高解像度のセマンティックのグリッドマップ（ＵＦ）からの情報を、前記第１周辺環境モデル（Ｕ１）の処理のために用いることを特徴とする、請求項１または２に記載の方法。

【請求項4】

解像度の向上により、ジオメトリ改善、分類改善、完全に観測されていない外観の完全化および／またはより高次の状態の改善を、前記第１周辺環境モデル（Ｕ１）において行うことを特徴とする、請求項１～３の何れか１項に記載の方法。

【請求項5】

自車両（ＦＥ）の周辺環境を記録する少なくとも１つの周辺環境検出センサ（２）と、前記周辺環境検出センサ（２）による記録を評価する評価ユニット（３）と、前記少なくとも１つの周辺環境検出センサの記録に基づいて第１周辺環境モデル（Ｕ１）を作成し、ニューラルネットワークを用いて前記第１周辺環境モデル（Ｕ１）を処理し、前記第１周辺環境モデル（Ｕ１）の処理により第２周辺環境モデル（Ｕ２）を生成するように構成される計算ユニット（４）とを備える、周辺環境モデルを生成するシステム（１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、周辺環境モデルを生成する方法およびシステムに関する。

【背景技術】

【0002】

従来技術から、ＡＤＡＳまたはＡＤシステムにおいて、十分な車両周辺環境モデルを生成するために、異なる外受容の周辺環境センサ、例えば、カメラ、ライダ、レーダまたは超音波センサが用いられることが知られている。その際、自動化された車両の実験的なプロトタイプにおいては、特に、高価で高解像度の３６０°ライダセンサが搭載され、これら３６０°ライダセンサは抜群の周辺環境モデル結果を可能にするものの、依然として高コストであり、従って、特に、量産車においては、低コストの解決策により置き換えられている。

【0003】

人工知能（ＡＩ）、特に、深層ニューラルネットワークは、現在広く普及しており、特定の応用、例えば、画像処理、言語処理等の領域においては人間による結果を凌駕している。この手法を用いることにより、実際のところ「不可能」として考えられている逆問題、例えば、白黒画像のカラー化または純粋に単眼カメラ画像に基づく深度マップ推定等を解くことが、特に可能である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許出願公開第２０２１０１５０６６９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

従って、本発明の課題は、改善された周辺環境モデルを低コストで供給することができる方法およびシステムを提供することである。

【課題を解決するための手段】

【0006】

本課題は請求項１および５の主題により解決される。さらに有利な構成および実施形態が従属請求項の主題である。

【0007】

最初の検討により、コンピュータグラフィックの領域においては、まず、低解像度の画像が前処理され、その後、後処理ステップにおいて高解像度にアップスケールされることにより、ビデオゲームの画像品質および計算時間を最適化するというアプローチが存在することが分かった。このことは、現在では、好ましくは固定フィルタ技術によって行われるのではもはやなく、多数のビデオゲームに基づいて前訓練されたニューラルネットワークにより行われる。その一方、これにより、画像を直接的に高いネイティブ解像度において計算するよりも高い画像品質を生成することが可能である。例えば、特許文献１には、低解像度の画像をアップスケールするためのネットワークの例が記載されている。

【0008】

このアプローチを周辺環境モデルレベルに応用した。

【0009】

従って、本発明によると、自車両において周辺環境モデルを生成する方法において、
－自車両の周辺環境を、少なくとも１つの周辺環境検出センサを用いて記録するステップと；
－少なくとも１つの周辺環境検出センサの記録に基づいて第１周辺環境モデルを生成するステップと；
－訓練されたニューラルネットワークにおいて第１周辺環境モデルを処理するステップと；
－第１周辺環境モデルの処理に基づいて第２周辺環境モデルを生成するステップとを備える方法が提案される。

【0010】

少なくとも１つの周辺環境検出センサは、例えば、単眼カメラ、ステレオカメラ、レーダセンサ、ライダセンサおよび／または超音波センサであってよい。好ましくは、車両周辺環境を記録するために、自車両において単一のセンサだけでなく、複数の同様および／または異なるセンサが用いられる。

【0011】

周辺環境検出センサの記録のデータから第１周辺環境モデルを作成する。周辺環境モデルには、例えば、すべての検出された物体／フリースペース／車線区分線／交通標識が入力されてよい。従って、周辺環境モデルは、例えば、占有または非占有グリッドセル（またはさらなるセルクラス）を有するグリッドマップとして作成されてよい。代替的に、フリースペースマップ、物体ベースの記述または異なるモデルの組み合わせを作成することも考えられる。複数の異なるセンサを用いる場合、周辺環境モデルは、異なる周辺環境検出センサからの情報に基づいて作成されてよい。

【0012】

作成された第１周辺環境モデルは訓練されたニューラルネットワークにおいて処理され、第２周辺環境モデルが作成される。ニューラルネットワークにおける処理により、第１周辺環境モデルはニューラルネットワークからの情報を用いて拡張または改善され、その結果、自車両に設けられているセンサによっては検出不可能であるか高いＬＯＤ（Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ）では検出不可能な、より精確な情報を含む周辺環境モデルが作成される。ここで、第１および第２周辺環境モデルは、略同一（しかし必ずしも同一ではない）の情報、例えば、物体、フリースペース等を有している一方、主に、情報描写のＬＯＤの点で相異なる。

【0013】

ニューラルネットワークは、アプリオリに、自車両において使用される前に、高精度の周辺環境センサのセンサデータを用いて訓練され、その結果、より単純なセンサにより生成された周辺環境モデルの品質を改善可能な、ＡＩベースの仮想周辺環境モデルスーパーセンサが作成される。このことは、品質的に高価値の画像素材（例えば、１６Ｋ解像度で描写されたゲームシーン）に基づいて画像が理想的に見える姿を学習する、ビデオゲームで画像をアップスケールさせる上記ネットワークと同様に見なされてよい。従って、ニューラルネットワークを訓練するために、現実の車両周囲におけるフリート車両の高精確度の基準センサを用いて、センサＲＡＷデータが生成される。これら高精度のセンサＲＡＷデータに基づいて、必要に応じて、ラベリング、後処理等も用いて、正確で高精度の周辺環境モデルが生成される。ここで、ニューラルネットワークはオフラインで訓練され、車両周囲の一般的な周辺環境モデル表現を学習する。

【0014】

特に好ましい構成において、ニューラルネットワークにおける処理により、生成された第１周辺環境モデルの解像度を向上させる。第１周辺環境モデルの解像度を向上させるとは、本発明に照らせば、生成された周辺環境モデルのＬＯＤをニューラルネットワークを用いて向上させることとして理解される。従って、第１周辺環境モデルは低解像度を有する周辺環境モデルであり、処理後である第２周辺環境モデルは高解像度を有する周辺環境モデルである。このことが有利であるのは、このようにして、高詳細度または高精確度の周辺環境モデルを作成するために追加でまたは高価なセンサを使用する必要がないからである。

【0015】

さらに好ましい構成において、ニューラルネットワークが、学習された高解像度のセマンティックのグリッドマップからの情報を、第１周辺環境モデルの処理のために用いる。特に好ましくは、この場合には、静止および動的な車両周囲を物体フリーの形態で全体的に表現する、セマンティックの動的グリッドマップである。このことが有利であるのは、低抽象度を有するそのような周辺環境モデル内の中間表現は、一般的な抽象的な周辺環境モデル出力表現、例えば、交通参加者リスト、道路モデル、フリースペースモデル等よりも多くの詳細を含むからである。このようにして、ニューラルネットワークは、上述のように、高精確度の基準センサに基づいて生成された理想的なタイプで、高解像度の、セマンティックの動的グリッドマップがどのように見えるものであるかを学習する。ニューラルネットワークはこの知識を用いて、例えば、オンラインで自車両において生成される解像度不良のグリッドマップを、後処理ステップにおいてアップスケールし、これにより改善する。

【0016】

また、特に好ましくは、解像度の向上により、ジオメトリ改善、分類改善、完全に観測されていない外観の完全化および／またはより高次の状態の改善を、第１周辺環境モデルにおいて行う。ジオメトリ改善により、例えば、他の交通参加者のサイズをより良好に決定することができる。また、より詳細に、個々の、周辺環境モデルにおいて存在する物体の分類を改善することができ、従って、例えば、異なる交通参加者間のより精確な区別を達成することができる。完全に観測されていない外観の完全化が有利であるのは、高解像度の周辺環境モデルに基づく知識を用いることでニューラルネットワークは、例えば、車線区分線を完全化することができるからであり、なぜならばネットワークは、実線の車線区分線が理想的にはどのように見えるものであるかを知っており、そのような区分線が車線のどの位置に通常ならば出現するかを知っているからである。このようにして、例えば、誤って実線でない区分線として検出された車線区分線を完全化して修正することができ、これにより、改善された周辺環境モデルが得られ、自車両における安全性も向上するのは、周辺環境モデルを使用する運転支援システムに、より精確で完全なデータが供給されるからである。より高次の状態の改善とは、例えば、セル速度推定の改善として理解されてよい。高精確度の周辺環境モデルを用いて、そしてさらなる交通参加者を高精度で決定することにより、これらのモーションプロファイルを可能な加速能力、方向変換の能力等と共により精確に決定することができ、従って、各交通参加者がどのように移動するかをより良好に予測することができる。例えば、自転車運転者は自動車よりも加速能力は低いが、方向変換の能力は素早い。

【0017】

また、本発明によると、周辺環境モデルを生成するシステムが提案され、本システムは、自車両の周辺環境を記録する少なくとも１つの周辺環境検出センサと、周辺環境検出センサにより記録されたデータを評価する評価ユニットと、少なくとも１つの周辺環境検出センサの記録に基づいて第１周辺環境モデルを作成し、ニューラルネットワークを用いて第１周辺環境モデルを処理し、第１周辺環境モデルの処理により第２周辺環境モデルを生成するように構成される計算ユニットとを備える。ここで、計算ユニットは、ＥＣＵ、ＡＤＣＵ（Ａｓｓｉｓｔｅｄ ＆ Ａｕｔｏｍａｔｅｄ Ｄｒｉｖｉｎｇ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：運転支援および自動運転制御ユニット）またはセンサ側に統合された計算ユニットであってよい。周辺環境検出センサと評価ユニットとの間または評価ユニットと計算ユニットとの間のデータ交換のために、データコネクションが設けられる。ここで、データコネクションは、有線または無線、例えば、Ｂｌｕｅｔｏｏｔｈ、モバイルネットワーク、Ｗｉｆｉ等としても構成されてよい。

【0018】

ニューラルネットワークとして、好ましくは、時間的関係性を共に考慮に入れることができるリカレントニューラルネットワークが用いられてよい。アップスケールのために、特に、完全畳み込みネットワークを用いてよい。例示的なグリッドベースの中間表現の場合、グリッドは画像として理解されてよく、同様のネットワークアーキテクチャを、例えば、コンピュータグラフィックのアップスケールの際に用いてよい。

【0019】

さらなる有利な構成および実施形態は図面から得ることができる。

【図面の簡単な説明】

【0020】

【図1】図１は、本発明の実施形態に係る方法のフロー図を概略的に示す。

【図2】図２は、本発明の実施形態に係るシステムを概略的に示す。

【図3】図３は、周辺環境モデルを生成するフローを概略的に示す。

【発明を実施するための形態】

【0021】

図１は、本発明の実施形態に係る方法のフロー図を概略的に示す。ステップＳ１において、自車両ＦＥの周辺環境を、少なくとも１つの周辺環境検出センサ２を用いて記録する。さらなるステップＳ２において、少なくとも１つの周辺環境検出センサの記録のデータに基づいて第１周辺環境モデルＵ１を生成する。この第１周辺環境モデルＵ１を、ステップＳ３において、訓練されたニューラルネットワークにおいて処理する。その後、ステップＳ４において、第１周辺環境モデルＵ１の処理に基づいて第２周辺環境モデルＵ２を生成する。

【0022】

図２において、本発明の実施形態に係るシステムを概略的に示す。この場合、システム１は、少なくとも１つの周辺環境検出センサ２、評価ユニット３および計算ユニット４を備える。少なくとも１つの周辺環境検出センサ２、評価ユニット３および計算ユニット４は、データコネクションＤを用いて接続されている。この場合、データコネクションＤは、有線または無線で構成されてよい。

【0023】

図３は、周辺環境モデルを生成するフローを概略的に示す。図示のように、フリート車両ＦＦのセンサデータに基づいて生成される周辺環境モデルＵＦを用いてニューラルネットワークを訓練する。この場合、フリート車両ＦＦは高精度センサを装備していてよい。従って、周辺環境モデルＵＦは高精確度のデータを有する。ここで、周辺環境モデルＵＦは、図示のように、セマンティックの動的グリッドマップであってよく、このグリッドマップには、例えば、動的および静止物体、フリースペース、車線（および潜在的に運転タスクと関連するさらなる情報）が入力される。その後、この訓練されたニューラルネットワークは自車両ＦＥにおいて使用される。自車両ＦＥは、周辺環境を、少なくとも１つの周辺環境検出センサを用いて記録し、第１周辺環境モデルＵ１を生成する。ここで、自車両ＦＥは、高解像度センサを有していない。従って、第１周辺環境モデルＵ１は低解像度の周辺環境モデルＵ１である。ステップＳ４において、訓練されたニューラルネットワークにおいて第１周辺環境モデルＵ１を処理した後、ステップＳ５において、第２周辺環境モデルＵ２を生成する。第１周辺環境モデルＵ１はニューラルネットワークにおいて高精確度のデータを用いて拡張および最適化されており、従って、アップスケールされているため、その結果、第２周辺環境モデルＵ２は高解像度の周辺環境モデルである。

【符号の説明】

【0024】

１ システム
２ 周辺環境検出センサ
３ 評価ユニット
４ 計算ユニット
Ｄ データコネクション
ＦＥ 自車両
ＦＦ フリート車両
Ｓ１～Ｓ４ 方法ステップ
ＵＦ フリート車両の周辺環境モデル
Ｕ１ 第１周辺環境モデル
Ｕ２ 第２周辺環境モデル

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2023-07-04

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】変更

【補正の内容】

【0023】

図３は、周辺環境モデルを生成するフローを概略的に示す。図示のように、フリート車両ＦＦのセンサデータに基づいて生成される周辺環境モデルＵＦを用いてニューラルネットワークを訓練する。この場合、フリート車両ＦＦは高精度センサを装備していてよい。従って、周辺環境モデルＵＦは高精確度のデータを有する。ここで、周辺環境モデルＵＦは、図示のように、セマンティックの動的グリッドマップであってよく、このグリッドマップには、例えば、動的および静止物体、フリースペース、車線（および潜在的に運転タスクと関連するさらなる情報）が入力される。その後、この訓練されたニューラルネットワークは自車両ＦＥにおいて使用される。自車両ＦＥは、周辺環境を、少なくとも１つの周辺環境検出センサを用いて記録し、第１周辺環境モデルＵ１を生成する。ここで、自車両ＦＥは、高解像度センサを有していない。従って、第１周辺環境モデルＵ１は低解像度の周辺環境モデルＵ１である。ステップＳ４において、訓練されたニューラルネットワークにおいて第１周辺環境モデルＵ１を処理した後、ステップＳ５において、第２周辺環境モデルＵ２を生成する。第１周辺環境モデルＵ１はニューラルネットワークにおいて高精確度のデータを用いて拡張および最適化されており、従って、アップスケールされているため、その結果、第２周辺環境モデルＵ２は高解像度の周辺環境モデルである。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
自車両（ＦＥ）において周辺環境モデルを生成する方法において、
－前記自車両（ＦＥ）の周辺環境を、少なくとも１つの周辺環境検出センサ（２）を用いて記録するステップ（Ｓ１）と；
－前記少なくとも１つの周辺環境検出センサの記録に基づいて第１周辺環境モデル（Ｕ１）を生成するステップ（Ｓ２）と；
－訓練されたニューラルネットワークにおいて前記第１周辺環境モデル（Ｕ１）を処理するステップ（Ｓ３）と；
－前記第１周辺環境モデル（Ｕ１）の処理に基づいて第２周辺環境モデル（Ｕ２）を生成するステップ（Ｓ４）とを備える方法。
２．
前記ニューラルネットワークにおける処理により、前記生成された第１周辺環境モデル（Ｕ１）の解像度を向上させることを特徴とする、上記１に記載の方法。
３．
前記ニューラルネットワークが、学習された高解像度のセマンティックのグリッドマップ（ＵＦ）からの情報を、前記第１周辺環境モデル（Ｕ１）の処理のために用いることを特徴とする、上記１または２に記載の方法。
４．
解像度の向上により、ジオメトリ改善、分類改善、完全に観測されていない外観の完全化および／またはより高次の状態の改善を、前記第１周辺環境モデル（Ｕ１）において行うことを特徴とする、上記１～３の何れか１つに記載の方法。
５．
自車両（ＦＥ）の周辺環境を記録する少なくとも１つの周辺環境検出センサ（２）と、前記周辺環境検出センサ（２）による記録を評価する評価ユニット（３）と、前記少なくとも１つの周辺環境検出センサの記録に基づいて第１周辺環境モデル（Ｕ１）を作成し、ニューラルネットワークを用いて前記第１周辺環境モデル（Ｕ１）を処理し、前記第１周辺環境モデル（Ｕ１）の処理により第２周辺環境モデル（Ｕ２）を生成するように構成される計算ユニット（４）とを備える、周辺環境モデルを生成するシステム（１）。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

自車両（ＦＥ）において周辺環境モデルを生成する方法において、
－前記自車両（ＦＥ）の周辺環境を、少なくとも１つの周辺環境検出センサ（２）を用いて記録するステップ（Ｓ１）と；
－前記少なくとも１つの周辺環境検出センサの記録に基づいて第１周辺環境モデル（Ｕ１）を生成するステップ（Ｓ２）と；
－訓練されたニューラルネットワークにおいて前記第１周辺環境モデル（Ｕ１）を処理するステップ（Ｓ３）と；
－前記第１周辺環境モデル（Ｕ１）の処理に基づいて第２周辺環境モデル（Ｕ２）を生成するステップ（Ｓ４）とを備える方法。

【請求項2】

前記ニューラルネットワークにおける処理により、前記生成された第１周辺環境モデル（Ｕ１）の解像度を向上させることを特徴とする、請求項１に記載の方法。

【請求項3】

前記ニューラルネットワークが、学習された高解像度のセマンティックのグリッドマップ（ＵＦ）からの情報を、前記第１周辺環境モデル（Ｕ１）の処理のために用いることを特徴とする、請求項１または２に記載の方法。

【請求項4】

解像度の向上により、ジオメトリ改善、分類改善、完全に観測されていない外観の完全化および／またはより高次の状態の改善を、前記第１周辺環境モデル（Ｕ１）において行うことを特徴とする、請求項１または２に記載の方法。

【請求項5】

自車両（ＦＥ）の周辺環境を記録する少なくとも１つの周辺環境検出センサ（２）と、前記周辺環境検出センサ（２）による記録を評価する評価ユニット（３）と、前記少なくとも１つの周辺環境検出センサの記録に基づいて第１周辺環境モデル（Ｕ１）を作成し、ニューラルネットワークを用いて前記第１周辺環境モデル（Ｕ１）を処理し、前記第１周辺環境モデル（Ｕ１）の処理により第２周辺環境モデル（Ｕ２）を生成するように構成される計算ユニット（４）とを備える、周辺環境モデルを生成するシステム（１）。

【外国語明細書】