特表 2024-540409 車両の周辺環境センサシステムおよび／または周辺環境認知の検査

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】車両の周辺環境センサシステムおよび／または周辺環境認知の検査

(51)【国際特許分類】

   G08G 1/00 20060101AFI20241024BHJP

【ＦＩ】

G08G1/00 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024527134

(86)(22)【出願日】2022-10-26

(85)【翻訳文提出日】2024-05-08

(86)【国際出願番号】 EP2022079983

(87)【国際公開番号】W WO2023083620

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】102021212632.4

(32)【優先日】2021-11-10

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100161908

【弁理士】

【氏名又は名称】藤木 依子

(72)【発明者】

【氏名】ユーハス，イムレ・ベネデック

(72)【発明者】

【氏名】トレプラン，ゲルゲイ

(72)【発明者】

【氏名】マロシ，チャバ

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181AA26

5H181BB04

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181EE02

5H181FF05

5H181FF10

5H181LL09

(57)【要約】

陸路または水路を走る車両（１）の周辺環境センサシステムおよび／または周辺環境認知を検査するための方法（１００）であって、・車両（１）の周辺環境の少なくとも一部のモデルデータ（３）が入手されるステップ（１１０）であり、このモデルデータ（３）が、少なくとも１つの俯瞰視点からの車両（１）の周辺環境を特徴づけるデータを参照して作成された、ステップ、・モデルデータ（３）が、周辺環境センサシステムおよび／または周辺環境認知の基準座標系（１ａ）に変換されるステップ（１２０）、・変換されたモデルデータ（３’）が、周辺環境センサシステムもしくは周辺環境認知によってもたらされたセンサデータ（２）および／またはこのセンサデータの処理結果（２ａ）と比較されるステップ（１３０）、・この比較（１３０）の結果（１３０ａ）から、センサデータ（２）および／または処理結果（２ａ）が、車両（１）の周辺環境内の現実の状況とどれくらい（４）一致しているかが評価されるステップ（１４０）を有する、方法（１００）。

【特許請求の範囲】

【請求項1】

陸路または水路を走る車両（１）の周辺環境センサシステムおよび／または周辺環境認知を検査するための方法（１００）であって、
・前記車両（１）の周辺環境の少なくとも一部のモデルデータ（３）が入手されるステップ（１１０）であり、前記モデルデータ（３）が、少なくとも１つの俯瞰視点からの前記車両（１）の周辺環境を特徴づけるデータを参照して作成された、ステップ、
・前記モデルデータ（３）が、前記周辺環境センサシステムおよび／または周辺環境認知の基準座標系（１ａ）に変換されるステップ（１２０）、
・前記変換されたモデルデータ（３’）が、前記周辺環境センサシステムもしくは周辺環境認知によってもたらされたセンサデータ（２）および／または前記センサデータの処理結果（２ａ）と比較されるステップ（１３０）、
・前記比較（１３０）の結果（１３０ａ）から、前記センサデータ（２）および／または処理結果（２ａ）が、前記車両（１）の周辺環境内の現実の状況とどれくらい（４）一致しているかが評価されるステップ（１４０）を有する、方法（１００）。

【請求項2】

前記比較（１３０）の枠内で、一方では前記変換されたモデルデータ（３’）に基づいて、他方では前記周辺環境認知に基づいて、同じタイプのオブジェクトが同じ場所にどれくらい存在するかが確定される（１３１）、請求項１に記載の方法（１００）。

【請求項3】

・一方での前記変換されたモデルデータ（３’）と、他方での前記周辺環境認知によってもたらされた前記処理結果（２ａ）との時間的同期の精度が確定され（１３１ａ）、かつ
・前記比較（１３０）が、前記精度に相応するタイムスパン内でそれぞれの前記オブジェクトがその位置および／または向きを変えない確率に依存させられる（１３１ｂ）、請求項２に記載の方法（１００）。

【請求項4】

前記時間的同期の精度に依存しない路面標示、車線境界線、建物、および／または樹木が、前記比較（１３０）に取り入れられる（１３１ｃ）、請求項３に記載の方法（１００）。

【請求項5】

前記比較（１３０）が、前記変換されたモデルデータ（３’）に基づくどのオブジェクトがどの割合で、前記車両（１）の前記周辺環境センサシステムによって捕捉可能なのかという検査を含意する（１３２）、請求項１から４のいずれか一項に記載の方法（１００）。

【請求項6】

前記センサデータ（２）および／または処理結果（２ａ）が、前記車両（１）の周辺環境内の現実の状況とは一致していないという判定（１５０）に応答して、
・前記周辺環境センサシステムの少なくとも１つの追加的なセンサおよび／もしくは少なくとも１つの追加的な周辺環境認知がアクティブ化され（１６０）、
・少なくとも１つの走行支援システムもしくは少なくとも部分的な自動運転システムが、その機能的能力を制限もしくは非アクティブ化され（１７０）、かつ／または
・前記周辺環境センサシステムおよび／もしくは周辺環境認知の挙動を特徴づけるパラメータが、前記センサデータ（２）および／もしくは処理結果（２ａ）を前記車両（１）の周辺環境内の現実の状況とより良く一致させる目標に向かって最適化される（１８０）、請求項１から５のいずれか一項に記載の方法（１００）。

【請求項7】

請求項１から６のいずれか一項に記載の周辺環境センサシステムおよび／または周辺環境認知を検査するための方法（１００）で使用するための、車両（１）の周辺環境に関するモデル（３）の作成方法（２００）であって、
・複数のドローン（６ａ～６ｃ）の俯瞰視点からの前記車両（１）の周辺環境を特徴づけるデータ（５ａ～５ｃ）が入手されるステップ（２１０）、
・前記データ（５ａ～５ｃ）と、前記車両（１）の外観および／または幾何形状についての既知の情報（１＊）とを参照して、前記車両（１）に対するそれぞれの前記ドローン（６ａ～６ｃ）の少なくとも１つの距離（７ａ～７ｃ）および／または向き（８ａ～８ｃ）が確定されるステップ（２２０）、
・前記距離（７ａ～７ｃ）および／または向き（８ａ～８ｃ）に基づいて、前記データ（５ａ～５ｃ）および／または前記データ（５ａ～５ｃ）から導き出された情報が前記モデル（３）に統合されるステップ（２３０）を有する、作成方法（２００）。

【請求項8】

前記モデル（３）が、前記車両（１）の周辺環境内の少なくとも１つの関心量の空間分布を含意する（２３１）、請求項７に記載の方法（２００）。

【請求項9】

前記モデルへの前記統合（２３０）が、前記データ（５ａ～５ｃ）から前記関心量の方程式を確定し（２３１ａ）、前記方程式から構成された連立方程式を解く（２３１ｂ）ことを含意する、請求項８に記載の方法（２００）。

【請求項10】

前記モデル（３）が、関心量の空間分布としての、どの場所がどのタイプのオブジェクトに占有されているかという趣旨の、前記車両（１）の周辺環境のセマンティックセグメンテーションを含意する（２３１ｃ）、請求項８または９に記載の方法（２００）。

【請求項11】

前記モデル（３）への前記統合（２３０）が、データ（５ａ～５ｃ）としての画像から、写真測量により、前記車両の周辺環境内の少なくとも１つのオブジェクトの幾何形状を再構成する（２３２）ことを含意する、請求項７から１０のいずれか一項に記載の方法（２００）。

【請求項12】

前記モデル（３）への前記統合（２３０）が、異なる時点で異なるドローン（６ａ～６ｃ）によって記録されたデータ（５ａ～５ｃ）および／または前記データ（５ａ～５ｃ）から導き出された情報を、前記時点に基づいて相互に相関させる（２３３）ことを含意する、請求項７から１１のいずれか一項に記載の方法（２００）。

【請求項13】

１つまたは複数のコンピュータ上で実行される場合に前記１つまたは複数のコンピュータに請求項１から１２のいずれか一項に記載の方法（１００、２００）を実行させる機械可読命令を含むコンピュータプログラム。

【請求項14】

請求項１３に記載のコンピュータプログラムを有する機械可読のデータ記憶媒体。

【請求項15】

請求項１３に記載のコンピュータプログラムおよび／または請求項１４に記載の機械可読のデータ記憶媒体を有する１つまたは複数のコンピュータ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、とりわけ走行支援システムおよび少なくとも部分的な自動運転システムのための、車両の周辺環境センサシステムおよび／または周辺環境認知の検査に関する。

【背景技術】

【0002】

走行支援システムおよび少なくとも部分的な自動運転システムは、周辺環境認知をベースとして、車両の走行ダイナミクスへの介入についての決定を下す。このような周辺環境認知は、通常は、車両の周辺環境センサシステムによって記録された測定データの評価によって得られる。周辺環境認知は、例えば、車両の周辺環境内にどのオブジェクトが含まれているか、およびどの領域が自由に通行可能かを表示し得る。

【0003】

周辺環境認知が正確であればあるほど、上記のシステムが、車両のその後の走行ダイナミクスについてのより良い決定を下せる傾向がある。しかしながらこの精度への要求が高くなるにつれ、周辺環境センサシステムおよびその後に接続された評価のための費用が不釣り合いに大きく増えていく。したがって車両の量産開始のため、通常は、周辺環境センサシステムおよび評価のために比較的安価なハードウェアを使用し、得られた周辺環境認知を、少なくとも抜き取り検査的に、既知の精度をもつ参考基準に対して尤度確認する。これに関し、周辺環境認知が一貫して尤もらしいと判明する場合には、この周辺環境認知が、車両の周辺環境内の現実の状況に十分正確に相応していると推測される。

【発明の概要】

【0004】

本発明の枠内では、陸路または水路を走る車両の周辺環境センサシステムおよび／または周辺環境認知の検査方法が開発された。
周辺環境センサシステムとは、１つまたは複数のセンサを備え、車両の周辺環境からの１つまたは複数の物理的な測定量に関するセンサデータを記録するために形成されたあらゆるアセンブリのことである。このセンサデータはそれぞれ測定量の値を表し、とりわけ例えば、測定量の値の空間分布を表示し得る。センサデータは、例えば画像、ビデオ画像、超音波画像、熱画像、レーダデータ、および／またはライダデータを含み得る。つまりセンサデータは、必ずしも２次元メッシュまたは３次元メッシュで存在しなければならないのではなく、例えば点群としても存在し得る。

【0005】

周辺環境認知とは、周辺環境センサシステムからのセンサデータのあらゆる処理結果のことであり、この処理結果は、車両の周辺環境内の状況の意味内容についての説明をもたらし、したがって元のセンサデータより、その後の走行ダイナミクスについて決定するためのより良い根拠を提供する。周辺環境認知は、例えば、どのオブジェクトが車両の周辺環境内のどこにあるかを表示し得る。

【0006】

この方法の枠内では、車両の周辺環境の少なくとも一部のモデルデータが入手される。このモデルデータは、少なくとも１つの俯瞰視点からの車両の周辺環境を特徴づけるデータを参照して作成されたものである。データとして、とりわけ例えば、少なくとも１つの俯瞰視点からの車両の周辺環境を示す画像が参照され得る。しかし、例えば上でセンサデータとの関連で言及した全てのその他の測定方式のデータも使用され得る。モデルデータは、とりわけ例えば、センサデータからの周辺環境認知によっても評価される少なくとも１つの観点に関する画像の評価を含意し得る。

【0007】

モデルデータは、例えば、１つもしくは複数の画像の形態および／または１つもしくは複数の点群の形態での車両の周辺環境の表示を含意し得る。しかしモデルデータは、例えば、周辺環境認知によってもたらされた処理結果およびセマンティックセグメンテーションまたは車両の周辺環境内のオブジェクトのその他の表示が含意するのと、同じまたは類似のデータタイプであってもよい。

【0008】

俯瞰視点は、空または宇宙空間を飛行する任意の乗り物の視点であり得る。俯瞰視点からのデータは、例えば、少なくとも１つのドローンによって、少なくとも１つの飛行機によって、少なくとも１つの飛行船によって、またはさらに少なくとも１つの人工衛星によって記録されたものであり得る。

【0009】

モデルデータは、周辺環境センサシステムおよび／または周辺環境認知の基準座標系に変換される。このモデルが正確に車両の周辺環境内の現実の状況に相応するなら、変換されたモデルデータは、とりわけ例えば、車両の視点から理想的には生じるはずのセンサデータおよび／または周辺環境認知を表示し得る。

【0010】

変換されたモデルデータは、周辺環境センサシステムもしくは周辺環境認知によってもたらされたセンサデータおよび／またはこのセンサデータの処理結果と比較される。この比較の結果から、センサデータおよび／または処理結果が、車両の周辺環境内の現実の状況とどれくらい一致しているかが評価される。

【0011】

特に、少なくとも１つの俯瞰視点からの車両の周辺環境を特徴づけるモデルデータを、まったく違う視点から動作している周辺環境センサシステムおよび／または周辺環境認知を検査するために使用することは、追加的な、周辺環境センサまたは周辺環境認知の基準座標系への変換が必要になるので、一見すると不利と思われる。しかしながらこの不利に思えることは、２つの点で過分に補われる。

【0012】

一つには、俯瞰視点からは車両の周辺環境が、車両自体の視点からよりも完全に見渡され得る。たいていの状況では、車両の周辺環境は、１つまたは複数の俯瞰視点から完全に見て取ることができる。とりわけ、道路利用者およびその他のオブジェクトが互いに覆い隠されない。状況が一旦完全に捕捉されれば、この状況は計算により、車両の多くの視点に変換され得る。これに対し、車両の視点から直接的に作成されたモデルは、この視点のためにしか利用できない。確かに存在しているが、この視点では覆い隠されているオブジェクトについての情報は物理的に捕捉されず、したがって別の視点へのもっと費用のかかる変換によっても手に入らない。つまり一旦記録されたモデルデータは多種多様に利用され得る。

【0013】

もちろん、俯瞰視点からの捕捉が全ての状況で完全であり得るわけではない。つまり例えばトンネルは俯瞰視点から見て取ることができず、高速道路のインターチェンジでは車道が部分的に複数の平面で重なり合って延びている。しかしモデルが、周辺環境センサシステムまたは周辺環境認知を検査するための比較データを、いつ何時でも、車両が存在しているあらゆる場所に対して用意しておく必要はない。むしろ抜き取り検査的に、特定の時間的および／または空間的な間隔をあけて、モデルデータによる検査を行えば十分である。この抜き取り検査の際に、車両内で確定されたセンサデータおよび／または処理結果が、変換されたモデルデータと一致しているなら、この周辺環境センサシステムまたは周辺環境認知は、具体的に検査されていない状況でも正しく動作していると推測され得る。

【0014】

もう一つには、俯瞰視点からのモデルデータは、テスト走行によるよりも速くて安価に捕捉可能である。つまり、例えば空中撮影は、１つの交通結節点での交通事象全体を一度に捕捉し得る。同じ交通事象を車両視点からそれぞれ捕捉するには、この交通結節点であり得る全ての走行方向および交通関係での多くのテスト走行が実施されなければならないであろう。

【0015】

この方法は、とりわけ例えば、開発中の車両の周辺環境センサシステムおよび／または周辺環境認知のバリデーションの際に適用され得る。例えば、検査されるべき周辺環境センサシステムまたは周辺環境認知が装備されたテスト車両のテスト走行が、１つまたは複数のドローンによって観察され得る。このようにして、特にこのテスト走行に関連しており、したがってこのセンサデータまたは処理結果と最も良好に比較可能なモデルデータが入手され得る。

【0016】

車両の通常の走行動作では、たいていは、この特定の走行に関連するモデルデータは使えない。しかしながら依然として、このモデルデータとの少なくとも１つの限定的な比較は可能である。つまり車両は、とりわけ例えば、非常にまれにしかまたは全く変化しない路面標示、構造的な車線境界線、建物、および／または樹木を、モデルがそれらを予測した場所で知覚するべきであろう。

【0017】

したがって、特に有利な一形態では、比較の枠内で、一方では変換されたモデルデータに基づいて、他方では周辺環境認知に基づいて、同じタイプのオブジェクトが同じ場所にどれくらい存在するかが確定される。どのオブジェクトがどの場所に存在しているかという情報は、車両のその後の走行ダイナミクスを決定するための最も重要な根拠である。モデルデータに対する尤度確認により、周辺環境センサシステムまたは周辺環境認知の幅広いクラスの機能不全が認識され得る。例えばオブジェクトが誤った場所で認識される場合、これは例えば、車両がそれ自体では十分に正確に位置特定していないこと、または周辺環境センサシステムが適切にアライメントもしくは較正されていないことを示唆し得る。周辺環境認知によってもたらされた処理結果における、オブジェクトの誤分類またはオブジェクトの完全な欠落は、例えば、周辺環境センサシステムによって記録されたセンサデータの品質が悪すぎること、または周辺環境センサシステム内で使用されている画像分類器が最新の水準にないことを示唆し得る。いわゆる「敵対的サンプル」による意図的な改ざんを発見することもできる。このような改ざんでは、車両の周辺環境内に意図的に特定のパターンが持ち込まれ、このパターンが、周辺環境認知においてセンサデータを処理する際に、誤分類を生じさせる。つまり試験では、例えばカメラレンズ上に特に点パターンをもつ半透性フィルムを取り付けることで既に、この周辺環境認知によってもたらされた車両の周辺環境のセマンティックセグメンテーション内で全ての歩行者が消えるように、周辺環境認知における記録画像の処理を妨害することに成功する。

【0018】

さらなる特に有利な一形態では、一方での変換されたモデルデータと、他方での周辺環境認知によってもたらされた処理結果との時間的同期の精度が確定される。この確定は、時間的同期の受動的測定を含意し得る。ただし、一方での変換されたモデルデータと、他方での周辺環境認知によってもたらされた処理結果とが、能動的に互いに同期されることが特に有利である。このために例えば、車両によっておよびモデルの作成に使用されるドローンによって同時に記録される同期化信号が使用され得る。能動的同期化の後、時間的同期の精度が、（完璧な同期に関する）ゼロからの差異に基づいて、または同期後にまだある残留誤差に基づいて定められ得る。

【0019】

一方では変換されたモデルデータに基づいて、他方では周辺環境認知からの処理結果に基づいてどのオブジェクトがどの場所にあるかの比較が、この精度に相応するタイムスパン内でそれぞれのオブジェクトがその位置および／または向きを変えない確率に依存させられる。つまり、受動的測定および／または能動的同期によって確定された時間的精度が、これに続く、一方での変換されたモデルデータと、他方でのセンサデータまたは処理結果との空間的比較の際に、どの種類のオブジェクトが参照されるべきかを定める。

【0020】

モデルデータが、センサデータまたはこのセンサデータからの周辺環境認知によって確定された処理結果と同じ時点に関連している場合、それぞれ認識されたオブジェクトおよびその位置に関するマッチングは制限なく可能である。一方でのモデルデータと、他方でのセンサデータまたは処理結果とが完全には時間的に同期していない場合、この時間ずれに相応するタイムスパン内に、特定のオブジェクトの位置が変化し得る。つまり、とりわけ例えば、車両またはその他の道路使用者がこのタイムスパン内にさらに移動し得る。これに対して静的オブジェクトは相変わらず同じ場所に存在するであろう。つまり、これらのオブジェクトに関しては時間ずれの場合にも比較は依然として有意義である。

【0021】

したがって、とりわけ例えば、時間的同期の精度に依存しない路面標示、車線境界線、建物、および／または樹木が、比較に取り入れられ得る。
上で解説したように、車両の周辺環境内の状況は、俯瞰視点からは、車両の視点からよりも完全に捕捉可能な傾向がある。したがって、変換されたモデルデータと、車両のオンボードコンピュータで確定されたセンサデータまたは処理結果との比較は、とりわけ例えば、変換されたモデルデータに基づくどのオブジェクトがどの割合で、車両の周辺環境センサシステムによって捕捉可能なのかという検査を含意し得る。特定のオブジェクトが車両の視点からは見えない場合、周辺環境センサシステムまたは周辺環境認知のセンサデータまたは処理結果におけるこのオブジェクトの欠落は「非難」され得ない。

【0022】

さらなる有利な一形態では、センサデータおよび／または処理結果が、車両の周辺環境内の現実の状況とは一致していないという判定に応答して、周辺環境センサシステムの少なくとも１つの追加的なセンサおよび／または少なくとも１つの追加的な周辺環境認知がアクティブ化される。その代わりにまたはそれとの組合せででも、少なくとも１つの走行支援システムまたは少なくとも部分的な自動運転システムが、その機能的能力を制限または非アクティブ化され得る。

【0023】

例えば、カメラベースの周辺環境センサシステムは、一時的に降水によってまたは直接的に画像センサに射し込む太陽光によって妨害され得る。この場合、当該の妨害に対して脆弱でない追加的なセンサ方式、例えばレーダが利用され得る。別のセンサ方式の利用はさらに、前述の「敵対的サンプル」による改ざんの影響をも食い止め得る。

【0024】

前述の改ざんは、例えば追加的な周辺環境認知の利用によっても食い止められ得る。このために例えば、元の周辺環境認知のニューラルネットワークとは異なって構築され、かつ／または異なるトレーニングがなされた追加的なニューラルネットワークが使用され得る。

【0025】

その代わりにまたはそれとの組合せででも、周辺環境センサシステムおよび／または周辺環境認知の挙動を特徴づけるパラメータが、センサデータおよび／または処理結果を車両の周辺環境内の現実の状況とより良く一致させる目標に向かって最適化され得る。これは、とりわけ周辺環境センサシステムまたは周辺環境認知の開発プロセスにおいてこの方法を適用する場合に有利である。つまりこの適用では、俯瞰視点から観察されるテスト走行に基づくバリデーションが、周辺環境センサシステムおよび／または周辺環境認知がどの点でまだ最適化を必要としているかのフィードバックをもたらし得る。

【0026】

周辺環境センサシステムの挙動を特徴づけるパラメータは、とりわけ例えば、カメラまたはその他のセンサの動作パラメータであり得る。つまり、例えばデータストリームに使える帯域幅が制限されている場合に、一方での高い解像度と、他方での１秒当たりの高いフレームレートとの最適な折り合いをつけることができる。

【0027】

周辺環境認知の挙動を特徴づけるパラメータは、とりわけ例えば、センサデータの評価の際に用いられるニューラルネットワークのパラメータ（例えば重み）を含み得る。
本発明は、車両の周辺環境に関するモデルの作成方法も提供する。このモデルは、前述の、周辺環境センサシステムおよび／または周辺環境認知の検査方法で使用するために形成される。

【0028】

この方法では、複数のドローンの俯瞰視点からの車両の周辺環境を特徴づけるデータが入手される。データとして、とりわけ例えば、少なくとも１つの俯瞰視点からの車両の周辺環境を示す画像が使用され得る。しかし例えば、上でセンサデータとの関連で言及した全てのその他の測定方式のデータも使用され得る。このデータと、車両の外観および／または幾何形状についての既知の情報とを参照して、車両に対するそれぞれのドローンの少なくとも１つの距離および／または向きが確定される。この距離および／または向きにも基づいて、データおよび／またはこのデータから導き出された情報がモデルに統合される。その代わりにまたはそれと組み合わせて、車両とそれぞれのドローンとの距離が、さらなる情報を参照して、例えばＧＰＳ信号、さらなる電磁信号、超音波、予め定められた不動オブジェクトの距離、または三角測量の結果を参照して確定され得る。三角測量のためには、とりわけ例えば、車両に対する異なる視点をもつ複数のドローンが連携し得る。

【0029】

したがってこの方法は、既知の情報としては、車両に関する情報しか必要としない。統合するために、さらにドローンの位置が必要とされる。この位置は、典型的には飛行中に捕捉される。この方法はさらに加えて、空から特に良く認識可能なコントラストをもつマーキングが車両に付けられることで補助され得る。

【0030】

複数のドローンによって記録されたデータ、例えば画像を統合することにより、一つには、モデルの品質が改善され得る。もう一つには、１つの同じ車両を追跡するために複数のドローンが連携することもできる。車両が走っている道路のカテゴリーによっては、ドローンが飛行できるより速く車両が走行し得る。この場合には、車両が、１つのドローンの空間的捕捉範囲から別のドローンの空間的捕捉範囲に「引き渡」され得る。これは、移動する携帯電話利用者が、１つの無線セルから次の無線セルに引き渡されるのと少し似ている。

【0031】

車両に対するそれぞれのドローンの距離および／または向きについて確定された情報は、モデルの形成にだけでなく、このモデルを、車両の周辺環境センサシステムまたは周辺環境認知の基準座標系に変換するためにも利用され得る。

【0032】

特に有利な一形態では、モデルは、車両の周辺環境内の少なくとも１つの関心量の空間分布を含意する。例えば、このような空間分布のために、パラメータ化手法を行うことができ、この手法のパラメータは、記録されたデータまたはこのデータから導き出された情報を使って確定され得る。

【0033】

データまたは情報のモデルへの統合は、とりわけ例えば、データから関心量の方程式を確定し、これらの方程式から構成された連立方程式を解くことを含意し得る。その代わりにまたはそれと組み合わせて、これらの方程式において、未知数としての量のパラメータ化された分布のパラメータも生じ得る。この場合、各関心場所に対し、この場所で求められる量に関する情報が全体としてより多く存在していればいるほど、連立方程式がより多くの方程式を含む。この場合、例えば複数のドローンによってもたらされた情報の間の矛盾が、自動的に、このとき発生しているエラーが最小化されるように解消され得る。使える情報の密度は空間によって大きく変化し得る。つまり、非常に多くの情報が使える場所があり得るが、しかし非常に少ない情報しか使えない場所もあり得る。

【0034】

特に有利な一形態では、モデルは、関心量の空間分布としての、どの場所がどのタイプのオブジェクトに占有されているかという趣旨の、車両の周辺環境のセマンティックセグメンテーションを含意する。つまり、特定のタイプのオブジェクトによる占有が関心量であり、この関心量の空間分布が確定される。上で解説したように、特定のタイプのオブジェクトによる場所の占有は、車両の走行ダイナミクスへの介入についての決定の最も重要な根拠である。

【0035】

さらなる有利な一形態では、モデルへの統合は、データとしての画像から、写真測量により、車両の周辺環境内の少なくとも１つのオブジェクトの幾何形状を再構成することを含意する。このようにして、例えばオブジェクトの高さも確定され得ることにより、オブジェクトによる場所の占有が２次元だけでなく３次元で確定され得る。オブジェクトの影投射の大きさも、例えばオブジェクトの高さを確定するために利用され得る。

【0036】

さらなる有利な一形態では、モデルへの統合は、異なる時点で異なるドローンによって記録されたデータおよび／またはこれらのデータから導き出された情報を、これらの時点に基づいて相互に相関させることを含意する。例えば１つの同じ車両が、最初は第１のドローンの捕捉範囲を走行し、その後、第２のドローンの捕捉範囲を走行する場合、それぞれのドローンによるこの車両の両方の観察によるデータまたはこのデータから導き出された情報が、相互に計算処理され得る。

【0037】

この方法は、とりわけ、全体的にまたは部分的にコンピュータに実装され得る。したがって本発明は、１つまたは複数のコンピュータ上で実行される場合にこの１つまたは複数のコンピュータに前述の方法の１つを実行させる機械可読命令を有するコンピュータプログラムにも関する。この意味において、同様に機械可読命令を実行できる車両用制御機器および技術的機器用エンベデッドシステムも、コンピュータと見なされ得る。

【0038】

同様に本発明は、コンピュータプログラムを有する機械可読のデータ記憶媒体および／またはダウンロード製品にも関する。ダウンロード製品は、データネットワークを介して伝送可能な、つまりデータネットワークのユーザによってダウンロード可能な、例えばオンラインショップで即時ダウンロード用に売り出され得るデジタル製品である。

【0039】

さらに、コンピュータは、コンピュータプログラム、機械可読のデータ記憶媒体、またはダウンロード製品を有し得る。
以下では、本発明を改善するさらなる措置を、本発明の好ましい例示的実施形態の説明と共に、図に基づいて詳しく示す。

【図面の簡単な説明】

【0040】

【図1】車両１の周辺環境センサシステムおよび／または周辺環境認知の検査方法１００の例示的実施形態を示す図である。

【図2】モデル３の作成方法２００の例示的実施形態を示す図である。

【図3】方法１００の適用例としての交通状況１０を示す図である。

【発明を実施するための形態】

【0041】

図１は、車両１の周辺環境センサシステムおよび／または周辺環境認知の検査方法１００の１つの例示的実施形態の概略的なフロー図である。
ステップ１１０では、車両１の周辺環境の少なくとも一部のモデルデータ３が入手される。このモデルデータ３は、少なくとも１つの俯瞰視点からの車両１の周辺環境を特徴づけるデータを参照して作成された。

【0042】

ステップ１２０では、モデルデータ３が、車両１の周辺環境センサシステムおよび／または周辺環境認知の基準座標系１ａに変換される。
ステップ１３０では、変換されたモデルデータ３’が、周辺環境センサシステムもしくは周辺環境認知によってもたらされたセンサデータ２および／またはこのセンサデータの処理結果２ａと比較される。

【0043】

比較１３０の結果１３０ａから、ステップ１４０で、センサデータ２および／または処理結果２ａが車両１の周辺環境内の現実の状況とどれくらい一致しているかが評価される。一致の程度は符号４で表されている。

【0044】

ステップ１５０では、程度４および任意の基準に基づいて、センサデータ２および／または処理結果２ａが、車両１の周辺環境内の現実の状況とは一致していないかどうかが２値で判定される。これが一致していない（真偽値０）場合、ステップ１６０で、周辺環境センサシステムの少なくとも１つの追加的なセンサおよび／または少なくとも１つの追加的な周辺環境認知がアクティブ化され得る。その代わりにまたはそれとの組合せででも、ステップ１７０で、少なくとも１つの走行支援システムまたは少なくとも部分的な自動運転システムが、その機能的能力を制限または非アクティブ化され得る。さらに、その代わりにまたはそれと組み合わせて、ステップ１８０で、周辺環境センサシステムおよび／または周辺環境認知の挙動を特徴づけるパラメータが、センサデータ２および／または処理結果２ａを車両１の周辺環境内の現実の状況とより良く一致させる目標に向かって最適化され得る。

【0045】

比較１３０の枠内で、ブロック１３１に基づき、一方では変換されたモデルデータ（３’）に基づいて、他方では周辺環境認知に基づいて、同じタイプのオブジェクトが同じ場所にどれくらい存在するかが確定され得る。

【0046】

この関連でブロック１３１ａに基づき、一方での変換されたモデルデータ３’と、他方での周辺環境認知によってもたらされた処理結果２ａとの時間的同期の精度が確定され得る。ブロック１３１ｂに基づき、比較が、この精度に相応するタイムスパン内でそれぞれのオブジェクトがその位置および／または向きを変えない確率に、依存させられ得る。ブロック１３１ｃに基づき、時間的同期の精度に依存しない路面標示、車線境界線、建物、および／または樹木が、比較１３０に取り入れられ得る。上で解説したように、時間的同期の精度は受動的に測定され得るが、能動的に生成されてもよい。

【0047】

ブロック１３２に基づき、比較１３０は、変換されたモデルデータ３’に基づくどのオブジェクトがどの割合で、車両１の周辺環境センサシステムによって捕捉可能なのかという検査を含意し得る。

【0048】

図２は、車両１の周辺環境に関するモデル３の作成方法２００の１つの例示的実施形態の概略的なフロー図である。このモデル３は、前述の方法１００で使用するために用意される。

【0049】

ステップ２１０では、複数のドローン６ａ～６ｃの俯瞰視点からの車両１の周辺環境を特徴づけるデータ５ａ～５ｃ、例えば画像が入手される。
ステップ２２０では、これらのデータ５ａ～５ｃと、車両１の外観および／または幾何形状についての既知の情報１＊とに基づいて、車両１に対するそれぞれのドローン６ａ～６ｃの少なくとも１つの距離７ａ～７ｃおよび／または向き８ａ～８ｃが確定される。

【0050】

ステップ２３０では、これらの距離７ａ～７ｃおよび／または向き８ａ～８ｃに基づいて、データ５ａ～５ｃおよび／またはデータ５ａ～５ｃから導き出された情報がモデル３に統合される。

【0051】

ブロック２３１に基づき、モデル３は、車両１の周辺環境内の少なくとも１つの関心量の空間分布を含意し得る。
ブロック２３１ａに基づき、データ５ａ～５ｃから関心量の方程式が確定され得る。これらの方程式から構成された連立方程式が、その後、ブロック２３１ｂに基づいて解かれ得る。

【0052】

ブロック２３１ｃに基づき、モデル３は、関心量の空間分布としての、どの場所がどのタイプのオブジェクトに占有されているかという趣旨の、車両１の周辺環境のセマンティックセグメンテーションを含意し得る。

【0053】

ブロック２３２に基づき、モデル３への統合２３０は、データ５ａ～５ｃとしての画像から、写真測量により、車両の周辺環境内の少なくとも１つのオブジェクトの幾何形状を再構成することを含意し得る。

【0054】

ブロック２３３に基づき、モデル３への統合２３０は、異なる時点で異なるドローン６ａ～６ｃによって記録されたデータ５ａ～５ｃおよび／またはこれらのデータ５ａ～５ｃから導き出された情報を、これらの時点に基づいて相互に相関させることを含意し得る。

【0055】

図３は、方法２００に基づいてモデル３を作成するために３つのドローン６ａ～６ｃによって観察され得る例示的な交通状況１０を示している。交通状況１０は、
・横断歩道１４ａがある車道１４と、
・車道１４を走行しており、その周辺環境センサシステムおよび／または周辺環境認知が、作成されるモデル３によって後で検査される車両１と、
・車道１４を走行している２つのさらなる車両１１および１２と、
・車道１４の横断歩道１４ａを横断している歩行者１３と、
・車道１４の縁にある柱１５と
を含む。

【0056】

図３ａは側面図を示しており、図３ｂは俯瞰図を示している。この比較は、側面図より俯瞰視点からの方が、交通状況１０をかなり良く見通せており、交通状況がかなり明確に捕捉され得ることを示している。つまり例えば横断歩道１４ａは側面図では認識できず、車両１、１１、および１２がそれぞれ車道１４でどの方向に走行しているかも区別しにくい。

【0057】

図３ｃは、車両１１の運転者の視点からの交通状況１０を示している。ここでは、この視点からの視野が限定的であることだけで既に、明らかにより少ない情報しか提供されていない。横断歩道１４ａの左端も、柱１５も欠落しており、したがって運転者は、例えば左からもう一人の人物が横断歩道１４ａに入ってくるかどうか見ていない。前を走っている車両１２も欠落している。向かって来る車両１１のフロントしか見えておらず、よって例えばその長さは判断しにくい。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【手続補正書】

【提出日】2024-05-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

陸路または水路を走る車両（１）の周辺環境センサシステムおよび／または周辺環境認知を検査するための方法（１００）であって、
・前記車両（１）の周辺環境の少なくとも一部のモデルデータ（３）が入手されるステップ（１１０）であり、前記モデルデータ（３）が、少なくとも１つの俯瞰視点からの前記車両（１）の周辺環境を特徴づけるデータを参照して作成された、ステップ、
・前記モデルデータ（３）が、前記周辺環境センサシステムおよび／または周辺環境認知の基準座標系（１ａ）に変換されるステップ（１２０）、
・前記変換されたモデルデータ（３’）が、前記周辺環境センサシステムもしくは周辺環境認知によってもたらされたセンサデータ（２）および／または前記センサデータの処理結果（２ａ）と比較されるステップ（１３０）、
・前記比較（１３０）の結果（１３０ａ）から、前記センサデータ（２）および／または処理結果（２ａ）が、前記車両（１）の周辺環境内の現実の状況とどれくらい（４）一致しているかが評価されるステップ（１４０）を有する、方法（１００）。

【請求項2】

前記比較（１３０）の枠内で、一方では前記変換されたモデルデータ（３’）に基づいて、他方では前記周辺環境認知に基づいて、同じタイプのオブジェクトが同じ場所にどれくらい存在するかが確定される（１３１）、請求項１に記載の方法（１００）。

【請求項3】

・一方での前記変換されたモデルデータ（３’）と、他方での前記周辺環境認知によってもたらされた前記処理結果（２ａ）との時間的同期の精度が確定され（１３１ａ）、かつ
・前記比較（１３０）が、前記精度に相応するタイムスパン内でそれぞれの前記オブジェクトがその位置および／または向きを変えない確率に依存させられる（１３１ｂ）、請求項２に記載の方法（１００）。

【請求項4】

前記時間的同期の精度に依存しない路面標示、車線境界線、建物、および／または樹木が、前記比較（１３０）に取り入れられる（１３１ｃ）、請求項３に記載の方法（１００）。

【請求項5】

前記比較（１３０）が、前記変換されたモデルデータ（３’）に基づくどのオブジェクトがどの割合で、前記車両（１）の前記周辺環境センサシステムによって捕捉可能なのかという検査を含意する（１３２）、請求項１に記載の方法（１００）。

【請求項6】

前記センサデータ（２）および／または処理結果（２ａ）が、前記車両（１）の周辺環境内の現実の状況とは一致していないという判定（１５０）に応答して、
・前記周辺環境センサシステムの少なくとも１つの追加的なセンサおよび／もしくは少なくとも１つの追加的な周辺環境認知がアクティブ化され（１６０）、
・少なくとも１つの走行支援システムもしくは少なくとも部分的な自動運転システムが、その機能的能力を制限もしくは非アクティブ化され（１７０）、かつ／または
・前記周辺環境センサシステムおよび／もしくは周辺環境認知の挙動を特徴づけるパラメータが、前記センサデータ（２）および／もしくは処理結果（２ａ）を前記車両（１）の周辺環境内の現実の状況とより良く一致させる目標に向かって最適化される（１８０）、請求項１に記載の方法（１００）。

【請求項7】

請求項１に記載の周辺環境センサシステムおよび／または周辺環境認知を検査するための方法（１００）で使用するための、車両（１）の周辺環境に関するモデル（３）の作成方法（２００）であって、
・複数のドローン（６ａ～６ｃ）の俯瞰視点からの前記車両（１）の周辺環境を特徴づけるデータ（５ａ～５ｃ）が入手されるステップ（２１０）、
・前記データ（５ａ～５ｃ）と、前記車両（１）の外観および／または幾何形状についての既知の情報（１＊）とを参照して、前記車両（１）に対するそれぞれの前記ドローン（６ａ～６ｃ）の少なくとも１つの距離（７ａ～７ｃ）および／または向き（８ａ～８ｃ）が確定されるステップ（２２０）、
・前記距離（７ａ～７ｃ）および／または向き（８ａ～８ｃ）に基づいて、前記データ（５ａ～５ｃ）および／または前記データ（５ａ～５ｃ）から導き出された情報が前記モデル（３）に統合されるステップ（２３０）を有する、作成方法（２００）。

【請求項8】

前記モデル（３）が、前記車両（１）の周辺環境内の少なくとも１つの関心量の空間分布を含意する（２３１）、請求項７に記載の方法（２００）。

【請求項9】

前記モデルへの前記統合（２３０）が、前記データ（５ａ～５ｃ）から前記関心量の方程式を確定し（２３１ａ）、前記方程式から構成された連立方程式を解く（２３１ｂ）ことを含意する、請求項８に記載の方法（２００）。

【請求項10】

前記モデル（３）が、関心量の空間分布としての、どの場所がどのタイプのオブジェクトに占有されているかという趣旨の、前記車両（１）の周辺環境のセマンティックセグメンテーションを含意する（２３１ｃ）、請求項８に記載の方法（２００）。

【請求項11】

前記モデル（３）への前記統合（２３０）が、データ（５ａ～５ｃ）としての画像から、写真測量により、前記車両の周辺環境内の少なくとも１つのオブジェクトの幾何形状を再構成する（２３２）ことを含意する、請求項７に記載の方法（２００）。

【請求項12】

前記モデル（３）への前記統合（２３０）が、異なる時点で異なるドローン（６ａ～６ｃ）によって記録されたデータ（５ａ～５ｃ）および／または前記データ（５ａ～５ｃ）から導き出された情報を、前記時点に基づいて相互に相関させる（２３３）ことを含意する、請求項７に記載の方法（２００）。

【請求項13】

１つまたは複数のコンピュータ上で実行される場合に前記１つまたは複数のコンピュータに請求項１から１２のいずれか一項に記載の方法（１００、２００）を実行させる機械可読命令を含むコンピュータプログラム。

【請求項14】

請求項１３に記載のコンピュータプログラムを有する機械可読のデータ記憶媒体。

【請求項15】

請求項１３に記載のコンピュータプログラムを有する１つまたは複数のコンピュータ。

【請求項16】

請求項１４に記載の機械可読のデータ記憶媒体を有する１つまたは複数のコンピュータ。

【国際調査報告】