特表 2023-528940 自律車両のセンサの位置または向きを検証するための装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-06

(54)【発明の名称】自律車両のセンサの位置または向きを検証するための装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230629BHJP

   B60R 1/25 20220101ALI20230629BHJP

【ＦＩ】

G08G1/16 C

B60R1/25

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022575379

(86)(22)【出願日】2021-05-21

(85)【翻訳文提出日】2023-02-06

(86)【国際出願番号】 EP2021063647

(87)【国際公開番号】W WO2021249747

(87)【国際公開日】2021-12-16

(31)【優先権主張番号】20178711.6

(32)【優先日】2020-06-08

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】597007363

【氏名又は名称】クノル－ブレムゼ ジステーメ フューア ヌッツファールツォイゲ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｋｎｏｒｒ－Ｂｒｅｍｓｅ Ｓｙｓｔｅｍｅ ｆｕｅｒ Ｎｕｔｚｆａｈｒｚｅｕｇｅ ＧｍｂＨ

【住所又は居所原語表記】Ｍｏｏｓａｃｈｅｒ Ｓｔｒａｓｓｅ ８０， Ｄ－８０８０９ Ｍｕｅｎｃｈｅｎ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】イェネー ボーカ

(72)【発明者】

【氏名】ジョルト ドゥダシュ

(72)【発明者】

【氏名】タマーシュ ジェニシュ

(72)【発明者】

【氏名】ラースロー リンデンマイエル

(72)【発明者】

【氏名】フーバ ネーメト

(72)【発明者】

【氏名】サボー ローラーント

(72)【発明者】

【氏名】アンドラーシュ サッパノシュ

(72)【発明者】

【氏名】アダム セルレーシ

(72)【発明者】

【氏名】ダーニエル ヴェレシュ

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA02

5H181AA07

5H181BB17

5H181BB18

5H181CC04

5H181CC14

5H181LL09

(57)【要約】

自律車両（５０）の１つ以上のセンサ（５１０，５２０，．．．）の位置または向きを検証するための装置（１００）であって、１つ以上のセンサ（５１０，５２０，．．．）が、車両の周囲の連続的なセンサデータを提供し、装置が、連続的なセンサデータを比較するように、かつ連続的なセンサデータの偏差に基づいて、１つ以上のセンサ（５１０，５２０，．．．）のうちの少なくとも１つのセンサの位置または向きを検証するように構成された検証モジュール（１１０）を備える、装置。

【特許請求の範囲】

【請求項1】

自律車両（５０）の１つ以上のセンサ（５１０，５２０，．．．）の位置または向きを検証するための装置（１００）であって、前記１つ以上のセンサ（５１０，５２０，．．．）が前記車両の周囲の連続的なセンサデータを提供する、装置（１００）において、
前記連続的なセンサデータを比較するように、かつ前記連続的なセンサデータの偏差に基づいて、前記１つ以上のセンサ（５１０，５２０，．．．）のうちの少なくとも１つのセンサの位置または向きを検証するように構成された検証モジュール（１１０）が設けられていることを特徴とする、装置（１００）。

【請求項2】

前記連続的なセンサデータが、前記少なくとも１つのセンサの適正な位置または向きを示す較正データを含み、
前記検証モジュール（１１０）が、現在のセンサデータを前記較正データと比較するように構成されている、
請求項１記載の装置。

【請求項3】

前記検証モジュール（１１０）が、前記少なくとも１つのセンサの周囲におけるパターンを位置特定することによって、前記連続的なセンサデータを比較するように構成されている、請求項１または２記載の装置。

【請求項4】

前記検証モジュール（１１０）が、前記パターンとして前記車両（５０）の構造的特徴を位置特定するように構成されている、請求項３記載の装置。

【請求項5】

前記車両（５０）が、車両フレーム（５５）上のキャビン（５３）を備える商業用車両であり、前記キャビン（５３）および／または前記車両フレーム（５５）が、構造的特徴を含み、前記１つ以上のセンサ（５１０，５２０，．．．）が、前記キャビン（５３）上の少なくとも１つのセンサ（５２０，５３０，．．．）および／または前記車両フレーム（５５）上の少なくとも１つのセンサ（５４０，５５０，．．．）を含み、
前記検証モジュール（１１０）は、
前記少なくとも１つのセンサ（５１０，５２０，．．．）が前記キャビン（５３）に配置されている場合、前記キャビン（５３）の構造的特徴を位置特定するように、かつ／または、
前記少なくとも１つのセンサ（５４０，５５０，．．．）が前記車両フレーム（５５）に配置されている場合、前記車両フレーム（５５）の構造的特徴を位置特定するように、
構成されている、
請求項１から４までのいずれか１項記載の装置。

【請求項6】

前記車両（５０）が、牽引車両およびトレーラ（５７）を備える商業用車両の組み合わせであり、前記牽引車両および／または前記トレーラ（５７）が、構造的特徴を含み、前記１つ以上のセンサ（５１０，５２０，．．．）が、前記牽引車両上の少なくとも１つのセンサ（５２０，５３０，．．．）および／または前記トレーラ（５７）上の少なくとも１つのセンサ（５６０，５７０，．．．）を含み、
前記検証モジュール（１１０）は、
前記少なくとも１つのセンサ（５１０，５２０，．．．）が前記牽引車両に配置されている場合、前記牽引車両の構造的特徴を位置特定するように、かつ／または
前記少なくとも１つのセンサ（５６０，５７０，．．．）が前記トレーラ（５７）に配置されている場合、前記トレーラ（５７）の構造的特徴を位置特定するように、
構成されている、
請求項１から５までのいずれか１項記載の装置。

【請求項7】

前記検証モジュール（１１０）が、前記車両（５０）の運転状況を考慮するように構成されており、前記パターンは、
－道路標識、
－交通バリア、
－縁石、
－信号機、
のうちの１つである、請求項３から６までのいずれか１項記載の装置。

【請求項8】

前記１つ以上のセンサ（５１０，５２０，．．．）が少なくとも２つのセンサを備え、
前記検証モジュール（１１０）は、前記２つのセンサの一方によって提供される連続的なセンサデータを、前記２つのセンサの他方によって提供される連続的なセンサデータと比較するように構成されている、
請求項１から７までのいずれか１項記載の装置。

【請求項9】

前記１つ以上のセンサ（５１０，５２０，．．．）が複数のセンサであり、
前記検証モジュール（１１０）が、前記複数のセンサのうちの１つのセンサの位置または向きを、前記複数のセンサのうちの別のセンサのセンサデータによって検証するように構成されている、
請求項１から８までのいずれか１項記載の装置。

【請求項10】

自動運転タスクを行うために、車両の周囲の連続的なセンサデータを提供する１つ以上のセンサ（５１０，５２０，．．．）を備える車両において、
請求項１から９までのいずれか１項記載の装置（１００）が設けられている
ことを特徴とする、車両。

【請求項11】

前記車両（５０）が、トレーラ（５７）を有するかまたは有さない商業用車両である、請求項１０記載の車両。

【請求項12】

前記車両（５０）の周囲をセンシングするための前記１つ以上のセンサ（５１０，５２０，．．．）が、
－ミラー置換センサ、
－下向きカメラ、
－前向きカメラ、
－サラウンドビューカメラ、
－レーダーセンサ、
－ＬｉＤＡＲセンサ、
－超音波センサ、
のうちの１つ以上を備える、請求項１０または１１記載の車両。

【請求項13】

自律車両（５０）のセンサ位置を検証するための方法において、前記車両（５０）が、前記車両の周囲の連続的なセンサデータを提供する１つ以上のセンサ（５１０，５２０，．．．）を備え、
－前記連続的なセンサデータを比較すること（Ｓ１１０）と、
－前記連続的なセンサデータの偏差に基づいて、前記１つ以上のセンサのうちの少なくとも１つの位置または向きを検証すること（Ｓ１２０）と
が含まれることを特徴とする、方法。

【請求項14】

コンピュータプログラムがコンピュータまたはデータ処理装置上で実行される際に、請求項１３記載の方法を実行するためのプログラムコードを有する、コンピュータ製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律車両のセンサの位置または向きを検証するための装置および方法と、１つ以上のセンサおよび当該装置を備える車両と、特にオンザフライでのセンサ位置の検証とに関する。

【0002】

自律運転または自動運転タスクを行うために、車両は一般的に、周囲の幾つかの様相を知覚するように適応化された様々なセンサを有する。このようなセンサとしては、（例えば、後向きミラー置換カメラ、前向きまたは下向きカメラとして）特定の方向を向いたカメラ、サラウンドビューを提供するカメラ、赤外線または暗視カメラのような熱センサ、およびレーダーまたはＬｉＤＡＲ装置のような飛行時間型センサを挙げることができる。

【0003】

これらのセンサの適正な位置または向きは、信頼性の高い性能のために不可欠である。一般に、センサは、特定の時点で較正および再較正され、これらの動作は、較正プロセス中に想定された位置合わせの持続性に依存する。例えば、カメラが意図せずに移動された場合に、その外因的な較正パラメータを許容できなくなる。センサの位置または向きの変化は、例えば車両やカメラマウントのわずかな衝突の結果として急に起きることもあれば、例えば不完全な取り付けや振動に起因して緩やかに起きることもある。いずれの場合もそれぞれのセンサはデータを提供し続けることがあり、これにより、欠陥が気づかれないと、センサデータが収集される自律または自動タスクの不規則性、誤り、場合によっては障害がもたらされることがある。

【0004】

これらの理由から、センサの位置または向きの検証を行うことができるシステムが必要とされている。有利なことに、こうしたシステムは、さらなるセンサまたはさらなる物理的な機器を自律車両に設置する必要がない。

【0005】

これらの問題の少なくとも一部が、請求項１のシステム、請求項９の車両、請求項１１の方法、および請求項１２のコンピュータ製品によって対処される。従属請求項は、独立請求項の主題をさらに有利に実現するものである。

【0006】

本発明は、自律車両の１つ以上のセンサの位置または向きを検証するための装置に関し、１つ以上のセンサは、車両の周囲の連続的なセンサデータを提供する。装置は、連続的なセンサデータを比較するように、かつ連続的なセンサデータの偏差に基づいて、１つ以上のセンサのうちの少なくとも１つのセンサの位置または向きを検証するように構成された検証モジュールを備える。

【0007】

センサの精密性は、この装置が動作する基本方式には関係しない。むしろ、センサデータは、電磁周波数（光学、赤外線、無線など）または音響周波数（超音波など）のすべての範囲での検出により得ることができる。連続的な、という形容詞は広義に解され、例えば、不定期での続行、離散的繰り返しでの続行、または継続的な続行に関していてよい。検証モジュールは、１つのセンサのセンサデータを個々に、かつ／または異なるセンサ間について、かつ特定のかつ／または異なる時間について比較を行うことができ、この場合、検証モジュールは、有利には、センサデータの少なくとも一部を記憶および取得するように構成されるであろう。センサデータの偏差は、異なる時間に作成されるかつ／または異なるセンサによって提供される、センサのうちの１つの位置または向きに関する情報を持つ、センサデータの任意の差であってよい。位置または向きの検証は、２値の結果（所定位置にあるセンサ／所定位置にないセンサ）を有することができ、またはより詳細な結果（例えば、センサの現在の向きを詳細に示す角度）を導くことができる。検証は、閾値および／または予め定義された許容範囲に関連して行うことができ、かつ／またはセンサ変位の重大性に関する推定値を形成することができる。比較および／または検証は、例えば、継続的に、新しいセンサデータの到着時に、運転者または車両内の別のシステムによる要求に応じて、かつ／または何らかの定期的なタイムスケジュールに従って、行われうる。位置の検証に際して、検証モジュールは、例えば車両が始動した後に取り込まれた最初のセンサデータが依然として適正な位置で導き出されていると想定し、これらの初期データと後のセンサデータを比較するように構成されていてよい。実施形態では、比較のために記憶されたデータが定期的な更新に供されることを規定することもできる。

【0008】

なお、任意選択手段として、連続的なセンサデータは、センサの適正な位置または向きを示す較正データを含むことができ、この場合、検証モジュールは、現在のセンサデータを較正データと比較するように構成することができる。

【0009】

較正データは、較正プロセスにおいて生成される。較正データを保持することの利点は、車両が運転されていなくても、（例えば数日間にわたる）緩やかな劣化を検出できることであり、したがって、このような較正データが存在する場合に、検証モジュールは、このデータを比較のために記憶および／または取得のいずれかを行うように構成されてもよい。

【0010】

任意選択手段として、検証モジュールは、センサの周囲におけるパターンの位置特定を含む手段によって、連続的なセンサデータを比較するように構成される。

【0011】

パターンの位置特定は、標準的なパターン認識アルゴリズムによって達成することができる。比較によるセンサの位置または向きの検証に適したパターンは、車両上の固定位置における特徴を含むことがあるが、特に車両が静止しているときに、車両外の特徴を含むこともある。ある特徴が幾つかのセンサによって提供されるデータに含まれる場合、あるセンサによって提供されるデータにおけるこの特徴の位置特定と他の１つのセンサ、有利には２つ以上のセンサによって提供される位置特定との偏差も、検証のために採用されうる。このことは、時間経過に伴う位置特定の差の比較も含みうる。

【0012】

任意選択手段として、検証モジュールは、車両の構造的特徴であるパターンを位置特定するように構成されている。特に、このようなパターンは、センサの較正にも採用される固定点、例えば、エッジ、ミラーまたは溝の位置のような、その形状の一部、別のセンサ、光、またはテキストの記されたもしくははっきりと着色された領域のようなデザイン要素であってもよい。

【0013】

特に、すべての位置にある、サーマルレンジカメラを含むすべてのカメラタイプを、トラックがフィードと交差する場所で個々に検証することができる。センサの相互較正の検証も、オフラインおよびオンラインで可能である。例えば、ＬｉＤＡＲセンサと可視光カメラとをクロスチェックすることができ、これは、ＬｉＤＡＲ点群クラスタリング、セグメンテーションおよびフレーム逆投影によって行うことができる。

【0014】

任意選択手段として、車両が車両フレーム上のキャビンを備える商業用車両である場合、検証モジュールは、キャビンに配置されたセンサのためにキャビンの構造的特徴を、車両フレームに配置されたセンサのために車両フレームの構造的特徴を位置特定することにより、連続的なセンサデータを比較するように構成される。

【0015】

キャビン（または運転室）は特に、（例えば空気ベローズによって）フレーム上で空中に浮かされてもよい。このような場合、キャビンは、車両フレームに対して移動することができる。多くの場合、ＬｉＤＡＲやレーダーセンサなどの車両の姿勢を検出するためのセンサは、車両フレームに配置され、例えばミラー置換用のセンサなどは、キャビンに剛的に取り付けられる。キャビンと車両フレームとの相対的な運動による影響を回避するために、検証モジュールは、センサデータの変化を検証するときにセンサのそれぞれの位置を考慮してもよい。

【0016】

任意選択手段として、車両がトレーラ上の牽引車両を含む商業用車両である場合、検証モジュールは、牽引車両に配置されたセンサに対しては牽引車両の構造的特徴を位置特定するように、またトレーラに配置されたセンサに対してはトレーラの構造的特徴を位置特定するように構成されている。

【0017】

このことは、前述の場合と同様に、特に商業用車両が運転されている間の、トレーラに対する牽引車両の相対的な運動に起因する場合に有利でありうる。

【0018】

任意選択手段として、検証は、車両の運転状況を考慮し、パターンは、（例えば、走行車線標識のような）道路標識、（クラッシュレールもしくはガードレールまたは保護柱のような）交通バリア、縁石または信号機である。

【0019】

自律車両は、異なる運転状況の間で動作を区別することが多く、例えば、高速道路上の商業用車両、または信号機で待機している車両のような状況は、検証モジュールが較正評価を行うために十分安定でありうる。このような状況は特に、同じ特徴またはパターンを観察するセンサ間の相互較正を行うために採用されてもよい。

【0020】

任意選択手段として、車両が少なくとも２つのセンサを備える場合、検証モジュールは、２つのセンサの一方によって提供される連続的なセンサデータを、２つのセンサの他方によって提供される連続的なセンサデータと比較するように構成されている。

【0021】

上述したように、ここでの相互較正は、２つのセンサがそれぞれの視野において共通の特徴、物体またはパターンを検出する場合に行われうる。これは、例えばＬｉＤＡＲセンサと可視光カメラとの間のクロスチェックのような、ＬｉＤＡＲ点群クラスタリング、適切なセグメンテーションおよびフレーム逆投影などの技術に関連しうる異なるタイプのセンサについても採用されうる。

【0022】

任意選択手段として、車両が複数のセンサを備える場合に、検証モジュールは、複数のセンサのうちの１つのセンサの位置または向きを、複数のセンサのうちの別のセンサのセンサデータによって検証するように構成される。

【0023】

このことは特に、何らかの理由で、センサが位置合わせ不良であったり脱落したりしている状況のように、１つのセンサが適切なセンサデータを生成しない場合に有益でありうる。こうした措置に適した自律車両上の複数のセンサの典型的なセットとしては、サラウンドビューシステム、または安全上の理由などから冗長化されたセンサが挙げられる。

【0024】

実施形態は、自動運転タスクを行うために車両の周囲の連続的なセンサデータを提供する１つ以上のセンサと、上記の説明による装置とを備える車両についても言及する。

【0025】

任意選択手段として、車両は商業用車両である。

【0026】

任意選択手段として、車両のセンサは、
－ミラー置換または後向きセンサ（例えば、カメラ）、
－下向きカメラ、
－前向きカメラ、
－横向きカメラ、
－サラウンドビューカメラ、
－レーダーセンサ、
－ＬｉＤＡＲセンサ、
－超音波センサ、
のうちの１つ以上を備える。

【0027】

商業用車両では、ミラー置換カメラおよび下向きカメラは通常キャビンに配置されており、これに対してレーダー、ＬｉＤＡＲおよび超音波センサは車両フレームに設置されている。特に後向きセンサおよび下向きセンサはトレーラにも存在することがある。牽引車両に配置された装置は、トレーラが牽引車両に取り付けられている場合、トレーラ上のセンサを自動的に検出し、そのデータストリームにアクセスするように構成されうる。

【0028】

本発明は、車両の周囲の連続的なセンサデータを提供する１つ以上のセンサを備える自律車両のセンサ位置を検証するための方法にも関する。方法は、
－連続的なセンサデータを比較するステップと、
－連続的なセンサデータの偏差に基づいて、１つ以上のセンサのうちの少なくとも１つの位置または向きを検証するステップと、
を含むことを特徴とする。

【0029】

方法は、例えば、後方確認（例えばミラー置換）カメラ、下方確認サラウンドビューカメラ、サーマルカメラ、および／またはＬｉＤＡＲやレーダー装置のような飛行時間型センサなど、それぞれの視野に自車両が入る、ほとんどの環境知覚センサに適用することができる。

【0030】

方法は、センサ位置の変化に起因する変化を検出することにより、トラックまたはトレーラのセンサ位置を検証する。センサの転位を検出した後に、運転者または修理工場によってセンサ設定を補正するための警告を発することができる。

【0031】

本発明はさらに、ソフトウェアコードを載せたコンピュータ製品に関し、ソフトウェアコードは、データ処理システムによって処理される場合に、データ処理システムが上述した方法を実行するように適応化されている。特に、本発明の実施形態は、ＥＣＵ内のソフトウェアまたはＥＣＵのソフトウェアモジュールによって実装されてもよい。

【0032】

システムおよび／または方法の幾つかの例を、例としてのみ、また添付の図に関して、以下で説明する。

【図面の簡単な説明】

【0033】

【図1】自律車両のセンサの位置または向きを検証するための装置を示す図である。

【図2】商業用自律車両に存在する幾つかのセンサの位置または向きを検証するための装置の、より詳細な実施形態を示す図である。

【図3】センサの位置または向きの比較および検証のためのセンサデータにおける特徴の重ね合わせを示す図である。

【図4】センサにおけるフィードの相関変化によりオンライン検証を行うための、テンプレートマッチングによるセンサデータの比較を示す図である。

【図5】自律車両のセンサの位置または向きを検証するための方法のステップを示す図である。

【0034】

図１は、商業用自律牽引車両（trailing vehicle）５０のセンサの位置または向きを検証するための装置１００を示す。車両５０は、本実施形態では、表されている破線によってその視野が示されている後向きカメラである、センサ５１０を備える。センサ５１０は、車両５０の周囲の連続的なセンサデータ（この場合、カメラ画像）を提供する。センサデータは特に、車両のエッジ５４から生じるパターンを含む。装置１００は、センサデータにアクセスするように構成されており、連続的なセンサデータの比較１１３と、（この実施形態ではセンサデータによって伝達される画像内のエッジ５４の位置である）連続的なセンサデータの偏差に基づく、センサの位置または向きの検証１１７とを行うように構成された検証モジュール１１０を備える。

【0035】

図２は、商業用自律車両５０に典型的に存在する、センサ５１０，５２０，．．．の位置または向きを検証するための装置１００の一実施形態を示す。車両５０は、キャビン５３および車両フレーム５５を備えた牽引車両（towing vehicle）と、トレーラ５７とを備える。キャビンは特に、とりわけ、後向きカメラ５１０、前向きカメラおよびレーダー５２０、ならびにサラウンドビュー魚眼カメラ５３０を備える。車両フレームは特に、前方向を中心とする広角レーダーセンサ５４０と、横方向のための同様のレーダーセンサ５５０とを、それぞれの視野をオーバーラップさせてホストする。トレーラは、キャビン上の魚眼カメラ５３０と一緒に車両のサラウンドビューを多面的に提供する、より多くの幾つかの魚眼カメラ５６０，５７０を備える。さらに、トレーラには、一対の後向きＬｉＤＡＲセンサ５８０，５９０が示されている。トレーラおよび／または牽引車両は、この図に詳しく示されていないさらなるセンサを備えていてもよい。

【0036】

言及されたセンサ５１０，５２０，．．．を含む車両のセンサは、様々な自律運転および自動運転タスクのためのそれぞれのセンサデータを反復的に提供する。センサデータは、装置１００によって取り出され、検証モジュール１１０に提供される。この実施形態の検証モジュール１１０は単一のデータ処理ユニットとして構成されているが、幾つかのこうしたユニットに分散されてもよく、車両５０の既存の電子制御ユニットと様々な程度に組み合わされてもよい。

【0037】

本実施形態では、検証モジュール１１０は、幾つかの方法でセンサデータを比較および検証する。１つの方法は、場合によってはセンサの較正情報を含む、個々のセンサのデータを記憶し、センサの位置合わせ不良または変位に起因する偏差を認識するために、そのセンサの現在のデータを記憶された当該データと比較することによる。例えば、キャビン５３に設置された後向きカメラ５１０の画像を従前のこうした画像と比較することができ、例えばエッジ５４の位置のような、キャビン５３の構造パターンの位置特定を評価することができる。比較された画像におけるエッジ５４の位置が特定の閾値を超える程度に逸脱する場合に、後向きカメラ５１０の不正確な向きに関する警告を、例えば運転者のために、自律車両５０の上位システムのために、または例えば修理工場のような車両５０から離れた場所のために発してもよい。ここでは車両のエッジ５４である構造パターンは、ここでは後向きカメラ５１０であるセンサと剛的に接続されている車両５０の一部（キャビン５３）について観察される。

【0038】

別の方法として、車両の他のセンサによって直接に観察されるセンサの位置または向きを直接に検証することができる。示されている実施形態では、魚眼カメラ５３０は、後向きカメラ５１０の画像に現れ、したがって、後向きカメラ５１０の画像は、魚眼カメラ５３０の位置または向きの偏差を直接に検出するために役立てられうる。再び、ここでは後向きカメラ５１０と魚眼カメラ５３０の場合のような、センサ間の剛的な接続が有利である。

【0039】

別の手法は、少なくとも２つの異なるセンサによって同時に観察される、自車両５０の上または外のいずれかの特徴に関連する。異なるセンサのセンサデータにおけるこうした特徴の相対的な位置特定を比較および検証することができる。この場合、適切なパターン認識により、一時的に見えるにすぎない特徴さえも利用することができる。

【0040】

例えば、２つの魚眼カメラ５６０，５７０は両方とも、例えばカーブにおいて、または牽引車両とトレーラ５７との間に角度が存在する他の状況において、牽引車両の車両フレーム５５の後部泥除けの外観を提供しうる。２つのカメラ５６０，５７０のそれぞれによって提供される画像における泥除けのエッジの位置特定間の差を従前に決定された差と比較することができ、変化が生じたことにより、２つのカメラ５６０，５７０の一方の少なくとも潜在的な変位が報知される。車両の他の特徴は、代替的にまたはクロスチェックとしてのいずれかで採用可能である。魚眼カメラ５６０，５７０はトレーラに剛的に接続されており、２つのカメラ５６０，５７０がトレーラ５７の構造、例えば側方アンダーランプロテクション５８上の点などを観察する角度が、牽引車両の泥除けの構造よりも、センサ較正の監視のためのより安定した目印として機能することがある。

【0041】

また、検証モジュールは、車両から離れた物体または標識を採用するように構成されていてもよい。このことは、それぞれのセンサデータに車両構造を特徴として含まないセンサの場合に特に有利となることがある。本実施形態では、後部ＬｉＤＡＲセンサ５８０，５９０の２つが共にそれぞれの視野に特定の街路保護柱７０を位置特定する状況が示されており、これを、２つのＬｉＤＡＲセンサ５８０，５９０の視線間の角度の差を決定するために採用することもできる。これと、特に示されている保護柱とは異なる物体から取得されうる２つの視線の従前のデータまたは較正データとの比較を、２つのＬｉＤＡＲセンサ５８０，５９０の較正の監視に役立てることができる。交通における測位に役立つ物体は、特にその認識が他の自動運転タスクの文脈でセンサフィードにおいて既に実施されており、較正検証に直ちに利用可能となっている場合、こうした検証に特に有利でありうる。

【0042】

上述したのと同様の位置または向きのチェックを、さらに、前向きカメラ５２０のために、広角レーダーセンサ５３０，５４０のために、また車両５０の他のセンサのために構成することもできる。

【0043】

図３は、商業用車両５０のセンサ（例えば後向きカメラ５１０）の位置または向きを比較および検証するための一実施形態として、センサデータにおける特徴の重ね合わせの様子を示す。この図の左側には、例えばミラー置換センサのような外受容性の後向きセンサによって捕捉された、キャビン５３およびトレーラ５５を有する商業用車両５０の部分を含む画像が表示されている。

【0044】

実施形態によれば、例示的なカメラの適正な位置または向きの検証のために、キャビン５３（またはトレーラ５５）のパターン５１７が使用される。この実施形態では、パターン５１７は、適正な向きのパターン構造として記憶できる、キャビン５３の様々なエッジ／溝および表示またはラベル（例えば広告文章またはロゴタイプ）を含む。検証モジュールは特に、幾つかの方法またはアルゴリズムが知られているパターン認識を行うように構成されていてよい。次いで、現在のパターン構造と記憶されているパターン構造とを重ね合わせ、画像が一致するかどうかを確認することにより、例えば捕捉された現在の画像と記憶されているパターン構造とにおける様々なエッジ／溝が同じ位置にあることを確認することにより、検証を行うことができる。このことは、右側に示されており、車両のキャビンの溝および広告文章から生じる、強調された構造的特徴５１７を有する画像の一部のみが表示されている。これらの構造的特徴５１７の位置は、例示的なカメラの位置合わせを検証するために、後続の画像においても対応する位置と比較することができる。検証は、偏差に対する平行移動および／または回転の自由度における閾値または許容値に関連して行うことができ、検証モジュールは、例えば運転者のために、上位システムのために、または例えば修理工場のように車両から離れた目的地のために、情報を送信し、かつ／または警告を作動させるように構成されうる。

【0045】

図４は、図３の外受容性の後向きセンサ５１０のフィードにおける相関変化によるオンライン検証のための、テンプレートマッチングによる検証モジュールにおけるセンサデータの比較を示す。パターンマッチングの方法は、検証モジュールが、例えばＶ２Ｉ通信またはモバイル通信によって、入力データを取得できるテンプレートによるデータとセンサデータとを一致させることを含むことができる。本図では、検証モジュールによって行われるパターンマッチングアルゴリズムが、Ｖ２Ｉ通信またはモバイル通信によって得られたテンプレート８０を用いて、ロゴタイプ５１８を認識する。パターンマッチングという用語は広義に解され、熱パターンのための方法も含みうる。図の右側は、画像中の特定の構造のマッチング強度マップを示している。こうしたマップ上の点またはピクセルは、色または強度コードに従って描かれており、値が大きいほど、比較されている２つの画像のより良好な一致を表す。ロゴタイプ５１８の部分が、図の右側に表示されたコードに従って、現在のセンサ画像（中央の画像）と記憶された較正基準構造（左側の画像）についてマッチングされる、例示的な場合が示されている。

【0046】

図５は、車両の周囲の連続的なセンサデータを提供する１つ以上のセンサを備える自律車両５０のセンサ位置を検証するための方法のステップを示す。この方法の第１のステップは、連続的なセンサデータを比較することＳ１１０を含む。ここでの比較Ｓ１１０は、異なる時点で個々のセンサによって提供されるセンサデータについて、かつ／または、同じ時間および異なる時間の両方で異なるセンサによって提供されるセンサデータについて行うことができる。連続的なセンサデータを比較することＳ１１０は特に、較正データに関連して行うこともできる。変化を検出するために、例えばビデオカメラのような車載環境知覚センサを採用して、自車両の形状およびテクスチャを使用して特徴を見つけ、従前の較正されたセンサ信号と比較することによって、センサおよび車両の他のセンサの適切な位置および向きをクロスチェックすることができる。

【0047】

当該方法は、コンピュータによって実装される方法であってよい。当業者であれば、プログラムされたコンピュータによって上述した様々な方法のステップを行いうることを容易に認識するであろう。実施形態は、機械またはコンピュータによって読み出し可能であり、機械またはコンピュータによって実行可能な命令のプログラムをコード化した、プログラム記憶装置、例えばデジタルデータ記憶媒体をカバーすることも意図しており、命令は、コンピュータまたはプロセッサ上で実行される際に上述した方法の行為の一部または全部を行う。

【0048】

明細書および図面は、単に本開示の基本方式を説明するものである。ゆえに、当業者は、本明細書で明示的に説明または示されていないが開示の基本方式を具現化しその範囲に含まれる様々な構成を考案できることを理解するであろう。

【0049】

さらに、各実施形態は、それ自体が別個の例として成立しうるが、他の実施形態では、定義された特徴を異なるように組み合わせることができること、すなわち、ある実施形態で説明された具体的な特徴を他の実施形態で実現してもよいことに留意されたい。このような組み合わせは、特定の組み合わせが意図されていないことが記載されていない限り、本明細書の開示によってカバーされる。

【0050】

図に示されている様々な要素の機能がプロセッサによって提供される場合、単一の専用プロセッサによって、単一の共有プロセッサによって、またはそのうちの幾つかが共有可能な複数の個別のプロセッサによって提供可能である。また「プロセッサ」または「電子制御ユニット」という用語の明示的な使用は、ソフトウェアを実行できるハードウェアのみを指すと解釈されるべきではなく、以下に限定されるものでないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを記憶するためのリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性記憶装置を暗黙的に含みうる。従来のかつ／または特別仕様の他のハードウェアも含まれうる。

【符号の説明】

【0051】

５０ 車両
５３ 牽引車両（トラクタ）のキャビン
５４ エッジ
５５ 牽引車両の車両フレーム
５６ 車両フレームの後部泥除け
５７ トレーラ
５８ トレーラのアンダーランプロテクション
７０ 街路保護柱
８０ ロゴタイプテンプレート
１００ センサの位置または向きを検証するための装置
１１０ 検証モジュール
１１３ 連続的なセンサデータの比較
１１７ センサ位置の検証
５１０ 後向きカメラ
５１７ センサデータにおける車両の構造的特徴
５１８ センサデータにおける車両のロゴマーク
５２０ 前向きカメラおよびレーダー
５３０ キャビン上のサラウンドビュー魚眼カメラ
５４０，５５０ 牽引車両フレーム上の広角レーダーセンサ
５６０，５７０ トレーラ上のサラウンドビュー魚眼カメラ
５８０，５９０ トレーラ上の後向きＬｉＤＡＲセンサ
Ｓ１１０，Ｓ１２０ 方法のステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】