(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-12
(45)【発行日】2025-03-21
(54)【発明の名称】車両のカメラの光学的な遮断を検出する方法及び車両を動作させる方法
(51)【国際特許分類】
G06V 20/56 20220101AFI20250313BHJP
G07C 5/00 20060101ALI20250313BHJP
B60W 60/00 20200101ALI20250313BHJP
G06F 11/07 20060101ALI20250313BHJP
G06T 7/00 20170101ALI20250313BHJP
G03B 15/00 20210101ALI20250313BHJP
H04N 23/60 20230101ALI20250313BHJP
【FI】
G06V20/56
G07C5/00 Z
B60W60/00
G06F11/07 160
G06F11/07 140R
G06T7/00 300F
G03B15/00 V
H04N23/60 500
(21)【出願番号】P 2024513351
(86)(22)【出願日】2022-07-21
(86)【国際出願番号】 EP2022070558
(87)【国際公開番号】W WO2023030752
(87)【国際公開日】2023-03-09
【審査請求日】2024-05-10
(31)【優先権主張番号】102021004414.2
(32)【優先日】2021-08-31
(33)【優先権主張国・地域又は機関】DE
【早期審査対象出願】
(73)【特許権者】
【識別番号】598051819
【氏名又は名称】メルセデス・ベンツ グループ アクチェンゲゼルシャフト
【氏名又は名称原語表記】Mercedes-Benz Group AG
【住所又は居所原語表記】Mercedesstrasse 120,70372 Stuttgart,Germany
(74)【代理人】
【識別番号】100176946
【氏名又は名称】加藤 智恵
(74)【代理人】
【識別番号】110003649
【氏名又は名称】弁理士法人真田特許事務所
(72)【発明者】
【氏名】ケーラー マルテ ジョナス
(72)【発明者】
【氏名】ハマー マーティン
(72)【発明者】
【氏名】ジンクラー ステファン
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2018-207458(JP,A)
【文献】特開2016-134804(JP,A)
【文献】国際公開第2018/028974(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06V 20/56
G06T 7/00
G08G 1/00
H04N 7/18
H04N 23/00
G07C 5/00
B60W 60/00
G06F 11/07
G03B 15/00
(57)【特許請求の範囲】
【請求項1】
車両(1)のカメラの光学的な遮断を検出する方法において、
-前記カメラを用いて、前記車両(1)の周囲環境から静的なシーンの画像(B)が記録され、
-前記画像(B)の記録中に、現在の記録条件が決定され、
-前記記録された画像(B)は、車外サーバ(2)から取得されるとともに複数の車両によって同一又は類似の前記記録条件下で記録された同一の前記静的なシーンの記録に基づく参照画像と比較され、
-前記記録された画像(B)と前記参照画像との間の画像特徴の偏差が所定の許容度を上回る場合、前記偏差は、前記カメラの光学的な遮断の兆候として評価される
ことを特徴とする、方法。
【請求項2】
前記記録条件として、場所、時刻、光状況、天候情報、前記車両(1)の向き、及び/又は前記カメラの視野範囲が決定される
ことを特徴とする、請求項1記載の方法。
【請求項3】
前記画像特徴として、明るさ、識別されたエッジの数、前記識別されたエッジのシャープネス、均質性、及び/又は色情報が考慮される
ことを特徴とする、請求項1記載の方法。
【請求項4】
前記画像特徴として、
-前記画像(B)全体における明るさ、前記参照画像全体における明るさ、及び/若しくは前記画像(B)及び前記参照画像の個々の画像領域における明るさ、
-前記画像(B)全体及び前記参照画像全体において識別されたエッジの数、及び/若しくは前記画像(B)及び前記参照画像の個々の画像領域において識別されたエッジの数、
-前記画像(B)全体及び前記参照画像全体において識別されたエッジのシャープネス、及び/若しくは前記画像(B)及び前記参照画像の個々の画像領域において識別されたエッジのシャープネス、
-前記画像(B)及び前記参照画像の個々の画像領域における均質性、並びに/又は、
-前記画像(B)及び前記参照画像の個々の画像範囲にわたり平均化された色情報、
が考慮される
ことを特徴とする、請求項3記載の方法。
【請求項5】
前記参照画像は、前記複数の車両によって同一又は類似の前記記録条件下で記録された同一の前記静的なシーンの前記記録の平均化された画像情報を基礎としている
ことを特徴とする、請求項1記載の方法。
【請求項6】
前記画像(B)の個々の画像範囲において識別されたエッジの数が、前記参照画像の対応する画像範囲において識別されたエッジの数と比較して、前記所定の許容度を上回って少ないことは、前記カメラの前記光学的な遮断の兆候として評価される
ことを特徴とする、請求項3記載の方法。
【請求項7】
前記画像(B)全体の均質性が、前記参照画像全体の均質性と比較して、前記所定の許容度を上回って高いことは、前記カメラの光学的な遮断の兆候として評価される
ことを特徴とする、請求項3記載の方法。
【請求項8】
前記記録された画像(B)は、車外サーバ(2)に送信され、前記複数の車両によって同一又は類似の前記記録条件下で記録された同一の前記静的なシーンの記録に加えられる
ことを特徴とする、請求項1記載の方法。
【請求項9】
前記カメラの光学的な遮断の兆候がある場合、
前記評価に続き、追加的に、前記車両(1)の前記カメラの光学的な遮断を検出するため
の方法
であって、前記評価とは異なる方法が実施される
ことを特徴とする、請求項1記載の方法。
【請求項10】
自動化された走行動作を実施するように構成されている車両(1)を動作させる方法において、請求項1~9のいずれか一項記載の方法が実施され、前記車両(1)のカメラの光学的な遮断の兆候がある場合、走行動作の自動化レベルが低減されるか、又は運転タスクが前記車両(1)のドライバーに引き渡される、
ことを特徴とする、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両のカメラの光学的な遮断を検出する方法及び車両を動作させる方法に関する。
【背景技術】
【0002】
独国特許出願公開第102019002847号明細書から、車両の周囲検出センサを検査する方法が公知である。車両は、ディジタルマップにおいて位置特定され、そのディジタルマップにおいて、車両の周囲環境の、格納されている静的なオブジェクトであって、周囲検出センサによって識別されることが想定されるオブジェクトの特徴が識別される。車両の周囲環境は更に、周囲検出センサによって検出され、識別されることが想定される特徴が周囲検出センサによって識別されない場合、又は周囲検出センサによって実際に識別された特徴が、識別されることが想定される特徴から大きく逸脱する場合、周囲検出センサの劣化が推定される。格納された静的なオブジェクトの特徴を有するディジタルマップは、所定の予測区間のために、車外の中央ストレージユニットから取得される。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、車両のカメラの光学的な遮断を検出する新規の方法及び車両を動作させる新規の方法を提供することである。
【課題を解決するための手段】
【0004】
この目的は、本発明によれば、請求項1に記載の特徴を有する、車両のカメラの光学的な遮断を検出する方法と、請求項10に記載の特徴を有する、車両を動作させる方法と、によって達成される。
【0005】
本発明の有利な実施形態は、従属請求項の主題である。
【0006】
本発明によれば、車両のカメラの光学的な遮断を検出する方法において、カメラを用いて、車両の周囲環境から静的なシーンの画像が記録される。静的なシーンとは、特に、シーン内に動的なオブジェクトが存在しないこと、従って特に、移動するオブジェクト又は移動可能なオブジェクトが存在しないこと、特に、例えば他の車両又は歩行者のような他の道路利用者が存在しないことを意味する。更に、画像の記録中に、現在の記録条件が決定される。記録された画像は、参照画像、即ち、カメラを用いて静的なシーンを記録する際に想定される画像と比較される。この参照画像は、車外サーバから取得される(呼び出される)。参照画像は、複数の車両によって同一又は類似の記録条件下で記録された同一の静的なシーンの記録に基づいている。ここで特に、類似の記録条件とは、画像の記録中における(現在の)記録条件から所定の限界値内でのみ逸脱する記録条件であると解される。記録された画像と参照画像との間に画像特徴の偏差が確認され、これらの偏差が所定の許容度を上回る場合、これらの偏差はカメラの光学的な遮断の兆候として評価される。
【0007】
車両のカメラベースのアシスタンスシステムにとって、例えば汚れによる、カメラの光学的な遮断のこの識別は不可欠である。もっとも、画像処理アルゴリズムは、一部の周囲環境条件では、光学的な遮断をロバストに識別することについて問題を有している。このことは、特に、実際には存在しない光学的な遮断が誤って識別される場合におけるシステムの可用性の低下と、特に実際には存在する光学的な遮断が誤って識別されない場合における、例えば他の道路利用者が識別されないことによるシステムのクリティカルな動作との両方につながる恐れがある。本発明による方法は、カメラの光学的な遮断の改善されたロバストな識別を実現するので、この問題を解決する。
【0008】
記録条件として、例えば、場所、時刻、光状況、天候情報、車両の向き、及び/又はカメラの視野範囲が決定される。これによって、高い確実性で、適切な参照画像を決定することができる。
【0009】
画像特徴として、例えば、明るさ、識別されたエッジの数、識別されたエッジのシャープネス、均質性及び/又は色情報が考慮される。これによって、潜在的に存在するカメラの光学的な遮断を確実に検出できるように、複数の異なる特徴を用いて、記録された画像と参照画像との比較が可能となる。
【0010】
参照画像は、特に、複数の車両によって同一又は類似の記録条件下で記録された同一の静的なシーンの記録の平均化された画像情報を基礎としている。このことは、例えば汚れの形態の、車両カメラの光学的な遮断は、散発的にしか発生しない事象であるという認識に基づいている。画像内容が、特に特定のシナリオの所定の箇所で、同一の記録条件で、異なる時刻(時間)、即ち異なる日ではあるが有利にはそれぞれの場合において同じ時刻(時間)に、複数の記録にわたり平均化されると、散発的に発生する光学的な遮断状況が平均化される。このようにして、最新の記録された画像と比較するための、信頼性の高い参照画像が生成される。
【0011】
例えば、画像特徴として、画像全体及び参照画像全体における明るさ、及び/若しくは画像及び参照画像の個々の画像領域における明るさ、及び/若しくは画像全体及び参照画像全体において識別されたエッジの数、及び/若しくは画像及び参照画像の個々の画像領域において識別されたエッジの数、及び/若しくは画像全体及び参照画像全体において識別されたエッジのシャープネス、及び/若しくは画像及び参照画像の個々の画像領域において識別されたエッジのシャープネス、画像及び参照画像の個々の画像領域における均質性、並びに/又は画像及び参照画像の個々の画像範囲にわたり平均化された色情報が考慮される。ここで、画像範囲は、画像領域と同じであってもよいし、異なっていてもよい。これによって、潜在的に存在するカメラの光学的な遮断を確実に検出できるように、記録された画像と参照画像との信頼性の高い比較が実現される。
【0012】
例えば、画像の個々の画像範囲において識別されたエッジの数が、参照画像の対応する画像範囲において識別されたエッジの数と比較して、所定の許容度を上回って少ないことは、カメラの光学的な遮断の兆候として評価される。代替的又は付加的に、例えば、画像全体の均質性が、参照画像全体の均質性と比較して、所定の許容度を上回って高いことは、カメラの光学的な遮断の兆候として評価される。代替的又は追加的に、このことは、上述の他の特徴に対応するやり方で実施することもできる。
【0013】
1つの可能な実施形態では、記録された画像が車外サーバに送信され、複数の車両によって同一又は類似の記録条件下で記録された同一の静的なシーンの記録に加えられる。これによって、参照画像の基礎となる記録の数が増加し、従って特に、参照画像の品質及び信頼性が改善される。
【0014】
カメラの光学的な遮断の兆候がある場合、例えば、車両のカメラの光学的な遮断を検出するための代替的な方法を、付加的に続けて実施することができる。この代替的な方法は、特に、いわゆるオンライン遮断識別である。例えば、この代替的な方法は、特に、関連する画像範囲において潜在的な光学的な遮断をより詳細に検査するために、上述の方法において決定された結果を用いて既に事前調整される。従って、この代替的な方法によって、画像全体を検査する必要性はもはやなくなり、代わりに、カメラの存在する光学的な遮断の兆候が決定された1つ以上の関連する画像範囲のみが検査される。このことは、特に、記録された画像と参照画像との間に画像特徴の所定の僅かな偏差しか存在しない場合に、即ち、特に偏差が所定の限界値を上回らない場合に実施される。
【0015】
自動化された走行動作、特に高度自動化された走行動作又は自律的な走行動作を実施するように構成されている、車両を動作させるための本発明による方法では、車両のカメラの光学的な遮断を検出するための上述の方法が実施される。光学的な遮断の兆候がある場合、走行動作の自動化レベルが低減されるか、又は車両を運転するための運転タスクが車両のドライバーに引き渡される。このことは、特に、記録された画像と参照画像との間に画像特徴の過度に大きな偏差が存在する場合、即ち特に、この偏差が所定の限界値を上回る場合、特に偏差が大きく明確である場合に実行され、その結果、その存在する偏差から、カメラの実際に存在する光学的な遮断を確実に、又は高い確率で推定することができるので、車両のカメラの光学的な遮断を検出するための代替的な方法による付加的な検査はもはや必要でなくなる。
【0016】
自動化された走行時の可用性及び安全性に関して、車両の信頼性の高い自動化された走行動作を保証するために、車両の周囲環境を検出するためのカメラの特定の性能、特に、視界、精度及び誤り率に関する性能が保証されなければならない。しかしながら、遮断されたカメラ、特に過度に大きく遮断されたカメラは、性能についてのこれらの要求を満たさないので、その結果、車両機能の可用性は低下し、且つ/又は事故のリスクの高い不確実なシステム状態が生じる。本方法を用いて、カメラの検査を実現できるので、カメラの性能が制限されていることが高い信頼性でもって識別され、またその性能に応じて、自動化された走行動作の自動化レベルを適合させることができ、又は運転タスクを完全にドライバーに引き渡すことができる。従って、車両の安全な走行動作が常にもたらされる。即ち、本方法を用いて、潜在的にリスクのある状況、例えば、周囲環境検出中のカメラの性能低下が識別されないために、車両の周囲環境において動的なオブジェクト及び静的なオブジェクトが検出されないこと、又は過度に遅く検出されることを回避することができる。即ち、本方法を用いて、車両のカメラの遮断に起因するエラーケース(誤り、欠陥)を識別することができ、その後、支援システム応答、例えば緊急停止させるまでの低速の走行を開始することができる。
【0017】
ドライバーが運転タスクを引き継がなかった場合には、例えば、車両が所定の時間内に停止されるか、又は所定の時間内に先ず車道の端又は路肩に誘導され、その後停止される。このことは、車両、車両内に居る乗員、及び他の道路利用者の安全性を大幅に高める。車両が先ず車道の端又は路肩に誘導され、その後停止される場合、特に他の道路利用者との衝突のリスクが更に低減され、それによって安全性が更に高まる。
【0018】
以下では、本発明の実施形態を、図面を参照してより詳細に説明する。
【図面の簡単な説明】
【0019】
【
図1】車両のカメラの光学的な遮断を検出する方法の手順を概略的に示す。
【発明を実施するための形態】
【0020】
唯一の
図1には、車両1のカメラの光学的な遮断を検出する方法の1つの可能な実施形態の手順が示されている。
【0021】
この方法では、車両1のカメラを用いて、車両1の周囲環境から静的なシーンの画像Bが記録される。ここで、静的なシーンとは、特にシーン内に動的なオブジェクトが存在しないことを意味する。
【0022】
更に、画像Bの記録中に、現在の記録条件が車両1によって決定され、特にシナリオ記述として、車外サーバ2に送信される。有利には、カメラを用いて記録された画像Bも、車外サーバ2にも送信される。
【0023】
参照画像、特にシナリオ記述に対応する、即ち記録条件に対応する参照画像が、車両1によって車外サーバ2から取得され(呼び出され)、そして車両1に送信される。参照画像は、複数の車両によって同一又は類似の記録条件下で記録された同一の静的なシーンの記録を基礎としている。参照画像は、特に、同一のシナリオの平均化された記録、特に、複数の車両によって同一又は類似の記録条件下で記録された同一の静的なシーンの記録の平均化された画像情報を基礎としている。
【0024】
車両1と車外サーバ2との接続は、特に無線接続、特にモバイル無線接続、例えばLTEである。
【0025】
本方法の比較ステップVでは、記録された画像Bが、参照画像と比較される。参照画像は、想定される画像、即ちカメラを用いて静的なシーンを記録する際に想定される画像を表す。
【0026】
記録された画像Bと参照画像との間に画像特徴の偏差が確認される場合であって、これらの偏差が所定の許容度を上回る場合、これらの偏差は、カメラの光学的な遮断の兆候として評価される。続いて、対応する遮断情報BIが生成され、遮断情報BIは、続いて、車両1によって、例えばここで説明する方法において、又は他の方法において、以下において説明するように使用することができる。
【0027】
以下では、可能な方法手順を詳細に説明する。
【0028】
本方法を用いて、車両1は特定の位置において、カメラが、特に車両1の外部周囲環境を検出するためのカメラセンサ系(カメラセンサシステム)が、光学的な遮断によって現在損なわれているか否かを識別することを試みる。現在のシナリオ、即ち現在存在する静的なシーンが、特に記録条件によって規定されている。
【0029】
これらの記録条件には、例えば、車両1の現在の場所、特に、全地球航法衛星測位システム(GNSS:Global Navigation Satellite System)を用いて決定された車両1の正確な位置、車両1の現在の向き、カメラの現在の視野範囲、現在の時刻、現在存在する光状況、例えば、車両1の車外灯の状態、雲量及び/若しくは日射量(太陽光)及び/若しくは車両1の光センサからの情報、現在の天候情報、例えば降雨又は降雪(急な降雨)が存在するか否か、又は乾燥しているか否か、また勿論、カメラの視野範囲内に動的なオブジェクト、特に他の道路利用者、例えば他の車両又は歩行者が存在しないという情報が含まれる。何故ならば、そのような場合にのみ静的なシーンが存在するからである。ここで、記録条件に関するこれらの情報の時宜性(適時性)は、それぞれ、カメラを用いて画像Bが記録される時点(時刻、時間)に関係する。
【0030】
車外サーバ2から、従って特にその車外サーバ2に存在するオンラインデータバンクとも称されるデータバンクから、カメラによって記録された画像Bと比較するための対応する参照画像が取得される。既述のように、参照画像は、特に、複数の車両によって同一又は類似の記録条件下で記録された同一の静的なシーンの記録の平均化された画像情報を基礎としている。従って、特に、記録された画像Bの静的なシーンと同一又は類似の、特に全く同一のシナリオからの平均化された画像情報を基礎としている。このために、有利には、車外サーバ2のデータバンクは、複数の車両によってアップロードされた、即ち車外サーバ2に送信された記録で構成され、記録は、特に、種々異なるシナリオに従って、即ち種々異なる静的なシーン及びそれぞれの記録条件に従って、クラスタ化されている、即ち特に区分されている。
【0031】
既述のように、有利には、車両1によって現在記録された画像Bも車外サーバ2に送信され、それによって、それぞれの参照画像の基礎を増やすために、このデータバンクに記録される。このことは、有利には、記録された画像Bと参照画像との比較が実施された後にのみ行われる。例えば、これによって、適切ではない画像B、特に比較によってカメラの光学的な遮断の兆候が明らかになった画像B、又は少なくとも、比較によって、記録された画像Bと参照画像との間に画像特徴の過度に大きく且つ明確な偏差、特に所定の限界値を上回る偏差が存在する画像Bがデータバンクに記録されることを回避できるので、カメラの光学的な遮断が実際にあることを確実に又は高い確率で推定することができる。これによって、参照画像の信頼性を向上させることができる。
【0032】
本方法の方法ステップVにおける、車両1のカメラによって記録された画像Bと、車外サーバ2から取得された参照画像との比較は、特に、画像特徴の明るさ、識別されたエッジの数、識別されたエッジのシャープネス、均質性及び/若しくは色情報の評価から成る。これらの画像特徴は、画像情報とも称される。
【0033】
例えば、本方法の比較ステップVにおいて、車両1のカメラによって記録された画像Bと、車外サーバ2から取得された参照画像との比較は、以下の画像特徴の評価から成る:
-画像B全体及び参照画像全体における明るさ、並びに画像B及び参照画像の個々の画像領域における明るさ、
-画像B全体及び参照画像全体において識別されたエッジの数及びシャープネス、並びに画像B及び参照画像の個々の画像領域において識別されたエッジの数及びシャープネス、
-個々の画像領域における画像B及び参照画像の均質性、
-画像B及び参照画像の個々の画像範囲にわたり平均化された色情報。
【0034】
上述の比較から、カメラによって現在記録された画像Bがカメラの光学的な遮断によって損なわれているか否かをロバストに判断することができる。説明したように、記録された画像Bと参照画像との間の画像特徴の偏差が所定の許容度を上回る場合、これらの偏差は、カメラの光学的な遮断の兆候として評価される。
【0035】
例えば、画像Bの個々の画像範囲において識別されたエッジの数が、データバンクからの平均値よりも、即ち参照画像の個々の画像範囲において識別されたエッジの数よりも著しく少ない場合、このことは、これらの範囲における光学的な遮断を示す。
【0036】
例えば、画像B全体の均質性がデータバンクからの平均値よりも、即ち参照画像全体の均質性よりも高い場合、このことは、光学的な遮断を示す。
【0037】
従って、例えば、画像Bの個々の画像範囲において識別されたエッジの数が、参照画像の対応する画像範囲において識別されたエッジの数と比較して、所定の許容度を上回って少ないことは、カメラの光学的な遮断の兆候として評価され、且つ/又は、例えば、画像B全体の均質性が、参照画像全体の均質性と比較して、所定の許容度を上回って高いことは、カメラの光学的な遮断の兆候として評価される。代替的又は付加的に、このことは、上述の他の特徴に対応するやり方で実施することもできる。
【0038】
比較ステップVの結果、即ち遮断情報BIは、特にその遮断情報BIがカメラの光学的な遮断の兆候を含む場合、例えば、車両1のカメラの光学的な遮断を検出するための代替的な方法、特にオンライン遮断識別を付加的に続けて実施するために使用され、また特に、特にカメラによって記録された画像Bと参照画像とを比較した際の偏差が小さい場合には、関連する画像範囲において、潜在的な光学的な遮断をより正確に検査するために、これらの遮断情報BIを前提条件とする。
【0039】
代替的に、比較ステップVの結果、即ち遮断情報BIは、特に遮断情報BIがカメラの光学的な遮断の兆候を含む場合、例えば、光学的な遮断状況を直接的に推定するために使用され、また特にカメラによって記録された画像Bと参照画像との比較の偏差が大きく明確である場合には、車両1の対応する支援システムをオフにするために使用される。例えば、自動化された走行動作、特に高度に自動化された走行動作又は自律的な走行動作を実施するように構成されている車両1を動作させる方法では、車両1のカメラの光学的な遮断を検出するために上述の方法が実施され、その際、光学的な遮断の兆候がある場合、走行動作の自動化レベルが低減されるか、又は車両1を運転するための運転タスクが車両1のドライバーに引き渡されることが提供される。このことは、特に、記録された画像Bと参照画像との間に画像特徴の過度に大きな偏差が存在する場合、即ち特に、この偏差が所定の限界値を上回る場合、特に偏差が大きく明確である場合に実行され、その結果、その存在する偏差から、カメラの光学的な遮断の実際の存在を確実に、又は高い確率で推定することができるので、車両1のカメラの光学的な遮断を検出するための代替的な方法による付加的な検査はもはや必要でなくなる。
【0040】
ドライバーが運転タスクを引き継がなかった場合には、例えば、車両1が所定の時間内に停止されるか、又は所定の時間内に先ず車道の端又は路肩に誘導され、その後停止される。
【先行技術文献】
【特許文献】
【0041】
【文献】独国特許出願公開第102019002847号明細書