特許 7575614 ステレオカメラの光路における障害を認識するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】ステレオカメラの光路における障害を認識するための方法及び装置

(51)【国際特許分類】

   G06T 7/593 20170101AFI20241022BHJP

   H04N 23/60 20230101ALI20241022BHJP

   G06T 7/00 20170101ALI20241022BHJP

【ＦＩ】

G06T7/593

H04N23/60 500

G06T7/00 650Z

【請求項の数】 8

(21)【出願番号】P 2023547432

(86)(22)【出願日】2021-12-01

(65)【公表番号】

(43)【公表日】2024-02-16

(86)【国際出願番号】 EP2021083795

(87)【国際公開番号】W WO2022167120

(87)【国際公開日】2022-08-11

【審査請求日】2023-09-29

(31)【優先権主張番号】102021000600.3

(32)【優先日】2021-02-05

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】598051819

【氏名又は名称】メルセデス・ベンツ グループ アクチェンゲゼルシャフト

【氏名又は名称原語表記】Ｍｅｒｃｅｄｅｓ－Ｂｅｎｚ Ｇｒｏｕｐ ＡＧ

【住所又は居所原語表記】Ｍｅｒｃｅｄｅｓｓｔｒａｓｓｅ １２０，７０３７２ Ｓｔｕｔｔｇａｒｔ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100101856

【弁理士】

【氏名又は名称】赤澤 日出夫

(72)【発明者】

【氏名】ジンクラー，シュテファン

(72)【発明者】

【氏名】フマー，マーティン

【審査官】伊知地 和之

(56)【参考文献】

【文献】国際公開第２０１９／０６５２１８（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０４２４８１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００９／０２２６０７９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ － ２３／７６

Ｈ０４Ｎ ２３／９０ － ２３／９５９

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

ステレオカメラの光路における障害（Ｄ）を認識するための方法において、
前記ステレオカメラを用いて取得された画像データ（Ｂ）に基づいて、撮像された周囲の深度マップ（Ｔ）が生成され、
前記深度マップ（Ｔ）において、深度値を有しないギャップが存在するか否かが検査され、
前記深度マップ（Ｔ）にギャップが存在する場合、前記ステレオカメラの前記光路における障害（Ｄ）が存在すると推定され、
前記深度マップ（Ｔ）において、物体が認識され、認識された前記物体と、ディジタルマップ（３）に格納されている物体情報との比較に基づいて、前記深度マップ（Ｔ）の深度情報の妥当性確認が実施される
ことを特徴とする方法。

【請求項2】

妥当性のない深度情報は、前記ステレオカメラの前記光路における障害（Ｄ）が確認されたとして評価される
ことを特徴とする請求項１記載の方法。

【請求項3】

妥当性のない深度情報は、前記深度マップ（Ｔ）にギャップが存在しない場合にも、前記ステレオカメラの前記光路における障害（Ｄ）が確認されたとして評価される
ことを特徴とする請求項１又は請求項２記載の方法。

【請求項4】

前記撮像された周囲に対して相対的に前記ステレオカメラが静止している間に、前記ステレオカメラを用いた前記画像データの取得が実施される
ことを特徴とする請求項１～請求項３のいずれか一項記載の方法。

【請求項5】

前記物体の認識において、
車線認識（６）、交通標識認識（７）、及び／又は、可動及び／又は不動の周囲物体の認識（５）が実施される
ことを特徴とする請求項１～請求項４のいずれか一項記載の方法。

【請求項6】

ステレオカメラの光路における障害（Ｄ）を認識するための装置（１）において、
処理装置（２）を有し、
前記処理装置（２）は、
前記ステレオカメラを用いて取得された画像データ（Ｂ）に基づいて、撮像された周囲の深度マップ（Ｔ）を生成し、
前記深度マップ（Ｔ）において、深度値を有しないギャップが存在するか否かを検査し、
前記深度マップ（Ｔ）においてギャップが存在する場合、前記ステレオカメラの前記光路における障害（Ｄ）が存在すると推定し、
前記深度マップ（Ｔ）において、物体が認識され、認識された前記物体と、ディジタルマップ（３）に格納されている物体情報との比較に基づいて、前記深度マップ（Ｔ）の深度情報の妥当性確認を実施する
ように構成されていることを特徴とする装置（１）。

【請求項7】

請求項６記載の装置（１）を含む、車両。

【請求項8】

自動運転モード、特に高度自動運転モード又は自律運転モードで運転可能に構成されている、請求項７記載の車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ステレオカメラの光路における障害を認識するための方法に関する。

【0002】

更に本発明は、ステレオカメラの光路における障害を認識するための装置に関する。

【0003】

更に、本発明は、車両に関する。

【0004】

下記特許文献１から、車両に配置されており、且つステレオカメラにより撮像された画像を使用する、物体認識装置における汚れ検出方法及び物体認識装置が公知である。ステレオカメラは、２つのカメラを含み、それら２つのカメラそれぞれが、ワイパにより払拭されるウィンドウガラスの領域を通して、車室から車両の外部環境を撮像する。物体認識装置は、２つのカメラのうちの一方によって撮像された撮像画像における光源を認識することができる光源検出手段を有する。更に、物体認識装置は、２つのカメラのうちの一方によって撮像された画像において、ワイパの払拭方向と交わる方向に延在するエッジを認識することができるエッジ検出手段を有する。更に、物体認識装置は、光源検出手段の検出結果及びエッジ検出手段の検出結果に基づいて、光源から交わる方向に延びるエッジが所定時間継続して認識される場合には、ウィンドウガラスが汚れ状態であると判定するとことができる判定手段を有する。

【先行技術文献】

【特許文献】

【0005】

【文献】独国特許出願公開第１０ ２０１６ ２１６ １１８ Ａ１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、ステレオカメラの光路における障害を認識するための、従来技術に対して改善された方法及び改善された装置を提供することである。更に、本発明が解決しようとする課題は、新規の車両を提供することである。

【課題を解決するための手段】

【0007】

この課題は、本発明によれば、請求項１に記載の特徴を有する方法と、請求項７に記載の特徴を有する装置と、請求項８に記載の特徴を有する車両と、によって解決される。

【0008】

本発明の有利な実施形態は、従属請求項の対象である。

【0009】

本発明によれば、ステレオカメラの光路における障害を認識するための方法において、ステレオカメラを用いて取得された画像データに基づいて、撮像された周囲の、視差画像又は視差マップとも称される深度マップが生成される。更に、深度マップにおいて、深度値を有しないギャップ（隙間）が存在するか否かが検査される。深度マップにギャップが存在する場合、ステレオカメラの光路における障害が推定される。

【0010】

ステレオカメラの光路には、経年変化及び環境要因によって障害が発生する可能性がある。例えば、経年変化プロセスに起因する不鮮明さ、曇り、汚れ等による妨害物、太陽放射によるグレア作用等が生じる可能性がある。ステレオカメラを用いて検出された画像データを使用する機能の信頼性のある動作のために、ステレオカメラの光路における、劣化とも称されるその種の障害の高速且つロバストな認識が非常に重要である。

【0011】

ここで、本方法は、従来技術から公知である方法とは異なり、ステレオカメラによって検出された画像データにおいて、動きが存在しない場合でも、ステレオカメラの光路における障害の認識を可能にする。即ち、本方法は、ステレオカメラが静止した状態及び静的なシナリオにおいても、障害の認識を可能にする。ここで、本方法は、この認識のために、いわゆるスタンドアローンの解決手段として、又は既存のアルゴリズムの改善及び／又は妥当性確認に使用することができる。本方法は、ロバスト性及び認識速度を向上させるための別の認識入力を形成する。

【0012】

本方法の１つの可能な実施形態では、深度マップにおいて物体が認識され、認識された物体と、ディジタルマップに格納されている物体情報との比較に基づいて、深度マップの深度情報の妥当性確認が実施される。例えば、この関係において、方法の別の可能な実施形態においては、妥当性のない深度情報が、ステレオカメラの光路に障害が確認されたとして評価される。従って、光路における障害を認識する際の誤り率を低減させることができ、本方法の信頼性及びロバスト性を更に向上させることができる。

【0013】

本方法の別の可能な実施形態では、妥当性のない深度情報が、深度マップにギャップが存在しない場合にも、ステレオカメラの光路に障害が確認されたとして評価される。従って、ステレオカメラの２つのカメラユニットに存在し、このことから深度マップにおけるギャップをもたらさない、光路における障害も認識することができる。

【0014】

本方法の別の可能な実施形態では、撮像された周囲に対して相対的にステレオカメラが静止している間に、ステレオカメラを用いて画像データの取得が実施される。

【0015】

本方法の別の可能な実施形態では、物体認識において、車線認識、交通標識認識、可動の周囲物体の認識、及び／又は不動の周囲物体の認識が実施される。このことは、周囲及びディジタルマップに存在する多数の物体の比較を実現し、これによって、更に改善された妥当性確認がもたらされる。

【0016】

ステレオカメラの光路における障害を認識するための装置は、本発明によれば、処理装置を有し、処理装置が、ステレオカメラを用いて検出された画像データに基づいて、撮像された周囲の深度マップを生成し、深度マップにおいて、深度値を有しないギャップが存在するか否かを検査し、深度マップにおいてギャップが存在する場合、ステレオカメラの光路における障害を推定する、ように構成されていることを特徴とする。

【0017】

本装置は、従来技術から公知である装置とは異なり、ステレオカメラによって検出された画像データにおいて、動きが存在しない場合でも、ステレオカメラの光路における障害の認識を可能にする。即ち、本装置は、ステレオカメラが静止した状態及び静的なシナリオにおいても、障害の認識を可能にする。ここで、本装置は、この認識のために、いわゆるスタンドアローンの解決手段として、又は、既存のアルゴリズムを改善及び／又は妥当性確認に使用することができる。本装置は、ロバスト性及び認識速度を向上させるための別の認識入力を生成する。

【0018】

本発明による車両は、前述の装置を含む。従って、ステレオカメラを用いて検出された画像データを使用する車両機能、例えば運転支援機能等の動作の信頼性を著しく向上させることができる。従って、交通の安全性を向上させることができる。

【0019】

車両の一つの可能な実施形態では、車両が、自動運転、特に高度自動化運転、又は自律運転のために形成されている。本装置により、運転機能の信頼性及び可用性が向上するため、非常に信頼性の高い自動運転が可能となる。これによっても、交通の安全性を向上させることができ、ドライバは走行タスクについてより良いサポートを受けることができる。

【0020】

以下では、本発明の実施形態を、図面に基づき詳細に説明する。

【図面の簡単な説明】

【0021】

【図1】ステレオカメラの光路における障害を認識するための装置を概略的に示す図である。

【発明を実施するための形態】

【0022】

唯一の図１では、ステレオカメラの光路における障害Ｄを認識するための装置１の可能な実施形態が概略的に示されている。装置１は、この認識のために処理装置２を含む。

【0023】

装置１は、例えば、詳細には図示していない車両の構成要素である。車両は、例えば、自動運転モード、特に高度自動運転モード又は自律運転モード用に構成されており、ステレオカメラを用いて取得された画像データＢが、自動運転モードを実施するために使用される。このために、ステレオカメラの信頼性のある動作が必要となる。

【0024】

ステレオカメラの光路には、経年変化及び環境要因によって障害が発生する可能性がある。例えば、経年変化プロセスに起因する不鮮明さ、曇り、汚れ等による妨害物、太陽放射によるグレア作用等が生じる可能性がある。ステレオカメラ、及びステレオカメラを用いて取得された画像データＢを使用する機能の信頼性のある動作のために、ステレオカメラの光路における、劣化とも称されるその種の障害Ｄの高速且つロバストな認識が非常に重要である。

【0025】

ステレオカメラの光路に障害が発生していなければ、ステレオカメラを用いて取得された画像データＢの立体処理において、ステレオカメラの周囲、例えば走行路並びにその周囲の詳細でギャップのない深度マップが作成可能である。ステレオカメラの光路における障害Ｄは、深度マップにおいて直接的に、深度値を有しないギャップの形態で反映され、従って、その種の障害Ｄが示唆される。

【0026】

この理由から、ステレオカメラの光路における障害Ｄを認識するために、処理装置２を用いて、第１のモジュール２．１において、ステレオカメラを用いて取得された画像データＢに基づいて、撮像された周囲の、視差画像又は視差マップとも称される深度マップＴが生成される。この際、ステレオカメラを用いた画像データＢの取得を、撮像された周囲に対して相対的にステレオカメラが静止している間においても、即ち車両が静止している間においても実施することができる。

【0027】

続いて、第２のモジュール２．２において、深度マップＴにおいて深度値を有しないギャップが存在しているか否かが検査される。

【0028】

処理装置２の更なるモジュール２．３において、ステレオカメラの光路における障害Ｄについての潜在的な候補が特定される。この際、深度マップＴにおいてギャップが存在する場合、ステレオカメラの光路に障害Ｄが存在すると推定される。

【0029】

付加的に、１つの可能な実施形態では、深度マップＴにおいて物体が認識され、認識された物体と、ディジタルマップ３に格納されている物体情報及び／又は別のセンサ系４を用いて検出された物体情報との比較に基づいて、深度マップＴの深度情報の妥当性確認が実施される。

【0030】

深度マップＴにおける物体認識は、例えば、カメラベースであり、例えば、可動及び／又は不動の周囲物体の認識５、車線認識６、交通標識認識７を含む。

【0031】

妥当性確認の結果として、妥当性のない深度情報が存在する場合、妥当性のない深度情報は、ステレオカメラの光路に障害Ｄが確認されたとして評価される。

【0032】

妥当性のない深度情報は、深度マップＴにギャップが存在しない場合にも、ステレオカメラの光路に障害Ｄが確認されたとして評価される。このことは、例えば、ステレオカメラの２つのカメラユニットに障害Ｄが存在する場合である。

【0033】

ステレオカメラの光路に障害Ｄが検出された場合には、処理装置２の相応のモジュール２．４を用いてシグナリングが行われ、それによって、障害Ｄを自動的に又は手動で除去することができる。

【0034】

以下では、ステレオカメラの光路に障害Ｄがある場合の２つの応用例について説明する。

【0035】

第１の応用例では、ステレオカメラの２つの光学カメラレンズのうちの一方が劣化している。太陽放射がカメラレンズにおいて反射することによって、いわゆる垂直方向の光の筋が生じると、これは、深度マップＴにおける垂直方向のギャップをもたらす。カメラレンズにおける曇りは、広範囲のギャップ又は妥当性のないステレオ情報をもたらす。汚れは、深度マップにおける個々のギャップをもたらす。例えば、太陽が低い位置にある結果生じる過剰な照射作用又は露光作用は、曇りに類似する作用をもたらす。従って、ギャップ、ギャップの形状、及び配置を認識することで、障害Ｄの種類を推定することができる。

【0036】

第２の応用例では、２つのカメラレンズが劣化している。第１の応用例において挙げた、深度マップＴにおけるギャップの例は、２つのカメラレンズに同時に障害Ｄが存在する場合にも発生し得る。カメラレンズそれぞれにおける障害Ｄの位置に応じて、場合によってはステレオマッチングを行うことができ、それによって、深度マップＴにギャップが生じない。しかしながら、この特異性は、物体認識及びディジタルマップに格納されている物体情報との比較に基づいた、上述の妥当性確認によって検出可能であり、従って障害Ｄとして認識可能である。

【図1】