特許 7191201 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-08

(45)【発行日】2022-12-16

(54)【発明の名称】車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221209BHJP

   B60R 1/04 20060101ALI20221209BHJP

   G06T 1/00 20060101ALI20221209BHJP

【ＦＩ】

H04N7/18 J

B60R1/04 Z

G06T1/00 330A

【請求項の数】 14

(21)【出願番号】P 2021506997

(86)(22)【出願日】2019-07-24

(65)【公表番号】

(43)【公表日】2021-12-09

(86)【国際出願番号】 EP2019069857

(87)【国際公開番号】W WO2020030427

(87)【国際公開日】2020-02-13

【審査請求日】2021-04-07

(31)【優先権主張番号】102018119481.1

(32)【優先日】2018-08-10

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】514189527

【氏名又は名称】コノート、エレクトロニクス、リミテッド

【氏名又は名称原語表記】ＣＯＮＮＡＵＧＨＴ ＥＬＥＣＴＲＯＮＩＣＳ ＬＴＤ．

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100127465

【弁理士】

【氏名又は名称】堀田 幸裕

(74)【代理人】

【識別番号】100202304

【弁理士】

【氏名又は名称】塙 和也

(72)【発明者】

【氏名】ファンチン、グオ

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１０－１８３１７０（ＪＰ，Ａ）

【文献】国際公開第２０１６／０１７３６７（ＷＯ，Ａ１）

【文献】特開２００２－１２５２２４（ＪＰ，Ａ）

【文献】特開２０１０－１１４６１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両（１）の環境（７）の少なくとも一部の画像表現（１５）を表示装置（１２）上に提供する方法であって、
前記車両（１）の前記環境（７）を少なくとも１つの車両センサ（３，４，５，６）を使用して少なくとも部分的に撮像するステップと、
撮像された前記環境（７）の少なくとも１つの第１の部分（１０ａ）の画像表現（１５）を、所定の視点（１１）からの所定の表示域（１０）内に提供するステップであって、前記画像表現（１５）が前記車両（１）を表す車両表現（１４）を含む、ステップと、
前記画像表現（１５）を前記表示装置（１２）上に表示するステップと
を含み、
前記画像表現（１５）を提供する場合、撮像された前記環境（７）の少なくとも１つの第２の部分（１６ａ）が、前記車両表現（１４）の所定の領域（１７，１９，２０）上の、前記環境（７）の前記少なくとも第２の部分（１６ａ）の鏡像（１８）の形態で表現される一方で、
前記車両表現（１４）の前記所定の領域（１７，１９，２０）が、前記車両（１）のウィンドウ（１７，１９，２０）、特にフロントガラス（１９）および／またはリアウィンドウ（１７）および／またはルーフウィンドウおよび／またはサイドウィンドウ（２０）に関連する前記車両表現（１４）の一部を構成する
ことを特徴とする、
方法。

【請求項2】

前記環境（７）の前記第２の部分（１６ａ）が、前記環境（７）の前記第１の部分（１０ａ）と少なくとも部分的に異なる
ことを特徴とする、
請求項１に記載の方法。

【請求項3】

前記鏡像（１８）が、前記所定の視点（１１）、および／または前記鏡像（１８）が表示された前記車両表現（１４）の前記所定の領域（１７，１９，２０）に関連付けられた鏡面の所定の形状に応じて、および／または前記所定の視点（１１）に対する前記鏡面の位置および／または向きに応じて決定される
ことを特徴とする、
請求項１または２に記載の方法。

【請求項4】

前記車両表現（１４）が、前記車両（１）の２Ｄ画像、特に、前記所定の視点（１１）からの前記車両（１）を表すビットマップ画像の形態で提供される
ことを特徴とする、
請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記視点（１１）が、いくつかの事前定義された個別の視点（１１）に調整可能であり、前記事前定義された視点（１１）ごとに、前記車両（１）の対応する２Ｄ画像が記憶され、前記視点（１１）が変化する場合、前記２Ｄ画像および前記鏡像（１８）がそれに応じて変更される
ことを特徴とする、
請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記車両表現（１４）が車両モデルの形態で提供され、前記鏡面の形状が、前記鏡像（１８）が表示された前記車両モデルの前記所定の領域（１７，１９，２０）の前記形状によって決定される
ことを特徴とする、
請求項３に記載の方法。

【請求項7】

前記所定の視点（１１）が動的に調整可能であり、前記車両モデルの前記表現および前記鏡像（１８）が、動的に調整された前記視点（１１）に応じて動的に調整される
ことを特徴とする、
請求項６に記載の方法。

【請求項8】

前記車両表現（１４）の前記所定の領域（１７，１９，２０）が、前記所定の視点（１１）の変化に応じて変更される
ことを特徴とする、
請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記鏡像（１８）が、物理的な光反射の法則に基づいて決定されることを特徴とする、
請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記鏡像（１８）が、物理的な光反射の法則からの所定の偏差に基づいて決定される
ことを特徴とする、
請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記鏡像（１８）によって表現される前記環境（７）の前記第２の部分（１６ａ）への前記所定の視点（１１）からの視野が、前記鏡像（１８）が所定の偏差を含まない物理的な光反射の法則に基づいて決定された場合よりも大きくなるように、前記鏡像（１８）が物理的な光反射の法則からの所定の偏差に基づいて決定される
ことを特徴とする、
請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記鏡像（１８）の反射率が調整可能であり、前記鏡像（１８）および前記車両表現（１４）の前記所定の領域（１７，１９，２０）が、調整された反射率に応じてクロスフェードされる
ことを特徴とする、
請求項１から１１のいずれか一項に記載の方法。

【請求項13】

コンピュータ可読媒体に記憶されたプログラムコードを含み、電子制御装置（８）のプロセッサによって実行された場合に、プロセッサに以下のステップを実行させるコンピュータプログラム製品であって、
撮像された車両（１）の環境（７）の少なくとも１つの第１の部分（１０ａ）の画像表現（１５）を、所定の視点（１１）からの所定の表示域（１０）内に提供するステップであって、前記画像表現（１５）が前記車両（１）を表す車両表現（１４）を含む、ステップと、
前記画像表現（１５）を表示装置（１２）上に表示するステップと
を含み、
前記コンピュータプログラム製品がさらに、プロセッサに、前記画像表現（１５）を提供する場合に、撮像された前記環境（７）の少なくとも１つの第２の部分（１６ａ）を、前記車両表現（１４）の所定の領域（１７，１９，２０）上の、前記環境（７）の前記少なくとも１つの第２の部分（１６ａ）の鏡像（１８）の形態で表現させる一方で、
前記車両表現（１４）の前記所定の領域（１７，１９，２０）が、前記車両（１）のウィンドウ（１７，１９，２０）、特にフロントガラス（１９）および／またはリアウィンドウ（１７）および／またはルーフウィンドウおよび／またはサイドウィンドウ（２０）に関連する前記車両表現（１４）の一部を構成する
ことを特徴とする、
コンピュータプログラム製品。

【請求項14】

車両（１）の環境（７）の少なくとも一部の画像表現（１５）を表示装置（１２）上に提供する前記車両（１）の運転者支援システム（２）であって、前記運転者支援システム（２）が、
前記車両（１）の前記環境（７）を少なくとも部分的に撮像するように構成された少なくとも１つの車両センサ（３，４，５，６）と、
撮像された前記環境（７）の少なくとも１つの第１の部分（１０ａ）の画像表現（１５）を、所定の視点（１１）からの所定の表示域（１０）内に提供するように構成された処理ユニット（８）であって、前記画像表現（１５）が前記車両（１）を表す車両表現（１４）を含む、処理ユニット（８）と、
前記画像表現（１５）を表示するように構成された前記表示装置（１２）と
を含み、
前記処理ユニット（８）が、前記画像表現（１５）を提供する場合に、撮像された前記環境（７）の少なくとも１つの第２の部分（１６ａ）を、前記車両表現（１４）の所定の領域（１７，１９，２０）上の、前記環境（７）の前記少なくとも１つの第２の部分（１６ａ）の鏡像（１８）の形態で表すように構成される一方で、
前記車両表現（１４）の前記所定の領域（１７，１９，２０）が、前記車両（１）のウィンドウ（１７，１９，２０）、特にフロントガラス（１９）および／またはリアウィンドウ（１７）および／またはルーフウィンドウおよび／またはサイドウィンドウ（２０）に関連する前記車両表現（１４）の一部を構成する
ことを特徴とする、
運転者支援システム（２）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の環境の少なくとも一部の画像表現を表示装置上に提供する方法に関し、車両の環境は、少なくとも１つの車両センサによって少なくとも部分的に撮像され、少なくとも一部の撮像された環境の画像表現は、所定の視点からの所定の表示域内に提供され、画像表現は車両を表す車両表現を含む。さらに、画像表現が表示装置に表示される。本発明はまた、車両の環境の少なくとも一部の画像表現を提供するための、車両用のコンピュータプログラム製品および運転者支援システムに関する。

【背景技術】

【0002】

例えば車両の周囲３６０°の眺望の提供を達成する従来技術から知られているシステムがあり、これは、例えば車両を駐車する際に運転者を支援するために車両の表示装置に表示することができる。この目的のために、例えば車両表現を含む車両の周囲の３６０°の上面視、例えば車両自体の２Ｄビットマップ画像を平面図で示すことができる。また、表示されたシーンへの視点の動的な変更を可能にする３Ｄ車両モデルを提供することができるシステムも知られている。通常、このような視覚化を提供する目的で環境を撮像するために、複数のカメラを含む車両のカメラシステムが使用される。このようなマルチカメラ自動車用視覚システムでは、複数のカメラ画像を使用して様々な種類の眺望を生成することができる。複数のカメラおよび電子計算ユニットを備えるこのような視覚化の枠組みでは、生のカメラ画像が最初に標的表示域にマッピングされて統合され、こうして車両付近の特定の３Ｄ位置からの眺望を表すモザイク画像が生成される。最も単純な場合では、仮想カメラは上部中央位置から見て自動車の上に配置され、投影面は平坦な２Ｄ平面である。この眺望は通常、上記のように上面視と呼ばれる。より一般的な場合には、例えば投影２Ｄ面がボウルの形状であり、仮想カメラもしくは仮想視点が３Ｄ空間の任意の位置に位置決めされたボウルの図が含まれる。

【0003】

車両表現を含む環境シーンへの視点を変更することはできるが、特定の選択された視点からは、関連情報を含む可能性のある環境の一部が所定の表示域外にあるために表示されず、かつ使用者からは見えないことが、依然として起こる可能性がある。これは非常に危機的な局面を引き起こしかねない。使用者が関連情報を見逃していないことを確認するために、使用者は車両全体の表現の視点を変更することができる。しかし、これは非常に時間がかかり、使用者を不快にするであろう。したがって、ほとんどの使用者は、重要な情報を見逃していないことを確認するために、便宜上、常に視点を変更することはない。これもまた、非常に危機的な局面を引き起こしかねない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、本発明の目的は、車両の環境の少なくとも一部の画像表現を表示装置上に提供する方法、コンピュータプログラム製品および運転者支援システムを提供することであり、それによって、重要な環境情報を見逃す危険性を低減することができる。

【課題を解決するための手段】

【0005】

この目的は、対応する独立請求項による特徴を含む方法、コンピュータプログラム製品、および運転者支援システムによって解決される。本発明の有利な実施形態は、従属請求項、説明および図面に提示されている。

【0006】

車両の環境の少なくとも一部の画像表現を表示装置上に提供する本発明の文脈における方法によれば、車両の環境は、少なくとも１つの車両センサによって少なくとも部分的に撮像され、撮像された環境の少なくとも１つの第１の部分の画像表現は、所定の視点からの所定の表示域内に提供され、画像表現は車両を表す車両表現を含む。また、画像表現が表示装置に表示される。さらに、画像表現を提供する場合、撮像された環境の少なくとも１つの第２の部分は、車両表現の所定の領域上の環境の少なくとも１つの第２の部分の鏡像の形態で表現される。

【0007】

したがって、有利には、環境の一部、すなわち環境の少なくとも１つの第２の部分を、車両の所定の領域、例えば車両表現のウィンドウ上の反射として表すことができる。これにはいくつかの大きな利点がある。第一に、それによって、現在の選択された視点からは実際には見ることができなかった環境の一部を、車両表現の少なくとも一部上の反射、すなわち鏡像の形態で、使用者が表示装置上で視認できるようにすることが可能である。その結果、車両の環境に関する追加情報を、所定の視点および所定の表示域について同時に表示することができる。これによって、車両の環境における重要な情報を運転者が見逃す危険性を大幅に低減することができる。例えば、車両表現を含む環境シーンが、車両表現を後方から見た視点から表示装置に表示される場合、および運転者が現在、車両後方の駐車場に車両を後方へ駐車するための駐車操作を実行している場合、このような視点からは、基本的に車両の前方の環境情報のみが表示されるので、通常、駐車場自体は、車両表現を後方から見た前記視点からは見ることができない。しかし、本発明によって、車両の後方の駐車場および周囲の領域を、特に車両の前方の環境の部分の表現に加えて、車両表現のリアウィンドウの反射として見なすことが可能になる。したがって、本発明によって、車両環境に関するさらに多くの関連情報を運転者または使用者に提供することができ、異なる運転または駐車の場面においてはるかに優れた支援を提供し、それによって安全性を大幅に高める。本発明の別の大きな利点は、環境のこの第２の部分が、車両表現の所定の領域上の鏡像もしくは反射の形態で表示されることである。一方、車両表現の一部にこの鏡像を提供することによって、撮像された環境の少なくとも１つの第１の部分によって提供される潜在的に重要な情報を鏡像によって隠すことができない。一方、環境の第２の部分に関する情報を反射もしくは鏡像の形態で提供することによって、この追加情報が非常に自然で写実的に提供され、したがって使用者が非常に簡単かつ直感的に認識できるように、光反射の自然な印象を使用者に提供することができる。これにより、使用者の注意散漫や苛立ちが少なくなり、それによって安全性を向上させることができ、重要な情報を見逃す危険性を再び低減することができる。また、この種の写実的表現は、鏡像の形態で表現されるこの追加的に表示された内容が、実際には環境の第２の部分の反射もしくは鏡像を構成するものであることを運転者が認識するのに役立ち、車両に関連する鏡像によって表現される環境のこの第２の部分を正確にローカライズすることができるので、非常に有用である。

【0008】

好ましくは、少なくとも１つの車両センサはカメラとして構成される。また、車両は複数のカメラを備え、特に全視野が３６０°であることが好ましい。そこで、これらのカメラによって撮像された環境画像を一体に統合して、上述したように選択された視点からの所定の表示域にマッピングすることができる。しかし、一般に、少なくとも１つの車両センサは、レーザスキャナ、超音波センサおよび／またはレーダのような任意の車両センサとして構成することができる。これら全てのセンサによって、車両もしくはその少なくとも一部の環境の表現を、撮像されたセンサデータの適切な処理によって提供して、撮像された環境情報の画像表現を提供することができる。

【0009】

さらに、鏡像は、例えば物理的な反射の法則に従って、または物理的な反射の法則からの所定の偏差を使用して事前定義された方法でミラーリングされ、特に計算的にミラーリングされた、環境の少なくとも１つの第２の部分の画像を構成しており、これについては後に詳述する。

【0010】

また、本発明の好ましい実施形態によれば、環境の第２の部分は環境の第１の部分と少なくとも部分的に異なる。換言すれば、車両の環境の一部は鏡像によって視認でき、そうでなければ所定の表示域の所定の視点からは視認できない。したがって、有利には、環境に関する追加情報を車両の運転者もしくは使用者に提供することができ、重要な情報を見逃す危険性を低減することができる。

【0011】

さらに、車両表現の所定の領域が、車両のウィンドウ、特にフロントガラスおよび／またはリアウィンドウおよび／またはルーフウィンドウおよび／またはサイドウィンドウに関連する車両表現の一部を構成する場合に非常に有利である。これにより、鏡像を追加的に表示することによって車両表現の自然な外観を維持することができ、使用者を注意散漫にさせるかまたは苛立たせる可能性の危険性を低減することができる。それにもかかわらず、一般に、例えば車両のドアまたはトランクの蓋を表す部分など車両表現の任意の部分に鏡像を提供することができる。

【0012】

本発明の別の有利な実施形態によれば、特定の鏡像は、所定の視点、および／または鏡像が表示された車両表現の所定の領域に関連付けられた鏡面の所定の形状に応じて、および／または所定の視点に対する鏡面の位置および／または向きに応じて決定される。これにより、これらの依存関係が実際の反射の法則に対応するので、鏡像の非常に自然な外観を実現することができる。換言すれば、鏡像によって表現される環境の第２の部分は、所定の視点の位置、および車両表現の表面の傾斜に依存し、例えば車両表現のウィンドウの形状および表面の傾斜、および、そこからシーン全体が最終的に表示装置に表示される仮想視点に対するこれらの仮想反射面の位置に依存する。

【0013】

さらに、自動車の２Ｄ画像、特に、所定の視点からの車両を表すビットマップ画像の形態で車両表現を提供することができる。車両の２Ｄ画像の形態のこのような車両表現は、例えば上面視について特に有利である。しかし、シーンの他の眺望をいくつかの異なる所定の視点の形態で提供することもできる。この場合、それぞれの２Ｄ画像を各視点について定義することができる。車両の２Ｄ画像を車両表現として使用することには、特に車両表現の一部の鏡像の表現と組み合わせて、これが特に計算的に安価であるという利点がある。したがって、各視点について、車両表現の所定の領域に関連付けられた対応する鏡面を定義することができ、鏡像を所与の視点から簡単に計算することができる。

【0014】

したがって、視点がいくつかの事前定義された個別の視点に調整可能である場合、本発明の別の実施形態は有利であり、車両の対応する２Ｄ画像は事前定義された視点ごとに記憶され、２Ｄ画像および鏡像は、視点が変化する場合にそれに応じて変更される。非常に有利には、シーン上の複数の異なる眺望を限られた処理能力で提供することができ、鏡像の内容もまた選択された視点に依存するので、これら眺望は、鏡像、特にそれぞれの鏡像によって提供される追加情報によって有利に強化される。

【0015】

本発明の別の有利な実施形態によれば、車両表現は、車両モデル、特に３Ｄ車両モデルの形態で提供され、鏡面の形状は、鏡像が表示された車両モデルの所定の領域の形状によって決定される。換言すれば、車両モデルの一部での環境の写実的な反射を計算するために、単純に３Ｄ車両モデルのこの部分の形状をこれらの計算に使用することができる。３Ｄ車両モデルを車両表現として使用することにより、特に鏡像と組み合わせて、シーンのはるかに写実的な視覚化、特に動的に変更可能な視覚化を行うことができる。

【0016】

したがって、所定の視点が動的に調整可能である場合、本発明の別の実施形態は有利であり、車両モデルの表現および鏡像は、動的に調整された視点に応じて動的に調整される。それにより、環境情報を３Ｄ空間内の任意の視点から提供することができ、有利には、連続的な遷移を異なる視点間で提供することができる。

【0017】

また、一方では、物理的な光反射の法則に基づいて鏡像を簡単に計算することができる。したがって、鏡像が物理的な光反射の法則に基づいて決定される場合、本発明の別の実施形態は有利である。これにより、最終的に表示される表現の非常に自然で写実的な外観が得られる。一方、鏡像の計算が物理的な光反射の法則に厳密に従わない場合にも非常に有利なことがある。

【0018】

したがって、鏡像が物理的な光反射の法則からの所定の偏差に基づいて決定される場合、本発明の別の実施形態は有利である。例えば、反射として車両表現に表示される内容を、車両の遠く離れた隅からの危機的なシーンなどの、さもなければ非表示となる周囲のシーンを隠すように事前に設計することができる。例えば、環境の第２の部分からの光が、仮想レンズのような特定の仮想光学部品を最初に通過し、次いで鏡面によって仮想視点に反射されるかのように、鏡像を計算することができる。そこで、このような仮想光学部品の設計は所定の偏差を定義する。これにより、さらに重要な情報を使用者に提供することができる。

【0019】

特に、鏡像によって表現される環境の第２の部分への所定の視点からの視野が、鏡像が所定の偏差を含まない物理的な光反射の法則に基づいて決定された場合よりも大きくなるように、鏡像が物理的な光反射の法則からの所定の偏差に基づいて決定される場合、非常に有利である。好ましくは、視野は、特に水平方向、すなわち車両の垂直軸に対して垂直に拡大され、これは、ほとんどの運転または駐車の場面において非常に有利である。このような広い視野を作り出すために、単一のカメラのように単一のセンサの入力データのみを使用することができるだけでなく、鏡像の計算は、異なるセンサ、特に、例えば異なる隣接カメラによって提供される環境データに基づくこともでき、それぞれ提供された環境データを適切に融合して統合することができる。例えば水平方向の魚眼特性を有する仮想レンズを通過する環境の第２の部分からの光をモデル化することによって、鏡像を計算することができ、これにより、特に広い視野が水平方向に提供され、次いで、所定の鏡面上で仮想視点に仮想的に反射される。

【0020】

本発明の別の有利な実施形態によれば、車両表現の所定の領域は所定の視点の変化に応じて変更される。上記で説明したように、車両表現の所定の領域が、例えば車両表現のウィンドウを構成する場合、非常に有利である。車両表現は、通常の自動車と同様に、フロントガラス、リアウィンドウ、サイドウィンドウ、場合によってはルーフウィンドウなどの複数のウィンドウを含むので、車両表現のこれら全てのウィンドウ表現を、最終的に鏡像が表示されるかまたはいくつかのそれぞれの鏡像が同時に表示される所定の領域として使用することが可能である。しかし、視点によっては、これらのウィンドウ表現の一部が、鏡面として使用される他の表現よりも適切な位置に存在する場合がある。例えば、画像表現が車両表現を後方から見た視点から表示される場合、特にこのような視点からは車両表現のフロントガラスが視認できない場合があるので、鏡像を表示するための鏡面としてリアウィンドウを使用することは、例えばフロントガラスを使用することよりも適切である。したがって、本発明のこの有利な実施形態によれば、鏡像が表示されるべき車両表現の領域もまた、視点に応じて有利に選択することができる。好ましくは、車両表現を後方から見た視点の場合、車両表現のリアウィンドウは車両表現の所定の領域として使用され、車両表現上に前方付近からどこかを見た視点の場合、所定の領域は車両表現のフロントガラス表現を含み、車両表現を側部からどこかを見た所定の視点の場合、好ましくは車両表現のサイドウィンドウの１つは車両表現の所定の領域を構成し、上面視の場合、所定の領域は少なくとも車両表現のリアウィンドウおよびフロントガラスによって構成され、任意には、車両表現のサイドウィンドウによっても構成される。有利には、画像表現の視点を変更することによって、使用者は、車両表現の周囲に表現される環境への眺望を変更できるだけでなく、車両表現の少なくとも一部上の反射として表現される環境の第２の部分の眺望も変更することができる。

【0021】

本発明の別の有利な実施形態によれば、鏡像の反射率は調整可能であり、鏡像および車両表現の所定の領域は、調整された反射率に依存してクロスフェードされる。これにより、例えば運転状況に応じて反射率を自動的に調整することができる。例えば通常の運転状況では、反射率を２０％に設定することができ、つまり、車両表現の所定の領域で、鏡像の２０％を視認でき、例えばウィンドウ表現などの車両表現自体の所定の領域の８０％を視認できる。０％の反射率とは、鏡像が全く表示されず、車両表現の所定の領域のみが視認できることを意味し、１００％の反射率とは、理想的な反射鏡のように鏡像のみを視認できるが、車両表現の所定の領域に表現される車両の一部は全く視認できないことを意味する。駐車場に駐車する場合では、環境情報が通常の運転状況よりもはるかに重要であるが、反射率を上げることができるので、使用者は、鏡像によって示された環境情報を簡単に収集できるようになる。しかし、使用者自身が反射率を調整することもできる。例えば、反射率を０～１００％の間で調整することができる。これは、使用者が自分の好みに応じて反射率を設定することができるので非常に有利である。同時に、このガラス反射機能をオンまたはオフにする選択肢を使用者に提供することもできる。使用者が鏡像の表示をオフにした場合、車両表現、特に所定の領域、例えば車両表現のウィンドウは、例えばシーンの反射なしで、またはシーンの反射が非常に弱い状態のみで透明に表示される。

【0022】

本発明はまた、コンピュータ可読媒体に記憶されたプログラムコードを含み、電子制御装置のプロセッサによって実行された場合に、プロセッサに、撮像された車両の環境の少なくとも１つの第１の部分の画像表現であって車両を表す車両表現を含む画像表現を、所定の視点からの所定の表示域内に提供し、かつ画像表現を表示装置上に表示する、コンピュータプログラム製品に関する。また、コンピュータプログラム製品はさらに、画像表現を提供する場合に、プロセッサに、撮像された環境の少なくとも１つの第２の部分を、車両表現の所定の領域上の環境の少なくとも１つの第２の部分の鏡像の形態で表現させる。

【0023】

さらに、本発明はまた、車両の環境の少なくとも一部の画像表現を表示装置上に提供するための車両用の運転者支援システムに関し、運転者支援システムは、車両の環境を少なくとも部分的に撮像するように構成された少なくとも１つの車両センサと、撮像された環境の少なくとも１つの第１の部分の画像表現を、所定の視点からの所定の表示域内に提供するように構成された処理ユニットであって、画像表現が車両を表す車両表現を含む、処理ユニットと、画像表現を表示するように構成された表示装置とを含む。さらに、処理ユニットは、画像表現を提供する場合に、撮像された環境の少なくとも１つの第２の部分を、車両表現の所定の領域上の環境の少なくとも１つの第２の部分の鏡像の形態で表すように構成される。

【0024】

さらに、本発明による運転者支援システムを備えた車両もまた、本発明に関連すると見なされなければならない。

【0025】

本発明による方法およびその実施形態に関して説明した利点は、本発明によるコンピュータプログラム製品、運転者支援システムおよび車両に同様に適用される。

【0026】

好ましくは、少なくとも１つのセンサは少なくとも１つのカメラとして構成される。好ましくは、運転者支援システムは、いくつかのカメラ、例えば車両の前部に取り付けられたフロントカメラ、車両の後部に取り付けられたリアカメラ、車両の左側のサイドミラーに取り付けられた左ミラーカメラ、および車両の右側のミラーに取り付けられた右ミラーカメラのような４つのカメラを含む。各時間ステップでは、これらのカメラは車両の環境の画像を撮像することができ、この画像を、所定の視点を定義する所定の仮想視点から所与の表示域に投影することができ、それによって車両表現が挿入され、かつ表示装置、特に車両の表示装置に表示されたそれぞれの出力画像を提供する。

【0027】

本発明のさらなる構成は、特許請求の範囲、図面、および図面の説明から明らかである。上記の説明で言及した構成および構成の組合せ、ならびに図の説明で以下に言及する構成および構成の組合せ、および／または図のみに示すものは、本発明の範囲から逸脱することなく、それぞれ指定された組合せだけでなく他の組合せも使用可能である。したがって、実装もまた、本発明によって包含および開示されると見なされるべきであり、これは、図に明示的に示され説明されていないが、説明された実装から生じ、またそれから分離される構成の組合せによって生成することができる。実装と構成の組合せも開示されていると見なされるべきであり、したがってこれらは元々策定された独立請求項の構成の全てを備えているわけではない。さらに、実装と構成の組合せは、特に、上記の実装によって開示されていると見なされるべきであり、これらは特許請求の範囲に記載された構成の組合せを超えて拡大し、またはそれから逸脱している。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施形態による運転者支援システムを含む車両の概略図である。

【図2】本発明の一実施形態による、車両のモデルが挿入されたボウルとして構成された投影面の概略図である。

【図3】本発明の一実施形態による、車両の表示装置に表示される画像表現の概略図である。

【図4】本発明の別の実施形態による、車両の表示装置に表示される画像表現の概略図である。

【発明を実施するための形態】

【0029】

図１は、本発明の一実施形態による運転者支援システム２を備える車両１の概略図を示している。運転者支援システム２は、少なくとも１つの環境センサ、この場合は４つのカメラ３、４、５、６、すなわちフロントカメラ３、リアカメラ４、左ミラーカメラ５および右ミラーカメラ６を備える。カメラ３、４、５、６の各々は広角カメラとして構成されてもよい。したがって、非常に広い視野をカメラ３、４、５、６の各々によって撮像することができる。この例では、フロントカメラ３は、図示の境界線３ａによって水平面に限定された対応する視野ＦＯＶ１を含む。同様に、リアカメラ４は、対応する境界線４ａによって水平面に限定された対応する視野ＦＯＶ２を含む。左ミラーカメラ５は、図示の境界線５ａによって水平面に限定された対応する視野ＦＯＶ３を含み、右ミラーカメラ６は、図示の境界線６ａによって水平面に限定された対応する視野ＦＯＶ４を含む。したがって、カメラ３、４、５、６の各々は、車両１の環境７の対応する部分７ａ、７ｂ、７ｃ、７ｄを撮像するように構成される。さらに、それぞれの視野ＦＯＶ１、ＦＯＶ２、ＦＯＶ３、ＦＯＶ４は互いに重なる。

【0030】

運転者支援システム２はまた、画像処理モジュール８として構成される処理ユニットを備える。画像処理モジュール８は、それぞれのカメラ３、４、５、６によって撮像された画像を、ボウル９（図２を参照）または平坦な２Ｄ平面のような標的表面にマッピングし、その後、仮想視点１１で任意に選択された仮想カメラから画像を統合して表示域１０（図２を参照）にレンダリングし、それによって視点を定義する。次いで、その表示域１０内の環境の画像表現および追加的に車両１の表現が、車両１の表示装置１２に表示される。

【0031】

図２は、この例では車両表現１４の一例として、車両１の３Ｄモデルと共にボウル１３として構成された投影面の概略図を示している。上述したように、車両カメラ３、４、５、６によって撮像された画像は一体に統合され、かつボウル１３の表面に投影される。さらに、ここで仮想視点１１によって表されている選択された視点の位置に応じた特定の表示域１０が画定される。この例では、視点１１は、車両モデルまたは一般に車両表現１４によって表現される車両１の後方からの眺望が提供されるように選択される。結果として得られる画像表現１５は、最終的に車両１の表示装置１２に表示され、図３に示されている。

【0032】

ここで有利には、表示域１０に関連付けられた車両１の環境７の第１の部分１０ａが表現されるだけでなく、車両モデル１４の後方の標示領域によって図２に示され、したがって第２の表示域１６に関連付けられていると見なすことができる、車両１の環境７の第２の部分１６ａもまた表現される。この第２の部分１６ａは車両表現１４の特定の領域に表示され、特にこの例では、環境７のこの第２の部分１６ａの鏡像１８の形態でリアウィンドウ１７（図３を参照）に表示される。これにより、追加の環境情報を車両１の使用者に非常に自然で写実的に表示することができる。

【0033】

一般に、任意のウィンドウ表現１７、さらには例えば図４に示すフロントガラス１９またはサイドウィンドウ２０の表現を使用して鏡像１８を表示することができる。特に図４は、上面視画像の形態の画像表現１５の別の例の概略図を示しており、仮想視点１１は車両１の真上に位置決めされ、さらに、対応する車両表現１４によって表現される。この場合、車両表現１４は、好ましくは２Ｄビットマップ画像によって提供される。ここで、この例における対応する表示域１０は接地面であり、有利には、この場合もまた、その所定の表示域内にはない環境の他の部分は、車両表現１４のウィンドウ１７、１９、２０上のそれぞれの鏡像１８として示される。

【0034】

これによって、鏡像１８がウィンドウ１７、１９、２０を構成する車両表現１４の部分上に示される場合、光反射の非常に自然な印象を使用者に与えるので、特に有利である。このような鏡像１８の形態で環境の追加的部分を示すことによって、例えばガラス窓を使用すると、環境７における危機的なシーンを、図４に示す例に従って上面視の範囲を超えて、または図３の例のように他の選択した表示域１０を超えて反射させることができ、運転者による環境７の観察の改善に非常に役立つ。

【0035】

このような鏡像１８を提供するために、計算は厳密に物理的な光反射の法則に従ってもよい。この目的のために、鏡面を画定することができ、この鏡面は、車両表現１４が３Ｄ車両モデル１４の形態で提供される場合に、鏡像１８が表示された車両表現１４の所定の領域の形状によって決定することができる。しかし、車両１が２Ｄビットマップ画像によって表現される場合にも、所定の領域、例えば窓領域を、特に仮想視点１１の位置に応じて、モデル計算に従って環境７からの光が反射した対応する鏡面に関連付けることができる。

【0036】

また、鏡像１８を計算する場合、物理的な光反射の法則からの所定の偏差も許容されてもよい。これは、ガラスに表示されるシーンを事前に設計して、車両１の遠く離れた隅からの危機的なシーンなどの、さもなければ非表示となる周囲のシーンを表示することができることを意味する。したがって有利には、光反射の法則からのそのような人為的な偏差によって、この鏡像１８によって提供される視野を拡大することができる。この場合、画像のゆがみおよび表示域の設計を適用して視野を拡大することができる。画像のゆがみおよび表示域の設計は、実際のカメラ３、４、５、６の生画像を変換して、より興味深い画像コンテンツを適切に表示する手法である。

【0037】

この反射機能、すなわち環境の一部を鏡像として表示することは、車両が駐車スロットに逆向きに駐車するなどの、一部の車両運転操作に特に役立つ場合がある。さらに、車両表現１４の所定の領域に現れる反射の明るさもしくは強さの程度を定義する反射のレベルもまた、特に使用者によって調整することができる。この目的のために、好みに応じて反射のレベルを調整するための任意の種類の入力手段を使用者に提供することができる。また、例えば２０％など、反射を可能な限り自然にするための既定の反射レベルを提供することができる。さらに、このガラス反射機能をオンまたはオフにする選択肢を使用者に提供してもよい。したがって、この機能をオフにすると、ガラスは、シーンの反射なしで、またはシーンの反射が非常に弱い状態でのみ透明に表示される。

【0038】

結論として、本発明またはその実施形態によって、追加の潜在的に重要な内容を、環境の任意の他の関連する表現部分を隠すことなく、非常に自然で写実的に使用者に表示することができ、したがって、多くの運転および駐車の場面において非常に有益であり、かつ危機的な情報を見逃す危険性を低減する。

【図1】

【図2】

【図3】

【図4】