特許 6880252 自動車両および自動車両の環境領域の少なくとも１つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6880252

(24)【登録日】2021年5月7日

(45)【発行日】2021年6月2日

(54)【発明の名称】自動車両および自動車両の環境領域の少なくとも１つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両

(51)【国際特許分類】

   G06T 7/55 20170101AFI20210524BHJP

   H04N 7/18 20060101ALI20210524BHJP

【ＦＩ】

   G06T7/55

   H04N7/18 J

【請求項の数】15

【全頁数】25

(21)【出願番号】特願2019-572399(P2019-572399)

(86)(22)【出願日】2018年6月25日

(65)【公表番号】特表2020-525945(P2020-525945A)

(43)【公表日】2020年8月27日

(86)【国際出願番号】EP2018066868

(87)【国際公開番号】WO2019002165

(87)【国際公開日】20190103

【審査請求日】2020年2月26日

(31)【優先権主張番号】102017114611.3

(32)【優先日】2017年6月30日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】514189527

【氏名又は名称】コノート、エレクトロニクス、リミテッド

【氏名又は名称原語表記】ＣＯＮＮＡＵＧＨＴ ＥＬＥＣＴＲＯＮＩＣＳ ＬＴＤ．

(74)【代理人】

【識別番号】100091982

【弁理士】

【氏名又は名称】永井 浩之

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100127465

【弁理士】

【氏名又は名称】堀田 幸裕

(74)【代理人】

【識別番号】100130719

【弁理士】

【氏名又は名称】村越 卓

(72)【発明者】

【氏名】ファンチン、グオ

(72)【発明者】

【氏名】ブライアン、マイケル、トーマス、ディーガン

(72)【発明者】

【氏名】ウラジミール、ズロコリカ

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２００７−３１５８６１（ＪＰ，Ａ）

【文献】 特開２００７−３１０８０５（ＪＰ，Ａ）

【文献】 特開２０１１−２１８８９１（ＪＰ，Ａ）

【文献】 特開２０１２−１４７１４９（ＪＰ，Ａ）

【文献】 特開２０１０−２３１４００（ＪＰ，Ａ）

【文献】 特開２０１４−１５３１９２（ＪＰ，Ａ）

【文献】 特開２０１６−４２７０４（ＪＰ，Ａ）

【文献】 米国特許第９０８１３８５（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１７／０００４６２２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／５５

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

動的仮想カメラ（１２）の動的可変視点（Ｐ１、Ｐ２、Ｐ３）からの自動車両（１）と前記自動車両（１）の環境領域（４）とを示し、少なくとも２台の車両側カメラ（５ａ、５ｂ、５ｃ、５ｄ）の原画像（２５）に基づいておよび前記仮想カメラ（１２）の前記視点（Ｐ１、Ｐ２、Ｐ３）に依存する前記自動車両（１）の透視モデル（１７）に基づいて決定される少なくとも１つの合成俯瞰表示画像（２４）を生成する方法であって、
ａ）前記合成俯瞰表示画像（２４）が少なくとも１つの妨害信号の影響を受けた画像領域を含むかどうかを決定し、そうである場合は、前記合成俯瞰表示画像（２４）内の前記少なくとも１つの妨害信号の影響を受けた画像領域を識別するステップと、
ｂ）前記少なくとも１つの妨害信号の影響を受けた画像領域内の妨害信号（２７）の重大度を決定するステップ（Ｓ６３）と、
ｃ）前記仮想カメラ（１２）の前記視点（Ｐ１、Ｐ２、Ｐ３）に応じて前記妨害信号（２７）の有意度を決定するステップであって、前記仮想カメラ（１２）の前記視点（Ｐ１、Ｐ２、Ｐ３）と共に前記画像領域の少なくとも１つの幾何学的パラメータが有意度によって特徴付けられる、ステップ（Ｓ６１）と、
ｄ）前記仮想カメラ（１２）の前記視点（Ｐ１、Ｐ２、Ｐ３）に応じて、前記合成俯瞰表示画像（２４）に挿入される、前記自動車両（１）の前記モデル（１７）による前記妨害信号の影響を受けた画像領域の遮蔽度を決定するステップ（Ｓ６２）と、
ｅ）前記妨害信号（２７）の前記重大度が所定の重大度しきい値を超え、前記妨害信号（２７）の前記有意度が所定の有意度しきい値を超え、及び前記遮蔽度が所定の遮蔽度しきい値未満のままの場合に、前記合成俯瞰表示画像（２４）のみに関して前記妨害信号（２７）を低減するステップ（３５）と、を含む、方法。

【請求項2】

前記妨害信号（２７）は、前記原画像（２５）内および／または前記合成俯瞰表示画像（２４）内で低減され、前記妨害信号（２７）が少なくとも前記原画像（２５）において低減される場合、前記ステップａ）〜ｄ）は、前記合成俯瞰表示画像（２４）の作成前に原画像（２５）に基づいて予測的に実行される
ことを特徴とする、
請求項１に記載の方法。

【請求項3】

前記原画像（２５）は、所定の曲面（１６）に投影され、前記自動車両（１）の前記モデル（１７）は、前記面（１６）上の所定の位置に配置され、前記合成俯瞰表示画像（２４）は、前記動的仮想カメラ（１２）の視点（Ｐ１、Ｐ２、Ｐ３）に基づくとともに、前記面（１６）に基づいて、前記自動車両（１）の前記モデル（１７）及び前記投影された原画像（２５）とともに決定される
ことを特徴とする、
請求項１または２に記載の方法。

【請求項4】

ステップａ）において、少なくとも１つの環境条件、特に前記自動車両（１）のための路面（１３）のテクスチャおよび／または日中および／または気象の条件、が決定され、少なくとも１つの環境条件に基づいて、前記合成俯瞰表示画像（２４）が、前記少なくとも１つの妨害信号の影響を受けた画像領域を含むかどうかが予測される
ことを特徴とする、
請求項１〜３のいずれか一項に記載の方法。

【請求項5】

ステップａ）において、妨害信号インジケータが決定され、前記妨害信号インジケータに基づいて前記少なくとも１つの妨害信号の影響を受けた画像領域の存在と、前記合成俯瞰表示画像（２４）内の少なくとも１つの画像領域の位置とが決定され、ステップｂ）において、前記妨害信号（２７）の前記重大度が前記妨害信号インジケータに基づいて決定される
ことを特徴とする、
請求項１〜４のいずれか一項に記載の方法。

【請求項6】

前記妨害信号インジケータとして、前記カメラ（５ａ、５ｂ、５ｃ、５ｄ）の少なくとも１つのカメラパラメータに応じてピクセル密度マップ（ＰＤＭ）が決定され、それは前記合成俯瞰表示画像（２４）の作成に寄与する前記原画像（２５）のピクセルの数の分布に依存する画像領域を表し、前記ピクセル密度マップ（ＰＤＭ）内の最大ピクセル密度値が、前記妨害信号（２７）の前記重大度として決定される
ことを特徴とする、
請求項５に記載の方法。

【請求項7】

前記妨害信号インジケータとして、ピクセル値の統計的ばらつきを表す少なくとも１つの測定値が、前記原画像（２５）におけるおよび／または前記合成俯瞰表示画像（２４）におけるピクセルの位置の関数として決定され、前記妨害信号（２７）の前記重大度は、前記少なくとも１つの測定値の相対値に基づいて決定される
ことを特徴とする、
請求項５または６に記載の方法。

【請求項8】

前記妨害信号インジケータは、前記原画像（２５）および／または前記合成俯瞰表示画像（２４）のピクセル値の周波数分析によって決定される
ことを特徴とする、
請求項５〜７のいずれか一項に記載の方法。

【請求項9】

前記合成俯瞰表示画像（２４）を表示するための車両側の画面に応じて、前記妨害信号インジケータとして、前記環境領域（４）におけるある環境サブ領域に対応するそれぞれの画面領域が決定され、その画面領域のサイズは、前記妨害信号（２７）の前記重大度として決定され、それは前記画面での表示中に前記妨害信号の影響を受けた画像領域に対応する前記環境サブ領域によって占有される
ことを特徴とする、
請求項５〜８のいずれか一項に記載の方法。

【請求項10】

テスト妨害信号インジケータ（５０、５１、５２、５３、５４、５５）が少なくとも１つのテストサイクル中に決定され、前記環境領域（４）における所定の環境サブ領域の位置と前記テスト妨害インジケータ（５０、５１、５２、５３、５４、５５）の値との間の関係が決定され、前記重大度しきい値が前記関係に基づいて決定される
ことを特徴とする、
請求項５〜９のいずれか一項に記載の方法。

【請求項11】

前記動的仮想カメラ（１２）の前記視点（Ｐ１、Ｐ２、Ｐ３）に依存する有意度として、前記動的仮想カメラ（１２）の前記視点（Ｐ１、Ｐ２、Ｐ３）に対応する前記合成俯瞰表示画像（２４）における前記少なくとも１つの妨害信号（２７）の影響を受けた画像領域のサイズおよび／または形状および／または位置が決定される
ことを特徴とする、
請求項１〜１０のいずれか一項に記載の方法。

【請求項12】

前記合成俯瞰表示画像（２４）において前記妨害信号（２７）を低減するために、以下のステップｆ）〜ｈ）のうちの少なくとも１つが実行される
ｆ）統合強調機能を備えるカメラ（５ａ、５ｂ、５ｃ、５ｄ）の場合、前記キャプチャされた原画像（２５）に関するコントラスト強調および／またはエッジ強調を抑制または軽減し、前記コントラスト強調および／またはエッジ強調なしの前記原画像（２５）に基づいて前記合成俯瞰表示画像（２４）を決定する、
ｇ）前記キャプチャされた原画像（２５）内の焦点調節誤差を生成し、前記焦点調節誤差を有する前記原画像（２５）に基づいて前記合成俯瞰表示画像（２４）を決定する、
ｈ）前記合成俯瞰表示画像（２４）および／または前記原画像（２５）の前記妨害信号の影響を受けた画像領域に対応するピクセルにフィルタを適用する、
ことを特徴とする、
請求項１〜１１のいずれか一項に記載の方法。

【請求項13】

前記妨害信号（２７）が前記自動車両（１）の動きおよび／または前記仮想カメラ（１２）の動きに起因するかどうかが判断され、前記妨害信号（２７）が前記仮想カメラ（１２）の動きのみに起因する場合、前記合成俯瞰表示画像（２４）における隣接ピクセルの平均化を実行することにより、前記妨害信号（２７）が低減される
ことを特徴とする、
請求項１〜１２のいずれか一項に記載の方法。

【請求項14】

自動車両（１）用のカメラシステム（３）であって、前記自動車両（１）の環境領域（４）から原画像（２５）をキャプチャするための少なくとも２台のカメラ（５ａ、５ｂ、５ｃ、５ｄ）と、請求項１〜１３のいずれか一項に記載の方法を実行するように構成された画像処理装置（１１）とを備える、自動車両（１）用のカメラシステム（３）。

【請求項15】

請求項１４に記載のカメラシステム（３）を備える自動車両（１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動的仮想カメラの動的可変視点から自動車両および自動車両の環境領域を示し、少なくとも２台の車両側カメラの原画像、および仮想カメラの視点に依存する自動車両の透視モデルに基づいて、少なくとも１つの合成俯瞰表示画像を生成する方法に関する。本発明はさらに、カメラシステムおよび自動車両に関する。

【背景技術】

【0002】

自動車両のカメラシステム、例えば、サラウンドビューカメラシステムのカメラを用いて自動車両の環境領域を監視することは、従来技術から既に知られている。この目的のために、カメラは、環境領域から原画像または原画像データをキャプチャすることができ、これを自動車両の表示装置、例えば、画面上で自動車両の運転者に表示することができる。いわゆる第三者の視点からの環境領域の三次元表現も、表示装置にますます表示されつつある。このような第三者の視点は、車両外部観察者、いわゆる仮想カメラの視点から自動車両の環境領域と自動車両自体を示す。

【0003】

第三者視点からの環境領域のこのような俯瞰画像は、カメラシステムのカメラによって検出された原画像を合成することによって生成でき、合成、したがって結果として得られる俯瞰画像表示は、仮想カメラの視点に依存する。合成俯瞰表示画像は、仮想カメラの姿勢で実際のカメラによってキャプチャされているような印象を与える。このような合成俯瞰表示画像は、例えば、観察者が自動車両を上から垂直に下向きに見る平面図である可能性がある。したがって、仮想カメラは、自動車両の上方の自動車両の垂直軸に沿って配置され、自動車両に向かって方向付けられる。この上面図画像は、表示装置に表示することができ、車両の屋根を備えた自動車両の上側と、自動車両を取り巻く環境領域、特に路面を示している。

【0004】

この場合、合成俯瞰表示画像に、エイリアシング効果エイリアシングとも呼ばれる妨害信号が含まれることがある。これらの妨害信号は、例えば、表示装置に表示される画像の人工的なフリッカ効果である可能性がある。これらのフリッカ効果は、通常、合成俯瞰表示画像の画像領域で発生し、この領域は、特に、自動車両が動いているときに、自動車両の近くの環境領域の底部領域を示す。表示装置に表示されるこれらのフリッカ効果は、運転者に表示される合成俯瞰表示画像の画質を低下させ、運転者を混乱させる可能性がある。妨害信号を低減するためのアンチエイリアシング法が従来技術から知られている。ただし、特に環境領域の画像を運転者にリアルタイムで表示する必要がある場合は、これらの計算コストが高くなる可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、自動車両および自動車両の環境領域の高品質の合成された俯瞰表示画像を、多大な計算努力なしに、いかに迅速に生成できるかに関する解決策を提供することである。

【課題を解決するための手段】

【0006】

本発明によれば、この目的は、方法、カメラシステム、およびそれぞれの独立請求項による構成を有する自動車両によって解決される。本発明の有益な実施形態は、従属特許請求項、説明および図面の主題である。

【0007】

方法の一実施形態によれば、動的仮想カメラの動的可変視点から自動車両および自動車両の環境領域を示す、少なくとも１つの合成俯瞰表示画像が生成され、合成俯瞰表示画像は、特に、少なくとも２つの車両側カメラの原画像に基づいて、および仮想カメラの視点に依存する透視モデルに基づいている。ステップａ）で、特に、合成俯瞰表示画像が少なくとも１つの妨害信号の影響を受けた画像領域を含むかどうかが決定され、もしそうであれば、少なくとも１つの妨害画像の影響を受けた画像領域が合成俯瞰表示画像内で識別される。ステップｂ）で、少なくとも１つの妨害信号の影響を受けた画像領域における妨害信号の重大度を決定でき、ステップｃ）で妨害信号の重大度を仮想カメラの視点に応じて決定でき、仮想カメラの視点での画像領域の少なくとも１つの幾何学的パラメータは、重大度によって特徴付けられる。特に、ステップｄ）で、合成俯瞰表示画像に挿入される自動車両のモデルによる妨害信号の影響を受けた画像領域の遮蔽度は、仮想カメラの視点に応じて決定される。特に、ステップｅ）で、妨害信号の重大度が所定の重大度しきい値を超え、かつ妨害信号の有意度が所定の有意度しきい値を超え、かつ遮蔽度が所定の遮蔽度しきい値未満のままの場合に、合成俯瞰表示画像に関する妨害信号のみが低減される。

【0008】

方法の特に好ましい実施形態によれば、動的仮想カメラの動的可変視点から自動車両および自動車両の環境領域を示す、少なくとも１つの合成俯瞰画像が生成され、合成俯瞰表示画像は、少なくとも２台の車両側カメラの原画像に基づき、および仮想カメラの視点に依存する自動車両の透視モデルに基づいて決定される。ステップａ）で、合成俯瞰画像は、合成俯瞰表示画像内に少なくとも１つの妨害信号の影響を受ける表示画像を含むかどうかが決定される。ステップｂ）で、少なくとも１つの妨害信号の影響を受けた画像領域内の妨害信号の重大度が決定され、ステップｃ）で、妨害信号の有意度が仮想カメラの視点に応じて決定され、仮想カメラの視点での画像領域の少なくとも１つの幾何学的パラメータは、有意度によって特徴付けられる。さらに、ステップｄ）で、合成俯瞰画像に挿入される自動車両のモデルによる妨害信号の影響を受けた画像領域の遮蔽度は、仮想カメラの視点に応じて決定される。ステップｅ）で、妨害信号の重大度が所定の重大度しきい値を超え、かつ妨害信号の有意度が所定の有意度しきい値を超え、かつ遮蔽度が所定の遮蔽度しきい値未満のままの場合に、合成俯瞰表示画像に対する妨害信号のみが低減される。

【0009】

本方法により、仮想カメラの視点から自動車両と自動車両を取り巻く環境領域を示す高品質の俯瞰表示画像を生成できる。俯瞰画像は、ビデオシーケンス、特にリアルタイムビデオの形式で自動車両の運転者に表示できる。俯瞰画像は、少なくとも２台の車両側カメラでキャプチャされた原画像によって生成される。俯瞰画像を生成すなわちレンダリングするために、原画像が、例えば、車両側の画像処理装置によって合成される。原画像の俯瞰表示画像への合成は、本明細書で、仮想カメラによる俯瞰表示画像のキャプチャと同じ方法で使用される。

【0010】

特に、原画像は、自動車両の広角マルチカメラシステムによって高解像度でキャプチャされる。マルチカメラシステムは、例えば、自動車両に搭載された４台のカメラを備えたサラウンドビューカメラシステムとして構成できる。サラウンドビューカメラシステムは、自動車両の前方の環境領域から原画像をキャプチャする前方カメラ、自動車両の後方の環境領域から原画像をキャプチャする後方カメラまたは反転カメラ、および自動車両に隣接する環境領域から原画像をキャプチャする２台の側方カメラを備えてもよい。カメラの検出範囲を拡大するために、カメラには広角レンズ、例えば魚眼レンズを含めてもよい。原画像および合成俯瞰表示画像は、自動車両の表示装置に表示されるため、運転者は表示装置を見て環境領域をキャプチャすることができる。したがって、例えば、駐車するときに、自動車両を操縦する際に運転者を支援することができる。サラウンドビューカメラシステムと表示装置は、カメラ監視システム（ＣＭＳ）を形成し、例えば、自動車両のサイドミラーを置き換えることもできる。

【0011】

ここで、合成俯瞰画像として、動的仮想カメラの動的可変視点から環境領域を示す画像が生成される。このことは、自動車両に対する仮想カメラの位置および仮想カメラの向き、すなわち、動的仮想カメラの姿勢が変化する可能性があることを意味する。この場合、例えば、複数の合成俯瞰表示画像からのシーケンスをカメラの原画像から生成でき、これにより、様々な視点から環境領域が表示され、俯瞰表示画像をキャプチャする間に、仮想カメラが自動車両の上を、および自動車両の周囲を飛んでいるかのような印象を与える。仮想カメラの運動経路または飛行経路を、例えば、事前に決定することができる。自動車両自体をカメラでキャプチャすることはできないため、自動車両のモデルが合成画像に挿入される。モデル化された自動車両のモデルは、仮想カメラの現在の視点にも依存する。その結果、自動車両のモデルは仮想カメラの視点で変化する可能性がある。

【0012】

好ましくは、合成俯瞰表示画像を生成するために、原画像は所定の曲面に投影され、自動車両のモデルは曲面の所定の位置に配置され、合成俯瞰表示画像は投影された原画像と自動車両のモデルを含む曲面に基づいて、および動的な仮想カメラの視点に基づいて決定される。したがって、特に、いわゆるボウルビューが合成俯瞰画像として生成される。曲面は、例えば、４次多項式を用いて決定または指定できる。自動車両のモデルは、例えば、曲面の中央に配置できる。

【0013】

合成俯瞰画像は、妨害信号またはエイリアシングを含む可能性があるが、これらはアンチエイリアシング法によって抑制または軽減できる。これらの妨害信号は、特に、原画像には存在しないが、特に、自動車両および／または仮想カメラが動く場合、合成俯瞰表示画像の生成中に挿入される。合成俯瞰表示画像の生成中に計算資源を節約するために、とにかく、合成俯瞰表示画像が妨害信号を含むことがあるかどうかが判断される。妨害信号が発生するかどうかは、特に、特定のカメラシステムおよび／または自動車両の環境領域の環境条件に依存する。合成俯瞰表示画像に妨害信号を伴う画像領域が含まれる場合、これら画像領域は、例えば、合成俯瞰表示画像内の画像領域の位置が決定されるので、識別される。次に、妨害信号の影響を受けた画像領域内の妨害信号の重大度が決定される。重大度は、とにかく、画像領域内の妨害信号が、合成俯瞰表示画像内で目に見えるほど十分に強いかどうかを説明する。この場合、画像領域内の妨害信号は十分に強いかまたは重大であるため、重大度が所定の重大度しきい値を超えると、目に見えると想定される。妨害信号の重大度は、特に、カメラシステムの実際のカメラに依存する。

【0014】

さらに、妨害信号の有意度が判断される。有意度は、特に、仮想カメラに依存する尺度である。有意度は、仮想カメラの参照視点、例えば、上面図を生成するための視点と、該参照視点とは異なる視点、例えば、自動車両の背面図を生成するための視点とでの画像領域の少なくとも１つの幾何学的パラメータの変化を表す。したがって、有意度は、特に、仮想カメラの視点の変化に応じて、妨害信号の影響を受けた画像領域がどのように変化するかを表す。次に、重大度が重大度しきい値を超えた場合でも、とにかく、仮想カメラの現在の視点に応じて、合成俯瞰表示画像の画像領域内に妨害信号が目に見えるかどうかが判断される。有意度が所定の有意度しきい値を超える場合、妨害信号の影響を受けた画像領域内の妨害信号は十分に有意であり、したがって目に見えると想定される。

【0015】

特に、動的仮想カメラの視点での合成俯瞰画像内の少なくとも１つの妨害信号の影響を受けた画像領域のサイズおよび／または形状および／または位置は、動的仮想カメラの視点に応じて有意度として判定される。例えば、俯瞰画像内の仮想カメラの現在の視点に起因して妨害信号の影響を受けた画像領域のサイズが非常に小さく、妨害信号は目に見えないか、ほとんど目に見えない場合、有意度しきい値には到達しない。また、画像領域の位置および／または形状は、仮想カメラの視点の結果として、妨害信号を弱めるかまたは除去するように変化する可能性もある。例えば、仮想カメラの所定の視点に起因して、画像領域が仮想カメラの検出範囲内にないため、画像領域、したがって妨害信号は全く目に見えないことがあり得る。

【0016】

さらに、妨害信号の影響を受けた画像領域の遮蔽度は、自動車両のモデルによって影響を受ける。特に、仮想カメラのランダムで可変的な視点から環境領域を表示する合成俯瞰表示画像では、画像領域の妨害信号は、特に、それが十分に重大で十分に有意であるにもかかわらず、画像領域が自動車両の透視モデルによって少なくとも部分的に遮蔽されるため、目に見えないことが発生する場合がある。遮蔽度は、特に、モデルの透明度とモデルの視点依存形状によって決定される。したがって、例えば、妨害信号の影響を受けた画像領域は、モデルの視点依存形状によって少なくとも部分的に遮蔽されるが、モデルは透明であるため、妨害信号は依然として目に見える場合がある。特別に構成されたこの遮蔽度が決定され、所定の遮蔽度しきい値と比較される。遮蔽度が所定の遮蔽度しきい値未満のままである場合、すなわち、例えば、自動車両のモデルが透明すぎるか、モデルの透視形状が妨害信号の影響を受けた画像領域に突出していない場合、妨害信号が合成画像内で目に見えると想定される。

【0017】

したがって、重大度、有意度、および遮蔽度を決定することにより、妨害信号の低減の必要性を決定することができる。したがって、妨害信号が合成画像内で目に見えることが検出または確認された場合、妨害信号を低減するか、アンチエイリアシングを実行する。重大度が重大度しきい値未満のままであるか、有意度が有意度しきい値未満のままであるか、または遮蔽度が遮蔽度しきい値を超えている場合、妨害信号の低減は回避される。したがって、合成俯瞰表示画像を決定する際に、計算資源を効果的に節約することができる。それにより、妨害信号の低減の必要性が認識された場合に妨害信号のみが低減されるため、自動車両用の、特に、低コストのカメラシステムを実現することができる。

【0018】

好ましくは、原画像および／または合成俯瞰表示画像内における妨害信号は低減され、少なくとも原画像内で妨害信号が低減される場合、合成俯瞰表示画像を生成する前に、原画像に基づいてステップａ）〜ｄ）が予測的に実行される。原画像内における妨害画像の低減はプレフィルタリングに対応し、合成俯瞰表示画像内における妨害信号の低減は後処理に対応する。原画像内に既に存在する妨害画像を低減することができるようにするために、合成俯瞰表示画像が妨害信号の影響を受ける少なくとも１つの画像領域を含むことになるかどうかが予測される。さらに、妨害信号の重大度、妨害信号の有意度、および自動車両のモデルによる妨害信号の影響を受けた画像領域の遮蔽度が予測される。したがって、原画像から俯瞰表示画像の生成中、すなわち、仮想カメラによる俯瞰表示画像のキャプチャ中に、前々から妨害信号を減らすことができる。したがって、高品質の俯瞰表示画像は、表示装置で表示するために、特に高速で表示される。これは、例えば、リアルタイムでの応用に、特に、有益である。

【0019】

本発明のさらなる発展形態では、ステップａ）で、少なくとも１つの環境条件、特に、自動車両用路面テクスチャおよび／または１日の内の時間帯および／または気象条件が決定され、少なくとも１つの環境条件に基づいて、合成俯瞰表示画像が少なくとも１つの妨害信号の影響を受けた画像領域を含むかどうかが予測される。この実施形態は、エイリアシング効果の発生は、自動車両の環境領域の環境条件に依存する、という洞察に基づいている。例えば、路面が水膜で覆われている場合、路面上の水膜によって引き起こされる反射のコントラストが低下するため、妨害信号は非常に少なくなる。また、水膜はカメラのレンズを覆うことができるため、それによって、カメラはぼやけた原画像をキャプチャする。ぼやけた原画像に基づいて決定される合成俯瞰表示画像については、特に、妨害画像が低減されている。合成俯瞰表示画像内の妨害信号を人工的なフリッカの形で低減させる路面テクスチャは、特に小さな、または、特に大きな道路砂利の形で形成することができる。さらに、例えば、夜間ドライブ中や自動車両の影の中など光レベルが低い場合、俯瞰画像内で妨害信号はほとんど目に見えない。これらの場合、妨害信号の低減が回避される可能性がある。

【0020】

本発明の有益な実施形態では、ステップａ）で、妨害信号インジケータが決定され、少なくとも１つの妨害信号の影響を受けた画像領域の存在、ならびに合成俯瞰表示画像における画像領域の位置が、妨害信号インジケータに基づいて決定され、ステップｂ）で、妨害信号の重大度が妨害信号インジケータに基づいて決定される。妨害信号インジケータは、特に、妨害信号のない画像領域を妨害信号の影響を受けた画像領域から区別するのに役立つ。妨害信号インジケータによって、特定のカメラで妨害信号またはエイリアシングが発生しているかどうかを示すことができる。結果として、妨害信号インジケータは、実際のカメラに依存するが、特に、仮想カメラによってではない。妨害信号インジケータを、原画像に基づいて、および／または合成画像に基づいて決定することができる。この妨害信号インジケータに基づいて、妨害信号の影響を受けた画像領域を、例えば、妨害信号の影響を受けた画像領域の位置などを、少なくとも１つの合成俯瞰表示画像内において識別することができる。さらに、妨害信号の重大度を、妨害信号インジケータに基づいて決定、特に、予測することができる。

【0021】

ピクセル密度マップは、妨害信号インジケータとしてカメラの少なくとも１つのカメラパラメータに応じて決定され、そのピクセル密度マップは、合成俯瞰表示画像の作成に寄与する原画像のピクセル数の分布に依存する画像領域を表しており、ピクセル密度マップ内の最大ピクセル密度値が妨害信号の重大度として決定される。ピクセル密度マップは、ピクセル密度の空間分布に対応しており、これは、合成俯瞰表示画像内の画像領域の生成に寄与する原画像のピクセル数を表す。画像領域により、環境領域の特定の環境サブ領域または関心領域（ＲＯＩ）が画像化される。関心領域は、例えば、路面の環境サブ領域である。分布は、例えば、路面などの環境領域を環境サブ領域に分割することによって決定できる。各環境サブ領域について、合成俯瞰表示画像のそれぞれの環境サブ領域の表現に使用される原画像のピクセル数と、合成俯瞰表示画像のピクセル数との比を決定することができる。言い換えると、環境領域を細分化し、特定の環境サブ領域が環境領域内で選択され、この特定の環境サブ領域が原画像内および合成俯瞰表示画像内で占有するピクセル数が決定される。結果として、ピクセル密度は、合成俯瞰表示画像に対する原画像のピクセル比を測定するための尺度である。

【0022】

ピクセル比は、カメラの外部および内部カメラパラメータに依存するため、ピクセル密度マップはカメラパラメータに応じて生成される。例えば、全てのカメラのピクセル密度マップを決定したり、カメラシステム全体のピクセル密度マップを決定したりできる。外部カメラパラメータは、ワールド座標系でのカメラの空間位置、すなわち位置と向きを表し、ワールド座標系とカメラ座標系との関係を確立する。内部カメラパラメータは、カメラ座標系と、原画像および合成俯瞰表示画像の画像座標系との関係を確立する。例えば、カメラの焦点距離、画像中心の座標、および画像座標の両方向のピクセルスケーリングなどの内部カメラパラメータを示すことができる。

【0023】

したがって、ピクセル密度マップに基づいて、妨害信号の影響を受けた画像領域の位置と妨害信号の重大度の両方を妨害信号の影響を受けた画像領域内で決定することができる。ピクセル密度マップをピクセル密度範囲に分割することができ、各ピクセル密度範囲は、俯瞰表示画像内の画像領域に対応している。ピクセル密度範囲のピクセル密度が高いほど、ピクセル密度範囲に対応する俯瞰画像の画像領域内の妨害信号はより激しく、またはより強くなる。したがって、その画像領域を、ピクセル密度マップに従って、最高ピクセル密度を有する妨害信号の影響を受けた画像領域として識別できる。この最高ピクセル密度は、妨害信号の重大度として同時に識別でき、所定の重大度しきい値と比較することができる。例えば、カメラの近くのターゲット領域を表す画像領域内のピクセル密度は、カメラから遠いターゲット領域を表す画像領域内のピクセル密度よりも大きい。したがって、環境領域の特定の画像環境サブ領域内の妨害信号の影響を受けた画像領域は、実際のカメラに接近している。

【0024】

代替的または追加的に、妨害信号インジケータとして、ピクセル値の統計的分散を示す少なくとも１つの尺度が、原画像内および／または合成俯瞰表示画像内のピクセルの位置の関数として決定されるが、妨害信号の重大度は、少なくとも１つの尺度の相対値に基づいて決定される。したがって、この実施形態によれば、妨害信号インジケータは、ピクセル値、特に輝度値の分散、すなわちばらつきに基づいて決定される。本実施形態は、妨害信号の影響を受けた画像領域のピクセル値は、妨害信号のない画像領域のピクセル値よりも分散が著しく大きいという認識に基づいている。統計的分散が特徴付けられる統計的尺度または統計的指標は、例えば、データ範囲、標準偏差、距離での距離標準偏差、平均絶対偏差、変動係数、相対平均差などであり得る。統計的指標が大きいほど、ピクセル値の分散が大きい。エイリアシングの重大度を統計的指標の相対値によって評価することができる。

【0025】

妨害信号インジケータを決定するために統計的指標を使用することは、妨害信号インジケータをピクセル密度マップに基づいて正確にまたは確実に決定できないときに、特に有益である。特に、ピクセル密度は、カメラのピンホールモデルと線形レイトレーシング計算とに基づいて決定される比であるため、環境領域内での対象物の存在、対象物の形状、対象物の寸法、関心領域の輝度と色、異なるカメラレンズ特性などの他の様々な条件は考慮されない。

【0026】

代替的または追加的に、妨害信号インジケータは、原画像および／または合成俯瞰表示画像のピクセル値の周波数分析によって決定されることが提供可能となる。エイリアシング効果は、特にサンプリング周波数の半分よりも高い高周波成分を含む信号のサンプリング中に発生する信号処理エラーを指すため、周波数領域内で原画像および／または俯瞰表示画像を分析することによって、妨害信号インジケータを決定することもできる。単一の原画像内および／または単一の俯瞰表示画像内の両方の空間周波数を考慮することができ、同様に、時間領域内の周波数を画像の時間シーケンス内で考慮することができる。

【0027】

本発明のさらなる発展形態では、合成俯瞰表示画像を表示するための車両側画面に応じて、妨害信号インジケータとして、環境領域内の特定の環境サブ領域に対応するそれぞれの画面領域が決定される。その画面領域のサイズは、妨害信号の重大度として決定され、該画面領域は、画面で表示中に妨害信号の影響を受けた画像領域に対応する環境サブ領域によって占有される。したがって、妨害信号インジケータは、俯瞰表示画像が表示される特定の表示装置に依存する可能性もある。この場合、合成俯瞰表示画像が画面上に表示されている間、合成俯瞰表示画像に妨害信号が含まれているかどうかが調べられる。これは、例えば、合成俯瞰表示画像に、十分に重大であるばかりか十分に有意で、かつ遮蔽されていない妨害信号が含まれていることは明らかであるが、妨害信号は特定の画面パラメータを持つ特定の画面では目に見えないことを意味する。妨害信号が、実際には存在していても、特定の画面上で目に見えない場合、妨害信号の低減を回避できる。したがって、合成俯瞰表示画像を決定する際に、計算性能と計算時間を経済的に節約できる。

【0028】

少なくとも１つのテストサイクル中にテスト妨害信号インジケータが決定されると有益であり、環境領域内の所定の環境サブ領域の位置とテスト妨害インジケータの値との関係が決定され、重大度しきい値が該関係に基づいて決定される。特に、テストサイクルは、特定のカメラシステムがまだ最終顧客に納入されていない、いわゆる半製品段階で実行される。テストサイクルにより、特定のカメラシステムにおいてアンチエイリアシング法が、とにかく、必要かどうかを効果的にチェックできる。さらに、特定のカメラシステムにおいて、つまり原画像内または俯瞰表示画像内のみで、いつ妨害信号が低減するかを明らかにすることができる。したがって、プレフィルタリングまたは後処理により望ましい結果が得られるかどうか、すなわち高品質の俯瞰表示画像の決定が得られるかどうかを決定することができる。この目的のために、テストサイクルで原画像をキャプチャし、例えば、仮想カメラの姿勢などの仮想カメラの設定を利用して、俯瞰表示画像を決定できる。テストサイクルで決定された俯瞰表示画像内に妨害信号が発生した場合、原画像および／または俯瞰表示画像に基づいてテスト妨害信号インジケータを決定できる。次いで、テスト妨害信号インジケータに基づいて、この特定のカメラシステム用の特定の重大度しきい値を決定できる。したがって、アンチエイリアシングを、それぞれのカメラシステムに具体的に適合させることができるため、質的に、特に高品質の俯瞰表示画像を生成できるカメラシステムをエンドユーザに提供できる。

【0029】

特に、有益な実施形態では、合成俯瞰表示画像内の妨害信号を低減するために、ステップｆ）で、統合強調機能を備えたカメラの場合、キャプチャされた原画像のコントラスト強調および／またはエッジ強調が抑制または軽減されて、合成俯瞰表示画像は、コントラスト強調および／またはエッジ強調なしの原画像に基づいて決定される。ステップｆ）に対して代替的または追加的に、ステップｇ）で、キャプチャされた原画像内で焦点調節誤差が生成され、合成俯瞰表示画像は、焦点調節誤差を有する原画像に基づいて決定される。ステップｆ）および／またはステップｇ）に対して代替的または追加的に、ステップｈ）で、合成俯瞰表示画像内および／または原画像内の妨害信号の影響を受けた画像領域に対応するピクセルにフィルタが適用される。

【0030】

したがって、ステップａ）〜ｅ）によって、合成俯瞰表示画像に対して妨害信号の低減が必要であることが検出された場合、ステップｆ）〜ｈ）の少なくとも１つが実行される。ステップｆ）で、カメラの統合強調機能または強調機能は、オフにされるか縮小される。ほとんどのカメラまたはカメラシステムには、コントラスト強調および／またはエッジ強調が組み込まれた統合画像処理ユニットが含まれる。妨害信号が統合強調機能によって生成されない場合でも、これらの強調機能により妨害信号の重大度が悪化する可能性がある。カメラの画像処理ユニットは、例えば、車両側の画像処理装置によって制御することができ、その場合、強調機能は原画像に適用されない。このようにして、合成俯瞰表示画像を生成するために、未処理の原画像が画像処理装置に提供される。カメラのこれらの強調機能を抑制または少なくとも軽減し、未処理の原画像に基づいて合成俯瞰表示画像を決定することにより、妨害信号を合成俯瞰表示画像へ導入することが容易に回避または低減できる。

【0031】

代替的または追加的に、光学的方法に関するステップｇ）を実行することができる。ステップｇ）で、焦点調節誤差または焦点調節オフセットが原画像内で意図的に生成される。焦点調節誤差はカメラのぼやけた画像の形で目に見え、光学的なぼやけは、高周波信号を低減させ、したがって、ぼやけた原画像に基づいて決定された合成俯瞰表示画像内のエイリアシングを低減させる。原画像内の焦点調節誤差は、例えば、カメラのレンズにずれを与えることにより生成される。したがって、原画像は、レンズ位置がずれているカメラによって検出される。この目的のために、レンズ、例えば魚眼レンズを公称位置からわずかにずらして、フォーカスオフセットを実現し、したがってレンズの位置をずらすことができる。カメラの製造中またはカメラの自動車両への取付け中に、レンズの位置がずれることがある。したがって、カメラにはレンズの位置ずれが組み込まれており、ぼやけた原画像をキャプチャできる。これらのぼやけた原画像内で、ピクセル輝度の高周波が平滑化され、その結果、俯瞰表示画像内の妨害信号が低減される。

【0032】

ステップｆ）およびｇ）は、合成俯瞰表示画像を生成する前に実行されるため、合成俯瞰表示画像への妨害信号の導入を回避するための予防手段と見なすことができる。

【0033】

代替的または追加的に、画像処理方法に関するステップｈ）を実行することができる。このステップｈ）内で、合成俯瞰表示画像内の妨害信号の影響を受ける少なくとも１つの画像領域がフィルタリングされる。特に、画像要素またはピクセルは、合成俯瞰表示画像のこの画像領域内および／または関連する画像領域に寄与する原画像の画像要素内でフィルタリングされる。ステップｈ）は、フィルタを原画像に適用することによって合成俯瞰表示画像を生成する前、および／またはフィルタを合成俯瞰表示画像に適用することによって合成俯瞰表示画像を生成した後に実行できる。ピクセル密度マップを使用してフィルタをガイドすることができる。重み付け係数は、原画像および／または合成俯瞰表示画像のピクセルを重み付けするためのピクセル密度マップに応じて決定できる。したがって、ピクセル密度マップは、ガイド付きフィルタのいわゆるガイド画像として機能し、それによって、フィルタの画像処理操作を局所に制限することができる。したがって、妨害信号の影響を受けた画像領域と、妨害信号のない画像領域との間での滑らかな移行を効果的に保証することができる。

【0034】

妨害信号低減の必要性がステップａ）〜ｅ）で決定された場合、運転者に表示される合成俯瞰表示画像の画質は、ステップｆ）〜ｈ）の少なくとも１つを、特に、ステップｆ）〜ｈ）の全てを実行することにより改善できる。したがって、運転者のための視覚的品質を向上させることができる。

【0035】

好ましくは、妨害信号が自動車両の動きおよび／または仮想カメラの動きに起因するかどうかが判定され、妨害信号が仮想カメラの動きにのみ起因する場合、妨害信号は合成俯瞰表示画像内の隣接ピクセルの平均化を実行することによって低減される。この実施形態によれば、妨害信号のソースが検出される。妨害信号が自動車両の動きではなく、単に仮想カメラの動きに起因する場合、簡略化された妨害信号の低減、または簡略化されたアンチエイリアシングを実行できる。したがって、ステップｆ）〜ｈ）のいずれも実行されないが、合成俯瞰表示画像内での隣接するピクセルの平均化のみが実行される。例えば、原画像の記録時に自動車両が静止しているか固定しているかを検出できる。この場合、自動車両は動かない。仮想カメラは、特に、合成俯瞰表示画像のビデオシーケンスが生成されるときに動き、仮想カメラは、俯瞰表示画像のキャプチャ中に自動車両の上を飛行する。妨害信号の発生源を検出することにより、妨害信号を低減するための適切な、任意選択により、簡略化された変形を効果的に選択でき、したがって計算時間を節約できる。

【0036】

本発明はまた、自動車両の環境領域から原画像を検出するための少なくとも２台のカメラと、本発明またはその有益な実施形態による方法を実行するように設計された画像処理装置とを含む自動車両用カメラシステムに関する。カメラシステムは、画像処理装置によって生成される妨害信号が低減された合成俯瞰表示画像を表示するための表示装置、例えば、画面をさらに備えてもよい。特に、カメラシステムはサラウンドビューカメラシステムとして設計されており、自動車両上に配置し、かつ自動車両の周囲の環境領域から原画像を検出するための少なくとも４台のカメラを備える。カメラは、特に、魚眼レンズなどの広角レンズを備える。

【0037】

本発明による自動車両は、本発明によるカメラシステムを備える。自動車両は、特に、乗用車として設計されている。

【0038】

本発明による方法に関して提示された好ましい実施形態およびそれらの利点は、本発明によるカメラシステム、および本発明による自動車両に相応に適用される。

【0039】

「前」、「後」、「次」、「上」、「左」、「右」の表示により、車両の前に立って、車両の長手方向を見る観測者の視点からの位置と向きが示される。

【0040】

本発明のさらなる構成は、特許請求の範囲、図面、および図面の説明から明らかである。上記の説明で言及した構成および構成の組合せ、ならびに図の説明で以下に言及する構成および構成の組合せ、および／または図のみに示すものは、本発明の範囲から逸脱することなく、それぞれ指定された組合せだけでなく、他の組合せまたは単独でも使用可能である。したがって、実装もまた、本発明によって包含および開示されると見なされるべきであり、これは、図に明示的に示され説明されていないが、説明された実装から生じ、またそれから分離される構成の組合せによって生成することができる。実装と構成の組合せも開示されていると見なされるべきであり、したがってこれらは元々策定された独立請求項の構成の全てを備えているわけではない。さらに、実装と構成の組合せは、特に、上記の実装によって開示されていると見なされるべきであり、これらは特許請求の範囲に記載された構成の組合せを超えて拡大し、またはそれから逸脱している。

【0041】

本発明は、好ましい例示的な実施形態に基づいて、添付の図面を参照して、より詳細に説明される。

【図面の簡単な説明】

【0042】

【図1】本発明による自動車両の実施形態の概略図である。

【図2a】自動車両の検出中における仮想カメラの異なる視点の概略図である。

【図2b】自動車両の検出中における仮想カメラの異なる視点の概略図である。

【図2c】自動車両の検出中における仮想カメラの異なる視点の概略図である。

【図3】いわゆる「ボウルビュー」で合成俯瞰表示画像を生成するための曲面の概略図である。

【図4】合成俯瞰表示画像を生成するための一般的な画像パイプラインの概略図である。

【図5】合成俯瞰表示画像を生成するためのさらなる画像パイプラインの概略図である。

【図6】本発明による方法の実施形態のフローチャートの概略図である。

【図7a】合成俯瞰表示画像内の妨害信号を識別するためのピクセル密度マップの概略図である。

【図7b】合成俯瞰表示画像内の妨害信号を識別するためのピクセル密度マップの概略図である。

【図7c】合成俯瞰表示画像内の妨害信号を識別するためのピクセル密度マップの概略図である。

【図7d】合成俯瞰表示画像内の妨害信号を識別するためのピクセル密度マップの概略図である。

【図8】自動車両および仮想カメラのモデルの概略図である。

【図9】自動車両の環境領域内の位置における妨害信号の関係の概略図である。

【図10】ピクセル占有数と車両側カメラの１つの光軸への入射角との間の実験的に検出された関係の概略図である。

【図11】妨害信号の影響を受けた画像領域の形状の概略図である。

【図12】製品前段階でカメラシステムの妨害信号インジケータを決定するためのフローチャートの概略図である。

【図13】妨害信号のソースを決定するためのフローチャートの概略図である。

【発明を実施するための形態】

【0043】

図面では、同一の要素および機能的に同一の要素には同じ参照文字が付けられている。

【0044】

図１は、本発明による自動車両１の実施形態を示す。この場合、自動車両１は乗用車として設計されている。自動車両１は、自動車両１の運転中、例えば、駐車中に自動車両１の運転者を支援することができる運転者支援システム２を備える。運転者支援システム２は、自動車両１の環境領域４を監視するためのカメラシステム３を備える。ここで、カメラシステム３は、サラウンドビューカメラシステムとして設計されている。カメラシステム３は、自動車両１に配置された４台のカメラ５ａ、５ｂ、５ｃ、５ｄを備える。前方カメラである第１のカメラ５ａは、自動車両１の前部領域６に配置され、自動車両１の前方の環境領域４から原画像を検出するのに役立つ。後方カメラである第２のカメラ５ｂは、自動車両１の後部領域７に配置され、自動車両１の後方の環境領域４から原画像を検出するのに役立つ。第３のカメラ５ｃは、自動車両１の左側８に配置され、自動車両１の左側の環境領域４から原画像を検出するのに役立つ。第４のカメラ５ｄは、自動車両１の右側９に配置され、自動車両１の右側の環境領域４から原画像を検出するのに役立つ。左右のカメラ５ｃ、５ｄは、特に、自動車両１のサイドミラー上にまたはその代わりに配置することができるサイドミラーカメラである。カメラ５ａ、５ｂ、５ｃ、５ｄは、特に、それぞれの検出範囲を拡大するための魚眼レンズを含む。

【0045】

カメラ５ａ、５ｂ、５ｃ、５ｄによって検出された原画像または生ビデオフレームは、運転者支援システム２の表示装置１０、例えば、ビデオまたはビデオシーケンスの形で画面に表示することができる。原画像を運転者支援システム２の画像処理装置１１にも供給することができ、運転者支援システム２は、原画像を合成して俯瞰表示画像にする。画像処理装置１１は、例えば、車両側の制御装置またはＥＣＵに統合することができる。合成俯瞰表示画像を、代替として、または原画像に加えて、表示装置１０に表示してもよい。

【0046】

合成俯瞰表示画像は、自動車両１と、仮想カメラ１２の動的に変化する視点Ｐ１、Ｐ２、Ｐ３からの自動車両１の環境領域４とを示す。図２ａ、図２ｂ、図２ｃでは、仮想カメラ１２が示されており、異なる視点Ｐ１、Ｐ２、Ｐ３から自動車両１を検出中である。図２ａによれば、仮想カメラ１２は、自動車両１の真上に位置し、第１の視点Ｐ１から自動車両１および自動車両１の路面１３を垂直に下向きに見ている。自動車両１および路面１３は、仮想カメラ１２の投影面に直角に投影される。したがって、直交投影の場合、環境領域４からの可視光線１４は、仮想カメラ１２の投影面上で直角に交わる。図２ｂによれば、仮想カメラ１２も自動車両１の真上に配置され、自動車両１および自動車両１の路面１３を垂直に下向きに第２の視点Ｐ２から見ている。図２ｂによれば、自動車両１および路面１３は、仮想カメラ１２の投影面に透視投影され、その結果、可視光線１４は、特に、仮想カメラ１２の投影面上の１点で交わる。視点Ｐ１およびＰ２によって、上面図または上面図画像の形式の俯瞰画像を作成できる。したがって、視点Ｐ１と視点Ｐ２は同じであり、投影タイプのみが異なる。視点効果は上面図内には現れないため、図２ａのような正射影か、図２ｂのような透視投影かを視覚的に判断することはできない。

【0047】

図２ｃによれば、仮想カメラ１２は、自動車両１の斜め後方の上方に位置し、自動車両１および自動車両１の路面１３の第３の視点Ｐ３から斜め下方を見ている。視点Ｐ３により、例えば、自動車両１の背面図を生成することができる。自動車両１および路面１３は、仮想カメラ１２の投影面に透視投影される。視点Ｐ１およびＰ２とは対照的に、視点効果は、第３の視点Ｐ３において俯瞰表示画像内で発生する。

【0048】

自動車両１の検出中に仮想カメラ１２に異なる視点Ｐ１、Ｐ２、Ｐ３を提供するために、仮想カメラ１２は、図３に示されるように、第１の位置Ａから第２の位置Ｂまで動的に飛行することができ、俯瞰表示画像を連続的にキャプチャできる。俯瞰表示画像を生成するために、実際のカメラ５ａ、５ｂ、５ｃ、５ｄの原画像を曲面１６に投影することができ、これにより、自動車両１のモデル１７を曲面１６内の任意の所望の位置に配置することができる。特に、自動車両１のモデル１７は、曲面の中央に配置される。曲面１６は、例えば、４次の多項式を用いて決定することができる。自動車両１のモデル１７は、カメラ５ａ、５ｂ、５ｃ、５ｄによって検出できない実際の自動車両１を表すことを意図している。

【0049】

図４は、コンポーネント１９、２０、２１、２２、２３のセットによって表される一般的な画像パイプライン１８またはビデオパイプラインの概略図を示す。ビデオパイプライン１８により、サラウンドビューカメラシステム３のカメラ５ａ、５ｂ、５ｃ、５ｄによって撮影された原画像２５または生ビデオフレームに基づいて、合成俯瞰画像２４を生成することができる。環境領域４からの光は、カメラ５ａ、５ｂ、５ｃ、５ｄのレンズ１９、例えば魚眼レンズを介してカメラ５ａ、５ｂ、５ｃ、５ｄの画像センサユニット２０に投影される。画像センサユニット２０は、例えば、撮像装置と、例えば、コンパニオンチップなどのマイクロプロセッサとを備えることができる。画像センサユニット２０は、カメラ５ａ、５ｂ、５ｃ、５ｄの統合画質調整機能２１、例えば、統合エッジ強調またはコントラスト強調により、原画像２５を出力する。原画像２５、較正、および仮想カメラ設定２３に基づいて、例えば、車両側画像処理装置１１に統合することができる計算装置２２により、合成俯瞰画像２４が生成される。俯瞰画像２４を表示用の表示装置１０に提供することができる。

【0050】

図５は、妨害信号２７が合成俯瞰表示画像２４に導入される地点を有する合成俯瞰表示画像２４を生成するための具体的なビデオパイプライン２６の表現を示す。特に、自動車両１および／または仮想カメラ１２が動くとき、合成俯瞰表示画像２４または画像２４の連続シーケンスは、例えば、人工的なフリッカ効果の形で、妨害信号２７またはエイリアシングを含む。これらの妨害信号２７は、カメラ５ａ、５ｂ、５ｃ、５ｄ、特に、それらの解像度に依存している。妨害信号２７は、各解像度レベルで発生する可能性がある。しかしながら、妨害信号２７は、低解像度カメラ５ａ、５ｂ、５ｃ、５ｄよりも高解像度カメラ５ａ、５ｂ、５ｃ、５ｄにおいて、はるかによく目に見える。妨害信号２７またはエイリアシング効果は主に空間効果であり、この効果は自動車両１が動くにつれて悪化する。

【0051】

カメラ５ａ、５ｂ、５ｃ、５ｄにより検出された原画像２５ａ、２５ｂ、２５ｃ、２５ｄは、画像処理装置１１に送られる。特に、妨害信号２７は、原画像２５ａ、２５ｂ、２５ｃ、２５ｄ内に存在しないか、または目に見えないか、ほとんど目に見えない。原画像２５ａ、２５ｂ、２５ｃ、２５ｄは、メモリユニット２８またはＲＡＭ（ダイレクトアクセスメモリ）に記憶することができる。記憶された原画像２５ａ、２５ｂ、２５ｃ、２５ｄは、原画像２５ａ、２５ｂ、２５ｃ、２５ｄを解析するマシンビジョン用の処理ユニット２９に提供することができる。したがって、マシンビジョンシステムの並列経路は、処理ユニット２９を介して提供される。原画像２５ａ、２５ｂ、２５ｃ、２５ｄは、例えば、対象物ベースの情報３０を出力するために、環境領域４内の対象物に関するマシンビジョンのアルゴリズムを用いて解析することができる。対象物ベース情報３０は、表示装置１０上で運転者に表示することもできる。

【0052】

原画像２５ａ、２５ｂ、２５ｃ、２５ｄは、原画像２５ａ、２５ｂ、２５ｃ、２５ｄをフィルタリングするためのプレフィルタ３２と、画像レンダラ３３または合成俯瞰表示画像２４を生成する画像生成ユニットを備えたデジタル信号プロセッサ３１に供給され得る。妨害信号２７は、特に、画像レンダラ３３によって導入され、その結果、合成俯瞰表示画像２４は、ここで妨害信号２７を含むことになる。ここで、合成俯瞰表示画像２４にポストフィルタ３４を適用しているにもかかわらず、合成俯瞰表示画像２４から妨害信号２７を除去することはできない。これらの合成俯瞰表示画像２４は、人工的なフリッカ効果の形で妨害信号２７の影響を受け、表示装置１０上で運転者に表示されるときに妨害として知覚され得る。これらの妨害信号２７は、アンチエイリアシングによって低減することができる。この場合、妨害信号２７は、例えば、原画像２５ａ、２５ｂ、２５ｃ、２５を事前にフィルタリングすることにより、および／または俯瞰表示画像２４を後処理することにより低減することができる。

【0053】

最初に、とにかく、干渉信号２７の低減、すなわちアンチエイリアシングが必要かどうかがチェックされる。アンチエイリアシングの必要性を判断するためのフローチャートを図６に示す。この場合、自動車両１のモデル１７に関する情報だけではなく、俯瞰表示画像２４の特定のターゲット図を生成するための仮想カメラ１２の視点を表すパラメータ３６を用いて、原画像２５の合成に起因して妨害信号２７が俯瞰表示画像に挿入されるかどうかのレビューが行われる。したがって、妨害信号２７を低減するための結果ステップ３５が実行されるべきかどうかがチェックされる。例えば、ここに示されていないステップで、最初に、妨害信号２７が予想されるかどうかを確認することができる。これは、例えば、とにかく、自動車両１の環境領域４における所定の環境条件の下で妨害信号２７が予想されるかどうか、したがって、合成俯瞰表示画像２４が少なくとも１つの妨害信号の影響を受けた画像領域を含むことがあるかどうかがチェックされることを意味する。

【0054】

例えば、雨により自動車両１の路面１３が濡れている場合、妨害信号２７は小さく、したがって、目に見えないか、ほとんど目に見えないことが起こり得る。カメラレンズ１９を水膜で覆うことによっても、エイリアシング効果が弱まる。加えて、エイリアシングは、低光強度部では、したがって、例えば、夜間の路面１３における低輝度部では、俯瞰表示画像２４内でほとんど目に見えない。また、エイリアシング効果は、影領域の光強度が低いため、自動車両１の影の中では目に見えない。さらに、エイリアシング効果は、例えば、特に小さい、または特に大きい砂利片を有する特定の路面１３では発生しない場合がある。環境領域４で検出された環境条件に基づいて、目に見える妨害信号２７の存在が既に排除されている場合、アンチエイリアシングは省略されてもよい。したがって、妨害信号２７が低減されるため、結果ステップ３５は実行されない。

【0055】

図６による本方法のステップＳ６１において、妨害信号２７の有意度を、合成俯瞰表示画像２４内の少なくとも１つの妨害信号の影響を受けた画像領域内において決定することができる。有意度は、例えば、画像２４内の少なくとも１つの画像領域が、とにかく、妨害信号２７が目に見えるほど十分に大きいかどうかを表す。したがって、有意度は、例えば、俯瞰表示画像２４内の画像領域のサイズ、形状、および位置など、妨害信号の影響を受ける少なくとも１つの画像領域の幾何学的パラメータを予測するために使用される。妨害信号の影響を受けた画像領域の形状、サイズ、および位置は、特に、画像領域２４によって提供される自動車両１および環境領域４の光景に、したがって仮想カメラ１２の視点Ｐ１、Ｐ２、Ｐ３に依存する。したがって、有意度は、仮想カメラ１２に依存するパラメータであり、妨害信号の影響を受けた画像領域が仮想カメラ１２の現在の視点Ｐ１、Ｐ２、Ｐ３の関数としてどのように変化するかを表す。例えば、妨害信号の影響を受けた画像領域の形状は、仮想カメラ１２の第１の視点Ｐ１から第３の視点Ｐ３まで変化する可能性がある。さらに、妨害信号の影響を受けた画像領域であって、自動車両１の前の環境サブ領域を画像化する該画像領域は、視点Ｐ１およびＰ２では上面図の形で、俯瞰表示画像内で第１の大きさを有し、視点Ｐ３では背面図の形で、俯瞰表示画像内で第１のサイズよりも小さい第２のサイズを有する。

【0056】

有意度、例えば、画像領域のサイズが所定の有意度しきい値未満に低下する場合（Ｎ）、結果ステップ３７でアンチエイリアシングは実行されない。有意度が所定の有意度しきい値を超える場合（Ｙ）、本方法はステップＳ６２で継続される。ステップＳ６２では、妨害信号の影響を受けた画像領域が、自動車両１の透視モデル１７によって隠されるかどうかがチェックされる。自動車両１のモデル１７は、例として図８を参照して示されており、仮想カメラ１２は、自動車両１のモデル１７の上方かつ斜め後方に配置されている。自動車両１のモデル１７の前の領域３８は、仮想カメラ１２には見えない。したがって、仮想カメラ１２の可視光線１４は、この領域３８の背後の路面１３のみに当たる。この領域３８が妨害信号の影響を受けた画像領域に対応する場合、妨害信号の影響を受けた画像領域内で妨害信号２７が十分に有意であったとしても、この領域は、俯瞰表示画像２４内において自動車両１のモデル１７によって隠されているので、目に見えない。したがって、妨害信号の影響を受けた画像領域が自動車両１のモデル１７によって遮蔽されるかどうかは、仮想カメラ１２の現在の視点Ｐ１、Ｐ２、Ｐ３にも依存する。仮想カメラ１２の視点Ｐ１、Ｐ２では、それによって上面図が生成され、特に、自動車両１に隣接する環境領域４の環境サブ領域を示す画像領域は隠されない。しかしながら、モデル１７が少なくとも半透明である場合、それでも領域３８、したがって妨害信号２７が目に見える可能性がある。したがって、モデル１７の透過性とモデルの透視形状の両方を考慮に入れることができるように、モデル１７と妨害信号の影響を受けた画像領域との間での遮蔽度を決定することができる。

【0057】

したがって、妨害信号の影響を受けた画像領域が自動車両１のモデル１７によってブロックまたは遮蔽される場合、すなわち、遮蔽度が所定の遮蔽度しきい値を超える場合、結果ステップ３７が実行され、アンチエイリアシングはブロックされる。妨害信号の影響を受けた画像領域が自動車両１の透視モデル１７によって遮蔽されていない場合（Ｎ）、すなわち、遮蔽度しきい値が不足している場合、方法はステップＳ６３で継続される。ステップＳ６３では、妨害信号２７の重大度が決定される。妨害信号２７の重大度は、自動車両１のカメラシステム３の実際のカメラ５ａ、５ｂ、５ｃ、５ｄ、特にカメラ５ａ、５、５ｃ、５ｄの外部および内部カメラパラメータに依存する。さらに、ステップＳ６３において、妨害信号２７の重大度が所定の重大度しきい値と比較される。重大度が重大度しきい値未満に低下する場合（Ｎ）、結果ステップ３７が実行され、妨害信号２７の低減は省略される。重大度が重大度しきい値を超える場合（Ｙ）、結果ステップ３５が実行され、妨害信号２７が低減される。ステップＳ６１、Ｓ６２、Ｓ６３は、ここで示されたもの以外のシーケンスで実行することもできる。

【0058】

いわゆる妨害信号インジケータまたはエイリアシングインジケータＩＡ（図９を参照）を決定して、とにかく妨害信号２７が合成画像２４に発生するかどうかを予測し、妨害信号２７の重大度を決定することができる。妨害信号インジケータＩＡとして、例えば、図７ａ、７ｂ、７ｃ、７ｄに示されるようなピクセル密度マップＰＤＭを決定することができる。ピクセル密度は、俯瞰表示画像２４内の環境領域の特定の部分、例えば環境サブ領域またはターゲット領域を撮像するために、原画像２５のカメラピクセルまたは画像点がいくつ使用されるかを計算する可能性を提供する。ピクセル密度は、長さ当りの単位ピクセルまたは画像領域当りのピクセル領域、またはその逆の比である。実際のカメラ５ａ、５ｂ、５ｃ、５ｄのサンプリングレートは、特定の環境サブ領域、いわゆる関心領域の表現のために、ピクセル密度に基づいて測定できるので、ピクセル密度の計算は、特に有益である。この関心領域は、特に、通常は砂利または砕石を有する路面１３上の領域である。この砂利で覆われた路面１３により、カメラ５ａ、５ｂ、５ｃ、５ｄによるターゲット領域の検出中に、ピクセル値の高周波変化が発生する可能性がある。この場合、カメラ５ａ、５ｂ、５ｃ、５ｄによって提供されるサンプリングレートは、路面１３の全ての詳細、例えば、砂利を復元するために必要である重要なサンプリング周波数を満たすことができないため、妨害信号２７が俯瞰表示画像２４内に挿入される。

【0059】

図７ａ、図７ｂ、図７ｃ、図７ｄに示すピクセル密度マップは、ピクセル密度の空間分布を示す。異なるピクセル密度のピクセル密度領域Ｂ１、Ｂ２、Ｂ３、Ｂ４を図７ａ、図７ｂ、図７ｃ、図７ｄに示す。ピクセル密度範囲Ｂ１は最高値のピクセル密度を含み、ピクセル密度範囲Ｂ４は最低値のピクセル密度を含む。最も高いピクセル密度値を有するピクセル密度領域、例えば、ピクセル密度領域Ｂ１およびＢ２は、合成画像２４内の妨害信号の影響を受けた画像領域に対応する。したがって、ピクセル密度マップＰＤＭを使用して、とにかく、妨害信号２７が発生するかどうかを判断することができ、さらに、妨害信号の影響を受けた画像領域の位置をピクセル密度マップＰＤＭに基づいて識別することができる。ピクセル密度の最大値、すなわちピクセル密度範囲Ｂ１内のピクセル密度の値を妨害信号２７の重大度として決定することができる。

【0060】

カメラ５ａ、５ｂ、５ｃ、５ｄに依存するピクセル密度Ｐは、例えば、以下の式により計算することができる。

【数1】

【0061】

ｆ_１、ｆ_２、ｆ_３、ｆ_４はカメラ５ａ、５ｂ、５ｃ、５ｄの魚眼係数、θはカメラ５ａ、５ｂ、５ｃ、５ｄへの光の入射角、（ｘ_ｃ、ｙ_ｃ、ｚ_ｃ）は外部カメラパラメータによって定義されるカメラ５ａ、５ｂ、５ｃ、５ｄの位置、および（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）はピクセル密度が計算される任意の位置である。地上地点の場合、係数ｚ_ｐ＝０である。

【0062】

ピクセル密度Ｐの逆数１／Ｐは、ピクセル密度データ範囲を変換するのに役立つ。正規化されたピクセル密度Ｐを使用して、ピクセル密度Ｐのピーク値または最大ピクセル密度値を、１に正規化できる。

【0063】

図７ａは、例として、それぞれのカメラ５ａ、５ｂ、５ｃ、５ｄのカメラ軸の交差面４１を示す。図１０は、ピクセル占有数Ｎと車両側カメラ５ａ、５ｂ、５ｃ、５ｄの１つの光軸またはカメラ軸への入射角θとの間の実験的に確認された関係を示す。したがって、ピクセル密度またはピクセル密度値は、外部カメラパラメータを介して影響を受ける可能性がある。したがって、自動車両１上の各カメラ５ａ、５ｂ、５ｃ、５ｄに対して最適な位置があり、それによってエイリアシングを弱めることができる。しかしながら、カメラ５ａ、５ｂ、５ｃ、５ｄの高さは、通常、自動車両１上で不変であるため、ピクセル密度の位置を外部カメラパラメータによって変えることはできるが、分布を変えることはできない。ピクセル密度の条件が満たされている場合、エイリアシングはいつでも発生する可能性がある。

【0064】

図７ａ、７ｂ、７ｃ、７ｄは、仮想カメラ１２がエイリアシング効果に影響を及ぼすことも示している。ピクセル密度マップＰＤＭとして決定される干渉信号インジケータＩＡは、ピクセル密度領域Ｂ１、Ｂ２、Ｂ３、Ｂ４が、例えば、それらのサイズ、形状および／または位置を変えるという点で、特に、仮想カメラ１２の視点Ｐ１、Ｐ２、Ｐ３の影響を受ける。図７ａによれば、ピクセル密度領域Ｂ１、Ｂ２、Ｂ３、Ｂ４は、仮想カメラ１２が自動車両１の上方の第１の距離で自動車両１の垂直上方に配置された視点に対して、示されている。図７ｂによれば、ピクセル密度領域Ｂ１、Ｂ２、Ｂ３、Ｂ４は、仮想カメラ１２が自動車両１の垂直上方の第１の距離よりも大きい第２の距離に配置された視点に対して、示されている。より大きな第２の距離により、ピクセル密度領域Ｂ１、Ｂ２、Ｂ３のサイズ、したがって妨害信号の影響を受けた画像領域も俯瞰表示画像２４内で減少する。図７ｃによれば、ピクセル密度領域Ｂ１、Ｂ２、Ｂ３、Ｂ４は、仮想カメラ１２が自動車両１の斜め後方および上方に配置され、自動車両１上で斜め下方に見る視点に対して、示されている。図７ｄによれば、ピクセル密度領域Ｂ１、Ｂ２、Ｂ３、Ｂ４は、仮想カメラ１２は、自動車両１の後方に配置され、自動車両１の後部領域７を自動車両１の前部領域６の方向で前方に見る視点に対して、示されている。

【0065】

図７ａ、図７ｂ、図７ｃ、図７ｄの領域４３は、自動車両１によって遮蔽される領域を示す。自動車両１のモデル１７は、領域４３に対応する俯瞰表示画像２４の画像領域に配置される。領域４３は、仮想カメラ１２の視点Ｐ１、Ｐ２、Ｐ３と共に変化することも明らかである。したがって、自動車両１のモデル１７はまた、仮想カメラ１２の視点Ｐ１、Ｐ２、Ｐ３によっても変化することになる。図７ａおよび図７ｂによる領域４４は、カメラ５ａ〜５ｄのいずれによっても検出できない環境領域４内の環境サブ領域に対応する領域であるため、環境領域４内のこれらの環境サブ領域に対して画像情報を利用できない。これらの画像領域については、例えば、合成俯瞰表示画像２４の隣接する画像領域の関数として合成俯瞰表示画像２４を表示するとき、表示装置１０上で印を付けたり、人工的に生成したりすることができる。

【0066】

仮想カメラ１２の視点Ｐ１、Ｐ２、Ｐ３によって変化するピクセル密度領域Ｂ１、Ｂ２、Ｂ３、Ｂ４のサイズは、合成画像２４内で変化する画像領域のサイズに対応する。領域が仮想カメラ１２に近いほど、俯瞰表示画像内においてこの領域が占有するピクセルが多くなる。仮想カメラ１２の構成の結果として、すなわち、例えば、仮想カメラ１２の視点の結果として、ピクセル密度領域Ｂ１のサイズが変化する場合、妨害信号の影響を受けた画像領域もそのサイズを変化させる。妨害信号の影響を受けた画像領域のサイズは、例えば、妨害信号２７の有意度として決定することができる。

【0067】

例えば、妨害信号の影響を受けた画像領域のサイズまたは面積は、次の式を使用して計算できる。

【数2】

【0068】

Ａ_ｖは仮想カメラの合成画像内で占有されているピクセルの面積、すなわち、妨害信号の影響を受けた画像領域の面積である。Ａ_ｓは、例えば、路面１３上の仮想カメラ１２によってキャプチャされた環境領域４内の丸い領域、ｄはミリメートルでの仮想カメラ１２のズーム長さ、Ｒは仮想カメラ１２の位置からの当該領域の距離、およびθは仮想カメラ１２の投影面への可視光線１４の入射角である。仮想カメラ１２の占有ピクセル面積は、当該面積領域すなわち関心領域の距離の二乗に反比例することがわかる。これは、仮想カメラ１２から遠くにある関心領域の同じサイズが、仮想カメラ１２に近い該領域よりもはるかに小さいことを説明している。領域が十分に小さい場合、例えば、３００ピクセル未満の正方形の場合、アンチエイリアシングの必要はない。したがって、有意度は面積Ａ_ｖの値から決定できる。次に、その有意度に基づいて、妨害信号２７の低減を実行するかどうかを評価することができる。

【0069】

図１１には、妨害信号の影響を受けた画像領域に関する形状４５ａ、４５ｂが示されており、これは、ピクセル密度マップＰＤＭを用いて決定することができる。形状４５ａは、自動車両１の前方における妨害信号の影響を受けた画像領域に対応し、形状４５ｂは、自動車両１の左側の妨害信号の影響を受けた画像領域に対応する。妨害信号の影響を受けた画像領域は、例えば、５０ピクセルの幅４６を有し得る。それにより、形状４５ａ、４５ｂは、ピクセルマップＰＤＭに基づいて、例えば図７ａを参照して、上面図内で決定される。これらの形状４５ａ、４５ｂは、仮想カメラ１２の視点によって変化し得る。例えば、図７ｃおよび図７ｄによる仮想カメラ１２の形状４５ａの幅４６は、図７ａの平面図と比較して小さくすることができるが、一方、自動車両１の後部領域の幅は増加する。

【0070】

さらなる妨害信号インジケータＩＡは、妨害信号のない画像領域を妨害信号の影響を受けた画像領域と区別できることに基づいて、統計的分散によって計算することができる。ピクセル値は、妨害信号のない画像領域内よりも妨害信号の影響を受けた画像領域内で大きく変化するため、ピクセル配列内のピクセル値の変化も計算できる。統計的分散は、例えば、統計的メトリックまたは統計的指標、例えば、データ範囲、標準偏差、距離標準偏差、平均絶対偏差、変動係数、相対平均差などで決定できる。指標の値が大きいほど、データまたはピクセル値のばらつきが大きくなる。妨害信号２７の重大度は、例えば、統計的指標の相対値を用いて決定することができる。例えば、ピクセルの輝度値の標準偏差を考慮することができる。輝度値の標準偏差は、妨害信号の影響を受けた画像領域内では第１の値、例えば、２４．３を有し、干渉信号２７のない同じ領域内での標準偏差は、第１の値よりも小さい第２の値、例えば、７．５を有する。第２の値は、例えば、アンチエイリアシングの実行後に統計的測定値によって決定されるターゲット値として機能する。

【0071】

エイリアシング効果は高周波の変化に影響するため、周波数領域での効果の解析は、妨害信号のインジケータとしても機能する。原画像２５内または俯瞰表示画像２４内の局所周波数範囲内での周波数分析、および時間周波数範囲内での周波数分析を、それぞれ原画像２５または俯瞰表示画像２４の時系列またはシーケンス内で実行できる。

【0072】

図９では、妨害信号インジケータＩＡのコース３９が関心領域の位置Ｌに関してプロットされている。妨害信号インジケータＩＡが所定のしきい値４０を超える場合、これは妨害信号２７が関心領域に対応する画像領域内で目に見えるほど十分に重大であることを意味する。図９に示すコース３９は、既に説明した妨害信号インジケータＩＡのいずれかのコース、例えば、ピクセル密度マップＰＤＭまたは統計的指標であり得る。

【0073】

例えば、図６による結果ステップ３５でアンチエイリアシングを実行するために、カメラ５ａ、５ｂ、５ｃ、５ｄの内の少なくとも１つの組込み型のコントラスト強調および／またはエッジ強調を抑制または弱めることができる。最終俯瞰表示画像２４が作成される前に、カメラ５ａ、５ｂ、５ｃ、５ｄは、通常、局所エッジ鮮明化操作および／またはコントラスト強調操作などの特定の前処理手順を実行して、最終画像２４の視覚的品質を改善する。このようなコントラストとエッジの強調により、画像の見かけの鮮明さ、すなわち視力が向上する。画像２４の生成前に原画像２５にエッジ強調および／またはコントラスト強調が適用されると、それによりエイリアシング効果が悪化する可能性がある。エッジ強調やコントラスト強調により、エイリアシング効果が生成されることはないが、むしろ既存の効果が強化される。

【0074】

エイリアシング効果または妨害信号２７は、カメラ５ａ、５ｂ、５ｃ、５ｄの少なくとも１つの統合された強調機能をオフにするか、少なくとも弱めることにより大幅に低減することができる。好ましくは、エッジ強調および／またはコントラスト強調は、妨害信号の影響を受けた画像領域に寄与する画像領域に対して局所的にオフにされ、一方、強調機能は他の画像領域に対してオンのままである。

【0075】

代替的または追加的に、妨害信号２７を低減するための光学的方法を実行することができる。カメラ５ａ、５ｂ、５ｃ、５ｄの光学レンズ１９、例えば魚眼レンズは、原画像２５内の周波数成分を変えるように設計されている。合成画像２４内の妨害信号２７を低減するために、光学魚眼レンズ１９を公称位置からわずかにオフセットして、焦点ぼけカメラ５ａ、５ｂ、５ｃ、５ｄを提供することができる。したがって、カメラ５ａ、５ｂ、５ｃ、５ｄに焦点調節誤差が発生する。これにより、一定量の光学的ぼやけが生じ、高周波でのエイリアシングを低減できる。

【0076】

代替的または追加的に、ピクセルレベルで原画像２５および／または俯瞰表示画像２４を処理する画像処理方法を実行することができる。これは、高周波エイリアシングのフィルタリングに役立つ。ダウンサンプリング、近傍内挿、および／またはピクセル（例えば、ＹＵＶ画像形式のＬｕｍａ部分）での平均化などの従来の画像処理方法を高周波フィルタに適用すると、エイリアシング効果が減少する。これは、原画像２５および／または俯瞰表示画像２４に対して、空間的および時間的に実行することができる。妨害信号のない画像領域と妨害信号の影響を受けた画像領域との間で俯瞰表示画像２４の滑らかな遷移を達成するために、例えば、ピクセル密度マップＰＤＭをガイド画像として使用することにより、フィルタを局所的に制限することができる。

【0077】

図１２は、特定のカメラシステム３の製造前段階で、この特定のカメラシステム３でエイリアシングが発生するかどうかを、とにかく判断することができるフローチャートを示す。この目的のために、カメラシステム３の半製品段階で、特にカメラシステム３または自動車両１を自動車両１の最終顧客に納入する前に、俯瞰テスト画像が、仮想カメラ１２の構成設定４８である「ボウルビュー」設定でテスト原画像４７を使用して決定される。ステップＳ１２１において、エイリアシング効果が俯瞰テスト画像において重要であるかどうかが判定される。そうでない場合（Ｙ）、結果ステップ４９が実行され、このカメラシステム３では、アンチエイリアシングは必要ではないと考えられることから、この特定のカメラシステム３に対してアンチエイリアシングアルゴリズムは提供されない。俯瞰テスト画像においてエイリアシング効果が顕著である場合、妨害信号２７の重大度を決定する妨害信号テストインジケータがステップＳ１２２で評価される。テストインジケータ５０は、合成俯瞰テスト画像によって決定することができ、および／またはテストインジケータ５１は、テスト原画像４７によって決定することができる。

【0078】

合成テスト画像に基づいて、特定の環境サブ領域が占有する画面領域を、例えば、テストインジケータ５２として決定できる。画面依存テストインジケータ５２に基づいて、とにかく、妨害信号２７が自動車両１の特定の画面で目に見えるかどうかを予測することができる。ピクセル値の周波数分析は、合成テスト画像に基づいておよび／またはテスト原画像４７に基づいて、テストインジケータ５３として決定でき、上記の統計的尺度はテストインジケータ５４として決定できる。ピクセル密度は、テスト原画像４７に基づいて、さらなるテストインジケータ５５として決定することができる。測定値としきい値、例えば、重大度しきい値と有意度しきい値は、結果ステップ５６でテストインジケータ５２、５３、５４、５５から決定され、それによってこの特定のカメラシステム３で、アンチエイリアシングが実行されるかどうか判定される。

【0079】

図１３には、エイリアシング効果の原因を決定するためのフローチャートが示されている。第１のステップＳ１３１で、俯瞰表示画像２４内にエイリアシングが発生したことが検出されると、第２のステップＳ１３２で、妨害信号２７が自動車両１の動きまたは仮想カメラ１２の動きに起因するかどうかが判定される。ステップＳ１３３で、妨害信号２７が仮想カメラ１２の動きのみに起因することが検出された場合、ステップ１３４で、単純化されたアンチエイリアシングを実行することができる。例えば、ステップＳ１３４で、平均化は、原画像２５または合成俯瞰画像２４のピクセルを介して実行することができる。ステップ１３５で、エイリアシングが自動車両１の動きから生じることも検出された場合、例えば、カメラ５ａ、５ｂ、５ｃ、５ｄの統合エッジ強調機能および／またはコントラスト強調機能を弱めるまたは動作停止することにより、および／またはカメラ５ａ、５ｂ、５ｃ、５ｄで焦点調節誤差を生成することにより、および／またはフィルタを適用することにより、妨害信号２７を低減できる。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【図5】

【図6】

【図7a】

【図7b】

【図7c】

【図7d】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】