特許7053816動力車両および動力車両の環境領域を所定のターゲットビューで示す出力画像を生成する方法、カメラシステム、及び動力車両
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-04
(45)【発行日】2022-04-12
(54)【発明の名称】動力車両および動力車両の環境領域を所定のターゲットビューで示す出力画像を生成する方法、カメラシステム、及び動力車両
(51)【国際特許分類】
G06T 1/00 20060101AFI20220405BHJP
【ＦＩ】
G06T1/00 330A
【請求項の数】
14
(21)【出願番号】P 2020520219
(86)(22)【出願日】2018-10-10
(65)【公表番号】
(43)【公表日】2020-12-17
(86)【国際出願番号】 EP2018077588
(87)【国際公開番号】W WO2019072909
(87)【国際公開日】2019-04-18
【審査請求日】2020-06-04
(31)【優先権主張番号】102017123452.7
(32)【優先日】2017-10-10
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】514189527
【氏名又は名称】コノート、エレクトロニクス、リミテッド
【氏名又は名称原語表記】ＣＯＮＮＡＵＧＨＴ ＥＬＥＣＴＲＯＮＩＣＳ ＬＴＤ．
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(74)【代理人】
【識別番号】100127465
【弁理士】
【氏名又は名称】堀田 幸裕
(74)【代理人】
【識別番号】100130719
【弁理士】
【氏名又は名称】村越 卓
(72)【発明者】
【氏名】ウラジミール、ズロコリカ
(72)【発明者】
【氏名】マーク、パトリック、グリフィン
(72)【発明者】
【氏名】ブライアン、マイケル、トーマス、ディーガン
(72)【発明者】
【氏名】バリー、デバー
(72)【発明者】
【氏名】ジョン、マハー
【審査官】小池 正彦
(56)【参考文献】
【文献】国際公開第２０１６／０１２２８８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
少なくとも２つの車両側カメラにより取り込まれた少なくとも部分的にオーバーラップする原画像に基づいて動力車両と前記動力車両の環境領域とを示す所定のターゲットビューで出力画像を生成する方法であって、－ それぞれのカメラ固有のピクセル密度マップを特定するステップであって、当該カメラ固有のピクセル密度マップの各々が、前記出力画像の生成に寄与する関連のカメラにより撮られる原画像のピクセル数の画像領域依存分布を表す、ステップと、
－ 前記関連のカメラに固有の前記ピクセル密度マップに基づく前記原画像の空間的適応フィルタリングのステップであって、前記ピクセル密度マップが、前記フィルタリングの画像領域依存範囲を示す、ステップと、
－ 前記少なくとも２つのカメラの前記少なくとも部分的にオーバーラップする原画像において相互に対応する画像エリアを識別するステップと、
－ 前記対応の画像エリア間の鮮明度差を低減するために、前記少なくとも２つの車両側カメラのうちの他のそれぞれのカメラに固有の前記ピクセル密度マップに基づく、前記関連のカメラの前記原画像の画像エリアの空間的適応フィルタリングのステップと、
－ 再マッピングされフィルタリングされた原画像を生成するために、前記フィルタリングされた原画像を、前記ターゲットビューに対応する画像面に再マッピングするステップと、
－ 前記再マッピングされフィルタリングされた原画像を組み合わせることによって、前記出力画像を生成するステップと、
を含み、
前記ピクセル密度マップは、前記出力画像における干渉信号の画像領域依存重大度を示し、
前記ターゲットビューはトップビューであり、前記出力画像は、前記環境領域を表すトップビュー画像であり、
前記出力画像を生成するために、前記原画像は湾曲したターゲット面に投影される、方法。
【請求項2】
各カメラに関し、水平ピクセル密度マップ及び垂直ピクセル密度マップは、フィルタリングされる原画像のそれぞれの画像領域を示すために決められることを特徴とする請求項１に記載の方法。
【請求項3】
各カメラに関し、カメラ固有のシャープネスマスクが、前記関連のカメラ及び前記ピクセル密度マップに応じて及びそれぞれの他のカメラに固有の前記ピクセル密度マップに応じて定められ、前記原画像は、それぞれの前記原画像を取り込む前記カメラのそれぞれの前記シャープネスマスクに応じて空間的に適応的にフィルタリングされることを特徴とする請求項１又は２に記載の方法。
【請求項4】
前記カメラ固有のシャープネスマスクは、前記関連のカメラの少なくとも１つのカメラ特性に応じて追加的に定められることを特徴とする請求項３に記載の方法。
【請求項5】
前記少なくとも１つのカメラ特性として、それぞれの前記カメラのレンズプロパティ、及び／又は、それぞれの前記カメラの少なくとも１つの外因性カメラパラメータ、及び／又は、それぞれの前記カメラの少なくとも１つの内因性カメラパラメータが予め定められることを特徴とする請求項４に記載の方法。
【請求項6】
各カメラに関し、それぞれの前記原画像を空間的に適応的にフィルタリングするためのカメラ固有の空間的適応フィルタースキームが、関連の前記カメラ固有のシャープネスマスクに応じて決められることを特徴とする請求項３～５のいずれか一項に記載の方法。
【請求項7】
前記対応の画像エリアの空間的適応フィルタリングに関し、少なくとも２つの前記少なくとも部分的にオーバーラップする原画像において、第１原画像における前記画像エリアの画像コンテンツは、前記第１原画像を取り込む前記カメラに固有の前記フィルタースキームによって鮮明化され、第２原画像における対応の前記画像エリアの画像コンテンツは、前記第２原画像を取り込む前記カメラに固有の前記フィルタースキームによってぼやけさせられ又はフィルタリングされないことを特徴とする請求項６に記載の方法。
【請求項8】
前記カメラ固有の空間的適応フィルタースキームは、マルチスケール及びマルチ方向勾配アプローチに基づいて決められることを特徴とする請求項６又は７に記載の方法。
【請求項9】
前記空間的適応フィルタースキームは、非間引きウェーブレット変換に基づいて決められ、ウェーブレット係数は、前記カメラ固有のシャープネスマスクに基づいて空間的適応的に修正されることを特徴とする請求項８に記載の方法。
【請求項10】
前記ウェーブレット係数は、前記カメラ固有のシャープネスマスクに合わせられた転写トーンマッピング関数に基づいて適応的に修正されることを特徴とする請求項９に記載の方法。
【請求項11】
前記カメラ固有の空間的適応フィルタースキームを決めるために、関連の前記カメラに固有の前記ピクセル密度マップに応じて及び前記それぞれの他のカメラに固有の前記ピクセル密度マップに応じて、前記ウェーブレット変換の少なくとも２つのウェーブレットバンドに関し、少なくとも２つのカメラ固有のシャープネスマスクが定められることを特徴とする請求項９又は１０に記載の方法。
【請求項12】
前記少なくとも１つのシャープネスマスクは、ウェーブレットバンドでの空間的に近接するエリア統計と組み合わされ、前記統計は、個別に、各ウェーブレットバンドでの空間的に近接するエリアにおける前記ウェーブレット係数の相関を表すことを特徴とする請求項９～１１のいずれか一項に記載の方法。
【請求項13】
動力車両のためのカメラシステムであって、前記動力車両の環境領域から少なくとも部分的にオーバーラップする原画像を取り込むための少なくとも２つのカメラと、
画像処理装置であって、
－ それぞれのカメラ固有のピクセル密度マップを特定するステップであって、当該カメラ固有のピクセル密度マップの各々が、前記出力画像の生成に寄与する関連のカメラにより撮られる原画像のピクセル数の画像領域依存分布を表す、ステップと、
－ 前記関連のカメラに固有の前記ピクセル密度マップに基づく前記原画像の空間的適応フィルタリングのステップであって、前記ピクセル密度マップが、前記フィルタリングの画像領域依存範囲を示す、ステップと、
－ 前記少なくとも２つのカメラの前記少なくとも部分的にオーバーラップする原画像において相互に対応する画像エリアを識別するステップと、
－ 前記対応の画像エリア間の鮮明度差を低減するために、前記少なくとも２つの車両側カメラのうちの他のそれぞれのカメラに固有の前記ピクセル密度マップに基づく、前記関連のカメラの前記原画像の画像エリアの空間的適応フィルタリングのステップと、
－ 再マッピングされフィルタリングされた原画像を生成するために、前記フィルタリングされた原画像を、前記ターゲットビューに対応する画像面に再マッピングするステップと、
－ 前記再マッピングされフィルタリングされた原画像を組み合わせることによって、前記出力画像を生成するステップと、
によって、前記少なくとも部分的にオーバーラップする原画像に基づいて前記動力車両と前記動力車両の前記環境領域とを示す所定のターゲットビューで出力画像を生成するように構成される画像処理装置と、を備え、
前記ピクセル密度マップは、前記出力画像における干渉信号の画像領域依存重大度を示し、
前記ターゲットビューはトップビューであり、前記出力画像は、前記環境領域を表すトップビュー画像であり、
前記出力画像を生成するために、前記原画像は湾曲したターゲット面に投影される、カメラシステム。
【請求項14】
請求項１３に記載のカメラシステムを備える動力車両。
【発明の詳細な説明】
【技術分野】
【0001】
発明は、少なくとも２つの車両側カメラによって取り込まれた少なくとも部分的に重なり合う原画像に基づいて、所定のターゲットビューで動力車両および動力車両の環境領域を示す出力画像を生成する方法に関する。さらに、発明は、動力車両および動力車両用のカメラシステムに関する。
【発明の概要】
【0002】
例えばサラウンドビューカメラシステムのような車両側のカメラシステムのカメラによって動力車両の環境領域を監視することは、従来技術から既に知られている。カメラによって取り込まれた原画像又は入力画像は、表示装置、例えば動力車両の客室におけるディスプレイ上で、動力車両のドライバーに表示されることができる。そこでは、出力画像はまた、所定のターゲットビューにおいて又は所定のターゲットパースペクティブから動力車両及び環境領域を表す異なるカメラの原画像からどんどんと生成される。そのような所定のターゲットビュー又はターゲットパースペクティブは、いわゆる三人称視点又は三人称パースペクティブとしうるものであり、それによって、動力車両の環境領域並びに動力車両自体が、車両の外部の観察者の視点、いわゆる仮想カメラから、出力画像において表される。そのような三人称視点は、例えばトップビューとしうる。したがって原画像から生成される出力画像は、動力車両の上面と動力車両を取り巻く環境領域を画像化する、鳥瞰図表現とも呼ばれるトップビュー画像である。
【0003】
出力画像を生成するために、原画像は、ターゲット面、例えば二次元平面又は曲面に投影される。続いて、原画像が組み合わされ、出力画像にレンダリングされ、それによって出力画像は、任意に選択可能なターゲットパースペクティブから仮想カメラによって取り込まれたようであり、したがって任意に選択可能な表示エリア又はビューポートを持つ。別の言い方をすると、原画像は、モザイクのような出力画像が組み合わせられて統合されることができ、それは、仮想カメラの位置にある単一の実際のカメラによって取り込まれたような印象を最終的に作り出す。トップビュー画像の形式の出力画像では、仮想カメラは、例えば、動力車両の真上且つ動力車両に平行な車両垂直軸の方向に位置付けられ、それによって表示エリアは、例えば道路エリアのような、アンダーグラウンドを持つ。
【0004】
そこで高品質の出力画像を得るために、異なるカメラによって取り込まれたが環境領域に由来する同じ三次元コンテンツを有する原画像における相互に対応する画像エリアは、同様の特性を持つはずである。例えば、それらは同様の明るさ、色、解像度、鮮明度及びノイズを持つべきである。したがって、これが当てはまらずに異なる鮮明度を有する画像エリアが例えば組み合わされたり又は統合されたりする場合、組み合わされた出力画像が目立つ鮮明度差及び鮮明度遷移を有する出力画像エリアを有することが起こり得る。これらの鮮明度差は、特に動力車両が動く場合に、ドライバーに表示される出力画像の画質を低下させ、ドライバーに不快感を与えうる。
【0005】
本発明の目的は、どのようにして動力車両及び動力車両の環境領域を所定のターゲットビューで示す出力画像を高品質で生成して動力車両のドライバーにそれらを表示できるかを解決する方法を提供することである。
【0006】
発明によれば、この目的は、それぞれの独立請求項による特徴を有する方法、カメラシステム、並びに動力車両によって解決される。発明の有利な実施形態は、従属請求項の主題、説明及び図である。
【0007】
少なくとも２つの車両側カメラによって取り込まれた少なくとも部分的に重なり合う原画像に基づいて、所定のターゲットビューで動力車両及び動力車両の環境領域を示す出力画像を生成するための方法の一態様によれば、それぞれのカメラに特定のピクセル密度マップが特に指定され、それらの各々は、出力画像の生成に寄与する関連のカメラによって取り込まれた原画像のピクセル数の画像－領域依存分布を表し。原画像は、フィルタリングの画像－領域依存範囲を示す関連のカメラに固有のピクセル密度マップに基づいて、空間的に適応的にフィルタリングされることができる。特に、相互に対応する画像エリアは、少なくとも２つのカメラの少なくとも部分的に重なり合う原画像で識別され、１つのカメラの原画像の画像エリアは、相互に対応する画像エリア間の鮮明度差を低減するためにそれぞれに他のカメラに指定されたピクセル密度マップに基づいて空間的に適応的にフィルタリングされ、フィルタリングされた原画像は、再マッピングされたフィルタリングされた原画像を生成するためのターゲットビューに対応する画像面に再マッピングされる。出力画像は、再マッピングされたフィルタリングされた原画像を組み合わせることで、生成されることができる。
【0008】
特に好ましくは、少なくとも２つの車両側カメラによって取り込まれた少なくとも部分的にオーバーラップする原画像に基づいて、所定のターゲットビューにおける動力車両及び動力車両の環境領域を示す出力画像を生成するための方法において、それぞれのカメラ固有のピクセル密度マップが指定され、それらの各々は、出力画像の生成に寄与する関連カメラによって取り込まれた原画像のピクセル数の画像－領域依存分布を表す。フィルタリングの画像－領域依存範囲を示す関連カメラに固有のピクセル密度マップに基づいて、原画像は空間的に適応的にフィルタリングされる。さらに、相互に対応する画像エリアは、少なくとも２つのカメラの少なくとも部分的にオーバーラップする原画像で識別され、１つのカメラの原画像の画像エリアは、相互に対応する画像エリア間の鮮明度差を低減するためにそれぞれの他のカメラに固有のピクセル密度マップに基づいて空間的に適応的にフィルタリングされ、フィルタリングされた原画像は、再マッピングされたフィルタリングされた原画像を生成するためのターゲットビューに対応する画像面に再マッピングされる。出力画像は、再マッピングされたフィルタリングされた原画像を組み合わせることにより生成される。
【0009】
言い換えると、これは、第１カメラで取り込まれた少なくとも１つの第１原画像に関して、出力画像の生成に寄与する第１カメラにより取り込まれた少なくとも１つの第１原画像のピクセル数の画像－領域依存分布を示す第１ピクセル密度マップが指定されることを意味する。第１カメラとは異なる第２カメラで取り込まれた少なくとも１つの第２原画像に関して、第２ピクセル密度マップが指定され、それは、出力画像の生成に寄与する第２カメラで取り込まれた少なくとも１つの第２原画像のピクセル数の画像－領域依存分布を表す。そこで、少なくとも１つの第１原画像は、第１ピクセル密度マップに基づいて空間的に適応的にフィルタリングされ、少なくとも１つの第２原画像は、第２ピクセル密度マップに基づいて空間的に適応的にフィルタリングされる。さらに、少なくとも１つの第１画像における画像エリアは第２ピクセル密度マップに基づいてフィルタリングされ、少なくとも１つの第２画像における対応の画像エリアは第１ピクセル密度マップに基づいてフィルタリングされる。
【0010】
その方法は、高品質の出力画像を生成するのに役立ち、当該出力画像は、動力車両及び動力車両の周囲の環境領域を所定のターゲットビューにおいて又は所定のターゲットパースペクティブから示す。出力画像は、車両側の表示装置において、動画像列、特にリアルタイムビデオの形で、動力車両のドライバーに表示されることができる。出力画像は、例えば、少なくとも２つの車両側カメラによって捕捉された原画像又は入力画像に基づいて車両側画像処理装置によって生成される。そこで、原画像は、画像面又はターゲット面、例えば二次元表面、に再マッピング又は投影され、再マッピング又は投影された原画像は出力画像を生成するために組み合わされる。車両側表示装置における出力画像の表示により、ドライバーは動力車両の操縦を支援されることができる。ドライバーは、表示装置を見ることで環境領域を捕らえることができる。サラウンドビューカメラシステム及び表示装置は、カメラモニターシステム（ＣＭＳ）を構成する。
【0011】
特に、出力画像は、車両側のサラウンドビューカメラシステムの少なくとも４つのカメラの少なくとも４つの原画像に基づいて、生成される。そこで、カメラは、特に、動力車両で取り付けの異なる場所に配置され、それによって異なる視点又は異なる向きの検知範囲を有する。したがって、異なる原画像は、環境領域の異なる部分的なエリアも示す。例えば、動力車両の前の環境領域からの少なくとも１つの第１原画像はフロントカメラで取り込むことができ、助手席側の環境領域からの少なくとも１つの第２画像は助手席側のサイドミラーカメラで取り込むことができ、動力車両の後ろの環境領域からの少なくとも１つの第３画像は後部カメラで取り込むことができ、運転席側の環境領域からの少なくとも１つの第４画像は、運転席側のサイドミラーカメラによって取り込むことができる。好ましくは、出力画像は、環境領域のトップビュー画像又は鳥瞰図表現である。したがって、所定のターゲットビューは、好ましくはトップビューに対応する。
【0012】
各カメラに関してピクセル密度マップが指定されており、当該ピクセル密度マップに基づいて、それぞれのカメラの原画像が空間的に適応的にフィルタリングされる。ピクセル密度マップは一旦決定され、例えば、関連のピクセル密度マップに基づいてカメラの原画像を空間的に適応的にフィルタリングすることができる画像処理装置のための車両側記憶装置に記録されることができる。ピクセル密度マップはピクセル密度の空間分布に対応し、当該ピクセル密度の空間分布は、原画像のピクセル又は画像素子の数を表し、それは出力画像内のある画像領域の生成に寄与する。ある画像領域は、環境領域におけるある部分エリア又はいわゆる関心領域（ＲＯＩ）を画像化する。例えば、環境領域、例えば地表面又は道路表面、を部分エリアに分割して各部分エリアに関する測定値を決めることによって、分布が決められることができる。そこでは、測定値は、出力画像におけるそれぞれの部分エリアを表すために用いられる出力画像と原画像との間の画像素子の数の比率を表す。別の言い方をすると、環境領域が分割され、環境領域におけるある部分エリアが選択され、ピクセル密度が決められる。これにより、このある部分エリアが原画像及び出力画像のそれぞれにおいて占めるピクセル数が決められる。したがって、ピクセル密度マップは、組み合わされた出力画像に対する原画像のピクセル比を測定するための測定基準である。一方で、ピクセル密度マップは、出力画像における干渉信号、例えば人工的なちらつき効果やエイリアシングアーティファクトの画像領域依存重大度を示すものを与える。他方、ピクセル密度マップは、画像領域依存サブサンプリング又はアップサンプリングの量又は大きさを示すものを与える。
【0013】
ピクセル密度マップにより、画像領域を特定でき、当該画像領域は、大幅なアップサンプリング規模を受け、それにより出力画像にぼけを導入する。それぞれのピクセル密度マップを決めるために、決定されたピクセル密度は、それらの大きさに基づいて少なくとも２つの密度ゾーンにグループ化されることができる。換言すれば、値の所定範囲内の値を有するピクセル密度が、密度ゾーンに割り当てられることができる。そこでは、特に５つを超える密度ゾーン又はピクセル密度クラスターが決められることが提供されうる。したがって、画像素子の対応する数の比又は対応するサブサンプリング比は、各密度ゾーンに関連付けられることができる。ピクセル密度マップは、例えば、動力車両におけるカメラの位置に応じて決められることができる。つまり、環境領域の部分エリアがカメラに近いほど、関連する画像領域におけるピクセル密度の値が大きくなる。低いピクセル密度が関連付けられている画像領域は、通常、多くの空間的なぼかしを有する。
【0014】
加えて、相互に対応する画像エリアは、各々が同じ画像コンテンツを有する原画像において決められる。別の言い方をすれば、相互に対応する画像エリアは、環境領域の同じ部分エリアを示すが、異なるカメラで撮られている。カメラは、特に広角カメラであり、広角レンズ、例えば魚眼レンズを備える。それにより、隣り合う２つのカメラの捕捉範囲は、あるエリアで互いに重なり合うことができ、その結果、カメラは、ある領域で環境領域の同じ部分エリアを捕捉する。２つの原画像のこれらの相互に対応する画像エリアは、再マッピングされた原画像を出力画像に対して組み合わせる際にオーバーラップし、そのため出力画像の生成の際に両方とも考慮される。したがって、相互に対応する画像エリアはオーバーラップエリアである。そこでは、画像エリアが異なる鮮明度を有することが起こり得る。これは、２つの隣り合うカメラによって取り込まれた部分エリアがカメラまでの異なる距離を有するという事実から生じうる。異なる鮮明度を有するこれらのオーバーラップする画像エリアにより、結果として生じる出力画像は、顕著な鮮明度の不一致の形でかく乱効果をもたらし、結果として生じる出力画像エリアにおいて隣り合う出力画像エリアへの非調和的な鮮明度遷移をもたらす。それにより、出力画像の画質が低下する。
【0015】
これを防ぐために、それぞれの原画像は、関連するピクセル密度マップに基づいて及びそれぞれの他の隣り合う原画像のピクセル密度マップに基づいて、空間的に適応的にフィルタリングされる。ピクセル密度マップ内のピクセル密度値により、高いレベルのぼやけを有するそれらの画像領域が特に簡単かつ迅速に識別されることができ、それに応じてフィルタリングを受けることができる。特に、それらの画像領域は、サブサンプリングがないピクセル密度マップを介して識別されることができる。サブサンプリングを行わないか又はアップサンプリングのみかの画像領域でのみ、再マッピング、つまり透視投影、により、追加のぼかしが出力画像に導入されることが予想される。それらの画像領域において、鮮明化が適用されることができ、そして関連するカメラ及びその隣り合うカメラのピクセル密度値が使用されて、フィルタリング、ピーキング、又はぼやけの量を定める。それにより、画像エリアの異なる鮮明度が互いに適合されることができ、鮮明度差が低減されることができる。
【0016】
要するに、それぞれの原画像は、関連付けられた隣接ピクセル密度マップに基づいて、空間的に適応的にフィルタリングされる。ピクセル密度マップは、適用される空間的適応フィルターをガイドすることができる。空間的適応フィルタリングは、カメラに関連付けられたピクセル密度マップと、同じオーバーラップ画像エリアを共有する隣り合うカメラのピクセル密度マップとに応じて、空間平滑化又はぼかし操作と鮮明化又はピーキング操作として働く。特に、妨害信号及びピーキング強度を低減するための空間ローパスフィルタリングが、ピクセル密度マップに適応するように形成されることができ、フィルタリングは両ケースにおいて空間的に適応されている。関連するカメラと隣り合うカメラのピクセル密度マップに基づく原画像の空間的適応フィルタリングにより、ぼやけた画像エリアは、例えば勾配ピーキングによって、鮮明化されることができる。さらに、他の原画像における対応のオーバーラップ画像エリアを十分に鮮明化することができない場合、必要に応じて、一方の原画像におけるオーバーラップ画像エリアが空間的に平滑化されることができる。
【0017】
そしてフィルタリングされた原画像は、ターゲットビュー又はターゲットサーフェスに対応する画像面に再マッピングされる。原画像を再マッピングするために、原画像の幾何学的変換及び原画像ピクセルの補間が実行される。そして、再マッピングされてフィルタリングされた原画像は、出力画像を生成するために、統合される。所定のターゲットパースペクティブは、特に、車両の外部の観察者の視点からの動力車両及び動力車両の周囲の環境領域を示す三人称視点であり、動力車両自体は車両側カメラによって撮られることができず、出力画像を生成するために動力車両のモデルが挿入される。
【0018】
隣り合うカメラのピクセル密度マップを考慮することにより、結果として得られる出力画像において調和のとれた鮮明度の進展が達成されることができ、これにより環境領域において同じ部分エリアを示す画像コンテンツ内での鮮明度及びぼやけの乱れをもたらす遷移が小さい高品質の出力画像を生成することができ、それは表示装置において動力車両のドライバーに表示されることができる。
【0019】
好ましくは、フィルタリングされる原画像のそれぞれの画像領域を示すために、各カメラに関して、各１つの水平ピクセル密度マップ及び各１つの垂直ピクセル密度マップが決められる。これは、カメラの原画像が、関連するカメラの垂直ピクセル密度マップ及び水平ピクセル密度マップで空間的に適応的にフィルタリングされることを意味する。さらに、原画像の対応する画像エリアは、隣り合うカメラの水平ピクセル密度マップ及び垂直ピクセル密度マップで空間的に適応的にフィルタリングされる。
【0020】
発明の特に好ましい実施形態において、カメラ固有のシャープネスマスクが、関連するカメラに固有のピクセル密度マップに応じて及びそれぞれの他のカメラに固有のピクセル密度マップに応じて、各カメラに関して定められ、原画像は、それぞれの原画像を取り込むカメラのそれぞれのシャープネスマスクに応じて空間的に適応的にフィルタリングされる。各１つの水平シャープネスマスク及び各１つの垂直シャープネスマスクが各カメラに関して決められることが提供され得る。水平シャープネスマスクは、関連するカメラに固有の及びそれぞれの他のカメラに固有の水平ピクセル密度マップに応じて、決められる。垂直シャープネスマスクは、関連するカメラに固有の及びそれぞれの他の各カメラに固有の垂直ピクセル密度マップに応じて、決められる。
【0021】
特に、カメラ固有のシャープネスマスクは、関連するカメラの少なくとも１つのカメラ特性に応じてさらに定められる。好ましくは、それぞれのカメラのレンズ特性及び／又はそれぞれのカメラの少なくとも１つの外因性カメラパラメータ及び／又はそれぞれのカメラの少なくとも１つの内因性カメラパラメータは、少なくとも１つのカメラ特性として予め定められる。少なくとも１つのカメラ特性はまた、カメラの事前設定を含むことができ、それによりカメラは、すでに、あるカメラ内部の画像処理ステップを実行する。
【0022】
言い換えると、特定のカメラに関するそれぞれのシャープネスマスクは、特定のカメラのピクセル密度マップ、隣り合うカメラのピクセル密度マップ、及び特定のカメラの少なくとも１つのカメラ特性に基づいて、決められる。カメラ固有のシャープネスマスクの決定のために、各原画像に関するピクセル密度マップ、特に垂直ピクセル密度マップ及び水平ピクセル密度マップが、隣り合うカメラのピクセル密度マップに基づいて、オーバーラップエリアで最初に修正されることができる。そしてその後、得られた修正済みのピクセル密度マップは、少なくとも１つのカメラ特性、例えばカメラ画像の鮮明度及び鮮明度における空間的不連続性に影響を与えうる特定のカメラ事前設定及び光学、を含むカメラ画像モデルと、組み合わされる。シャープネスマスクは二次元マスクであり、当該二次元マスクにより、画像領域ごとに異なる、実行されるべき鮮明化の範囲が予め定められる。それにおいて、ピクセルは、特に、シャープネスマスクの各要素に関連付けられ、シャープネスマスクにおける要素は、関連付けられたピクセルがどの程度フィルタリングされるかを指定する。シャープネスマスクによって、出力画像の品質に影響を与えるカメラ特性を考慮することができるが、それはピクセル密度マップ自体によっては考慮されることができない。
【0023】
特に好ましくは、各カメラに関し、それぞれの原画像を空間的に適応的にフィルタリングするためのカメラ固有の空間的に適応的なフィルタースキームが、カメラ固有のシャープネスマスクに応じて決められる。したがって、カメラ固有のピクセル密度マップ、隣り合うカメラのピクセル密度マップ、及びカメラ関連の特性、つまりカメラ固有のシャープネスマスク、に応じて、適応フィルタリングスキームが各カメラに関して決められる。このようにして、高品質の出力画像を生成できる。
【0024】
本発明の発展において、少なくとも２つの部分的にオーバーラップする原画像の対応する画像エリアの空間的に適応したフィルタリングのために、原画像のうちの１つ目のものにおける画像エリアの画像コンテンツは、第１原画像を撮ったカメラに固有のフィルタースキームによって鮮明化され、原画像のうちの２つ目のものにおける対応の画像エリアの画像コンテンツは、第２原画像を撮ったカメラに固有のフィルタースキームによってぼかされるか又はフィルタリングされない。特に、カメラ固有のシャープネスマスクに基づいて、この原画像は、鮮明化される第１原画像として識別され、その画像エリアは他の第２原画像の画像エリアと比較してより低い鮮明度を有する。この発展は、画像エリアは、環境領域の関連する部分エリアがカメラからどれだけ離れているかに応じて、ある鮮明度の相違があるという認識に基づいている。ここで、結果として得られる出力画像エリアの画質がこの鮮明度相違によって低下するのを防ぐために、出力画像を生成する前に、この鮮明度の相違が低減される。別の言い方をすると、さまざまな原画像の画像エリアの鮮明度が調和される。それに加えて、同じ画像コンテンツを有するそれぞれの画像エリアの鮮明度を、したがってオーバーラップエリアの鮮明度を、最初に決めることができる。そこでは、画像エリアが低い第１鮮明度を有する一方の原画像における画像エリアが鮮明にされ、画像エリアが第１鮮明度と比較してより高い第２鮮明度を有する他方の原画像ではぼやけているかまったくフィルタリングされない。そこでは、フィルタースキームの決定及びそれによる鮮明度適応の程度の決定は、特に、カメラ固有のシャープネスマスクに基づいて決められることができる鮮明度の相違に応じて、行われる。
【0025】
カメラ固有の空間的適応フィルタースキームがマルチスケール及びマルチ方向の勾配アプローチに基づいて決められる場合、それは有利であることが分かる。そこでは、相互に対応する画像エリアをフィルタリングするためのフィルタースキームのフィルター特性及び強度が、それぞれの画像エリアにおいて各ピクセルについて別々に決められることが提供され得る。多重解像度勾配アプローチを使用すると、鮮明化される原画像の画像エリアにおいて勾配をピークにしたり強調したりでき、ぼかされる画像エリアにおいて勾配を滑らかにすることができる。そこでは、フィルタリングスキームが、オーバーラップエリアにおける鮮明度適応の最適な程度を達成するように、オーバーラップエリア内の各ピクセル位置、対応する勾配の大きさ、及び各カメラ画像に関して決められる。
【0026】
発明の発展において、空間的適応フィルタースキームは、非間引きウェーブレット変換に基づいて修正され、ウェーブレット係数は、カメラ固有のシャープネスマスクに基づいて適応的に修正される。特に、ウェーブレット係数は、カメラ固有のシャープネスマスクに基づいて適用される転写トーンマッピング関数（ｔｒａｎｓｆｅｒ－ｔｏｎｅ－ｍａｐｐｉｎｇ ｆｕｎｃｔｉｏｎ）に基づいて適応的に修正される。これにより、原画像のウェーブレットベースのフィルタリングが実行される。最も単純なケースにおいて、トーンマッピング関数又はカーブは固定形状を持つことができ、シャープネスマスクに基づいて適用される。有利には、トーンマッピング曲線は、各ウェーブレット帯域に関して異なる形状であり、対応するシャープネスマスクに基づいて再形成されることができる。
【0027】
ウェーブレット変換に基づくマルチスケールアプローチ内では、原画像は特に最初に多重解像度の表現に分解され、各解像度レベルにおいて、原画像は異なる勾配方向バンドに更に分解される。ウェーブレット係数は、カメラ固有のシャープネスマスクに応じて順に適応される転写トーンマッピング関数又は動的圧縮関数に基づいて、適応的に決められる。最後に、ウェーブレット係数にトーンマッピング関数を適用した後、逆ウェーブレット変換が適用されて、フィルタリングされた原画像を取得し、当該フィルタリングされた原画像に基づいて、ターゲットビューの一部を生成することができる。
【0028】
カメラ固有の空間的に適応するフィルタースキームを決めるために、ウェーブレット変換の少なくとも２つのウェーブレットバンドに関して、少なくとも２つのカメラ固有のシャープネスマスクが、関連するカメラに固有のピクセル密度マップに応じて及びそれぞれの他のカメラに固有のピクセル密度マップに応じて定められている場合、それは有利であることが分かる。例えば、水平シャープネスマスクは、水平方向に方向付けられているウェーブレットバンドに使用できる水平ピクセル密度マップに基づいて決められることができ、垂直シャープネスマスクは、垂直方向に方向付けられているウェーブレットバンドに使用できる垂直ピクセル密度マップに基づいて決められることができる。
【0029】
発明の一実施形態では、少なくとも１つのシャープネスマスクは、ウェーブレットバンドにおける空間的に近接するエリア統計と組み合わされる。その統計は、個別に、各ウェーブレットバンドでの空間的に近接するエリアにおけるウェーブレット係数の相関に関係する。さらに、影響のコーン（ｃｏｎｅ）を決めるために、同じ方向内のウェーブレット係数のスケール間相関を使用できる。この影響のコーンは、各方向のウェーブレット係数がスケールをどのように進行するかについての情報を提供する。例えば、原カメラ画像における空間的近傍位置は、この近傍内の対応するウェーブレット係数の進行が多くの解像度スケールで拡大する場合、重要な特徴を含むと見なされる。したがって、その進行は、絶対的な鮮明度の推定又は鮮明度の向上が視覚的品質の点で最も違いをもたらす場所の推定に、使用されることができる。ウェーブレット係数が拡張するスケールが大きいほど、それがより重要な特徴になる。そして、シャープネスマスクを最大限に適用するか、最高レベルの鮮明度パラメータを使用すると、有利である。逆に、小さな進行は、増幅すべきではないノイズを含むエリアに対応する。シャープネスマスクと組み合わされるこれらの空間的に近接するエリアの統計は、空間的にローカルなウェーブレット係数近傍に対する適用されるシャープネスマスクのより高いレベルの適応性を促進し、より正確なウェーブレット処理スキームを提供する。
【0030】
発明はさらに、動力車両の環境領域からの原画像を取り込むための少なくとも２つのカメラと、発明による方法又はその実施形態を実行するように適合された画像処理装置とを備える動力車両用のカメラシステムに関する。カメラシステムは、特に、動力車両の前の環境領域を取り込むためのフロントカメラ、動力車両の後ろの環境領域を取り込むためのリアカメラ、及び動力車両に隣り合う環境領域を取り込むための２つのサイドミラーカメラを含むサラウンドビューカメラシステムとして形成される。画像処理装置は、例えば車両側コントローラに統合されることができ、サラウンドビューカメラシステムの原画像又は入力画像に基づいて出力画像を生成するように形成される。
【0031】
発明による動力車両は、発明によるカメラシステムを含む。動力車両は特に乗用車として形成される。それにおいて、カメラは、特に、動力車両の周囲の環境領域を監視できるように、動力車両に分散して配置される。さらに、動力車両は、出力画像を表示するための表示装置を備えることができ、当該表示装置は、例えば動力車両の客室に配置される。
【0032】
発明による方法に関して提示される好ましい実施形態及びその利点は、発明によるカメラシステム及び発明による動力車両に対して、相応に適用される。
【0033】
「前」、「後ろ」、「隣」、「上」、「左」、「右」、「横」などの表示によって、動力車両の前に立って動力車両の前後軸の方向に見ている観察者とともに与えられる位置及び向きが特定される。
【0034】
発明のさらなる特徴は、特許請求の範囲、図面及び図面の説明から明らかである。説明で上述した特徴及び特徴の組み合わせ並びに図面の説明で以下に言及する及び／又は図面に示される特徴及び特徴の組み合わせは、発明の範囲から逸脱することなく、それぞれ特定の組み合わせだけでなく、他の組み合わせ又は単独でも使用可能である。したがって、図面に明示的に示されていないが、説明される実装から分離される特徴の組み合わせから生じ、当該組み合わせによって作られるうる実装もまた、発明によって包含及び開示されていると見なされるものである。したがって、当初に考案された独立請求項の特徴のすべてを備えているわけではない実装及び特徴の組み合わせも開示されていると見なされるものである。さらに、請求項に関係して示されている特徴の組み合わせを超えて又は当該組み合わせから逸脱する実装及び特徴の組み合わせは、特に上記に示された実装によって、開示されているものと見なされるものである。
【図面の簡単な説明】
【0035】
【図1】発明による動力車両の一実施形態の略図。
【図2a】動力車両の環境領域からの動力車両の４つのカメラで取り込まれた４つの原画像の略図。
【図2b】動力車両の環境領域からの動力車両の４つのカメラで取り込まれた４つの原画像の略図。
【図2c】動力車両の環境領域からの動力車両の４つのカメラで取り込まれた４つの原画像の略図。
【図2d】動力車両の環境領域からの動力車両の４つのカメラで取り込まれた４つの原画像の略図。
【図3a】動力車両の環境領域からの再マッピングされた原画像の略図。
【図3b】再マッピングされた原画像から生成されるトップビュー画像の略図。
【図4】発明による方法コースの一実施形態の略図。
【図5a】動力車両のサイドミラーカメラの水平ピクセル密度マップ及び垂直ピクセル密度マップの略図。
【図5b】動力車両のサイドミラーカメラの水平ピクセル密度マップ及び垂直ピクセル密度マップの略図。
【図6】サイドミラーカメラの原画像の略図。
【発明を実施するための形態】
【0036】
図面において、同一及び機能的に同一の要素には、同じ参照文字が与えられている。
【0037】
図１は、本ケースでは乗用車として形成される動力車両１を示す。ここで、動力車両１はドライバー支援システム２を有し、当該ドライバー支援システム２は、動力車両１を運転する際に動力車両１のドライバーを支援することができる。ドライバー支援システム２は、動力車両１の環境領域４ａ、４ｂ、４ｃ、４ｄを監視するためのサラウンドビューカメラシステム３を有する。目下、カメラシステム３は、動力車両１に配置される４つのカメラ５ａ、５ｂ、５ｃ、５ｄを含む。第１カメラ５ａは、フロントカメラとして形成され、動力車両１の前方エリア６に配置される。フロントカメラ５ａは、動力車両１の前方の環境領域４ａから第１原画像ＲＣ１（図２ａを参照）を取り込むように適合されている。第２カメラ５ｂは、右サイドミラーカメラとして形成され、動力車両１の右サイドミラー７に又は当該右サイドミラー７の代わりに、配置される。右サイドミラーカメラ５ｂは、動力車両１の右側に隣り合う環境領域４ｂから第２原画像ＲＣ２（図２ｂ参照）を取り込むように適合されている。第３カメラ５ｃは、リアカメラとして形成され、動力車両１の後方エリア８に配置される。リアカメラ５ｃは、動力車両１の背後の環境領域４ｃから第３原画像ＲＣ３（図２ｃを参照）を取り込むように適合されている。第４カメラ５ｄは、左サイドミラーカメラとして形成され、動力車両１の左サイドミラー９に又は当該左サイドミラー９の代わりに、配置される。左サイドミラーカメラ５ｄは、動力車両１の左に隣り合う環境領域４ｄから第４原画像ＲＣ４（図２ｄ、図６を参照）を取り込むように適合されている。そこでは、図３ａに示されるように再マッピングされた原画像Ｒ１、Ｒ２、Ｒ３、Ｒ４を生成するために、図２ａ、２ｂ、２ｃ、２ｄに示される原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４が、ターゲット面Ｓ、例えば２次元平面、に投影又は再マッピングされる。
【0038】
さらに、カメラシステム３は画像処理装置１０を有し、当該画像処理装置１０は、原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４を処理するように、そして再マッピングされた原画像Ｒ１、Ｒ２、Ｒ３、Ｒ４を組み合わせることにより原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４から出力画像を生成するように適合されている。出力画像は、動力車両１と、動力車両１を取り巻く環境領域４とを所定のターゲットビューで表す。そのようなターゲットビューは、トップビューとしうるものであり、それによって、観察者又は動力車両１の上方の仮想カメラの視点から動力車両１並びに環境領域４を示すトップビュー画像が出力画像として生成されることができる。この出力画像は、車両側表示装置１１に表示されることができる。したがって、カメラシステム３及び表示装置１１は、ドライバーによって自由に選択可能である任意の所望のターゲットビューで、動力車両１の環境エリア４を表示装置１１に表示することによってドライバーを援助するカメラモニタシステムの形態のドライバー支援システム２を形成する。
【0039】
そこでは、２つの隣り合うカメラ５ａ、５ｂ、５ｃ、５ｄの再マッピングされた原画像Ｒ１、Ｒ２、Ｒ３、Ｒ４と、原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４とは、相互に対応する画像エリアＢ１ａ及びＢ１ｂ、Ｂ２ａ及びＢ２ｂ、Ｂ３ａ及びＢ３ｂ、Ｂ４ａ及びＢ４ｂを有する。例えば、画像エリアＢ１ａは、フロントカメラ５ａによって取り込まれた第１再マッピング原画像Ｒ１に位置する。画像エリアＢ１ａに対応する画像エリアＢ１ｂは、右サイドミラーカメラ５ｂによって取り込まれた第２再マッピング原画像Ｒ２に位置する。画像エリアＢ２ａは、右サイドミラーカメラ５ｂによって検出された第２再マッピング原画像Ｒ２に位置しており、対応する画像エリアＢ２ｂは、リアカメラ５ｃなどによって取り込まれた第３再マッピング原画像Ｒ３に位置する。これは、相互に対応する画像エリアＢ１ａ及びＢ１ｂ、Ｂ２ａ及びＢ２ｂ、Ｂ３ａ及びＢ３ｂ、Ｂ４ａ及びＢ４ｂが各々同じ画像コンテンツを持つことを意味する。これは、２つの隣り合うカメラ５ａ、５ｂ、５ｃ、５ｄの少なくとも部分的に重なり合う取り込み範囲に由来する。
【0040】
特に、サイドミラーカメラ５ｂ、５ｄの再マッピング原画像Ｒ２、Ｒ４及び原画像ＲＣ２、ＲＣ４内で、画像エリアＢ１ｂ、Ｂ２ａ、Ｂ３ｂ、Ｂ４ａがぼやけるが、これはこれらの画像エリアＢ１ｂ、Ｂ２ａ、Ｂ３ｂ、Ｂ４ａの画像コンテンツがここではカメラ５ｂ、５ｄの検出範囲のエッジエリアに由来し且つカメラ５ｂ、５ｄの広角レンズによって歪められもするためである。これらのぼやけた画像エリアＢ１ｂ、Ｂ２ａ、Ｂ３ｂ、Ｂ４ａが、対応するが出力画像を生成するためにはっきりとよりシャープな画像エリアＢ１ａ、Ｂ２ｂ、Ｂ３ａ、Ｂ４ｂと組み合わせられると、はっきりと見える鮮明度の不一致と一貫性のない鮮明度遷移が、生成された出力において現れる。図３ｂにおいて、トップビュー画像Ｔの形態の出力画像が例示的に示されている。トップビュー画像Ｔは、再マッピングされた原画像Ｒ１、Ｒ２、Ｒ３、Ｒ４から生成され、それにより動力車両１のモデル１’が挿入され、これは動力車両１自体をカメラ５ａ、５ｂ、５ｃ、５ｄによって検出できないためである。異なる鮮明度の対応する画像エリアＢ１ａ及びＢ１ｂ、Ｂ２ａ及びＢ２ｂ、Ｂ３ａ及びＢ３ｂ、Ｂ４ａ及びＢ４ｂの組み合わせにより、トップビュー画像Ｔは、鮮明度不一致を持つそれぞれの画像エリアＡ１、Ａ２、Ａ３、Ａ４を含む。したがって、図３ｂに示されるトップビュー画像Ｔは、トップビュー画像Ｔ内での顕著な鮮明度遷移の形で、低下した画質を有する。
【0041】
このはっきりと見える鮮明度遷移を少なくとも弱めるために、したがって出力画像の画質を向上させるために、カメラシステム３の画像処理装置１０は、図４におけるフローチャート１２を参照して概略的に示される方法を実行するように設けられている。その方法により、原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４をターゲット面Ｓに投影されるように空間的に適応的にフィルタリングして投影されたフィルタリング済み原画像Ｒ１、Ｒ２、Ｒ３、Ｒ４を出力画像に補間することにより、結果としてもたらされる出力画像において鮮明度の調和を達成することができる。
【0042】
この目的のために、第１ステップ１３において、カメラ固有のピクセル密度マップが、各カメラ５ａ～５ｄに関して規定される。それぞれのカメラ固有のピクセル密度マップは、原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４又はターゲットビューとともに出力画像で使用される対応の再マッピング原画像Ｒ１、Ｒ２、Ｒ３、Ｒ４における２つの隣り合うピクセル位置間の距離の比率を表す。ターゲットビューでは距離はある基準値を持つので、その特定位置でターゲットビューとともに、出力画像でピクセルを生成するために使用される原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４において対応の隣り合うピクセルの距離に基づいて、ピクセル密度マップが算出される。これは、基準値に応じた、空間的に可変なサブサンプリング又はアップサンプリングに対応する。水平ピクセル密度の場合、その距離は水平方向の水平隣接距離であり、垂直ピクセル密度の場合、その距離は垂直方向の垂直隣接距離である。ピクセル密度マップによって、フィルターが適用される原画像Ｒ１～Ｒ４のそれぞれの画像領域又は関心領域（ＲＯＩ）の位置と、これらの画像領域に適用されるフィルターの範囲が特定されることができる。
【0043】
ここで、特に、各カメラ５ａ～５ｄに関し、ピクセル密度マップとしての水平ピクセル密度マップ及び垂直ピクセル密度マップが定められる。図５ａは、水平画像方向における空間的適応フィルタリングのための水平ピクセル密度マップＰＤＭ１ａ、ＰＤＭ２ａを示し、第１水平ピクセル密度マップＰＤＭ１ａは左サイドミラーカメラ５ｄに割り当てられ、第２水平ピクセル密度マップＰＤＭ２ａは右サイドミラーカメラ５ｂに割り当てられる。図５ｂは、垂直画像方向における空間的適応フィルタリングのための垂直ピクセル密度マップＰＤＭ１ｂ、ＰＤＭ２ｂを示し、第１垂直ピクセル密度マップＰＤＭ１ｂは左サイドミラーカメラ５ｄに割り当てられ、第２の垂直ピクセル密度マップＰＤＭ２ｂは右サイドミラーカメラ５ｂに割り当てられる。ここでは、明瞭さのために、フロントカメラ５ａ及びリアカメラ５ｂのピクセル密度マップが示されていない。
【0044】
ここで、ピクセル密度は、それらの値の大きさに基づいて、それぞれのピクセル密度マップＰＤＭ１ａ、ＰＤＭ２ａ、ＰＤＭ１ｂ、ＰＤＭ２ｂにおける密度ゾーンＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５にグループ化又はクラスター化される。したがって、各密度ゾーンＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５は、ある対応のピクセル数比又は対応のサブサンプリング比に、割り当てられる。ここで、第１密度ゾーンＺ１では、最も高い値を有するピクセル密度がグループ化され、密度値は、第５密度ゾーンＺ５の方向に徐々に減少する。したがって、第５密度ゾーンＺ５では、最も低い値を有するピクセル密度がグループ化される。密度ゾーンＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５を使用して、画像領域に応じて原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４におけるいわゆるエイリアシングアーティファクトと呼ばれるかく乱効果の重症度を特定することができ、それは、例えば砂利道の表面での、高度なテクスチャーサブサンプリングにより原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４で発生しうる。ピクセル密度が高いほど、密度ゾーンＺ１、Ｚ２、Ｚ３、Ｚ４、Ｚ５に属する原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４における画像領域でのかく乱効果が強くなる。
【0045】
第２ステップ１４では、異なる鮮明度のオーバーラップエリア又は画像エリアＢ１ａ及びＢ１ｂ、Ｂ２ａ及びＢ２ｂ、Ｂ３ａ及びＢ３ｂ、Ｂ４ａ及びＢ４ｂに起因する出力画像における鮮明度の不一致の問題を解消するために、お互いに対応する画像エリアＢ１ａ及びＢ１ｂ、Ｂ２ａ及びＢ２ｂ、Ｂ３ａ及びＢ３ｂ、Ｂ４ａ及びＢ４ｂが識別される。第３ステップ１５では、カメラ固有のシャープネスマスクが、各カメラ５ａ、５ｂ、５ｃ、５ｄについて決められる。シャープネスマスクは、それぞれのカメラ固有のピクセル密度マップに応じて決められ、ここではそのピクセル密度マップＰＤＭ１ａ、ＰＤＭ２ａ、ＰＤＭ１ｂ、ＰＤＭ２ｂだけが、隣り合うカメラ５ａ、５ｂ、５ｃ、５ｄのピクセル密度マップにおいて、示されている。例えば、フロントカメラ５ａのシャープネスマスク、特に水平シャープネスマスク及び垂直シャープネスマスク、は、フロントカメラ５ａのピクセル密度マップ、右サイドミラーカメラ５ｂのピクセル密度マップＰＤＭ２ａ、ＰＤＭ２ｂ、及び左サイドミラーカメラ５ｄのピクセル密度マップＰＤＭ１ａ、ＰＤＭ１ｂに基づいて、決められる。右サイドミラーカメラ５ｂのシャープネスマスク、特に水平シャープネスマスク及び垂直シャープネスマスク、は、右サイドミラーカメラ５ｂのピクセル密度マップＰＤＭ２ａ、ＰＤＭ２ｂ、フロントカメラ５ａのピクセル密度マップ、及びリアカメラ５ｃのピクセル密度マップなどに基づいて、決められる。さらに、カメラ固有のシャープネスマスクは、少なくとも１つのカメラ特性、例えばカメラレンズモデル、カメラ５ａ、５ｂ、５ｃ、５ｄのイメージセンサー、カメラ設定、及びそれぞれのカメラ５ａ、５ｂ、５ｃ、５ｄの関心画像領域の画像位置に基づいて、決められる。したがって、各カメラ画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４は、カメラ固有のシャープネスマスクによってそれぞれの原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４を検出するカメラ５ａ、５ｂ、５ｃ、５ｄのカメラ特性を考慮することにより、独立して考慮される。シャープネスマスクにより、例えばカメラ５ａ、５ｂ、５ｃ、５ｄの広角レンズによって引き起こされる原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４の歪みは、ピクセルごとにモデル化されることができる。
【0046】
図６に示される左側のサイドミラーカメラ５ｄの原画像ＲＣ４に基づいて、原画像ＲＣ４は、画像中心Ｍにおいて最も鮮明であり、例えば画像エリアＢ３ｂ、Ｂ４ａのように画像領域がより遠くなるほど、よりぼやけていることが視覚化される。この歪みは、ここでは、例えば、左サイドミラーカメラ５ｄの魚眼レンズの形態の広角レンズに起因する。原画像ＲＣ４におけるそのような劣化をマッピング又は記述するカメラ固有のシャープネスマスクは、空間的適応フィルタリングのための原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４に関するフィルタースキームを決めるために第４ステップ１６で使用される。フィルタースキームは、特に、空間的適応型フィルタースキームであり、当該空間的適応型フィルタースキームは、ウェーブレットなどのマルチスケールで多方向付けされた勾配アプローチに基づく。特に、特別に設計された転写トーンマッピング関数で適応的に修正される非間引きウェーブレット変換を使用できる。転写トーンマッピング関数は、カメラ固有のシャープネスマスクに基づいて調整されることができる。
【0047】
第５ステップ１７において、原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４は、決定されたフィルタースキームを使って、それぞれのカメラ５ａ、５ｂ、５ｃ、５ｄのシャープネスマスクに基づき、空間的に適応的にフィルタリングされる。それにより、各原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４は、関連付けられるカメラ５ａ、５ｂ、５ｃ、５ｄのシャープネスマスクに基づいて、特に水平及び垂直に、フィルタリングされる。フロントカメラ５ａの原画像ＲＣ１はフロントカメラ５ａのシャープネスマスクに基づいてフィルタリングされ、右サイドミラーカメラ５ｂの原画像ＲＣ２は右サイドミラーカメラ５ｂのシャープネスマスクに基づいてフィルタリングされ、リアカメラ５ｃの原画像ＲＣ３はリアカメラ５ｃのシャープネスマスクに基づいてフィルタリングされ、左サイドミラーカメラ５ｄの原画像ＲＣ４は左サイドミラーカメラ５ｄのシャープネスマスクに基づいてフィルタリングされる。特に、シャープネスマスクはガイダンス画像として機能し、当該ガイダンス画像は、例えばローパスフィルターや勾配ピーキングなどの、フィルターのフィルター強度を空間的に制限することができる。例えば原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４におけるフリッカーとして生じうるかく乱効果を低減するために、例えばピクセル密度の値が高いほど、ローパスフィルターの強度を高く選択できる。カメラ固有の又は原画像固有のシャープネスマスクに応じて、したがって原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４における妨害信号の画像領域依存の重症度に応じて、行われるフィルタリングは、原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４がある画像領域で不必要に強いやり方で又は弱すぎるやり方でフィルタリングされるのを防ぐ。
【0048】
対応する画像エリア又はオーバーラップエリアＢ１ａ及びＢ１ｂ、Ｂ２ａ及びＢ２ｂ、Ｂ３ａ及びＢ３ｂ、Ｂ４ａ及びＢ４ｂでのダブルフィルタリングにより、出力画像内で、１つの原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４から別の原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４へのよりソフトな鮮明度遷移を得ることができる。それにより、それらの原画像ＲＣ２、ＲＣ４における画像エリアＢ１ｂ、Ｂ２ａ、Ｂ３ｂ、Ｂ４ａがそれぞれ隣り合う原画像ＲＣ１、ＲＣ３の対応の画像エリアＢ１ａ、Ｂ２ｂ、Ｂ３ａ、Ｂ４ｂよりも鮮明でないような、それらの原画像ＲＣ２、ＲＣ４の画像エリアＢ１ｂ、Ｂ２ａ、Ｂ３ｂ、Ｂ４ａに関する低減されたフィルター強度が、それぞれのシャープネスマスクによって、与えられることができる。例えば、画像エリアＢ１ｂ、Ｂ２ａ、Ｂ３ｂ、Ｂ４ａは、サイドミラーカメラ５ｂ、５ｄにより検出され、それにより、フロントカメラ５ａ及びリアカメラ５ｃにより検出される画像エリアＢ１ａ、Ｂ２ｂ、Ｂ３ａ、Ｂ４ｂよりも大きな歪みを受ける。不鮮明な、ぼやけた画像エリアＢ１ｂ、Ｂ２ａ、Ｂ３ｂ、Ｂ４ａにおけるフィルター強度を低減することにより、これらは鮮明になる。これは「アップサンプリング」とも呼ばれる。逆に、よりシャープな画像エリアＢ１ａ、Ｂ２ｂ、Ｂ３ａ、Ｂ４ｂは、これらの画像エリアＢ１ａ、Ｂ２ｂ、Ｂ３ａ、Ｂ４ｂに関するフィルター強度を増大することによって不鮮明になる。これは「ダウンサンプリング」とも呼ばれる。したがって、それぞれのピクセル密度マップＰＤＭ１ａ、ＰＤＭ１ｂ、ＰＤＭ２ａ、ＰＤＭ２ｂは、「アップサンプリング」及び「ダウンサンプリング」の両方に役立つ。これは、原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４が強いフィルタリングのみ又は弱いフィルタリングのみを受けることを防ぐ。
【0049】
そして第６ステップ１８において、フィルタリングされた原画像ＲＣ１、ＲＣ２、ＲＣ３、ＲＣ４は、再マッピングされたフィルタリングされた原画像Ｒ１、Ｒ２、Ｒ３、Ｒ４を生成するために、画像面Ｓに再マッピングされる。第７ステップ１９において、それらの再マッピングされフィルタリングされた原画像Ｒ１、Ｒ２、Ｒ３、Ｒ４は、所定のターゲットビュー、例えばトップビューで、動力車両１及び環境領域４を示す出力画像に統合される。
【0050】
要するに、ピクセル密度マップ、特にそれぞれの垂直ピクセル密度マップ及び水平ピクセル密度マップＰＤＭ１ａ、ＰＤＭ１ｂ、ＰＤＭ２ａ、ＰＤＭ２ｂは、各カメラ５ａ、５ｂ、５ｃ、５ｄ及びピクセル密度マップＰＤＭ１ａ、ＰＤＭ１ｂ、ＰＤＭ２ａ、ＰＤＭ２ｂに関して個別に決められることができ、隣り合うピクセル密度マップＰＤＭ１ａ、ＰＤＭ１ｂ、ＰＤＭ２ａ、ＰＤＭ２ｂに応じて調整されることができる。これに基づいて、２次元空間シャープネスマスクを、各カメラ５ａ、５ｂ、５ｃ、５ｄに関し、カメラ設定及びそれぞれのカメラ５ａ、５ｂ、５ｃ、５ｄのレンズマウントに応じて決めることができ、空間的に適応できるフィルタリングのための特定のフィルタースキームを、各カメラ５ａ、５ｂ、５ｃに関し、ピクセル密度マップＰＤＭ１ａ、ＰＤＭ１ｂ、ＰＤＭ２ａ、ＰＤＭ２ｂ及びシャープネスマスクに応じて決めることができる。これは、出力画像が、調和のとれた鮮明さで、したがって高画質で、決められることを可能にする。
【図1】
【図2a】
【図2b】
【図2c】
【図2d】
【図3a】
【図3b】
【図4】
【図5a】
【図5b】
【図6】