特許 7064451 自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-26

(45)【発行日】2022-05-10

(54)【発明の名称】自車両の周辺領域撮影用カメラ装置及び運転者支援機能を提供する方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220427BHJP

   H04N 5/232 20060101ALI20220427BHJP

   G08G 1/16 20060101ALI20220427BHJP

【ＦＩ】

H04N7/18 J

H04N5/232 380

H04N5/232 290

G08G1/16 C

【請求項の数】 13

(21)【出願番号】P 2018567288

(86)(22)【出願日】2017-07-04

(65)【公表番号】

(43)【公表日】2019-09-05

(86)【国際出願番号】 DE2017200061

(87)【国際公開番号】W WO2018014917

(87)【国際公開日】2018-01-25

【審査請求日】2020-06-25

(31)【優先権主張番号】102016213493.0

(32)【優先日】2016-07-22

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】503355292

【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ

【住所又は居所原語表記】Ｓｉｅｂｏｌｄｓｔｒａｓｓｅ １９， Ｄ－９０４１１ Ｎｕｅｒｎｂｅｒｇ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(72)【発明者】

【氏名】ブロイアー・カルステン

(72)【発明者】

【氏名】ヴェルトヘッセン・ボーリス

(72)【発明者】

【氏名】ローテンホイスラー・コンラート

(72)【発明者】

【氏名】クレーケル・ディーター

【審査官】益戸 宏

(56)【参考文献】

【文献】国際公開第２０１６／０１９９５６（ＷＯ，Ａ１）

【文献】特開２００８－２９８５３２（ＪＰ，Ａ）

【文献】国際公開第２０１６／０４７０８７（ＷＯ，Ａ１）

【文献】特開２００９－０１７１５７（ＪＰ，Ａ）

【文献】特開２０１０－２８３５６７（ＪＰ，Ａ）

【文献】特開２００１－３２０６１６（ＪＰ，Ａ）

【文献】PATRICE ROULET ET AL，Multi-task single lens for automotive vision applications，PROCEEDINGS OF SPIE，2009年05月01日，Vol.7314

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２３２

Ｂ６０Ｒ １／２０

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ ３／４０

(57)【特許請求の範囲】

【請求項1】

自車両（１）の周辺領域撮影用カメラ装置（２）において、
前記周辺領域の少なくとも１つの出力画像を撮影する広角レンズ及び高分解能画像撮影センサを含む光電子装置を備え、前記画像撮影センサは均一な分解能を有し、
前記光電子装置は前記少なくとも１つの撮影出力画像から、処理された結果画像（４）を生成するように構成され、
前記処理された結果画像（４）は付属する前記出力画像と比較して少なくとも１つの分解能が変更されていないトリミング画像（４ａ）及び前記少なくとも１つのトリミング画像（４ａ）と隣接する分解能が低減された残像領域（４ｂ）を有し、
前記少なくとも１つのトリミング画像（４ａ）は光軸周りに位置する中心トリミング画像（５）であるか、又は前記中心トリミング画像（５）と接続する周辺トリミング画像（６）であり、
前記光電子装置は前記少なくとも１つのトリミング画像（４ａ）を前記中心トリミング画像（５）として又は前記周辺トリミング画像（６）として、前記自車両（１）の前方交通空間及び／又は前記自車両（１）が現在存在する道路カテゴリー及び／又は現在算出された車両速度及び／又は前記自車両（１）の現在の舵角に応じて決定するように構成される、カメラ装置（２）。

【請求項2】

前記光電子装置は前記残像領域（４ｂ）をピクセルビニングを用いて及び／又はピクセルスキッピングを用いて分解能を低減して生成するように構成される、請求項１に記載のカメラ装置（２）。

【請求項3】

前記画像撮影センサは少なくとも５メガピクセルの分解能を有する、請求項１又は２に記載のカメラ装置（２）。

【請求項4】

前記広角レンズは光軸Ａに関して＋／－５０°の水平画角及び／又は垂直画角（α、β）を有する、請求項１～３の何れか１項に記載のカメラ装置（２）。

【請求項5】

前記画像撮影センサは前記少なくとも１つの撮影出力画像から前記処理された結果画像（４）を生成するように構成される、請求項１～４の何れか１項に記載のカメラ装置（２）。

【請求項6】

前記カメラ装置（２）は前記画像撮影センサにより送信された前記少なくとも１つの出力画像から前記処理された結果画像（４）を生成するように構成される画像処理装置を含む、請求項１～４の何れか１項に記載のカメラ装置（２）。

【請求項7】

前記中心トリミング画像（５）は最大＋／－２５°の水平画角（５α）を有し、前記中心トリミング画像（５）と接続する前記周辺トリミング画像（６）は最小＋／－５０°の水平画角（５β）を有する、請求項１～６の何れか１項に記載のカメラ装置（２）。

【請求項8】

前記撮影出力画像は前記中心トリミング画像（５）において、前記周辺トリミング画像（６）におけるよりも、少なくとも部分的により高い、特に少なくとも２倍の分解能を有する、請求項１～７の何れか１項に記載のカメラ装置（２）。

【請求項9】

前記広角レンズは前記中心トリミング画像（５）において前記少なくとも部分的により高い分解能を実現するように構成される不均一の歪曲収差を有する、請求項１～８の何れか１項に記載のカメラ装置（２）。

【請求項10】

前記広角レンズは少なくともトリミング毎にパノモーフ、特にアナモルフィックに構成される少なくとも１つ又は正に１つのレンズを備える、請求項１～９の何れか１項に記載のカメラ装置（２）。

【請求項11】

前記カメラ装置（２）は少なくとも１つの目標オブジェクトを前記少なくとも１つの処理された結果画像（４）に基づいて評価し、前記少なくとも１つの評価された目標オブジェクトに応じて少なくとも１つの運転者支援機能を実施するように構成される少なくとも１つの運転者支援装置（７）を含む、請求項１～１０の何れか１項に記載のカメラ装置（２）。

【請求項12】

請求項１～１１の何れか１項に記載のカメラ装置（２）を備える車両（１）。

【請求項13】

自車両（１）の少なくとも１つの運転者支援装置（７）の運転者支援機能を提供する方法において、
―前記自車両（１）の周辺領域の少なくとも１つの出力画像を請求項１～１１の何れか１項に記載のカメラ装置（２）を用いて撮影するステップと、
―処理された結果画像（４）を前記少なくとも１つの撮影出力画像から生成するステップにおいて、前記処理された結果画像（４）は付属する前記出力画像に関して少なくとも１つの変更されていないトリミング画像（４ａ）及び前記少なくとも１つのトリミング画像（４ａ）と隣接する分解能が低減された残像領域（４ｂ）を有するステップと、
―少なくとも１つの目標オブジェクトを前記少なくとも１つの処理された結果画像（４）に基づいて評価するステップとを備える、運転者支援機能を提供する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両の周辺領域撮影用カメラ装置に関する。更に、本発明はそのようなカメラ装置を備える車両及び運転者支援機能を提供する方法に関する。

【背景技術】

【0002】

例えば道路標識認識又は車線維持支援といった運転者支援装置を実現するには、カメラシステムは約５０°の水平画角と約３０°の垂直画角が必要である。しかし、最前列での停車時のクロストラフィック認識又は交通信号認識等の新規機能は、発車の際に画像の周辺領域に存在するオブジェクトを捕捉できるように、さらに大幅に大きな画角を必要とする。その一方、例えば高度自動運転又は車線維持支援には、オブジェクトや車線構造を遠く離れたところからも認識することが必要であり、そのためには対応する分解能が必要とされる。

【0003】

この点に関して、例えば少なくとも画角及び／又は角度分解能を特徴とし、それにより広範囲にわたって中心領域を捕捉し、かつクロストラフィック認識に必要な広角領域を捕捉するという相反する要求を満たすべく少なくとも２つの光電子装置を備えるカメラシステムが知られている。例えば、ドイツ特許出願公開第１０２００４０６１９９８Ａ１号公報には、少なくとも１つの第１カメラと少なくとも１つの第２カメラを備え、第１及び第１カメラは少なくとも１つのカメラプロパティを特徴とする車両用装置が記載されている。

【0004】

そのようなカメラシステムの欠点は、例えば処理すべきデータ量、及びカメラシステムの中でも高価な装置である光電子装置が多いことに起因する大きなコストにある。

【先行技術文献】

【特許文献】

【0005】

【文献】ドイツ特許出願公開第１０２００４０６１９９８Ａ１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の課題は、運転者支援装置を実現するべく、効率的な画像処理を行うとともに、詳細な撮影と可能な限り広範囲の捕捉領域という要求を満たすカメラ装置を提供することにある。

【課題を解決するための手段】

【0007】

この課題は請求項１に記載の特徴を有するカメラ装置、請求項１５に記載の特徴を有する車両及び請求項１６に記載の特徴を有する方法により解決される。本発明の有利又は好適な態様は従属請求項、後述の詳細な説明及び図面に記載される。

【0008】

自車両の周辺領域撮影用カメラ装置が提案される。周辺領域とは、例えば自車両の走行方向の前方、側方及び／又は後方の周辺領域に関する。

【0009】

カメラ装置は周辺領域の少なくとも１つの出力画像を撮影する光電子装置を備える。光電子装置による少なくとも１つの撮影出力画像とは、好ましくは未処理画像に関する。

【0010】

光電子装置は広角レンズを含む。特に、広角レンズを用いて広角撮影出力画像が実現される。好ましくは、広角レンズにおいてオブジェクトが光軸に関して例えば少なくとも＋／－５０°、特に少なくとも＋／－７０°及び／又は最大で＋／－８０°の水平画角及び／又は垂直画角を有してよい。それにより例えば、横断中の道路利用者が早期にオブジェクト評価される横断領域といった周辺領域が可能になる。

【0011】

更に、光電子装置は高分解能画像撮影センサを備える。高分解能画像撮影センサを用いることで、特に、例えば遠方領域の道路標識又は車線の評価、すなわち特に自車両から少なくとも５０メートルの離隔領域におけるオブジェクト評価が可能になる。高分解能画像撮影センサとは、特に、複数のメガピクセル、例えば少なくとも５メガピクセル、好ましくは少なくとも７メガピクセル、特に少なくとも１０メガピクセルのピクセル数を有する画像撮影センサであってよい。好ましくは、画像撮影センサは均一なピクセル／ｃｍ分解能を有する。

【0012】

高分解能画像撮影センサは自動車技術において特に広角レンズとの使用が不適と分類されるのは、高分解能画像撮影センサが膨大な画像処理アルゴリズムにおいて大きなピクセルル数を効率的に処理することができないからである。

【0013】

そのような中で、光電子装置、特に画像撮影センサ又はカメラ装置の画像処理装置は、少なくとも１つの撮影出力画像から、処理された結果画像を生成するように構成され、処理された結果画像は付属する出力画像と比較して少なくとも１つの分解能が変更されていないトリミング画像及び少なくとも１つのトリミング画像と隣接する分解能が低減された残像領域を有する。この場合、変更されていないトリミング画像とは、特に、変更されていない、言い換えると同一の分解能を有する出力画像の部分画像領域であってよい。従って、特にトリミング画像における分解能の低減が排除される結果、撮影出力画像について分解能の低減が部分的にのみ行われる。

【0014】

撮影画像シーケンスの場合、光電子装置は、撮影出力画像から各々、処理された結果画像を生成するように構成されるのが好ましい。

【0015】

分解能の低減が部分的であることの主な有利な点は、車両カメラに関して結果画像全体の評価にかかる、平均して略同一又は僅かに高い計算コストであるが、従来、車両カメラは実現可能な画像処理コストを実現するのに例えば最大２メガピクセルという顕著に低い分解能レートを有しているため、遠方領域の評価ができない。

【0016】

更に、確実になったのは、さもなければ高すぎる計算コストに基づいて、場合によっては関連する目標オブジェクトに基づいて少なくとも後からの評価が行われることがある、特に出力画像の部分画像領域のみが評価されるのではないことである。これにより、高分解能画像撮影センサ及び広角レンズにもかかわらず、結果画像全体における目標オブジェクトの評価を可能にする計算コストが実現される。

【0017】

従って、運転者支援装置を実現するために可能な限り広範囲の捕捉領域とともに遠方領域の目標オブジェクトを評価するのに十分な分解能を実現可能な画像処理コストで達成するという対立する目標が、カメラ装置のみを用いることで実現される。

【0018】

更に、寸法がコンパクトである一方、他方では２つ又はそれどころか３つの光電子装置を備えるカメラ装置と比較してカメラ装置のコスト削減が顕著であることが注目すべきことである。

【0019】

カメラ装置は、例えば車線維持支援装置又は左折・右折支援装置等の少なくとも１つの運転者支援装置を含むか、これと接続可能であることが好ましい。特に、運転者支援装置は、少なくとも１つの出力画像の処理された結果画像から少なくとも１つの目標オブジェクト、例えば車線、交通信号、道路標識、歩行者、自転車運転者及び／又は更なる道路利用者を評価し、少なくとも１つの評価された目標オブジェクトに応じて少なくとも１つの受動的及び／又は能動的運転者支援機能、例えば車間警告、非常ブレーキ又は自動回避操縦を実施するように構成される。

【0020】

好ましくは、光電子装置は残像領域をピクセルビニングを用いて分解能を低減して生成するように構成される。特に、ピクセルビニングにおいて、例えば出力画像の１行及び／若しくは１列内又は長方形の部分領域における画像撮影センサの隣接するピクセルはまとめられ、１つの新しいピクセルとして扱われる。このようにして、分解能を低減して生成された結果画像について得られるピクセル行列は特に撮影出力画像よりも低い分解能を有する。

【0021】

代替又は任意の追加として、光電子装置は残像領域をピクセルスキッピングを用いて分解能を低減して生成するように構成される。特に、ピクセルスキッピングにおいて、定義されたシーケンスにおける出力画像のピクセルがスキップされるため、好ましくは結果画像用のピクセルの一部のみが引き継がれる。このようにして、特により低い結果画像の分解能が実現され、従ってデータ量の低減が達成される。

【0022】

第１の好適な態様において、画像撮影センサは少なくとも１つの撮影出力画像から処理された結果画像を生成するように構成される。それによって、特に処理された結果画像の生成、従って少なくとも１つの出力画像の残像領域における分解能の低減が電子的なピクセルビニング及び／又はピクセルスキッピングを用いて画像撮影センサ上で行われる。好ましくは、画像撮影センサによってピクセル数全体の一部のみが出力され、残りのピクセル数はマスクされるか連結される。特に、ピクセル数全体は出力画像に対応し、出力された一部のピクセル数は生成される処理された結果画像に対応する。言い換えると、このようにして特に結果画像の処理及び出力が画像撮影センサにより行われる。

【0023】

第２の好適な態様において、カメラ装置は画像撮影センサにより送信された少なくとも１つの出力画像から処理された結果画像を生成するように構成される画像処理装置を含む。このようにして、特に画像撮影後処理、従って出力画像の分解能の低減がこのように例えば後続するピクセルビニング及び／又はピクセルスキッピングを用いて行われる。

【0024】

好ましくは、少なくとも１つのトリミング画像は光軸周りに位置する出力画像の中心トリミング画像であるか、又は中心トリミング画像と接続する出力画像の周辺トリミング画像である。好ましくは、中心トリミング画像は光軸に関して対称的、特に回転対称に配置された、カメラ装置の視野の中心画像領域である。周辺トリミング画像とは、特にカメラ装置の視野の４つの周縁トリミング画像のうちの少なくとも１つに関する。このように、周辺トリミング画像は中心トリミング画像を好ましくは少なくとも部分的に取り囲む。特に好適には、中心トリミング画像及び周辺トリミング画像はカメラ装置の光軸に関して同軸に配置される。中心トリミング画像及び周辺トリミング画像とは、好ましくはカメラ装置の視野領域の相異なる、特に重複していない捕捉領域に関する。特に好適には、カメラ装置の視野は中心トリミング画像及び周辺トリミング画像により形成される。

【0025】

中心トリミング画像は例えば水平画角、代替又は任意の追加として垂直画角が＋／－２５°である。中心トリミング画像と接続する周辺トリミング画像は例えば水平画角、代替又は任意の追加として垂直画角が最小＋／－５０°である。

【0026】

オブジェクト評価が更に広範囲に遠方領域に可能になるほど、運転者支援装置の運転者支援機能はより確実に予測して実行される。そのような中で、特に好適な態様において、撮影出力画像は中心トリミング画像において、周辺トリミング画像におけるよりも、少なくとも部分的により高い、特に少なくとも２倍の分解能を有する。特に好適には、分解能は増加する水平画角及び／又は垂直画角の大きさに応じて少なくともトリミング毎に減少する。このようにして、中心トリミング画像における目標オブジェクトは近隣領域、例えば１～５０メートルの離隔領域そして遠隔領域、例えば５０～５００メートルの離隔領域においても評価可能である。周辺トリミング画像とりわけ近隣領域に存在する目標オブジェクト、従って例えば横断中の自転車運転者を横断領域で評価可能であるため、不均一の広角レンズという条件の下より低い分解能でオブジェクト評価が可能である。

【0027】

中心トリミング画像において少なくとも部分的により高い分解能を実現するため、好適な設計構成において、広角レンズは不均一、特に非線形の歪曲収差を有し、特にアナモルフィックの広角レンズとして構成される。特に、不均一の歪曲収差を用いて画像撮影センサの分解能に応じて、１°あたり５０ピクセル以下の分解能を達成できる。このようにして、遠方領域のオブジェクト評価に必要な分解能が追加の望遠レンズを用いることなく可能となる。

【0028】

好適な更なる態様において、広角レンズは少なくともトリミング毎に、例えば球面部がパノモーフ、特にアナモルフィックに構成される少なくとも１つ又は正に１つのレンズを備える。パノモーフ、特にアナモルフィックのレンズは少なくともトリミング毎に出力画像の歪曲収差を生じ、特に楕円形状で面を他のレンズ形状と比較して広範囲にカバーすることを可能にするため、撮影ゾーンに対してより多くのピクセルを実現可能である。このようにして、中心トリミング画像において、歪曲収差があるにもかかわらず目標オブジェクト認識の向上が達成される。

【0029】

周辺トリミング画像における関連する目標オブジェクトは、特に低い車両速度の都市環境において評価される必要がある一方、郊外の道路では高い車両速度で特に中心トリミング画像の遠方領域において評価される必要がある。そのような中で、光電子装置、特に画像処理装置は例えば、トリミング画像を中心トリミング画像又は周辺トリミング画像として、現在算出された車両速度及び／又は自車両の現在算出された舵角に応じて決定するように構成される。車両速度及び／又は舵角はどの道路カテゴリーに自車両が現在存在するか、従って例えば都市の道路又は高速道路であるかの逆推理を可能にする。このようにして、周辺トリミング画像において現在関連する目標オブジェクトを評価するのに必要な分解能を不均一のレンズの場合でも維持することができる。

【0030】

代替又は任意の追加として、光電子装置、特に画像処理装置は、トリミング画像を中心トリミング画像として又は周辺トリミング画像として、算出された前方交通空間及び／又は自車両が現在存在する道路カテゴリーに応じて決定するように構成される。前方空間を算出することで、特徴的な目標オブジェクトを有する関連する交通領域、従って例えば横断中の道路利用者を有する横断領域を捕捉可能である。道路カテゴリーに関して、例えば高速道路、国道及び／又は都市の道路が識別される。前方交通空間及び／又は道路カテゴリーの算出により、トリミング画像を現在の車両環境に応じて適合させ、従って例えば少なくとも１つの運転者支援装置により評価される必要がある目標オブジェクトを個別に選択することができる。

【0031】

例えば自車両は現在位置、従ってカメラ装置が搭載可能であるか搭載されている自車両の所在地を決定する、ＧＰＳセンサ等の位置決め装置を備える。更に、自車両は例えば電子地図素材を呼び出すための車両内ナビゲーションデータサーバを含む。好ましくは、自車両の評価ユニットが構成され、決定された自車両の位置を用い、及び電子地図素材の情報データを用いて、前方交通空間及び／又は道路カテゴリーを自車両の現在位置に基づいて評価し、評価された交通空間又は道路カテゴリーを画像処理装置に送信する。

【0032】

本発明の更なる目的は、上記記載のカメラ装置を備える車両に関する。

【0033】

更に、本発明は自車両の少なくとも１つの運転者支援装置の運転者支援機能を提供する方法に関する。第１のステップにおいて、周辺領域の少なくとも１つの出力画像が上記記載のカメラ装置を用いて撮影される。次のステップにおいて、光電子装置、特に画像撮影センサ及び／又はカメラ装置の画像処理装置により少なくとも１つの撮影出力画像から処理された結果画像を生成する。処理された結果画像は付属する出力画像に関して少なくとも１つの変更されていないトリミング画像及び少なくとも１つのトリミング画像と隣接する分解能が低減された残像領域を有する。少なくとも１つの処理された結果画像に基づいて少なくとも１つの目標オブジェクトが評価される。少なくとも１つの目標オブジェクトの評価は特にカメラ装置の少なくとも１つの運転者支援装置により実行される。好ましくは、少なくとも１つの評価された目標オブジェクトに基づいて運転者支援機能、従って例えばブレーキ支援、警告支援及び／又は操舵支援が実施される。

【0034】

本発明の更なる特徴、有利な点及び効果は以下の本発明の好適な実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0035】

【図1】図１は、カメラ装置を備える車両を示す概略上面図である。

【図2】図２は、変更されていないトリミング画像及びトリミング画像と隣接する分解能が低減された残像領域を有する処理された結果画像の実施形態例を示す。

【図3】図３は、変更されていないトリミング画像及びトリミング画像と隣接する分解能が低減された残像領域を有する処理された結果画像の実施形態例を示す。

【図4】図４は、従来技術として公知のカメラシステムの２つの光電子装置各々の水平画角に応じた分解能の推移を示す図である。

【図5】図５は、図２の実施形態例に対応する結果画像の分解能の推移を示す図である。

【図6】図６は、図３の実施形態例に対応する結果画像の分解能の推移を示す図である。

【図7】図７は、付属する出力画像をアナモルフィックのレンズを含むカメラ装置を用いて撮影した、図５の実施形態例に対応する結果画像の分解能の推移を示す図である。

【発明を実施するための形態】

【0036】

互いに対応する部材には全図面を通して同一の参照符号が付されている。

【0037】

図１は、概略図において、前方の周辺領域を撮影するカメラ装置２を備える車両１を示す。本実施形態例において、カメラ装置２は自車両１の内部空間でウインドスクリーンの後ろに配置され、自車両１の走行方向に方向付けされたカメラである。特にカメラ装置２は正に１つの光電子装置３を備えるモノカメラ装置２として構成される。

【0038】

光電子装置３は前方の周辺領域の少なくとも１つの出力画像を撮影するように構成される。出力画像を撮影するため、光電子装置は広角レンズと高分解能画像撮影センサとを含む。

【0039】

広角レンズは例えば光軸Ａに関して＋／－５０°の水平画角及び／又は垂直画角を有する。広角レンズを用いることで、例えば横断中の道路利用者等の目標オブジェクトを早期に評価することが可能になる。

【0040】

画像撮影センサは例えば少なくとも５メガピクセル、特に少なくとも７メガピクセル、更に特に少なくとも１０メガピクセルの分解能を有する。この分解能により遠方領域においても目標オブジェクトの評価が実現される。

【0041】

このようにして、特に周縁トリミング画像又は中心トリミング画像を評価するために設けられた、高コストである複数の光電子装置を不要とすることができる。

【0042】

このように、一方で、例えば横断中の道路利用者を横断領域で早期に認識するか、又は最前列での交通信号認識にも必要になりえる広角の捕捉領域を有するカメラ装置２が構成される。他方で、少なくとも１つの出力画像が高分解能で実現されるため、目標オブジェクトは近隣領域、例えば１～５０メートルの離隔領域そして遠隔領域、例えば５０～５００メートルの離隔領域においても評価可能である。従って、広角領域及び遠隔領域という目標の対立は１つの光電子装置３を用いることで解決される。

【0043】

しかしそのような出力画像は、画像評価装置、つまり特に目標オブジェクトを評価するために車両領域で使用されるプロセッサが処理可能なデータ量を超過する。

【0044】

光電子装置３、特に画像撮影センサ又は光電子装置３の画像処理装置は、少なくとも１つの撮影出力画像から、処理された結果画像４を生成するように構成される。好ましくは、結果画像４の視野領域は出力画像の視野領域に関して変更されていない。

【0045】

処理された結果画像４は付属する出力画像に関して少なくとも１つの変更されていないトリミング画像４ａ及び少なくとも１つのトリミング画像と隣接する分解能が低減された残像領域４ｂを有する。これにより、自車両１、特にカメラ装置２に搭載された画像評価装置が処理可能なデータ量が存在することになる。更に、１つのカメラ装置２のみを用いることで、自車両１の中心領域及び周辺領域におけるオブジェクト評価が様々な離隔領域で達成される。

【0046】

更に、カメラ装置２は例えば光電子装置３により処理された結果画像４に基づいて目標オブジェクトを評価し、評価された目標オブジェクトに基づいて少なくとも１つの運転者支援機能を実施する画像評価装置を有する少なくとも１つの運転者支援装置７を備える。

【0047】

好ましくは、処理された結果画像４に基づいて様々な分解能を有する画像について、ピラミッド構造としても知られるヒエラルキーが算出される。例えば、各々半分だけ低くなる分解能を有する少なくとも３つの画像が供給される。特に、画像評価装置によりまず最低の分解能を有する画像がオブジェクト認識用に取り出され、計算コストを可能な限り低廉に抑える。画像評価装置により最低の分解能を有する画像において目標オブジェクトが認識される場合、好ましくは次に高い分解能を有する画像を取り出し、具体的にオブジェクト認識を有効にする。

【0048】

例えば撮影出力画像の分解能の低減はピクセルビニングを用いて実行される。ピクセルビニングとしては、特に複数、例えば４フィジカルピクセルを１ピクセルにまとめてよい。４ピクセルを１ピクセルにまとめる場合、単純にピクセルの４分の１のフィジカルピクセルを処理することができる。

【0049】

例えば少なくとも１つのトリミング画像４ａが光電子装置３、特に画像センサ撮影装置又は画像処理装置により、オブジェクト評価が優先されるか、又は評価を少なくとも５０メートルの離隔領域において実施する必要がある出力画像の部分画像領域に置かれる。

【0050】

図２及び３において、変更されていないトリミング画像４ａ及びトリミング画像４ａと隣接する分解能が低減された残像領域４ｂを有する処理された結果画像４の実施形態例が示される。

【0051】

図２に示される実施形態例において、トリミング画像４ａは光軸Ａ周りに位置する中心トリミング画像５であり、残像領域４ｂは中心トリミング画像５と接続する出力画像３の周辺トリミング画像６である。中心トリミング画像５は例えば＋／－２５°の水平画角及び／又は垂直画角５α、５βを有する。この画角領域により例えば検出された車線の評価対象となる推移が延長される。水平周辺トリミング画像６は特に＋／－５０°の水平画角及び／又は垂直画角６α、６βを有するため、例えば横断領域も広い面で捕捉可能である。単なる一例として、周辺トリミング画像６は撮影出力画像の４つの周縁トリミング画像各々を含む。

【0052】

図３に示される実施形態例において、トリミング画像４ａは光軸Ａ周りに位置する周辺トリミング画像６であり、残像領域４ｂは中心トリミング画像５である。この実施形態が特に有利なのは、例えば交差する道路利用者及び／又は交通信号装置を横断領域において評価する必要がある場合である。

【0053】

例えばトリミング画像４ａの決定は中心トリミング画像及び／又は周辺トリミング画像５、６として車両速度、舵角、前方交通空間及び／又は自車両１が現在存在する道路カテゴリーに応じて実行される。

【0054】

車両速度が増加している場合、例えば道路標識及び／又は車線推移を早期に評価するために同様に中心トリミング画像５において分解能が増加していることが必要であるため、好ましくは例えば１００ｋｍ／ｈの速度制限値を超過している場合においてトリミング画像４ｂは中心トリミング画像５の上に置かれる。低速時の場合、早期にクロストラフィック認識及び／又は交通信号認識を行うために周辺トリミング画像６において少なくとも１つの十分な分解能を確保する必要があるため、例えば３０ｋｍ／ｈの速度制限値を下回る場合、特に停滞した車両状態の場合においてトリミング画像４ａは周辺トリミング画像６として決定される。

【0055】

図４において、公知の従来技術の一例として２つの光電子装置を含むカメラシステムの水平画角αに関する分解能の推移が示される。一方の光電子装置はリニア広角レンズを有し、他方の光電子装置はリニア望遠レンズを有し、遠方領域を中心トリミング画像において実現し、そして望遠レンズに対して拡大された視野領域を実現する。

【0056】

これと比較して、図５及び６において、一例として本発明のカメラ装置２によって生成された結果画像４の水平画角αに関する分解能の推移が示される。本実施形態例において、光電子装置は１６：９フォーマットにおいて７．２３メガピクセルを有する高分解能画像撮影センサと＋／－５０°の水平画角αを有するリニア広角センサとを含む。

【0057】

図５において、中心トリミング画像５はトリミング画像４ａに対応する一方、周辺トリミング画像６は分解能が低減された残像領域として決定されている。図６に示されるように、代替として周辺トリミング画像６はトリミング画像５ｂとして決定されてよい。重要な点は特に、中央において少なくとも略一定の大きさの処理すべきピクセル数が実現されていることである。

【0058】

図７において、一例として本発明のカメラ装置２によって生成された結果画像４の水平画角αに関する分解能の推移が示される。本実施形態例において、光電子装置は１６：９フォーマットにおいて７．２３メガピクセルを有する高分解能画像撮影センサと＋／－５０°の水平画角αを有するアナモルフィックの広角センサとを含む。アナモルフィックの広角センサを用いる場合、リニア広角センサと比較すると中心トリミング画像の分解能は少なくともトリミング毎に上昇する一方、周辺トリミング画像のトリミング画像の分解能は低減する。周辺トリミング画像において部分的に分解能が低減するとそのために場合によっては確実なオブジェクト評価に必要な分解能を下回る可能性がある。ここでは、トリミング画像４ａを現在の走行状況、例えば現在の車両速度又は前方交通空間に応じて決定することが有利であることが示されているが、それは周辺トリミング画像６において十分な分解能が必要である場合、特にトリミング画像４ａをこの部分画像領域上に置くことで確実なオブジェクト評価が確立されるからである。

【符号の説明】

【0059】

１ 車両
２ カメラ装置
３ 光電子装置
４ 処理された結果画像
４ａ トリミング画像
４ｂ 残像領域
５ 中心トリミング画像
６ 周辺トリミング画像
７ 運転者支援装置
α 水平画角
β 垂直画角
Ａ 光軸

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】