特表 2021-507415 自動車用のカメラモニターシステムの動作方法および動作装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-507415(P2021-507415A)

(43)【公表日】2021年2月22日

(54)【発明の名称】自動車用のカメラモニターシステムの動作方法および動作装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20210125BHJP

   B60R 1/00 20060101ALI20210125BHJP

【ＦＩ】

   G06T1/00 330A

   B60R1/00 A

【審査請求】有

【予備審査請求】未請求

【全頁数】18

(21)【出願番号】特願2020-534436(P2020-534436)

(86)(22)【出願日】2018年12月18日

(85)【翻訳文提出日】2020年6月19日

(86)【国際出願番号】EP2018085703

(87)【国際公開番号】WO2019121821

(87)【国際公開日】20190627

(31)【優先権主張番号】102017223473.3

(32)【優先日】2017年12月20日

(33)【優先権主張国】DE

(31)【優先権主張番号】102018202998.9

(32)【優先日】2018年2月28日

(33)【優先権主張国】DE

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】アンドレアス ヴァインリヒ

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA16

5B057AA19

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CD11

5B057CE09

5B057CE10

5B057DA07

5B057DB02

5B057DB06

5B057DB09

5B057DC36

(57)【要約】

自動車（１０１）用のカメラモニターシステム（１００）の動作方法であって、カメラモニターシステム（１００）は、自動車の１つの共通の側面（１０６，１０７）に割り当てられており、かつそれぞれ、自動車（１０１）の周囲（１０５）の画像（２０１，２０２）を提供するように構成されている２つのカメラ（１０２，１０３）を有しており、ここでこれらの画像（２０１，２０２）の画像化された周囲（１０５）は部分的に重畳している。この方法は、・第２のカメラ（１０３）の第２の画像（２０２）を変換するための変換パラメータを求めることを含んでおり、これによって、変換された第２の画像（３０２）の縁部領域（３０８）における画像要素（３０５）が、第１のカメラ（１０２）の第１の画像（３０１）の縁部領域（３０７）における対応する画像要素（３０６）と接続し、・第２の画像（２０２）の変換に対する別の変換パラメータを、求められた変換パラメータに関連して、かつ変換された第２の画像（３０２）に対する、提供された設定に関連して求めることを含んでおり、・第２の画像（２０２）を、別の変換パラメータによって、変換された第２の画像（３０２）に変換することを含んでいる。

【特許請求の範囲】

【請求項1】

自動車（１０１）用のカメラモニターシステム（１００）の動作方法であって、
前記カメラモニターシステム（１００）は、前記自動車の１つの共通の側面（１０６，１０７）に割り当てられており、かつそれぞれ、前記自動車（１０１）の周囲（１０５）の画像（２０１，２０２）を提供するように構成されている２つのカメラ（１０２，１０３）を有しており、ここで前記画像（２０１，２０２）の画像化された周囲（１０５）は部分的に重畳しており、前記方法は、
第２の前記カメラ（１０３）の第２の画像（２０２）を変換するための変換パラメータを求めるステップであって、これによって、変換された第２の画像（３０２）の縁部領域（３０８）における画像要素（３０５）が、第１の前記カメラ（１０２）の第１の画像（３０１）の縁部領域（３０７）における対応する画像要素（３０６）に接続する、ステップと、
前記第２の画像（２０２）の前記変換に対する別の変換パラメータを、求められた前記変換パラメータに関連して、かつ前記変換された第２の画像（３０２）に対する、提供された設定に関連して求めるステップと、
前記第２の画像（２０２）を前記別の変換パラメータによって、前記変換された第２の画像（３０２）に変換するステップと、
を含む、方法。

【請求項2】

前記別の変換パラメータを求めるステップは、
前記第１の画像（３０１）における直線（３２０）上の３つの画像点（３１４，３１５，３１６）を求めるステップと、
前記変換パラメータを用いて、前記第２の画像（２０２）に基づいて、３つの対応する画像点（３１７，３１８，３１９）を求めるステップと、
を含む、請求項１記載の方法。

【請求項3】

前記直線（３２０）は、前記第１の画像（３０１）の前記縁部領域（３０７）に位置している、請求項２記載の方法。

【請求項4】

前記第１の画像（３０１）における前記３つの画像点（３１４，３１５，３１６）と、前記３つの対応する画像点（３１７，３１８，３１９）とが一致するように、前記別の変換パラメータを求める、請求項２または３記載の方法。

【請求項5】

前記第２の画像（２０２）において２つの別の画像点（２１０，２１１）を求めるステップと、
前記別の画像点（２１０，２１１）のうちの一方を、前記変換された第２の画像（３０２）における所定の点（３２３）に変換するステップと、
前記提供された設定に関連して、前記別の画像点（２１０，２１１）のうちの他方を、所定の直線（３２４）に変換するステップと、
を含む、請求項１から４までのいずれか１項記載の方法。

【請求項6】

前記第２の画像（２０２）の前記変換に対して８つの自由度を使用し、前記８つの自由度のうちの５つの自由度を、前記変換パラメータを用いて決定し、３つの別の自由度を前記別の変換パラメータを用いて決定する、請求項１から５までのいずれか１項記載の方法。

【請求項7】

前記提供された設定は、
前記自動車（１０１）の下縁（３１１）をまっすぐに表示すること、
前記下縁（３１１）に対して平行に延在する線（３２５）をまっすぐに表示すること、および
前記周囲（１０５）のうちの所定の一部を表示すること
のうちの少なくとも１つを含む、請求項１から６までのいずれか１項記載の方法。

【請求項8】

少なくとも１つの変換はホモグラフィ変換を含む、請求項１から５までのいずれか１項記載の方法。

【請求項9】

前記第１の画像（３０１）および前記変換された第２の画像（３０２）を全体画像（４００）として、前記カメラモニターシステム（１００）の共通のモニター（１０４）上に表示するステップを含む、請求項１から８までのいずれか１項記載の方法。

【請求項10】

請求項１から９までのいずれか１項記載の方法を実施するように構成されている、自動車用の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車、特にトラック用のカメラモニターシステムの動作方法に関する。本発明はさらに、この方法を実施するように構成されている装置に関する。

【0002】

トラックおよびバス等の自動車は、従来、外部ミラーを有している。通常の外部ミラーの表示領域がカメラとモニターとによって画像化されるミラー代用システムも知られている。

【0003】

信頼できる動作を可能にする、自動車用のカメラモニターシステムの動作方法を提供することが望まれている。信頼できる動作を可能にするカメラモニターシステムの動作装置を提供することも望まれている。

【0004】

本発明は、自動車用のカメラモニターシステムの動作方法ならびにこの方法を実施するように構成されている、対応する装置を特徴とする。

【0005】

少なくとも１つの実施形態では、カメラモニターシステムは、自動車の１つの共通の側面に割り当てられている２つのカメラを有している。これらのカメラはそれぞれ、自動車の周囲の画像を提供するように構成されている。画像の画像化された周囲は、特に縁部領域において、少なくとも部分的に重畳している。

【0006】

第２のカメラの第２の画像を変換するための変換パラメータが求められる。この変換パラメータは、変換された第２の画像の縁部領域における画像要素が、第１のカメラの第１の画像の縁部領域における対応する画像要素に接続するように求められる。第２の画像の変換に対する別の変換パラメータは、求められた、この変換パラメータに関連して、かつ変換された第２の画像に対する、提供された設定に関連して求められる。第２の画像は、この別の変換パラメータによって、変換された第２の画像に変換される。

【0007】

第２の画像は、縁部領域において画像要素がつながって表示されるように、いわゆるスティッチングを用いて第１の画像に継ぎ合わせることができるように、別の変換パラメータによって変換される。第１の画像は、特に基準画像として用いられる。第２の画像は、たとえば射影変換とも称されるホモグラフィを用いて変換される。これらの変換パラメータは、画像要素が、変換後に２つの画像の縁部領域において、つながって互いに隣接するという条件を満たすように求められる、もしくは設定される。別の変換パラメータを用いて、変換された第２の画像に対する別の条件を満たすことが可能である。したがって、変換された第２の画像を、不所望な情報損失を伴わずに、第１の画像に継ぎ合わせることができ、かつ提供されている設定を満たすことができる。

【0008】

ここで第２の画像は、別の変換パラメータによって一度だけ変換される。特に、この変換パラメータは、第２の画像の変換のために直接的には使用されない。求められた変換パラメータは、まずは、別の変換パラメータに対する、提供された設定に関連して変換される。したがって、縁部領域における所望の接続と提供された設定との両方を実現するために必要なのは１回の変換だけである。

【0009】

この方法を用いて、表示された周囲をユーザーが直感的に把握することができるように、共通の側面の２つの異なるカメラの記録を表示することが可能である。第１の画像と第２の画像とは異なるカメラで記録されたのにもかかわらず、変換された２つの画像は、自身の縁部領域において互いにシームレスに接続する。この場合、特に、たとえば法的に規定された視野の表示を含んでいる提供された設定も満たされる。

【0010】

たとえば、第１のカメラは、たとえば望遠レンズを備えた、視野角が小さく、焦点距離が長いカメラである。たとえば、第２のカメラは、たとえば広角レンズを備えた、焦点距離が短く、視野角が大きいカメラである。たとえば、第１のカメラは、法的な視野クラス２および４をモニター上に表示するために使用される。たとえば、第２のカメラは、法的な視野クラス５および部分的に視野クラス４を表示するために使用される。特に、この方法は、法定の視野のクラスが予定しているものよりも大きな、周囲の領域を示すことを可能にする。したがって、特に、２つの画像が互いに隣接する縁部領域において、画像において可視の縁部および／または線を連続的に相互に隣接して表示することが可能である。カメラによって記録された画像領域のほぼ全体を、変換された画像において表示することが可能である。これによって、法的な視野のクラスを容易にカバーすることができる。特に、ホモグラフィ変換以外の別の画像変換を実行する必要はない。これによって、計算能力が省かれる。道路の側面または中央分離帯等の、車両に平行な線は、特にねじれなく表示される。

【0011】

少なくとも１つの実施形態では、別の変換パラメータを求めることは、第１の画像における直線上の３つの画像点を求めることを含んでいる。３つの対応する画像点は、変換パラメータを用いて、第２の画像に基づいて求められる。３つの画像点が直線上に位置するという境界条件によって、３つの画像点を求めることが容易に可能である。２つの画像点が求められた場合に、直線が規定されている。この場合、第３の画像点は、この直線上に位置していなければならない。特に、３つの画像点は、直線が第１の画像の縁部領域に位置するように求められる。したがって、第１の画像と変換された第２の画像とを容易に継ぎ合わせることができる。

【0012】

少なくとも１つの実施形態では、別の変換パラメータは、第１の画像における３つの画像点と、変換された第２の画像における３つの対応する画像点とが一致するように求められる。別の変換パラメータは、特に、第１の画像における３つの画像点と、第２の画像における３つの対応する画像点とが、変換された第２の画像への変換後に一致するように求められる。画像点の座標は、第１の画像と変換された第２の画像とにおいて一致している。これによって、２つの画像を互いにシームレスに接続することができる。

【0013】

少なくとも１つの実施形態では、第２の画像において２つの別の画像点が求められる。これらの別の画像点のうちの一方は、変換された第２の画像における所定の点に変換される。これらの別の画像点のうちの他方は、提供された設定に関連して、所定の直線に変換される。たとえば、直線は所定の点を通る。この直線に対する別の経過も可能である。特に、別の変換パラメータは、このような変換が実行されるように求められる。したがって、これらの別の画像点のうちの他方は、自由に選択可能な点では変換可能ではなく、設定された直線に変換可能である。したがって、提供された設定を満たすために、２つの別の画像点を用いて別の変換パラメータを求めることが可能である。

【0014】

少なくとも１つの実施形態では、第２の画像の変換に対して８つの自由度が使用される。８つの自由度のうちの５つの自由度は、変換パラメータを用いて決定される。８つの自由度のうちの他の３つの自由度は、別の変換パラメータを用いて決定される。共通の直線上で３つの画像点を求め、別の直線上で２つの別の画像点を求めることに基づいて、８つの自由度で、変換された第２の画像において、提供された設定を満たすことも、縁部領域において２つの画像をシームレスに接続することも実現することができる。

【0015】

少なくとも１つの実施形態では、提供された設定は、以下のうちの少なくとも１つを含んでいる。
・自動車の下縁をまっすぐに表示すること、
・この下縁に対して平行に延在する線をまっすぐに表示すること、および
・周囲のうちの所定の一部を表示すること。

【0016】

他の設定も可能である。特に、設定は、たとえばユーザーおよび／または走行状況によって動作時に変更可能である。たとえば、設定は、自動車が低速で走行しているか、駐車しているか、またはたとえば高速道路上で高速で走行しているかに関連して変えられる。

【0017】

少なくとも１つの実施形態では、少なくとも１つの変換はホモグラフィ変換を含んでいる。これによって、第１の画像および変換された第２の画像の縁部領域において、つながっている画像縁部を互いに正確に接続することが可能になる。別の変換パラメータに基づいて、ホモグラフィによって、変換された第２の画像が著しく拡大されて、制限された所定のモニターサイズの場合に、法的に必要な視野全体を表示することができなくなることを回避することができる。

【0018】

第２の変換パラメータは、２つの画像が互いに正確に接続されることを可能にし、この際に、特に、法的に必要な視野全体の変換された第２の画像における表示を可能にする。さらに、不十分な画像情報を伴う、著しくひずんだ画像を回避することができる。第２の画像で１回だけ実行されるホモグラフィ変換によって、信頼でき、同時に十分な速さの変換が可能になる。少なくとも１つの実施例では、第１の画像は、第１のカメラの初期画像の変換された画像である。別の実施例では、第１のカメラの初期画像が直接的に使用される。

【0019】

少なくとも１つの実施形態では、第１の画像および変換された第２の画像は、全体画像として、カメラモニターシステムの共通のモニター上に表示される。たとえば、第１の画像は全体画像の上方の画像として表示される。変換された第２の画像は、全体画像の下方の画像として表示される。変換された第１の画像と変換された第２の画像とは異なるカメラに基づいているのにもかかわらず、この方法によって、全体画像をユーザーが直感的に把握することができる。ここでは、変換された第２の画像に対する設定も満たされる。

【0020】

少なくとも１つの実施形態に即した方法を実施するように構成されている、自動車用の装置は、たとえば、自動車用の制御機器（英語でＥＣＵ、電子制御ユニット）の一部である。

【0021】

方法について説明した利点、特徴および発展形態は装置にも有効であり、装置について説明した利点、特徴および発展形態は方法にも有効である。

【0022】

別の利点、特徴および発展形態は、図に関連して説明される以下の例から明らかになる。同一の要素、同質の要素および同じ作用を有する要素には、すべての図において同じ参照符号が付けられている。

【図面の簡単な説明】

【0023】

【図1】実施例に即したカメラモニターシステムを備えた自動車の概略図である。

【図2】実施例に即した第１のカメラの画像の概略図である。

【図3】実施例に即した第２のカメラの画像の概略図である。

【図4】実施例に即した全体画像の概略図である。

【図5】実施例に即した全体画像の概略図である。

【図6】実施例に即した方法のフローチャートである。

【0024】

図１は、ある実施例に相応する、上方からの自動車１０１の概略図を示している。自動車１０１は、たとえば、トレーラを備えたトラック、バスおよび／または乗用車である。

【0025】

自動車１０１は、ミラー代用システムであるカメラモニターシステム１００を有している。カメラモニターシステム１００は、自動車１０１の各側面１０６、１０７に２つのカメラ１０２、１０３を有している。カメラ１０２、１０３は、割り当てられた各側面１０６、１０７の周囲１０５を記録するために用いられる。

【0026】

別の実施例では、２つのカメラ１０２、１０３は、側面１０６、１０７の１つの側面にだけ配置されている。

【0027】

カメラモニターシステム１００は、２つのモニター１０４を有しており、これらはそれぞれ、側面１０６、１０７の１つに割り当てられている。動作中、そこに配置されているカメラ１０２、１０３によって記録された、側面１０６での周囲１０５の一部が、割り当てられているモニター１０４上に全体画像４００として表示される。側面１０７に割り当てられているモニター１０４には、周囲１０５の一部が、側面１０７に割り当てられているカメラ１０２、１０３によって記録された全体画像４００として表示される。したがって、２つのモニター１０４上の全体画像４００は異なっている。

【0028】

モニター１０４上の全体画像４００は、特に、従来の外部ミラーの鏡像を表示するように、特に、従来の外部ミラーでは画像化できない、周囲１０５の別の一部を表示するように構成されている。

【0029】

カメラ１０２、１０３およびモニター１０４が信号技術的に結合されている装置１１０が設けられている。装置１１０は、カメラ１０２、１０３およびモニター１０４の両方を制御するように構成されている。たとえば、装置１１０は、自動車１０１の制御装置または制御装置の一部である。

【0030】

図２は、たとえば、第１のカメラ１０２によって側面１０６で記録されている第１の画像２０１を示している。カメラ１０２は、後方への周囲１０５の一部を記録する。

【0031】

図３は、たとえば、第２のカメラ１０３によって側面１０６で記録されている第２の画像２０２を示している。第２の画像２０２は、第１の画像２０１とは異なる、周囲１０５の一部を示している。しかし、周囲１０５の表示されたこれらの領域は、少なくとも部分的に重なっている。

【0032】

図２および図３の表示された画像２０１、２０２は、まだレンズのひずみが修正されていない。特に、図６の方法が続いて実施される前に、はじめに、レンズのひずみが修正される。特に、２つのカメラ１０２、１０３の、レンズのひずみが修正された画像は、ホモグラフィ変換によって互いに接続される。画像２０１、２０２は、はじめにレンズのひずみが修正され、その後、記載された方法のステップが適用され得る。

【0033】

図６に関連して以下に説明する方法が実施された後、２つの画像２０１、２０２に基づく全体画像４００が、例として図４および図５にそれぞれ示されているように、モニター１０４に表示される。

【0034】

図４および図５の全体画像４００では、上方の領域に、第１のカメラ１０２によって記録された第１の画像２０１ではなく、変換された第１の画像３０１が示されている。第１の画像２０１は、たとえばホモグラフィによって変換され、その結果、変換された第１の画像３０１の設定が実現される。たとえば、地平線は水平に表示されるべきであり、かつ／または自動車１０１の後縁は垂直に表示されるべきでる。このような実施例では、変換された第１の画像３０１は、第２の画像２０２の変換のための基準画像として用いられる。

【0035】

第１の画像２０１、３０１は、全体画像４００において、たとえば上方に表示されている。変換された第２の画像３０２は、全体画像４００において、たとえば下方に表示されている。変換された第２の画像３０２は、たとえば以降に説明されるように、第２の画像２０２を変換することによって生成される。

【0036】

この方法は、図６の実施例では、ステップ６０１で始まる。ステップ６０１では、たとえば、ひずんでいる第２の画像２０２を、変換されていない第１の画像２０１にシームレスに継ぎ合わせることができるようにするために、８つのホモグラフィパラメータが求められる。第１の画像２０１は、特に基準画像として用いられる。第１の画像２０１は、図６の実施例によるステップでは変換されない。しかし、画像２０１が既に変換された画像である可能性があり、たとえば、第１の画像２０１は、レンズのひずみの修正およびホモグラフィを用いて第１のカメラ１０２の画像から生じたものである。

【0037】

ステップ６０２では、第１の画像２０１において、３つの画像点３１４、３１５、３１６（図４および図５）が可能な限り相互に離れて選択される。特に、３つの画像点３１４、３１５、３１６は、第１の画像２０１、３０１の縁部領域３０７に位置する。縁部領域３０７は、全体画像４００において第２の画像に隣接する領域である。

【0038】

ステップ６０３では、対応する画像点３１７、３１８、３１９の座標が、ステップ６０１からのホモグラフィパラメータの助けによって、第２の画像２０２から求められる。対応する画像点３１７、３１８、３１９は、画像点３１４、３１５、３１６に対応する。対応する画像点３１７、３１８、３１９は、特に、第２の画像２０２の縁部領域３０８にある。このためにホモグラフィパラメータが使用される。特に、ステップ６０３では、変換はまだ実行されていない。

【0039】

画像点３１４、３１５、３１６は、第１の画像２０１、３０１内に位置し、したがって全体画像４００内に位置する。これは、たとえば、第１の画像が変換されない場合、同等である。変換後に、第２の画像３０２は第１の画像３０１に直接的に隣接するので、これらの点３１４、３１５、３１６はまた、同時に、変換された第２の画像３０２内に位置する。ホモグラフィパラメータによってここで、元の、特に、変換されていない第２の画像２０２内に位置する点３１７、３１８、３１９が特定される。特に、これらの点３１７、３１８、３１９は全体画像においては見られない。

【0040】

ステップ６０４では、変換された第２の画像３０２に対する少なくとも１つの別の設定を実現するために、８つの新しいホモグラフィパラメータが特定される。別のホモグラフィパラメータは、ステップ６０１からのホモグラフィパラメータに基づいているため、変換された第２の画像３０２の対応する画像点は、ちょうど、第１の画像２０１の画像点３１４、３１５、３１６上に位置するようになる。このために、８つの利用可能なホモグラフィパラメータのうち、５つの自由度が使用される。３つの画像点３１４、３１５、３１６および対応する変換された画像点は、直線３２０上に位置する。各画像点３１４から３１６に対して、Ｘ座標およびＹ座標が固定される。しかし、第３の点はいずれにしても他の２つの点とともに直線３２０上に位置するため、これから自由度を差し引く必要がある。ホモグラフィ変換の場合、直線は常に他の直線にマッピングされる。したがって、５つの自由度で十分である。

【0041】

したがって、変換された第２の画像３０２に対する画像コンテンツでの設定を実現するために、３つの自由度が依然として利用可能である。たとえば、第２の画像２０２における２つの別の画像点２１０、２１１（図３）が、手動または自動で選択される。たとえば、自動車１０１の下縁３１１で別の画像点２１０、２１１が選択される。

【0042】

別の画像点２１１は、たとえば、所定の点３２３で変換される（図４）。これを、手動の注釈によって、または自動的に較正点を用いて規定された箇所で行うことができる。たとえば、手動で２つの別の画像点２１０、２１１が第２の画像２０２において選択され、その後、全体画像４００において、所定の点３２３ならびに対応する別の画像点３２６が手動で選択される。

【0043】

択一的または付加的に、たとえば、２つの較正点が空間内の規定された箇所に配置され、次にこれらが変換された第２の画像３０２内の規定された箇所に変換される。

【0044】

所定の点３２３および対応する別の画像点３２６は、たとえば、共通の直線３２４、たとえば、自動車１０１の下縁３１１上に位置する。別の画像点のうちの第１の画像点２１１は、所定の点３２３へ自由に変換可能である。別の画像点のうちの第２の画像点２１０は、特に、自由に選択可能な点で変換可能ではない。別の画像点２１０は、直線３２４上の、自由に特定されない対応する別の画像点３２６に変換される。択一的に、線を視野において、たとえば較正パターン上で、変換された第２の画像３０２における自由に特定される点にマッピングすることも可能である。したがって、３つの自由度は、ホモグラフィによって２つの別の画像点２１０、２１１もしくは唯一の別の画像点２０１ならびに付加的に線を変換するのに十分である。

【0045】

次に、ステップ６０５において、ステップ６０４からの新しいホモグラフィパラメータが第２の画像２０２に適用され、したがって、変換された第２の画像３０２が生成される。

【0046】

第１の画像２０１は、全体画像４００において、たとえば上方に表示される。変換された第２の画像３０２は、全体画像４００において、たとえば下方に表示される。この方法に基づいて、一方では、２つの縁部領域３０７と３０８とがシームレスに相互に移行させられ、他方では、変換された第２の画像３０２に対する少なくとも１つの設定が満たされる。

【0047】

変換された第２の画像３０２に対する設定は、たとえば、底面３０９での自動車１０１の牽引車両の横方向の外縁、すなわち、たとえば下縁３１１が、ねじれていない線を表すこと、すなわち、まっすぐに画像化されることを含んでいる。択一的または付加的に、この設定は、線、たとえばその上で、下縁３１１に対して平行に底面３０９が示される線が、ねじれていないことを含んでいる。択一的または付加的に、この設定は、周囲１０５の、法的に規定されたまたはこれを超える一部が、全体画像４００において底面３０９に完全に示されることを含んでいる。

【0048】

変換された第２の画像３０２を生成するために、まずは、変換された第２の画像３０２を上方の画像３０１にシームレスに継ぎ合わせるために、従来のスティッチングと同様に、下方の画像３０２に対してホモグラフィパラメータが生成される。

【0049】

たとえば、上方の画像３０１では、左下隅点、右下隅点、およびこれら２つの隅点の中間の点が選択されている。これらは、３つの画像点３１４、３１５、３１６に相応している。

【0050】

左からホモグラフィマトリックスにこれらの画像点３１４、３１５、３１６をそれぞれ乗算することによって、対応する画像点の座標が、依然としてひずみのない第２の画像２０２に対して特定される。これは、後に、全体画像４００において、下方の領域に示されるべきである。

【0051】

別のホモグラフィパラメータは、８つの方程式と８つの未知数とによる方程式系を解くことによって特定される。したがって、まだ変換されていない第２の画像２０２の３つの対応する画像点３１７、３１８、３１９は、変換された第２の画像３０２への変換後に、上方の画像３１０の３つの画像点３１４、３１５、３１６に隣接する。別のホモグラフィパラメータは、たとえば、（運転者から見て）自動車１０１の牽引車両の前方の左の隅点２１１が、下方の画像領域における規定された点３２３に変換されるように特定される。これには２つの自由度が必要である。所定の点３２３は次のように設定されている。すなわちこれが、一方では上方の画像領域において見られる、牽引車両の下縁３１１を伴う線３２４を形成し、他方では、下方の画像領域において、下方へ向かってさらに、カメラ入力画像２０２の可能な限り多くの画像情報が表示されることが保証されるように設定されている。しかし、特に、黒色で表示されるだろうカメラ入力画像２０２外の領域は可視ではない。

【0052】

図４では、変換された第２の画像３０２に対する設定は、たとえば、下縁３１１に対して平行に延在している線３２５が、上方の画像３０１および下方の画像３０２に部分的に表示されていても、ねじれている線として保持されることである。このために、たとえば、両方の画像において可視の線上で、第２の画像２０２の点が、上方の画像３０１の線上の任意の点にマッピングされる。このためには１つの自由度が必要である。

【0053】

そこから求められた別のホモグラフィパラメータは、第２のカメラ入力画像２０２に適用され、結果は、全体画像４００の下方の画像領域に表示される。

【0054】

図５は、図４の実施例と比較して、変換された第２の画像３０２に対する設定が変更された別の実施例を示している。図４において、平行な線がねじれて表示されるべきではないという要件の代わりに、図５の実施例における設定は、可能な限り多くの画像情報が右側の外へ向かって可視であるべきであるということである。これに相応して、線３２５は、上方の画像３０１から下方の画像３０２への移行領域においてねじられている。このために、周囲１０５のより大きな一部が下方の画像領域に表示されている。

【0055】

変換された第２の画像３０２に対する設定に関係なく、変換された第２の画像３０２の画像要素３０５および第１の画像３０１の対応する画像要素３０６は、互いにシームレスに隣接して表示される。したがって、全体画像４００では、モニター１０４に表示されるすべてのカメラ画像３０１、３０２の間で、正確に相互に接続している画像縁部および線が実現されており、ここで、設定された基準および設定に相応する一部の表示、および所定の基準および設定に相応する第２のカメラ画像２０２のひずみが可能である。

【0056】

別のホモグラフィパラメータを自動的に求めるために、カメラ１０２、１０３を仮の較正保持部に固定することができる。カメラ１０２、１０３は、後の設置後に、カメラ位置に相応する底面に対して相対的に位置する面に位置する２つの較正点を記録する。次に、これらの較正点のうちの一方が、画像の下方の領域における、定められた点にマッピングされる。これらの較正点のうちの他方は、画像の下方の領域における、定められた直線上の任意の点にマッピングされる。

【0057】

変換された第２の画像３０２を生成するために、第２の画像２０２は特に、一度だけ変換されればよい。これによって、信頼できる、十分に速い変換が可能になる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】