特表2021-512536(P2021-512536A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧

特表2021-512536自動車用のカメラ・モニターシステムを運転する方法および装置
<>
  • 特表2021512536-自動車用のカメラ・モニターシステムを運転する方法および装置 図000003
  • 特表2021512536-自動車用のカメラ・モニターシステムを運転する方法および装置 図000004
  • 特表2021512536-自動車用のカメラ・モニターシステムを運転する方法および装置 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2021-512536(P2021-512536A)
(43)【公表日】2021年5月13日
(54)【発明の名称】自動車用のカメラ・モニターシステムを運転する方法および装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20210416BHJP
   B60R 1/00 20060101ALI20210416BHJP
   G06T 1/00 20060101ALI20210416BHJP
【FI】
   H04N7/18 J
   B60R1/00 A
   G06T1/00 330Z
【審査請求】有
【予備審査請求】未請求
【全頁数】16
(21)【出願番号】特願2020-540592(P2020-540592)
(86)(22)【出願日】2019年1月10日
(85)【翻訳文提出日】2020年8月21日
(86)【国際出願番号】EP2019050578
(87)【国際公開番号】WO2019145162
(87)【国際公開日】20190801
(31)【優先権主張番号】102018201217.2
(32)【優先日】2018年1月26日
(33)【優先権主張国】DE
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】508097870
【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】Continental Automotive GmbH
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100135633
【弁理士】
【氏名又は名称】二宮 浩康
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】アンドレアス ヴァインリヒ
【テーマコード(参考)】
5B057
5C054
【Fターム(参考)】
5B057AA16
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD02
5B057CD05
5B057CE08
5B057DB02
5B057DB09
5B057DC36
5C054CA04
5C054CC02
5C054EA05
5C054FC12
5C054FD07
5C054HA30
(57)【要約】
自動車(101)用のカメラ・モニターシステム(100)を運転する方法であって、カメラ・モニターシステム(100)がカメラ(102)を有しており、カメラ(102)は、自動車の長手方向側(106,107)に対応配置されており、自動車(101)の周囲(105)の画像を提供するように構成されており、当該方法は、周囲(105)における関心領域(111)を設定するステップと、カメラ(102)の画像を変換して変換画像(300)を形成し、これにより関心領域(111)が、周囲(105)における関心領域(111)の位置の変更とは関係なしに、変換画像(300)内で設定された拡大率を有する設定された画像領域(301)に配置されるステップと、を含む。
【特許請求の範囲】
【請求項1】
自動車(101)用のカメラ・モニターシステム(100)を運転する方法であって、カメラ・モニターシステム(100)はカメラ(102)を有しており、該カメラ(102)は、前記自動車の長手方向側(106,107)に対応配置されており、前記自動車(101)の周囲(105)の画像を提供するように構成されており、当該方法は、
前記周囲(105)における関心領域(111)を設定するステップと、
前記カメラ(102)の前記画像を変換して変換画像(300)を形成し、これにより前記関心領域(111)が、前記周囲(105)における前記関心領域(111)の位置の変更とは関係なしに、前記変換画像(300)内で設定された拡大率を有する設定された画像領域(301)に配置されるステップと、
を含む、カメラ・モニターシステム(100)を運転する方法。
【請求項2】
前記関心領域(111)を設定するステップは、
設定された画像内容を確認するステップと、
車両データを確認するステップと、
入力装置により設定するステップと、
を含む、請求項1記載の方法。
【請求項3】
前記関心領域(111)は、前記自動車(101)のトレーラ(109)のトレーラ後縁(112)の領域である、請求項1または2記載の方法。
【請求項4】
前記画像を変換するステップであって、これにより前記周囲(105)の設定された領域を前記変換画像(300)内で様々な強さで拡大されて設定された画像領域(301〜306)に映す、変換するステップと、
前記周囲(105)における前記関心領域(111)の前記位置の変更に関連して、前記変換画像(300)内での前記画像領域(301〜306)のそれぞれの位置を変更するステップと、
を含む、請求項1から3までのいずれか1項記載の方法。
【請求項5】
前記カメラ(102)の画像を変換して前記変換画像(300)を形成するステップであって、これにより、前記周囲(105)における前記関心領域(111)の前記位置の変更とは関係なく、前記変換画像内に表示される周囲は不変のままである、ステップを含む、請求項1から4までのいずれか1項記載の方法。
【請求項6】
前記画像を連続的に変化する圧縮係数で変換するするステップであって、これにより、直接に互いに隣接する画像領域(301〜306)間で連続的な移行が形成される、ステップを含む、請求項4または5記載の方法。
【請求項7】
前記画像を前記変換前に歪補正する、請求項1から6までのいずれか1項記載の方法。
【請求項8】
複数の入力画像から前記画像を合成する、請求項1から7までのいずれか1項記載の方法。
【請求項9】
前記カメラ・モニターシステム(100)は、2つのカメラ(102,103)を有しており、該カメラは、前記自動車(101)の共通の長手方向側(106,107)に対応配置され、それぞれ、前記自動車(101)の前記周囲(105)の画像を提供するように構成されており、前記画像の映された前記周囲(105)が部分的にオーバラップする、請求項1から8までのいずれか1項記載の方法。
【請求項10】
請求項1から9までのいずれか1項記載の方法を実施するように構成されている、自動車のための装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車、特にトラック用のカメラ・モニターシステムを運転する方法に関する。本発明はさらに、方法を実施するように構成されている装置に関する。
【背景技術】
【0002】
自動車、たとえばトラックおよびバスは、従来は車外鏡(Aussenspielgel)を有している。カメラおよびモニターにより通常の車外鏡の視野が映されるミラー代替システムも知られている。このようなミラー代替システムは、カメラ・モニターシステムとも呼ばれる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
信頼性のよい運転を可能にする、自動車用のカメラ・モニターシステムを運転する方法を提供することが望ましい。さらに、信頼性のよい運転を可能にする、カメラ・モニターシステムを運転する装置を提供することが望ましい。
【課題を解決するための手段】
【0004】
本発明は、自動車用のカメラ・モニターシステムを運転する方法、ならびに方法を実施するように構成されている対応する装置によって特徴付けられる。
【0005】
少なくとも1つの実施形態によれば、カメラ・モニターシステムは、自動車の長手方向側に対応配置されているカメラを有している。カメラは、自動車の周囲の画像を提供するように構成されている。
【0006】
周囲の関心領域が設定される。カメラの画像は、変換されて変換画像を形成するので、変換画像内の関心領域は、周囲における関心領域の位置の変更とは関係なく、設定された画像領域に配置されている。設定された画像領域は、設定された拡大率を有している。関心領域は、変換画像内で、周囲における関心領域の位置の変更とは関係なく、特に同じままの拡大率で描写される。
【0007】
このカメラ・モニターシステムにより、自動車の周囲をカメラ・モニターシステムのモニター上に自動車のドライバのために表示することが可能であるので、従来の車外鏡を省略することができる。トレーラを有する自動車では、たとえば操車時、特に後退走行時に牽引車両とトレーラとの間で顕著な屈曲角度が生じてしまう。トレーラ後縁は、画面の中心領域の方向に移動する。モニター上に表示された画像の大部分が単にトレーラの側面しか映さないことを阻止するために、カメラの画像が対応して変換される。
【0008】
関心領域は、たとえば、トレーラのすぐ隣の領域である。関心領域は、トレーラと牽引車両とが互いにまっすぐに位置調整されている場合に、たとえば法律上の視野領域クラス2に一致する。関心領域は、たとえば、トレーラと牽引車両とが互いに対してまっすぐに位置調整されている場合に、法律上の視野領域クラス2の一部である。牽引車両とトレーラとが互いに対して屈曲している場合、関心領域は、牽引車両とトレーラとの間の屈曲角度に対応して移動する。変換画像では、関心領域が引き続き設定された画像領域に表示される。このために、たとえば変換画像内でトレーラは、トレーラの隣の周囲に比べてより顕著に圧縮されて表示される。したがって、屈曲角度が顕著である場合に、モニターに表示される変換画像の所望しない大きな領域をトレーラが占めることを阻止可能である。たとえばトレーラが車線から出ることにより、周囲において関心領域が移動する場合でも、画像は、牽引車両とトレーラとがまっすぐに位置調整されている場合と同様の画像分割が残るように、変換される。
【0009】
少なくとも1つの実施形態によれば、関心領域を設定するステップは、設定された画像内容、たとえばトレーラ後縁を確認するステップを含んでいる。代替的にまたは付加的に、関心領域を設定するために走行データが確認される。これは、CANのようなシステム入力を介したトレーラ位置提供を含んでいてよく、または自動車の制御システム内にある別のデータを含んでいてよい。代替的または付加的に、関心領域は、特に自動車のユーザにより入力装置を用いて設定される。入力装置は、たとえばジョイスティック、タッチスクリーンおよび/またはアイトラッキングを含む。したがって、自動車のユーザにとって、変換画像の設定された画像領域内に常に表示されることが望ましく、特にトレーラによって覆われないことが望ましい、周囲における1つの領域を設定することが可能になる。
【0010】
少なくとも1つの実施形態によれば、画像は、周囲の設定された領域を変換画像内で様々な強さで拡大されて設定された画像領域に映すように、変換される。変換画像内での画像領域のそれぞれの位置は、周囲における関心領域の位置の変更に関連して変更される。たとえば、少なくとも部分的に法律上の視野領域クラス2をカバーする水平方向および鉛直方向で弱い圧縮率を有する画像領域は、変換画像において、画像の中心方向で水平方向に移動される。鉛直方向の移動も可能である。対応して、水平方向の移動時に、移動された領域の隣の領域は、水平方向でより著しく圧縮される。したがって、全体的に、表示される周囲の割合は、変換画像内で、特に弱い圧縮率を有する画像領域内で、表示される自動車の割合に対してほぼ同一のままである。
【0011】
少なくとも1つの実施形態によれば、関心領域を映す画像領域に直接に隣接する画像領域における拡大率は、画像領域の位置が変化すると変更される。この画像領域は、特に、自動車のトレーラの一部も映す画像領域である。周囲は、この画像領域では水平方向で著しく圧縮される。したがって、関心領域が設定された画像領域に配置されるように、関心領域を少なくとも部分的に映す隣接する画像領域を、変換画像内に映すことが可能である。
【0012】
少なくとも1つの実施形態によれば、画像は、変換前に歪補正される。カメラの入力画像は、たとえば、使用したレンズに基づく既知の歪が補償されるように、歪補正される。
【0013】
少なくとも1つの実施形態によれば、画像は、複数の入力画像から合成される。たとえば、カメラ・モニターシステムは、2つのカメラを有している。これらのカメラは、自動車の共通の長手方向側に対応配置されており、自動車の周囲の画像を提供するように構成されている。画像の映された周囲は部分的にオーバラップする。
【0014】
画像は、たとえば、両方のカメラの入力画像から合成される。たとえば、高い焦点距離および小さな視野角、たとえば望遠レンズを有するカメラが使用される。このカメラは、自動車の隣または背後の周囲を映す働きをする。たとえば、長い焦点距離および大きな視野角、たとえば広角レンズを有する第2のカメラが使用される。このカメラは、たとえばカメラ・モニターシステムのモニター内に法律上の視野領域クラス5を映すために、たとえば自動車または牽引車両の前方のコーナにおける領域を撮影する働きをする。
【0015】
少なくとも1つの実施形態による方法を実施するように構成されている、自動車のための装置は、たとえば自動車用の制御装置の部分である(英語でECU、electric control unit)。
【0016】
方法について説明された利点、特徴および変化形は、装置についても適用され、逆もまた然りである。
【0017】
別の利点、特徴および変化形が、図面に関連して説明する以下の例から明らかになる。同一、同類および同様に作用する要素は、図面全体にわたって同一の参照符号を有している。
【図面の簡単な説明】
【0018】
図1】一実施例によるカメラ・モニターシステムを備えた自動車の概略図である。
図2】一実施例による全体画像の概略図である。
図3】一実施例による変換画像における画像領域の概略図である。
【発明を実施するための形態】
【0019】
図1は、上述の一実施例による自動車101の概略図を示している。自動車101は、たとえば、牽引自動車101およびトレーラ109を備えたトラックである。別の実施例によれば、自動車は、バスおよび/または特にトレーラ109を備えた乗用車である。
【0020】
自動車101は、ミラー代替システムとしてカメラ・モニターシステム100を有している。カメラ・モニターシステム100は、自動車101の各側106,107につき1つのカメラ102を有している。これらのカメラ102はそれぞれ、それぞれ対応配置された側106,107の周囲を撮影する働きをする。別の実施例によれば、各側106,107につき複数のカメラ、たとえば2つ以上のカメラが設けられている。別の実施例によれば、カメラ102は、両方の側106,107のうちの単に1つの側のみに配置されている。カメラ・モニターシステム100は、2つのモニター104を有している。これらのモニター104は、両側106,107のうちのそれぞれ1つの側に割り当てられている。運転中に、カメラ102により記録される側106の周囲105の一部が、割り当てられたモニター104上に全体画像400として描写される。側107に割り当てられたモニター104上には、側107に対応配置されたカメラ102により記録される周囲105の一部が全体画像400として表示される。
【0021】
したがって、両モニター104上の全体画像400は互いに異なっている。
【0022】
モニター104上の全体画像400は、特に、従来の車外鏡の鏡像、特に周囲105の、従来の車外鏡によっては映すことができない別の部分を表示するように、調整されている。
【0023】
カメラ102およびモニター104に信号技術的に連結されている装置110が設けられている。装置110は、カメラ102もモニター104も制御するように調整されている。たとえば、装置110は、制御装置または自動車101の制御装置の一部である。
【0024】
カメラ102の画像は、牽引車両108およびトレーラ109がまっすぐに位置調整されている場合に、全体画像400内に表示される視野がトレーラ109に揃っているように、変換される。トレーラ109の他に、関心領域111が設定されている。たとえば、関心領域111は、自動車101のユーザにとって運転中に、たとえば操車時に特に関心のある周囲105における領域である。関心領域111は、たとえば、この関心領域111がトレーラ109の隣に、かつ特にトレーラ109の後縁112に接して位置するように設定されている。
【0025】
操車時、特に自動車101の後退走行時に、牽引車両108とトレーラ109との間に顕著な屈曲角度が生じてしまう。したがって、トレーラ後縁112は、たとえば右に向かって運動する。したがって、従来は、全体画像400の、牽引車両108に対してトレーラ109がまっすぐに位置調整されている場合に関心領域111を著しく拡大して表示する画像領域は、大部分がまたは完全にトレーラ109の長手方向側によって隠されるだろう。したがって、全体画像のこの領域は、自動車101のドライバにとってあまり有益とならない。
【0026】
関心領域111を、牽引車両108とトレーラ109との間の屈曲角度とは関係なしに全体画像400内で常に信頼性よく映し、全体画像400内の、ドライバにとって有益な情報を含んでいる割合をできるだけ大きく維持するために、分割および全体画像400の様々な画像領域における拡大率が運転中に適合される。したがって、全体画像400内の、トレーラ109により隠される割合が、できるだけ小さくかつ一定に維持される。
【0027】
図2は、一実施例による全体画像400を示している。カメラ102の画像は、トレーラ109が専ら左側縁部のみに表示されるように、変換されている。関心領域111は、画像領域301内に表示される。
【0028】
画像領域400は、図3に示されているように、画像領域301〜306に分割されている。全体画像400内での周囲105の表示の拡大率または圧縮率および歪曲(Zerrung)は、画像領域301〜306毎に互いに異なっている。牽引車両108とトレーラ109との間の屈曲角度が顕著な場合、変換画像300における周囲は画像領域305内で著しく圧縮され、したがって、トレーラ109は全体画像400においてできるだけ僅かなスペースを占める。したがって、画像領域305に隣接する画像領域301は、従来の拡大率で周囲105を映すことができ、この場合トレーラ109が画像領域301に表示されることはないか、またはトレーラ109の像が画像領域301内で過大なスペースを占めることはない。したがって、関心領域111は常に画像領域301内に表示される。
【0029】
トレーラ109と牽引車両108とがまっすぐに位置調整されている場合、画像領域305を省略することが可能である。顕著な拡大率を有する画像領域301は、トレーラ109を縁部に映し、その他に関心領域111および周囲105の別の部分を映す。牽引車両108とトレーラ109との間の屈曲角度が大きな場合、従来は、トレーラ109が画像領域301をほぼ完全に覆ってしまっていた。それゆえ、領域301は、変換された画像300内で移動され、加えて画像領域301に対して異なる拡大率を有する画像領域305が表示される。
【0030】
たとえば、画像領域302および304は、画像領域301および303よりも水平方向で著しく顕著に圧縮されている。画像領域303および304は、たとえば、画像領域301および302よりも鉛直方向で顕著に圧縮されている。たとえば、画像領域301および302のための入力画像は、望遠レンズを備えたカメラで撮影される。画像領域303および304のための入力画像は、たとえば広角レンズを備えたカメラにより撮影される。変換画像300は、両方のカメラからの入力画像から合成される。したがって、法律上の視野領域クラス2,4および5を映すことができ、特に周囲105の別の領域を映すことができる。法律上の視野領域クラス2は、たとえば画像領域301および305に表示される。
【0031】
関心領域111は、たとえば、自動車101に対して、特にトレーラ109に対して設定されている。関心領域111に設定する別の可能性も可能である。たとえば、トレーラ縁検出をカメラ102の画像情報および車両データに基づいて実施することができる。CANのようなシステム入力を介したトレーラ位置提供が、たとえば牽引車両108とトレーラ109との間の角度を提供することも可能である。代替的または付加的に、関心領域111の手動の選択も可能であり、たとえば、自動車101のドライバは関心領域111を、ジョイスティック、タッチスクリーンまたはアイトラッキングのような入力装置または別の入力装置により選択する。
【0032】
牽引車両108に対するトレーラ109の相対的な位置調整に関する情報に関連して、カメラ視野は、個別の領域301〜306内で追従する。関心領域111が入力カメラ画像内で移動した場合、つまりたとえば右側に向かって移動した場合、変換画像300内の関心領域111は引き続き画像領域301内に表示される。このために特に、画像領域301が変更される。特に、変換画像内での画像領域301の位置が変更される。特に、全体画像400における画像領域301の位置が変更される。たとえば、ドライバが右側に向かって車線に入り、それゆえ車両トレーラが入力画像において画像領域302の方向に屈曲すると、トレーラ後縁112が変換画像300内で引き続きほぼ完全に縁部に接して表示され、関心領域111が引き続き画像領域301内に表示されるように、入力画像から切り出された領域が変更される。トレーラ後縁112は、画像領域305内に表示される。この画像領域305は、画像領域301に対して異なる拡大率を有している。したがって、トレーラ109を変換画像300内に顕著に圧縮して表示し、関心領域111を所望の拡大率で十分に大きく表示することが可能である。
【0033】
全体画像400における画像領域301は、一方ではさらに画像領域302への連続的な移行を実現し、他方では牽引車両108に対するトレーラ109の屈曲時にも入力画像全体をモニター104に示すことができるように、たとえば右側に移動する。このために、変換画像300内で画像領域301の左側かつ画像領域303の左側に新しい画像領域305および306が表示される。これらの画像領域305および306は、画像領域301,303に比べて水平方向で著しく顕著に圧縮されている。たとえば、画像領域305における圧縮率は、画像領域301における圧縮率よりも5倍だけ大きい。
【0034】
関心領域111または画像領域301の表示の水平方向の移動に加えて、代替的かつ付加的に、鉛直方向の移動も可能である。対応して、次いで画像領域301および303の上方に付加的な画像領域が表示される。この付加的な画像領域では、周囲105は、画像領域301,302または305よりも鉛直方向で著しく圧縮されて表示される。
【0035】
直接に隣接するそれぞれ2つの画像領域の間の移行は、実施形態によりできるだけ連続的に行われる。このために、たとえば画像領域間の圧縮係数が1つのピクセルから隣り合うピクセルへと急激に変更するのではなく、複数のピクセルにわたって連続的に変更される。この実施形態でも、画像領域301〜306は、対応して追従されてよい。実施例により、入力画像は変換前に歪むか、または歪補正され、たとえばレンズ歪補正される。
【0036】
画像を変換前に複数の様々なカメラ入力画像から合成するか、またはつなぎ合せることも可能である。たとえば、画像領域301,302および305のために、第1のカメラの入力画像が使用され、画像領域303,304および306のために第2のカメラの入力画像が使用される。モニター104における全体画像400は、常にトレーラ109の表示によって覆われない周囲105のできるだけ大きな割合を指し示している。したがって、特にたとえば駐車時の操車走行が簡略化される。
【0037】
トレーラ109の端部にある対象物は、画像領域301における拡大によってより良好に視認することができる。トレーラ109が斜めになっている場合、自動車101の近傍にいる人にとっての危険が減少する。自動車101の近傍の領域は、拡大されて画像領域301に表示され、したがってモニター104内で出来るだけ圧縮されずに表示される。関心領域111を手動で選択する可能性に基づいて、ドライバにとってカメラ102の画像情報全体にアクセス可能になり、特にカメラ102の画像の外側領域も高い解像度でアクセス可能になる。
【0038】
全体的に、カメラ・モニターシステム100のモニター104上に表示される視野は、牽引車両108とトレーラ109との間の屈曲角度が顕著な場合も、改善される。
図1
図2
図3
【国際調査報告】