特表 2019-504414 車両の周囲の正面の光景を表示する方法及びデバイス並びにそれぞれの車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2019-504414(P2019-504414A)

(43)【公表日】2019年2月14日

(54)【発明の名称】車両の周囲の正面の光景を表示する方法及びデバイス並びにそれぞれの車両

(51)【国際特許分類】

   G06T 3/00 20060101AFI20190118BHJP

   G09G 5/00 20060101ALI20190118BHJP

   G09G 5/36 20060101ALI20190118BHJP

   G06T 1/00 20060101ALI20190118BHJP

   B60R 1/00 20060101ALI20190118BHJP

【ＦＩ】

   G06T3/00 710

   G09G5/00 510A

   G09G5/00 550C

   G09G5/36 520C

   G09G5/36 510C

   G06T1/00 330Z

   B60R1/00 A

【審査請求】未請求

【予備審査請求】有

【全頁数】20

(21)【出願番号】特願2018-535135(P2018-535135)

(86)(22)【出願日】2016年12月7日

(85)【翻訳文提出日】2018年7月5日

(86)【国際出願番号】EP2016080057

(87)【国際公開番号】WO2017121544

(87)【国際公開日】20170720

(31)【優先権主張番号】16150872.6

(32)【優先日】2016年1月12日

(33)【優先権主張国】EP

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA

(71)【出願人】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100173521

【弁理士】

【氏名又は名称】篠原 淳司

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(72)【発明者】

【氏名】ゲレイロ・ルイ

【テーマコード（参考）】

5B057

5C182

【Ｆターム（参考）】

5B057AA06

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD20

5B057DA07

5B057DA16

5B057DB02

5B057DB09

5C182AA04

5C182AB25

5C182AC03

5C182BA14

5C182BA29

5C182CB01

5C182CB11

5C182CC24

(57)【要約】

本発明は、車両（４２）の周囲の正面の光景を表示する方法であって、車両（４２）の周囲のカメラ画像（２０）を車両カメラ（４４）のレンズ（５３）を通して車両カメラ（４４）の画像センサ（５２）上に捉えるステップ（Ｓ１）；捉えたカメラ画像（２０）を処理ユニット（１０１）により表示画像（３０）であって、画像センサ（５２）の画像センサ平面（５４）に平行な投影平面（９０）に実質的に平行に投影された表示画像（３０）に変換するステップ（Ｓ２）；及び車両（４２）のドライバーによる閲覧のために表示画像（３０）を表示デバイス（１０２）に表示するステップ（Ｓ３）を含む方法に関する。

【特許請求の範囲】

【請求項1】

−車両（４２）の周囲の正面の光景を表示する方法であって、
−前記車両（４２）の周囲のカメラ画像（２０）を車両カメラ（４４）のレンズ（５３）を通して前記車両カメラ（４４）の画像センサ（５２）上に捉えるステップ（Ｓ１）；
−前記捉えたカメラ画像（２０）を処理ユニット（１０１）により表示画像（３０）であって、前記画像センサ（５２）の画像センサ平面（５４）に平行な投影平面（９０）に実質的に平行に投影された表示画像（３０）に変換するステップ（Ｓ２）；及び
−前記車両（４２）のドライバーによる閲覧のために前記表示画像（３０）を表示デバイス（１０２）に表示するステップ（Ｓ３）を含む、方法。

【請求項2】

前記カメラ画像（２０）を変換するステップが、
−前記車両カメラ（４４）から所定の距離（４３）に仮想平面（４０）を定義するステップ；
−前記仮想平面（４０）を複数の仮想画素（４１）に分割するステップ；
−前記カメラ画像（２０）であって、複数のカメラ画素（６１〜８６）を含む前記カメラ画像（２０）への各仮想画素（４１）の前記レンズ（５３）を通した投影（５１）を計算するステップ；及び
−前記複数の仮想画素（４１）に対応する複数の表示画素（３１）であって、前記それぞれの仮想画素（４１）の前記投影（５１）の近傍に存在する前記カメラ画素（６１〜８６）に基づき生成される各表示画素（３１）を用いて前記表示画像（３０）を生成するステップを含む、請求項１に記載の方法、

【請求項3】

各表示画素（３１）を生成することが、前記それぞれの仮想画素（４１）の前記投影（５１）の近傍に存在する前記カメラ画素に対して平均化および／またはフィルタリングを行うことを含む、請求項２に記載の方法。

【請求項4】

各表示画素（３１）を生成することが、前記それぞれの仮想画素（４１）の前記画像の前記投影（５１）の近傍に存在するカメラ画素（６１〜８６）に対して補間を行うことを含む、請求項２又は３のいずれかに記載の方法。

【請求項5】

前記車両（４２）の周囲において少なくとも１つの更なる物体（２１、２２）が検出され、前記少なくとも１つの更なる物体（２１、２２）の速度が、前記カメラ画像（３０）における前記物体（２１、２２）の運動に基づき判定される、請求項２から４のいずれか一項に記載の方法。

【請求項6】

−車両（４２）の周囲の正面の光景を表示するデバイス（１００）であって、
−前記車両（４２）の周囲のカメラ画像（２０）を車両カメラ（４４）のレンズ（５３）を通して前記車両カメラ（４４）の画像センサ（５２）上に捉えるように構成された車両カメラ（４４）；
−前記捉えたカメラ画像（２０）を、表示画像（３０）であって、前記画像センサ（５２）の画像センサ平面（５４）に平行な投影平面（９１）に実質的に平行に投影された表示画像（３０）に変換するように構成された、処理ユニット（１０１）；及び
−前記車両（４２）のドライバーによる閲覧のために前記表示画像（３０）を表示するように構成された表示デバイス（１０２）を備える、デバイス。

【請求項7】

前記マイクロプロセッサ（１０１）が更に、
−前記車両カメラ（４４）から所定の距離（４３）に仮想平面（４０）を定義し；
−前記仮想平面（４０）を複数の仮想画素（４１）に分割し；
−前記カメラ画像（２０）であって、複数のカメラ画素（６１〜８６）を含む前記カメラ画像（２０）への各仮想画素（４１）の前記車両カメラ（４４）の前記レンズ（５３）を通した投影（５１）を計算し；
−前記複数の仮想画素（４１）に対応する複数の表示画素（３１）であって、前記それぞれの仮想画素（４１）の前記投影（５１）の近傍に存在する前記カメラ画素（６１〜８６）に基づき生成される各表示画素（３１）を用いて前記表示画像（３０）を生成するように構成されている、請求項６に記載のデバイス（１００）。

【請求項8】

前記マイクロプロセッサ（１０１）が更に、前記それぞれの仮想画素（４１）の前記投影（５１）の近傍に存在する前記カメラ画素（６１〜８６）に対して平均化および／またはフィルタリングを行うことにより各表示画素（３１）を生成するように構成されている、請求項６又は７に記載のデバイス（１００）

【請求項9】

前記マイクロプロセッサ（１０１）が更に、前記それぞれの仮想画素（４１）の前記投影（５１）の近傍に存在するカメラ画素（６１〜８６）に対して補間を行うことにより各表示画素（３１）を生成するように構成されている、請求項６から８のいずれか一項に記載のデバイス（１００）。

【請求項10】

前記車両（４２）の周囲において少なくとも１つの更なる物体（２１、２２）を検出するように構成された検出デバイス（１０３）を更に備え；前記マイクロプロセッサ（１０１）が更に、前記少なくとも１つの更なる物体（２１、２２）の速度を前記表示画像（３０）における前記物体（２１、２２）の運動に基づき判定するように構成されている、請求項６から９のいずれか一項に記載のデバイス（１００）

【請求項11】

請求項６から１０のいずれか一項に記載の車両（４２）の周囲の正面の光景を表示するデバイス（１００）を備えた車両（４２）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周囲の正面の光景を表示する方法、車両の周囲及び車両の正面の光景を表示するデバイスに関する。

【背景技術】

【0002】

現在の自動又は半自動運転システムは、３Ｄサラウンドビューを提供する複数の車両カメラを備える。捉えたデータから、車両の周囲に関する情報を取得することができる。特に、安全な運転を容易にするためには、走行車線又は他の車両の精度の高い認識が必要である。

【0003】

広角又は魚眼レンズを備えたカメラは、歪んだ画像を提供することが多く、信頼性の高い情報を推定するためには、それを修正する必要がある。文献ＵＳ８７１８３２９Ｂ２から、トップダウンビュー技術を使用した車両のための明確な走行路を検出する方法が公知である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ＵＳ８７１８３２９Ｂ２

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、カメラの前を横断する車両の運動は多くの場合、歪んだ形で示される。従って、本発明の目的は、歪みの影響を低減した表示画像を提供することである。

【課題を解決するための手段】

【0006】

主題は、請求項１に記載する車両の周囲の正面の光景を表示する方法、請求項６に記載する車両の周囲の正面図を表示するデバイス、及び請求項１１に記載する車両によって達成される。
第１の態様によると、本発明は、車両の周囲の正面の光景を表示する方法を提供し、方法は、車両の周囲のカメラ画像を車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えることを含む。前記捉えたカメラ画像は、処理ユニットにより表示画像であって、前記画像センサの画像センサ平面平行な投影平面に実質的に平行に投影された表示画像に変換される。前記表示画像は、前記車両のドライバーによる閲覧のために表示デバイスに表示される。

【0007】

第２の態様によると、本発明は、車両の周囲のカメラ画像を車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えるように構成された車両カメラを備える、車両の周囲の正面の光景を表示するデバイスを提供する。デバイスは、前記捉えたカメラ画像を表示画像であって、前記画像センサの画像センサ平面に平行な投影平面に実質的に平行に投影された表示画像に変換するように構成された処理ユニットを更に備える。更に、デバイスは、前記車両のドライバーによる閲覧のために前記表示画像を表示するように構成された表示デバイスを備える。

【0008】

第３の態様によると、本発明は、車両の周囲の正面の光景を表示するデバイスを備える車両を提供する。

【0009】

本発明は、表示画像を生成する方法及びデバイスを提供し、ここで、車両カメラから一定距離にある所定平面に位置するサイズが同一の２つの物体が表示画像において同一のサイズで表示される。換言すると、表示画像は、画像に平行に投影されたかのように物体を表示する。

【0010】

方法の可能な実施形態において、前記カメラ画像を変換することは、車両カメラから所定の距離に仮想平面を定義するステップ；仮想平面を複数の仮想画素に分割するステップ；カメラ画像であって、複数のカメラ画素を含むカメラ画像への各仮想画素のレンズを通した投影を計算するステップ；及び複数の仮想画素に対応する複数の表示画素であって、それぞれの仮想画素の投影の近傍に存在するカメラ画素に基づき生成される各表示画素を用いて表示画像を生成するステップを含む。方法は、捉えたカメラ画像を投影平面に平行に投影されたように見える表示画像に変換させる。

【0011】

方法の可能な実施形態において、各表示画素を生成することは、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して平均化および／またはフィルタリングを行うことを含む。特に、カメラ画像の中心領域においては、歪みの影響のため、カメラ画像は、表示画像よりも多くの詳細を含む。従って、表示画像のそれぞれの画素を生成するには、カメラ画像を簡素化するためにカメラ画素に対する平均化プロセスおよび／またはフィルタリングプロセスが遂行される。

【0012】

方法の可能な実施形態において、各表示画素を生成することは、それぞれの仮想画素の画像の投影の近傍に存在するカメラ画素に対して補間を行うことを含む。特に、カメラ画像の周辺領域においては、画像は圧縮されて見える。表示画像は、周辺領域においては元々のカメラ画像よりも多くの情報と高い画素密度を含むため、カメラ画像を詳細化するためにカメラ画素を補間する。

【0013】

方法の可能な実施形態において、車両の周囲において少なくとも１つの更なる物体が検出され、少なくとも１つの更なる物体の速度が、カメラ画像における物体の運動に基づき判定される。距離とサイズの比が表示画像において保持されるため、物体の速度の判定を容易に遂行することができる。

【0014】

デバイスの可能な実施形態において、マイクロプロセッサは更に、車両カメラから所定の距離に仮想平面を定義し、仮想平面を複数の仮想画素に分割し、カメラ画像であって、複数のカメラ画素を含むカメラ画像への各仮想画素の車両カメラのレンズを通した投影を計算するように構成される。マイクロプロセッサは、複数の仮想画素に対応する複数の表示画素であって、それぞれの仮想画素の投影の近傍に存在するカメラ画素に基づき生成される各表示画素を用いて表示画像を生成するように構成される。

【0015】

デバイスの可能な実施形態において、マイクロプロセッサは更に、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して平均化および／またはフィルタリングを行うことにより各表示画素を生成するように構成される。

【0016】

デバイスの可能な実施形態において、マイクロプロセッサは更に、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して補間を行うにより各表示画素を生成するように構成される。

【0017】

可能な実施形態において、デバイスは、車両の周囲において少なくとも１つの更なる物体を検出するように構成された検出デバイスを更に備える。マイクロプロセッサは更に、少なくとも１つの更なる物体速度を表示画像における物体の運動に基づき判定するように構成される。

【0018】

以下、添付の図面を参照して本発明の異なる態様の可能な実施形態をより詳細に説明する。

【図面の簡単な説明】

【0019】

【図1】一実施形態による車両の周囲の正面の光景を表示する方法のフローチャートを示す。

【図2】一実施形態による例示のカメラ画像を示す。

【図3】一実施形態による例示の表示画像を示す。

【図4】一実施形態による車両から一定距離にある仮想平面の略図を示す。

【図5】一実施形態による車両カメラの略図を示す。

【図6】一実施形態によるカメラ画像への仮想画素の投影の略図を示す。

【図7】一実施形態によるカメラ画像への仮想画素の投影の略図を示す。

【図8】一実施形態による仮想平面とカメラ画像と表示画像との関係を示す。

【図9】一実施形態による投影平面の略図を示す。

【図10】一実施形態による車両の周囲の正面の光景を表示するデバイスのブロック図を示す。

【図11】一実施形態による車両のブロック図を示す。

【発明を実施するための形態】

【0020】

図１は、車両の周囲の正面の光景を表示する方法のフローチャートを示す。車両は、少なくとも１台の車両カメラを備える。ステップＳ１において、車両の周囲のカメラ画像２０が車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えられる。レンズは、画角が１８０度を超える広角レンズ又は魚眼レンズとすることができる。

【0021】

例示のカメラ画像２０を図２に示す。カメラ画像２０は歪んでいる、即ち、第１の車両２１を示しているカメラ画像２０の中心の領域が引き延ばされている一方で、第２の車両２２を示しているカメラ画像２０の周辺領域は、圧縮されている。

【0022】

第２のステップＳ２において、前記捉えたカメラ画像２０は、図３に示すように、図２のカメラ画像２０に対応する例示の表示画像３０に変換される。表示画像３０は、前記画像センサの画像センサ平面に平行な投影平面に平行に投影されている。換言すると、元のカメラ画像２０が含まない情報を除き、表示画像３０は、示されたシーンと同じサイズの画像センサに平行に投影されたかのように見える。

【0023】

第３のステップＳ３において、前記車両のドライバーによる閲覧のために前記表示画像３０が表示デバイスに表示される。

【0024】

前記カメラ画像の表示画像への変換の例示の実施形態を以下に説明する。

【0025】

図４において、車両４２が示され、車両４２の前端に車両カメラ４４が備えられている。車両カメラ４４をより詳細に図５に図示する。

【0026】

車両カメラ４４は、レンズ５３、及び画像センサ５２を備える。画像センサ５２は、ｙ−ｚ平面と一致する画像センサ平面５４内に存在する。ｘ軸に沿って、所定の距離４３、例えば２乃至１０ｍの値の位置に仮想平面４０が定義される。仮想平面４０は更に、複数の仮想画素４１に分割される。仮想画素４１毎に、仮想画素４１のレンズ５３を通した画像センサ５２上への対応する投影５１が計算される。カメラ画像２０上における仮想画素４１の投影５１が取得されるように、画像センサ５２は、カメラ画像２０と同一とみなされる。カメラ画像２０は、複数のカメラ画素を含む。

【0027】

図６に示す例示のシナリオにおいて、仮想画素４１の投影５１が更なるカメラ画素６１〜６４及び６６〜６９に囲まれた単一のカメラ画素６５内に存在する。図６に示すシナリオは、仮想平面４０の周辺領域に存在する仮想画素４１の場合に現れる。

【0028】

図７には、代替的な可能なシナリオが図示され、ここでは、仮想画素４１の投影５１は、複数のカメラ画素７１〜８６にまたがっている。こうしたシナリオは、特に仮想平面４０の中心に近い画素の場合に現れる。

【0029】

次に、表示画像３０が生成され、ここで、表示画像３０は、複数の表示画素３１を含む。各仮想画素４１に対して単一の表示画素３１が割り当てられる。特に、表示画素３１の数と位置は、数と位置又は対応する仮想画素４１に対応する。

【0030】

図８には、仮想平面４０とカメラ画像２０と表示画像３０との対応が図示されている。関連する仮想画素４１に対応する各表示画素３１は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜８６に基づき生成される。仮想画素４１の投影５１が単一のカメラ画素に正確に一致する場合、対応する表示画素３１には、この単一のカメラ画素の値が与えられる。

【0031】

更なる実施形態によると、図６に図示する、仮想画素４１の投影５１が単一のカメラ画素６５内に存在する状況において、仮想画素４１に対応する表示画素３１の生成は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜６９に対して補間を行うことを含む。近傍は、カメラ画素６５と境界を接している全ての画素を含むことができる。補間することは、双線形補間又は３次ｂ−スプライン補完などの内挿法を含むことができる。

【0032】

更なる実施形態によると、図７に示すように仮想画素４１の投影５１が複数のカメラ画素７１〜８６にまたがっている場合、表示画素の生成は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素７１〜８６に対して平均化および／またはフィルタリングを行うことを含む。例えば、仮想画素４１に対応する表示画素３１の値を生成するために、カメラ画素７１〜８６のそれぞれの値を加算して画素７１〜８６の総数で除算することができる。

【0033】

各表示画素３１と対応するカメラ画素との関係を計算することにより、マッピング機能を定義し格納することができる。新しいカメラ画像それぞれについて、カメラ画像の表示画像への変換をこのマッピング機能を用いて遂行することができる。

【0034】

図９に図示するように、図３に示す表示画像３０は、本質的に画像センサ平面５４に平行な投影平面９１に平行に投影された画像に対応する。仮想平面４０の仮想画素４１は、投影平面９１上の投影画素９０に実質的に平行に投影される。同一のサイズであり、例えば仮想平面４０内の３つの仮想画素４１に対応する第１の車両２１及び第２の車両２２は、表示画像３０上の、ここでも同一のサイズの第１及び第２の車両２１及び２２の画像に投影される。

【0035】

図１０には、車両４２の周囲の正面図を表示するデバイス１００のブロック図が図示されている。デバイス１００は車両カメラ４４を含み、車両カメラ４４は、車両４２周囲のカメラ画像２０を前記車両カメラ４４のレンズ５３を通して前記車両４４の画像センサ５２上に捉えるように構成されている。更に、デバイス１００は、捉えたカメラ画像２０を表示画像３０に変換するように構成された処理ユニット１０１を含む。表示画像３０は、図９に示すように、投影平面９１であって、前記画像センサ５２の画像センサ平面５４に平行な投影平面９１に平行に投影されている。更に、デバイス１００は、車両４２の内部に配置された表示デバイス１０２を含み、表示デバイス１０２は、車両４２のドライバーによる閲覧のために表示画像３０を表示するように構成されている。

【0036】

更なる実施形態によると、マイクロプロセッサ１０１は更に、車両カメラ４４から所定の距離４３に仮想平面４０を定義するように構成されている。更に、マイクロプロセッサ１０１は、図４及び５に示すように、仮想平面４０を複数の仮想画素４１に分割するように構成されている。更に、マイクロプロセッサは、カメラ画像２０への各仮想画素４１の車両カメラ４４のレンズ５３を通した投影５１を計算するように構成されている。カメラ画像２０は、図６及び７に示すように、複数のカメラ画素６１〜８６を含む。更に、マイクロプロセッサは、複数の仮想画素４１に対応する複数の表示画素３１であって、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜８６に基づき生成される各表示画素３１を用いて表示画像３０を生成するように構成されている。

【0037】

更なる実施形態によると、マイクロプロセッサ１０１は、それぞれの仮想画素４１の画像の投影５１の近傍に存在するカメラ画素６１〜８６に対して平均化および／またはフィルタリングを行うことにより各表示画素３１を生成するように構成されている。

【0038】

更に別の実施形態によると、マイクロプロセッサ１０１は、それぞれの仮想画素４１の画像の投影５１の近傍に存在するカメラ画素６１〜８６に対して補間を行うことにより各表示画素３１を生成するように構成されている。

【0039】

別の実施形態によると、デバイス１０は、少なくとも１つの更なる物体、例えば車両４２の周囲にある第１及び第２の車両２１及び２２を検出するように構成された検出デバイス１０３を更に備える。マイクロプロセッサ１０１は更に、少なくとも１つの更なる物体２１及び２２の速度を表示画像３０における物体２１、２２の運動に基づき判定するように構成されている。図９に示すように長さの比が保持されるため、第１又は第２の車両２１及び２２の速度は、表示画像３０におけるそれぞれの速度を計算することにより単純に計算することができる。

【0040】

図１１は、車両４２の周囲の正面の光景を表示するデバイス１００を備える車両４２のブロック図を示す。デバイス１００は、好ましくは上記実施形態のうちの１つに対応する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2017年4月26日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

−車両（４２）の周囲の正面の光景を表示する方法であって、
−前記車両（４２）の周囲のカメラ画像（２０）であって、複数のカメラ画素（６１〜８６）を含むカメラ画像（２０）を車両カメラ（４４）のレンズ（５３）を通して前記車両カメラ（４４）の画像センサ（５２）上に捉えるステップ（Ｓ１）；
−前記捉えたカメラ画像（２０）を処理ユニット（１０１）により前記画像センサ（５２）の画像センサ平面（５４）に平行な投影平面（９１）に平行に投影された画像に対応する表示画像（３０）に変換するステップ（Ｓ２）であって、複数の仮想画素（４１）に分割された仮想平面（４０）が前記車両カメラ（４４）から所定の距離に定義され、各仮想画素（４１）の前記カメラ画像（２０）への前記レンズ（５３）を通した投影（５１）が計算され、前記表示画像（３０）であって、複数の表示画素（３１）であって対応する仮想画素（４１）に関連する各表示画素を有する前記表示画像（３０）が生成され、各表示画素（３１）が前記関連する仮想画素（４１）の前記投影（５１）の近傍に存在する前記カメラ画素（６１〜８６）に対する補間及び／又は平均化及び／又はフィルタリングによって生成されるステップ；及び
−前記車両（４２）のドライバーによる閲覧のために前記表示画像（３０）を表示デバイス（１０２）に表示するステップ（Ｓ３）を含む、方法。

【請求項2】

表示画像（３１）の数と位置が、前記関連する仮想画素（４１）の数と位置に対応する、請求項１に記載の方法。

【請求項3】

前記カメラ画素（６１〜８６）に対する補間が、双線形補間又は３次ｂ−スプライン補完を含む、請求項１又は２に記載の方法。

【請求項4】

前記関連する仮想画素（４１）投影（５１）の近傍に存在するカメラ画素（６１〜８６）が、前記投影（５１）を構成する前記カメラ画素と境界を接している画素全てを含む、先行する請求のいずれか一項に記載の方法。

【請求項5】

−車両（４２）の周囲の正面の光景を表示するデバイス（１００）であって、
−前記車両（４２）の周囲のカメラ画像（２０）であって、複数のカメラ画素（６１〜８６）を含むカメラ画像（２０）を車両カメラ（４４）のレンズ（５３）を通して前記車両カメラ（４４）の画像センサ（５２）上に捉えるように構成された車両カメラ（４４）；
−前記捉えたカメラ画像（２０）を、前記画像センサ（５２）の画像センサ平面（５４）に平行な投影平面（９１）に平行に投影された画像に対応する表示画像（３０）に変換するように構成された、処理ユニット（１０１）であって、複数の仮想画素（４１）に分割された仮想平面（４０）を前記車両カメラ（４４）から所定の距離に定義し、各仮想画素（４１）の前記カメラ画像（２０）への前記レンズ（５３）を通した投影（５１）を計算し、前記表示画像（３０）であって、複数の表示画素（３１）であって対応する仮想画素（４１）に関連する各表示画素を有する前記表示画像（３０）を生成するように構成され、各表示画素（３１）を前記関連する仮想画素（４１）の前記投影（５１）の近傍に存在する前記カメラ画素（６１〜８６）に対する補間及び／又は平均化及び／又はフィルタリングによって生成するように構成された処理ユニット（１０１）；及び
−前記車両（４２）のドライバーによる閲覧のために前記表示画像（３０）を表示するように構成された表示デバイス（１０２）を備える、デバイス。

【請求項6】

請求項５に記載の車両（４２）の周囲の正面の光景を表示するデバイス（１００）を備えた車両（４２）。

【手続補正書】

【提出日】2018年7月17日

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周囲の正面の光景を表示する方法、車両の周囲の正面の光景を表示するデバイス、及び車両に関する。

【背景技術】

【0002】

現在の自動又は半自動運転システムは、３Ｄサラウンドビューを提供する複数の車両カメラを備える。捉えたデータから、車両の周囲に関する情報を取得することができる。特に、安全な運転を容易にするためには、走行車線又は他の車両の精度の高い認識が必要である。

【0003】

広角又は魚眼レンズを備えたカメラは、歪んだ画像を提供することが多く、信頼性の高い情報を推定するためには、それを修正する必要がある。文献ＵＳ８７１８３２９Ｂ２から、トップダウンビュー技術を使用した車両のための明確な走行路を検出する方法が公知である。

【0004】

Ｈｕｇｈｅｓら、「Ｗｉｄｅ−ａｎｇｌｅ ｃａｍｅｒａ ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ ａｕｔｏｍｏｔｉｖｅ ａｐｐｌｉｃａｔｉｏｎｓ：ａ ｒｅｖｉｅｗ」、ＩＥＴ Ｉｎｔｅｌｌｉｇｅｎｔ ｔｒａｎｓｐｏｒｔ ｓｙｓｔｅｍｓ，３（１）、２００９は、歪んだ画像の球面収差が補正されたピンホールモデル画像への変換を開示する。球面投影が、ＣＮ １０３ ２４７ ０３０Ａから公知である。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】ＵＳ８７１８３２９Ｂ２

【発明の概要】

【発明が解決しようとする課題】

【0006】

カメラの前を横断する車両の運動は多くの場合、歪んだ形で示される。従って、本発明の目的は、歪みの影響を低減した表示画像を提供することである。

【課題を解決するための手段】

【0007】

主題は、請求項１に記載する車両の周囲の正面の光景を表示する方法、請求項５に記載する車両の周囲の正面図を表示するデバイス、及び請求項６に記載する車両によって達成される。
第１の態様によると、本発明は、車両の周囲の正面の光景を表示する方法を提供し、方法は、車両の周囲のカメラ画像を車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えることを含む。前記捉えたカメラ画像は、処理ユニットにより表示画像であって、前記画像センサの画像センサ平面平行な投影平面に実質的に平行に投影された表示画像に変換される。前記表示画像は、前記車両のドライバーによる閲覧のために表示デバイスに表示される。

【0008】

第２の態様によると、本発明は、車両の周囲のカメラ画像を車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えるように構成された車両カメラを備える、車両の周囲の正面の光景を表示するデバイスを提供する。デバイスは、前記捉えたカメラ画像を表示画像であって、前記画像センサの画像センサ平面に平行な投影平面に実質的に平行に投影された表示画像に変換するように構成された処理ユニットを更に備える。更に、デバイスは、前記車両のドライバーによる閲覧のために前記表示画像を表示するように構成された表示デバイスを備える。

【0009】

第３の態様によると、本発明は、車両の周囲の正面の光景を表示するデバイスを備える車両を提供する。

【0010】

本発明は、表示画像を生成する方法及びデバイスを提供し、ここで、車両カメラから一定距離にある所定平面に位置するサイズが同一の２つの物体が表示画像において同一のサイズで表示される。換言すると、表示画像は、画像に平行に投影されたかのように物体を表示する。

【0011】

前記カメラ画像を変換することは、車両カメラから所定の距離に仮想平面を定義するステップ；仮想平面を複数の仮想画素に分割するステップ；カメラ画像であって、複数のカメラ画素を含むカメラ画像への各仮想画素のレンズを通した投影を計算するステップ；及び複数の仮想画素に対応する複数の表示画素であって、それぞれの仮想画素の投影の近傍に存在するカメラ画素に基づき生成される各表示画素を用いて表示画像を生成するステップを含む。方法は、捉えたカメラ画像を投影平面に平行に投影されたように見える表示画像に変換することを可能にする。

【0012】

方法の可能な実施形態において、各表示画素を生成することは、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して平均化および／またはフィルタリングを行うことを含む。特に、カメラ画像の中心領域においては、歪みの影響のため、カメラ画像は、表示画像よりも多くの詳細を含む。従って、表示画像のそれぞれの画素を生成するには、カメラ画像を簡素化するためにカメラ画素に対する平均化プロセスおよび／またはフィルタリングプロセスが遂行される。

【0013】

方法の可能な実施形態において、各表示画素を生成することは、それぞれの仮想画素の画像の投影の近傍に存在するカメラ画素に対して補間を行うことを含む。特に、カメラ画像の周辺領域においては、画像は圧縮されて見える。表示画像は、周辺領域においては元々のカメラ画像よりも多くの情報と高い画素密度を含むため、カメラ画像を詳細化するためにカメラ画素を補間する。

【0014】

方法の可能な実施形態において、車両の周囲において少なくとも１つの更なる物体が検出され、少なくとも１つの更なる物体の速度が、カメラ画像における物体の運動に基づき判定される。距離とサイズの比が表示画像において保持されるため、物体の速度の判定を容易に遂行することができる。

【0015】

マイクロプロセッサは更に、車両カメラから所定の距離に仮想平面を定義し、仮想平面を複数の仮想画素に分割し、カメラ画像であって、複数のカメラ画素を含むカメラ画像への各仮想画素の車両カメラのレンズを通した投影を計算するように構成される。マイクロプロセッサは、複数の仮想画素に対応する複数の表示画素であって、それぞれの仮想画素の投影の近傍に存在するカメラ画素に基づき生成される各表示画素を用いて表示画像を生成するように構成される。

【0016】

デバイスの可能な実施形態において、マイクロプロセッサは更に、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して平均化および／またはフィルタリングを行うことにより各表示画素を生成するように構成される。

【0017】

デバイスの可能な実施形態において、マイクロプロセッサは更に、それぞれの仮想画素の投影の近傍に存在するカメラ画素に対して補間を行うにより各表示画素を生成するように構成される。

【0018】

可能な実施形態において、デバイスは、車両の周囲において少なくとも１つの更なる物体を検出するように構成された検出デバイスを更に備える。マイクロプロセッサは更に、少なくとも１つの更なる物体速度を表示画像における物体の運動に基づき判定するように構成される。

【0019】

以下、添付の図面を参照して本発明の異なる態様の可能な実施形態をより詳細に説明する。

【図面の簡単な説明】

【0020】

【図1】一実施形態による車両の周囲の正面の光景を表示する方法のフローチャートを示す。

【図2】一実施形態による例示のカメラ画像を示す。

【図3】一実施形態による例示の表示画像を示す。

【図4】一実施形態による車両から一定距離にある仮想平面の略図を示す。

【図5】一実施形態による車両カメラの略図を示す。

【図6】一実施形態によるカメラ画像への仮想画素の投影の略図を示す。

【図7】一実施形態によるカメラ画像への仮想画素の投影の略図を示す。

【図8】一実施形態による仮想平面とカメラ画像と表示画像との関係を示す。

【図9】一実施形態による投影平面の略図を示す。

【図10】一実施形態による車両の周囲の正面の光景を表示するデバイスのブロック図を示す。

【図11】一実施形態による車両のブロック図を示す。

【発明を実施するための形態】

【0021】

図１は、車両の周囲の正面の光景を表示する方法のフローチャートを示す。車両は、少なくとも１台の車両カメラを備える。ステップＳ１において、車両の周囲のカメラ画像２０が車両カメラのレンズを通して前記車両カメラの画像センサ上に捉えられる。レンズは、画角が１８０度を超える広角レンズ又は魚眼レンズとすることができる。

【0022】

例示のカメラ画像２０を図２に示す。カメラ画像２０は歪んでいる、即ち、第１の車両２１を示しているカメラ画像２０の中心の領域が引き延ばされている一方で、第２の車両２２を示しているカメラ画像２０の周辺領域は、圧縮されている。

【0023】

第２のステップＳ２において、前記捉えたカメラ画像２０は、図３に示すように、図２のカメラ画像２０に対応する例示の表示画像３０に変換される。表示画像３０は、前記画像センサの画像センサ平面に平行な投影平面に平行に投影されている。換言すると、元のカメラ画像２０が含まない情報を除き、表示画像３０は、示されたシーンと同じサイズの画像センサに平行に投影されたかのように見える。

【0024】

第３のステップＳ３において、前記車両のドライバーによる閲覧のために前記表示画像３０が表示デバイスに表示される。

【0025】

前記カメラ画像の表示画像への変換の例示の実施形態を以下に説明する。

【0026】

図４において、車両４２が示され、車両４２の前端に車両カメラ４４が備えられている。車両カメラ４４をより詳細に図５に図示する。

【0027】

車両カメラ４４は、レンズ５３、及び画像センサ５２を備える。画像センサ５２は、ｙ−ｚ平面と一致する画像センサ平面５４内に存在する。ｘ軸に沿って、所定の距離４３、例えば２乃至１０ｍの値の位置に仮想平面４０が定義される。仮想平面４０は更に、複数の仮想画素４１に分割される。仮想画素４１毎に、仮想画素４１のレンズ５３を通した画像センサ５２上への対応する投影５１が計算される。カメラ画像２０上における仮想画素４１の投影５１が取得されるように、画像センサ５２は、カメラ画像２０と同一とみなされる。カメラ画像２０は、複数のカメラ画素を含む。

【0028】

図６に示す例示のシナリオにおいて、仮想画素４１の投影５１が更なるカメラ画素６１〜６４及び６６〜６９に囲まれた単一のカメラ画素６５内に存在する。図６に示すシナリオは、仮想平面４０の周辺領域に存在する仮想画素４１の場合に現れる。

【0029】

図７には、代替的な可能なシナリオが図示され、ここでは、仮想画素４１の投影５１は、複数のカメラ画素７１〜８６にまたがっている。こうしたシナリオは、特に仮想平面４０の中心に近い画素の場合に現れる。

【0030】

次に、表示画像３０が生成され、ここで、表示画像３０は、複数の表示画素３１を含む。各仮想画素４１に対して単一の表示画素３１が割り当てられる。特に、表示画素３１の数と位置は、対応する仮想画素４１の数と位置に対応する。

【0031】

図８には、仮想平面４０とカメラ画像２０と表示画像３０との対応が図示されている。関連する仮想画素４１に対応する各表示画素３１は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜８６に基づき生成される。仮想画素４１の投影５１が単一のカメラ画素に正確に一致する場合、対応する表示画素３１には、この単一のカメラ画素の値が与えられる。

【0032】

更なる実施形態によると、図６に図示する、仮想画素４１の投影５１が単一のカメラ画素６５内に存在する状況において、仮想画素４１に対応する表示画素３１の生成は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜６９に対して補間を行うことを含む。近傍は、カメラ画素６５と境界を接している全ての画素を含むことができる。補間することは、双線形補間又は３次ｂ−スプライン補完などの内挿法を含むことができる。

【0033】

更なる実施形態によると、図７に示すように仮想画素４１の投影５１が複数のカメラ画素７１〜８６にまたがっている場合、表示画素の生成は、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素７１〜８６に対して平均化および／またはフィルタリングを行うことを含む。例えば、仮想画素４１に対応する表示画素３１の値を生成するために、カメラ画素７１〜８６のそれぞれの値を加算して画素７１〜８６の総数で除算することができる。

【0034】

各表示画素３１と対応するカメラ画素との関係を計算することにより、マッピング機能を定義し格納することができる。新しいカメラ画像それぞれについて、カメラ画像の表示画像への変換をこのマッピング機能を用いて遂行することができる。

【0035】

図９に図示するように、図３に示す表示画像３０は、本質的に画像センサ平面５４に平行な投影平面９１に平行に投影された画像に対応する。仮想平面４０の仮想画素４１は、投影平面９１上の投影画素９０に実質的に平行に投影される。同一のサイズであり、例えば仮想平面４０内の３つの仮想画素４１に対応する第１の車両２１及び第２の車両２２は、表示画像３０上の、ここでも同一のサイズの第１及び第２の車両２１及び２２の画像に投影される。

【0036】

図１０には、車両４２の周囲の正面図を表示するデバイス１００のブロック図が図示されている。デバイス１００は車両カメラ４４を含み、車両カメラ４４は、車両４２の周囲のカメラ画像２０を前記車両カメラ４４のレンズ５３を通して前記車両４４の画像センサ５２上に捉えるように構成されている。更に、デバイス１００は、捉えたカメラ画像２０を表示画像３０に変換するように構成された処理ユニット１０１を含む。表示画像３０は、図９に示すように、投影平面９１であって、前記画像センサ５２の画像センサ平面５４に平行な投影平面９１に平行に投影されている。更に、デバイス１００は、車両４２の内部に配置された表示デバイス１０２を含み、表示デバイス１０２は、車両４２のドライバーによる閲覧のために表示画像３０を表示するように構成されている。

【0037】

マイクロプロセッサ１０１は、車両カメラ４４から所定の距離４３に仮想平面４０を定義するように構成されている。更に、マイクロプロセッサ１０１は、図４及び５に示すように、仮想平面４０を複数の仮想画素４１に分割するように構成されている。更に、マイクロプロセッサは、カメラ画像２０への各仮想画素４１の車両カメラ４４のレンズ５３を通した投影５１を計算するように構成されている。カメラ画像２０は、図６及び７に示すように、複数のカメラ画素６１〜８６を含む。更に、マイクロプロセッサは、複数の仮想画素４１に対応する複数の表示画素３１であって、それぞれの仮想画素４１の投影５１の近傍に存在するカメラ画素６１〜８６に基づき生成される各表示画素３１を用いて表示画像３０を生成するように構成されている。

【0038】

更なる実施形態によると、マイクロプロセッサ１０１は、それぞれの仮想画素４１の画像の投影５１の近傍に存在するカメラ画素６１〜８６に対して平均化および／またはフィルタリングを行うことにより各表示画素３１を生成するように構成されている。

【0039】

更に別の実施形態によると、マイクロプロセッサ１０１は、それぞれの仮想画素４１の画像の投影５１の近傍に存在するカメラ画素６１〜８６に対して補間を行うことにより各表示画素３１を生成するように構成されている。

【0040】

別の実施形態によると、デバイス１０は、少なくとも１つの更なる物体、例えば車両４２の周囲にある第１及び第２の車両２１及び２２を検出するように構成された検出デバイス１０３を更に備える。マイクロプロセッサ１０１は更に、少なくとも１つの更なる物体２１及び２２の速度を表示画像３０における物体２１、２２の運動に基づき判定するように構成されている。図９に示すように長さの比が保持されるため、第１又は第２の車両２１及び２２の速度は、表示画像３０におけるそれぞれの速度を計算することにより単純に計算することができる。

【0041】

図１１は、車両４２の周囲の正面の光景を表示するデバイス１００を備える車両４２のブロック図を示す。デバイス１００は、好ましくは上記実施形態のうちの１つに対応する。

【国際調査報告】