特許 6559253 車両の車両周囲を表示するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6559253

(24)【登録日】2019年7月26日

(45)【発行日】2019年8月14日

(54)【発明の名称】車両の車両周囲を表示するための方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20190805BHJP

   B60R 1/00 20060101ALI20190805BHJP

   G06T 1/00 20060101ALI20190805BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   G06T1/00 330A

【請求項の数】12

【全頁数】10

(21)【出願番号】特願2017-553144(P2017-553144)

(86)(22)【出願日】2016年3月30日

(65)【公表番号】特表2018-518863(P2018-518863A)

(43)【公表日】2018年7月12日

(86)【国際出願番号】EP2016056863

(87)【国際公開番号】WO2016162245

(87)【国際公開日】20161013

【審査請求日】2017年10月10日

(31)【優先権主張番号】102015206477.8

(32)【優先日】2015年4月10日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ホセ ドミンゴ エスパルザ ガルシア

(72)【発明者】

【氏名】ラファエル カノ

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特許第３３００３３４（ＪＰ，Ｂ２）

【文献】 特開２００５−２５８７９２（ＪＰ，Ａ）

【文献】 特開２０１５−０４５９２０（ＪＰ，Ａ）

【文献】 特表２０１０−５３３２８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両（１）の車両周囲を表示するための方法であって、
複数のカメラ（３ａ，３ｂ，３ｃ，３ｄ）を用いて、複数のカメラ画像で前記車両周囲を検出するステップと、
仮想空間で、幾何学的投影面上に複数のカメラ画像を投影するステップと、
前記仮想空間における仮想カメラと、前記幾何学的投影面の複数の点との間の距離を表す、前記仮想カメラの視野に対する深度マップを作成するステップと、
前記仮想空間において前記幾何学的投影面を結像する、前記仮想カメラの画像（１０）を計算するステップと、
前記幾何学的投影面が前記仮想カメラに対して所定の距離範囲に存在する、前記仮想カメラの前記画像の所定の領域を、前記深度マップに基づいて特定するステップと、
前記所定の領域（１２）が結像される領域において、前記仮想カメラの前記画像（１０）をソフトフォーカスさせるステップと、
を含むことを特徴とする方法。

【請求項2】

前記幾何学的投影面は、前記車両周囲に基づいてモデル化される、請求項１に記載の方法。

【請求項3】

前記所定の距離範囲は、前記仮想カメラに対して閾値によって定められる最短距離を上回る範囲である、請求項１又は２に記載の方法。

【請求項4】

前記仮想空間に前記車両（１）の仮想モデル（１４）が配置されており、
前記深度マップは、当該深度マップが、前記仮想カメラの画像における前記車両（１）の前記仮想モデル（１４）が検出される領域に対して、前記車両（１）の前記仮想モデル（１４）の当該領域内に結像される点と、前記仮想カメラとの間の距離を表すように、作成される、請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

前記仮想空間において、所定の関心点へ前記仮想カメラを調整するステップをさらに含む、請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

前記所定の関心点は、物体への前記車両（１）の接近が生じている点である、請求項５に記載の方法。

【請求項7】

車両（１）の車両周囲を表示するための装置（２）であって、
複数のカメラ画像で前記車両周囲を検出するための複数のカメラ（３ａ，３ｂ，３ｃ，３ｄ）と、
仮想空間で、幾何学的投影面上に複数のカメラ画像を投影する投影手段と、
前記仮想空間における仮想カメラと、前記幾何学的投影面の複数の点との間の距離を表す、前記仮想カメラの視野に対する深度マップを作成するマップ作成手段と、
前記仮想空間において前記幾何学的投影面を結像する、前記仮想カメラの画像（１０）を計算する計算手段と、
前記幾何学的投影面が前記仮想カメラに対して所定の距離範囲に存在する、前記仮想カメラの前記画像の所定の領域を、前記深度マップに基づいて特定する特定手段と、
前記所定の領域（１２）が結像される領域において、前記仮想カメラの前記画像（１０）をソフトフォーカスさせるソフトフォーカス手段と、
を備えていることを特徴とする装置（２）。

【請求項8】

前記幾何学的投影面は、前記車両周囲に基づいてモデル化される、請求項７に記載の装置（２）。

【請求項9】

前記所定の距離範囲は、前記仮想カメラに対して閾値によって定められる最短距離を上回る範囲である、請求項７又は８に記載の装置（２）。

【請求項10】

前記マップ作成手段は、前記仮想空間に前記車両（１）の仮想モデル（１４）が配置されている場合に、前記深度マップが、前記仮想カメラの画像における前記車両（１）の前記仮想モデル（１４）が検出される領域に対して、前記車両（１）の前記仮想モデル（１４）の当該領域内に結像される点と、前記仮想カメラとの間の距離を表すように、前記深度マップを作成する、請求項７乃至９のいずれか一項に記載の装置（２）。

【請求項11】

前記仮想空間において、所定の関心点へ前記仮想カメラを調整する調整手段をさらに備えている、請求項７乃至１０のいずれか一項に記載の装置（２）。

【請求項12】

前記所定の関心点は、物体への前記車両（１）の接近が生じている点である、請求項１１に記載の装置（２）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の車両周囲を表示するための方法に関する。

【背景技術】

【0002】

走行支援システムは、車両の誘導の際に運転者を支援することを目的としている。そのような運転者の支援は、例えば以下のような機能、即ち、
−運転者の直接的視野内に存在していない障害物との衝突を回避するために、車両の近接領域における周囲表示機能、
−運転者のための走行快適性を高めるための、運転者のいくつかの役割を引き継ぐ機能、
−運転者の活動性の監視及び危険な状況の場合の介入機能、及び／又は、
−運転者の存在を必要としない自動化された走行機能、
によって行うことが可能である。

【0003】

特に本発明は、それが特にいわゆるサラウンドビューシステムにおいて行われているような複合的映像を用いた車両周囲の表示のための方法に関する。そのようなサラウンドビューシステムにおいては、典型的には、車両周囲３６０°の映像の表示が可能になるように、複数のカメラが車両に配置されている。その際、典型的には、車両に配置された複数のカメラ、典型的には４台のカメラからの複数のカメラ画像が、典型的には鉢状の形態を有する幾何学的投影面に投影される。このことは、内的及び外的なカメラ較正に基づく画素割り当て（イメージマッピング）を用いて行われる。

【0004】

独国特許出願公開第１０２０１１１２１４７３号明細書（ＤＥ１０２０１１１２１４７３Ａ１）においては、自動車のカメラを用いた、自動車の周囲領域のカメラ画像の検出によって、自動車の表示装置へ複数の画像を表示するための方法が開示されている。

【0005】

米国特許出願公開第２０１４０１３９６７６号明細書（ＵＳ２０１４／０１３９６７６Ａ１）においては、少なくとも１つの画像センサ、制御部及び表示部を含む、車両用のビジョンシステムが開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】独国特許出願公開第１０２０１１１２１４７３号明細書

【特許文献2】米国特許出願公開第２０１４０１３９６７６号明細書

【発明の概要】

【課題を解決するための手段】

【0007】

発明の開示
車両の車両周囲を表示するための本発明に係る方法は、複数のカメラを用いて、複数のカメラ画像で車両周囲を検出するステップと、仮想空間で、幾何学的投影面上に複数のカメラ画像を投影するステップと、仮想空間における仮想カメラと、幾何学的投影面の複数の点との間の距離を表す、仮想カメラの視野に対する深度マップを作成するステップと、仮想空間において幾何学的投影面を結像する、仮想カメラの画像を計算するステップと、幾何学的投影面が仮想カメラに対して所定の距離範囲に存在する、仮想カメラの画像の所定の領域を、深度マップに基づいて特定するステップと、所定の領域が結像される領域において仮想カメラの画像を軟化又はソフトフォーカス（以下では、単にソフトフォーカスと称する）させるステップとを、含む。

【0008】

このようにして、運転者の視線が、計算された画像の観察の際に導かれる。特に、仮想カメラの画像と、これによって結像された車両周囲の画像との間の意図しない差異も（これらの差異は、幾何学的投影面の所定の領域に存在している）、ソフトフォーカスされ、それによって隠される。そのような意図しない差異は、仮想空間における幾何学的投影面が、その形態において、車両周囲を正確に再現しないことから時折生じる。

【0009】

従属請求項は、本発明の好ましい実施形態を示す。

【0010】

好ましくは、幾何学的投影面は、車両周囲に基づいてモデル化される。それにより、仮想カメラの画像と、これによって結像された車両周囲の画像との間の意図しない差異が最小化される。

【0011】

また好ましくは、所定の距離範囲は、仮想カメラに対する最短距離外に延在する範囲である。それにより、深さ効果が得られ、仮想カメラの画像は、特に立体的となる。

【0012】

さらに、好ましくは、仮想空間に、車両の仮想モデルが配置されている場合に、深度マップは、当該深度マップが、仮想カメラの画像における車両１の仮想モデル１４が検出される領域に対して、車両１の仮想モデル１４の当該領域内に結像される点と、仮想カメラとの間の距離を表すように作成される。この車両の仮想モデルは、仮想カメラの画像において、ユーザに基準点を与えている。深度マップの作成の際に、車両の仮想モデルを考慮することによって、当該仮想モデルは、仮想カメラの画像に順応し、それによって、車両周囲において異物と感じられることはない。

【0013】

また、好ましくは、この方法は、仮想空間において、所定の関心点へ仮想カメラを調整するステップを含む。このようにして、ユーザの注意を、所定の点に向けることが可能になる。

【0014】

さらに、好ましくは、所定の関心点は、物体への車両の接近が生じている点である。それにより、ユーザには、この接近が示唆され、衝突防止が可能になる。

【0015】

本発明に係る方法を実施するように構成されている装置も有利であり、本発明に係る方法のすべての利点を有している。

【0016】

以下においては、本発明の例示的な実施形態を、添付の図面を参照しながら詳細に説明する。

【図面の簡単な説明】

【0017】

【図1】本発明に係る方法の第１実施形態のフローチャート。

【図2】本発明に係る方法の第１実施形態を実施する装置を備えた車両。

【図3】複数のカメラ画像の予め定められた領域のソフトフォーカス表示が行われていない仮想カメラの画像。

【図4】本発明に係る方法の第１実施形態を用いて作成された仮想カメラの画像。

【図5】本発明に係る方法の第２実施形態を用いて作成された仮想カメラの画像。

【発明を実施するための形態】

【0018】

発明の実施形態
図１は、車両１の車両周囲を表示するための本発明に係る方法の第１実施形態のフローチャートを示す。この方法は、車両１の車両周囲を表示する装置２によって実行される。この車両１は、図２に例示的に示されている。

【0019】

車両１には、第１のカメラ３ａと、第２のカメラ３ｂと、第３のカメラ３ｃと、第４のカメラ３ｄとが配置されている。これらのカメラ３ａ，３ｂ，３ｃ，３ｄの各々は、車両１の車両周囲のそれぞれ１つの可及的に大きな区分を検出するために、それぞれ１つの魚眼レンズを備えている。第１のカメラ３ａは、車両１の右サイドミラーに配置されている。この場合、第１のカメラ３ａの光軸は、車両１の横軸に沿って、当該車両１から離隔する方向に調整されている。第２のカメラ３ｂは、車両１の車両前部に配置されている。この場合、第２のカメラ３ｂの光軸は、車両１の長手軸に沿って、当該車両から離隔する方向に調整されている。第３のカメラ３ｃは、車両１の左サイドミラーに配置されている。この場合、第３のカメラ３ｃの光軸は、車両１の横軸に沿って、当該車両から離隔する方向に調整されている。第４のカメラ３ｄは、車両１の車両後部に配置されている。この場合、第４のカメラ３ｄの光軸は、車両１の長手軸に沿って、当該車両１から離隔する方向に調整されている。これらのカメラ３ａ，３ｂ，３ｃ，３ｄの各々は、それぞれ１つの信号線路を介して、車両１の車両周囲を表示する装置２に接続されている。この場合、車両１の車両周囲を表示する装置２は、デジタル計算ユニットである。

【0020】

本発明に係る方法は、車両１の車両周囲を表示する装置２が動作すると直ちに開始される。この方法の開始後は、第１のステップＳ１が実行される。

【0021】

第１のステップＳ１においては、カメラ３ａ，３ｂ，３ｃ，３ｄを用いたカメラ画像における車両１の車両周囲の検出が行われる。この場合、これらのカメラ３ａ，３ｂ，３ｃ，３ｄの各々によって、１つの画像が検出され、この画像が装置２に伝送される。相互に隣接して車両１に配置されている、これらのカメラ３ａ，３ｂ，３ｃ，３ｄによるカメラ画像は、相互に重畳され、それによって、１つのカットにおいて、車両周囲の同じ領域を結像する。

【0022】

第１のステップＳ１の後においては、第２のステップＳ２が実行される。

【0023】

この第２のステップＳ２においては、仮想空間における１つの幾何学的投影面へのこれらのカメラ画像の投影が行われる。この場合、この仮想空間は、装置２によって計算方式で生成される数学的空間である。この仮想空間は、車両１周囲の実際の空間の数学的表示である。車両１の仮想モデル１４は、仮想空間に配置されている。幾何学的投影面は、仮想空間において、車両１の仮想モデル１４を取り囲む。

【0024】

幾何学的投影面は、車両周囲に基づいてモデル化される。この目的のために、車両周囲は、車両センサシステムを用いて走査される。この車両センサシステムは、車両１の周辺環境検出のためのシステムであり、このシステムは、例えば超音波センサ、ステレオカメラ又はライダシステムに基づいている。ここでは、距離値が検出され、これらの距離値は、車両周囲に配置されている物体と、車両１との間の距離を表している。これらの距離値は仮想空間に伝送され、幾何学的投影面と、車両１の仮想モデル１４との間の距離が、これらの距離値に応じて適合化される。

【0025】

複数のカメラ画像が幾何学的投影面に投影される場合、これらのカメラ３ａ，３ｂ，３ｃ，３ｄのカメラ画像は、テクスチャとして幾何学的投影面に格納される。この場合、これらのカメラ画像は、これらのカメラ画像に示されている車両周囲の実際の物体が、幾何学的投影面の次のような位置に出現するように修正される。即ち、車両１の仮想モデル１４に対するその位置が、車両１に対する実際の物体の位置に対応するような位置である。

【0026】

第２のステップＳ２の後においては、第３のステップＳ３が実行される。

【0027】

第３のステップＳ３においては、幾何学的投影面を仮想空間に結像する、仮想カメラの画像１０の計算が行われる。

【0028】

この目的のために、まず仮想空間における仮想カメラの位置及び調整が確定される。この仮想カメラの位置は、ここでは、例示的に車両１のモデル１４の右後方とする。それにより、このカメラは、仮想空間において車両１のモデル１４の後部の領域に配置される。この仮想カメラの調整は、例示的に、車両１のモデル１４の右側に沿って、車両１のモデル１４の前面方向に選択されている。

【0029】

仮想カメラ１０の画像は、複数の画素のマトリクスから成る。仮想カメラの位置及び調整に基づいて、各画素に対して、幾何学的投影面のどの部分又はどの点が画素に表示されるのかを計算する。仮想カメラの画像の画素の色値及び／又は輝度値は、投影面の部分又は点に応じて配置されたテクスチャの色値及び／又は輝度値に応じて選択される。

【0030】

図３は、仮想カメラの例示的な画像を示す。ここでは、まだソフトフォーカスは行われていない。この仮想カメラの画像１０の左方領域には、車両１の仮想モデル１４が配置されている。この車両１の仮想モデル１４の周りの領域には、そこにテクスチャとして格納されたカメラ画像を伴う幾何学的投影面が認識できる。この仮想カメラの画像１０の、車両１の仮想モデル１４の右前方に存在する領域１１においては、仮想カメラの画像と、これによって結像された車両周囲の画像との間で、意図しない差異が存在している。ここでは、単独車両１５が二重に表示されていることが明らかである。

【0031】

この単独車両１５が二重に表示されている理由は、それが一方では第１のカメラ３ａのカメラ画像に結像され、他方では第２のカメラ３ｂのカメラ画像に結像されたことによる。幾何学的投影面に、これらのカメラ画像を投影した際に、単独車両１５の２つの表示が、幾何学的投影面の同じ箇所に配置されなかった理由は、この幾何学的投影面の形態が、車両周囲の形態に完全には対応していなかったことによる。

【0032】

第３のステップＳ３の後においては、第４のステップＳ４が実行される。

【0033】

第４のステップＳ４においては、仮想カメラの視野に対する深度マップの作成が行われる。この深度マップは、幾何学的投影面の複数の点と、仮想空間における仮想カメラとの間の距離を表している。仮想カメラの視野は、仮想カメラの画像内に表示される領域に対応する。

【0034】

仮想カメラの画像１０の各画素に対して、当該画素内に結像される、幾何学的投影面の点と、仮想カメラの位置との間で、どのくらいの距離を有しているかが計算される。この距離は、距離値として深度マップに記憶される。したがって、この実施形態においては、この深度マップは、仮想カメラの画像１０が複数の画素を有しているのと同じ程度に多くの距離値を有している。深度マップの各距離値には、仮想カメラの画像１０の１つの画素が割り当てられている。

【0035】

この場合、深度マップは次のように作成される。即ち、当該深度マップが、仮想カメラの画像における車両１の仮想モデル１４が検出される領域に対して、車両１の仮想モデル１４の当該領域内に結像される点と、仮想空間における仮想カメラとの間の距離を表すように作成される。それにより、対応する画素に対する幾何学的投影面が車両の仮想モデル１４によって隠れる場合に、車両１の仮想モデル１４との間の距離を表す距離値が、深度マップに登録される。

【0036】

第４のステップＳ４の後においては、第５のステップＳ５が実行される。

【0037】

第５のステップＳ５においては、幾何学的投影面が、仮想カメラに対して所定の距離範囲に存在する、仮想カメラの画像の所定の領域１２を、深度マップに基づいて特定することが行われる。

【0038】

この所定の距離範囲は、この第１の実施形態においては、仮想カメラに対する最短距離外に延在する範囲である。この最短距離は、仮想空間内の距離である。この場合、最短距離は、閾値によって定められる。深度マップの距離値の各々は、閾値と比較される。距離値が閾値を上回るならば、この距離値に対応する、仮想カメラの画像１０の画素は、所定の領域１２に属する。距離値が閾値を下回る又は閾値に等しい場合には、この距離値に対応する、仮想カメラの画像の画素は、所定の領域１２に属さない。

【0039】

第５のステップＳ５の後においては、第６のステップＳ６が実行される。

【0040】

第６のステップＳ６においては、所定の領域１２が結像される領域において、仮想カメラの画像のソフトフォーカスが行われる。この目的のために、例えばガウス式ソフトフォーカス、又は、ソフトフォーカスが可能な任意の他のグラフィックフィルタが、仮想カメラの画像１０の所定の領域１２に適用される。

【0041】

図４は、本発明の第１の実施形態に従って生成された、仮想カメラの画像１０を示す。この仮想カメラの画像の左方領域には、車両１の仮想モデル１４が配置されている。この車両１の仮想モデル１４の周りの領域には、そこにテクスチャとして格納されたカメラ画像を伴う幾何学的投影面が認識できる。仮想カメラの画像１０の上方領域には、所定の領域１２が結像されており、この所定の領域１２はソフトフォーカスされ、さらに車両１の前方に存在している実世界の領域を結像している。幾何学的投影面は、この所定の領域内においては、深度マップによる閾値よりも大きい、仮想カメラとの間の距離を有している。ここでは、意図しない差異が存在している領域１１も、ソフトフォーカスされていたことが明らかである。

【0042】

第６のステップＳ６を実行した後においては、この方法は、第１のステップＳ１に戻るように分岐する。それにより、この方法は、１つのループ内で実行される。この方法は、装置２が動作を止めたときに終了する。

【0043】

それにより、本発明によれば、深度マップが、仮想カメラの位置に依存して生成される。さらに、車両周囲の部分的にソフトフォーカスされた結像が生成される。その際、画像深度は、実際のカメラのフォーカス範囲に応じて適合化が可能である。この効果は、肉眼の特性をシミュレートするために動的に適合化が可能である。このことは、特に、第５のステップＳ５で使用される閾値を変更することによって達成可能である。

【0044】

本発明の第２の実施形態は、本発明の第１の実施形態に対応している。ただし、この場合の本発明に係る方法は、付加的にさらなるステップを含み、このさらなるステップにおいては、仮想カメラを、仮想空間における所定の関心点に調整することが行われる。この場合、この所定の関心点は、物体への車両の接近が生じている点である。

【0045】

この目的のために、車両１の距離センサシステムを用いて、物体への車両１の接近が生じているかどうかが特定される。この関心点は、ここでは、車両１への物体の接近が生じている、車両周囲の領域の中心である。仮想カメラの位置は、当該仮想カメラが仮想空間において直接関心点１６の上方に存在するように選択され、さらに仮想カメラの調整は、当該仮想カメラが鳥瞰図から関心点１６を見下ろすように選択される。

【0046】

図５は、本発明の第２の実施形態に従って計算された、仮想カメラの画像１０を示す。図５に示されている仮想カメラの画像においては、車両１の仮想モデル１４の後部が認識可能である。車両１の仮想モデル１４の右後方に存在するフォーカス範囲１３内においては、物体への車両１の接近が生じている。関心点は、このフォーカス範囲１３の中心に設定される。

【0047】

選択された仮想カメラの位置と調整の場合、仮想カメラに対する、この領域内で平坦にかつ路面に応じて配置される幾何学的投影面の距離は、関心点１６との間の距離の増加に伴って増加する。第１の実施形態の閾値は、この場合、第２の実施形態においては、次のように選択される。即ち、フォーカス範囲１３内に存在する、幾何学的投影面の点が、それぞれ、仮想カメラとの間で、閾値を下回る距離を有するように選択される。それにより、このフォーカス範囲１３は、本発明により定められる領域１２外に存在する領域に対応する。

【0048】

それにより、当該フォーカス範囲１３内に存在しない仮想カメラの画像１０の領域は、ソフトフォーカスされる。それにより、当該フォーカス範囲１３だけが、仮想カメラの画像内で鮮鋭に表示される。これにより、運転者の注意は、この領域に向けられる。

【0049】

ここでは、本発明に係る方法においては、幾何学的投影面の予め定められた領域が、ソフトフォーカスから除外可能であることを指摘しておく。

【0050】

上述の記載による開示の他に、図１乃至図５の開示も明示的に指摘する。

【図1】

【図2】

【図3】

【図4】

【図5】