特許 7385024 車両の視覚化を提供する方法および装置ならびに車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-13

(45)【発行日】2023-11-21

(54)【発明の名称】車両の視覚化を提供する方法および装置ならびに車両

(51)【国際特許分類】

   G06T 1/00 20060101AFI20231114BHJP

   H04N 7/18 20060101ALI20231114BHJP

【ＦＩ】

G06T1/00 330Z

H04N7/18 J

H04N7/18 V

【請求項の数】 15

(21)【出願番号】P 2022519326

(86)(22)【出願日】2020-09-16

(65)【公表番号】

(43)【公表日】2022-11-30

(86)【国際出願番号】 EP2020075877

(87)【国際公開番号】W WO2021073827

(87)【国際公開日】2021-04-22

【審査請求日】2022-03-25

(31)【優先権主張番号】19203132.6

(32)【優先日】2019-10-15

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】パナコス・アンドレアス

(72)【発明者】

【氏名】マイヤース・モーリッツ

(72)【発明者】

【氏名】フリーベ・マルクス

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２００８－０４２２３５（ＪＰ，Ａ）

【文献】特開２００９－２５３５７１（ＪＰ，Ａ）

【文献】特開２０１８－０４２１４８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２１０４４２（ＵＳ，Ａ１）

【文献】国際公開第２０１８／２０４６５６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ７／９０

Ｇ０６Ｔ １１／００－１１／４０

Ｇ０６Ｔ １５／００－１７／００

Ｇ０６Ｔ １７／１０－１７／３０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両（３）の視覚化を提供する方法において：
前記車両（３）の複数の車両カメラ（２２－２ｎ）の各前記車両カメラ（２２－２ｎ）に関して、前記車両カメラ（２２－２ｎ）のカメラ外部パラメータの現在値を受信するステップと；
前記車両（３）のホイール（３３）のサスペンションに関する、車両サスペンションデータを受信するステップと；
前記車両（３）の予め定義されたモデルを用いて、前記車両（３）を視覚化するステップであって、前記車両（３）が、地面表面に視覚化される、ステップと、を備え、
前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの現在値に基づいて、かつ、前記車両サスペンションデータに基づいて、前記地面表面が、前記車両（３）の前記ホイール（３３）に接触するようにモデル化される、方法。

【請求項2】

請求項１に記載の方法において：
各前記車両カメラ（２２－２ｎ）に関して、前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの現在値と、前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの予め定義された初期値との差を演算するステップと；
前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの現在値と、前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの前記予め定義された初期値との演算された差に基づいて、前記車両（３）の現在の３次元姿勢を演算するステップと、を備え、
前記地面表面が、前記車両（３）の演算された現在の３次元姿勢に基づいて、モデル化される、方法。

【請求項3】

前記車両（３）の３次元姿勢が、アフィン変換を用いて同次座標で演算され、前記アフィン変換が、前記車両（３）の回転に関する回転と、前記車両（３）の平行移動に関する平行移動を含む、請求項２に記載の方法。

【請求項4】

前記車両（３）の３次元姿勢が、多変量補間を、前記カメラ外部パラメータの現在値に適用することにより演算される、請求項３に記載の方法。

【請求項5】

前記多変量補間が、バイリニア補間およびバイキュービック補間の少なくとも１つを含む、請求項４に記載の方法。

【請求項6】

請求項２～５のいずれか１項に記載の方法において：
各前記ホイール（３３）に関して、前記車両サスペンションデータに基づいて変位を演算するステップをさらに備え、
前記地面表面が、前記車両（３）の前記ホイール（３３）の演算された変位に基づいて、モデル化される、方法。

【請求項7】

前記車両サスペンションデータが、各前記ホイール（３３）に関して、現在のサスペンション高さに関する情報を含み；
各前記ホイール（３３）に関して、前記変位が、現在のサスペンション高さと、予め定義された初期サスペンション高さとの差に基づいて演算される、請求項６に記載の方法。

【請求項8】

前記車両（３）の各前記ホイール（３３）の位置が、前記車両（３）の前記３次元姿勢に基づいて、かつ／または、前記車両（３）の前記ホイール（３３）の前記演算された変位に基づいて、演算される、請求項２～７のいずれか１項に記載の方法。

【請求項9】

前記地面表面が、前記ホイール（３３）の演算された位置を用いる多変量補間を用いて、モデル化される、請求項８に記載の方法。

【請求項10】

前記ホイール（３３）の演算された位置を用いる前記多変量補間が、バイリニア補間およびバイキュービック補間の少なくとも１つを含む、請求項９に記載の方法。

【請求項11】

車両（３）の視覚化を提供する装置（１）において：
前記車両（３）の複数の車両カメラ（２２－２ｎ）の各前記車両カメラ（２２－２ｎ）に関して、前記車両カメラ（２２－２ｎ）のカメラ外部パラメータの現在値を受信し、前記車両（３）のホイール（３３）のサスペンションに関する、車両サスペンションデータを受信するインタフェース（１１）と；
前記車両（３）の予め定義されたモデルを用いて、前記車両（３）の視覚化を演算するように構成される演算ユニット（１２）であって、前記車両（３）が、地面表面に視覚化される、演算ユニット（１２）と、を備え、
前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの現在値と、前記車両サスペンションデータとに基づいて、前記地面表面を、前記車両（３）の前記ホイール（３３）に接触するようにモデル化するように、前記演算ユニット（１２）が構成される、装置。

【請求項12】

前記車両（３）の演算された視覚化を出力するためのディスプレイ（１３）をさらに備える、請求項１１に記載の装置（１）。

【請求項13】

複数の車両カメラ（２２－２ｎ）と；
請求項１１または１２に記載の装置（１）と、を備える、車両（３）。

【請求項14】

－前記車両カメラ（２２－２ｎ）の現在のカメラ外部パラメータ、および、車両サスペンションデータを測定し、
－前記車両カメラ（２２－２ｎ）の測定された現在のカメラ外部パラメータ、および、前記車両サスペンションデータを、前記装置（１）に供給する
ように構成される少なくとも１つのセンサ（２１）をさらに備える、請求項１３に記載の車両（３）。

【請求項15】

前記車両（３）の周囲に配置される、少なくとも４つの車両カメラ（２２－２ｎ）を備える、請求項１３または１４に記載の車両（３）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の視覚化を提供する方法、車両の視覚化を提供する装置、および車両に関する。

【背景技術】

【0002】

最近の車両は、車両の車両カメラにより提供されるカメラデータに基づいて、車両の周囲の視覚化を提供する、サラウンドビューシステムを備えて構成される場合がある。より現実的な状況を提供するために、車両自体を視覚化する場合がある。車両の視覚化は、複数の特徴、例えば、車両のホイール、ステアリングホイール、フロントライト、リアライト、ドア、ボンネットなどのアニメーションを含む場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

アニメーションの限界は、車両下の地面に関する、予め定義された表面構造、例えばメッシュに起因する場合がある。例えば、地面が水平方向に平面であるようにモデル化されている場合、地面表面の実際の構造をリアルタイムで反映する手段は存在しない。

【0004】

したがって、上記に鑑みて、本発明の課題は、車両のより現実的な視覚化を提供することである。

【課題を解決するための手段】

【0005】

本発明によると、請求項１に記載の車両の視覚化を提供する方法、および、請求項１１に記載の車両の視覚化を提供する装置が提供される。さらに、本発明は、請求項１３に記載の車両を提供する。

【0006】

本発明の好ましい様々な特徴が、従属請求項に記載される。

【0007】

したがって、第１態様によると、本発明は、車両の視覚化を提供する方法を提供し、車両の複数の車両カメラの各車両カメラに関して、この車両カメラのカメラ外部パラメータの現在値が受信される。車両のホイールのサスペンションに関する、車両サスペンションデータが受信される。車両の予め定義されたモデルを用いて、車両が視覚化される。車両が、地面表面に視覚化される。車両カメラのカメラ外部パラメータの現在値と、サスペンションデータとに基づいて、地面表面が、車両のホイールに接触するようにモデル化される。

【0008】

第２態様によると、本発明は、インタフェースと、演算ユニットとを備える、車両の視覚化を提供する装置を提供する。車両の複数の車両カメラの各車両カメラに関して、この車両カメラのカメラ外部パラメータの現在値を受信し、車両のホイールのサスペンションに関する、車両サスペンションデータを受信するように、インタフェースは構成される。演算ユニットは、車両の予め定義されたモデルを用いて、車両の視覚化を演算し、車両が、地面表面に視覚化される。演算ユニットは、車両カメラのカメラ外部パラメータの現在値と、サスペンションデータとに基づいて、地面表面を、車両のホイールに接触するようにモデル化する。

【0009】

第３態様によると、本発明は、複数の車両カメラと、本発明に係る、車両の視覚化を提供する装置と、を備える車両を提供する。

【0010】

本発明は、非平面の地面表面の車両の垂直方向移動を含む、車両の現実的なシミュレーションを提供する。したがって、本発明は、車両のより良好な視覚化を提供することができ、その結果、ヒューマンマシンインタフェースが改善される。

【0011】

車両のより現実的な視覚化を手元に有することで、運転者は、障害物や、平坦でない道路構造を認識することができ、これにしたがって、車両を制御することができる。また、視覚化に基づいて車両の車両機能を制御可能な運転支援システムへの入力として、視覚化モデルが提供されてよい。例えば、運転支援システムは、自動的または半自動的に、車両を加速、減速、または、操舵してよい。

【0012】

本発明によると、カメラ外部パラメータは、以下の行列の形で与えられてよい。

【0013】

【数1】

ここで、Ｒは、３×３回転行列、Ｔは、３×１平行移動ベクトルを示す。カメラ外部パラメータは、３次元ワールド座標から３次元カメラ座標への座標系変換に関する。カメラ外部パラメータは、ワールド座標系内の車両カメラの中心の位置および車両カメラの向きを定義する。平行移動ベクトルＴは、カメラ座標系について表される、ワールド座標系の原点の位置を与える。

【0014】

車両の視覚化を提供する方法の１つの実施形態によると、各車両カメラに関して、この車両カメラのカメラ外部パラメータの現在値と、車両カメラのカメラ外部パラメータの予め定義された初期値との差が演算される。車両カメラのカメラ外部パラメータの現在値と、車両カメラのカメラ外部パラメータの予め定義された初期値とのこの算出された差に基づいて、車両の現在の３次元姿勢が演算される。地面表面が、車両の演算された現在の３次元姿勢に基づいて、モデル化される。

【0015】

車両の視覚化を提供する方法の１つの実施形態によると、車両の３次元姿勢が、アフィン変換を用いて同次座標で演算される。このアフィン変換は、車両の回転に関する回転と、車両の平行移動に関する平行移動を含む。

【0016】

車両の視覚化を提供する方法の１つの実施形態によると、この車両のこの３次元姿勢が、多変量補間を、カメラ外部パラメータの現在値に適用することにより演算される。

【0017】

車両の視覚化を提供する方法の１つの実施形態によると、多変量補間が、バイリニア補間およびバイキュービック補間の少なくとも１つを含む。

【0018】

車両の視覚化を提供する方法の１つの実施形態によると、各ホイールに関して、車両サスペンションデータに基づいて、変位が演算される。地面表面は、車両のホイールの演算された変位に基づいて、モデル化される。

【0019】

車両の視覚化を提供する方法の１つの実施形態によると、車両サスペンションデータが、各ホイールに関して、現在のサスペンション高さに関する情報を含む。各ホイールに関して、変位が、現在のサスペンション高さと、予め定義された初期サスペンション高さとの差に基づいて演算される。

【0020】

車両の視覚化を提供する方法の１つの実施形態によると、車両の各ホイールの位置が、この車両の３次元姿勢に基づいて、かつ／または、車両のこのホイールの演算された変位に基づいて、演算される。

【0021】

車両の視覚化を提供する方法の１つの実施形態によると、地面表面が、ホイールの演算された位置を用いる多変量補間を用いて、モデル化される。

【0022】

車両の視覚化を提供する方法の１つの実施形態によると、ホイールの演算された位置を用いる多変量補間が、バイリニア補間およびバイキュービック補間の少なくとも１つを含む。

【0023】

車両の視覚化を提供する方法の１つの実施形態によると、視覚化が、ボウルビュー型視覚化を含んでよい。

【0024】

１つの実施形態によると、車両の視覚化を提供する装置は、車両の演算された視覚化を出力するためのディスプレイをさらに備える。

【0025】

１つの実施形態によると、車両は、車両カメラの現在のカメラ外部パラメータ、および、サスペンションデータを測定し、車両カメラの測定された現在のカメラ外部パラメータ、および、サスペンションデータを、装置に供給するように構成される少なくとも１つのセンサをさらに備える。

【0026】

１つの実施形態によると、車両の周囲に配置される、少なくとも４つの車両カメラを備える。

【0027】

本発明およびその有利な点をより完全に理解するために、以下の説明において、本発明の例示的な実施形態を、添付の図面を参照して、より詳細に説明する。図面中、同一の参照符号は、同一の部材を示す。

【図面の簡単な説明】

【0028】

【図1】図１は、本発明の１つの実施形態による、車両の視覚化を提供する装置の概略ブロック図を示す。

【図2】図２は、車両のサスペンション高さを示す、車両のリア部の概略図を示す。

【図3】図３は、車両の概略上面図を示す。

【図4】図４は、車両の概略側面図を示す。

【図5】図５は、本発明の１つの実施形態による、車両の概略ブロック図を示す。

【図6】図６は、本発明の１つの実施形態による、サラウンドビュー画像を提供する方法の概略フロー図を示す。

【発明を実施するための形態】

【0029】

添付の図面は、本発明をさらに理解するために含まれるものであり、本明細書に組み込まれ、その一部を構成する。図面は、本発明の特定の実施形態を示し、明細書の記載とともに、本発明の原理を説明する役割を果たす。本発明の他の実施形態、および、本発明に付随する多くの有利な点を、以下の詳細な説明に基づいてさらに理解することで、容易に認められるだろう。

【0030】

図１は、車両の視覚化を提供する装置１の概略ブロック図を示す。装置１は、インタフェース１１を備え、インタフェース１１は、ケーブルを介して、または、無線接続を介して、車両の複数の車両カメラ２２－２ｎに接続される。ここで、ｎは、２より大きい任意の整数であってよい。好ましくは、車両の周囲に配置される、少なくとも４つの車両カメラが設けられる。特に、車両カメラ２２－２ｎは、フロントカメラ、リアカメラ、および、車両の側方それぞれに少なくとも１つのサイドカメラを含んでよい。車両カメラ２２－２ｎは、３６０°ビューを提供するために配置される。隣接する車両カメラ２２－２ｎは、部分的に重なり合う検出領域を有してよい。

【0031】

インタフェース１１は、センサ２１にさらに接続され、センサ２１は、車両カメラ２２－２ｎのカメラ外部パラメータを測定する。センサ２１は、ヨー軸角速度センサ、加速度センサ、位置センサなどの少なくとも１つを含んでよい。センサ２１は、現在のカメラ外部パラメータを４×４行列として提供してよい。

【0032】

【数2】

ここで、Ｒは、３×３回転行列、Ｔは、３×１平行移動ベクトルを示す。４×４行列は、車両姿勢に対応する。

【0033】

また、カメラ外部パラメータは、（ｘ，ｙ，ｚ，Ｒｘ，Ｒｙ，Ｒｚ）の形で与えられてよく、ｘ，ｙ，ｚは、Ｔベクトルに対応し、Ｒｘ，Ｒｙ，Ｒｚは、Ｒ行列に、以下の式により対応する。
Ｒ＝Ｒｚ（ａ）・Ｒｙ（ｂ）・Ｒｘ（ｃ）

【0034】

センサ２１は、車両のホイールのサスペンションに関する、車両サスペンションデータをさらに測定し、測定されたサスペンションデータをインタフェース１１に供給する。サスペンションデータは、車両の各ホイールのサスペンション高さを含んでよい。

【0035】

車両カメラ２２－２ｎは、それぞれのカメラ画像を、インタフェース１１に供給する。

【0036】

インタフェース１１は、カメラ画像、サスペンションデータ、および、車両カメラ２２－２ｎのカメラ外部パラメータを、車両１の演算ユニット１２に供給する。演算ユニット１２は、プロセッサ、マイクロプロセッサ、集積回路、ＡＳＩＣなどの少なくとも１つを含んでよい。演算ユニット１２は、受信したカメラ外部パラメータ、サスペンションパラメータ、および、カメラ画像を保存し、プログラム命令を保存するための、少なくとも１つのメモリをさらに備えてよい。

【0037】

演算ユニット１２は、車両の予め定義された３次元モデルを用いて、車両の視覚化を演算する。車両の予め定義されたモデルは、特徴、例えば、車両のホイール、ステアリングホイール、フロントライト、リアライト、ドア、ボンネットなどを含んでよい。演算ユニット１２は、地面表面の車両のモデルを視覚化するように構成される。

【0038】

演算ユニット１２は、初期カメラ外部パラメータと、初期サスペンションデータとを保存する。演算ユニット１２により実行されるアルゴリズムは、現在のカメラ外部パラメータと初期カメラ外部パラメータとの差、および、ホイールの現在のサスペンション高さとホイールの初期サスペンション高さとの差の組み合わせを用いた、現在の車体状態の評価に基づく。

【0039】

演算ユニット１２は、車両のホイールが、地面表面に接触するように、地面表面を生成する。地面表面の演算は、車両カメラのカメラ外部パラメータの現在値に基づいて、かつ、サスペンションデータに基づいて、行われる。

【0040】

演算ユニット１２は、各車両カメラ２２－２ｎに関して、車両カメラのカメラ外部パラメータの現在値と、車両カメラのカメラ外部パラメータの予め定義された初期値との差を演算する。演算ユニット１２は、車両カメラ２２－２ｎのカメラ外部パラメータの現在値と、車両カメラ２２－２ｎのカメラ外部パラメータの予め定義された初期値との算出された差に基づいて、車両の現在の３次元姿勢をさらに演算する。車両の３次元姿勢は、アフィン変換を用いて同次座標で演算される。

【0041】

アフィン変換は、車両の回転に関する回転と、車両の平行移動に関する平行移動を含む。演算ユニット１２は、多変量補間を、カメラ外部パラメータの現在値に適用して、車両の３次元姿勢を演算する。

【0042】

演算ユニット１２は、バイリニア補間として多変量補間を含んでよい。

【0043】

さらに詳細には、演算ユニット１２は、現在のカメラ外部パラメータと初期カメラ外部パラメータとの差を演算して、車両の現在の３次元姿勢を評価してよい。同次座標を用いて、車両姿勢は、式（１）の４×４行列による回転および平行移動に対応する、アフィン変換の組み合わせにより与えられる。

【0044】

Ｒｚ（ａ）は、垂直方向のｚ軸周りで、角度ａの３×３回転行列である。Ｒｚ（ａ）は、非平面の地面表面に起因する車両姿勢のいかなる変化も反映しない。したがって、単位行列を用いてよい。

【0045】

Ｒｙ（ｂ）は、カメラ外部パラメータにおける、水平方向のｙ軸周りで、角度ｂの３×３回転行列である。角度ｂは、バイリニア補間を、ｙ軸回転に対応する、車両カメラのカメラ外部パラメータに適用することにより算出されてよい。

【0046】

Ｒｘ（ｃ）は、カメラ外部パラメータにおける、水平方向のｘ軸周りで、角度ｃの３×３回転行列である。角度ｃは、バイリニア補間を、ｘ軸回転に対応する、車両カメラのカメラ外部パラメータに適用することにより算出されてよい。

【0047】

Ｔは、３×１平行移動行列（またはベクトル）であり、ｘ変位、ｙ変位は、非平面の地面表面に起因する車両姿勢のいかなる変化も反映しないため、恒等に設定されてよい。ｚ座標は、バイリニア補間を、ｚ軸回転に対応する、車両カメラのカメラ外部パラメータに適用することにより算出されてよい。

【0048】

さらに、演算ユニット１２は、各ホイールに関して、車両サスペンションデータに基づいて変位を演算してよい。地面表面は、車両のホイールの演算された変位に基づいて、モデル化されてよい。ここで、車両サスペンションデータは、各ホイールに関して、現在のサスペンション高さに関する情報を含む。各ホイールに関して、変位は、現在のサスペンション高さと、予め定義された初期サスペンション高さとの差に基づいて演算される。車両の各ホイールの位置は、車両の３次元姿勢に基づいて、かつ、車両のホイールの演算された変位に基づいて、演算される。変位は、ｘ方向、ｙ方向、および、ｚ方向において演算されてよく、さらに、角度は、ホイールに関して、現在と初期のサスペンション位置および向きの差として算出されるサスペンション変位を用いて算出される。車両の予め定義されたモデルの各ホイールの底部は、それぞれ場合によっては異なる位置および角度に配置される。

【0049】

表面は、ホイールおよび車両高さと合うように算出される。車両下の内側地面平面メッシュ面高さは、車両ホイールの４つの底部高さを用いるバイリニア補間を用いて評価されてよい。

【0050】

一般に、表面は、ホイールの演算された位置を用いる多変量補間を用いてモデル化されてよい。

【0051】

地面平面メッシュは、車両下において等間隔であってよい。

【0052】

外側地面平面メッシュ面高さは、高さゼロに平滑化するようにモデル化される。したがって、簡単な補間が適用されてよい。

【0053】

演算ユニット１２は、視覚化をより平滑化し、より安定させるために、安定化フィルタリングメカニズム、例えば、カルマンフィルタを、各算出された高さにさらに適用してよい。

【0054】

演算ユニット１２は、車両のサラウンドビューをさらに生成してよい。車両は、ボウルの内側に視覚化されてよい。車両の地面表面は、上記ステップにより生成される。距離があるところでは、地面表面は、壁状部上に入り込む。演算ユニット１２は、車両カメラ２２－２ｎから受信したカメラ画像を、ボウルに投影してよい。これにより、車両のサラウンドビューが生成され、これを、車両の運転者に対して、装置のディスプレイ１３、例えば、車両のダッシュボードに呈示してよい。

【0055】

図２は、車両３のリア部の概略図を示す。車両３のホイール３３のサスペンション高さｓが示されている。さらに、カメラ２２が、車両３のリア側に、高さＨで位置している。座標系は、ｘが長手方向軸、ｙが水平方向軸、ｚが垂直方向軸を示すものとして定義される。

【0056】

図３は、４つの車両カメラ２２－２５を有する車両３の概略上面図を示す。第１車両カメラ２２は、車両３のフロント部に位置し、第２車両カメラ２３は、車両３の第１サイドに位置し、第３車両カメラ２４は、車両３の第２サイドに位置し、第４車両カメラ２５は、車両３のリア部に位置する。

【0057】

図４は、車両３の概略側面図を示す。

【0058】

図５は、車両３の概略ブロック図を示す。車両は、複数の車両カメラ２２－２ｎ、特に、フロントカメラ、リアカメラ、および／または、サイドカメラを備える。車両３は、車両カメラ２２－２ｎのカメラ外部パラメータを定めるためのセンサ２１をさらに備える。

【0059】

センサ２１は、カメラ外部パラメータを、サラウンドビュー画像を提供する装置１に供給する。さらに、車両カメラ２２－２ｎは、それぞれのカメラ画像を、装置１に供給する。装置１は、上記実施形態の１つにしたがって構成される。上記のように、装置１は、車両３の予め定義されたモデルを用いて、車両３の視覚化を提供し、車両３が、地面表面に視覚化される。地面表面は、車両３のホイールに接触する。

【0060】

装置１は、車両３の生成された視覚化を、車両３のディスプレイ３１に提供してよい。したがって、車両３の視覚化を、車両３の運転者に対して呈示してよい。

【0061】

装置１は、車両３の生成された視覚化を、運転支援システム３２にさらに提供してよく、運転支援システム３２は、車両３の少なくとも１つの運転機能を制御するように構成されてよい。例えば、運転支援システム３２は、車両３の視覚化に応じて、車両３を加速、減速、または、操舵してよい。

【0062】

図６は、サラウンドビュー画像を提供する方法の概略フロー図を示す。

【0063】

第１方法ステップＳ１において、車両３の複数の車両カメラ２２－２ｎに関し、好ましくは、少なくとも４つの車両カメラ２２－２ｎに関して、カメラ外部パラメータの現在値が受信される。

【0064】

第２方法ステップＳ２において、車両３のホイール３３のサスペンションに関する、サスペンションデータが受信される。

【0065】

第３方法ステップＳ３において、車両３の３次元姿勢が、アフィン変換を用いて同次座標で演算される。アフィン変換は、車両３の回転に関する回転と、車両３の平行移動に関する平行移動を含む。車両３の３次元姿勢が、多変量補間を、カメラ外部パラメータの現在値に適用することにより演算される。

【0066】

第４方法ステップＳ４において、各ホイールに関して、変位が、車両サスペンションデータに基づいて演算される。サスペンションデータは、各ホイール３３の現在のサスペンション高さに関する情報を含んでよい。変位は、現在のサスペンション高さと、予め定義された初期サスペンション高さとの差に基づいて、演算されてよい。

【0067】

第５方法ステップＳ５において、車両３の視覚化が演算され、車両３は、地面表面に視覚化される。地面表面は、車両３のホイールに接触するようにモデル化される。地面表面は、車両３のホイールの演算された変位に基づいて生成される。

【0068】

車両３の各ホイールの位置は、車両の３次元姿勢に基づいて、かつ、車両のホイールの演算された変位に基づいて、演算されてよい。

【0069】

地面表面は、ホイールの演算された位置を用いる多変量補間を用いて、モデル化されてよい。

【0070】

第６方法ステップＳ６において、サラウンドビューが、車両３の視覚化、および、車両カメラ２２－２ｎにより供給されるカメラ画像を用いて、生成されてよい。サラウンドビューを生成するために、車両３の視覚化３を含み、特に、モデル化された地面表面を含む、仮想ボウルが生成されてよい。サラウンドビューは、カメラ画像を、車両３のモデルを取り囲む仮想ボウルに投影することにより、生成されてよい。サラウンドビューは、車両３の運転者に対して呈示されてよい。代替的に、または、追加的に、サラウンドビューは、車両３の運転機能を制御するために、運転支援システム３２において用いられてよい。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下を含む。
１．
車両（３）の視覚化を提供する方法において：
前記車両（３）の複数の車両カメラ（２２－２ｎ）の各前記車両カメラ（２２－２ｎ）に関して、前記車両カメラ（２２－２ｎ）のカメラ外部パラメータの現在値を受信するステップと；
前記車両（３）のホイール（３３）のサスペンションに関する、車両サスペンションデータを受信するステップと；
前記車両（３）の予め定義されたモデルを用いて、前記車両（３）を視覚化するステップであって、前記車両（３）が、地面表面に視覚化される、ステップと、を備え、
前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの前記現在値に基づいて、かつ、前記サスペンションデータに基づいて、前記地面表面が、前記車両（３）の前記ホイール（３３）に接触するようにモデル化される、方法。
２．
上記１に記載の方法において：
各前記車両カメラ（２２－２ｎ）に関して、前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの前記現在値と、前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの予め定義された初期値との差を演算するステップと；
前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの前記現在値と、前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの前記予め定義された初期値との前記算出された差に基づいて、前記車両（３）の現在の３次元姿勢を演算するステップと、を備え、
前記地面表面が、前記車両（３）の前記演算された現在の３次元姿勢に基づいて、モデル化される、方法。
３．
前記車両（３）の前記３次元姿勢が、アフィン変換を用いて同次座標で演算され、前記アフィン変換が、前記車両（３）の回転に関する回転と、前記車両（３）の平行移動に関する平行移動を含む、上記２に記載の方法。
４．
前記車両（３）の前記３次元姿勢が、多変量補間を、前記カメラ外部パラメータの前記現在値に適用することにより演算される、上記３に記載の方法。
５．
前記多変量補間が、バイリニア補間およびバイキュービック補間の少なくとも１つを含む、上記４に記載の方法。
６．
上記１～５のいずれか１つに記載の方法において：
各前記ホイール（３３）に関して、前記車両サスペンションデータに基づいて変位を演算するステップをさらに備え、
前記地面表面が、前記車両（３）の前記ホイール（３３）の前記演算された変位に基づいて、モデル化される、方法。
７．
前記車両サスペンションデータが、各前記ホイール（３３）に関して、現在のサスペンション高さに関する情報を含み；
各前記ホイール（３３）に関して、前記変位が、前記現在のサスペンション高さと、予め定義された初期サスペンション高さとの差に基づいて演算される、上記６に記載の方法。
８．
前記車両（３）の各前記ホイール（３３）の位置が、前記車両（３）の前記３次元姿勢に基づいて、かつ／または、前記車両（３）の前記ホイール（３３）の前記演算された変位に基づいて、演算される、上記２～７のいずれか１つに記載の方法。
９．
前記地面表面が、前記ホイール（３３）の前記演算された位置を用いる多変量補間を用いて、モデル化される、上記８に記載の方法。
１０．
前記ホイール（３３）の前記演算された位置を用いる前記多変量補間が、バイリニア補間およびバイキュービック補間の少なくとも１つを含む、上記９に記載の方法。
１１．
車両（３）の視覚化を提供する装置（１）において：
前記車両（３）の複数の車両カメラ（２２－２ｎ）の各前記車両カメラ（２２－２ｎ）に関して、前記車両カメラ（２２－２ｎ）のカメラ外部パラメータの現在値を受信し、前記車両（３）のホイール（３３）のサスペンションに関する、車両サスペンションデータを受信するインタフェース（１１）と；
前記車両（３）の予め定義されたモデルを用いて、前記車両（３）の視覚化を演算するように構成される演算ユニット（１２）であって、前記車両（３）が、地面表面に視覚化される、演算ユニット（１２）と、を備え、
前記車両カメラ（２２－２ｎ）の前記カメラ外部パラメータの前記現在値と、前記サスペンションデータとに基づいて、前記地面表面を、前記車両（３）の前記ホイール（３３）に接触するようにモデル化するように、前記演算ユニット（１２）が構成される、装置。
１２．
前記車両（３）の前記演算された視覚化を出力するためのディスプレイ（１３）をさらに備える、上記１１に記載の装置（１）。
１３．
複数の車両カメラ（２２－２ｎ）と；
上記１１または１２に記載の装置（１）と、を備える、車両（３）。
１４．
－前記車両カメラ（２２－２ｎ）の前記現在のカメラ外部パラメータ、および、前記サスペンションデータを測定し、
－前記車両カメラ（２２－２ｎ）の前記測定された現在のカメラ外部パラメータ、および、前記サスペンションデータを、前記装置（１）に供給する
ように構成される少なくとも１つのセンサ（２１）をさらに備える、上記１３に記載の車両（３）。
１５．
前記車両（３）の周囲に配置される、少なくとも４つの車両カメラ（２２－２ｎ）を備える、上記１３または１４に記載の車両（３）。

【符号の説明】

【0071】

１ 装置
３ 車両
１１ インタフェース
１２ 演算ユニット
１３ ディスプレイ
２１ センサ
２２－２ｎ 車両カメラ
３１ ディスプレイ
３２ 運転支援システム
３３ ホイール
Ｈ カメラ高さ
ｓ サスペンション高さ
Ｓ１－Ｓ６ 方法ステップ
ｘ，ｙ，ｚ 座標

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】