特許 7132213 乗り物において乗り物周辺ビューを作成するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-29

(45)【発行日】2022-09-06

(54)【発明の名称】乗り物において乗り物周辺ビューを作成するための方法及び装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220830BHJP

   B60R 1/20 20220101ALI20220830BHJP

   B60R 1/27 20220101ALI20220830BHJP

【ＦＩ】

H04N7/18 J

B60R1/20 100

B60R1/27

【請求項の数】 7

(21)【出願番号】P 2019518222

(86)(22)【出願日】2017-09-21

(65)【公表番号】

(43)【公表日】2020-01-23

(86)【国際出願番号】 DE2017200098

(87)【国際公開番号】W WO2018072793

(87)【国際公開日】2018-04-26

【審査請求日】2020-05-12

(31)【優先権主張番号】102016220651.6

(32)【優先日】2016-10-20

(33)【優先権主張国・地域又は機関】DE

【前置審査】

(73)【特許権者】

【識別番号】503355292

【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ

【住所又は居所原語表記】Ｓｉｅｂｏｌｄｓｔｒａｓｓｅ １９， Ｄ－９０４１１ Ｎｕｅｒｎｂｅｒｇ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】フリーベ・マルクス

(72)【発明者】

【氏名】シュレプファー・イェルク

(72)【発明者】

【氏名】ガルシア・マルケス・ロドリゴ

(72)【発明者】

【氏名】ペッツォールト・ヨハネス

(72)【発明者】

【氏名】アルバイター・ゲオルク

(72)【発明者】

【氏名】ミルツ・シュテファン

【審査官】益戸 宏

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０３４７４７０（ＵＳ，Ａ１）

【文献】特開２００２－３５４４６７（ＪＰ，Ａ）

【文献】特開２００５－００１５７０（ＪＰ，Ａ）

【文献】特開平０９－０４６７０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２５

Ｂ６０Ｒ １／２０

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

乗り物において、乗り物周辺ビュー（ＦＵＡ）を作成するための方法であって、
当該方法が、以下のステップ、即ち、
（ａ）複数のカメラ画像（ＫＢ）を、乗り物の乗り物ボディ（３）に設けられている複数の車載カメラ（２）によって用意するステップ（Ｓ１）、並びに、
（ｂ）複数の車載カメラ（２）によって用意された複数のカメラ画像（ＫＢ）を基にして、乗り物ボディ（３）の下にあり、複数の車載カメラ（２）からは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビュー（ｏＦＵＡ）が、算出され、続いて、オリジナル乗り物周辺ビュー（ｏＦＵＡ）に基づいて、カラー予測マトリクス（ＦＰＭ）の算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクス（ＴＰＭ）の算出のための動き補正されたテクスチャ予測が実施され、並びに、
乗り物周辺ビュー（ＦＵＡ）に含まれ、乗り物ボディ（３）の下にあり、見えない地面のテクスチャが、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出され、用意された複数のカメラ画像（ＫＢ）を基に、乗り物の乗り物周辺ビュー（ＦＵＡ）を算出するステップ（Ｓ２）、
を備える、当該方法において、
オリジナル乗り物周辺ビュー（ｏＦＵＡ）とテクスチャ予測マトリクス（ＴＰＭ）との間の見えない地面の境界に沿った境界誤差が算出され、
見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクス（ＧＭ）を生成するために算出され、
カラー予測マトリクス（ＦＰＭ）と、テクスチャ予測マトリクス（ＴＰＭ）とが、乗り物周辺ビュー（ＦＵＡ）の算出のために、重み付けマトリクス（ＧＭ）によって、以下の組み合わせ、即ち、
ＦＵＡ＝ＧＭ×ＦＰＭ＋（１－ＧＭ）×ＴＰＭ，
の様に重み付けし、
この式中の、
ＦＵＡは、乗り物周辺ビューであり、
ＧＭは、重み付けマトリクスであり、
ＦＰＭは、カラー予測マトリクスであり、そして、ＴＰＭは、テクスチャ予測マトリクスである、
ことを特徴とする方法。

【請求項2】

センサー的に捕捉されたオドメトリデータに依存してテクスチャ予測マトリクス（ＴＰＭ）を算出するために動き補正されたテクスチャ予測が、実施されることを特徴とする請求項１に記載の方法。

【請求項3】

乗り物（Ｆ）において、乗り物周辺ビュー（ＦＵＡ）を作成するための装置であって、当該装置が、以下の、即ち、
－乗り物（Ｆ）の乗り物ボディ（３）に設置され、乗り物の乗り物周辺部（ＦＵＡ）の複数のカメラ画像（ＫＢ）を用意する複数の車載カメラ（２）、
－計算ユニット（４）が、複数の車載カメラ（２）によって用意された複数のカメラ画像（ＫＢ）を基にして、乗り物ボディ（３）の下にあり、複数の車載カメラ（２）からは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビュー（ｏＦＵＡ）を、算出し、続いて、
算出したオリジナル乗り物周辺ビュー（ｏＦＵＡ）に基づいて、カラー予測マトリクス（ＦＰＭ）の算出のためのローカルなカラー予測、及び、テクスチャ予測マトリクス（ＴＰＭ）の算出のための動き補正されたテクスチャ予測を実施し、並びに、
乗り物周辺ビュー（ＦＵＡ）内の乗り物ボディ（３）の下にあり見えない地面のテクスチャが、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出され、乗り物周辺ビュー（ＦＵＡ）を、用意された複数のカメラ画像（ＫＢ）を基に算出することができる様に構成された計算ユニット（４）、並びに、
－計算ユニット（４）によって算出された乗り物周辺ビュー（ＦＵＡ）を出力する出力ユニット、
を備える、当該装置において、
計算ユニット（４）が、オリジナル乗り物周辺ビュー（ｏＦＵＡ）とテクスチャ予測マトリクス（ＴＰＭ）との間の見えない地面の境界に沿った境界誤差を算出し、
計算ユニット（４）が、見えない地面領域内のピクセルの誤差度合いを、算出された境界誤差に依存して、重み付けマトリクス（ＧＭ）を生成するために算出し、
計算ユニット（４）が、カラー予測マトリクス（ＦＰＭ）とテクスチャ予測マトリクス（ＴＰＭ）とを、乗り物周辺ビュー（ＦＵＡ）の算出のために、重み付けマトリクス（ＧＭ）によって、以下の組み合わせ、即ち、
ＦＵＡ＝ＧＭ×ＦＰＭ＋（１－ＧＭ）×ＴＰＭ，
の様に重み付けし、
この式中の、
ＦＵＡは、乗り物周辺ビューであり、
ＧＭは、重み付けマトリクスであり、
ＦＰＭは、カラー予測マトリクスであり、そして、
ＴＰＭは、テクスチャ予測マトリクスである、
ことを特徴とする装置。

【請求項4】

テクスチャ予測マトリクス（ＴＰＭ）を算出するための動き補正されたテクスチャ予測が、乗り物のセンサーによって、センサー的に捕捉されたオドメトリデータに依存して実施されることを特徴とする請求項３に記載の装置。

【請求項5】

算出されたカラー予測マトリクス（ＦＰＭ）と算出されたテクスチャ予測マトリクス（ＴＰＭ）が、一つのデータ保存手段に一時保存されることを特徴とする請求項３又は４に記載の装置。

【請求項6】

請求項３から５のうち何れか一項に記載の乗り物周辺ビュー（ＦＵＡ）を作成するための装置（１）を備えた乗り物用のドライバーアシスタントシステム。

【請求項7】

請求項６のドライバーアシスタントシステムを搭載した陸上用の乗り物。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、乗り物、特に、陸上用の乗り物において、乗り物周辺ビューを作成するための方法ならびに装置に関する。

【背景技術】

【0002】

乗り物には、増々、乗り物周辺ビューを表示するためのシステムやサラウンドビューシステムが、搭載される様になってきている。サラウンドビューシステムは、乗り物のドライバーアシスタントシステムの一部であることができるが、その際、サラウンドビューシステムは、乗り物の乗り物周辺部を可能な限り詳細に再現するものである。ドライバーアシスタントシステムは、乗り物のドライバーを、特に、乗り物マヌーバの実施時にサポートするものである。従来のサラウンドビューシステムでは、乗り物の乗り物ボディに設置されている複数の車載カメラによって提供される複数のカメラ画像が、評価される。その際、複数の車載カメラは、乗り物ボディの側方に配置されていて、乗り物周辺部の複数のカメラ画像を作成する。

【0003】

しかしながら、様々な複数の車載カメラから提供される複数のカメラ画像は、乗り物ボディの下に横たわる地面の画像データを、供給しない。従来のサラウンドビューシステムは、乗り物ボディの下にある地面を、画一的な色で描写する。即ち、乗り物の乗り物ボディの下にあり、複数の車載カメラからは見えない地面は、十分には、描写されていない。よって、サラウンドビューシステムによって描写された乗り物周辺ビューは、例えば、乗り物のドライバーに、地面の領域において、乗り物周辺部の現実的な再現を提供していないため、運転マヌーバの実施の際に、ドライバーのサポートに悪影響を与えている。地面の再現が不十分であるため、運転マヌーバにおいて、例えば、駐車マヌーバや同様のマヌーバにおいて、乗り物ボディに傷がつく可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

よって、本発明の課題は、マヌーバを実施する際に、ドライバーをより効率的にサポートし、マヌーバ実施の際に乗り物ボディへの傷を回避できるようにするために、特に乗り物の地面領域の、より現実的な乗り物周辺ビューを作成するための方法を提供することにある。

【課題を解決するための手段】

【0005】

この課題は、本発明の請求項１記載の特徴を有する、乗り物において、乗り物周辺ビューを作成するための方法によって達成される。

【0006】

これによれば、本発明は以下のステップを有する乗り物において乗り物周辺ビューを作成するための方法を提供する：
複数のカメラ画像を、乗り物の乗り物ボディに設けられている複数の車載カメラによって用意するステップ、並びに、
用意された複数のカメラ画像を基に、乗り物の乗り物周辺ビューを算出するステップ、但し、乗り物周辺ビューに含まれる、乗り物ボディの下にあり、見えない地面のテクスチャは、ローカルなカラー予測、及び、動き補正されたテクスチャ予測を用いて割り出される。

【0007】

本発明に係る方法のある可能な実施形態においては、複数の車載カメラによって用意された複数のカメラ画像を基に、乗り物のオリジナル乗り物周辺ビューが、乗り物ボディの下にある、複数の車載カメラからは見えない地面用のテクスチャを割り出すことなく算出される。

【0008】

本発明に係る方法のある可能な実施形態においては、算出されたオリジナル乗り物周辺ビューを基に、カラー予測マトリクスを算出するためのローカルなカラー予測、並びに、テクスチャ予測マトリクスを算出するための動き補正されたテクスチャ予測が、実施される。

【0009】

本発明に係る方法のある更なる可能な実施形態においては、オリジナル乗り物周辺ビューと算出されたテクスチャ予測マトリクスとの間の見えない地面の境界に沿った境界誤差が、算出される。

【0010】

本発明に係る方法のある更なる可能な実施形態においては、見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクスを生成するために算出される。

【0011】

本発明に係る方法のある更なる可能な実施形態においては、カラー予測マトリクスとテクスチャ予測マトリクスが、乗り物周辺ビューの算出のために、割り出された重み付けマトリクスを用いて以下の様に重み付けされ組み合わされる：
ＦＵＡ＝ＧＭ×ＦＰＭ＋（１－ＧＭ）×ＴＰＭ，
尚、式中：
ＦＵＡは、乗り物周辺ビュー、
ＧＭは、重み付けマトリクス、
ＦＰＭは、カラー予測マトリクス、そして、
ＴＰＭは、テクスチャ予測マトリクスである。

【0012】

本発明に係る方法のある更なる可能な実施形態においては、センサー的に捕捉されたオドメトリデータに依存してテクスチャ予測マトリクスＴＰＭを算出するために動き補正されたテクスチャ予測が、実施される。

【0013】

本発明は、更に、第二のアスペクトにおいて、請求項３に記載の特徴を有する乗り物において乗り物周辺ビューＦＵＡを作成するための装置も提供する。

【0014】

それによれば、本発明は、以下を包含する乗り物において、乗り物周辺ビューＦＵＡを作成するための装置が提供される：
乗り物の乗り物ボディに設置され、乗り物の乗り物周辺部の複数のカメラ画像を用意する複数の車載カメラ、
乗り物の乗り物周辺ビューを、用意された複数のカメラ画像を基に算出する計算ユニット、
但し、乗り物の乗り物周辺ビュー内の乗り物ボディの下にある見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、
及び、
計算ユニットによって算出された乗り物周辺ビューを出力する出力ユニット。

【0015】

本発明に係る装置のある可能な実施形態においては、複数の車載カメラによって用意された複数のカメラ画像を基に、先ず、計算ユニットによって、乗り物のオリジナル乗り物周辺ビューが、乗り物ボディの下にある、複数の車載カメラからは見えない地面用のテクスチャを割り出すことなく算出される。

【0016】

本発明に係る装置のある更なる可能な実施形態においては、算出されたオリジナル乗り物周辺ビューを基に、計算ユニットによって、カラー予測マトリクスを算出するためのローカルなカラー予測、並びに、テクスチャ予測マトリクスを算出するための動き補正されたテクスチャ予測が、実施される。

【0017】

本発明に係る装置のある更なる可能な実施形態においては、計算ユニットによって、オリジナル乗り物周辺ビューとテクスチャ予測マトリクスとの間の見えない地面の境界に沿った境界誤差が、算出される。

【0018】

本発明に係る装置のある更なる可能な実施形態においては、計算ユニットによって、見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクスを生成するために算出される。

【0019】

本発明に係る装置のある更なる可能な実施形態においては、計算ユニットは、カラー予測マトリクスとテクスチャ予測マトリクスを、乗り物周辺ビューの算出のために、割り出された重み付けマトリクスを用いて以下の様に重み付けされ組み合わせる様に構成されている：
ＦＵＡ＝ＧＭ×ＦＰＭ＋（１－ＧＭ）×ＴＰＭ，
尚、式中：
ＦＵＡは、乗り物周辺ビュー、
ＧＭは、重み付けマトリクス、
ＦＰＭは、カラー予測マトリクス、そして、
ＴＰＭは、テクスチャ予測マトリクスである。

【0020】

本発明に係る装置の更なる可能な実施形態においては、装置は、算出したカラー予測マトリクスと算出したテクスチャ予測マトリクスを一時保存するための少なくとも一つのデータ保存手段も包含している。

【0021】

また本発明は、更なるアスペクトによれば、請求項６に記載の特徴を有するドライバーアシスタントシステムも、提供する。

【0022】

それによれば、本発明は、
乗り物の乗り物ボディに取り付けられ、乗り物の乗り物周辺部の複数のカメラ画像を用意する複数の車載カメラ、並びに、
乗り物の乗り物周辺ビュー内の乗り物ボディの下にある見えない地面のテクスチャを、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出し、用意された複数のカメラ画像に基づいて乗り物の乗り物周辺ビューを算出することに適している計算ユニットを、
有する
乗り物周辺ビューを作成するための装置を
備えた
乗り物用のドライバーアシスタントシステムを提供する。

【0023】

また本発明は、更なるアスペクトによれば、この様なドライバーアシスタントシステムを備えた陸上用の乗り物も、提供する。

【0024】

以下、様々な本発明に係るアスペクトの可能な実施形態を、添付されている図を用いて詳細に説明する：

【図面の簡単な説明】

【0025】

【図1】 乗り物の乗り物周辺ビューを作成するための本発明に係る方法の可能な実施形態の簡略化したフローチャートである。

【図2】 乗り物の乗り物周辺ビューを作成するための本発明に係る方法の可能な実施形態の模式的な描写である。

【図3】 乗り物の乗り物周辺ビューを作成するための本発明に係る装置の一例である実施形態の簡略化したブロック図である。

【発明を実施するための形態】

【0026】

図１から見て取れるように、本発明の第一アスペクトに係る乗り物において乗り物周辺ビューＦＵＡを作成するための方法は、示されている実施例では、二つのメインステップを包含している。

【0027】

第一ステップＳ１では、複数のカメラ画像が、乗り物の乗り物ボディに設置されている複数の車載カメラによって用意される。

【0028】

次の第二ステップＳ２では、計算ユニットによって、乗り物の乗り物周辺ビューが、ステップＳ１において用意された複数のカメラ画像を基に算出される。その際、乗り物周辺ビュー内の乗り物ボディの下にあり見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、又は、算出される。

【0029】

複数の車載カメラによって用意された複数のカメラ画像は、ステップＳ２において、先ず、乗り物の乗り物ボディの下にあり、複数の車載カメラからは見えない地面のテクスチャを割り出すことなく、乗り物のオリジナル乗り物周辺ビューｏＦＵＡが、算出される。続いて、計算ユニットが、オリジナル乗り物周辺ビューｏＦＵＡに基づいて、カラー予測マトリクスＦＰＭの算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクスＴＰＭの算出のための動き補正されたテクスチャ予測を実施する。この際、複数の予測アルゴリズムが、実施される。算出されたカラー予測マトリクスＦＰＭと動き補正されたテクスチャ予測マトリクスＴＰＭは、ある可能な実施形態においては、一つの、又は、複数の異なるデータ保存手段に更なるデータ処理のために一時保存されることができる。ステップＳ２では、好ましくは、見えない地面の境界に沿った、オリジナル乗り物周辺ビューｏＦＵＡ、並びに、算出され一時保存されたテクスチャ予測マトリクスＴＰＭの間の境界誤差が、算出される。続いて、ステップＳ２では、見えない地面領域内のピクセルの誤差度合いが、算出された境界誤差に依存して、重み付けマトリクスＧＭを生成するために算出される。重み付けマトリクスも、データ保存手段に、更なるデータ処理のために、一時保存されることができる。計算ユニットにより、ステップＳ２では、一時保存されたカラー予測マトリクスＦＰＭ、並びに、一時保存されたテクスチャ予測マトリクスＴＰＭが、乗り物周辺ビューＦＵＡの算出のために、一時保存された重み付けマトリクスＧＭによって、重み付けされ、以下の様に組み合わされる：
ＦＵＡ＝ＧＭ×ＦＰＭ＋（１－ＧＭ）×ＴＰＭ，
尚、式中：
ＦＵＡは、乗り物周辺ビュー、
ＧＭは、重み付けマトリクス、
ＦＰＭは、カラー予測マトリクス、そして、
ＴＰＭは、テクスチャ予測マトリクスである。

【0030】

ステップＳ２において計算ユニットによって実施されるテクスチャ予測マトリクスＴＰＭを算出するための動き補正されたテクスチャ予測は、ある可能な実施形態においては、センサー的に捕捉されたオドメトリデータに依存して実施されることができる。オドメトリデータは、その際、これも、乗り物の乗り物ボディに設けられているセンサーにより供給される。

【0031】

図２は、本発明に係る乗り物における乗り物周辺ビューＦＵＡを生成するための方法の実施例を示すための他のグラフを示している。

【0032】

先ず、オリジナル乗り物周辺ビューｏＦＵＡ、又は、サラウンドビューイメージが、乗り物ボディの下にある、複数の車載カメラからは見えない地面用のテクスチャを割り出すことなく、複数のカメラ画像を基に算出される。このオリジナル乗り物周辺ビューｏＦＵＡを基に、カラー予測マトリクスＦＰＭの算出のためのローカルなカラー予測を実施する一方、他方では、テクスチャ予測マトリクスＴＰＭの算出のための動き補正されたテクスチャ予測が、実施される。算出されたカラー予測マトリクスＦＰＭ、及び、テクスチャ予測マトリクスＴＰＭは、その後、好ましくは、更なるデータ処理のために、一時保存される。続いて、更なる中間ステップにおいて、好ましくは、見えない地面の境界に沿った、オリジナル乗り物周辺ビューｏＦＵＡ、並びに、算出され、そして、一時保存されたテクスチャ予測マトリクスＴＰＭの間の境界誤差（ｂｏｕｎｄａｒｙ ｅｒｒｏｒ）が、算出される。見えない地面領域内のピクセルの誤差度合いは、重み付けマトリクスＧＭを生成するために、好ましくは、算出された境界誤差に依存して、算出される。乗り物ボディの下の地面は、多数の画像点、又は、ピクセルによって表されることができる。従来の陸上用の乗り物では、乗り物ボディの下の地面は、典型的には、長方形であり、適した二次元の重み付けマトリクスＧＭを割り当てることができる。例えば、地面が、２００×５００画像点、又は、ピクセルによって再現できる場合、重み付けマトリクスは、２００の列と５００の行を有している。即ち、重み付けマトリクスＧＭは、地面の各々の画像点に対して一つの、計算ユニットによって、割り出した誤差度合いに基づき、算出された境界誤差に依存して、割り出される重み付けファクターを有している。算出された重み付けマトリクスとこれに含まれる重み付けファクターは、好ましくは、一時保存され、続いて、乗り物の乗り物周辺ビューＦＵＡの算出用のベースとして使用される。ある好ましい実施形態においては、一時保存されたカラー予測マトリクスＦＰＭと一時保存されたテクスチャ予測マトリクスＴＰＭが、一時保存された重み付けマトリクスＧＭによって、以下の様に重み付けされ組み合わされる：
ＦＵＡ＝ＧＭ×ＦＰＭ＋（１－ＧＭ）×ＴＰＭ。

【0033】

算出された乗り物周辺ビューＦＵＡは、乗り物ボディの下にある地面用のテクスチャも包含しているため、地面を含む乗り物の乗り物周辺部内を現実的に再現する。算出された乗り物周辺ビューＦＵＡは、出力ユニットを介して、出力される。ある可能な実施形態においては、算出された乗り物周辺ビューＦＵＡは、直接的に、乗り物のドライバーに対してドライバーアシスタントシステムＦＡＳの表示ユニット上に出力される。更なる可能な実施形態においては、地面用のテクスチャを含む算出された乗り物周辺ビューＦＵＡは、更なるデータ処理のために、一時保存される。たとえば、ドライバーアシスタントシステムのドライバーアシスタント機能は、算出され、一時保存された乗り物周辺ビューＦＵＡの画像データを、更に評価し、対応するドライバーアシスタントシステムの補助機能を、乗り物のドライバーに提供することもできる。複数の車載カメラによって用意された複数のカメラ画像の評価と、乗り物周辺ビューＦＵＡの算出は、ある好ましい実施形態においては、リアルタイムに実施される。乗り物周辺ビューＦＵＡをカラー予測と動き補正されたテクスチャ予測を用いてリアルタイムに算出する計算ユニットは、一つの、又は、複数のマイクロプロセッサーであることができる。乗り物周辺ビューＦＵＡの算出は、該当する乗り物が、停止している、又は、乗り物が、地面上を動いている時に実施されることができる。例えば、乗り物の乗り物ボディの側方に設けられている複数の車載カメラの数は、可変である。

【0034】

図３は、乗り物の乗り物周辺ビューＦＵＡを作成するための本発明に係る装置１の一例である実施形態の簡略化したブロック図を示している。装置１は、複数の車載カメラ２－１，２－２，２－３，２－４から、乗り物周辺部の複数のカメラ画像を継続的に対応するシグナル配線を介して受取る。複数の車載カメラ２－ｉは、乗り物Ｆの乗り物ボディ３に配置されている。その際、複数の車載カメラ２－ｉは、好ましくは、乗り物ボディ３の異なるサイドに設けられている。図３に示されている実施例では、乗り物は、乗り物Ｆの前方、後方、及び、双方の長手方向に設けられている四台の車載カメラを装備している。複数の車載カメラ２－ｉは、ある可能な実施形態においては、好ましくは、それらの視野が、重なり合っている、フィッシュアイカメラであることができる。乗り物周辺ビューＦＵＡを作成するための装置１は、示されている実施例では、計算ユニット４を包含している。計算ユニット４は、好ましくは、一つの、又は、複数のリアルタイムに画像処理をするためのマイクロプロセッサーを包含している。計算ユニット４は、シグナル配線を介して、複数の車載カメラ２－ｉから、複数のカメラ画像ＫＢを受け取る。計算ユニット４は、乗り物Ｆの乗り物周辺ビューＦＵＡを、用意され受信した複数のカメラ画像ＫＢを基に算出するが、この際、乗り物周辺ビューＦＵＡ内の乗り物ボディ３の下にあり、見えない地面のテクスチャは、ローカルなカラー予測及び動き補正されたテクスチャ予測によって割り出される、又は、算出される。図３に示されている実施例では、陸上用の乗り物Ｆの乗り物ボディ３は、長方形に形成されていて、乗り物ボディ３の下には、複数の車載カメラ２－ｉによって、捕捉できない同様に長方形の見えない地面がある。複数の車載カメラ２－ｉによって用意された複数のカメラ画像ＫＢを基にして、先ず、計算ユニット４により、乗り物ボディ３の下にあり、複数の車載カメラ２－ｉからは見えない地面のテクスチャを割り出すことなく、乗り物Ｆのオリジナル乗り物周辺ビューｏＦＵＡが、算出される。続いて、オリジナル乗り物周辺ビューｏＦＵＡに基づいて、計算ユニット４によりリアルタイムに、カラー予測マトリクスＦＰＭの算出のためのローカルなカラー予測、並びに、テクスチャ予測マトリクスＴＰＭの算出のための動き補正されたテクスチャ予測が実施される。その際、計算ユニット４は、対応するカラー予測アルゴリズム、及び、テクスチャ予測アルゴリズムを実施することができる。続いて、装置１の計算ユニット４は、見えない地面の境界に沿った、オリジナル乗り物周辺ビューｏＦＵＡ、並びに、算出され一時保存されたテクスチャ予測マトリクスＴＰＭの間の境界誤差を算出する。更には、見えない地面領域内のピクセルの誤差度合いが、計算ユニット４によって、重み付けマトリクスＧＭを生成するために、算出された境界誤差に依存して、算出される。最後に、計算ユニット４により、カラー予測マトリクスＦＰＭ、並びに、テクスチャ予測マトリクスＴＰＭが、乗り物周辺ビューＦＵＡの算出のために、重み付けマトリクスＧＭによって、重み付けされ、以下の様に組み合わされる：
ＦＵＡ＝ＧＭ×ＦＰＭ＋（１－ＧＭ）×ＴＰＭ，
尚、式中：
ＦＵＡは、乗り物周辺ビュー、
ＧＭは、重み付けマトリクス、
ＦＰＭは、カラー予測マトリクス、そして、
ＴＰＭは、テクスチャ予測マトリクスである。

【0035】

計算ユニット４には、好ましくは、算出された乗り物周辺ビューＦＵＡを出力するための出力ユニットが接続されている。出力ユニットは、ある可能な実施形態においては、算出された乗り物周辺ビューＦＵＡを乗り物Ｆのドライバーに対して出力する表示ユニットであることができる。また、出力ユニットは、乗り物周辺ビューＦＵＡを更に評価する更なるデータ処理ユニットへのデータインターフェースを包含することもできる。その際、ある可能な実施形態においては、算出された乗り物周辺ビューＦＵＡを基に、様々なサポート機能、又は、ドライバーアシスタント機能を乗り物Ｆのドライバーに提供するために、又は、算出するために、ドライバーアシスタントシステムＦＡＳの更なるドライバー・アシスタント・ユニットに、アクセスすることもできる様になっている。本発明に係る乗り物周辺ビューＦＵＡを生成するための装置１は、計算ユニット４を、特に好ましくは、ステップＳ２において用意された算出ステップＳ２をリアルタイムに実施できるプロセッサーを包含している。ある可能な実施形態においては、テクスチャ予測マトリクスＴＰＭを算出するための動き補正されたテクスチャ予測は、これらも乗り物Ｆの乗り物ボディ３に設けられているセンサー類によって捕捉されたオドメトリデータに依存して実施される。

【0036】

本発明に係る乗り物周辺ビューＦＵＡを作成するための方法は、図１に例示されているごとく、そして、乗り物Ｆにおいて乗り物周辺ビューＦＵＡを作成するための本発明に係る装置１は、図３に例示されているごとく、地面上に停止している乗り物Ｆにおいても、地面上を動いている乗り物Ｆにおいても、いずれも、乗り物周辺ビューＦＵＡを作成することを可能にする。乗り物Ｆが動いている場合、算出された乗り物周辺ビューＦＵＡの画質は、通常、より優れている。よって、本発明に係る乗り物周辺ビューＦＵＡを作成するための方法は、特に、動くことができる、又は、動いている乗り物に適している。乗り物周辺ビューＦＵＡを作成するための本発明に係る方法、並びに、本発明に係る装置１は、好ましくは、地面の上を動く、陸上用の乗り物において使用される。尚、陸上用の乗り物は、従来の道路用の乗り物、特に、乗用車や貨物自動車、又は、アスファルト舗装された地面を動いている農業用の乗り物であることができる。

【図1】

【図2】

【図3】