特許 7384830 車両周辺部を表示するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-13

(45)【発行日】2023-11-21

(54)【発明の名称】車両周辺部を表示するための方法及び装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20231114BHJP

   H04N 7/18 20060101ALI20231114BHJP

【ＦＩ】

G06T1/00 330A

H04N7/18 J

【請求項の数】 10

(21)【出願番号】P 2020562169

(86)(22)【出願日】2019-05-16

(65)【公表番号】

(43)【公表日】2021-09-16

(86)【国際出願番号】 DE2019200044

(87)【国際公開番号】W WO2019223840

(87)【国際公開日】2019-11-28

【審査請求日】2022-04-22

(31)【優先権主張番号】102018207976.5

(32)【優先日】2018-05-22

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(72)【発明者】

【氏名】フリーベ・マルクス

(72)【発明者】

【氏名】スリカント・スクマー

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１５－１７１１０６（ＪＰ，Ａ）

【文献】特開２００６－３１１１５１（ＪＰ，Ａ）

【文献】独国特許出願公開第１０２０１００１０９０６（ＤＥ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

目下の、第二時点（ｔ）において、車両（１）内に車両周辺部を表示する方法であって、
この方法は、以下のステップ、即ち、
－第二時点（ｔ）よりも前の第一時点（ｔ－１）において、車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）の視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）の外側に配置されている車両周辺部の死角領域（Ｂ）の画像合成を含む第一死角領域画像（Ｉ＿Ｂ［ｔ］）を提供するステップ（Ｓ１）、
－死角領域（Ｂ）の各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）を、第二時点（ｔ）について推測された新ポジションに配置するステップ（Ｓ２）、
－各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）の新ポジションが、第二時点（ｔ）において、死角領域（Ｂ）内にあるか否かを決定するステップ（Ｓ３）、及び、
新ポジションが、死角領域（Ｂ）内にあると決定された場合には、各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）が、車両（１）のモーションデータ（ｖ＿ｘ，ｖ＿ｙ）に基づいて合成（Ｓ５Ａ）されることにより、第二時点（ｔ）の各々の第二死角領域ピクセル（ＩＢ＿ＳＰ［ｔ］）を生成するステップ（Ｓ４）、
を備えることを特徴とする方法。

【請求項2】

新ポジションが、死角領域（Ｂ）外にあると決定された場合は、各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）が、少なくとも一つの第一時点（ｔ－１）に撮影され、提供されたカメラ画像（Ｉ＿Ｆ［ｔ－１］，Ｉ＿Ｒ［ｔ－１］，Ｉ＿ＬＬ［ｔ－１］，Ｉ＿ＬＲ［ｔ－１］）を用いて合成（Ｓ５Ｂ）されることによって、第二時点（ｔ）の各々の第二死角領域ピクセル（ＩＢ＿ＳＰ［ｔ］）が、生成される（Ｓ４）ことを特徴とする請求項１に記載の方法。

【請求項3】

モーションデータ（ｖ＿ｘ，ｖ＿ｙ）から得られた、各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）のモーションベクトル（ＳＰ＿Ｖ）に基づいて、各々の異なる視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）を有する複数の車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）のうちのいずれの車載カメラからカメラ画像（Ｉ＿Ｆ［ｔ－１］，Ｉ＿Ｒ［ｔ－１］，Ｉ＿ＬＬ［ｔ－１］，Ｉ＿ＬＲ［ｔ－１］）が提供されるのかが決定されることを特徴とする請求項２に記載の方法。

【請求項4】

提供されるに当たって、その視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）に、移動ベクトル（ＳＰ＿Ｖ）が配置されている各々のカメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）のカメラ画像（Ｉ＿Ｆ［ｔ－１］，Ｉ＿Ｒ［ｔ－１］，Ｉ＿ＬＲ［ｔ－１］，Ｉ＿ＲＲ［ｔ－１］）が選択されることを特徴とする請求項３に記載の方法。

【請求項5】

車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）毎に、正に一枚のカメラ画像（Ｉ＿Ｆ［ｔ－１］，Ｉ＿Ｒ［ｔ－１］，Ｉ＿ＬＲ［ｔ－１］，Ｉ＿ＲＲ［ｔ－１］）のみを提供するために維持することを特徴とする請求項３又は４に記載の方法。

【請求項6】

第一時点（ｔ－１）の正に一枚の死角領域画像（ＩＢ＿ＳＰ［ｔ－１］）のみを提供するために維持することを特徴とする請求項１～５のうち何れか一項に記載の方法。

【請求項7】

各々の第二死角領域ピクセル（ＩＢ＿ＳＰ［ｔ］）から第二時点（ｔ）用に生成された第二死角領域画像（ＩＢ＿ＳＰ［ｔ］）と第二時点（ｔ）の少なくとも一枚の目下のカメラ画像（Ｉ＿Ｆ［ｔ］，Ｉ＿Ｒ［ｔ］，Ｉ＿ＬＬ［ｔ］，Ｉ＿ＬＲ［ｔ］）が、車両（１）内における表示のために組み合わされることを特徴とする請求項１～６のうち何れか一項に記載の方法。

【請求項8】

初期起動時に、車両周辺部の表示画像（Ｉ）は、死角領域（Ｂ）が、隠される程度に視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）内にずらされることを特徴とする請求項１～７のうち何れか一項に記載の方法。

【請求項9】

死角領域（Ｂ）が、車両（１）で走行した地表面に配置されていることを特徴とする請求項１～８のうち何れか一項に記載の方法。

【請求項10】

目下の、第二時点（ｔ）において、車両（１）内に車両周辺部を表示するための装置（１００）であって、
この装置（１００）は、
－車両周辺部の対応する視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）を把握するための、少なくとも一台の車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）、
－第二時点（ｔ）よりも前の第一時点（ｔ－１）における、視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）の外側に配置されている車両周辺部の死角領域（Ｂ）の画像合成を含む、正確に一枚の死角領域画像（Ｉ＿Ｂ［ｔ－１］）が維持されている記憶装置（１３０）、並びに、
－以下を実施するため、即ち、
ｉ）死角領域（Ｂ）の各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）を、第二時点（ｔ）に対して推定された新ポジションに配置すること、
ｉｉ）第二時点（ｔ）における各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）の新ポジションが、引き続きブラインド領域（Ｂ）内にあるか否かを決定すること、
ｉｉｉ）新ポジションが死角領域（Ｂ）内にあると決定された場合には、各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）が、車両（１）のモーションデータ（ｖ＿ｘ，ｖ＿ｙ）に基づいて合成（Ｓ５）されることにより、第二時点（ｔ）での各々の第二死角領域ピクセル（ＩＢ＿ＳＰ［ｔ］）を生成すること、
を実施するために適合されたデータ処理装置（１２０）、
を備えることを特徴とする装置（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周辺部を目下の時点において、車両内に表示するための方法ならびに装置に関する。

【背景技術】

【0002】

車両は、車両内にいる車両に乗っている人のために車両周辺部をディスプレーなどの表示装置に表示する又は再現するドライバーアシストシステムを備えてもよい。この様なドライバーアシストシステムは、サラウンドビューシステムとも呼ばれ、通常、車両に取付けられ、様々な視野領域をもつ、又は、異なる視野角を可能にする一台以上の車載カメラを有している。

【0003】

複数の視野領域が、異なる車載カメラによって把握されているが、すべての視野領域の外側にあり、したがってカメラ画像内に含まれない、死角としても知られる少なくとも一つの死角領域が残存する。この様な死角領域の例としては、観察している瞬間に車両が通過し、その結果、見えなくなる地表面がある。なぜなら通常は、様々な車載カメラが、例えば、車両前方、車両後方、及び車両側方に配置され、そこから遠くをみるため、地表面は、常に車両自体又はその車体によって覆われている。そのため、この領域は通常、表示されず、例えば、プレースホルダによって占有されている。このプレースホルダは、視覚的に見栄えが悪いだけでなく、車両搭乗者にとっても苛立たしい。

【発明の概要】

【発明が解決しようとする課題】

【0004】

よって本発明の課題は、車両内における車両周辺部の改善された表示を可能にする方法を提供する事である。

【課題を解決するための手段】

【0005】

この課題は、独立請求項に記載されている対象によって解決される。有利な実施形態、並びに、発展形態は、従属請求項、明細書、並びに、図面によって示される。

【0006】

本発明の第一の様態は、目下の、第二の時点において、車両内に車両周辺部を表示する方法に関する。「目下の」とは、車両周辺部の表示が、車両が動いている間、基本的にはリアルタイムでなされると理解することができる。車両は、例えば、オドメトリデータから決定できる車両速度でもって、任意の方向に移動してもよく、その際、リアルタイム表示は、適切なフレームレートで行われる。

【0007】

本発明による方法では、以下のステップを企図する。
－先ず、第一死角領域画像、例えば合成画像又はレンダリング画像は、複数の死角領域ピクセルで提供され、この画像は、第二時点よりも前の第一時点における車載カメラの視野領域の外側に配置された車両周辺部の死角領域の画像合成、例えばレンダリングが含まれる。即ち、第一時点は、観察されている目下の第二時点よりも時間的に前にある。
－次いで、死角領域の各々の第一死角領域ピクセルが、第二時点について推定された、例えば、予測された新ポジションに配置、例えば、変換が行われる。即ち、死角領域画像は、推定、予測、変換、補間等に基づいて、死角領域画像に含まれている旧ポジションから新ポジションに配置された複数の死角領域ピクセルを有している。エイリアシング効果を軽減するために、それぞれの単一の死角領域ピクセルの代わりに、死角領域ピクセルの組み合わせを使用することもできる。
－続いて、各々の第一死角領域ピクセルの新ポジションが、第二時点において、死角領域内にあるか否かを決定する。このように、考慮され新たに配置された死角領域ピクセルは、車両の移動に起因して死角領域の外側に位置してもよい。
－これに続いて、新ポジションが、死角領域内にあると決定された場合には、各々の第一死角領域ピクセルが、車両のモーションデータに基づいて動き補正しつつ合成されることにより、第二時点の各々の第二死角領域ピクセル（例えばレンダリングされたピクセル）の生成（例えば合成、レンダリングなど）が行われる。車両は、走行中に死角領域画像から死角領域画像に移動する可能性があるため、死角領域ピクセルも、その位置を変化させることができ、車両のモーションデータが、第二死角領域ピクセルを生成するために考慮される。車両が動いていない場合、第二死角領域ピクセルは、第一のものに相当する。モーションデータは、例えば、車両システムのオドメトリ又は複数のカメラ画像からの移動推定から取得することができる。

【0008】

この構成によれば、提案された方法は、複数の利点を提供する。このようにして、車両周辺部の死角領域の一時的な再構成が、表示されるべき車両周辺を参照することなく死角領域を持続的に覆うプレースホルダなしで行われる。更に、基本的には再帰的な方法であるため、一枚の第一死角領域画像のみを保持して提供する必要があるため、例えば、メモリユニット及び／又はデータ処理ユニットの有効なメモリリソースを節約することが可能である。これにより、この方法によって作動するドライバーアシストシステムを提供するコストを削減することができる。

【0009】

ある有利な発展形態では、各々の第一死角領域ピクセルの特定の新ポジションが、死角領域画像外にあると決定された場合、第二時点の各々の第二死角領域ピクセルが、第一時点で撮影された少なくとも一つの提供されたカメラ画像を用いて各々の第一死角領域ピクセルを、合成することによって、生成することができることを企図する。この場合、既に合成された画像（例えば、レンダリングされた画像）は、もはや更なる画像合成（例えば、レンダリング）のためのベースとして使用するのではなく、車両周辺部から撮影されたカメラ画像を使用する。これによっても、一枚のカメラ画像のみを保存し、提供すれば良いだけであるため、有意にメモリリソースを節約できる。車両が、例えば、車両前方への視線方向、車両後方への視線方向、及び、各々の車両側方横方向への視線方向に向けられた複数のカメラを有している場合、一台の車載カメラ毎に、それぞれのカメラ画像を提供することができる。

【0010】

更なる実施形態では、モーションデータから得られる、各々の第一死角領域ピクセルの移動ベクトルを用いて、それぞれ異なる視野領域を有する複数の異なる配置及び／又は整列された車載カメラのうち、どの一台の車載カメラから、ピクセル合成に用いられるカメラ画像が提供されるのかを、決定することができる。これにより、例えば、車両の動きによって車両前方に向けられている視野領域内に移動する第一死角領域ピクセルは、この車載カメラの一つのカメラ画像によって、生成又は合成、例えばレンダリングすることができる。

【0011】

車両の移動方向、即ち、直進、後進、及び／又は、カーブ走行などに応じて、移動ベクトルは、対応する車載カメラのそれぞれの視野領域内に配置してもよい。この場合、その視野領域内に移動ベクトルが配置されている正にそのカメラの対応するカメラ画像を、提供するために、選択することができる。

【0012】

メモリリソースを大幅に節約するために、既存の車載カメラ毎に正に一枚のカメラ画像、又は、一つのフレームが提供できるように保たれていることが有利である。

【0013】

これに関しては、第一時点に対して正に一枚の死角領域画像のみが提供できるように保たれていることも有利である。

【0014】

例えば、車両のディスプレー上に表示されるべき車両周辺部の表示画像を再生できる様にするためには、第二時点のそれぞれの第二死角領域ピクセルから生成された又は合成された、例えば、レンダリングされた第二死角領域画像を、第二時点の少なくとも一枚の、目下のカメラ画像と組み合わせることができる。この場合、視野領域は、リアルタイムのカメラ画像によって表され、死角領域は、目下の第二時点の第二死角領域画像によって表される。

【0015】

特に、この方法によって動作する装置、及び／又は、ドライバーアシストシステムの初期起動時には、死角領域の第一死角領域画像が未だ無い様な状況が起こり得る。次に、死角領域を隠すために、車両内部において表示されるべき表示画像を、それぞれの車載カメラ、例えばフロントカメラの視野領域にずらすことができる。

【0016】

この方法は、死角領域が、車両が走行する地表面、又は、車体によって覆われた地表面である場合に、特に有利に使用することができる。プレースホルダの代わりに、合成された、例えば、レンダリングされた表示画像を表示することができる。

【0017】

上述した方法は、例えば、車両の制御装置等の制御手段に実装することができる。制御手段は、記憶装置とデータ処理装置を有していることができる。

【0018】

本発明の更なる様態は、目下の、第二の時点において、車両内に車両周辺部を表示するための装置に関する。装置は、以下を装備している。
－車両周辺部の対応する視野領域を把握するための少なくとも一つの車載カメラ。
－第二時点よりも前の第一時点における、視野領域の外側に配置されている車両周辺部の死角領域の画像合成を含む、正確に一枚の死角領域画像が維持されている記憶装置。
－以下を実施するため、即ち、
ｉ）死角領域の各々の第一死角領域ピクセルを、第二時点に対して推定された新ポジションに配置すること、ｉｉ）第二時点における各々の死角領域ピクセルの新ポジションが、引き続き死角領域内にあるか否かを決定すること、かつ、ｉｉｉ）新ポジションが死角領域内にあると決定された場合は、各々の第一死角領域ピクセルが、車両のモーションデータに基づいて動き補正されることにより、第二時点での各々の第二死角領域ピクセルを生成すること、
を実施するために適合されたデータ処理装置。

【0019】

装置は、上述の方法に応じて発展させることが可能であり、特に、原理的に、再帰的な方法によって有意にメモリリソースを節約できると言う利点を有している。

【0020】

本発明は、特に、車両内部に配置された表示装置、例えば、ディスプレーを備えた車両用のドライバーアシストシステムに適している。

【0021】

以下、本発明の有利な実施形態を、添付されている図を用いて詳細に説明する。

【図面の簡単な説明】

【0022】

【図1】本発明の更なる一様態による車両周辺部を表示するための装置を備えた、一様態によるドライバーアシストシステムを備えた車両を示している。

【図2A】 以前に合成された死角領域画像をベースとして使用し、死角領域画像を生成する図解を示している。

【図2B】 以前に撮影されたカメラ画像をベースとして使用し、死角領域画像を生成する図解を示している。

【図2C】 以前に撮影されたカメラ画像をベースとして使用し、死角領域画像を生成する図解を示している。

【図3】本発明の更なる一様態による方法に対するフローチャートを示している。

【発明を実施するための形態】

【0023】

図面は、単なる概略図であり、本発明を説明するためだけに使用する。同じ、又は、同じ効果を有するエレメントには、一貫して、同じ参照番号が与えられている。

【0024】

図１は、地表面上にある車両１を示していて、この車両は、基本的に、ｘ方向及びｙ方向に移動でき、ドライバーアシストシステム又はサラウンドビューシステムでの形態の装置１００を備える。これにより、車両の乗員は、車両内で目下の車両周辺部のサラウンドビューを、表示又は視覚的表現として見ることが可能になる。

【0025】

このため、装置１００は、車両１の内部に配置され、表示画像Ｉを視覚的に表示するディスプレーの形態での表示装置１１０を備える。更に、装置１００は、表示装置１１０と共に作用する、少なくとも一つの（詳しくは説明しない）プロセッサを備えるデータ処理装置１２０、及び同様に共に作用する記憶装置１３０を備える。加えて、装置１００は、複数の車載カメラ１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲを備え、この車載カメラ１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲは、車両１の異なる位置に装備され、かつ異なる視角又は視野領域１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲを有する。したがって、車載カメラ１４０Ｆは車両前方に、車載カメラ１４０Ｒは車両後方に、車載カメラ１４０ＬＬは横方向左に、車載カメラ１４０ＬＲは横方向右に、配置されている。視野領域１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲは、各々のカメラ画像Ｉ＿Ｆ，Ｉ＿Ｒ，Ｉ＿ＬＬ，Ｉ＿ＬＲを把握でき、かつ直接的に表示装置１１０に再生され、場合によって、記憶装置１３０に（一時的に）保存される。表示するために、カメラ画像Ｉ＿Ｆ，Ｉ＿Ｒ，Ｉ＿ＬＬ，Ｉ＿ＬＲは、データ処理装置１２０によって、表示画像Ｉに合成される又は組み合わされる（図２Ａ～２Ｃ参照）。

【0026】

図１から、地表面では、その地表面上に位置する車両１又はその車両１の車体により、いずれの視野領域１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ内にもない死角領域Ｂが存在し、したがって、車体がそれぞれの視野を遮るため、いずれの車載カメラ１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲによっても把握できないことがわかる。その結果、表示装置１１０における表示画像Ｉの死角領域画像Ｉ＿Ｂとして、死角領域Ｂについて直接的なカメラ画像を再現することはできない。

【0027】

それにもかかわらず、表示装置１１０において死角領域画像Ｉ＿Ｂの形態で、基本的に写実的な表示で死角領域Ｂを表示するために、装置１００は、図２Ａ～２Ｃと図３を参照して以下に記述されている方法によって作動することができる。

【0028】

原則的には、表示装置１１０で車両周辺部を表示することは、目下の時点ｔにおいて、基本的にリアルタイムで実施するべきであるため、表示画像Ｉは、目下の時点ｔの車両周辺を含むべきである。これは、以下の説明及び図２Ａ～２Ｃにおいて、同じ参照番号での時間変数［ｔ］によって示される。それに応じて、目下の、第二時点ｔよりも前の第一時点ｔ－１は、図２Ａ～２Ｃでは、［ｔ－１］で示されている。

【0029】

装置１００の初期起動時には、任意のステップＳ０において、表示装置１１０の表示画像Ｉ内の死角領域Ｂは、車両周辺部の表示画像Ｉを車載カメラ１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲの視野領域１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲの内の一つに、死角領域Ｂがこのように空白になる程度にずらされることにより、空白にされる。視野領域１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲの選択は、例えば、車両の走行方向ｘ，ｙに応じて、車両速度ｖ＿ｘ，ｖ＿ｙ、操舵角、トランスミッションのギヤ選択などの車両のデータに応じて行うことができる。具象的に表現すると、表示画像Ｉは、時点ｔにおける実際の車両周辺部よりも、例えば、一台の車体の長さ分先行し、死角領域Ｂが空白となる。これにより、死角領域Ｂの代わりに、それぞれのカメラ画像ＩＦ［ｔ－１］，ＩＲ［ｔ－１］，ＩＬＬ［ｔ－１］，ＩＬＲ［ｔ－１］の一部分を含む初期死角領域画像Ｉ＿Ｂ［ｔ－１］を記憶し、利用可能な状態に保つことができる。

【0030】

ステップＳ１では、時点ｔ－１の死角領域画像Ｉ＿Ｂ［ｔ－１］が目下の時点ｔで記憶装置１３０から提供され、これは、装置１００の初期起動直後の一回目にのみ上述の死角の内容を含み、動作中は、以下の説明の如く連続的に更新される。車両１が、例えば、ｘ方向に１５ｍ／ｓで移動する場合、死角領域画像Ｉ＿Ｂの画像内容は、対応する画像繰り返しレートに応じて更新され、各々の目下の時点ｔに対して提供された時は、それに先行する時点ｔ－１の画像内容を含む。

【0031】

ステップＳ２では、データ処理装置１２０によって、死角領域画像Ｉ＿Ｂ［ｔ－１］の各々の第一死角領域ピクセルＩＢ＿ＳＰ［ｔ－１］が、目下の時点ｔに対して推定された又は予測された新ポジションに、例えば、特に、車両１のモーションデータｖ＿ｘ，ｖ＿ｙを考慮した、変換又は変換に似通った方法によって配置される。これらは、例えば、車両システム、例えば、車両バスによって提供される、又は、カメラ画像Ｉ＿Ｆ，Ｉ＿Ｒ，Ｉ＿ＬＬ，Ｉ＿ＬＲから決定される。新ポジションの推定又は予測は、例えば、適した画像処理方法によって行ってもよい。車両１が、例えば、ｖ＿ｘ＝１５ｍ／ｓで、ｘ方向にさらに移動した場合、対応する移動ベクトルＳＰ＿Ｖが、各々の死角領域ピクセルＩＢ＿ＳＰ［ｔ－１］に対して決定され、これが、第二死角領域ピクセルＩＢ＿ＳＰ［ｔ］として、図２Ａに示唆されている如く、それぞれの新ポジションに配置される。

【0032】

続いてステップＳ３において、データ処理装置１２０は、各々の死角領域ピクセルＩＢ＿ＳＰの新ポジションが、目下の時点ｔにおいて死角領域Ｂ内にあり続けるか否かを決定する。図２Ａに示されている実施例では、移動ベクトルＳＰ＿Ｖによってシフトされる又は変換されたそれぞれの死角領域ピクセルＩＢ＿ＳＰは、引き続き死角領域Ｂ内にある。

【0033】

この場合、
各々の第一死角領域ピクセルＩＢ＿ＳＰ［ｔ－１］が、ステップＳ５Ａにおいて、車両１のモーションデータに基づいて、動き補正され、即ち、特に移動ベクトルＳＰ＿Ｖによってシフトされることによって、
ステップＳ４において、各々の第二死角領域ピクセルＩＢ＿ＳＰ［ｔ］が、目下の時点ｔに対してデータ処理装置１２０において生成され、例えばレンダリングされる。二つの例示的な死角領域ピクセルＩＢ＿ＳＰについて図２Ａに示すように、これは、好ましくは、各々の第一死角領域ピクセルＩＢ＿ＳＰ［ｔ－１］が、その新ポジションに配置され、そこから、第二死角領域画像Ｉ＿Ｂ［ｔ］が生成され、例えばレンダリングされ、死角領域Ｂの代わりに表示画像Ｉ［ｔ］に表示されるまで繰り返される。続いて、第二死角領域画像Ｉ＿Ｂ［ｔ］は、記憶装置１３０に記憶され、ステップＳ１から始まる方法の次の実行において、内容的に更新された更なる第二時点ｔ＋ｎに対する第一死角領域画像Ｉ＿Ｂ［ｔ－１］として提供される。

【0034】

これは、以下の如く一般化できる。
Ｉ＿Ｂ［ｘ，ｙ，ｔ］＝Ｉ＿Ｂ［ｘ＋ｖ＿ｘ，ｙ＋ｖ＿ｙ，ｔ－１］，
尚式中、Ｉ＿Ｂは死角領域画像、ｖ＿ｘとｖ＿ｙは、ｘ方向とｙ方向へのモーションデータ、ｔ－１は第一時点、ｔは、目下の、第二時点である。

【0035】

図２Ｂでは、ステップＳ３において決定する別の可能な場合が示されていて、このステップＳ３では、各々の第一死角領域ピクセルＩＢ＿ＳＰ［ｔ－１］の新ポジションが、目下の時点ｔにおいて、死角領域Ｂ内になく、死角領域Ｂ外にある。よって、図２Ｂに示されている実施例では、移動ベクトルＳＰ＿Ｖによってシフトされた又は変換されたそれぞれの死角領域ピクセルＩＢ＿ＳＰは、ｘ方向への車両の移動によって、車載カメラ１４０Ｆの視野領域１４１Ｆに入っている。

【0036】

この場合、各々の第一死角領域ピクセルＩＢ＿ＳＰ［ｔ］が、ステップＳ５Ｂにおいて、第一時点ｔ－１で撮影され、提供されたカメラ画像Ｉ＿Ｆ［ｔ－１］に基づいて、合成され、例えばレンダリングされることによって、目下の時点ｔに対する各々の第二死角領域ピクセルＩＢ＿ＳＰ［ｔ］をステップＳ４において生成され、例えばレンダリングされる。

【0037】

図２Ｃは、右カーブ走行の例のステップＳ３において決定する場合を示していて、この右カーブ走行は、モーションデータｖ＿ｘ，ｖ＿ｙによるｘ方向及びｙ方向での移動を含む。図２Ｃに示されている如く、移動ベクトルＳＰ＿Ｖによってシフトされた又は変換された各々の死角領域ピクセルＩＢ＿ＳＰは、ｘ方向への車両の移動によって、車載カメラ１４０ＬＲの視野領域１４１ＬＲに入っている。

【0038】

この場合、ステップＳ４では、各々の第一死角領域ピクセルＩＢ［ｔ－１］が、ステップＳ５Ｂにおいて、第一時点ｔ－１で撮影され、提供されたカメラ画像Ｉ＿ＬＲ［ｔ－１］に基づいて、それぞれの第一死角領域ピクセルＩＢ［ｔ－１］を合成、例えばレンダリングすることによって、目下の時点ｔに対して各々の第二死角領域ピクセルＩＢ＿ＳＰ［ｔ］が生成される、例えばレンダリングされる。二つの例示的な死角領域ピクセルＩＢ＿ＳＰについて図２Ｂに示すように、これは、好ましくは、各々の第一死角領域ピクセルＩＢ＿ＳＰ［ｔ－１］が、その新ポジションに配置され、そこから、第二死角領域画像Ｉ＿Ｂ［ｔ］が生成され、例えばレンダリングされ、死角領域Ｂの代わりに表示画像Ｉ［ｔ］に表示されるまで繰り返される。続いて、第二死角領域画像Ｉ＿Ｂ［ｔ］は、記憶装置１３０に記憶され、ステップＳ１から始まる方法の次の実行において、内容的に更新された更なる第二時点ｔ＋ｎに対する第一死角領域画像Ｉ＿Ｂ［ｔ－１］として提供される。

【0039】

図２Ｂと２Ｃによれば、ステップＳ５Ｂでは、表示される死角領域ピクセルＩＢ＿ＳＰ［ｔ］の生成が、ここでは、画像合成、例えば、時点ｔ－１に撮影されたカメラ画像Ｉ＿Ｆ［ｔ－１］又はＩ＿ＬＲ［ｔ－１］のレンダリングによって実施される。この原理は、言うまでもなく、他のカメラ画像Ｉ＿ＲやＩ＿ＬＬ同様に実施できる。

【0040】

これは、以下の如く一般化できる：
Ｉ＿Ｂ［ｘ，ｙ，ｔ］＝Ｉ＿Ｆ，Ｉ＿Ｒ，Ｉ＿ＬＬ，Ｉ＿ＬＲ［ｘ＋ｖ＿ｘ，ｙ＋ｖ＿ｙ，ｔ－１］，
尚式中、Ｉ＿Ｂは、死角領域画像、Ｉ＿Ｆ－Ｉ＿ＬＲは、車載カメラ１４０Ｆ－１４０ＬＲのカメラ画像、ｖ＿ｘとｖ＿ｙは、ｘ方向とｙ方向へのモーションデータ、ｔ－１は第一時点、ｔは、目下の第二時点である。

【0041】

さらに、オプションであるステップＳ６では、第二死角領域画像Ｉ＿Ｂ［ｔ］と、第二時点ｔにおける目下のカメラ画像Ｉ＿Ｆ［ｔ］，Ｉ＿Ｒ［ｔ］，Ｉ＿ＬＬ［ｔ］，Ｉ＿ＬＲ［ｔ］とから、表示装置１１０用の表示画像Ｉが、組み合わされる。

【0042】

図３は、オプションであるステップＳ０、ステップＳ１～Ｓ５、並びにオプションであるステップＳ６を含む上述の方法が、再度、フローチャートとしてまとめられている。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下を含む。
１．
目下の、第二時点（ｔ）において、車両（１）内に車両周辺部を表示する方法であって、
この方法は、以下のステップ、即ち、
－第二時点（ｔ）よりも前の第一時点（ｔ－１）において、車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）の視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）の外側に配置されている車両周辺部の死角領域（Ｂ）の画像合成を含む第一死角領域画像（Ｉ＿Ｂ［ｔ］）を提供するステップ（Ｓ１）、
－死角領域（Ｂ）の各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）を、第二時点（ｔ）について推測された新ポジションに配置するステップ（Ｓ２）、
－各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）の新ポジションが、第二時点（ｔ）において、死角領域（Ｂ）内にあるか否かを決定するステップ（Ｓ３）、及び、
新ポジションが、死角領域（Ｂ）内にあると決定された場合には、各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）が、車両（１）のモーションデータ（ｖ＿ｘ，ｖ＿ｙ）に基づいて合成（Ｓ５Ａ）されることにより、第二時点（ｔ）の各々の第二死角領域ピクセル（ＩＢ＿ＳＰ［ｔ］）を生成するステップ（Ｓ４）、
を備えることを特徴とする方法。
２．
新ポジションが、死角領域（Ｂ）外にあると決定された場合は、各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）が、少なくとも一つの第一時点（ｔ－１）に撮影され、提供されたカメラ画像（Ｉ＿Ｆ［ｔ－１］，Ｉ＿Ｒ［ｔ－１］，Ｉ＿ＬＬ［ｔ－１］，Ｉ＿ＬＲ［ｔ－１］）を用いて合成（Ｓ５Ｂ）されることによって、第二時点（ｔ）の各々の第二死角領域ピクセル（ＩＢ＿ＳＰ［ｔ］）が、生成される（Ｓ４）ことを特徴とする上記１に記載の方法。
３．
モーションデータ（ｖ＿ｘ，ｖ＿ｙ）から得られた、各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）のモーションベクトル（ＳＰ＿Ｖ）に基づいて、各々の異なる視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）を有する複数の車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）のうちのいずれの車載カメラからカメラ画像（Ｉ＿Ｆ［ｔ－１］，Ｉ＿Ｒ［ｔ－１］，Ｉ＿ＬＬ［ｔ－１］，Ｉ＿ＬＲ［ｔ－１］）が提供されるのかが決定されることを特徴とする上記２に記載の方法。
４．
提供されるに当たって、その視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）に、移動ベクトル（ＳＰ＿Ｖ）が配置されている各々のカメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）のカメラ画像（Ｉ＿Ｆ［ｔ－１］，Ｉ＿Ｒ［ｔ－１］，Ｉ＿ＬＲ［ｔ－１］，Ｉ＿ＲＲ［ｔ－１］）が選択されることを特徴とする請求項３に記載の方法。
５．
車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）毎に、正に一枚のカメラ画像（Ｉ＿Ｆ［ｔ－１］，Ｉ＿Ｒ［ｔ－１］，Ｉ＿ＬＲ［ｔ－１］，Ｉ＿ＲＲ［ｔ－１］）のみを提供するために維持することを特徴とする上記３又は４に記載の方法。
６．
第一時点（ｔ－１）の正に一枚の死角領域画像（ＩＢ＿ＳＰ［ｔ－１］）のみを提供するために維持することを特徴とする上記１～５のうち何れか一つに記載の方法。
７．
各々の第二死角領域ピクセル（ＩＢ＿ＳＰ［ｔ］）から第二時点（ｔ）用に生成された第二死角領域画像（ＩＢ＿ＳＰ［ｔ］）と第二時点（ｔ）の少なくとも一枚の目下のカメラ画像（Ｉ＿Ｆ［ｔ］，Ｉ＿Ｒ［ｔ］，Ｉ＿ＬＬ［ｔ］，Ｉ＿ＬＲ［ｔ］）が、車両（１）内における表示のために組み合わされることを特徴とする上記１～６のうち何れか一つに記載の方法。
８．
初期起動時に、車両周辺部の表示画像（Ｉ）は、死角領域（Ｂ）が、隠される程度に視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）内にずらされることを特徴とする上記１～７のうち何れか一つに記載の方法。
９．
死角領域（Ｂ）が、車両（１）で走行した地表面に配置されていることを特徴とする上記１～８のうち何れか一つに記載の方法。
１０．
目下の、第二時点（ｔ）において、車両（１）内に車両周辺部を表示するための装置（１００）であって、
この装置（１００）は、
－車両周辺部の対応する視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）を把握するための、少なくとも一台の車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）、
－第二時点（ｔ）よりも前の第一時点（ｔ－１）における、視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）の外側に配置されている車両周辺部の死角領域（Ｂ）の画像合成を含む、正確に一枚の死角領域画像（Ｉ＿Ｂ［ｔ－１］）が維持されている記憶装置（１３０）、並びに、
－以下を実施するため、即ち、
ｉ）死角領域（Ｂ）の各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）を、第二時点（ｔ）に対して推定された新ポジションに配置すること、
ｉｉ）第二時点（ｔ）における各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）の新ポジションが、引き続きブラインド領域（Ｂ）内にあるか否かを決定すること、
ｉｉｉ）新ポジションが死角領域（Ｂ）内にあると決定された場合には、各々の第一死角領域ピクセル（ＩＢ＿ＳＰ［ｔ－１］）が、車両（１）のモーションデータ（ｖ＿ｘ，ｖ＿ｙ）に基づいて合成（Ｓ５）されることにより、第二時点（ｔ）での各々の第二死角領域ピクセル（ＩＢ＿ＳＰ［ｔ］）を生成すること、
を実施するために適合されたデータ処理装置（１２０）、
を備えることを特徴とする装置（１００）。

【図1】

【図2A】

【図2B】

【図2C】

【図3】