特許 7429100 車両周囲の状況をアーチファクトを低減して提示するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-30

(45)【発行日】2024-02-07

(54)【発明の名称】車両周囲の状況をアーチファクトを低減して提示するための方法およびシステム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240131BHJP

   B60R 1/27 20220101ALI20240131BHJP

   G06T 1/00 20060101ALI20240131BHJP

   G06T 5/77 20240101ALI20240131BHJP

   G06T 7/00 20170101ALI20240131BHJP

【ＦＩ】

H04N7/18 J

B60R1/27

G06T1/00 330Z

G06T5/00 720

G06T7/00 650Z

H04N7/18 K

【請求項の数】 10

【外国語出願】

(21)【出願番号】P 2019113654

(22)【出願日】2019-06-19

(65)【公開番号】P2020017942

(43)【公開日】2020-01-30

【審査請求日】2022-05-27

(31)【優先権主張番号】18185214.6

(32)【優先日】2018-07-24

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(72)【発明者】

【氏名】マルクス・フリーベ

(72)【発明者】

【氏名】スクマー・スリカント

(72)【発明者】

【氏名】パヴァンナグ・プラバカー

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１５－２２２９３４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０７４０７６（ＷＯ，Ａ１）

【文献】国際公開第２０１０／０８４７０７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１４／０３４７４７０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２３２８６９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２７

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

－車両周囲の状況を車両内に提示する方法であって、
－第１の時点ｔ－１に関する車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の少なくとも１つのアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を検出すること（Ｓ１）、
－隣接画像領域の画像データによって前記検出されたアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を再構成すること（Ｓ２）、
－前記アーチファクト含有領域の（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）（Ｓ３）少なくとも１つのサンプル点を判定すること、
－前記判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換すること（Ｓ４）、
－前記予測された新しい位置が依然として前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）内にあるか否か判定すること（Ｓ５）、及び
－前記過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を更新すること（Ｓ５Ａ）
を含む、方法。

【請求項2】

前記予測される新しい位置が前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の外にある場合、前記第１の時点ｔ－１に捕捉された画像のサンプル点を使用することにより前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）をレンダリングすること（Ｓ５Ｂ）を更に含む、請求項１に記載の方法。

【請求項3】

車両運動データから取得される運動ベクトル（ｍｖ＿ｘ、ｍｖ＿ｙ）により、可視領域（１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲ）が異なる複数の車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）のうちのどの特定の車載カメラから前記第１の時点ｔ－１の前記画像（Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ）が提供されているかが判定される、請求項２に記載の方法。

【請求項4】

前記アーチファクトが、前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）のレンズ上に存在する汚れ又は泥が原因で生じたものである、請求項１～３の何れか一項に記載の方法。

【請求項5】

前記サンプル点を判定することが、前記サンプル点の世界点を判定することを含む、請求項１～４の何れか一項に記載の方法。

【請求項6】

動き補正のための運動データが、前記車両（１）のオドメトリにより取得される、請求項１～５の何れか一項に記載の方法。

【請求項7】

前記世界点が、前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の較正データに基づき判定される、請求項５に記載の方法。

【請求項8】

少なくとも前記サンプル点を判定することが、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の全てのサンプル点が処理されるまで反復して遂行される、請求項１～７の何れか一項に記載の方法。

【請求項9】

車両周囲の状況を車両（１）内に提示するためのシステム（１００）であって、
－前記車両（１）周囲の可視領域（１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲ）を捕捉するように構成された少なくとも１台の車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）、
－第１の時点ｔ－１に前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）により捕捉される少なくとも１つの画像（Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ）を格納するように構成されたメモリ手段（１３０）、
－データ処理ユニット（１２０）であって、
－前記第１の時点ｔ－１に関する前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の少なくとも１つのアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を検出し（Ｓ１）、
－前記検出されたアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を隣接画像領域の画像データによって再構成し（Ｓ２）、
－前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の少なくとも１つのサンプル点を判定し（Ｓ３）、
－前記判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換し（Ｓ４）、
－前記予測された新しい位置が依然として前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）内にあるか否か判定し（Ｓ５）、
－前記過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより（Ｓ５Ａ）、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を更新する
ように構成されたデータ処理ユニット（１２０）を備える、システム。

【請求項10】

前記予測された新しい位置が前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の外にある場合、前記第１の時点ｔ－１に捕捉された画像のサンプル点を使用することにより前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）をレンダリングする（Ｓ５Ｂ）、請求項９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周囲の状況を車両内に提示するための方法および装置に関する。

【背景技術】

【0002】

車両は、車両周囲の状況を車両内の車両乗員に対し表示デバイス、例えば画面に表示するドライバー支援システムを含むことができる。こうしたドライバー支援システムは、サラウンドビューシステムとも呼ばれることがあり、通常は、車両に搭載され、異なる可視領域を有するか、車両周囲に対して異なる視野角を許容する１台以上の車載カメラを備える。

【0003】

こうしたサラウンドビューシステムの場合、周囲の状況を可能な限り良好に提示することが望ましい。車両外部に搭された車載カメラは、周囲の状況の情報を提供することができる。しかし、こうした外部搭載カメラのレンズは、例えばその上の汚れや泥による静的アーチファクトを有しやすい場合がある。したがって、撮像装置は、対応する画像の一部となるアーチファクトを捕捉する場合がある。結果として、こうした画像が周囲の状況を提示するために使用されると、アーチファクトが車両乗員に提示される光景の一部にもなり、それが乗員を異なる方向に導く可能性がある。したがって、こうしたアーチファクトを回避することが望ましい。原理上は、前照灯のクリーニングシステムに類似のクリーニングシステムにより汚れまたは泥を除去することが考えられるが、それには追加の導管、より大型のタンクなどが必要である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、本発明の目的は、車両内における車両周囲の状況の提示を改善する可能性を提供することである。

【課題を解決するための手段】

【0005】

この目的は、独立請求項の主題によって解決される。本発明の有利な実施形態及び更なる展開が、従属請求項、明細書、及び添付図面に示される。

【0006】

本発明の第１の態様は、車両周囲の状況を車両内に提示する方法を提供する。方法は、プロセッサ、プログラムコードなどを格納するメモリ手段を備えることができるデータ処理手段を用いて遂行することができる。方法は、下記のステップを含む：
－第１に、第１の時点ｔ－１に関する車載カメラの少なくとも１つのアーチファクト含有領域が検出される。アーチファクト含有領域は、撮像装置の領域であってもよい。換言すると、アーチファクトが存在する撮像装置上の領域が検出されてもよい。
－更に、検出されたアーチファクト含有領域が、隣接画像領域の画像データによって少なくとも一時的に再構成される。これらの画像データは、テクスチャデータなどを含んでもよい。例として、再構成することは、アーチファクト含有領域のエッジにおけるテクスチャを領域の中に向けて溶け込ませることを含んでもよく、エッジにおけるテクスチャからの滑らかな色遷移が生成され得る。加えて、他の再構成及び／又は補整方法も考えられる。
－更に、アーチファクト含有領域の少なくとも１つのサンプル点が判定される。
－判定された世界点が第２の時点ｔに関して予測される新しい位置に変換される。第２の時点は、第１の時点より後であり、ここで、第１の時点は、好ましくは現時点であり、結果として、第２の時点は、将来である。車両は第１の時点と第２の時点の間に移動する可能性があるため、予測される新しい位置は、現在位置とは異なっていてもよい。
－更に、予測される新しい位置が依然としてアーチファクト含有領域内にあるか否か判定される。これは、例えば、車両の運転速度が比較的低く、そのため、提示された画像が第１の時点と第２の時点の間にわずかしか変化しない場合に起こり得る。
－予測される新しい位置が依然としてアーチファクト含有領域内にある場合、過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、アーチファクト含有領域が更新される。換言すると、画像パッチサンプルが、動き補償された過去の画像パッチサンプルを使用することにより更新されてもよい。

【0007】

この構成によると、本発明は、車両内における車両周囲の状況の提示を改善する可能性を提供する。特に、車載カメラの画像内に起きているアーチファクトを修正することができる。例えば、画像を車両乗員に提示する前に画像内の汚れや泥の付いた領域を修正することができる。

【0008】

本発明の実施形態によると、方法は、予測される新しい位置が、アーチファクト含有領域の外にあるか否か判定することを更に含んでもよく、そうである場合、アーチファクト含有領域は、第１の時点ｔ－１に捕捉された画像のサンプル点を使用することによりレンダリングされてもよい。換言すると、予測される新しい位置がアーチファクト含有領域の外にある場合、現在の画像サンプルが、１つ以上の過去のサンプルを用いてレンダリングされてもよい。従って、サンプルは、特に好適な置き換え用サンプルにより置き換えることができる。

【0009】

別の実施形態において、更に、車両運動データから判定及び／又は取得される運動ベクトルにより、可視領域が異なる複数の車載カメラのうちのどの特定の車載カメラから第１の時点ｔ－１の画像が提供されているかを判定してもよい。例として、車両は、前部、両側面部、及び後部にそれぞれカメラを備えていてもよい。運動ベクトルに応じ、アーチファクト含有領域のレンダリングに使用される画像が、これらのカメラの１台から選ばれる。したがって、新しい位置が左側カメラの可視領域内に位置している場合、このカメラの過去の可視画像が採用される。これにより、特に高い画質が達成される。

【0010】

一実施形態によると、アーチファクトは、車載カメラのレンズ上に存在する汚れ又は泥が原因で生じる可能性がある。原理上は、車両外部に搭載されたカメラはいずれも、影響を受ける可能性がある。従って、泥又は汚れが原因で生じるアーチファクトは、十分に修正可能である。

【0011】

一実施形態において、サンプル点を判定することは、サンプル点の世界点を判定することを含んでもよい。世界点は、データ処理手段により計算することができる。

【0012】

一実施形態によると、検出されたアーチファクト含有領域は、死角パッチとして少なくとも一時的に処理及び／又は提示されてもよい。次いで、死角パッチは更新又はレンダリングされてもよい。

【0013】

一実施形態において、動き補償及び／又は点移動のための運動データが、車両のオドメトリにより取得されてもよい。これは例えば、単一のまたは結合させたセンサデータ、ビデオデータの自発運動推定、タコメータデータなどから取得することができる。従って、アーチファクトの修正には、車両内に既に存在するデータが使用される。

【0014】

一実施形態によると、車載カメラの較正データに基づいて世界点が判定されてもよい。世界点は、カメラ較正データを使用して計算されてもよい。これらは、例えば、メモリに保存してもよく、及び／又は車両のカメラ若しくはコントロールユニットなどによって提供されてもよい。これにより、必要なハードウェアを最小限度に抑えることができる。

【0015】

一実施形態において、少なくとも世界点を判定するステップが、アーチファクト含有領域の全てのサンプル点が処理されるまで反復して遂行されてもよい。特に、上記実施形態の１つ以上による方法は、反復して遂行されてもよい。従って、数個またはたとえ多数のサンプル点を有するアーチファクト含有領域を改善することも可能である。

【0016】

本発明の更なる態様は、車両周囲の状況を車両内に表示または提示するシステムに関する。なお、システムは、上記方法の１つ以上の実施形態に適合するようになされてもよい。特に、上記方法は、このシステムを用いて遂行されてもよい。

【0017】

システムは、車両周囲の可視領域を捕捉するように構成された少なくとも１台の車載カメラを備える。例として、車両は、１台のカメラを前部に、１台のカメラを両側面部のそれぞれに、１台のカメラを後部を備えてもよい。更に、システムは、第１の時点ｔ－１に少なくとも１台の車載カメラにより捕捉される少なくとも１つの画像を格納するように構成されたメモリ手段を備える。

【0018】

システムは、
－第１の時点ｔ－１に関する車載カメラの少なくとも１つのアーチファクト含有領域を検出し、
－検出されたアーチファクト含有領域を隣接画像領域の画像データによって再構成し、
－アーチファクト含有領域の少なくとも１つのサンプル点を判定し、
－判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換し、
－予測される新しい位置が依然としてアーチファクト含有領域内にあるか否か判定し、
－過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、アーチファクト含有領域を更新するか、
－予測される新しい位置がアーチファクト含有領域の外にある場合、メモリ手段に格納されている少なくとも１つの画像のサンプル点を使用することによりアーチファクト含有領域をレンダリングする
ように構成されたデータ処理ユニットを更に備える。

【0019】

システムは、車両内における車両周囲の状況の提示を改善することを可能にする。特に、車載カメラの画像内に起きているアーチファクトを修正することができる。例えば、画像を車両乗員に提示する前に画像内の汚れや泥が付いた領域を修正することができる。
下記において、添付図面を参照して本発明の例示的実施形態をより詳細に説明する。

【図面の簡単な説明】

【0020】

【図1】図１は、一態様による、更なる態様による方法を遂行するように構成されたドライバー支援システムを備える車両を示し、

【図2A】図２Ａは、一態様の実施形態による方法のためのスキームを示し、

【図2B】図２Ｂは、一態様の別の実施形態による方法のためのスキームを示し、

【図2C】図２Ｃは、一態様の更なる実施形態による方法のためのスキームを示し、

【図3】図３は、一態様による方法のフローチャートを示す。

【発明を実施するための形態】

【0021】

図面は概略図に過ぎず、本発明を例示するものに過ぎない。同一または同等の要素は、常に同じ参照符号を用いて示される。

【0022】

図１は、地平面Ｇ上にあり、方向ｘおよびｙに移動可能な車両１を示す。車両１は、ドライバー支援システム及び／又はサラウンドビューシステムの形態のシステム１００を有する。システム１００は、車両乗員が現在の車両周囲のサラウンドビューを車両内で取得することを可能にする。

【0023】

この目的のため、システム１００は、車両１の内部に画像Ｉを視覚的に提示可能な画面の形態で配置された表示デバイス１１０を有する。更に、システム１００は、データ処理デバイス１２０を有し、これは、表示デバイス１１０、少なくとも１つのプロセッサ、およびメモリデバイス１３０と相互作用する。加えて、システム１００は、車両１の異なる位置に搭載され、異なる可視領域１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲを有する複数の車載カメラ１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲを有する。特に、カメラ１４０Ｆは前部に配置され、カメラ１４０Ｒは後部に配置され、カメラ１４０ＬＬは左側面に配置され、カメラ１４０ＬＲは右側面に配置されている。可視領域１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲは、それぞれのカメラ画像Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲとして検出することができ、表示デバイス１１０に直接再生され、場合によりメモリデバイス１３０に（一時的に）格納される。提示のため、カメラ画像Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲはデータ処理デバイス１２０によって結合され、表示画像Ｉを形成する（図２Ａ～２Ｃ参照）。

【0024】

カメラ１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲは車両１の外部に搭載されているため、特にそれらのレンズは静的アーチファクトを有しがちである。より具体的には、汚れ又は泥がレンズ上に存在することがあり、そのため、撮像装置も汚れまたは泥を捕捉し、従ってそれが未加工画像データの一部となる。図１において、こうした汚れたレンズが原因で生じる例示的アーチファクト含有領域１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲが破線の長方形で示されている。

【0025】

それでもアーチファクトのない画像Ｉを表示できるようにするため、システム１００は、図２Ａ～２Ｃ及び３を参照して下記に記載する方法を用いて作動させることができる。例として、アーチファクト含有領域１４２Ｆを参照して方法を説明するが、方法は、他のアーチファクト含有領域１４２Ｒ、１４２ＬＬ及び１４２ＬＲにも等しく、又は少なくとも同様に適用できる。

【0026】

原理上は、車両周囲の状況を表示デバイス１１０に提示することは、好ましくは現在時刻ｔにおいてリアルタイムで遂行されるべきであり、即ち、提示される画像Ｉは、現在である第２の時点ｔでの車両周囲の状況を含む。これを、以下および図２Ａ～２Ｃにおいて、参照符号の中の時間基準［ｔ］により示す。従って、同様に、現在である第２の時点ｔに先行する第１の時点ｔ－１が、図２Ａ～２Ｃにおいて［ｔ－１］として参照される。

【0027】

ステップＳ１において、第１の時点ｔ－１に関するそれぞれのアーチファクト含有領域１４２Ｆが検出される。これは、例えば、データ処理デバイス１２０において実施される適切なアルゴリズムにより行うことができる。結果として、こうした領域が存在するか否かがわかり、この領域が画像Ｉ＿Ｆ内のどこに位置しているかが任意にわかる。

【0028】

ステップＳ２において、検出されたアーチファクト含有領域１４２Ｆが、隣接画像領域の画像データにより再構成される。例として、これらの画像データは、テクスチャデータなどを含んでもよく、ここで、再構成することは、アーチファクト含有領域１４２Ｆのエッジにおけるテクスチャを領域の中に向けて溶け込ませることを含んでもよく、エッジにおけるテクスチャからの滑らかな色遷移が生成され得る。これに代え、又はこれに加えて、他の再構成及び／又は補整方法も考えられる。結果として得られる再構成されたアーチファクト含有領域１４２Ｆを含む画像は、メモリデバイス１３０に格納してもよい。

【0029】

ステップＳ３において、アーチファクト含有領域１４２Ｆの少なくとも１つのサンプル点が判定される。これは、例えば、データ処理デバイス１２０において実施される適切なアルゴリズムによって行うことができる。更に、このサンプル点に関し、システム１００について既知のカメラ較正パラメータを使用して世界点を判定及び／又は計算してもよい。

【0030】

サンプル点及び／又は世界点を判定する前、判定中、または判定後に、入力データが収集される。これらの入力データは、車両１のエゴモーションデータ、特にｘ方向の運動ベクトルｍｖ＿ｘ、ｙ方向の運動ベクトル、第１の時点ｔ－１において捕捉された過去のサラウンドビュー画像Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ、及び同様に第１の時点ｔ－１を参照するアーチファクト含有領域１４２Ｆの過去のレンダリングされたサンプル点を含んでもよい。

【0031】

ステップＳ４において、考慮されるサンプル点について、サンプル点及び／又は対応する世界点が、現在である第２の時点ｔに関して予測される新しい位置に移動される。新しい位置を判定すること並びに／又はサンプル点及び／若しくは世界点を移動することは、車両１のオドメトリデータに基づく。例として、これらのオドメトリデータは、車両１のセンサによって取得されてもよい。

【0032】

ステップＳ５において、移動された点又は新しい位置がそれぞれ、アーチファクト含有領域１４２の中にあるか外にあるかが判定される。

【0033】

ステップＳ５Ａにおいて、移動された点がアーチファクト含有領域１４２内にある場合、過去である第１の時点ｔ－１からの過去の動き補償された再構成サンプル点を使用することにより、アーチファクト含有領域１４２を有する画像Ｉ＿１４２Ｆ［ｔ］が更新される。これは、Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］＝Ｉ＿１４２Ｆ［ｘ＋ｍｖ＿ｘ、ｙ＋ｍｖ＿ｙ、ｔ－１］へと一般化することができ、ここで、ｍｖ＿ｘ及びｍｖ＿ｙは、ｘ及びｙ方向の運動ベクトルである。

【0034】

ステップＳ５Ａの一例が図２Ａに示されおり、ここで、２つの例示的サンプル点及び／又は世界点が考慮されている。例として、第１及び第２の時点ｔ－１及びｔの間に、車両１がｘ方向に運動ベクトルｍｖ＿ｘを持って移動している。例えば、車両スピードによっては、考慮される点はアーチファクト含有領域１４２内にある。したがって、画像Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］はＩ＿１４２Ｆ［ｘ＋ｍｖ＿ｘ、ｙ＋ｍｖ＿ｙ、ｔ－１］に対応し、ここで、この例において運動ベクトルｍｖ＿ｙはゼロである。結果として、現在表示デバイス１１０に表示されている画像Ｉ［ｔ］は、従って、更新された画像Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］とカメラ１４０Ｒ、１４０ＬＬ、１４０ＬＲの現在の画像Ｉ＿Ｒ［ｔ］、Ｉ＿ＬＬ［ｔ］、Ｉ＿ＬＲ［ｔ］で構成されている。

【0035】

任意のステップ５Ｂにおいて、移動された点がアーチファクト含有領域１４２の外にある場合、現在の画像Ｉ＿１４２Ｆ［ｔ］は、カメラ１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲのうちの１台からの過去のサンプル点を用いてレンダリングされる。これは、Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］＝Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ又はＩ＿ＬＲ［ｘ＋ｍｖ＿ｘ、ｙ＋ｍｖ＿ｙ、ｔ－１］に一般化することができ、ここで、ｍｖ＿ｘ及びｍｖ＿ｙは、ｘおよびｙ方向の運動ベクトルである。これにより、運動ベクトルｍｖ＿ｘ、ｍｖ＿ｙは、どの過去のカメラ画像Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬまたはＩ＿ＬＲからサンプルが取られるかを決定する。例えば、Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ又はＩ＿ＬＲは、ステップＳ２から取られてもよい。

【0036】

ステップＳ５Ｂの例が図２Ｂに示されており、ここで、２つの例示的サンプル点及び／又は世界点が考慮されている。例として、第１及び第２の時点ｔ－１およびｔの間に、車両１がｘ方向に運動ベクトルｍｖ＿ｘを持って移動している。図２Ａに示す例とは対照的に、ここでは考慮される点はアーチファクト含有領域１４２の外にあるが、依然としてカメラ１４０Ｆの可視領域１４１Ｆ内にある。したがって、画像Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］は動き補償された過去のサンプルＩ＿Ｆ［ｘ＋ｍｖ＿ｘ、ｙ＋ｍｖ＿ｙ、ｔ－１］を使用することによりレンダリングされ、ここで、この例において運動ベクトルｍｖ＿ｙはゼロである。

【0037】

図２Ｃは、ステップ５Ｂの更なる例を示す。図２Ｂに示す例とは対照的に、運動ベクトルｍｖ＿ｙはゼロではなく、ゼロより大きい。例として、運動ベクトルｍｖ＿ｙは一定量を有するため、２つの例示的サンプル点及び／又は世界点はアーチファクト含有領域１４２とカメラ１４０Ｆの視野１４１Ｆの両方の外にある。むしろ、考慮される点は、カメラ１４０ＬＲの可視領域１４１ＬＲ内にある。したがって、画像Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］は動き補償された過去のサンプルＩ＿ＬＲ［ｍｖ＿ｘ，ｍｖ＿ｙ，ｔ－１］を使用することによりレンダリングされる。

【0038】

上記ステップＳ１～Ｓ５Ａ又はＳ５Ｂは、アーチファクト含有領域１４２の全てのサンプルが処理されるまで反復して行われる。

【0039】

図３は、上記方法をフローチャートに示している。
なお、本発明は、以下の態様も包含し得る：
１．－車両周囲の状況を車両内に提示する方法であって、
－第１の時点ｔ－１に関する車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の少なくとも１つのアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を検出すること（Ｓ１）、
－隣接画像領域の画像データによって前記検出されたアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を再構成すること（Ｓ２）、
－前記アーチファクト含有領域の（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）（Ｓ３）少なくとも１つのサンプル点を判定すること、
－前記判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換すること（Ｓ４）、
－前記予測された新しい位置が依然として前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）内にあるか否か判定すること（Ｓ５）、及び
－前記過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を更新すること（Ｓ５Ａ）
を含む、方法。
２．前記予測される新しい位置が前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の外にある場合、前記第１の時点ｔ－１に捕捉された画像のサンプル点を使用することにより前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）をレンダリングすること（Ｓ５Ｂ）を更に含む、上記１．に記載の方法。
３．車両運動データから取得される運動ベクトル（ｍｖ＿ｘ、ｍｖ＿ｙ）により、可視領域（１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲ）が異なる複数の車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）のうちのどの特定の車載カメラから前記第１の時点ｔ－１の前記画像（Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ）が提供されているかが判定される、上記２．に記載の方法。
４．前記アーチファクトが、前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）のレンズ上に存在する汚れ又は泥が原因で生じたものである、上記１．～３．の何れか一つに記載の方法。
５．前記サンプル点を判定することが、前記サンプル点の世界点を判定することを含む、上記１．～４．の何れか一つに記載の方法。
６．動き補正のための運動データが、前記車両（１）のオドメトリにより取得される、上記１．～５．の何れか一つに記載の方法。
７．前記世界点が、前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の較正データに基づき判定される、上記１．～６．の何れか一つに記載の方法。
８．少なくとも前記サンプル点を判定する前記ステップが、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の全てのサンプル点が処理されるまで反復して遂行される、上記１．～７．の何れか一つに記載の方法。
９．車両周囲の状況を車両（１）内に提示するためのシステム（１００）であって、
－前記車両（１）周囲の可視領域（１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲ）を捕捉するように構成された少なくとも１台の車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）、
－第１の時点ｔ－１に前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）により捕捉される少なくとも１つの画像（Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ）を格納するように構成されたメモリ手段（１３０）、
－データ処理ユニット（１２０）であって、
－前記第１の時点ｔ－１に関する前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の少なくとも１つのアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を検出し（Ｓ１）、
－前記検出されたアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を隣接画像領域の画像データによって再構成し（Ｓ２）、
－前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の少なくとも１つのサンプル点を判定し（Ｓ３）、
－前記判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換し（Ｓ４）、
－前記予測された新しい位置が依然として前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）内にあるか否か判定し（Ｓ５）、
－前記過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより（Ｓ５Ａ）、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を更新する
ように構成されたデータ処理ユニット（１２０）を備える、システム。
１０．前記予測された新しい位置が前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の外にある場合、前記第１の時点ｔ－１に捕捉された画像のサンプル点を使用することにより前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）をレンダリングする（Ｓ５Ｂ）、上記９．に記載のシステム。

【図1】

【図2A】

【図2B】

【図2C】

【図3】