特表 2021-524959 車両周辺部を表示するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-524959(P2021-524959A)

(43)【公表日】2021年9月16日

(54)【発明の名称】車両周辺部を表示するための方法及び装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20210820BHJP

   G06T 1/00 20060101ALI20210820BHJP

   G06T 7/00 20170101ALI20210820BHJP

   G06T 7/20 20170101ALI20210820BHJP

   G06T 5/50 20060101ALI20210820BHJP

   H04N 7/18 20060101ALI20210820BHJP

   B60R 1/00 20060101ALI20210820BHJP

   G08G 1/16 20060101ALI20210820BHJP

【ＦＩ】

   G06T19/00 A

   G06T1/00 330Z

   G06T7/00 650Z

   G06T7/20 100

   G06T5/50

   H04N7/18 J

   B60R1/00 A

   G08G1/16 C

【審査請求】未請求

【予備審査請求】未請求

【全頁数】15

(21)【出願番号】特願2020-562169(P2020-562169)

(86)(22)【出願日】2019年5月16日

(85)【翻訳文提出日】2020年11月5日

(86)【国際出願番号】DE2019200044

(87)【国際公開番号】WO2019223840

(87)【国際公開日】20191128

(31)【優先権主張番号】102018207976.5

(32)【優先日】2018年5月22日

(33)【優先権主張国】DE

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(72)【発明者】

【氏名】フリーベ・マルクス

(72)【発明者】

【氏名】スリカント・スクマー

【テーマコード（参考）】

5B050

5B057

5C054

5H181

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA11

5B050DA07

5B050EA19

5B050FA02

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB02

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CE08

5C054FE11

5C054HA30

5H181AA01

5H181CC04

5H181FF27

5H181FF32

5H181LL01

5H181LL02

5H181LL04

5H181LL08

5L096AA06

5L096BA04

5L096CA05

5L096DA01

5L096FA67

5L096FA69

5L096HA02

(57)【要約】

本発明は、車両（１）の車両周辺部をその時点における第二の時点（ｔ）において、車両内に表示するための装置（１００）、並びに、方法に関する。本方法は、以下のステップを包含する：
−第二時点（ｔ）よりも前の時点（ｔ−１）における車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）の視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）外に配置されている車両周辺部のブラインド領域（Ｂ）の画像合成を包含する第一ブラインド領域画像（Ｉ＿Ｂ［ｔ］）を提供するステップ（Ｓ１）、
−ブラインド領域（Ｂ）の各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）を、第二時点（ｔ）用に推測された新ポジションに配置するステップ（Ｓ２）、
−各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）の新ポジションが、第二時点（ｔ）においてもブラインド領域（Ｂ）内にあるか否かを割り出すステップ（Ｓ３）、及び、
−新ポジションが、ブラインド領域（Ｂ）内にあると割り出された場合には、各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）が、車両（１）の動きに関するデータ（ｖ＿ｘ，ｖ＿ｙ）に基づいて合成（Ｓ５Ａ）されることにより、第二時点（ｔ）用の各々の第二ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ］）を生成するステップ（Ｓ４）。

【特許請求の範囲】

【請求項1】

以下のステップを包含していることを特徴とするその時点における第二時点（ｔ）において、車両（１）内に車両周辺部を表示するための方法：
−第二時点（ｔ）よりも前の時点（ｔ−１）における車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）の視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）外に配置されている車両周辺部のブラインド領域（Ｂ）の画像合成を包含する第一ブラインド領域画像（Ｉ＿Ｂ［ｔ］）を提供するステップ（Ｓ１）、
−ブラインド領域（Ｂ）の各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）を、第二時点（ｔ）用に推測された新ポジションに配置するステップ（Ｓ２）、
−各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）の新ポジションが、第二時点（ｔ）においてもブラインド領域（Ｂ）内にあるか否かを割り出すステップ（Ｓ３）、及び、
新ポジションが、ブラインド領域（Ｂ）内にあると割り出された場合には、各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）が、車両（１）の動きに関するデータ（ｖ＿ｘ，ｖ＿ｙ）に基づいて合成（Ｓ５Ａ）されることにより、第二時点（ｔ）用の各々の第二ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ］）を生成するステップ（Ｓ４）。

【請求項2】

新ポジションが、ブラインド領域（Ｂ）外にあると割り出された場合は、各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）が、少なくとも一つの第一時点（ｔ−１）に撮影され、提供されたカメラ画像（Ｉ＿Ｆ［ｔ−１］，Ｉ＿Ｒ［ｔ−１］，Ｉ＿ＬＬ［ｔ−１］，Ｉ＿ＬＲ［ｔ−１］）を用いて合成（Ｓ５Ｂ）されることによって、第二時点（ｔ）用の各々の第二ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ］）が、生成される（Ｓ４）ことを特徴とする請求項１に記載の方法。

【請求項3】

動きに関するデータ（ｖ＿ｘ，ｖ＿ｙ）から得られた各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）の移動ベクトル（ＳＰ＿Ｖ）に基づいて、異なる視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）を有する複数の車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）のうちのいずれの車載カメラからカメラ画像（Ｉ＿Ｆ［ｔ−１］，Ｉ＿Ｒ［ｔ−１］，Ｉ＿ＬＬ［ｔ−１］，Ｉ＿ＬＲ［ｔ−１］）が提供されるのかが割り出されることを特徴とする請求項２に記載の方法。

【請求項4】

提供されるに当たって、その視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）に、移動ベクトル（ＳＰ＿Ｖ）が配置されている各々のカメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）のカメラ画像（Ｉ＿Ｆ［ｔ−１］，Ｉ＿Ｒ［ｔ−１］，Ｉ＿ＬＲ［ｔ−１］，Ｉ＿ＲＲ［ｔ−１］）が選択されることを特徴とする請求項３に記載の方法。

【請求項5】

車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）毎に、それぞれ正に一枚のカメラ画像（Ｉ＿Ｆ［ｔ−１］，Ｉ＿Ｒ［ｔ−１］，Ｉ＿ＬＲ［ｔ−１］，Ｉ＿ＲＲ［ｔ−１］）のみが、提供するために維持されることを特徴とする請求項３或いは４に記載の方法。

【請求項6】

第一時点（ｔ−１）の正に一枚のブラインド領域画像（ＩＢ＿ＳＰ［ｔ−１］）のみを提供するために維持することを特徴とする先行請求項のうち何れか一項に記載の方法。

【請求項7】

各々の第二ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ］）から第二時点（ｔ）用に生成された第二ブラインド領域画像（ＩＢ＿ＳＰ［ｔ］）と第二時点（ｔ）の少なくとも一枚のその時点のカメラ画像（Ｉ＿Ｆ［ｔ］，Ｉ＿Ｒ［ｔ］，Ｉ＿ＬＬ［ｔ］，Ｉ＿ＬＲ［ｔ］）が、車両（１）内における表示のために組み合わされることを特徴とする先行請求項のうち何れか一項に記載の方法。

【請求項8】

イニシャルスタート時は、視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）内の車両周辺部の表示画像（Ｉ）が、ブラインド領域（Ｂ）が、フェードアウトされる程度にずらされることを特徴とする先行請求項のうち何れか一項に記載の方法。

【請求項9】

ブラインド領域（Ｂ）が、車両（１）が、その上を走行したグランド・レベルに配置されていることを特徴とする先行請求項のうち何れか一項に記載の方法。

【請求項10】

以下を包含していることを特徴とするその時点における第二時点（ｔ）において、車両（１）内に車両周辺部を表示するための装置（１００）：
−車両周辺部のそれぞれの視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）を捕捉するための、少なくとも一台の車載カメラ（１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲ）、
−第二時点（ｔ）以前の第一時点（ｔ−１）における視野領域（１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ）外に配置されている車両周辺部のブラインド領域（Ｂ）の画像合成である正に一枚のブラインド領域画像（Ｉ＿Ｂ［ｔ−１］）のみが維持されている保存手段（１３０）、並びに、
−以下を実施できるように構成されたデータ処理手段（１２０）：
ｉ）ブラインド領域（Ｂ）の各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）を、第二時点（ｔ）用に推測された新ポジションに配置すること、
ｉｉ）各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）の新ポジションが、第二時点（ｔ）においてもブラインド領域（Ｂ）内にあるか否かを割り出すこと、
ｉｉｉ）新ポジションが、ブラインド領域（Ｂ）内にあると割り出された場合には、各々の第一ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ−１］）が、車両（１）の動きに関するデータ（ｖ＿ｘ，ｖ＿ｙ）に基づいて合成（Ｓ５）されることにより、第二時点（ｔ）用の各々の第二ブラインド領域ピクセル（ＩＢ＿ＳＰ［ｔ］）を生成すること。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、該車両周辺部をその時点において、車両内に表示するための方法ならびに装置に関する。

【背景技術】

【0002】

車両は、車両内にいる車両に乗っている人のために車両周辺部をディスプレーなどの表示手段に表示するないし再生するドライバーアシストシステムを有していることができる。この様なドライバーアシストシステムは、サラウンドビュー・システムとも呼ばれ、通常、該車両に取付けられ、様々な視野領域、乃至、視角を持ち得る一代乃至複数台の車載カメラを有している。

【0003】

複数の視野領域が、異なる車載カメラによって捕捉されるにもかかわらず、あらゆる視野領域の外側にあり、カメラが像内に含まれない少なくとも一つの死角、即ち、ブラインド領域が残存する。この様なブラインド領域の例としては、車両がその観察している正にその時点に通過し、覆われているグランド・レベルが挙げられる。なぜなら通常は、様々な車載カメラは、例えば、車両前方や後方、車両側方に配置され、そこから遠ざかる方向を向いているため、グランド・レベルは、車両自体乃至そのボディによって覆われている。よって、この領域は、表示において欠けており、例えば、プレースホルダが、そこに置かれている。このプレースホルダは、見た目が優れないのみならず、車両同乗者にとって紛らわしい場合もあり得る。

【発明の概要】

【発明が解決しようとする課題】

【0004】

よって本発明の課題は、車両内における車両周辺部の改善された表示を可能にする方法を提供する事である。

【課題を解決するための手段】

【0005】

本発明によれば、上記目的は、独立請求項に記載されている対象によって達成される。有利な実施形態、並びに、発展形態は、従属請求項、明細書、並びに、図面によって示される。

【0006】

本発明の第一のアスペクトは、該車両周辺部をその時点における第二の時点において、車両内に表示するための方法に関する。ここで言う「その時点」とは、車両運転中、略リアルタイムに、車両周辺部の表示がなされると解釈することができる。該車両は、例えば、オドメトリ・データから求めることができる車両速度をもって、ある方向に動いている事ができるが、リアルタイム表示は、適した画像リフレッシュレートにおいて実施される。

【0007】

本発明に係る方法では、以下のステップが想定されている：
−先ず、第二時点よりも前の第一時点における車両周辺部の一台の車載カメラの可視領域外に配置されたブラインド領域の画像合成、例えばレンダリングを包含する多数のブラインド領域ピクセルを有する、例えば、合成した乃至レンダリングした画像である第一ブラインド領域画像が用意される。即ち、該第一時点は、観察されているその時点である第二時点よりも時間的に前にある。
−続いて、ブラインド領域のブラインド領域ピクセルの、第二時点用に、例えば、予測などによって推定された新しいポジションへの、例えば、転換（トランスフォーム）などによる配置が実施される。即ち、ブラインド領域画像は、そのブラインド領域画像内にあるままの旧ポジションから、推定、予測、転換、補完や同様の操作によって得られた新ポジションに配置された複数のブラインド領域ピクセルを有している。各々のブラインド領域ピクセルの代わりに、ブラインド領域ピクセルの組み合わせを、場合によっては起こり得るエイリアシング効果を減らすために用いる事も出来る。
−続いて、各々の第一ブラインド領域ピクセルの新ポジションが、第二時点においてもブラインド領域内にあるか否かを割り出す。この場合、観察され新しく配置されたブラインド領域ピクセルは、車両の動きに起因してブラインド領域外に位置し得る。
−これに続いて、新ポジションが、ブラインド領域内にあると割り出された場合には、各々の第一ブラインド領域ピクセルが、車両の動きに関するデータに基づいて動き補正しつつ合成されることにより、第二時点用の各々の、例えばレンダリングされたピクセルなど、第二ブラインド領域ピクセルの、例えば合成やレンダリングなど、生成が実施される。概車両は、ブラインド領域画像からブラインド領域画像に走行し移動する事が出来ることから、ブラインド領域ピクセルも、ポジションが変わり得るため、第二ブラインド領域ピクセルを生成するために、車両の動きに関するデータが考慮される。車両が動いていない場合、第二ブラインド領域ピクセルは、第一のものに相当する。該動きに関するデータは、例えば、車両制御システムのオドメトリや複数のカメラ画像からの挙動推定から得られることができる。

【0008】

このコンフィグレーションによれば、該提案された方法は、多くの長所を提供する。即ち、表示されるべき車両周辺と全く関係なくブラインド領域を覆うプレースホルダを必要としない車両周辺部のブラインド領域の経時的再現が、実施できる。更に、原理的には再帰的な方法であるため、一枚の第一ブラインド領域画像のみが維持され、提供されるため、例えば、メモリユニット及び／或いはデータ処理ユニットの有効なメモリリソースを節約することが可能である。これにより、この方法によって作動するドライバーアシストシステムを提供するコストを削減することができる。

【0009】

ある有利な発展形態では、各々の第一ブラインド領域ピクセルの特定の新ポジションが、ブラインド領域画像外にあると割り出された場合には、各々の第一ブラインド領域ピクセルを、少なくとも一つの第一時点に撮影され、提供されたカメラ画像が、合成されることによって、第二時点用の各々の第二ブラインド領域ピクセルを生成することができる。この場合に関しては、既に合成された、例えば、レンダリングされた画像ではなく、車両周辺部が撮影されたカメラ画像が、更なる画像合成、例えば、レンダリングのためのベースとして用いられる。これによっても、一枚のカメラ画像のみを保存し、用意すれば良いだけであるため、有意にメモリリソースを節約できる。該車両が、例えば、車両前方への視線方向、車両後方への視線方向、及び、各々の車両側方横方向への視線方向に向けられた複数のカメラを有している場合、一台の車載カメラ毎に、それぞれのカメラ画像を提供することができる。

【0010】

更なる実施形態では、動きに関するデータから得られた各々の第一ブラインド領域ピクセルの移動ベクトルによって、ピクセル合成に用いられるカメラ画像が、複数の配置、及び／或いは、向きが異なり、それぞれ異なる視野領域を有する車載カメラのうち、どの一台の車載カメラから提供されるのかを、割り出すことができる。これにより、例えば、車両の動きに伴って車両前方に向けられている視野領域内に動いた第一ブラインド領域ピクセルは、この車載カメラのカメラ画像によって、生成、乃至、合成、例えば、レンダリングされることができる。

【0011】

車両の移動方向、即ち、直進、後進、及び／或いは、カーブ走行などに応じて、移動ベクトルは、対応する車載カメラのそれぞれの視野領域内に配置されていることができる。その際、その視野領域内に移動ベクトルが配置されている正にそのカメラの対応するカメラ画像が、提供されるために、選択されることができる。

【0012】

有意にメモリリソースを節約するためには、存在している車載カメラ毎に正に一枚のカメラ画像、乃至、一つのフレームのみを提供するために用意することが有利である。

【0013】

これに関しては、第一時点用に正に一枚のブラインド領域画像のみが提供するために用意されることも有利である。

【0014】

例えば、車両のディスプレー上に表示する車両周辺部の表示画像を再生できる様にするためには、第二時点用に生成乃至合成された、例えば、レンダリングされた第二のブラインド領域ピクセルを、第二ブラインド領域画像と少なくとも一枚の第二時点のその時点におけるカメラ画像と組み合わせることで実施できる。この場合、視野領域は、リアルタイム・カメラ画像によって、ブラインド領域は、その時点における第二時点用の第二ブラインド領域画像によって描写される。

【0015】

特に、この方法に即して作動している手段、及び／或いは、ドライバーアシストシステムのイニシャルスタートにおいては、ブラインド領域の第一ブラインド領域画像が未だ無い様なシチュエーションが起こり得る。その場合、ブラインド領域をフェードアウトするために、車両内部において表示する表示画像を、対応する車載カメラ、例えば、フロントカメラの視野領域にずらすことができる。

【0016】

この方法は、ブラインド領域が、車両がそこを通過する、乃至、車両ボディによって覆われているグランド・レベルである場合に、特に有利に用いる事ができる。プレースホルダの代わりに、合成、例えば、レンダリングされた表示画像を表示することができる。

【0017】

上述した方法は、例えば、制御手段、具体的には、車両の制御装置に実装することができる。該制御手段は、保存手段とデータ処理手段を有していることができる。

【0018】

本発明の更なるアスペクトは、該車両周辺部をその時点における第二の時点において、車両内に表示するための装置に関する。該装置は、以下を装備している：
−車両周辺部の対応する視野領域を捕捉するための少なくとも一つの車載カメラ。
−第二時点以前の第一時点における視野領域外に配置されている車両周辺部のブラインド領域の画像合成である正に一枚のブラインド領域画像のみが維持されている保存手段。
−以下の様に構成されたデータ処理手段：
ｉ）ブラインド領域の各々の第一ブラインド領域ピクセルを、第二時点用に推測された新ポジションに配置し、ｉｉ）各々のブラインド領域ピクセルの新ポジションが、第二時点においてもなおブラインド領域内にあるか否かを割り出し、続いて、ｉｉｉ）新ポジションが、ブラインド領域内にあると割り出された場合は、各々の第一ブラインド領域ピクセルを車両の動きに関するデータを用いて動き補正することにより、第二時点用の各々の第二ブラインド領域ピクセルを生成する。

【0019】

該装置は、上述の方法に応じて発展させることが可能であり、特に、原理的に、再帰的な方法によって有意にメモリリソースを節約できると言う長所を有している。

【0020】

本発明は、特に、車両内部に配置された表示手段、例えば、ディスプレーを備えた車両用のドライバーアシストシステムに適している。

【0021】

以下、本発明の有利な実施形態を、添付されている図を用いて詳細に説明する。

【図面の簡単な説明】

【0022】

【図1】本発明の更なるアスペクトの内の一つに係る車両周辺部を表示するための装置を備えた、該一つのアスペクトに係るドライバーアシストシステムを備えた車両を、示している。

【図2A】ここでは合成ブラインド領域画像が、ベースに用いられているブラインド領域画像の生成の図解を、示している。

【図2B】ここでは以前に撮影されたカメラ画像が、ベースに用いられているブラインド領域画像の生成の図解を、示している。

【図2C】ここでは以前に撮影されたカメラ画像が、ベースに用いられているブラインド領域画像の生成の図解を、示している。

【図3】本発明のある一つの更なるアスペクトに係る方法用のフローチャートを、示している。

【発明を実施するための形態】

【0023】

これらの図は、概略的な描写に過ぎず、本発明を説明するためだけのものである。同じ、乃至、同様の作用をするエレメントには、一貫して、同じ符号が振られている。

【0024】

図１は、グランド・レベル上にあり、本質的に、ｘとｙ方向に移動自在な、ドライバーアシストシステム乃至サラウンドビュー・システムとして実施されている該装置１００を装備した車両１を示している。これにより、車両同乗者にとって、その時点の車両周辺部のサラウンドビューを、表示乃至画像的再現として、車両内部に表示させることが可能になる。

【0025】

そのため、該装置１００は、車両１の内部に配置された表示手段１１０を、表示画像Ｉを視覚的に描写するディスプレーとして有している。更に該装置１００は、該表示手段１１０と共に作用する少なくとも一つの（詳しくは説明しない）プロセッサを備えたデータ処理手段１２０と、これも共に作用する保存手段１３０を装備している。更に、該装置１００は、複数の車両１の異なる位置に設けられ、異なる視角乃至視野領域１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲを有する車載カメラ１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲも装備している。尚、車載カメラ１４０Ｆは、車両前方に、車載カメラ１４０Ｒは、車両後方に、車載カメラ１４０ＬＬは、横方向左に、車載カメラ１４０ＬＲは、横方向右に配置されている。視野領域１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲにより、各々のカメラ画像Ｉ＿Ｆ，Ｉ＿Ｒ，Ｉ＿ＬＬ，Ｉ＿ＬＲが捕捉され、直接的に表示手段１１０に再生され、必要に応じて、保存手段１３０に（一時的に）保存される。カメラ画像Ｉ＿Ｆ，Ｉ＿Ｒ，Ｉ＿ＬＬ，Ｉ＿ＬＲを表示するに当たっては、データ処理手段１２０によって、表示画像Ｉに合成される乃至組み合わされる（図２Ａ〜２Ｃ参照）。

【0026】

図１からは、グランド・レベルに、その上に車両１乃至その車体があるがために、いずれの視野領域１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ内にもあらず、車体によってその視野が遮られているためいずれの車載カメラ１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲによっても捕捉できないブラインド領域Ｂがあることが見て取れる。その結果、ブラインド領域Ｂには、直接的なカメラ画像を、表示手段１１０の表示画像Ｉのブラインド領域画像Ｉ＿Ｂとして再生することはできない。

【0027】

それでも尚、ブラインド領域Ｂに実質的に写真現実的な表示を、ブラインド領域画像Ｉ＿Ｂとして、表示手段１１０に描写することができる様にするために、該装置１００は、以下、図２Ａ〜２Ｃと３に記述されている方法によって作動されることができる。

【0028】

原則としては、表示手段１１０への車両周辺部の表示は、時点ｔにおける実質的にリアルタイムに実施され、該表示画像Ｉは、その時点ｔの車両周辺を包含しているべきである。これを、以下の説明及び図２Ａ〜２Ｃでは、時間変数［ｔ］並びに同じ符号によって示唆する。同様に、その時点の第二時点ｔよりも前の第一次点ｔ−１は、図２Ａ〜２Ｃでは、［ｔ−１］と示されている。

【0029】

該装置１００のイニシャルスタート時には、オプション的ステップＳ０において、表示手段１１０の表示画像Ｉ内のブラインド領域Ｂは、車載カメラ１４０Ｆ，１４０Ｒ，１４０ＬＬ，１４０ＬＲの視野領域１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１ＬＲ内の車両周辺部の表示画像Ｉを、ブラインド領域Ｂがこれによって隠される程度にずらされることにより、フェードアウトされる。視野領域１４１Ｆ，１４１Ｒ，１４１ＬＬ，１４１Ｌｒの選択は、車両の例えば走行方向ｘ，ｙ、即ち、車両速度ｖ＿ｘ，ｖ＿ｙ、舵角、トランスミッションのギヤ選択などの動きに関するデータに応じて実施されることができる。具象的に表現すると、時点ｔにおける実際の車両周辺部の表示画像Ｉは、例えば、一台の車体の長さ分先行し、ブラインド領域Ｂをフェードアウトしている。これにより、ブラインド領域Ｂがそれぞれのカメラ画像の一部ＩＦ［ｔ−１］，ＩＲ［ｔ−１］，ＩＬＬ［ｔ−１］，ＩＬＲ［ｔ−１］を包含する代わりに、イニシャル・ブラインド領域画像Ｉ＿Ｂ［ｔ−１］を保存して維持することができる

【0030】

ステップＳ１では、その時点ｔにおいて、保存手段１３０から、装置１００のイニシャルスタート直後の一回目にのみ上述のブラインド内容を包含し、一方作動中は、以下の説明の如く連続的に更新される時点ｔ−１のブラインド領域画像Ｉ＿Ｂ［ｔ−１］が提供される。車両１が、例えば、１５ｍ／ｓでｘ方向に動いている場合、ブラインド領域画像Ｉ＿Ｂの画像内容は、リフレッシュレートに応じて更新され、各々のその時点ｔ用に提供された時は、それに先行する時点ｔ−１の画像内容を包含している。

【0031】

ステップＳ２では、データ処理手段１２０によって、ブラインド領域画像Ｉ＿Ｂ［ｔ−１］の各々の第一ブラインド領域ピクセルＩＢ＿ＳＰ［ｔ−１］は、その時点ｔ用に推定された乃至予測された新ポジションに、例えば、特に、車両１の動きに関するデータｖ＿ｘ，ｖ＿ｙを考慮した、転換やそれに似通った方法によって配置される。これらは、例えば、車両システム、例えば、車両バスによって提供される、或いは、カメラ画像Ｉ＿Ｆ，Ｉ＿Ｒ，Ｉ＿ＬＬ，Ｉ＿ＬＲから割り出される。新ポジションの推定や予測は、適した画像処理方法によって実施される。車両１が、例えば、ｖ＿ｘ＝１５ｍ／ｓで、ｘ方向に走行を続けている場合、各々のブラインド領域ピクセルＩＢ＿ＳＰ［ｔ−１］用の対応する運動ベクトルＳＰ＿Ｖが割り出され、これが、第二ブラインド領域ピクセルＩＢ＿ＳＰ［ｔ］として、図２Ａに示唆されている如く、それぞれの新ポジションに配置される。

【0032】

続いてステップＳ３では、データ処理手段１２０が、各々のブラインド領域ピクセルＩＢ＿ＳＰの新ポジションが、その時点ｔにおいてもなおブラインド領域Ｂ内にあるか否かを割り出す。図２Ａに示されている実施例では、運動ベクトルＳＰ＿Ｖ分移動した乃至トランスフォームされたブラインド領域ピクセルＩＢ＿ＳＰは、その時点においてもブラインド領域Ｂ内にある。

【0033】

この場合、データ処理手段１２０でステップＳ４において、各々の第一ブラインド領域ピクセルＩＢ＿ＳＰ［ｔ−１］が、車両１の動きに関するデータを元に、ステップＳ５Ａにおいて、動き補正され、即ち、特に運動ベクトルＳＰ＿Ｖ分移動されることによって各々の第二ブラインド領域ピクセルＩＢ＿ＳＰ［ｔ］が、その時点ｔ用に生成、例えば、レンダリングされる。図２Ａでは、例として二つのブラインド領域ピクセルＩＢ＿ＳＰ用に示唆したが、これは、好ましくは、各々の第一ブラインド領域ピクセルＩＢ＿ＳＰ［ｔ−１］が、各々の新ポジションに配置されるまで続けられ、それから、第二ブラインド領域画像Ｉ＿Ｂ［ｔ］を生成し、例えば、レンダリングし、表示画像Ｉ［ｔ］内に、ブラインド領域Ｂの代わりに表示される。続いて、第二ブラインド領域画像Ｉ＿Ｂ［ｔ］は、保存手段１３０に保存され、ステップＳ１から始まる該方法の次のラン時に、内容的に更新された更なる第二時点ｔ＋ｎ用の第一ブラインド領域画像Ｉ＿Ｂ［ｔ−１］として提供される。

【0034】

これは、以下の如く一般化できる：
Ｉ＿Ｂ［ｘ，ｙ，ｔ］＝Ｉ＿Ｂ［ｘ＋ｖ＿ｘ，ｙ＋ｖ＿ｙ，ｔ−１］，
尚式中、Ｉ＿Ｂは、ブラインド領域画像、ｖ＿ｘとｖ＿ｙは、ｘ方向とｙ方向への動きに関するデータ、ｔ−１は、第一時点、ｔは、その時点の第二時点である。

【0035】

図２Ｂでは、ステップＳ３において起こり得る他のケース、即ち、各々の第一ブラインド領域ピクセルＩＢ＿ＳＰ［ｔ−１］の新ポジションが、その時点ｔにおいて、ブラインド領域Ｂ内に無い、即ち、その外にある場合が示されている。よって、図２Ｂに示されている実施例では、各々の運動ベクトルＳＰ＿Ｖ分移動された乃至トランスフォームされたブラインド領域ピクセルＩＢ＿ＳＰは、車両のｘ方向への動きによって、車載カメラ１４０Ｆの視野領域１４１Ｆに入っている。

【0036】

この場合、各々の第一ブラインド領域ピクセルＩＢ＿ＳＰ［ｔ］が、第一時点ｔ−１に撮影され、提供されたカメラ画像Ｉ＿Ｆ［ｔ−１］をステップＳ５Ｂにおいて、合成、例えば、レンダリングすることによって、その時点ｔ用の各々の第二ブラインド領域ピクセルＩＢ＿ＳＰ［ｔ］をステップＳ４において生成、例えば、レンダリングしている。

【0037】

図２Ｃは、右カーブを走行している例、即ち、ｘ方向へののみならずｙ方向への動きに関するデータｖ＿ｘ，ｖ＿ｙが包含されるケースにおけるステップＳ３での割り出しを示している。図２Ｃに示されている如く、各々の運動ベクトルＳＰ＿Ｖ分移動された乃至トランスフォームされたブラインド領域ピクセルＩＢ＿ＳＰは、車両のｘ方向への動きによって、車載カメラ１４０ＬＲの視野領域１４１ＬＲに入っている。

【0038】

この場合、ステップＳ４において、各々の第一ブラインド領域ピクセルＩＢ［ｔ−１］が、第一時点ｔ−１に撮影され、提供されたカメラ画像Ｉ＿ＬＲ［ｔ−１］をステップＳ５Ｂにおいて、合成、例えば、レンダリングすることによって、その時点ｔ用の各々の第二ブラインド領域ピクセルＩＢ＿ＳＰ［ｔ］を生成、例えば、レンダリングしている。図２Ｂでは、例として二つのブラインド領域ピクセルＩＢ＿ＳＰ用に示唆したが、これは、好ましくは、各々の第一ブラインド領域ピクセルＩＢ＿ＳＰ［ｔ−１］が、各々の新ポジションに配置されるまで続けられ、それから、第二ブラインド領域画像Ｉ＿Ｂ［ｔ］を生成し、例えば、レンダリングし、表示画像Ｉ［ｔ］内に、ブラインド領域Ｂの代わりに表示される。続いて、第二ブラインド領域画像Ｉ＿Ｂ［ｔ］は、保存手段１３０に保存され、ステップＳ１から始まる該方法の次のラン時に、内容的に更新された更なる第二時点ｔ＋ｎ用の第一ブラインド領域画像Ｉ＿Ｂ［ｔ−１］として提供される。

【0039】

図２Ｂと２Ｃによれば、ステップＳ５Ｂでは、表示されるブラインド領域ピクセルＩＢ＿ＳＰ［ｔ］の生成が、ここでは、画像合成、例えば、時点ｔ−１に撮影されたカメラ画像Ｉ＿Ｆ［ｔ−１］乃至Ｉ＿ＬＲ［ｔ−１］のレンダリングによって実施される。この原理は、言うまでもなく、他のカメラ画像Ｉ＿ＲやＩ＿ＬＬ同様に実施できる。

【0040】

これは、以下の如く一般化できる：
Ｉ＿Ｂ［ｘ，ｙ，ｔ］＝Ｉ＿Ｆ，Ｉ＿Ｒ，Ｉ＿ＬＬ，Ｉ＿ＬＲ［ｘ＋ｖ＿ｘ，ｙ＋ｖ＿ｙ，ｔ−１］，
尚式中、Ｉ＿Ｂは、ブラインド領域画像、Ｉ＿Ｆ−Ｉ＿ＬＲは、車載カメラ１４０Ｆ−１４０ＬＲのカメラ画像、ｖ＿ｘとｖ＿ｙは、ｘ方向とｙ方向への動きに関するデータ、ｔ−１は、第一時点、ｔは、その時点の第二時点である。

【0041】

オプション的ステップＳ６では、第二ブラインド領域画像Ｉ＿Ｂ［ｔ］と第二時点ｔにおけるその時点のカメラ画像Ｉ＿Ｆ［ｔ］，Ｉ＿Ｒ［ｔ］，Ｉ＿ＬＬ［ｔ］，Ｉ＿ＬＲ［ｔ］から、表示画像Ｉが、表示手段１１０用に組み合わされる。

【0042】

図３は、オプションであるステップＳ０、ステップＳ１〜Ｓ５、並びにオプションであるステップＳ６を含む上述の方法が、再度、フローチャートとしてまとめられている。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【国際調査報告】