(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-21
(54)【発明の名称】充電サポート機能を備えた自車両内に自車両の周辺部を表示するための方法および装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20221014BHJP
B60R 1/27 20220101ALI20221014BHJP
B60R 1/20 20220101ALI20221014BHJP
【FI】
H04N7/18 J
B60R1/27
B60R1/20 100
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022510855
(86)(22)【出願日】2020-07-15
(85)【翻訳文提出日】2022-02-17
(86)【国際出願番号】 EP2020069953
(87)【国際公開番号】W WO2021052654
(87)【国際公開日】2021-03-25
(32)【優先日】2019-09-20
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】508097870
【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】Continental Automotive GmbH
【住所又は居所原語表記】Vahrenwalder Strasse 9, D-30165 Hannover, Germany
(74)【代理人】
【識別番号】100069556
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【氏名又は名称】石田 大成
(72)【発明者】
【氏名】フリーベ・マルクス
(72)【発明者】
【氏名】ゴター・チェタン
(72)【発明者】
【氏名】プラバカー・パヴァン・ナグ
【テーマコード(参考)】
5C054
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FD03
5C054FE17
5C054GB02
5C054GB06
5C054HA30
(57)【要約】
本発明は、自車両(1)内に自車両の周辺部を表示するための方法に関する。本方法は、少なくとも1つのカメラデータセット内に保存するために、少なくとも一台の車載カメラ(140F,140R,140LL,140LR)によって自車両の周囲部を連続的に捕捉するステップを包含している。更に、捕捉された自車両の周囲部内において、地中乃至地面付近(G)にある充電ベース(300)を検出するステップも包含している。そして更に、自車両モーション情報も包含しており、自車両(1)の一部が、自車両の車載カメラ(140F,140R,140LL,140LR)の視野を覆い隠すことによって充電ベース(300)側に盲点が生じてる場合には、ディスプレイ(110)内の盲点を置き換えるための合成ビューを生成するステップ、但し、該合成ビューは、カメラデータセット内に保存され、且つ、自車両モーション情報に基づいて動き補正された自車両周辺部捕捉の少なくとも一枚前のビューに基づいて生成される。
【特許請求の範囲】
【請求項1】
以下のステップを包含することを特徴とする自車両(1)内に自車両の周辺部を表示するための方法:
- 少なくとも1つのカメラデータセット内に保存するために、少なくとも一台の車載カメラ(140F,140R,140LL,140LR)によって自車両の周囲部を連続的に捕捉するステップ、
- 捕捉された自車両の周囲部内において、地中乃至地面付近(G)にある充電ベース(300)を検出するステップ、
- 自車両モーション情報を取得するステップ、並びに、
- 自車両(1)の一部が、自車両の車載カメラ(140F,140R,140LL,140LR)の視野を覆い隠すことによって充電ベース(300)側に盲点が生じてる場合には、ディスプレイ(110)内の盲点を置き換えるための合成ビューを生成するステップ、但し、該合成ビューは、カメラデータセット内に保存され、且つ、自車両モーション情報に基づいて動き補正された自車両周辺部捕捉の少なくとも一枚前のビューに基づいて生成される。
【請求項2】
請求項1に記載の方法は更に、以下を包含している:
自車両内において、隠された充電ベースの仮想代替を含む合成ビューによって盲点を置き換えて表示すること。
【請求項3】
請求項1或いは2に記載の方法は更に、以下を包含している:
自車両(1)内に、自車両自体の少なくとも一部の仮想代替と、自車両の車載充電装置の少なくとも一部の仮想代替とを表示すること。
【請求項4】
先行請求項のうち何れか一項に記載の方法において合成ビューを生成するステップは更に、カメラによって捕捉され、カメラデータセット内に保存された少なくとも一枚の以前のビューを使用して、履歴的地表面ビューを構築することも包含している。
【請求項5】
先行請求項のうち何れか一項に記載の方法において合成ビューを生成するステップは更に、地表面上の盲点を再現することも包含している。
【請求項6】
先行請求項のうち何れか一項に記載の方法は更に、以下を包含している:
自車両の充電装置自体は自車両内からは不可視ではあるが、合成ビューに含まれる充電ベースと自車両の車載充電装置とが重なっている割合を割出すこと。
【請求項7】
請求項6に記載の方法は更に、以下を包含している:
割出された重なりの割合を、好ましくは、パーセンテージ値、比率値、或いは、グラフ図などの少なくとも一つによって、自車両内に表示すること。
【請求項8】
請求項6或いは7に記載の方法は更に、以下を包含している:
割出された重なりの割合に基づいて、自車両の車載エネルギー貯蔵手段の充電時間を推定すること。
【請求項9】
請求項6から8のうち何れか一項に記載の方法は更に、以下を包含している:
割出された重なりの割合に基づいた充電効率の推定。
【請求項10】
以下を包含することを特徴とする自車両(1)内に自車両の周辺部を表示するための装置:
- 自車両(1)内に配置された少なくとも一台の表示手段(110)、
- 自車両周辺部にFOVを有するように配置された少なくとも一台の車載カメラ(140F,140R,140LL,140LR)、
- 充電するために電力を供給する自車両周辺部の地中乃至地面付近に配置されている充電ベース(300)と相互作用する様に適合された車載充電装置(200)、並びに、
- 請求項1から9のうち何れか一項に記載の方法を実施するように適合されたデータ処理手段(120)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自車両内に自車両の周辺部を表示するための方法に関する。更に、本発明は、この様な方法を実施できる様に適合された車両用の装置にも関する。
【背景技術】
【0002】
車両は、車両内の搭乗者のために車両周辺部を画面等の表示手段に表示するドライバー・アシスタント・システムを包含していることができる。この様なドライバー・アシスタント・システムは、サラウンド・ビュー・システムとも呼ばれ、通常、車両に装備され、車両周辺部において、異なる表示領域を有する、或いは、異なる表示角度を可能にする一台乃至複数台の車載カメラを包含している。
【0003】
この様なサラウンド・ビュー・システムでは、周辺領域を可能な限り適切に描写できることが望ましい。車外に搭載されている該車載カメラは、周辺領域の情報を提供することができる。そして、これらによって、車両のドライバーが、それらを見ることができる様に、車両周辺部のオブジェクト及び/或いは、インフラストラクチャ・コンポーネントを表示できることが望ましい。
【0004】
但し、一台乃至複数台の車載カメラの個々のFOV(field-of-view)は、車両自体、例えば、ボディの一部などによって覆い隠されることがある。その結果、車両周囲のオブジェクト乃至インフラストラクチャ・コンポーネントが車両自体によって覆い隠されている場合、それらを表示することは不可能であり、盲点が生じる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従って、自車両内における自車両周辺部の改善された描写を可能にする方法を提供する必要がある。
【課題を解決するための手段】
【0006】
独立請求項の主対象は、自車両内における自車両周辺部の改善された描写を可能にする方法を提供する。本発明の有利な実施形態及び更なる発展形は、従属特許請求の範囲、明細書及び添付図面に示されている。
【0007】
本発明の第一アスペクトは、自車両内における自車両周辺部を表示乃至描写する方法を提供する。この方法は、以下のステップを包含している:
少なくとも1つのカメラデータセット内に保存するために、少なくとも一台の車載カメラによって自車両の周囲部を連続的に捕捉するステップ、
捕捉された自車両の周囲部内において、地中乃至地面付近にある充電ベースを検出するステップ、
自車両モーション情報を取得するステップ、並びに、
自車両の一部が、自車両の車載カメラのFOVを覆い隠すことによって充電ベースが盲点に入っている場合には、ディスプレイ内の盲点を置き換えるための合成ビューを生成するステップ、但し、該合成ビューは、カメラデータセット内に保存され、且つ、自車両モーション情報に基づいて動き補正された自車両周辺部捕捉の少なくとも一枚前のビューに基づいて生成される。
【0008】
上述の方法は、コンピュータに実装されることができ、特に好ましくは、第二のアスペクトに関する下記の説明の様な装置乃至システム、好ましくは、サラウンド・ビュー・システムによって実行されることができる。自車両外部に二台乃至それ以上のカメラを装備することにより、自車両周辺部において異なる視野領域、或いは、異なる視野角を有することができる。本件においてそのように使用されている如く、一台或いは複数台のカメラからの以前のイメージデータ及び/或いは以前のフレームデータを保存するために自車両周辺部を連続的に捕捉するにあたっては一台或いは複数台のカメラを使用してイメージを連続的に取得し、一つ乃至複数のカメラデータセットにそれらを保存することも包含されていることができる。本方法は、自車両を始動させる、及び/或いは、サラウンド・ビュー・システムを作動させることによって開始される。充電ベースは、自車両の電気システムに接触することなく、例えば、誘導的に、例えば、自車両のエネルギー貯蔵手段を充電するために、電気エネルギーを供給するように適合されていることができる。そのため、自車両は、自車両の車載充電装置など、充電ベースの対となる車載側手段を包含していることができる。該充電ベース及び/或いは該車載側手段は、パッドを包含し得る。これは、一枚乃至複数枚の導電性表面を包含し得る。
【0009】
提供される方法は、自車両内における自車両周辺部の描写を改善することを可能にし、特に好ましくは、喩え、サラウンド・ビュー・システムの一つ或いは複数のFOVが、自車両自体によって隠されていたとしても、一つ乃至複数個の障害物、及び/或いは、インフラストラクチャ・コンポーネント、例えば、充電ベースなどを表示することも可能にする。提供される方法は、充電ベースと、自車両の車載充電装置など、車載側手段との位置合わせを改善することを可能にし得る。このことにより、自車両マヌーバの効率が改善乃至向上する可能性があり、盲点内にある各々のターゲット領域、例えば、充電ベースなどに、より高い精度及び/或いはより迅速に到達することが可能になり得る。加えて、該充電ベースを検出するように適合された付加的な走査手段も必要とされない。
【0010】
ある実施形態によれば、本方法は更に、自車両内において、隠された充電ベースの仮想代替を含む合成ビューによって盲点を置き換えて表示することも包含し得る。従って、充電ベースと車載側手段との位置合わせは、その一方の乃至双方の推定現在地が自車両内に表示されることが可能となるため、更に改善され得る。
【0011】
ある実施形態においては、本方法は更に、自車両内に、自車両自体の少なくとも一部の仮想代替と、自車両の車載充電装置の少なくとも一部の仮想代替とを表示することも包含し得る。従って、充電ベースと自車両の車載側手段との位置合わせは、その一方の乃至双方の推定現在地が自車両内に表示されることが可能となるため、更に改善され得る。
【0012】
ある実施形態によれば、合成ビューを生成するステップは更に、カメラによって捕捉され、カメラデータセット内に保存された少なくとも一枚の以前のビューを使用して、履歴的地表面ビューを構築することも含み得る。この様に、該合成ビューが、一枚乃至複数枚の以前に捕捉されたイメージに基づいているため、自車両周辺部の表示乃至描写は現実的であり得る。
【0013】
ある実施形態においては、合成ビューを生成するステップは更に、地表面上の盲点の再現も包含し得る。この様に、該盲点の置き換えは、非常にリアルなビュー乃至イメージを使用することにより、更に改善され得る。
【0014】
ある実施形態によれば、本方法は更に、1つ乃至複数の重畳点、充電ベース及び/或いは自車両の車載側手段と関連する重畳点乃至重なり点を生成することも包含し得る。従って、充電ベースと自車両の車載側手段との位置合わせは、その一方の乃至双方の推定された絶対的現在地、及び/或いは、これら双方間の相対位置が自車両内に表示されることが可能となるため、更に改善され得る。
【0015】
ある実施形態においては、本方法は更に、充電ベース及び/或いは自車両の車載側手段の重畳乃至重なりを、自車両ボディ上に再現し、特に好ましくは、その仮想代替を表示することも包含し得る。従って、充電ベースと自車両の車載側手段との位置合わせは、その一方の乃至双方の推定現在地が自車両内に表示されることが可能となり、現在の絶対位置乃至相対位置が、より実施可能に決定され得るため、更に改善されることができる。
【0016】
ある実施形態によれば、本方法は更に、自車両の充電装置自体は自車両内からは不可視ではあるが、合成ビューに含まれる充電ベースと自車両の車載充電装置とが重なっている割合を割出すことも包含し得る。
【0017】
ある実施形態において、本方法は更に、割出された重なりの割合を、好ましくは、パーセンテージ値、比率値、或いは、グラフ図などの少なくとも一つによって、自車両内に表示することも包含し得る。これにより、更に正確に位置合わせを割出すことが可能になる。
【0018】
ある実施形態によれば、本方法は更に、割出された重なりの割合に基づいて、自車両の車載エネルギー貯蔵手段の充電時間を推定することも包含し得る。例えば、位置合わせの精度が高い、言い換えれば、重なり率が高いと、充電ベースと車載側手段との間のエネルギー伝達を高めることが可能になる。同様に、位置合わせの精度が低い、言い換えれば、重なり率が低いと、充電ベースと車載側手段との間のエネルギー伝達が低くなり得る。これを基に、時間として表現される充電にかかる長さを推定することができる。推定された充電時間は、自車両内に、例えば、パーセンテージ値、比率値、或いは、グラフ図によって表示されることができる。
【0019】
ある実施形態によれば、本方法は更に、割出された重なりの割合に基づいて、充電効率を推定することも包含し得る。効率は、位置合わせの精度に比例し得るため、該推定は、これに基づいて実施し可能である。該効率は、自車両内に、例えば、パーセンテージ値、比率値、或いは、グラフ図によって表示されることができる。
【0020】
第二アスペクトは、自車両周辺部を自車両内に表示するための以下を包含する装置乃至システムを提供する:
自車両内に配置された少なくとも一台の表示手段、
自車両周辺部にFOVを有するように配置された少なくとも一台の車載カメラ、
オプションとしての車載エネルギー貯蔵手段、
例えば、ワイヤレス乃至誘導的な充電を実施するための、例えば、エネルギー貯蔵手段を充電するために電力を供給する自車両周辺部の地中乃至地面付近に配置されている充電ベースと相互作用する様に適合された車載充電装置
第一アスペクトのいずれか一つの実施形態に係る方法を実施するように適合された少なくとも一台のプロセッサをオプションとして包含し得るデータ処理手段。
【0021】
オプションとして該装置乃至システムは、例えば、他の車載システム由来の情報も含む自車両モーション情報と言ったオンボード車両情報を取得するための1つ乃至複数の通信インターフェースも備え得る。又、オプションとして、それが実行された時、プロセッサによって第一アスペクトに係る方法が実施される命令を含むコンピュータプログラムを保存するためのメモリを包含していることも可能である。
【0022】
以下、本発明の例示的実施形態を、添付図面を参照してより詳細に説明する。
【図面の簡単な説明】
【0023】
【
図1】
図1は、アスペクトに係る方法を実施できる様に構成された、アスペクトに係る運転支援システムを装備した車両を示し、
【
図2】
図2は、
図1の車両を示し、尚、図内の車両は、
図1に照らして例示的な方向に移動している、
【
図3】
図3は、アスペクトに係る方法のフローチャートを示している。
【発明を実施するための形態】
【0024】
これらの図は、単なる概略図であり、本発明を説明するためだけのものである。同一乃至等価なエレメントには、一貫して同じ符号を与えた。
【0025】
図1は、地面G上にあり、x-y平面に移動自在な以下車両1と記す自車両1を示している。車両1は、システム100を、ドライバー・アシスタント・システム及び/或いはサラウンド・ビュー・システムとして有している。該システム100は、搭乗者が、車両1内において、現時点の車両周辺部のサラウンド映像を得ることを可能にする。
【0026】
この目的のため、システム100は、車両1のインテリア内に、例えば、イメージIを視覚的に表現できるスクリーンとして配置された表示手段110を装備している。更に、該システム100は、少なくとも1つのプロセッサ及びメモリ手段130を備えた表示手段110と相互作用するデータ処理手段120も有している。加えて、システム100は、車両1の異なる位置に配置され、異なるFOV乃至視野141F,141R,141LL,141LRを有する複数の車載カメラ140F,140R,140LL,140LRを装備している。尚、カメラ140Fは、前部に配置され、カメラ140Rは、後部に配置され、カメラ140LLは左側方に配置され、カメラ140LRは右側方に配置されることが特に好ましい。FOV乃至視野領域141F,141R,141LL,141LRは、各々のカメライメージI_F,I_R,I_LL,I_LRとして検出可能であり、これらは、表示手段110に直接再生される、及び/或いは、場合によっては(少なくとも一時的に)、1つ乃至複数のカメラデータセットとしてメモリ手段130に記憶されることができる。車両周辺部を描写するためには、カメライメージI_F,I_R,I_LL,I_LRのうちの一枚乃至複数枚が、データ処理手段120によって取得乃至合成され、表示装置110に表示される車両周辺部のビューとして形成乃至生成されることができる。
【0027】
車両1は更に、車両1のボディ下、ボンネット下、トランク下などに配置されることができる車載充電装置200も包含している。これは、ワイヤレス乃至誘導的な充電を実施するために、例えば、エネルギー貯蔵手段を充電するために電力を供給する自車両周辺部の地中乃至地面付近に配置されている充電ベース300と相互作用する様に適合されている。オプションとして車両1は、車載充電装置200を介した充電ベース300による充電に適合された車載エネルギー貯蔵手段(図示せず)、例えば、バッテリーも包含し得る。充電ベース300と車載充電装置200の双方が、直接的コンタクト無しの、及び/或いは、コンタクトを設定し得るワイヤレス充電に適合されていることができる。この目的のため、充電ベース300と車載充電装置200は、一つ乃至複数の電導表面、ピン等を包含し得る。しかしながら、車両1を充電するためには、充電ベース300と車載充電装置200との位置合わせが必要となり得ることも考慮されなければならない。該位置合わせは、車両の垂直方向における前述の構成要素の重畳或いは重なりと呼も呼ばれ、これは、x-y平面に対して横方向、乃至、鉛直方向であり得る。
【0028】
引き続き
図1を参照すると、充電ベース300は、カメラ140F,140R,140LL,140LRのFOV乃至視野領域141F,141R,141LL,141LRのうちの一個所に配置されている限り、
図1に示されている如く、直接的、乃至、表示手段110を介して仮想的に、車内から見ることができる。しかしながら、車両1が、充電ベース300に向かって移動する場合、例えば、車両1の一部、例えば、ボディやボネットなどが、該充電ベース300を覆っている可能性があり、カメラ140F,140R,140LL,140LRのいずれもが、それを捕捉できない可能性がある。言い換えれば、車両1の各々の部位が、カメラ140F,140R,140LL,140LRのFOV乃至視野領域141F,141R,141LL,141LRの幾つか、乃至、全てを覆い隠すことによって、充電ベース300が、その盲点に入る原因となり得ると言うことである。
【0029】
図2は、そのような状況を示しており、
図1を考慮し該車両1は、例えば、x方向に移動し、その結果、車両1自体によって覆い隠され、充電ベース300は、カメラ140F,140R,140LL,140LRのFOVの盲点の一部となっている。加えて、
図2は、車両1の充電を目的とした充電ベース300と車載充電装置200との位置合わせも示している。ここでは、約100%の完全な位置合わせが示されているが、実際には、この値は低くても車両1の充電には十分ではあるものの、充電時間が長くなる、或いは、効率が低下する可能性がある。
【0030】
図2を引き続き参照すると、システム100は、以下に説明する様な状況に対処することが可能である。この目的のため、データ処理手段120は、メモリ130に保存されたコンピュータプログラムの命令を処理する様に適合され、該命令が、システム100に以下の方法を実施させることを可能にしている。
【0031】
一台乃至複数台のカメラ140F,140R,140LL,140LRは、周辺部を連続的に捕捉し、これを少なくとも1つのカメラデータセット内に保存する。捕捉及び/或いはカメラデータセットに基づき、自車両周辺部の捕捉されたイメージ及び/或いはフレーム内において、充電ベース300の在/不在は、自動的に検出されることが可能である。言うまでも無く、該検出は、搭乗者によって手動で実施されることも可能である。
【0032】
更に、車両1のオンボードデータから、或いは、捕捉されたイメージ及び/或いは走行距離データを得るためのフレーム等を処理することにより車両モーション情報を得ることが可能である。この車両モーション情報は、車両が向けられる方向、車両速度、充電ベース300への距離の残り等のうちの1つ乃至複数を包含し得る。
【0033】
更に、車両1の一部が、カメラ140F,140R,140LL,140LRの一つ乃至複数のFOVを覆い隠すことによって充電ベース300方向が、盲点に入っている場合は、合成ビューが生成され得る。該合成ビューは、表示手段110内において、盲点を置き換えることができる。合成ビューを生成するために、カメラデータセット内に保存された車両周辺部の捕捉されたイメージ及び/或いはフレームと言った少なくとも1つの前のビューが、ベースとして使用される例えば、地表面Gの履歴的ビューは、以前に保存されたカメラデータを使用して構築され得る。上述の車両モーション情報を用いて、ビューは、動き補正及び/或いは再現されることができる。更に、該盲点は、上述のデータの一部乃至全てを基に再現可能である。表示手段110内には、充電ベース300が、以前に捕捉されたビュー、例えば、以前の(複数枚の)イメージ及び/或いは(複数の)フレームに含まれていたため依然として示されている合成ビューを生成し表示することができる。車両1が移動を続けると、合成ビューは、1つ以上の前の合成ビュー、例えば、イメージ及び/或いはフレームをベースとして使用して更に更新される。これは、数枚のイメージ及び/或いはフレームの間に充電ベース300を、カメラ140F,140R,140LL,140LRによって捕捉できなくとも、表示手段110内で可視であり続けることを意味する。
【0034】
充電ベース300と車載充電装置200との間の1つ乃至複数の重畳点及び/或いは重なり点が、更に生成される、或いは、割出されるなどと言ったことも可能である。これら1つまたは複数のポイントは、車両1自体の少なくとも一部の仮想代替、及び、車両1の車載充電装置200の少なくとも一部の仮想代替、及び/或いは、覆い隠されている充電ベース300の仮想代替上に描画される。その結果、表示手段110は、各仮想代替が互いに対して相対的に動いていることを示すことができる。
【0035】
充電ベース300と車載充電装置200が、少なくとも部分的に重なり合うと、位置合わせの、即ち、一致する領域の割合、例えば、そのパーセンテージが、推定され、オプションとして表示され得る。これは、図として、及び/或いは、グラフとして表示され得る。
【0036】
これに基づいて、予想される充電時間及び/或いは充電効率が、推定され、オプションとして、搭乗者に表示される。
【0037】
図3は、上述の方法を、フローチャートとして示している。ステップS1では、車両周辺部が、少なくとも1つのカメラデータセット内に保存するために、少なくとも一台の車載カメラ140F,140R,140LL,140LRによって連続的に捕捉される。ステップS2では、充電ベース300が、捕捉された自車両周辺部内において検出される。ステップS3では、車両モーション情報が取得される。ステップS4では、表示手段110内の盲点を置き換えるための合成ビューが生成されるが、該合成ビューは、カメラデータセット内に保存され、且つ、自車両モーション情報に基づいて動き補正された自車両周辺部捕捉の少なくとも一枚前のビューに基づいて生成される。
【国際調査報告】