特許 7190487 車両の周辺を描写する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-07

(45)【発行日】2022-12-15

(54)【発明の名称】車両の周辺を描写する方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221208BHJP

   B60R 1/20 20220101ALI20221208BHJP

   B60R 1/27 20220101ALI20221208BHJP

   B60R 99/00 20090101ALI20221208BHJP

【ＦＩ】

H04N7/18 J

B60R1/20 100

B60R1/27

B60R99/00 322

B60R99/00 351

【請求項の数】 4

(21)【出願番号】P 2020520299

(86)(22)【出願日】2018-09-03

(65)【公表番号】

(43)【公表日】2020-12-17

(86)【国際出願番号】 EP2018073611

(87)【国際公開番号】W WO2019072455

(87)【国際公開日】2019-04-18

【審査請求日】2020-06-03

(31)【優先権主張番号】102017218074.9

(32)【優先日】2017-10-11

(33)【優先権主張国・地域又は機関】DE

【前置審査】

(73)【特許権者】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100161908

【弁理士】

【氏名又は名称】藤木 依子

(72)【発明者】

【氏名】パンキー，カイン

(72)【発明者】

【氏名】エスパルザ・ガルシア，ホセ・ドミンゴ

(72)【発明者】

【氏名】カノ，ラファエル

【審査官】益戸 宏

(56)【参考文献】

【文献】独国特許出願公開第１０２００８０４６２１４（ＤＥ，Ａ１）

【文献】特表２０１４－５３２３２４（ＪＰ，Ａ）

【文献】国際公開第２０００／０６４１７５（ＷＯ，Ａ１）

【文献】特開２０１１－２０５５１３（ＪＰ，Ａ）

【文献】特開２０１１－０２５８７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２０

Ｂ６０Ｒ ９９／００

(57)【特許請求の範囲】

【請求項1】

車両（１）の周辺を描写する方法であって、
車両（１）の周辺を検出し（１００）、前記車両（１）の周辺センサ（８、９）によって前記周辺の障害物（２、３、４）を決定するステップと、
前記障害物（２、３、４）を有する前記周辺の表現および前記車両（１）の表現を含む第１の描写（５）を表示装置（１０）に表示するステップ（２００）と、
前記障害物（２、３、４）までの所定の間隔よりも間隔が小さくなることによって、決定された前記障害物（２、３、４）に前記車両（１）が接近していることを判定するステップ（３００）と、
前記第１の描写（５）と比較して、前記障害物（２、３、４）を有する前記周辺の表現を拡大した部分を有する第２の描写（７）を表示するステップ（４００）であって、前記部分が、前記障害物（２、３、４）への前記車両（１）の接近が判定された前記車両（１）の周辺範囲であるステップ（４００）と、を含み、
第３の描写（６）は、前記車両（１）の周辺の前記障害物（２、３、４）のエッジであって、前記車両（１）に接近しているエッジが、線のみで、前記第１の描写（５）および前記第２の描写（７）とともに描写され、
前記第１の描写（５）および前記第２の描写（７）が、前記周辺の３次元モデルを異なる仮想視点からみた画像を示し、検出された前記周辺および決定された前記障害物（２、３、４）に基づいて前記３次元モデルを生成し、
前記仮想視点を変更すること、および／または前記第１の描写（５）からズームを変更することによって前記第２の描写（７）を生成し、
前記第１の描写（５）と前記第２の描写（７）とが別個の描写である
前記第２の描写（７）は、前記車両（１）と前記障害物（２、３、４）の一部のみを表示する鳥瞰図であり、
前記第１の描写（５）、前記第２の描写（７）、および前記第３の描写（６）は、並べて表示される、方法。

【請求項2】

請求項１に記載の方法において、
前記車両（１）が接近している前記障害物（２、３、４）の表現を前記第１の描写（５）および／または前記第２の描写（７）において強調表示する方法。

【請求項3】

コンピュータプログラムにおいて、
該コンピュータプログラムが評価ユニットで実行された場合に、評価ユニットに請求項１または２に記載の方法のステップを実行させる命令を含むコンピュータプログラム。

【請求項4】

車両（１）のための制御器（１１）において、
該制御器が、環境センサ（８、９）と表示装置（１０）とを接続するための少なくとも１つのインターフェースを含み、
制御器（１１）が、請求項１または２に記載の方法または請求項３に記載のコンピュータプログラムを実行するように設定されている制御器（１１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周辺を描写する方法に関し、特に車両の周辺の障害物を表示する方法に関する。さらに本発明はこのような方法を実施するためのコンピュータプログラム製品に関する。最後に、本発明は、このような方法を実施するように、特に、コンピュータプログラム製品を実行するように構成された車両のための制御器に関する。

【背景技術】

【0002】

運転者に車両の周辺の画像表現を表示することができるシステムが従来技術により知られている。このようなシステムは、「サラウンドビューシステム（ＳＶＳ）」とも呼ばれる。このようなサラウンドビューシステムでは、特に、多数の異なるセンサ信号を組み合わせその全てを運転者に表示し、運転者に最大限の情報を提供することができる。これらの情報は、例えば、ビデオセンサ、レーダーセンサ、ライダーセンサ、超音波センサまたは類似の環境センサからの信号から決定される。さらにこれらの情報は、特にクラウドに既に記憶されているデータと融合することもできる。その結果、サラウンドビューシステムは大量の情報を示す。サラウンドビューシステムを有する車両の運転者は、大量の情報に起因して、特に障害物への車両の接近などの危険を早期に認識しない危険性がある。

【発明の概要】

【0003】

本発明による方法は、障害物への車両の接近に基づいた危険な状況を迅速かつ確実に検出することを可能にする。このことは、周辺の概観を運転者に提供する第１の表示に加えて、接近する障害物の危険性を運転者に具体的に示す第２の描写が表示されることによって達成される。

【0004】

本発明による車両の周辺を描写する方法は、以下のステップを含み、これらのステップは、特に次に列挙する順序で実施される。

【0005】

最初に車両の環境センサによって車両の周辺の検出ならびに車両の周辺の障害物の決定を行う。車両の環境センサは、特に、車両の周囲の障害物を検出するための光学センサまたは音響センサである。特に、これらは、カメラシステム、超音波システム、および／またはレーダシステム、ならびに同様のシステムであってもよい。特に有利には、少なくとも１つのカメラによって周辺の検出を行い、車両の運転者に周辺の画像表現を表示する。検出ステップを実施することによって、一方では、車両がどの周辺に位置しているかがわかり、他方では、車両の周辺の障害物が決定される。次に、第１の描写を表示するステップを行う。第１の描写は、表示装置に障害物を有する周辺を表現することと車両を表現することとを含む。車両の表現は、特に、自分自身の車両のアニメーションであり、このアニメーションに周囲および障害物の表示が重ね合わされる。周辺および障害物の表現は、特に有利には、前述の検出および決定ステップで得られたデータから生成される画像表現である。表示装置は、特に、車両の運転者とのインターフェースである。表示装置は、有利には、ディスプレイまたはモニタであり、例えば、車両の中央コンソールなど車両の内部に取り付けられている。さらに、決定された障害物に車両が接近していることは、障害物までの所定の間隔よりも間隔が小さくなることによって判定される。このようにして、車両と障害物との間の距離が狭まり、車両が既に障害物に近接していると判定される。したがって、基本的には車両が障害物に衝突する危険性がある。このようなことは、特に、車両の側面のフェンダーなどの見通しのきかない箇所において起こる場合もある。障害物へのこのような接近は、運転者に確実かつ明確に示されることが望ましい。したがって、第１の描写と比較して、障害物を有する周囲の表現を拡大した部分を有する第２の描写を表示するステップを行う。さらに第２の描写は再び車両の表現を含む。車両の表現は、特に、第１の描写の場合と同じである。第２の描写が第１描写とは異なる視点から示されていることが望ましい場合には、有利には車両の表現は、それに応じて有利に適合される。第２の描写は、既に第１の描写も表示されている表示装置に表示される。第２の描写に表示された障害物を有する周辺の表現部分は、特に、障害物への車両の接近が判定された周辺および車両の範囲に対応する。したがって、車両が障害物に接近する箇所が強調表示される。これにより、車両の運転者の注意は、上述のような接近に向けられ、運転者は、車両と障害物との衝突を回避するために適切な措置を講じることができる。このように、表示装置には大量の情報が示され、上述の方法によって、特に関連する情報が明示的に強調して表示される。したがって、車両が他の障害物に接近しているという情報が表示される多数の情報に基づいて失われ、運転者がこのような情報に気付かないという危険性はない。これにより、車両の周辺の障害物および自身の車両が損傷される危険性が低減されているので、車両を運転する場合の安全性が高められる。

【0006】

従属請求項は、本発明の好ましい構成を含む。

【0007】

有利には、第１の描写および第２の描写は、周辺の３次元モデルを異なる仮想視点からみた画像を示す。周辺の３次元モデルは、好ましくは検出された周辺および決定された障害物に基づいて生成される。周辺の検出および障害物の決定については既に説明した。異なる仮想視点によって、運転者の焦点を、車両が障害物に接近する範囲に直ちに向けることができる。これにより、運転者は、車両が障害物に接近していることを明確に認識することができる。

【0008】

特に有利には、第２の描写は、仮想視点を変更することおよび／または第１の描写からズームを変更することによって生成される。このことは、特に有利には、仮想のカメラ旋回によって車両の運転者に視点変化に対応するアニメーションを示すことによって達成される。このように、表示装置に表示される画像は、視点が危険箇所に移動している、すなわち、障害物が車両に近づいている車両の箇所に視点が移動しているという印象を運転者が受けるように変更される。したがって、運転者の注意は上述の危険箇所にすぐに向けられる。これは、第２の描写が第１の描写から直接に現れることよって特に支援される。

【0009】

代替的な構成では、第１の描写は周辺の３次元モデルの仮想視点からの画像であり、第２の描写は、車両と車両が接近している障害物との間の間隔を概略的に示す。有利には、第２の描写はテクスチャを含まない。したがって、特にテクスチャが周辺の表現を視覚化するために使用されるので、第１の描写の画像は非常に詳細に構成されている。これに対して、第２の描写のためには概略的なアプローチのみが使用される。これは、特に、車両を表現するために環境センサの最大限の検出範囲を概略的に表示することによって行うことができ、環境センサが障害物を検出した範囲はそれに応じて識別される。代替的に、検出された障害物の外縁は、第２の描写を実現するために対応する線によって表すことができる。このようにして、障害物までの間隔が車両の運転者に明らかにされ、運転者は、車両と障害物との間の衝突を回避するために適切な運転操作を開始することができる。

【0010】

さらに代替的には、第１の描写と第２の描写とは別個の描写である。このことは、第１の描写が不変のままであり、第２の描写は、障害物への車両の上記接近を強調して示すためにのみ使用されるという利点を有する。別個の描写によって、特に、車両が障害物に接近する複数の箇所を適切に視覚化することが可能になる。これは、車両が多数の範囲で障害物、すなわち駐車している他の車両および／または境界壁に近づいた場合の駐車プロセスにおいて特に有利である。

【0011】

第２の描写は、有利には、第１の描写の少なくとも一部と重なるように表示装置に示される。したがって、車両の運転者は、メッセージが表示装置によって自分に送信されているという印象を有する。このメッセージは、元のディスプレイ、すなわち第１の描写に重ね合わされる別個のウィンドウに表示される。これは、第２の描写が第１の描写よりも高い優先度を有するという印象を運転者に与える。運転者は、車両が障害物に接近していることを直ちにかつ明確に認識することができる。

【0012】

別の代替的な構成では、第１の描写と第２の描写とは表示装置に並べて表示される。このために、特に、第１の描写は、表示装置に第２の描写のためのスペースを作るためにスケーリングされる。表示装置全体を独占する第１の描写が表示装置に示されていない場合にはこのようなスケーリングも必要ない。この代替案は、重ね合わせが生じないことが達成される。したがって、第２の描写が重ね合わされた場合のように、第２の描写を表示することにより情報が失われることはない。車両の運転者は、第２の描写が表示される前と同様に、依然として第１の描写を完全に見ることができる。

【0013】

車両が接近している障害物の表現は、有利には、第１の描写および／または第２の描写において強調して示されている。これは、特に、表現されているこのような障害物がフレームを備え、フレームを有利には点滅するように構成してもよい場合である。同様に、表示された障害物に信号色を重ねることもでき、このような信号色も点滅するように構成することができる。他の手段も可能である。このようにして、車両と障害物との間の衝突が起こり得る場所が運転者に明確に示される。したがって、可能な衝突を早期に検出することによって前述の衝突を回避するために適切な運転操作を開始する機会が運転者には明示的に与えられる。

【0014】

本発明は、さらにコンピュータプログラム製品にも関する。コンピュータプログラム製品は、評価ユニットで実行された場合に、評価ユニットに前述の方法のステップを実行させる命令を含む。評価ユニットは、特に、車両の制御器であってもよい。このような制御器は、環境センサおよび表示装置にのみ接続することができる。

【0015】

最後に、本発明は、車両のための制御器に関する。この制御器は、環境センサを接続するための少なくとも１つのインターフェースを含む。さらにインターフェースには表示装置を接続することができる。したがって、制御器は、特に、車両の周辺を検出し、車両の周辺の障害物を決定するために環境センサを制御することができる。したがって、制御器は、上述のようなコンピュータプログラム製品を実行するか、または上述のような方法を実行するように設定されている。したがって、制御器は、障害物のある周辺において車両をナビゲートする場合に車両の運転者に支援を提供して、これにより車両と障害物との間の衝突の危険性を回避することができる。

【0016】

次に添付の図面を参照して本発明の例示的な実施形態を詳細に説明する。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態による方法を概略的に示すフロー図である。

【図2】本発明の一実施形態による制御器を有する車両を示す概略図である。

【図3】本発明の一実施形態による方法を実施する場合の第１の描写の第１の概略的な再現図である。

【図4】本発明の一実施形態による方法を実施する場合の第１の描写の第２の概略的な再現図である。

【図5】本発明の一実施形態による方法を実施する場合に第１の描写から第２の描写への変更時の仮想的な視点の変更のサブステップを示す概略的な再現図である。

【図6】本発明の一実施形態による方法を実施する場合の第１の描写と第２の描写との組み合わせを示す第１の概略的な再現図である。

【図7】本発明の一実施形態による方法を実施する場合の第１の描写と第２の描写との組み合わせを示す第２の概略的な再現図である。

【図8】本発明の一実施形態による方法を実施する場合の第１の描写と第２の描写との組み合わせを示す第３の概略的な再現図である。

【発明を実施するための形態】

【0018】

図１は、本発明の一実施形態による方法のフロー図を概略的に示す。このフロー図は、周辺を検出し、障害物を決定するステップ１００と、第１の描写を表示するステップ２００と、障害物への車両の接近を決定するステップ３００と、第２の描写を表示するステップ４００とを含む。図２に示した制御器１１を有する車両１を参照して以下にこれらのステップを説明する。制御器１１は、図１に示す方法を実行する役割を果たし、制御器１１は表示装置１０に接続されている。これにより、制御器１１は表示装置１０に表示させることができる。さらに制御器１１は環境センサ８、９に接続されており、環境センサ８、９は超音波センサ８とカメラシステム９とを含む。カメラシステム９によって、特に車両１の周囲の３次元検出が可能である。超音波センサ８を介して、特に短い距離から中程度の距離までを極めて正確に検出することができる。

【0019】

例示的な実施形態による方法を実施するために、まず、車両１の周囲の検出１００が、車両の周囲の障害物の決定と共に行われる。これは環境センサ８、９によって行い、特に車両１の周辺の画像表現、すなわちテクスチャを含む表現が提供される。これは、極めて正確な周辺画像を、特に車両の運転車であるユーザに表示することができることを意味する。

【0020】

続いて第１の描写５の表示２００が行われ、例示的な第１の描写５が図３および図４に示されている。カメラシステム９は周辺の３次元モデルを生成することを可能にし、この場合に、超音波センサ８の間隔情報が付加的に使用される。すなわち、カメラシステム９によって検出されたテクスチャを間隔情報に基づいて３次元モデルとして処理することができ、車両１の運転者に障害物を示すことができ、この場合に運転者は仮想視点からの車両および周辺の仮想表現を含む３次元モデルを見る。

【0021】

図３および図４は一例として駐車状況を示している。車両１の運転者は駐車場に駐車したい。駐車スペースは、第１の障害物２および第２の障害物３によって制限され、第１の障害物２および第２の障害物３は隣接して駐車している車両である。第１の描写では、運転者はこれらの車両を認識し、したがって、第１の障害物２および第２の障害物３を回避することができる。しかしながら、図４に示すように、潜在的な危険箇所がある。これらの危険箇所は、特に、第１の障害物２および第２の障害物３の外側コーナーである。これらの外側コーナーは、駐車プロセスの経過に伴い車両１の側面に接近し、車両１と第１の障害物２および第２の障害物３との間には衝突の危険性がある。

【0022】

したがって、周辺の決定された障害物２、３のいずれかに車両１が所定の間隔よりも障害物２、３に接近したこと決定するステップ３００が行われる。これは、車両１と障害物２、３との間の間隔が減少するので、特に超音波センサ８に基づいて検出することができる。車両１のこのような接近が検出され、障害物２、３との間隔が所定の間隔よりも小さくなるとすぐに潜在的な衝突を仮定することができ、このことに基づいて、前述の表示ステップ４００が第２の描写６、７で行われる。

【0023】

第２の描写６、７の表示４００は、車両と障害物２、３との間の衝突の危険性を運転者に明示的に警告する。第２の描写６、７の表示４００は異なる方法で行うことができる。

【0024】

図５は、第２の描写６、７の表示４００の第１の可能性を概略的に示す。図３または図４に示す第１の描写５から開始して、仮想視点が変更され、ズームが第１の描写５から第２の描写６に変更される。これは、第２の描写６が第１の描写５から生じることを意味する。図５は、第１の描写５から第２の描写現６への移り変わりの個々の中間画像を示し、このような変化は好ましくは連続アニメーションである。特に、第１の描写５は、第１の描写５が表示装置１０を完全に満たすことにより表示装置１０に示される。したがって、視点を変え、ズームを変えることにより、第２の描写６も表示装置１０を完全に満たす。第１の描写５はもはや示されていない。

【0025】

したがって、第２の描写６、７は第１の描写５の一部を示し、さらに視点およびズームも変更されていることがわかる。これにより、障害物２、３、４、図５では第１の障害物２に車両１が接近している車両１の周辺範囲を車両の運転者に示すことができる。したがって、運転者は、車両１が障害物２、３、４に接近していることを明示的に注意喚起される。

【0026】

しかしながら、図５に示す可能性は、第１の描写５がもはや見えないという欠点を有する。これは、表示装置１０は第２の描写６のみを示しているので、車両の運転者が駐車状況の概観をもはや有していないことにつながる。これは、車両１が複数の障害物２、３、４に接近している場合にも不利である。例示的な実施形態による駐車状況では、車両１は第１の障害物２に接近しているだけでなく、車両１は第２の障害物３にも接近している。

【0027】

したがって、車両１の運転者に障害物２、３、４をさらに包括的に警告できるようにするために、２つの異なる第２の描写６、７が表示される。一方の第２の描写６は第１の障害物２への車両１の接近を示し、他方の第２の描写７は第２の障害物３への車両１の接近を示す。図６および図７は、第２の描写６、７を第１の描写５と共に表示装置１０に表示することができる２つの異なる可能性を示す。図６では、第２の描写６、７が第１の描写５に重ね合わされている。図７では、第１の描写５と第２の描写６、７とが並んで表示されている。したがって、図６では、第２の描写６、７が重ね合わされていることにより第１の描写５の全ての範囲を見渡すことができないので第１の描写５の情報が損なわれる危険性があることがわかる。これに対して、第２の描写６、７は、第１の描写の前景に示されていることに基づいてより高い優先度を有するメッセージとして現れ、運転者の注意は障害物２，３への接近に向けられる。図７に示すように、第１の描写５と第２の描写６、７とを並列して表示するためにはスケーリングが必要である。なぜならば、これまで表示装置１０全体を占有していた第１の描写５を縮小する必要があるからである。しかしながら、第１の描写５が表示され場合に情報が失われることは防止されている。

【0028】

図８は、第１の描写５と第２の描写６、７とを組み合わせて表示するさらなる可能性を示している。図８では、車両１は、最終的な駐車位置にほぼ到達している。したがって、第１の障害物２および第２の障害物３に加えて第３の障害物４があり、第３の障害物４は隔壁を表す。このように車両１が障害物２、３、４に接近する多数の範囲が存在する。したがって、第２の描写６は、概略的な要素のみが使用されるように表示される。これは、車両１の表示に加えて、他の障害物２、３、４が概略的にのみ示されていることを意味する。図８に示す例では、検出された障害物のエッジを表すエッジが表示されている。したがって、車両１の運転者は、自分の車両１と車両１の周辺の障害物２、３、４との間の間隔に関する正確な概観を得る。これにより、周辺に障害物２、３、４があるにもかかわらず、車両１を安全に、衝突することなし運転することが可能である。さらなる第２の描写７は、前述の図６および図７に類似したテクスチャをさらに示す。

【0029】

したがって、上述の方法により、障害物２、３、４への接近の検出に応じて表示が最適化され、運転者に上記接近が適時に警告される。これにより、周辺の障害物２、３、４との衝突の危険性が低減されるので、車両１を運転する際の安全性が向上する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】