特許 7105879 車両のカメラシステムの画像を描写する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-14

(45)【発行日】2022-07-25

(54)【発明の名称】車両のカメラシステムの画像を描写する方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220715BHJP

   B60R 1/20 20220101ALI20220715BHJP

   B60R 1/27 20220101ALI20220715BHJP

   B60R 99/00 20090101ALI20220715BHJP

   G06T 1/00 20060101ALI20220715BHJP

【ＦＩ】

H04N7/18 J

B60R1/20 100

B60R1/27

B60R99/00 351

G06T1/00 330Z

【請求項の数】 9

(21)【出願番号】P 2020520226

(86)(22)【出願日】2018-09-10

(65)【公表番号】

(43)【公表日】2020-12-17

(86)【国際出願番号】 EP2018074273

(87)【国際公開番号】W WO2019072466

(87)【国際公開日】2019-04-18

【審査請求日】2020-06-03

(31)【優先権主張番号】102017218090.0

(32)【優先日】2017-10-11

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100120112

【氏名又は名称】中西 基晴

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100161908

【弁理士】

【氏名又は名称】藤木 依子

(72)【発明者】

【氏名】エスパルザ・ガルシア，ホセ・ドミンゴ

(72)【発明者】

【氏名】カノ，ラファエル

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２００５－２６８８４７（ＪＰ，Ａ）

【文献】特開２００４－２１３４８９（ＪＰ，Ａ）

【文献】特開２０１１－２０５５１３（ＪＰ，Ａ）

【文献】特開２００８－１２６７９４（ＪＰ，Ａ）

【文献】特開２００４－３２０５６７（ＪＰ，Ａ）

【文献】特開２０１５－０１８４３８（ＪＰ，Ａ）

【文献】特許第５５９７７８１（ＪＰ，Ｂ１）

【文献】特開２００４－２０３０６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２０

Ｂ６０Ｒ ９９／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両（１）のカメラシステム（３）の画像を描写する方法であって、
カメラシステム（３）によって車両（１）の周辺から検出された障害物を仮想３次元空間（６）の仮想３次元オブジェクト（５）として表示装置（４）に描写することであって、選択基準に基づいて、仮想３次元オブジェクト（５）および／または仮想３次元空間（６）の少なくとも一部が、カメラシステム（３）によって生成されたテクスチャによって覆われるように描写されるのか、それとも、所定のテクスチャによって覆われるように描写されるのか、について判定することを含み
前記選択基準が、駐車スペースの正常な認識および／または駐車支援システムの起動を含む、方法。

【請求項2】

請求項１に記載の方法において、
前記選択基準に基づいて、前記仮想３次元オブジェクト（５）および／または前記仮想３次元空間（６）を覆うために設けられるテクスチャが所定のフィルタによって処理されるかどうかを判定する方法。

【請求項3】

請求項２に記載の方法において、
前記所定のフィルタがグレーの濃淡を含む方法。

【請求項4】

請求項１から３までのいずれか１項に記載の方法において、
前記所定のテクスチャが、前記仮想３次元オブジェクト（５）の外形および／または外面のみを描写するための所定の輝度曲線である方法。

【請求項5】

請求項１から４までのいずれか１項に記載の方法において、
前記仮想３次元オブジェクト（５）を少なくとも部分的な重なり（７）によって表示装置（４）に強調表示する方法。

【請求項6】

請求項１に記載の方法において、
前記表示装置（４）の画面を少なくとも２つの表示部分に分割し、一方の表示部分では前記車両（１）の周辺のうち前記車両（１）の現在位置からより遠い場所を、当該表示部分のコントラストを増加させ、かつ色深度を減少させて描写し、他方の表示部分では前記車両（１）の周辺のうち前記車両（１）の現在位置からより近い場所を、前記カメラシステム（３）によって生成されたテクスチャによって覆われるように描写する、方法。

【請求項7】

請求項１から６までのいずれか１項に記載の方法を実行するように構成されたコンピュータプログラム。

【請求項8】

請求項７に記載のコンピュータプログラムが記憶された機械可読記憶媒体。

【請求項9】

請求項１から６までのいずれかに記載の方法を実行するための制御器（２）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のカメラシステムの画像を描写する方法に関する。特に、カメラシステムは、車両の周囲の画像を検出することができる全周囲視覚システムである。

【背景技術】

【0002】

このような全周囲視覚システムは、従来技術からサラウンドビューシステム（ＳＶＳ）として知られている。このようなシステムは、最大量の情報を表示するために異なるデータタイプを使用する。このようにして、システムが提供できる最大量の情報が運転者に提供される。このようなデータタイプは、特に、センサデータマージ、クラウドの情報、および多くの他のソースから得ることができる。センサデータマージからの典型的なデータは、車両のビデオセンサ、レーダセンサ、ライダセンサ、または他の環境センサによって決定される、車両の周囲の占有領域および空き領域に関する情報を含む。クラウドからの情報は、特に、気象条件および利用可能な駐車スペースであってもよい。

【0003】

ＳＶＳによって表示することが望ましい大量の情報によって、車両の運転者はこれらの情報が適切に表示されない場合には過剰に要求を課される可能性がある。このことは、運転者がこれらの情報を認識せず、運転者に付加価値を提供しないデータが不必要に検出されることにつながる。同時に、従来技術では極めて複雑なディスプレイが著しい計算コストを用いて生成され、このようなディスプレイが、サラウンドビューシステムに提供される全ての情報を１つのディスプレイ画像に統合している。しかしながら、この著しい計算コストは、運転者に現在関連する情報を提示するためには必要不可欠ではないことが多い。

【発明の概要】

【0004】

本発明による方法は、異なる描写で情報を表示することを可能にする。描写は、選択基準に基づいて決定される。このようにして、一方では、関連情報のみを運転者に示すことが可能であり、他方では、不要な描写を生成するシステムの計算能力が大幅に低減される。

【0005】

車両のカメラシステムの画像を描写するための本発明による方法では、上記カメラシステムによって車両の周辺から検出された障害物を表示装置に描写する。描写は、仮想３次元空間で行われる。この仮想３次元空間では、検出された障害物が仮想３次元オブジェクトとして描写される。したがって、観察者は、立体的なオブジェクトが描写されている立体描写であるという印象を受ける。これは、対応する仮想カメラ位置からの実際の風景の仮想的に見ていることに対応する。したがって、車両の運転者に現在の風景の概観を提供することができる。一方では関連情報を最適に描写し、他方では表示装置に描写を生成するシステムの計算能力を低減するために、選択基準を使用して、仮想３次元オブジェクトおよび／または仮想３次元空間が、カメラシステムによって生成されるテクスチャで覆われているかどうか、または少なくとも１つの所定のテクスチャによって覆われているかどうかを判定する。所定のテクスチャは、異なる濃淡の単一色であってもよく、テクスチャは表示装置には示されない。実際のテクスチャ、すなわち、カメラシステムによって生成されるテクスチャを省略することによって、一方では、表示装置に描写される情報内容を低減し、他方では、描写を生成するための計算コストが低減される。これにより、一方では、車両の運転者が関連情報に集中することを可能にし、他方では、必要とされる計算能力が著しく低減される。

【0006】

従属請求項は、本発明の好ましい構成を含む。

【0007】

有利には、選択基準に基づいて、仮想３次元オブジェクトおよび／または仮想３次元空間を覆うために設けられるテクスチャが所定のフィルタによって処理されるかどうかが判定される。特に、所定のフィルタによってテクスチャのコントラストを増大させることができる。したがって、テクスチャを描写する可能性が依然として存在し、同時に表示装置における仮想３次元オブジェクトの認識が改善される。

【0008】

特に、所定のフィルタがグレーの濃淡を含むことが提供される。グレーの濃淡は、テクスチャの色深度を減少させ、コントラストを増大させる。同時に、グレー濃淡によってテクスチャの情報内容が低減され、表示装置における仮想３次元オブジェクトの認識が運転者にとって容易になる。

【0009】

所定のテクスチャは、有利には、所定の輝度曲線である。所定の輝度曲線により、仮想３次元オブジェクトの外形および／または外面のみが描写される。これは、仮想３次元オブジェクトの外形および／または形状のみを表示装置で認識することができることを意味する。したがって、テクスチャは示されず、このことは、表示装置に描写を生成する場合の計算コストを著しくに低減する。同時に、車両の運転者は、周囲の障害物を迂回して安全かつ確実に車両を操作することができ、これは、車両を駐車する場合には特に有利である。特に、運転者は、詳細なテクスチャによって実際の障害物から気をそらされることがない。

【0010】

さらなる好ましい実施形態では、仮想３次元オブジェクトの少なくとも一部、特に全ての仮想３次元オブジェクトが、少なくとも部分的な重なりによって表示装置に強調表示される。重なりは、有利には、対応する仮想３次元オブジェクトを取り囲むフレームを含む。これにより、周辺の障害物を確実に視覚化することができる。したがって、車両の運転者は、周辺の障害物がどこにあるか、およびこれらの障害物が車両に危険をもたらすかどうかを明確に認識することができる。運転者に、周辺の特徴に関する付加的な情報を与える他の重なりも有利である。例えば、ディスプレイ装置の対応するマーキングによって、利用可能な空き駐車スペースを強調表示することが可能である。

【0011】

有利には、選択基準はユーザ入力である。したがって、ユーザは、少なくとも１つの所定のテクスチャを有する単純化された描写を必要とするか、またはカメラシステムのテクスチャを有するより複雑な描写を必要とするかを自由に選択することができる。ユーザは、カメラシステムのテクスチャの少なくとも一部を所定のフィルタによって処理することが望ましいかどうかを判定することもできる。したがって、運転者は、現在不要な多数の情報によって混乱されることなしに、現在の状況においてどのビューが最大限の情報内容を提供するかを自由に選択することができる。

【0012】

さらなる実施形態では、好ましくは、選択基準は、駐車スペースの正常な認識および／または駐車支援システムの起動を含む。したがって、描写の変更は、好ましくは自動的に行われる。このようにして、現在、客観的にみて最良の表現を車両の運転者に提供することができる。したがって、特に駐車支援システムの作動時に、所定のテクスチャのみを有する描写を使用して、駐車支援システムがどの障害物を認識したか、およびこれらの障害物に基づいて駐車手順をどのように行うかを簡単な方法で運転者に示すことができる。

【0013】

本発明はまた、上述の方法を実行するように設定されたコンピュータプログラムに関する。コンピュータプログラムは、特に、計算装置で実行された場合に、計算装置に前述の方法のステップを実行させる機械可読命令を含むコンピュータプログラムである。計算装置は、特に、車両の制御器である。

【0014】

本発明は、機械可読記憶媒体をさらに含む。上述したコンピュータプログラムは、機械読み取り可能な記憶媒体に記憶されている。機械可読記憶媒体は、特に、光データキャリアおよび／または磁気データキャリアおよび／またはフラッシュメモリである。

【0015】

最後に、本発明は、上述の方法を実行するための制御器に関する。同様に、制御器は、有利には、上述のようにコンピュータプログラムを実行するように構成されている。

【0016】

次に添付の図面を参照して本発明の例示的な実施形態を詳細に説明する。

【図面の簡単な説明】

【0017】

【図1】本発明の例示的な実施形態による方法を実施するための制御器を有する車両を示す概略図である。

【図2】本発明の例示的な実施形態による方法によって生成される描写の第１の例を示す図である。

【図3】本発明の例示的な実施形態による方法によって生成される描写の第２の例を示す図である。

【図4】本発明の例示的な実施形態による方法によって生成される描写の第３の例を示す図である。

【図5】本発明の実施形態による方法によって生成される描写の第４の例を示す図である。

【発明を実施するための形態】

【0018】

図１は、本発明の一実施形態による制御器２を備える車両１を概略的に示す。車両１は、車両１の周辺をぐるりと検出するように構成されたカメラシステム３を備える。このようにして、車両１の周辺全体をカメラシステム３によって走査することができる。制御器２は、運転者に周辺を描写するために表示装置４に描写を生成するために使用される。制御器２は、カメラシステム３が車両周辺から検出した障害物を仮想３次元空間６に仮想３次元オブジェクト５として表示装置４に表示するようになっている。このことを図２～図５に示す。表示装置４に描写される描写の選択は、選択基準に基づいて行われる。

【0019】

選択基準は、有利には、ユーザ入力である。したがって、ユーザは、異なる描写のうちどの描写を見たいかを選択することができる。あるいは、選択基準は、駐車スペースの認識の成功に基づいて、および／または駐車支援システムの起動に基づいて、描写を選択することによって自動的に決定することができる。大量の情報によって運転者を圧倒することなしに関連情報を含む周辺の最適な画像を常に車両の運転者に示すことが目的である。同時に、描写を選択することによって制御器２内の計算コストが著しく低減されている。なぜならば、同様に減少した情報内容を有する描写が表示装置に表示され、最大の情報内容を有する描写を連続的に生成する必要がないからである。

【0020】

図２は、表示装置４の描写の第１の例を概略的に示す。車両の周辺から検出された障害物は、仮想３次元空間６に仮想３次元オブジェクト５として描写される。識別性を改善するために、障害物５の周囲にフレーム７を表示するようにしてもよい。これにより、車両１の運転者は、仮想３次元オブジェクト５に基づいて周辺の障害物を容易に認識することができる。より良好に概観するために、好ましくは、さらに車両１の表現１０が仮想３次元空間６に表示される。

【0021】

図２に示す例では、全ての仮想３次元オブジェクト５および仮想３次元空間は、カメラシステム３によって記録されたテクスチャで覆われている。これは、フォトリアリスティックな描写が生成されることを意味する。したがって、車両１の運転者には、様々な異なる情報の描写が提供される。個々の障害物を認識すること、ひいては仮想３次元オブジェクト５として表示することが望ましくない場合には、運転者は、これらの障害物をテクスチャに基づいて認識する選択肢を依然として有している。しかしながら、車両の運転者は、大量の情報に圧倒される危険性がある。したがって、車両１の運転者は重要な情報を見落とす可能性がある。このことは、車両１が障害物と衝突する危険性があることを意味する。なぜならば、運転者は車両１の表現１０が仮想３次元オブジェクト５に接近していることを見落としたからである。

【0022】

図３は第２の例を示す。この例では、表示はテクスチャなしに行われる。風景は図２と同じである。図２とは異なり、仮想３次元オブジェクト５および仮想３次元空間６はテクスチャで覆われていない。これは、仮想３次元オブジェクト５および仮想３次元空間６が、仮想３次元オブジェクト５の輪郭の描写を含む輝度曲線のみを有することを意味する。ここでも、仮想３次元オブジェクト５が強調表示７によって強調表示されることが好ましい。

【0023】

図３に示す描写では、情報内容は障害物の有無のみに制限されている。したがって、車両１の運転者は、多数の異なるテクスチャによって圧倒されることがなく、むしろ、車両１の運転者は、周辺の障害物と衝突しないこと、すなわち、車両１の表現１０と仮想３次元物体５との間の間隔を常に保持することに集中することができる。

【0024】

図４は描写の第３の例を示す。この場合、図２に示すようなテクスチャが用いられる。図２とは異なり、この例ではテクスチャにフィルタが配置される。このようなフィルタは、特にグレーの濃淡である。これにより、ディスプレイのコントラストが増加し、同時に色深度が減少する。このようにして、その情報内容に関して、図２の描写と図３の描写との間の範囲にある描写が実現される。車両の運転者には依然としてテクスチャが描写され、したがって、おそらく認識されない障害物を運転者が認識することができ、同時に、認識された障害物を仮想３次元オブジェクト５によって運転者が確実に認識することができる。

【0025】

最後に図５は第４の例を示す。この例では、描写は第１の領域８と第２の領域９とに分割される。第１の領域８は、図２に示す第１の例に相当し、第２の領域９は、図３に示す第３の例に相当する。これは、カメラシステム３によって生成されたテクスチャから、所定のフィルタによって処理されたテクスチャへの遷移をもたらす。したがって、近い領域のための高い詳細度と、遠い領域におけるコントラストの増加との利点と組み合わせることができる。

【図1】

【図2】

【図3】

【図4】

【図5】