特表 2024-546425 サラウンドビューを生成するための方法及び装置、並びに、動力車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-24

(54)【発明の名称】サラウンドビューを生成するための方法及び装置、並びに、動力車両

(51)【国際特許分類】

   G06T 1/00 20060101AFI20241217BHJP

   G06T 3/00 20240101ALI20241217BHJP

   B60R 1/20 20220101ALI20241217BHJP

   B60R 1/27 20220101ALI20241217BHJP

   H04N 7/18 20060101ALI20241217BHJP

【ＦＩ】

G06T1/00 330A

G06T3/00 780

B60R1/20 100

B60R1/27

H04N7/18 J

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024527520

(86)(22)【出願日】2022-11-17

(85)【翻訳文提出日】2024-05-10

(86)【国際出願番号】 DE2022200270

(87)【国際公開番号】W WO2023088524

(87)【国際公開日】2023-05-25

(31)【優先権主張番号】102021212970.6

(32)【優先日】2021-11-18

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(71)【出願人】

【識別番号】521442213

【氏名又は名称】コンチネンタル・エンジニアリング・サーヴィシズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】マシャド・グスタヴォ

(72)【発明者】

【氏名】パナコス・アンドレアス

(72)【発明者】

【氏名】アイヒ・マルクス

(72)【発明者】

【氏名】フリーベ・マルクス

(72)【発明者】

【氏名】フトフレス・ルーカス

(72)【発明者】

【氏名】ターテル・フィリップ

【テーマコード（参考）】

5B057

5C054

【Ｆターム（参考）】

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CE08

5C054CA04

5C054CC02

5C054FD03

5C054FD07

5C054FE14

5C054HA30

(57)【要約】

本発明は、動力車両の周辺のサラウンドビューを生成するための方法に関するが、該動力車両は、車体と車体に対して相対的に動く部品、特に、操舵される部品を有している。本方法は、地面に投影された車体のシルエットを示す第一マスクの作成、及び、地面に投影された車両の可動部品のシルエットをその時点の状態において示す第二マスクの作成を包含している。更に、本方法は、第一マスクと第二マスクの統合による動力車両のマスクの作成、並びに、該動力車両のマスクを用いた動力車両の車載カメラが提供するカメラ画像からの車両周辺のサラウンドビューの作成も包含している。

【特許請求の範囲】

【請求項1】

動力車両（１）が、車体と車体に対して相対的に動く部品を有し、以下のステップを包含していることを特徴とする動力車両（１）の周辺のサラウンドビューを生成するための方法：
地面に投影された車体のシルエットを示す第一マスク（３２）を作成するステップ（Ｓ１）；
地面に投影された車両（１）の可動部品のシルエットをその時点の状態において示す第二マスク（７１）を作成するステップ（Ｓ２）；
第一マスク（３２）と第二マスク（７１）を統合することによって動力車両（１）のマスク（７２）を作成するステップ（Ｓ３）；並びに、
動力車両（１）の車載カメラ（６）のカメラ画像から、動力車両（１）のマスク（７２）を使用して、動力車両（１）の周辺のサラウンドビューを作成するステップ（Ｓ４）。

【請求項2】

可動部品には、少なくとも動力車両（１）の操舵される車輪が包含されるが、第二マスク（７１）が、その時点における動力車両（１）の操舵角に応じて割り出されることを特徴とする請求項１に記載の方法。

【請求項3】

動力車両（１）の少なくとも一本の車輪用に、その時点における操舵角に依存して、動力車両（１）の該タイヤを捕捉する車載カメラ（６）の車載カメラ座標系内に、バーチャルタイヤが、作成され該車載カメラ座標系内のバーチャルタイヤは、車載カメラ（６）の視角から、地面に投影された動力車両（１）のタイヤのシルエットを作成するために、地面上に投影されることを特徴とする請求項２に記載の方法。

【請求項4】

バーチャルタイヤが、更に、動力車両の少なくとも一本のタイヤの寸法と位置に依存して作成されることを特徴とする請求項３に記載の方法。

【請求項5】

バーチャルタイヤが、シリンダによってモデリングされることを特徴とする請求項３或いは４に記載の方法。

【請求項6】

各々の車載カメラ（６）用に、車載カメラ（６）のカメラ画像内の車体の境界を示す境界線ルート（２１）が割り出され、各境界線ルート（２１）が、地面に投影され、地面に投影された境界線ルートの交点が割り出され、地面に投影された車体のシルエットが、境界線ルートの割り出された交点の間に延びる区間によって取り囲まれている面として割り出されることを特徴とする先行請求項のうち一項に記載の方法。

【請求項7】

各々のカメラ画像用の境界線ルート（２１）が、自動的に割り出されることを特徴とする請求項６に記載の方法。

【請求項8】

各々のカメラ画像用の境界線ルート（２１）が、車体のバーチャルモデルを用いて作成されることを特徴とする請求項６或いは７に記載の方法。

【請求項9】

割り出された各々の交点に対して、車載カメラ（６）の補足領域の隣接する重複領域が割り出され、重複領域のうち少なくとも一つが、動力車両（１）の可動部品の地面に投影されたシルエットの外側の点に対して水平にシフトされることを特徴とする請求項６から８の何れか一項に記載の方法。

【請求項10】

車載カメラ（６）によって生成されたカメラ画像を基に、動力車両（１）の周辺のサラウンドビューが作成され、動力車両（１）のマスク（７２）によってマスキングされている領域には、カメラ画像のカメラデータが挿入されないことを特徴とする先行請求項のうち一項に記載の方法。

【請求項11】

動力車両（１）の周辺のサラウンドビューが、動力車両（１）の周辺のボール型ビュー、乃至、動力車両（１）の周辺を上から見た上視図であることを特徴とする先行請求項のうち一項に記載の方法。

【請求項12】

作成された動力車両（１）の周辺のサラウンドビューが、動力車両（１）の表示手段（２）上に表示されることを特徴とする先行請求項のうち一項に記載の方法。

【請求項13】

動力車両（１）が、車体と車体に対して相対的に動く部品を有し、以下を備えていることを特徴とする動力車両（１）の周辺のサラウンドビューを生成するための装置（２）：
動力車両（１）の車載カメラ（６）のカメラ画像を受信できる様に構成されたインターフェース（３）；並びに、
演算手段（４）、但し、以下を実施可能に構成されている：
地面に投影された車体のシルエットを示す第一マスク（３２）を作成する；
地面に投影された車両（１）の可動部品のシルエットをその時点の状態において示す第二マスク（７１）を作成する；
第一マスク（３２）と第二マスクを統合することによって動力車両（１）のマスク（７２）を作成する；並びに、
受信したカメラ画像から、動力車両（１）のマスク（７２）を使用して、動力車両（１）の周辺のサラウンドビューを作成する。

【請求項14】

請求項１３に記載の動力車両（１）の周辺のサラウンドビューを生成するための装置（２）を装備した動力車両（１）。

【請求項15】

作成された動力車両（１）の周辺のサラウンドビューを表示できるように構成された表示手段（６）を装備した請求項１４に記載の動力車両（１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、サラウンドビューを生成するための方法及び装置、並びに、対応する動力車両に関する。

【背景技術】

【0002】

ドライバー・アシスタント・システムは、動力車両を運転する際にドライバーをサポートすることができる。そのためには、車両周辺部の視像を生成し、ドライバーに対して出力できるカメラシステムを用いることができる。ドライバーは、例えば、動力車両を駐車スペースから出す、或いは、駐車する際に、その視像から、動力車両をより迅速かつ安全に運転するために状況を把握できる。

【0003】

その用途には、複数の車載カメラの画像を合成することにより、動力車両の周辺全体を描写できるサラウンドビュー・カメラシステムが既知である。これらのカメラによって作成されたリアル画像は、その際、周辺画像に合成されることができる。

【0004】

車両周辺部のグラフィック描写は、様々な視点から実施できる。例えば、動力車両の周り全体を描写するバーチャルな三次元「ボール」（どんぶり）が形成される様に複数のカメラからのテクスチャが投影される「ボール」ビューが、既知である。もう一つの既知な視像は、「トップ・ビュー」描写（鳥瞰図乃至上視図）である。

【0005】

車両周辺部の一領域は、動力車両の部品によって覆われている、或いは、例えば、動力車両の下の領域でそうであるように車載カメラの視野領域外にあるなどの理由から、車載カメラによって捕捉することができない。

【0006】

ＤＥ １０ ２０２０ ２１３ １４６ Ｂ３からは、車両用の周辺を捕捉するためのカメラシステムが既知であるが、ここでは、カメラ画像内に車体が捕捉され、車体の車体境界から境界点が定められ、カメラが関与できないテクスチャの境界を割り出すためにカメラ座標が、車両座標系に変換される。

【0007】

周辺情報の一部、特に、一般的に地上に異質な形で投影されることになる車両部品を見えなくする目的で、車両境界に近い空間的領域にある周辺情報は、欠落している可能性がある。

【0008】

車両周辺部全域をカバーするが、地上死角エリアは、一定の大きさを有する長方形であると設定すると言う保守的なアプローチを用いた場合でも、カメラによって適切に捕捉されるにもかかわらず、出力時、該長方形によって覆われてしまう地面領域が残ってしまう。言い換えれば、典型的には、長方形の死角エリアによって覆われ、例えば、上視図乃至ボールビューなど可視化の出力において不可視とされる車両境界に近い地面領域である地上死角エリアが存在する。即ち、車両の運転中、この長方形の死角エリアによって、周辺のオブジェクトが覆われる可能性があるため、その可視性が妨げられ得る。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】ＤＥ １０ ２０２０ ２１３ １４６ Ｂ３

【発明の概要】

【発明が解決しようとする課題】

【0010】

よって本発明の課題は、死角エリアを縮小することにある。

【課題を解決するための手段】

【0011】

この課題は、独立請求項の特徴を有する動力車両の周辺のサラウンドビューを生成するための方法及び装置、並びに、動力車両によって解決される。

【0012】

更なる好ましい実施形態は、従属請求項の対象である。

【0013】

第一アスペクトによれば本発明は、動力車両の周辺のサラウンドビューを生成するための方法を提供するが、該動力車両は、車体と車体に対して相対的に動く部品、特に、操舵される部品を有している。本方法は、地面に投影された車体のシルエットを示す第一マスクの作成、及び、地面に投影された車両の可動部品のシルエットをその時点の状態において示す第二マスクの作成を包含している。更に、本方法は、第一マスクと第二マスクの統合による動力車両のマスクの作成、並びに、該動力車両のマスクを用いた動力車両の車載カメラが提供するカメラ画像からの車両周辺のサラウンドビューの作成も包含している。

【0014】

第二アスペクトによれば本発明は、動力車両の周辺のサラウンドビューを生成するための装置を提供するが、該動力車両は、車体と車体に対して相対的に動く部品を有している。本装置は、動力車両の車載カメラのカメラ画像を受信するインターフェース、並びに、地面に投影された車体のシルエットを示す第一マスクを作成する、及び、地面に投影された車両の可動部品のシルエットをその時点の状態において示す第二マスクを作成することができる様に構成された演算手段を包含している。更に該演算手段は、第一マスクと第二マスクの統合によって動力車両のマスクを作成する、並びに、動力車両の周辺のサラウンドビューを動力車両のマスクを使用して、受信したカメラ画像から作成することができる様にも構成されている。

【0015】

第三のアスペクトによれば、本発明は、本発明に係る動力車両の周辺のサラウンドビューを生成するための装置を備えた動力車両にも関する。

【0016】

本発明は、車両周辺の車載カメラから可視な車両周辺部の全領域を、矛盾無く描写することを可能にする。これは、マルチカメラ・ビジュアライズにおいて車両部品をカバーする車両の幾何学的マスクが作成されることにより達成される。

【0017】

該マスクは、ポリゴン状の面として定義されることができる。

【0018】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、可動部品には、少なくとも動力車両の操舵される車輪が包含されるが、第二マスクは、その時点における動力車両の操舵角に応じて割り出される。その時点における操舵角に基づいて、その時点の車輪の位置が割り出される。

【0019】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、動力車両の少なくとも一本の車輪用に、その時点における操舵角に依存して、動力車両の該タイヤを捕捉する車載カメラの車載カメラ座標系内に、バーチャルタイヤが、作成されるが、該車載カメラ座標系内のバーチャルタイヤは、車載カメラの視角から、地面に投影された動力車両のタイヤのシルエットを作成するために、地面上に投影される。よって、車両タイヤ用のマスクは、バーチャルタイヤの再投影を基にして作成されることができる。その際、タイヤのその時点の位置を考慮することができる。

【0020】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、バーチャルタイヤは、更に、動力車両の少なくとも一本のタイヤの寸法と位置に依存して作成される。寸法は、該動力車両用、乃至、動力車両のモデル用に指定されることができる。

【0021】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、バーチャルタイヤは、シリンダによってモデリングされる。その際、シリンダは、グリッド網によって記述できる。

【0022】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、各々の車載カメラ用に、車載カメラのカメラ画像内の車体の境界を示す境界線ルートが割り出される。各々の境界線ルートは、地面上に投影される。続いて、地面に投影された境界線ルートの交点が割り出されるが、ここでは、地面に投影された車体のシルエットは、境界線ルートの割り出された交点の間に延びる区間によって取り囲まれている面として割り出される。これにより、少しでも車体の部品を描写する画像情報は、用いられないことが保証される。

【0023】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、各々のカメラ画像用の境界線ルートは、自動的に割り出される。この様にすれば、本方法をより迅速に実施できる。自動化された割出しは、モデル毎個別に実施できる、即ち、個々の動力車両用に個別ではない。更に、動力車両のバーチャル三次元モデルを使用することも可能である。リアルカメラ外因性に基づき、各々の車両用に、較正後は、正確な境界線ルートを完全に、バーチャル周辺内において抽出することができる。他の方法としては、第一マスクのポリゴン面を直接的にバーチャル車両の投影から推定するために、動力車両の三次元モデルを用いることも可能である。

【0024】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、各々のカメラ画像用の境界線ルートは、車体のバーチャルモデルを用いて作成される。

【0025】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、割り出された各々の交点に対して、車載カメラの補足領域の隣接する重複領域が割り出される。重複領域のうち少なくとも一つは、動力車両の可動部品の地面に投影されたシルエットの外側の点に対して水平にシフトされる。即ち、カメラの投影領域と重複する領域は、透明ではない部品の望まれない描写を回避するために調整されることができる。

【0026】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、複数の車載カメラによって作成されたカメラ画像を用いて、動力車両の周辺のサラウンドビューが作成されるが、動力車両のマスクによってマスキングされた領域には、カメラ画像のカメラデータは、挿入されない。代わりに、そこには、動力車両の人工的画像が挿入されることができる。

【0027】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、動力車両の周辺のサラウンドビューは、動力車両の周辺のボール型ビュー、乃至、動力車両の周辺を上から見た上視図である。

【0028】

動力車両の周辺のサラウンドビューを作成するための本方法の好ましい発展形態によれば、作成された動力車両の周辺のサラウンドビューは、動力車両の表示手段上に表示される。このサラウンドビューは、駐車アシスタントの使用時、或いは、バック走行時に表示されることができる。

【0029】

好ましい発展形態によれば、該動力車両は、作成された動力車両の周辺のサラウンドビューを表示できるように構成された表示手段を包含している。

【0030】

以下本発明を、概略的な図として描かれている実施例を参照しながら詳しく説明する。

【図面の簡単な説明】

【0031】

【図1】図１は、本発明のある実施形態に係る動力車両の周辺のサラウンドビューを生成するための装置を備えた動力車両の概略的ブロック図；

【図2】図２は、境界線ルートを説明するための、カメラ画像の模式的な描写；

【図3】図３は、第一マスクの作成を説明するための模式的描写；

【図4】図４は、車載カメラの補足領域の模式的描写；

【図5】図５は、シフトされていない重複領域の模式的描写；

【図6】図６は、シフトされた重複領域の模式的描写；

【図7】図７は、動力車両のマスクの作成を説明するための模式的描写；

【図8】図８は、動力車両のマスクの模式的描写；そして、

【図9】図９は、本発明のある実施形態に係る動力車両の周辺のサラウンドビューを生成するための方法のフローチャートを示している。

【発明を実施するための形態】

【0032】

有意義である限り、記述されている各々の形態と発展形態は、任意に互いに組み合わされることができる。更なる可能な形態や発展形態、並びに、本発明の実施形態には、上記の本発明に係る特徴や以下に実施例と関連して述べる本発明に係る特徴の具体的には記述されない組み合わせも包含される。

【0033】

添付した図面は、本発明の実施形態の更なる理解を提供することを意図している。これらは、実施形態を説明し、明細書との組合せによって、本発明の原理とコンセプトを説明する役割を担っている。他の実施形態と上記の多くの利点は、図を参照すれば、明らかになるであろう。図のエレメントは、必ずしも、それぞれ同じ縮尺で描かれているものではない。この際、同じ符号は、同じ或いは類似する効果を有するコンポーネントを示している。

【0034】

図１は、動力車両１の周辺のサラウンドビューを生成するための装置２を備えた動力車両１の概略的ブロック図を示している。動力車両１は、本発明の定義において、ボディや操舵できない車輪を含む車体を包含している。更に、動力車両１は、車体に対して相対的に可動な部品、特に、旋回自在ないし操舵自在な部品、即ち、（上視図において）車体１のシルエットの変化に影響を与え得る部品も包含している。可動な部品は、好ましくは、動力車両１の操舵自在なタイヤを包含している。更に、該可動な部品は、建設車両の操舵自在なコンポーネントや除雪車のブレードも包含していることができる。

【0035】

装置２は、無線的乃至有線的に接続されている、動力車両１の車載カメラ５とカップリングされ、車載カメラ５のカメラ画像を受信するインターフェース３を包含している。例えば、四台、六台、八台、乃至十台の車載カメラ５を装備することができる。ある実施形態では、それぞれのカメラは、前方領域、後方領域、及びサイドミラーに配置されている。本発明は、車載カメラ５の特定な台数によって、制限されることはない。これらの車載カメラ５は、好ましくは少なくとも１６０度の大きな捕捉領域を有するフィッシュアイ・カメラであることが好ましい。

【0036】

本発明は、「死角」領域（ブラインドスポット）が発生する任意の用途分野において用いられることができる。例えば、牽引アプリケーションも包含される。

【0037】

装置２は、車載カメラ５の内在的及び外在的カメラパラメータから更なる知見を有している乃至得ることができる。

【0038】

本発明の定義では、内在的カメラパラメータは、内部且つ特定の車載カメラ５に固定的にカップリングされている。これにより、内在的カメラパラメータは、カメラ座標とピクセル座標間の帰属を可能にする。

【0039】

外在的パラメータは、カメラ外部にあることができ、世界像に関連して変化する、即ち、グローバル座標系内において車載カメラ５の姿勢、位置、向きに依存している。

【0040】

更に、装置２は、マイクロコントローラ、マイクロプロセッサ、或いは、これらに類似するものを有する演算手段４を、演算オペレーションを実施するために包含している。

【0041】

演算手段４は、動力車両１のマスクを作成する。その際、演算手段４は、地面に投影された車体のシルエットを示す第一マスクを作成する。即ち、第一マスクは、例えば、ボディ・マスクを示している。

【0042】

更に演算手段４は、地面に投影された車両の可動部品のシルエットをその時点の状態において示す第二マスクも作成する。よって、第二マスクは、例えば、動力車両１の操舵自在なタイヤを、その時点におけるタイヤの位置において、包含している。その際、バーチャルタイヤモデルは、その時点における操舵角情報を考慮した上で、リアルのタイヤポジションとタイヤの大きさに可能な限り正確に対応しているバーチャルタイヤをグローバル座標系内に帰属させるために用いられる。バーチャルタイヤは、そのバーチャルタイヤが、対応する車載カメラ５によって捕捉されたかの如くポジショニングされるように、投影される。例えば、左側のタイヤは、左のカメラ、右側のタイヤは右のカメラに投影される。その際、バーチャルタイヤモデルは、続いて再び地面に投影される。投影されたバーチャルタイヤモデルは、特定の車両縦方向ポジションにおいて、使用された可視化アプローチに対応するようにカットされる。

【0043】

演算手段４は、第一マスクと第二マスクを、動力車両のマスクを作成するために組み合わせる。動力車両のマスクは、第一マスク或いは第二マスクのいずれか一方を包含する全ての領域を包含していることができる。

【0044】

更に、演算手段４は、動力車両１の周辺のサラウンドビューを、受信されたカメラ画像から、対応する車載カメラ５の外在的及び内在的カメラパラメータを考慮した上で、作成する。その際、カメラ画像から作成された画像情報は、動力車両１のマスク外にある領域にのみ投影される。

【0045】

サラウンドビューは、表示手段６、例えば、車載ディスプレーに出力されることができる。

【0046】

図２は、第一マスク（ボディ・マスク）を作成するために用いられる境界線ルート２１を説明するためのカメラ画像の模式的描写を示している。その際、境界線ルート２１は、カメラ画像（例えば、フロントカメラのカメラ画像）内において、車体に帰属している領域とその外部にある領域、例えば、地面との間の境界に対応している。

【0047】

境界線ルート２１は、各々の車載カメラ５毎に作成される。この作成は、自動或いはマニュアルに実施できる。境界線ルート２１は、個々の動力車両１用に、個別に割り出されることができる。代案的に、境界線ルート２１は、特定の車両モデル用に一度だけ抽出されることができ、投影されたジオメトリは、同じモデルの全動力車両１において使用可能である。その際、第一マスクを拡大し、存在し得る偏差を考慮するために、小さなオフセットを考慮することが可能である。

【0048】

図３は、第一マスクの作成を説明するための模式的描写を示している。ここでは、動力車両１を上から見た上視図が、描かれている。更なる実施形態では、ボールビューが用いられている。最も簡単なケース（図３、最も左）では、車体は、長方形３１によってモデリングされている。より正確な車体のモデルを得るために、境界線ルート２１から２４が、合計４台の車載カメラ１の各々用に、割り出され、地面に投影される（図３、中央左）。続いて、地面に投影された境界線ルート２１から２４の交点が、割り出され、境界線ルート２１から２４は、割り出された交点間に延びる境界線ルート２１から２４のポリゴン状区画に限定される（図３、中央右）。第一マスク３２である地面に投影された車体のシルエットは、境界線ルート２１から２４の区画に取り囲まれている面として割り出される（図３、最も右）。

【0049】

図４は、動力車両１の四台の車載カメラ５の捕捉領域４１から４８の模式的描写を示している。捕捉領域４１から４８は、先ず、動力車両１をモデリングする長方形３１に対して定義される。その際、最初の４つの領域４２，４４，４５，４７は、それぞれ、一台の車載カメラによってのみ捕捉される。更に、重複領域である第二の４つの領域４１，４３，４６，４８は、それぞれ、それぞれ二台の車載カメラ５によって捕捉される（図４、左）。第一マスク３２の使用下、捕捉領域４１から４８が、シフトされる。重複領域４１，４３，４６，４８は、引き続き長方形を有しているが、もう一方の、第一領域４２，４４，４５，４７は、第一マスク３２によって制限され、必ずしも直線でなくとも良いサイドを有している。

【0050】

図５は、シフトされていない重複領域４１，４３の模式的描写を示している。付加的に動力車両１のタイヤ５１，５２も考慮されるべき場合、これらのタイヤ５１，５２は、シフトされていない重複領域４１，４３に入り込んでいることができる。そのため先ず、タイヤ５１，５２が、前もって境界線ルート２１から２４によって定義された第一マスク３２を超えているか否かが割り出される。これは、タイヤの寸法、位置、その時点における操舵角に基づいて作成されたバーチャルタイヤの助けを借りて実施される。バーチャルタイヤは、シリンダ状ネットモデル内に描写されることができる。

【0051】

バーチャルタイヤは、車載カメラ座標系内に、車載カメラ５によって撮影されたかの如く、描写される。続いて、バーチャルタイヤは、地面上に投影される。

【0052】

図６は、シフトされた重複領域４１，４３の模式的描写を示している。その際、境界線ルート２１から２４の交点毎に、これら車載カメラの捕捉領域の隣接する重複領域４１，４３が、対応するタイヤ５１，５２の地面に投影されたシルエットの外側の点へ水平にシフトされる。このように、重複領域４１，４３は、ダイナミックに処理される。その際、長方形の重複領域４１，４３は、１８０度に至る大きな捕捉領域を有する車載カメラ（フィッシュアイ・カメラ）を用いた場合にできる。重複領域４１，４３をシフトすることにより、可動な部品や操舵されたタイヤが、側方の車載カメラによって捕捉されることを回避できる。

【0053】

図７は、動力車両１のマスク７２の作成を説明するための模式的描写を示している。そのため第一マスク３２と動力車両の操舵自在なタイヤ第二マスク７１が、動力車両１のマスク７２を作成するために組み合わされる。

【0054】

図８は、動力車両１のマスク７２の模式的描写を示している。動力車両１の周辺のサラウンドビューを作成するために、複数の車載カメラ５のカメラ画像が、動力車両１のマスク７２によってマスキングされていない領域内に投影される。

【0055】

図９は、本発明のある実施形態に係る動力車両１の周辺のサラウンドビューを生成するための方法のフローチャートを示している。

【0056】

第一ステップＳ１では、地面に投影された車体のシルエットを示す第一マスク３２が作成される。続いて第二ステップＳ２では、地面に投影された車両の可動部品のシルエットをその時点の状態において示す第二マスクが、作成される。

【0057】

更に、該方法は、第一マスクと第二マスクの統合による動力車両１のマスクを作成するステップＳ３も包含している。最後のステップＳ４において、動力車両１の表示手段６に出力されることができる動力車両１の周辺のサラウンドビューが、動力車両１の車載カメラ５のカメラ画像から、動力車両１のマスクを使用して作成される。

【符号の説明】

【0058】

１ 動力車両
２ サラウンドビューを作成するための装置
３ インターフェース
４ 演算手段
５ 車載カメラ
６ 表示手段
２１－２４ 境界線ルート
３１ 長方形
３２ 第一マスク
４１－４８ 捕捉領域
５１、５２ タイヤ
７１ 第二マスク
７２ 動力車両のマスク
Ｓ１－Ｓ４ 方法ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-05-10

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００５７

【補正方法】変更

【補正の内容】

【0057】

更に、該方法は、第一マスクと第二マスクの統合による動力車両１のマスクを作成するステップＳ３も包含している。最後のステップＳ４において、動力車両１の表示手段６に出力されることができる動力車両１の周辺のサラウンドビューが、動力車両１の車載カメラ５のカメラ画像から、動力車両１のマスクを使用して作成される。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
動力車両（１）が、車体と車体に対して相対的に動く部品を有し、以下のステップを包含していることを特徴とする動力車両（１）の周辺のサラウンドビューを生成するための方法：
地面に投影された車体のシルエットを示す第一マスク（３２）を作成するステップ（Ｓ１）；
地面に投影された車両（１）の可動部品のシルエットをその時点の状態において示す第二マスク（７１）を作成するステップ（Ｓ２）；
第一マスク（３２）と第二マスク（７１）を統合することによって動力車両（１）のマスク（７２）を作成するステップ（Ｓ３）；並びに、
動力車両（１）の車載カメラ（６）のカメラ画像から、動力車両（１）のマスク（７２）を使用して、動力車両（１）の周辺のサラウンドビューを作成するステップ（Ｓ４）。
２．
可動部品には、少なくとも動力車両（１）の操舵される車輪が包含されるが、第二マスク（７１）が、その時点における動力車両（１）の操舵角に応じて割り出されることを特徴とする上記１に記載の方法。
３．
動力車両（１）の少なくとも一本の車輪用に、その時点における操舵角に依存して、動力車両（１）の該タイヤを捕捉する車載カメラ（６）の車載カメラ座標系内に、バーチャルタイヤが、作成され該車載カメラ座標系内のバーチャルタイヤは、車載カメラ（６）の視角から、地面に投影された動力車両（１）のタイヤのシルエットを作成するために、地面上に投影されることを特徴とする上記２に記載の方法。
４．
バーチャルタイヤが、更に、動力車両の少なくとも一本のタイヤの寸法と位置に依存して作成されることを特徴とする上記３に記載の方法。
５．
バーチャルタイヤが、シリンダによってモデリングされることを特徴とする上記３又は４に記載の方法。
６．
各々の車載カメラ（６）用に、車載カメラ（６）のカメラ画像内の車体の境界を示す境界線ルート（２１）が割り出され、各境界線ルート（２１）が、地面に投影され、地面に投影された境界線ルートの交点が割り出され、地面に投影された車体のシルエットが、境界線ルートの割り出された交点の間に延びる区間によって取り囲まれている面として割り出されることを特徴とする上記１～５の何れか一つに記載の方法。
７．
各々のカメラ画像用の境界線ルート（２１）が、自動的に割り出されることを特徴とする上記６に記載の方法。
８．
各々のカメラ画像用の境界線ルート（２１）が、車体のバーチャルモデルを用いて作成されることを特徴とする上記６又は７に記載の方法。
９．
割り出された各々の交点に対して、車載カメラ（６）の補足領域の隣接する重複領域が割り出され、重複領域のうち少なくとも一つが、動力車両（１）の可動部品の地面に投影されたシルエットの外側の点に対して水平にシフトされることを特徴とする上記６～８の何れか一つに記載の方法。
１０．
車載カメラ（６）によって生成されたカメラ画像を基に、動力車両（１）の周辺のサラウンドビューが作成され、動力車両（１）のマスク（７２）によってマスキングされている領域には、カメラ画像のカメラデータが挿入されないことを特徴とする上記１～９のうち一つに記載の方法。
１１．
動力車両（１）の周辺のサラウンドビューが、動力車両（１）の周辺のボール型ビュー、乃至、動力車両（１）の周辺を上から見た上視図であることを特徴とする上記１～１０の何れか一つに記載の方法。
１２．
作成された動力車両（１）の周辺のサラウンドビューが、動力車両（１）の表示手段（２）上に表示されることを特徴とする上記１～１１の何れか一つに記載の方法。
１３．
動力車両（１）が、車体と車体に対して相対的に動く部品を有し、以下を備えていることを特徴とする動力車両（１）の周辺のサラウンドビューを生成するための装置（２）：
動力車両（１）の車載カメラ（６）のカメラ画像を受信できる様に構成されたインターフェース（３）；並びに、
演算手段（４）、但し、以下を実施可能に構成されている：
地面に投影された車体のシルエットを示す第一マスク（３２）を作成する；
地面に投影された車両（１）の可動部品のシルエットをその時点の状態において示す第二マスク（７１）を作成する；
第一マスク（３２）と第二マスクを統合することによって動力車両（１）のマスク（７２）を作成する；並びに、
受信したカメラ画像から、動力車両（１）のマスク（７２）を使用して、動力車両（１）の周辺のサラウンドビューを作成する。
１４．
上記１３に記載の動力車両（１）の周辺のサラウンドビューを生成するための装置（２）を装備した動力車両（１）。
１５．
作成された動力車両（１）の周辺のサラウンドビューを表示できるように構成された表示手段（６）を装備した上記１４に記載の動力車両（１）。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

動力車両（１）が、車体と車体に対して相対的に動く部品を有し、以下のステップを包含していることを特徴とする動力車両（１）の周辺のサラウンドビューを生成するための方法：
地面に投影された車体のシルエットを示す第一マスク（３２）を作成するステップ（Ｓ１）；
地面に投影された車両（１）の可動部品のシルエットをその時点の状態において示す第二マスク（７１）を作成するステップ（Ｓ２）；
第一マスク（３２）と第二マスク（７１）を統合することによって動力車両（１）のマスク（７２）を作成するステップ（Ｓ３）；並びに、
動力車両（１）の車載カメラ（６）のカメラ画像から、動力車両（１）のマスク（７２）を使用して、動力車両（１）の周辺のサラウンドビューを作成するステップ（Ｓ４）。

【請求項2】

可動部品には、少なくとも動力車両（１）の操舵される車輪が包含されるが、第二マスク（７１）が、その時点における動力車両（１）の操舵角に応じて割り出されることを特徴とする請求項１に記載の方法。

【請求項3】

動力車両（１）の少なくとも一本の車輪用に、その時点における操舵角に依存して、動力車両（１）の該タイヤを捕捉する車載カメラ（６）の車載カメラ座標系内に、バーチャルタイヤが、作成され該車載カメラ座標系内のバーチャルタイヤは、車載カメラ（６）の視角から、地面に投影された動力車両（１）のタイヤのシルエットを作成するために、地面上に投影されることを特徴とする請求項２に記載の方法。

【請求項4】

バーチャルタイヤが、更に、動力車両の少なくとも一本のタイヤの寸法と位置に依存して作成されることを特徴とする請求項３に記載の方法。

【請求項5】

バーチャルタイヤが、シリンダによってモデリングされることを特徴とする請求項３又は４に記載の方法。

【請求項6】

各々の車載カメラ（６）用に、車載カメラ（６）のカメラ画像内の車体の境界を示す境界線ルート（２１）が割り出され、各境界線ルート（２１）が、地面に投影され、地面に投影された境界線ルートの交点が割り出され、地面に投影された車体のシルエットが、境界線ルートの割り出された交点の間に延びる区間によって取り囲まれている面として割り出されることを特徴とする請求項１又は２に記載の方法。

【請求項7】

各々のカメラ画像用の境界線ルート（２１）が、自動的に割り出されることを特徴とする請求項６に記載の方法。

【請求項8】

各々のカメラ画像用の境界線ルート（２１）が、車体のバーチャルモデルを用いて作成されることを特徴とする請求項６に記載の方法。

【請求項9】

割り出された各々の交点に対して、車載カメラ（６）の補足領域の隣接する重複領域が割り出され、重複領域のうち少なくとも一つが、動力車両（１）の可動部品の地面に投影されたシルエットの外側の点に対して水平にシフトされることを特徴とする請求項６に記載の方法。

【請求項10】

車載カメラ（６）によって生成されたカメラ画像を基に、動力車両（１）の周辺のサラウンドビューが作成され、動力車両（１）のマスク（７２）によってマスキングされている領域には、カメラ画像のカメラデータが挿入されないことを特徴とする請求項１又は２に記載の方法。

【請求項11】

動力車両（１）の周辺のサラウンドビューが、動力車両（１）の周辺のボール型ビュー、乃至、動力車両（１）の周辺を上から見た上視図であることを特徴とする請求項１又は２に記載の方法。

【請求項12】

作成された動力車両（１）の周辺のサラウンドビューが、動力車両（１）の表示手段（２）上に表示されることを特徴とする請求項１又は２に記載の方法。

【請求項13】

動力車両（１）が、車体と車体に対して相対的に動く部品を有し、以下を備えていることを特徴とする動力車両（１）の周辺のサラウンドビューを生成するための装置（２）：
動力車両（１）の車載カメラ（６）のカメラ画像を受信できる様に構成されたインターフェース（３）；並びに、
演算手段（４）、但し、以下を実施可能に構成されている：
地面に投影された車体のシルエットを示す第一マスク（３２）を作成する；
地面に投影された車両（１）の可動部品のシルエットをその時点の状態において示す第二マスク（７１）を作成する；
第一マスク（３２）と第二マスクを統合することによって動力車両（１）のマスク（７２）を作成する；並びに、
受信したカメラ画像から、動力車両（１）のマスク（７２）を使用して、動力車両（１）の周辺のサラウンドビューを作成する。

【請求項14】

請求項１３に記載の動力車両（１）の周辺のサラウンドビューを生成するための装置（２）を装備した動力車両（１）。

【請求項15】

作成された動力車両（１）の周辺のサラウンドビューを表示できるように構成された表示手段（６）を装備した請求項１４に記載の動力車両（１）。

【国際調査報告】