特許 7144410 車両用のマルチカメラシステムの画像データを融合するための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-20

(45)【発行日】2022-09-29

(54)【発明の名称】車両用のマルチカメラシステムの画像データを融合するための装置及び方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220921BHJP

   G06T 3/00 20060101ALI20220921BHJP

   B60R 1/00 20220101ALI20220921BHJP

   B60R 11/02 20060101ALI20220921BHJP

【ＦＩ】

H04N7/18 J

G06T3/00 780

B60R1/00

B60R11/02 Z

【請求項の数】 8

(21)【出願番号】P 2019528123

(86)(22)【出願日】2017-12-05

(65)【公表番号】

(43)【公表日】2020-05-14

(86)【国際出願番号】 DE2017200127

(87)【国際公開番号】W WO2018108214

(87)【国際公開日】2018-06-21

【審査請求日】2020-11-05

(31)【優先権主張番号】102016224905.3

(32)【優先日】2016-12-14

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】503355292

【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ

【住所又は居所原語表記】Ｓｉｅｂｏｌｄｓｔｒａｓｓｅ １９， Ｄ－９０４１１ Ｎｕｅｒｎｂｅｒｇ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(72)【発明者】

【氏名】フリーベ・マルクス

(72)【発明者】

【氏名】シュレプファー・イェルク

(72)【発明者】

【氏名】ガルシア・マルケス・ロドリゴ

(72)【発明者】

【氏名】ジーモン・マルティン

(72)【発明者】

【氏名】アルバイター・ゲオルク

(72)【発明者】

【氏名】ミルツ・シュテファン

【審査官】大濱 宏之

(56)【参考文献】

【文献】特開２０１５－０７０２８０（ＪＰ，Ａ）

【文献】特開２００１－２８５６１４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１３８３１２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ３／００

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／０２

(57)【特許請求の範囲】

【請求項1】

動力車両用のマルチカメラシステム（１００）の画像データを融合するための装置（１）であって、以下を包含することを特徴とする装置（１）：
－マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の重複領域（ＵｅＢ）の複数の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を定義することができる様に構成されている画像分析手段（１０）；
－重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の各単位面積当たりのピクセル数を捕捉できる様に構成されている捕捉手段（２０）；並びに、
－各単位面積当たりのピクセル数間の偏差を割り出し、一定の閾値以下の偏差を有する隣接する部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を、画像データを重ね合わせてサラウンド・ビュー画像又はパノラマ画像を生成するために選択できる様に構成されている計算器手段（３０）。

【請求項2】

該計算器手段（３０）が、マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の画像データを重ね合わせてサラウンド・ビュー画像又はパノラマ画像を生成することを、選択された部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の融合をベースに実施できる様に構成されていることを特徴とする請求項１に記載の装置。

【請求項3】

該捕捉手段（２０）が、単位面積当たりのピクセル数として、少なくとも二台のカメラ（１１０，１２０）の画像センサ上における単位面積当たりの、部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）で隠されている面を捕捉する様に構成されていることを特徴とする請求項１或いは２の何れか一項に記載の装置。

【請求項4】

該計算器手段（３０）が、画像データを重ね合わせることによるサラウンド・ビュー画像又はパノラマ画像の生成として、マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の画像データのアルファ・ブレンディングを実施できる様に構成されていることを特徴とする請求項２から３のうち何れか一項に記載の装置。

【請求項5】

マルチカメラシステムと請求項１から４のうち何れか一項に記載の装置を包含することを特徴とする動力車両。

【請求項6】

動力車両用のマルチカメラシステム（１００）の画像データを融合するためのための方法であって、以下の方法ステップを包含することを特徴とする方法：
－マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の重複領域（ＵｅＢ）の複数の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を定義するステップ（Ｓ１）；
－重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の各単位面積当たりのピクセル数を捕捉するステップ（Ｓ２）；及び、
－各単位面積当たりのピクセル数間の偏差の割り出し（Ｓ３）、並びに、画像データを組み合わせてサラウンド・ビュー画像又はパノラマ画像を生成するための隣接する部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の選択、但し、選択された隣接する部分領域の偏差は、閾値以下である。

【請求項7】

マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の画像データを重ね合わせてサラウンド・ビュー画像又はパノラマ画像を生成することを、選択された部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の融合をベースに実施することを特徴とする請求項６に記載の方法。

【請求項8】

単位面積当たりのピクセル数として、少なくとも二台のカメラ（１１０，１２０）の画像センサ上における単位面積当たりの、部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）で隠されている面を捕捉することを特徴とする請求項６或いは７の何れか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動力車両用のドライバー・アシスタント・システムのための画像処理システムに関する。

【0002】

特に、本発明は、動力車両用のマルチカメラシステムの画像データを融合するための装置並びに方法に関する。

【背景技術】

【0003】

動力車両内の複数カメラシステムは、一台のカメラのみによって可能な周辺フィールドの拡張的捕捉であると言える。

【0004】

多くの場合、動力車両内には、視野が重なるカメラ位置関係において、マルチカメラシステムが取り付けられる。

【0005】

現行の車両ベースのサラウンド・ビュー・システムに採用されている隣接するカメラの重なり合う視野は、多くの場合、車両の生産時点において既に、手作業でコンフィグレーションされている。

【0006】

欠点は、各々の車両バリエーション毎に、常に、手作業でのコンフィグレーションが必要であるため、かなりの時間とコストがかかっている。

【0007】

更に手作業によるコンフィグレーションは、重なり合っている画像領域内での急激な画像解像度変化、即ち、図１に示すように、高いピクセル密度から低いピクセル密度への所謂フェーディングをもたらしている。

【発明の概要】

【発明が解決しようとする課題】

【0008】

よって、本発明の課題は、動力車両用のマルチカメラシステムの画像データを融合するための改善された装置並びに改善された方法を提供することにある。

【課題を解決するための手段】

【0009】

上記課題は、独立特許請求項に記載されている対象によって達成される。尚、発展形態、並びに、実施形態は、従属特許請求項、明細書、並びに、図面によって示される。

【0010】

本発明の第一アスペクトは、動力車両用のマルチカメラシステムの画像データを融合するための装置に関する。該装置は、画像分析手段、捕捉手段、並びに、計算器手段を包含している。

【0011】

該画像分析手段は、マルチカメラシステムの少なくとも二台のカメラの重複領域の部分領域を定義できるように構成されている。その際、該複数の部分領域は、それぞれのカメラのそれぞれの個別画像と、それぞれの部分領域に対して各々生成される。

【0012】

該捕捉手段は、重複領域の部分領域のピクセル密度を捕捉できる様に構成されている。

【0013】

該計算器手段は、ピクセル密度の偏差を割り出し、一定の閾値以下の偏差を有する隣接する部分領域を、全容画像重ね合わせ用に選択できる様に構成されている。

【0014】

本発明は、内在的および外在的カメラデータを推定すること、並びに、
同じ－少なくとも、閾値によって設定できる、略同じ－ピクセル密度の部分領域を自動的に選択することにより、
改善された画像データ融合を実施することを、有利に、可能にする。

【0015】

その際、主として、隣接する部分領域が、ピクセル密度に関して調べられる。

【0016】

これにより、重複領域における画像解像度の変動が小さくなり、融合アーティファクトも削減できる。

【0017】

本発明の更なる第二アスペクトは、マルチカメラシステムと、第一アスペクトに関する装置、或いは、第一アスペクトに係る任意の実施形態を備えた動力車両に関する。

【0018】

本発明の更なるアスペクトは、動力車両用のマルチカメラシステムの画像データを融合するための方法に関する。該方法は、以下の方法ステップを包含している：

【0019】

本方法の第一ステップとしては、マルチカメラシステムの少なくとも二台のカメラの重複領域の部分領域の定義が実施される。

【0020】

本方法の更なる第二ステップには、重複領域の部分領域のピクセル密度の把握が包含されている。

【0021】

本方法の更なる第三ステップには、ピクセル密度の偏差の割り出し、並びに、全容画像重ね合わせ用の隣接する部分領域、但し、選択された隣接する部分領域の偏差は、閾値以下である、の選択が包含されている。

【0022】

本発明の有利な実施形態は、従属請求項に記載されている。

【0023】

本発明のある好ましい実施形態においては、該計算器手段は、マルチカメラシステムの少なくとも二台のカメラの画像データの全容画像重ね合わせを、実施できる様に、構成されていることが想定されている。

【0024】

これにより、動力車両用のマルチカメラシステムの画像データの改善された融合を有利に提供できる。

【0025】

本発明のある更なる好ましい実施形態においては、捕捉手段が、ピクセル密度として、少なくとも二台のカメラの画像センサ上の面単位当たりの部分領域によってカバーされている面を把握できる様に構成されていることが想定されている。

【0026】

これにより、融合された全体画像の画像アーティファクトを、有利に回避することができる。

【0027】

本発明のある好ましい実施形態においては、該計算器手段は、全容画像重ね合わせとして、マルチカメラシステムの少なくとも二台のカメラの画像データのアルファ・ブレンディングを実施できる様に、構成されていることが想定されている。

【0028】

本発明での使用における「アルファ・ブレンディング（Ａｌｐｈａ Ｂｌｅｎｄｉｎｇ）」と言う概念は、例えば、画像処理やビデオ処理における、複数の異なる画像を一枚の全容画像に重ね合わせる技術を記述するものであるが、ここでは、カラー情報の他、アルファ・チャンネルも考慮される。

【0029】

上記の実施形態やその発展形態は、互いに自由に組み合わせることが可能である。

【0030】

更なる可能な形態や発展形態、並びに、本発明の実施形態には、上記の本発明に係る特徴や以下に実施形態と関連して述べる本発明に係る特徴の具体的には記述されない組み合わせも包含される。

【0031】

添付した図面は、本発明の実施形態の更なる理解を提供することを意図している。

【0032】

添付した図面は、実施形態を説明し、明細書との組合せによって、本発明のコンセプトを説明する役割を担っている。

【0033】

他の実施形態と上記の多くの利点は、図面の描写を参照すれば、明らかになるであろう。図面の描写に描かれているエレメントは、必ずしも、それぞれ同じ縮尺で描かれているものではない。

【図面の簡単な説明】

【0034】

【図1】本発明を説明するための、画像データ融合の模式的な描写；

【図2】本発明のある更なる実施例に係るマルチカメラシステムの模式的な描写；

【図3】本発明のある更なる実施例に係る車両用のマルチカメラシステムの画像データを融合する方法の模式的な描写；

【図4】本発明のある更なる実施例に係る車両用の車両用のマルチカメラシステムの画像データを融合する方法のフローチャートの模式的な描写。

【発明を実施するための形態】

【0035】

図面の描写では、同じ符号が、同じ、乃至、機能的に同じエレメント、部品、コンポーネント、或いは、方法ステップを、これと異なる記載がない限り、示している。

【0036】

ここで言う「動力車両、乃至、車両」とは、例えば、動力車両乃至ハイブリッド車両、例えば、セーリング機能を備えたハイブリッド車両、例えば、二輪車、バス、或いは、貨物用動力車両、或いは、自転車のことである。

【0037】

本発明において使用される「ピクセル密度」と言う概念は、例えば、該画像センサが、部分領域の画像面を描写するために用いる、画像センサ上の面単位当たりの部分領域の画像面を定義するものである。

【0038】

ドライバー・アシスタント・システムは、特定の走行状況においてドライバーをサポートするための動力車両内の付加的な電子機器手段である。

【0039】

図１は、本発明を説明するための、画像データ融合の模式的な描写を示している。

【0040】

マルチカメラシステムの画像データの融合における手作業によるコンフィグレーションは、多くの場合、重なり合っている画像領域内での急激な画像解像度変化、即ち、図１に示すように、高いピクセル密度から低いピクセル密度への所謂フェーディングをもたらしている。

【0041】

双方の矢印は、異なるピクセル密度の領域を示している。例えば、高いピクセル密度を有する第一領域Ｂ１と、隣接する低いピクセル密度を有する第二領域Ｂ２が形成される。これが、全容画像に融合する際に、個々のカメラが撮ったままの個別画像間の移行部に、画像アーティファクトが生じさせる。

【0042】

図２は、本発明のある更なる実施例に係るマルチカメラシステムの模式的な描写を示している。

【0043】

該動力車両２は、四台のカメラ、第一カメラ１１０、第二カメラ１２０、第三カメラ１３０並びに第四カメラ１４０からなるマルチカメラシステム１００を包含している。

【0044】

カメラ１１０，１２０，１３０，１４０は、それぞれ異なる、但し、少なくとも部分的に破線によって示すような重複する視野領域を有している。

【0045】

この第一カメラ１１０と第二カメラ１２０の視野領域の重複領域ＵｅＢは、複数の部分領域ＴＢ１，ＴＢ２，…，ＴＢｎに分割することができる。

【0046】

該部分領域ＴＢ１，ＴＢ２，…，ＴＢｎを、サブ領域と呼ぶことも可能である。該部分領域ＴＢ１，ＴＢ２，…，ＴＢｎは、各々のカメラ、即ち、図に示す如く、第一カメラ１１０と第二カメラ１２０それぞれに形成されることができる。

【0047】

言い換えれば、第一カメラ１１０の視野領域は、重複領域ＵｅＢの内部において、部分領域ＴＢ１，ＴＢ２，…，ＴＢｎに分割され、第二カメラ１２０の視野領域も同様である。

【0048】

視野領域の融合としての全容画像は、例えば、サラウンド・ビュー画像やパノラマ画像として得られる。

【0049】

図３は、本発明のある更なる実施例に係る車両用のマルチカメラシステムの画像データを融合する方法の模式的な描写を示している。

【0050】

動力車両２用のマルチカメラシステム１００の画像データを融合するための装置１は、画像分析手段１０、捕捉手段２０と計算器手段３０を包含している。

【0051】

該画像分析手段１０は、マルチカメラシステム１００の少なくとも二台のカメラ１１０，１２０の重複領域ＵｅＢの部分領域ＴＢ１，ＴＢ２，…，ＴＢｎを定義することができる様に構成されている。

【0052】

該捕捉手段２０は、重複領域ＵＥＢの部分領域ＴＢ１，ＴＢ２，…，ＴＢｎのピクセル密度を捕捉できる様に構成されている。

【0053】

該計算器手段３０は、ピクセル密度の偏差を割り出し、一定の閾値以下の偏差を有する隣接する部分領域ＴＢ１，ＴＢ２，…，ＴＢｎを、全容画像重ね合わせ用に選択できる様に構成されている。

【0054】

図４は、本発明のある更なる実施例に係る車両用の車両用のマルチカメラシステムの画像データを融合する方法のフローチャートの模式的な描写を示している。

【0055】

該方法は、以下の方法ステップを包含している：

【0056】

本方法の第一ステップとしては、マルチカメラシステム１００の少なくとも二台のカメラ１１０，１２０の重複領域ＵｅＢの部分領域ＴＢ１，ＴＢ２，…，ＴＢｎの定義Ｓ１が実施される。

【0057】

本方法の第二ステップとしては、重複領域ＵｅＢの部分領域ＴＢ１，ＴＢ２，…，ＴＢｎのピクセル密度の把握Ｓ２が実施される。

【0058】

本方法の第三ステップとしては、ピクセル密度の偏差の割り出しＳ３、並びに、全容画像重ね合わせ用の隣接する部分領域ＴＢ１，ＴＢ２，…，ＴＢｎ、但し、選択された隣接する部分領域の偏差は、閾値以下である、の選択が包含されている。

【0059】

好ましい実施例によって上記のごとく説明されはしたが、本発明は、これらに制限されるものではなく、多種多様な方法や構成によって変更することが可能である。特に、本発明は、本発明の趣旨から逸脱することなく、多種多様に変更や修正することが可能である。

【0060】

尚、ここで使われている用語「包含する（原文＝“ｕｍｆａｓｓｅｎｄ”）」と「有する（原文＝“ａｕｆｗｅｉｓｅｎｄ”）」は、他のエレメントや他のステップが含まれないと言う意味で使われているのではなく、また、原文における“ｅｉｎｅ”や“ｅｉｎ”（対訳＝「ひとつの」）によって、複数が排除されるものではないことを、捕捉として指摘しておく。

【0061】

更に、ひとつの、或いは、上述の実施例への参照と共に記述されている特徴やステップは、他の上述の実施例の他の特徴やステップとの組み合わせで使用されてもよいことも指摘しておく。請求項内の符号は、制限をかけるものではない。
なお、本発明は、以下の態様も包含し得る：
１．動力車両用のマルチカメラシステム（１００）の画像データを融合するための装置（１）であって、以下を包含することを特徴とする装置（１）：
－マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を定義することができる様に構成されている画像分析手段（１０）；
－重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）のピクセル密度を捕捉できる様に構成されている捕捉手段（２０）；並びに、
－ピクセル密度の偏差を割り出し、一定の閾値以下の偏差を有する隣接する部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を、全容画像重ね合わせ用に選択できる様に構成されている計算器手段（３０）。
２．該計算器手段（３０）が、マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の画像データの全容画像重ね合わせを、選択された部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の融合をベースに実施できる様に構成されていることを特徴とする上記１．に記載の装置。
３．該捕捉手段（２０）が、ピクセル密度として、少なくとも二台のカメラ（１１０，１２０）の画像センサ上の面単位毎に、部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）に隠されている面を捕捉する様に構成されていることを特徴とする上記１．或いは２．の何れか一つに記載の装置。
４．該計算器手段（３０）が、全容画像重ね合わせとして、マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の画像データのアルファ・ブレンディングを実施できる様に構成されていることを特徴とする上記２．から３．のうち何れか一つに記載の装置。
５．マルチカメラシステムと上記１．から４．のうち何れか一つに記載の装置を包含することを特徴とする動力車両。
６．動力車両用のマルチカメラシステム（１００）の画像データを融合するためのための方法であって、以下の方法ステップを包含することを特徴とする方法：
－マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）を定義するステップ（Ｓ１）；
－重複領域（ＵｅＢ）の部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）のピクセル密度を捕捉するステップ（Ｓ２）；及び、
－ピクセル密度の偏差の割り出し（Ｓ３）、並びに、全容画像重ね合わせ用の隣接する部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の選択、但し、選択された隣接する部分領域の偏差は、閾値以下である。
７．マルチカメラシステムの少なくとも二台のカメラ（１１０，１２０）の画像データの全容画像重ね合わせを、選択された部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）の融合をベースに実施することを特徴とする上記６．に記載の方法。
８．ピクセル密度として、少なくとも二台のカメラ（１１０，１２０）の画像センサ上の面単位毎に、部分領域（ＴＢ１，ＴＢ２，…，ＴＢｎ）に隠されている面を捕捉することを特徴とする上記６．或いは７．の何れか一つに記載の方法。

【図1】

【図2】

【図3】

【図4】