特表2023-521791信頼性の高いスティッチング画像を作成するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-25
(54)【発明の名称】信頼性の高いスティッチング画像を作成するためのシステムおよび方法
(51)【国際特許分類】
G06T 7/593 20170101AFI20230518BHJP
H04N 7/18 20060101ALI20230518BHJP
【ＦＩ】
G06T7/593
H04N7/18 J
H04N7/18 V
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022561630
(86)(22)【出願日】2021-04-07
(85)【翻訳文提出日】2022-12-07
(86)【国際出願番号】 EP2021059073
(87)【国際公開番号】W WO2021204881
(87)【国際公開日】2021-10-14
(31)【優先権主張番号】102020109997.5
(32)【優先日】2020-04-09
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】514189527
【氏名又は名称】コノート、エレクトロニクス、リミテッド
【氏名又は名称原語表記】ＣＯＮＮＡＵＧＨＴ ＥＬＥＣＴＲＯＮＩＣＳ ＬＴＤ．
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100127465
【弁理士】
【氏名又は名称】堀田 幸裕
(74)【代理人】
【識別番号】100208188
【弁理士】
【氏名又は名称】榎並 薫
(72)【発明者】
【氏名】マヘシュ、コンディパルシ
(72)【発明者】
【氏名】フェルガル、オマリー
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054FC12
5C054FD03
5C054FE11
5C054FE28
5C054FF06
5C054HA30
5L096BA04
5L096CA05
5L096DA02
5L096FA66
5L096FA67
5L096FA69
5L096FA72
5L096KA04
(57)【要約】
重なり合う視野を有するそれぞれの車載カメラから周囲環境のコンポーネント画像を取得するステップと、前記コンポーネント画像からスティッチング画像を形成するステップ（４１０）と、前記重複する視野に対応する前記スティッチング画像の少なくとも一部を分類器で処理して、前記スティッチング画像においてそれぞれの箇所で前記周囲環境から検出されたオブジェクトのリストを提供するステップ（４２０）と、前記検出されたオブジェクトのリストにおける任意の検出されたオブジェクトが、前記検出されたオブジェクトのリストにおける別のオブジェクトの重複であるかどうかを判定するステップ（４３０）と、重複であると判定された任意のオブジェクトを報告するステップと、を備える、スティッチング画像におけるアーチファクトを検出するための方法。
【特許請求の範囲】
【請求項1】
重なり合う視野を有するそれぞれの車載カメラから周囲環境のコンポーネント画像を取得するステップと、前記コンポーネント画像からスティッチング画像を形成するステップ（４１０）と、
前記重なり合う視野に対応する前記スティッチング画像の少なくとも一部を分類器で処理して、前記スティッチング画像においてそれぞれの箇所で前記周囲環境から検出されたオブジェクトのリストを提供するステップ（４２０）と、
前記検出されたオブジェクトのリストにおける任意の検出されたオブジェクトが、前記検出されたオブジェクトのリストにおける別のオブジェクトの重複であるかどうかを判定するステップ（４３０）と、
重複であると判定された任意のオブジェクトを報告するステップと、
を備える、スティッチング画像におけるアーチファクトを検出するための方法。
【請求項2】
報告された任意の重複オブジェクトについて、報告された前記重複オブジェクトを含む前記スティッチング画像の領域を、前記コンポーネント画像のうちの１つからのインポスターで置換するステップ（４５０）、をさらに備える請求項１に記載の方法。
【請求項3】
前記検出されたオブジェクトのリストにおける各検出されたオブジェクト（６０１ａ）は、境界ボックスにより規定され、報告された前記重複オブジェクトを含む前記スティッチング画像の領域を、前記コンポーネント画像のうちの１つからのインポスターで置換する前記ステップは、報告された前記重複オブジェクト（７０１）を、報告された前記重複オブジェクトの前記境界ボックスと同一形状のインポスター（７０１’）で置換するステップを備える、
請求項２に記載の方法。
【請求項4】
前記インポスターの少なくとも一部を、当初の前記スティッチング画像とブレンドする（４６０）、請求項２または３に記載の方法。
【請求項5】
任意の報告された重複オブジェクトを選択するステップと、選択された前記オブジェクトがコンポーネント画像に複数回出現することに応答して（４４０）、選択された前記オブジェクトを重複ではないものとして印付けするステップと、
をさらに備える請求項１～４のいずれか一項に記載の方法。
【請求項6】
前記コンポーネント画像からスティッチング画像を形成する前記ステップは、２つのコンポーネント画像の複数の重なり合う領域を選択して、複数のブレンド領域を規定するステップと、
複数の前記ブレンド領域のうちの少なくとも２つのブレンド領域の形状または位置を調整するステップと、
２つの前記コンポーネント画像からスティッチング画像を形成するステップであって、複数の前記ブレンド領域における２つの前記コンポーネント画像からのデータを組み合わせるステップを含むステップと、
を備える請求項１～５のいずれか一項に記載の方法。
【請求項7】
複数の前記ブレンド領域のうちの少なくとも２つのブレンド領域の形状または位置を調整する前記ステップは、少なくとも２つのブレンド領域の形状または位置を規定するスティッチング・パラメータ（１０２ｅ、１０２ｄ）を、前記スティッチング・パラメータを変化させることでトレーニングされた畳み込みニューラルネットワークを使用して選択するステップと、
スティッチング・パラメータのそれぞれのセットから得られる前記スティッチング画像においてアーチファクトが検出されるかどうかを評価するステップと、
を備える請求項６に記載の方法。
【請求項8】
報告された任意の重複オブジェクトは、前記スティッチング画像において第１箇所にマッピングされた、第１車載カメラからの撮像オブジェクト、および、前記スティッチング画像において第２箇所にマッピングされた、第２車載カメラからの前記撮像オブジェクトを原因として生じるスティッチング・アーチファクトであり、前記第２箇所は、前記第１箇所に対して閾値を超えて異なる、
請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記閾値は、報告された前記重複オブジェクトが当初の前記オブジェクトと重なり合わないように設定される、請求項８に記載の方法。
【請求項10】
前記コンポーネント画像は、２つのカメラ（１０１、１０２）のそれぞれから同時に取得される、請求項１～９のいずれか一項に記載の方法。
【請求項11】
前記検出されたオブジェクトのリストにおける任意の検出されたオブジェクトが、前記検出されたオブジェクトのリストにおける別のオブジェクトの重複であるかどうかを判定するステップは、畳み込みニューラルネットワークを使用して検出されたオブジェクトが重複であるかどうかを分類するステップを含み、前記畳み込みニューラルネットワークは、重複オブジェクトを、前記検出されたオブジェクトのリストにおける別のオブジェクトの平行移動した重複として認識するようにトレーニングされている、
請求項１～１０のいずれか一項に記載の方法。
【請求項12】
別のオブジェクトの前記平行移動した重複は、前記車載カメラ間の視点の違いを考慮して調整された別のオブジェクトの平行移動した重複である、請求項１１に記載の方法。
【請求項13】
前記スティッチング画像の少なくとも一部は、複数のコンポーネント画像のデータから形成された前記スティッチング画像の領域を含む、請求項１～１２のいずれか一項に記載の方法。
【請求項14】
カメラモジュールを備える車両であって、前記カメラモジュールは、請求項１～１３のいずれか一項に記載の方法に従って動作する、車両（１００）。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、信頼性の高いスティッチング画像を作成するためのシステムおよび方法に関する。
【背景技術】
【0002】
スティッチング画像とは、単数または複数のカメラで、異なる姿勢（ポーズ）で視野が重なり合うように取得された少なくとも２つのコンポーネント画像を、コンポーネント画像よりも大きな視野または異なる視野を有する画像を作成するために、組み合わせた画像である。
【0003】
スティッチング処理により、スティッチング画像にアーチファクトが生じる場合がある。例えば、コンポーネント画像（構成画像）において同じオブジェクト（対象、被写体）の画像がスティッチング画像において異なる位置にマッピングされた場合、ゴースト効果が生じ得る。
【0004】
ＵＳ９５０９９０９は、合成ビュー幾何学的検索テーブル、入力魚眼画像、およびビュー重なり領域のうちの少なくとも１つからブロックサンプルを抽出するステップと、抽出されたブロックサンプルからサンプル内座層（ｉｎｌｉｅｒｓ）を選択するステップと、選択されたブロックサンプルのために最適なカラーゲインを推定するステップと、推定されたカラーゲインに基づいて微調整を施してカラー変換を適用するステップと、合成サラウンドビュー画像を生成するステップと、を備える測光ミスアライメントを補正するための方法を開示している。
【0005】
ＵＳ２０１８／０２５３８７５は、合成画像の単数または複数のコンテンツ基準に基づいてスティッチング・スキームのセットからスティッチング・スキームを選択するステップと、選択されたスティッチング・スキームを適用するステップと、を含む画像をスティッチングするための方法について記載している。
【0006】
ＤＥ１０２０１６１２４９７８Ａ１は、自動車のドライバー支援システムの表示装置での垂直なオブジェクトの認識性を向上させる方法であって、表示装置上で単数または複数の垂直なオブジェクトをより良好に表示するように、仮想三次元スペースにおける追加の投影面を使用する方法について記載している。
【0007】
ＵＳ２０１２／０２６２５８０は、車両の種々の箇所に配置されたカメラを介して車両からサラウンドビューを提供し得るシステムについて記載している。カメラは、サラウンドビューに対応する画像データを生成することができる。また、処理装置は、画像データを処理してサラウンドビューを生成することができる。
【0008】
ＵＳ２００９／０１１０３２７は、２Ｄ画像に基づいて３Ｄモデルが生成され得る３Ｄ座標系において平面の特定を容易にする方法について記載している。２Ｄ画像のうちの１つにおける前記平面および対象領域に関する押出方向が設定される。そして、前記平面の対称領域が２Ｄ画像の対応する領域に一致するまで、前記平面は押し出される。
【0009】
本発明の目的は、先行研究に制限されることなく、スティッチング画像をより信頼性の高いものにすることである。
【発明の概要】
【0010】
本発明は、独立請求項に定義される。従属請求項は、さらなる任意の特徴を提供する。
【0011】
要するに、スティッチング画像をより信頼性高いものとする方法について説明する。本方法によれば、コンポーネント画像のオブジェクトがスティッチング画像の別個の位置にマッピングされるツインエフェクト・アーチファクトが効率的かつ正確に検出されるとともに、スティッチング画像のコンテンツが信頼できない場合にはアラートを発生させることができる。いくつかの実施形態において、検出されたアーチファクトを即時に動的インポスター（ｉｍｐｏｓｔｅｒｓ）で置換して、信頼性のあるスティッチング画像を得る。
【0012】
本発明の実施形態について、添付図面を参照しつつ例示的に説明する。
【図面の簡単な説明】
【0013】
【図7】図７は、図３のシーンをさらにスティッチングした画像を示し、それぞれのブレンド領域がマークされている。左側の画像では、車のツインエフェクト・アーチファクトが検出されマークされている。右側の画像では、検出されたツイン・アーチファクトに対処が施されている。
【発明を実施するための形態】
【0014】
車両の運転に伴う多くのタスクについて、局地的な周囲環境に関する情報を取得することが重要である。実施可能な１つの方法は、車両に搭載されたカメラモジュールからの画像を分析することである。次いで、より見やすい画像を提供するべく、これらの画像をスティッチングして一つにすることができる。
【0015】
車両の周辺の周囲環境を撮影しようとする場合、通常、１台のカメラが、必要なデータを全て取得するのに適した視野を有することはない。この問題に対処する１つの方法は、
複数のカメラを使用することである。図１において、車両１００が、車の周囲に配置された４つのカメラ１０１、１０２、１０３、１０４とともに示されている。各カメラの視野の１つの縁部が、点線１０１ａ、１０２ａ、１０３ａ、１０４ａで記されている。カメラのこのような構成により、視野は、領域１０１ｂ、１０２ｂ、１０３ｂ、１０４ｂで重なり合うこととなる。一例として、領域１０２ｂは、前方を向くカメラ１０１の視野１０１ａと、左方を向くカメラ１０２の視野１０２ａとの重なりを示す。図示の構成は、単なる例示である。開示された教示事項は、他のカメラ構成でも同様に有効である。
複数のカメラを使用することである。図１において、車両１００が、車の周囲に配置された４つのカメラ１０１、１０２、１０３、１０４とともに示されている。各カメラの視野の１つの縁部が、点線１０１ａ、１０２ａ、１０３ａ、１０４ａで記されている。カメラのこのような構成により、視野は、領域１０１ｂ、１０２ｂ、１０３ｂ、１０４ｂで重なり合うこととなる。一例として、領域１０２ｂは、前方を向くカメラ１０１の視野１０１ａと、左方を向くカメラ１０２の視野１０２ａとの重なりを示す。図示の構成は、単なる例示である。開示された教示事項は、他のカメラ構成でも同様に有効である。
【0016】
図示の視野は、およそ１８０度の範囲に亘る。広い視野は、典型的には魚眼レンズ等の広角レンズを有するカメラにより得られる。魚眼レンズは、全体的に円筒対称であるため好適である。本発明の他の応用例において、視野は１８０度よりも小さくても大きくてもより。魚眼レンズが好適であるが、広い視野を提供する他のレンズも使用可能である。この文脈において、広い視野とは、１００度を超える、好適には１５０度を超える、より好適には１７０度を超える視野を有するレンズである。典型的には、このような広い視野を有するカメラでは、取得された画像に撮像アーチファクトや歪みが生じてしまう。
【0017】
本発明で使用されるカメラの感度を特定の波長範囲に限定する必要はないが、最も一般的には、本発明は、可視光に感度を有するカメラとともに使用されるものである。カメラは、通常、レンズおよびセンサ用のハウジングを備えるカメラモジュールの形態にある。レンズは、センサに光を集束させる役割を果たす。カメラモジュールは、センサに電力を供給するとともにセンサとの通信を可能にする電子機器をさらに有し得る。カメラモジュールは、画像を処理する電子機器もさらに有し得る。処理は、例えば、ゲインの制御、露出の制御、ホワイトバランス、ノイズ除去等の低レベルの画像信号処理であり得る、および／または、例えばコンピュータ・ビジョンのためのより強力な処理を含み得る。
【0018】
図１のようにカメラの構成が車両の周囲の全方向からの画像を提供するようなものである場合、カメラのコンポーネント画像は、種々の仮想カメラポーズ（アングル）から、特に車両の上方から、スティッチング画像を合成するのに十分な情報ビューを提供することができる。
【0019】
例えば図１に示すような複数のカメラを有する車両の文脈において、複数のカメラからの複数の画像よりも、車両の真上の視点からの局所的な周囲環境についての単一の画像からなるサラウンド画像を表示することが望まれ得る。したがって、４つのカメラ全てからの画像を、スティッチングして一つにする必要がある。画像は、スティッチングを実施する前に、またはスティッチング処理の一部として、別の面にマッピングされ得る。例えば、コンポーネント画像は、スティッチングの前に、球面または円筒面にマッピングされ得る。一実施形態において、コンポーネント画像は、スティッチングの前に、平底のボウル面にマッピングされる。また、このようなマッピングにより、レンズの歪みが考慮され得る、および／またはスティッチング処理が容易になり得る。
【0020】
後述の例のような他のタイミングで、例えば、車両が左折しようとしている場合、ドライバーに交差点をより明瞭に示すために、車両の前側カメラ１０１および左側カメラ１０２から取得したコンポーネント画像とともに車両の上方に位置する仮想カメラポーズから、スティッチング画像を生成することが望まれ得る。車両が右折しようとしている場合、または曲がり角でバックしようとしている場合、複数対の画像から同様のスティッチング画像が生成され得る。
【0021】
複数のコンポーネント画像をスティッチングして一つにする複数の方法が知られている。例えば、ダイレクト・スティッチング、リニア・ブレンド処理、選択的ブレンド処理、またはマルチバンド・ブレンド処理である。これらの処理を説明するために、図１に示す車両のさらなる詳細を示す図２を参照する。この図２において、重なり領域１０２ｂは、ブレンド・セグメント１０２ｃを有している。ブレンド・セグメント１０２ｃは、重なり領域の少なくとも一部であるとともに、角度オフセット１０２ｄおよび角度幅１０２ｅという２つの角度により規定されている。ブレンド・セグメント１０２ｃ内にある任意のコンポーネント画像からのデータは、別のコンポーネント画像からのデータと組み合わせられ得る。そして、スティッチング画像を形成する際に、組み合わせたデータが使用される。コンポーネント画像へのブレンド・セグメントの投影により、コンポーネント画像にブレンド領域が規定される。
【0022】
ダイレクト・スティッチングは、２つのコンポーネント画像間の重なり領域に移行ラインを規定する。実質的に、角度幅１０２ｅは、ゼロに設定される。スティッチング画像は、ラインの一側にある一方のコンポーネント画像からの画像と、ラインの他側にある他方のコンポーネント画像からの画像と、を使用する。スティッチング処理により、１つのコンポーネント画像から別のコンポーネント画像への急激な移行が生じる。この結果、スティッチング画像に、視認可能な継ぎ目や途切れの態様のアーチファクトが生じ得る。一部のケースでは、アーチファクトの発現可能性または重大性は、既知のカメラモジュール調和技術および装置により、例えば、２０１９年１０月７日に出願された「電子制御ユニット」という名称のドイツ特許出願第ＤＥ１０２０１９１２６８１４．１号（Ｒｅｆ：２０１９ＰＦ００７２１）に記載のものにより低減され得る。
【0023】
ダイレクト・スティッチングのバリエーションとして、ダイナミック・シームを使用するダイレクト・スティッチングが知られている。ここでは、ダイレクト・スティッチング・ラインは直線である必要はないが、スティッチングされたコンポーネント画像のコンテンツに応じて調整されるパス（ｐａｔｈ）を有している。この方法は、ゴースト効果に対処し得るが、ツインエフェクト・アーチファクトに対処できる可能性は低い。ツインエフェクト・アーチファクトでは、複数のコンポーネント画像からの任意の１つのオブジェクトが、スティッチング画像において離れた別個の箇所に出現する。
【0024】
リニア・ブレンド処理は、１つのコンポーネント画像に対するピクセルの重みを、ブレンド領域を横切る距離に応じて線形調整することにより、ブレンド領域１０２ｃのピクセル値を調整する。ブレンド領域１０２ｃ内のピクセル値は、コンポーネント画像からのピクセル値の加重平均として算出される。重みは徐々にゼロになるため、あるビューから別のビューへは急激に変化するのではなく、滑らかに移行することが観察される。リニア・ブレンド処理の有する問題は、２つの異なるビュー間での不完全なオブジェクト整合（アラインメント）を原因として、ブレンド領域内のオブジェクトがぼやける場合があるということである。したがって、整合し損ねたオブジェクトのブレンド処理を原因として、ゴースト効果がブレンド・エリアで観察されることがある。
【0025】
選択的ブレンド処理は、リニア・ブレンド処理とダイレクト・スティッチングの両方を利用して、各ピクセルについて、リニア・ブレンド処理から合成ピクセル値ｌｌｉｎｅａｒ、およびダイレクト・スティッチングから合成ピクセル値ｌｓｔｉｔｃｈを求める。そして、これらの合成ピクセル値を、想定される箇所における２つのコンポーネント画像値間の差に関連する重みと組み合わせる。差が小さいほど、リニア・ブレンド処理は大きく重み付けられる。逆もまた同様である。選択的ブレンド処理により、一致しない複数のオブジェクトに対応するピクセルのブレンド処理が回避されるため、ぼやけやゴースト効果は低減され得る。しかしながら、一致しない複数のオブジェクトが類似するカラーを有している場合、または測光アラインメント後の残差が大き過ぎる場合、選択的ブレンド処理は機能しない。後者の場合はツインエフェクト・アーチファクトの一因であるため、選択的スティッチングは、ツインエフェクト・アーチファクトに対処するには理想的な選択肢ではない。換言すれば、選択的スティッチングは、色が均一でないオブジェクトに対するゴースト効果の無効化には有効であるが、ツインエフェクト・アーチファクトの原因となる極端な視差に対処できる可能性は低い。
【0026】
マルチバンド・ブレンド処理は、コンポーネント画像をサブバンドに分割し、サブバンドを適応的にブレンド処理することにより、スティッチング画像におけるブレンド領域の見た目を改善する。一例において、周波数サブバンド分解が、ブレンド領域１０２ｃに適用される。高周波数バンドに対して、第１の小さいブレンド領域が適用される。低周波バンドに対して、第２のより大きなブレンド領域が適用される。結果として、この操作により、低周波成分については、より長い空間範囲に亘って平均化され、高周波成分については、より短い空間範囲に亘って平均化される。高周波成分はブレンド領域が小さいほど良好に保存されるため、結果としてブレンド領域の細部が鮮明になる。しかしながら、マルチバンド・ブレンド処理は、非平面状のオブジェクトに対するゴーストの問題には対処できない。
【0027】
いずれの場合でも、スティッチング画像に著しいツインエフェクト・アーチファクトが発生し得る虞がある。このようなツインエフェクト・アーチファクトの発現可能性または出現性は、背景に対して高いコントラストを有するオブジェクトが存在する場合に増大する。ツインエフェクト・アーチファクトは、他の場合にも存在するが、視覚的な影響は軽微であることが多い。例えば、道路と空におけるツインエフェクト・アーチファクトは、ほとんど問題にならない。通常、道路の２つのエンプティ部分が重複テクスチャを有していても、問題にならないからである。
【0028】
ツインエフェクト・アーチファクトの出現性は、展開されるスティッチング技術、およびスティッチング・パラメータに依存する。例えば、コンポーネント画像間の重なり領域におけるブレンド領域の寸法の変化により、ツインエフェクト・アーチファクトの出現性が変化し得る。
【0029】
この変化を実証するため、図３を考察する。図３は、２つの異なるスティッチング・パラメータをそれぞれ使用して生成したスティッチング画像の２つの画像部分を示している。図３の左側における第１画像３００を形成するスティッチング・パラメータは、比較的広いブレンド領域３０２ｃを規定している。このブレンド領域３０２ｃは、角度幅３０２ｅおよび角度オフセット３０２ｅにより規定されている。角度オフセットは、車の直進方向から測定される。図３の右側における第２画像３００’を形成するスティッチング・パラメータは、異なる比較的狭いブレンド領域３０２ｃ’を規定している。
【0030】
図３のスティッチング画像を生成するために使用されるコンポーネント画像が取得されたとき、車両の前方の道路には、一台の車しかなかった。しかし、第１画像３００ではツインエフェクト・アーチファクトにより、ブレンド領域３０２ｃに２台の部分的に透明な車が出現する結果となっている。他のツインエフェクト・アーチファクトが第２画像３００’に存在しており、第１画像３００と同じ箇所に２台の車が出現する結果となっている。しかしながら、第２画像３００’においては、見えている２台の車は、ブレンド領域３０２ｃ’の外側に存在するとともに、不透明である。狭いブレンド領域３０２ｃ’の中央にラインを引いてダイレクト・スティッチングすると、第２画像３００’と同様の画像が得られるであろう。
【0031】
従来的に、コンポーネント画像のブレンド領域は、円筒形のセクタとして考えることができる。一例として、図３の第１画像３００を考察する。ここでは、円筒形のセクタは画像の高さを延長し、角度幅３０２ｅおよび角度オフセット３０２ｄにより規定されている。ツインエフェクト・アーチファクトの出現は、スティッチング技術およびスティッチング・パラメータに依存するため、スティッチング技術およびスティッチング・パラメータを適合させることにより、ツインエフェクト・アーチファクトの発現可能性を低減することが可能である、および／またはアーチファクトの重大性を低減することが可能である。円筒形のセクタを層状にする、すなわち積層することにより、ツインエフェクト・アーチファクトを軽減する多くの自由度が提供される。なぜならば、調整のさらなる自由度およびさらなるスティッチング・パラメータが提供されるからである。各層は円筒形のセクタであるため、それは、角度幅および角度オフセットに加えて、層の高さと層の厚さという２つの追加のパラメータを有している。
【0032】
図４を参照すると、本発明の実施形態を説明するフロー図が示されている。第１ステップ４１０は、スティッチング画像を取得することである。これは、上述の技術のうちのいずれかを利用して重なり合う視野を有する一対のカメラからのコンポーネント画像を組み合わせることによりなされ得る。しかしながら、本発明の実施形態は、一対のコンポーネント画像の各々に出現する任意のオブジェクトが、スティッチング画像内の別個の箇所にマッピングされ得る任意のスティッチング画像に、同様に適用され得る。
【0033】
いずれの場合でも、次いで、スティッチング画像を処理してオブジェクトを検出するステップ４２０が実施される。この検出は、機械学習アルゴリズム等の既知のオブジェクト検出分類器を使用して達成され得る。本実施形態において、分類器は、スティッチング画像を直接的に処理することができる。これは、処理がスティッチング画像毎に１回しか発生しなくてよいことを意味する。代替的または追加的に、分類器を、各コンポーネント画像に、および各コンポーネント画像の結果をスティッチング画像にマッピングすることにより組み合わされた結果に、使用することができる。
【0034】
好適な実施形態において、画像中の既知のオブジェクトにラベル付けするためにＣＮＮが使用される。このようなＣＮＮの例を図５に示す。既知のオブジェクトを検出するようにＣＮＮをトレーニングする種々の方法が当業者に知られている。一旦トレーニングすれば、ＣＮＮは画像を処理し、検出されたオブジェクトに適切なラベルで印を付すことができる。検出されたオブジェクトに適用されるラベルは、典型的には、検出されたオブジェクトの少なくとも一部を囲む境界ボックスと検出された既知のオブジェクトの名称とを規定する。境界ボックスは矩形である必要はなく、適宜別の形状およびサイズであり得る。分類器がコンポーネント画像で動作する場合、コンポーネント画像とスティッチング画像との間でのマッピングにより、境界ボックスは、スティッチング画像において異なる形状になり得る。
【0035】
ＣＮＮは、入力５１１画像を単数または複数の畳み込み層またはプーリング層で処理することにより、既知のオブジェクトを検出することができる。畳み込み層５１２において、単数または複数の畳み込みカーネルがこの画像を通過する。プーリング層５１３において、処理されたデータの空間分解能が低減される。図５に示す例において、２つの畳み込み層５１１および５１３、ならびに２つのプーリング層５１３および５１５が使用されている。本発明の実施形態において、任意の個数の畳み込み層またはプーリング層が、ＣＮＮ４００の隠れ層５１０を形成し得る。次いで、隠れ層５１０からのデータが分類層５２０により処理されて結果が形成される。図５に示す例において、隠れ層からのデータは平坦化５２１されて、特徴ベクトルが提供される。この特徴ベクトルは、次いで複数の完全接続層５２２を通過する。本例において、ソフトマックス演算５２３が実施されて、画像内の既知のオブジェクト、例えば、トラック、街灯構造体、または車が認識される。
【0036】
既知の代替的な分類器も、既知のオブジェクトを検出するために使用され得る。一部の実施形態において、分類器は、車両のＬｉＤＡＲセンサ等の他のセンサから判定された情報を利用し得る。分類器をトレーニングする際、限定された入力画像しか利用できないという状況で有用であるように、縁部強調画像または縁部画像のような追加のオプション入力も入力され得る。一部の分類器では、このような追加入力により、ネットワークの複雑性の減少が促進される。すなわち、追加入力を使用することにより、ＣＮＮの隠れ層の層数を減少させ得る。
【0037】
分類器からの典型的な出力を図６に示す。入力画像は、処理された画像上に付された複数のラベルを有している。これには、信号機６０１ａ、２台のトラック６０１ｂおよび６０１ｃ、および車６０１ｄが含まれる。ラベルの各々は、関連付けられた場所を有するとともに、分類器がラベル付けされたオブジェクトと関連付けられているとみなす入力画像の領域を印す境界ボックスが印されている。
【0038】
単数または複数の重なり領域におけるツインエフェクト・アーチファクトを識別することが目的であるため、処理されるスティッチング画像の領域、すなわち対象領域、ＲＯＩを、スティッチング画像の重なり領域、すなわち、コンポーネント画像の視野が重なり合うスティッチング画像の領域に限定することができる。このようにＲＯＩを小さくすることにより、処理が顕著に高速化し、不要なオブジェクトの検出を減らし、誤検出率を大幅に低くすることができる。
【0039】
ＲＯＩは、スティッチング技術およびパラメータにより規定され得る。スティッチング角度（例えば、図３の角度幅３０２ｅおよび角度オフセット３０２ｄ）のようなパラメータが、ＲＯＩを規定するために使用され得る。
【0040】
オブジェクトが検出されたら、検出されたオブジェクトが類似しているかどうかをテストするステップ４３０が実施される。換言すれば、検出されたオブジェクトは、境界ボックスのコンテンツ同士の類似性を検出するように処理される。通常の重複コンテンツ検出アルゴリズムは、コンピュータ的に集約している。オブジェクトとカメラとの間の距離が大きいため、ツインエフェクト・アーチファクトは、主に並進シフトとして存在する。したがって、重複コンテンツ評価では、すべての考えられる変形を考慮する必要はない。一部の実施形態において、ＣＮＮ等の分類器は、コンテンツの並進シフトによる重複に着目することにより、ツインエフェクト・アーチファクトを検出するようにトレーニングされる。並進シフトに限定することにより、誤検出数が最小となる。この場合の誤検出とは、ツインエフェクト・アーチファクトを原因としない類似のオブジェクトである。並進シフトしかテストしないという制約の少なさにより、誤検出の可能性が顕著に最小限とされる。分類器のトレーニングは、あるカメラから別のカメラへの視点の変化を考慮することにより改善され得る。このトレーニング改善は、ツインエフェクト・アーチファクトによる重複オブジェクトが、視点の変化によりわずかに異なって見え得るために生じる。
【0041】
時間信号によっても、ツインエフェクト・アーチファクトの検出時の誤検出が回避され得る。例えば、ツインエフェクト・アーチファクトを原因として生じる重複オブジェクトは、オブジェクトが車両に近づくにつれて一緒に移動する、さらには一体化する傾向がある。これは、検出され得る別のタイプの重複オブジェクトには、通常当てはまらない。
【0042】
類似性テストが、オブジェクトを検出する分類器に組み込まれ得る、または、検出されたオブジェクトのリストに別途適用され得る。好適な実施形態において、スティッチング画像におけるオブジェクトがラベル付けされた後、ＣＮＮは、ラベル付けされたオブジェクトの類似性を評価して重複を検出する。類似性テストの結果、類似するラベル付けされたオブジェクトが検出される、すなわちおそらくツインエフェクト・アーチファクトであることが検出される。
【0043】
さらなるオプションのステップは、検出された重複オブジェクトが本物であるかどうかをテストするステップ４４０である。一部の実施形態において、このステップは、コンポーネント画像のうちの少なくとも１つを処理して、類似する重複オブジェクトがコンポーネント画像うちのいずれか１つで検出されるかどうかを確認するステップを備えている。コンポーネント画像のうちのいずれか１つに重複オブジェクトが存在する場合、重複オブジェクトは、スティッチングのアーチファクトではない可能性が高い。このステップは、類似する２つの本物のオブジェクトが、ツインエフェクト・アーチファクトとして誤ってラベル付けされることが確実にないようにする助けとなる。このことは、重要である。なぜならば、アーチファクトを原因として重複するオブジェクトは無視したりその後画像から削除したりしてよいが、車等の本物のオブジェクトを無視または削除することは重大なミスになる可能性があるためである。この結果、検出された重複オブジェクトに見えるオブジェクトが本物であるかどうかをテストすることにより、スティッチング画像の信頼性が向上する。
【0044】
スティッチング画像がツインエフェクト・アーチファクトを含むかどうかを検出し、選択的に確認することに応じて、多くのオプションが利用可能である。これらには、スティッチング画像がアーチファクトを含み得ることについてフラグを立てるステップ、または、一部のケースにおいては、スティッチング画像を補正しようとしたり、その後に生成されるスティッチング画像にこのようなアーチファクトが生じることを防止したりすることにより積極的に応答するステップが、最小限含まれ得る。
【0045】
このため、例えば、アーチファクトの検出をドライバーに報告し、スティッチング画像中の誤解を招き得る情報についてドライバーに確実に注意喚起することができる。例えば、駐車するとき、近くの２つあるように見える街灯がツインエフェクト・アーチファクトを原因とするものらしいということをドライバーに知らせるアラートを発することができる。ドライバーは、ミラーで見えている街灯のうちどちらが最も適切であるか目で確認し、これに応じて車を操作することができる。また、スティッチング画像および検出されたツインエフェクト・アーチファクトは、ハードディスクドライブまたは他の記憶領域等の車両のサブシステムに記録され、ログに残される。
【0046】
ツインエフェクト・アーチファクトの存在は、ツインエフェクト・アーチファクトを緩和するためにスティッチング・パラメータをチューニングするように構成された機械学習アルゴリズムにも報告され得る。好適な実施形態において、スティッチング・パラメータをチューニングする機械学習アルゴリズムは、畳み込みニューラルネットワーク、すなわちＣＮＮである。
【0047】
一部の例においては、スティッチング画像コンテンツは、検出されたツインエフェクト・アーチファクトをマークするように単純に調整され得る。
【0048】
しかしながら、本実施形態においては、スティッチング画像のコンテンツは、表示する前に調整される。
【0049】
インポスターとは、画像に追加されるグラフィック・アーチファクトであって、欠落したオブジェクトや誤って表現されたオブジェクトをより良好に表示するためのものである。一例として、図３を考察する。すべての車載カメラは車両の周囲に配置され、外方を向いていることに留意されたい。したがって、どの車載カメラからも車両を画像として良好に表示できる画像は存在しない。図３の画像の右下に表示されている車両は、スティッチング画像の正しい箇所に重ね合わされた車両のアバターに過ぎない。このようなアバターにより、スティッチング画像の見栄えが著しく向上し、ドライバーはスティッチング画像中でどのように車両を方向付けるかをより簡単にイメージすることができる。車両アバターは、静的インポスターの例である。静的インポスターとは、本方法の実施前に少なくとも部分的に生成され、必要なときに使用するようにメモリに格納されるインポスターである。静的インポスターの欠点は、事前に交換用の画像を知っている、または計算可能であることが必要であることである。静的インポスターが使用できない場合、動的インポスターが使用され得る。動的インポスターとは、単数または複数のカメラから得られたデータに少なくとも部分的に基づいて、実行時間に生成されるインポスターである。
【0050】
一部の実施形態において、本発明は、インポスターを使用して検出されたツインエフェクト・アーチファクトに対処する。具体的には、ステップ４５０において、重複オブジェクトのうちの一方を動的インポスターで置換する。動的インポスターは、コンポーネント画像からの画像データを含んでいる。ツインエフェクト・アーチファクト毎に、コンポーネント画像の一方が、ツインエフェクト・アーチファクトにおけるオブジェクトの一方に関するデータを供給し、他方のコンポーネント画像が、他方のオブジェクトに関するデータを供給する。したがって、ツインエフェクト・アーチファクトとして検出されたスティッチング画像の領域を他方のコンポーネント画像からのデータで置換することにより、ツインエフェクト・アーチファクトが除去され得る。
【0051】
この処理の２つの例を図７および図８にそれぞれ示す。図７において、左側の画像７００は、重複する車の形態におけるツインエフェクト・アーチファクトを含んでいる。検出されたツインエフェクト・アーチファクト７０１の境界ボックスが、黒白の破線で示されている。スティッチング画像において、ブレンド領域７０２の下方および左方の領域におけるデータは、左方を向いた車載カメラから生じたコンポーネント画像に由来する。ブレンド領域７０２の上方及び右方の領域におけるデータは、前方を向く車載カメラから生じたコンポーネント画像に由来する。したがって、左端の車７０３オブジェクトを形成するデータは、左方を向くカメラに由来し、検出されたツインエフェクト・アーチファクト７０１の境界ボックス内の車は、前方を向くカメラに由来する。右側の画像７００’では、検出されたツインエフェクト・アーチファクト７０１の境界ボックスにおけるデータは、左方を向くカメラ化のデータで置換されているため、ツインエフェクト・アーチファクトが除去されている。図８は、街路灯構造体もツインエフェクト・アーチファクト８０１であることが確認されたため、再度行われる処理を示している。ここでも、ツインエフェクト・アーチファクトの境界ボックスにおけるデータを他のコンポーネント画像のデータに切り替えることで、ツインエフェクト・アーチファクトに対処している。
【0052】
図９に、明確なツインエフェクト・アーチファクトのないスティッチングの結果を示す。スティッチング画像において調整された縁部領域を隠すようにさらなるスムージング効果が利用され得る。例えば、インポスターを当初のスティッチング画像とブレンドして、ピクセル値の急激な移行を回避してもよい。一部の実施形態において、スムージング効果により、インポスターの縁部がぼかされ得る。このようなスムージング効果は、スティッチング画像においてインポスターを目立たなくする助けとなる。
【0053】
スティッチング画像をさらに処理して画像を精緻にしてもよい。追加的に、異なる画像アーチファクトを除去するように別個の処理をしてもよい。例えば、２０１９年１１月２６日に出願された「画像処理モジュール」という名称のドイツ特許出願第１０２０１９１３１９７１．４号（Ｒｅｆ：２０１８ＰＦ０２６６７）を参照されたい。ツインエフェクト・アーチファクトを予め除去することにより、ツインエフェクト・アーチファクトの出現を強化する後続の処理が防止される。
【0054】
記載の方法は、スティッチング画像における高コントラストのツインエフェクト・アーチファクトの阻止することに確実に対処することを目的とする。他の重複コンテンツ発見方法とは対照的に、記載の方法は、均一な路面の外観を補正する等の不要なエリアにおけるツインエフェクト・アーチファクトの検出および／または除去にリソースを浪費しない。その代わりに、記載の方法は、最も視覚的に目立つツインエフェクト・アーチファクト（例えば、前方の道路における車の第２画像）を確実に緩和することに重点を置いている。
【0055】
記載の方法により、車両のドライバーはスティッチング画像を信頼し得る。例えば、スティッチング画像を車両の内部に取り付けられたディスプレイを介して見ているドライバー、例えば、車の車室に取り付けられた表示スクリーン上でスティッチング画像を見ることで駐車するために車を操縦している車のドライバーを想定する。記載の方法は、表示されたツインエフェクト・アーチファクトの存在についてドライバーに注意喚起する、またはツインエフェクト・アーチファクトを表示画像から除去することができる。いずれの場合にも、表示されたスティッチング画像は、より信頼性が高いものとなり得る。
【0056】
想定される車両は、自動運転車両、すなわち自律車両またはドライバー支援機能を有する車両であってもよい。この場合、想定される画像の精度は特に重要である。例えば、車両制御機構は、車両制御または運転勧告についてスティッチング画像に基づいてもよい。したがって、ツインエフェクト・アーチファクトを報告する、またはこれを除去することにより、車両制御機構は適切な動作をとることができる。したがって、記載の方法を用いることにより、スティッチング画像におけるツインエフェクト・アーチファクトを原因としてなされる、または推奨される稚拙な運転判断を減少させることができる。
【0057】
検出されたツインエフェクト・アーチファクトについてのアラート、または補正されたスティッチング画像も、車両システムにより記録され得る。記録は、ハードディスク等のメディア記憶装置に記録を保持する形態であり得る。
【0058】
上述の例は、車両の前方を向くカメラ１０１および左方を向くカメラ１０２から取得したスティッチング画像に関するものであったが、別のタイミングにおいて、隣接する視野を有する他の組み合わせのカメラからのスティッチング画像が想定され得ること、および本発明は、車両を取り囲むすべてのカメラ１０１…１０４から取得されたコンポーネント画像からスティッチングされたサラウンドビューの作成にも同様に拡大適用され得ることを理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】