▶ コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングの特許一覧
特表2024-542133人工ニューラルネットワークの文脈における画像データを融合する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-13
(54)【発明の名称】人工ニューラルネットワークの文脈における画像データを融合する方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20241106BHJP
G06V 10/42 20220101ALI20241106BHJP
【ＦＩ】
G06T7/00 250
G06T7/00 350C
G06V10/42
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024526834
(86)(22)【出願日】2022-11-10
(85)【翻訳文提出日】2024-05-07
(86)【国際出願番号】 DE2022200262
(87)【国際公開番号】W WO2023098956
(87)【国際公開日】2023-06-08
(31)【優先権主張番号】102021213757.1
(32)【優先日】2021-12-03
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】322007626
【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(74)【代理人】
【識別番号】100191938
【弁理士】
【氏名又は名称】高原 昭典
(72)【発明者】
【氏名】ブント・トビアス
(72)【発明者】
【氏名】ロメチュ・マリオ
(72)【発明者】
【氏名】ティール・ローベルト
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA05
5L096DA01
5L096EA03
5L096EA39
5L096FA77
5L096HA11
5L096KA04
(57)【要約】
本発明は、少なくとも１つの画像キャプチャセンサ（１）の画像データを融合する方法およびシステム（１０）に関する。
本方法は、
ａ）入力画像データを受信するステップであって、入力画像データは、シーンの第１領域（１０１，６０１）を含む第１画像（４０１，７０１）およびシーンの第２領域（１０２，６０２）を含む第２画像（５０２，７０２）を含み、第１および第２領域は、互いに重複するが同一ではない、ステップ（Ｓ１）と；
ｂ）第１画像（４０１，７０１）に基づいて第１高さおよび幅を有する第１特徴マップ（１３０１）を決定するステップ（Ｓ２）、および、第２画像（５０２，７０２）に基づいて第２高さおよび幅を有する第２特徴マップ（１３０２）を決定するステップ（Ｓ３）と；
ｃ）第１特徴マップ（１３０１）の第１畳み込みを用いて第１出力特徴マップ（１３２１）を演算するステップ（Ｓ４）、および、第２特徴マップ（１３０２）の第２畳み込みを用いて第２出力特徴マップ（１３２２）を演算するステップ（Ｓ５）と；
ｄ）第１および第２出力特徴マップ（１３２１，１３２２）を要素ごとに加算することによる融合特徴マップ（１３３０）を演算するステップであって、重複領域の要素が加算されるように、第１および第２領域の位置が互いに考慮される、ステップ（Ｓ７）と；
ｅ）融合特徴マップ（１３３０）を出力するステップ（Ｓ８）とを備える。
本方法は、ランタイム効率が非常に高く、車両のＡＤＡＳ／ＡＤシステムのために１つまたは複数の画像キャプチャセンサ（１）の画像データを融合するために用いることができる。
本方法は、
ａ）入力画像データを受信するステップであって、入力画像データは、シーンの第１領域（１０１，６０１）を含む第１画像（４０１，７０１）およびシーンの第２領域（１０２，６０２）を含む第２画像（５０２，７０２）を含み、第１および第２領域は、互いに重複するが同一ではない、ステップ（Ｓ１）と；
ｂ）第１画像（４０１，７０１）に基づいて第１高さおよび幅を有する第１特徴マップ（１３０１）を決定するステップ（Ｓ２）、および、第２画像（５０２，７０２）に基づいて第２高さおよび幅を有する第２特徴マップ（１３０２）を決定するステップ（Ｓ３）と；
ｃ）第１特徴マップ（１３０１）の第１畳み込みを用いて第１出力特徴マップ（１３２１）を演算するステップ（Ｓ４）、および、第２特徴マップ（１３０２）の第２畳み込みを用いて第２出力特徴マップ（１３２２）を演算するステップ（Ｓ５）と；
ｄ）第１および第２出力特徴マップ（１３２１，１３２２）を要素ごとに加算することによる融合特徴マップ（１３３０）を演算するステップであって、重複領域の要素が加算されるように、第１および第２領域の位置が互いに考慮される、ステップ（Ｓ７）と；
ｅ）融合特徴マップ（１３３０）を出力するステップ（Ｓ８）とを備える。
本方法は、ランタイム効率が非常に高く、車両のＡＤＡＳ／ＡＤシステムのために１つまたは複数の画像キャプチャセンサ（１）の画像データを融合するために用いることができる。
【特許請求の範囲】
【請求項1】
少なくとも１つの画像キャプチャセンサ（１）の画像データを融合する方法において：ａ）入力画像データを受信するステップであって、前記入力画像データは、
－シーンの第１領域（１０１，６０１）を含む第１画像（４０１，７０１）および
－前記シーンの第２領域（１０２，６０２）を含む第２画像（５０２，７０２）を含み、前記第１および前記第２領域は、互いに重複するが同一ではない、ステップ（Ｓ１）と；
ｂ）前記第１画像（４０１，７０１）に基づいて第１高さおよび幅を有する第１特徴マップ（１３０１）を決定するステップ（Ｓ２）、および、前記第２画像（５０２，７０２）に基づいて第２高さおよび幅を有する第２特徴マップ（１３０２）を決定するステップ（Ｓ３）と；
ｃ）前記第１特徴マップ（１３０１）の第１畳み込みを用いて第１出力特徴マップ（１３２１）を演算するステップ（Ｓ４）、および、前記第２特徴マップ（１３０２）の第２畳み込みを用いて第２出力特徴マップ（１３２２）を演算するステップ（Ｓ５）と；
ｄ）前記第１および前記第２出力特徴マップ（１３２１，１３２２）を要素ごとに加算することによる融合特徴マップ（１３３０）を演算するステップであって、重複領域の要素が加算されるように、前記第１および前記第２領域の位置が互いに考慮される、ステップ（Ｓ７）と；
ｅ）前記融合特徴マップ（１３３０）を出力するステップ（Ｓ８）とを備える、方法。
【請求項2】
前記第１および前記第２画像が、同じ画像キャプチャセンサによりキャプチャされたものである、請求項１に記載の方法。
【請求項3】
前記第１画像（４０１，７０１）および前記第２画像（５０２，７０２）が、前記画像キャプチャセンサの画像ピラミッドの異なるレベルに対応する、請求項１または２に記載の方法。
【請求項4】
前記第１領域（１０１，６０１）が前記シーンの概要領域であり、前記第２領域（５０２，７０２）が前記シーンの前記概要領域の部分領域である、請求項１～３の何れか１項に記載の方法。
【請求項5】
前記第１画像が第１解像度を有し、前記第２画像が第２解像度を有し、前記第２解像度が前記第１解像度よりも高い、請求項１～４の何れか１項に記載の方法。
【請求項6】
画像キャプチャセンサとして、重複するキャプチャ領域を有する２つの単眼カメラが用いられる、請求項１、４または５の何れか１項に記載の方法。
【請求項7】
画像キャプチャセンサとして、全方位カメラシステムの複数のカメラが用いられる、請求項１、４または５の何れか１項に記載の方法。
【請求項8】
前記第１および前記第２出力特徴マップ（１３２１，１３２２）が、重複領域において同じ高さおよび幅を有する、請求項１～７の何れか１項に記載の方法。
【請求項9】
前記融合特徴マップ（１３３０）の高さおよび幅が、前記第１および前記第２出力特徴マップ（１３２１，１３２２）を囲繞する矩形により決定される、請求項１～８の何れか１項に記載の方法。
【請求項10】
前記特徴マップ（１３０１，１３０２，１３２１，１３２２）が、各々、前記画像（４０１；５０２；７０１；７０２）の解像度に依存する深度を有する、請求項１～９の何れか１項に記載の方法。
【請求項11】
前記融合特徴マップが、ＡＤＡＳ／ＡＤ関連情報を決定するように構成されている人工ニューラルネットワークのエンコーダにおいて生成される、請求項１～１０の何れか１項に記載の方法。
【請求項12】
ＡＤＡＳ／ＡＤ関連情報を決定するように構成されている前記人工ニューラルネットワークが、様々なＡＤＡＳ／ＡＤ検出機能用の複数のデコーダを備える、請求項１１に記載の方法。
【請求項13】
入力インタフェース（１２）とデータ処理ユニット（１４）と出力インタフェース（１８）とを備える、少なくとも１つの画像キャプチャセンサの画像データを融合するシステム（１０）において：ａ）前記入力インタフェース（１２）が、入力画像データを受信するように構成されており、前記入力画像データは、
－シーンの第１領域（１０１，６０１）を含む第１画像（４０１，７０１）および
－前記シーンの第２領域（１０２，６０２）を含む第２画像（５０２，７０２）を含み、前記第１および前記第２領域は、互いに重複するが同一ではなく；
前記データ処理ユニット（１４）が、
ｂ）前記第１画像（４０１，７０１）に基づいて第１高さおよび幅を有する第１特徴マップ（１３０１）を決定し、前記第２画像（５０２，７０２）に基づいて第２高さおよび幅を有する第２特徴マップ（１３０２）を決定するように構成されており；
ｃ）前記第１特徴マップ（１３０１）の第１畳み込みを用いて第１出力特徴マップ（１３２１）を演算し、前記第２特徴マップ（１３０２）の第２畳み込みを用いて第２出力特徴マップ（１３２２）を演算するように構成されており；
ｄ）前記第１および前記第２出力特徴マップ（１３２１，１３２２）を要素ごとに加算することによる融合特徴マップを演算するように構成されており、重複領域の要素が加算されるように、前記第１および前記第２領域の位置が互いに考慮され；
ｅ）前記出力インタフェース（１８）が、前記融合特徴マップ（１３３０）を出力するように構成されている、システム（１０）。
【請求項14】
前記システム（１０）が、エンコーダと少なくとも１つのデコーダとを有する畳み込みニューラルネットワークを備え、前記入力インタフェース（１２）、前記データ処理ユニット（１４）および前記出力インタフェース（１８）は、前記エンコーダが前記融合特徴マップを生成するように構成されているように、前記エンコーダにおいて実装されており、前記少なくとも１つのデコーダが、ＡＤＡＳ／ＡＤ検出機能を少なくとも前記融合特徴マップに基づいて実装するように構成されている、請求項１３に記載のシステム。
【請求項15】
少なくとも１つの画像キャプチャセンサ（１）と請求項１３または１４に記載のシステムとを備える車両。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工ニューラルネットワークの文脈における、例えば、車両用の周辺環境に基づくＡＤＡＳ／ＡＤシステムにおいて、画像データを融合する方法およびシステムに関する。
【背景技術】
【0002】
ＡＤＡＳ／ＡＤシステム用の撮像周辺環境センサ（特に、カメラセンサ）において、解像度は絶え間なく向上している。これにより、小さい物体を検出すること、サブオブジェクトを検出すること、そして、例えば、遠く離れている小さい文字を読むことが可能になる。高解像度の不利な点は、これに対応する大きい画像データを処理するために必要とされる著しく高い計算能力にある。従って、多くの場合、処理のために画像データの様々な解像度レベルが用いられる。大きい範囲または高い解像度は、例えば、多くの場合、画像中央において必要とされる一方、周辺の領域においては必要とされない（例えば、人間の眼と同様である）。
【0003】
特許文献１は、ピクセル画像を撮影する画像センサ装置と、ピクセル画像の隣接しているピクセルを適合されたピクセル画像においてまとめるように構成されている処理装置とを備える、車両用の周辺環境を撮像するカメラ装置を記載している。隣接するピクセルのピクセル値を２ｘ２画像ピラミッドまたはｎｘｎ画像ピラミッドの形式でまとめることにより、様々な適合されたピクセル画像を様々な解像度で生成することができる。
【0004】
特許文献２および特許文献３は、可変解像度を有する画像を撮影する運転支援システムを記載している。
【0005】
特許文献４は、広角光学素子と高分解能の画像撮影センサとを備える、車両の周辺領域をキャプチャするカメラ装置を記載している。画像シーケンスの画像に関して、ピクセルビニングを用いて解像度が低減されたキャプチャ領域全体画像、または最大解像度を有するキャプチャ領域の部分領域をキャプチャすることができる。
【0006】
人工ニューラルネットワークを用いる技術は、ますます多くの場合において、周辺環境センサに基づくＡＤＡＳ／ＡＤシステムに用いられており、これにより、道路ユーザとシーンをより良好に認識し、分類し、少なくとも部分的に理解することができる。その際、深層ニューラルネットワーク、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ドイツ語では、例えば、「畳み込みに基づくニューラルネットワーク」または「畳み込みネットワーク」）は、従来の手法と比較して明らかに有利な点を有している。従来の手法は、訓練された分類器、例えば、サポートベクタマシンまたはＡｄａＢｏｏｓｔにより、どちらかと言えば人の手で設計された特徴量（勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ））、局所バイナリパターン（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ（ＬＢＰ））、ガボールフィルタ等）を用いている。（多層）ＣＮＮの場合、特徴量抽出は、アルゴリズムを用いて機械（深層）学習により行われ、これにより、特徴量空間の次元および深度が大きく高められ、最終的には大幅に改善されたパフォーマンスが、例えば、高い検出率として得られる。
【0007】
困難な課題となるのは、特に、様々なそして重複してもいるキャプチャ領域と様々な解像度とを有するセンサデータを統合する際の処理である。
【0008】
特許文献５は、物体検出器のパラメータを学習する、ＣＮＮに基づく方法を記載している。カメラ画像において物体領域が推定され、様々な画像ミラミッドレベルからこの領域の抜粋が生成される。抜粋は、例えば、同一の高さを有しており、「ゼロパディング」（ゼロ領域）を用いて側方を埋められ、コンカチネート（英語で、ｃｏｎｃａｔｅｎａｔｅｄ（互いに結合））される。このコンカチネートの形式は、大まかに言えば、コラージュのようなものと説明することができ、同一の高さの抜粋が「互いに貼り合わされる」。従って、生成された合成画像は、その同じ原カメラ画像の領域の様々な解像度レベルから結合されたものである。ＣＮＮは、物体検出器が合成画像に基づいて物体を検出し、これにより、さらに遠隔の物体も検出可能であるように、訓練される。
ＣＮＮを用いて次々に個々の画像領域を別々に処理することに対して、そのような手法の有利な点は、合成画像について、重みを一度のみかければよいことである。
この場合の不利な点は、合成画像における画像領域を、隣同士、特に、互いに独立して、ＣＮＮにより、物体検出器を用いて考慮に入れることである。画像領域に不完全にしか含まれていない可能性がある、重複領域に存在する物体は、非自明な仕方で、１つのその同じ物体に属するものとして同定される必要がある。
ＣＮＮを用いて次々に個々の画像領域を別々に処理することに対して、そのような手法の有利な点は、合成画像について、重みを一度のみかければよいことである。
この場合の不利な点は、合成画像における画像領域を、隣同士、特に、互いに独立して、ＣＮＮにより、物体検出器を用いて考慮に入れることである。画像領域に不完全にしか含まれていない可能性がある、重複領域に存在する物体は、非自明な仕方で、１つのその同じ物体に属するものとして同定される必要がある。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】独国特許出願公開第１０２０１５２０８８８９号明細書
【特許文献2】米国特許第１０７４２９０７号明細書
【特許文献3】米国特許第１０７５７３３０号明細書
【特許文献4】米国特許第１０７９８３１９号明細書
【特許文献5】欧州特許出願公開第３６８６７９８号明細書
【特許文献6】独国特許出願公開第１０２０２０２０４８４０号明細書
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明の課題は、様々な部分的に重複するキャプチャ領域から入力画像データを効率的に融合し、その後の処理のために供給する、人工ニューラルネットワークの文脈における改善された画像データ融合方法を提供することである。
【課題を解決するための手段】
【0011】
本発明の１つの態様は、
ａ）大きい画像領域をキャプチャし、
ｂ）関連する画像領域、例えば、画像中央の遠隔物体を高解像度でキャプチャする、
少なくとも１つの画像キャプチャセンサの入力データに基づく物体検出の効率的な実装に関する。
ａ）大きい画像領域をキャプチャし、
ｂ）関連する画像領域、例えば、画像中央の遠隔物体を高解像度でキャプチャする、
少なくとも１つの画像キャプチャセンサの入力データに基づく物体検出の効率的な実装に関する。
【0012】
本解決手段の説明にあたり、以下の検討事項が前置きされる。
【0013】
ニューラルネットワークにおいて画像ピラミッドの複数のレベルを用いて、低解像度を有する概要画像と高解像度を有する中央抜粋画像を、２つの互いに独立した推論（２つの各々そのために訓練されたＣＮＮ）により、別々に処理することができる。
このことは、大きな計算コスト／ランタイムコストを意味する。とりわけ、様々な画像について、訓練されたＣＮＮの重みを新規にかける必要がある。様々なピラミッドレベルの特徴量は、組み合わせて考慮されるものではない。
このことは、大きな計算コスト／ランタイムコストを意味する。とりわけ、様々な画像について、訓練されたＣＮＮの重みを新規にかける必要がある。様々なピラミッドレベルの特徴量は、組み合わせて考慮されるものではない。
【0014】
代替的に、様々な解像度レベルから結合された画像について、例えば、特許文献５の処理を行うことができる。従って、様々な部分画像／解像度レベルからの結合画像を生成し、これについて推論または訓練されたＣＮＮを実行する。この方が多少なりとも効率的であるのは、全ての画像について各重みを一度のみかければよく、各部分画像について各重みを新規にかけるのではないからである。しかし、それ以外の不利な点、例えば、様々な解像度レベルの特徴量の組み合わせの欠如は、残ったままである。
【0015】
少なくとも１つの画像キャプチャセンサの画像データを融合する方法は：
ａ）入力画像データを受信するステップであって、入力画像データは、
－シーンの第１領域を含むまたは含有する第１画像（または第１表現）および
－シーンの第２領域を含むまたは含有する第２画像を含み、第１および第２領域は、互いに重複する一方で、同一ではない、ステップと；
ｂ）第１画像に基づいて第１高さおよび幅を有する第１特徴マップを決定するステップ、および、第２画像に基づいて第２高さおよび幅を有する第２特徴マップを決定するステップと；
ｃ）第１特徴マップの第１畳み込みを用いて第１出力特徴マップを演算するステップ、および、第２特徴マップの第２畳み込みを用いて第２出力特徴マップを演算するステップと；
ｄ）第１および第２出力特徴マップを要素ごとに加算することによる融合特徴マップを演算するステップであって、重複領域の（第１および第２出力特徴マップの）要素が加算されるように、第１および第２領域の位置が互いに考慮される、ステップと；
ｅ）融合特徴マップを出力するステップとを備える。
ａ）入力画像データを受信するステップであって、入力画像データは、
－シーンの第１領域を含むまたは含有する第１画像（または第１表現）および
－シーンの第２領域を含むまたは含有する第２画像を含み、第１および第２領域は、互いに重複する一方で、同一ではない、ステップと；
ｂ）第１画像に基づいて第１高さおよび幅を有する第１特徴マップを決定するステップ、および、第２画像に基づいて第２高さおよび幅を有する第２特徴マップを決定するステップと；
ｃ）第１特徴マップの第１畳み込みを用いて第１出力特徴マップを演算するステップ、および、第２特徴マップの第２畳み込みを用いて第２出力特徴マップを演算するステップと；
ｄ）第１および第２出力特徴マップを要素ごとに加算することによる融合特徴マップを演算するステップであって、重複領域の（第１および第２出力特徴マップの）要素が加算されるように、第１および第２領域の位置が互いに考慮される、ステップと；
ｅ）融合特徴マップを出力するステップとを備える。
【0016】
画像は、例えば、画像キャプチャセンサによりキャプチャされる、シーンの２次元表現であってよい。
点群または深度マップは、例えば、画像キャプチャセンサとしてライダセンサまたはステレオカメラがキャプチャすることができる、３次元画像または表現の一例である。３次元表現は、多くの目的のために、例えば、平面断面または投影により、２次元画像に変換されてよい。
特徴マップは、画像または他の（既存の）特徴マップから、コンボリューション（畳み込み）またはコンボリューション層／畳み込み層／畳み込みカーネルにより決定されてよい。
特徴マップの高さおよび幅は、基礎となる画像（または入力される特徴マップ）の高さおよび幅と演算に関連する。
点群または深度マップは、例えば、画像キャプチャセンサとしてライダセンサまたはステレオカメラがキャプチャすることができる、３次元画像または表現の一例である。３次元表現は、多くの目的のために、例えば、平面断面または投影により、２次元画像に変換されてよい。
特徴マップは、画像または他の（既存の）特徴マップから、コンボリューション（畳み込み）またはコンボリューション層／畳み込み層／畳み込みカーネルにより決定されてよい。
特徴マップの高さおよび幅は、基礎となる画像（または入力される特徴マップ）の高さおよび幅と演算に関連する。
【0017】
第１および第２領域の互いの位置は、融合のために第１および第２出力特徴マップの適切な要素を加算するために、特に、考慮される。重複領域の位置は、例えば、融合特徴マップ内の垂直および水平方向の第２出力特徴マップの位置を示す、始点値（ｘｓ，ｙｓ）により定義されてよい。重複領域においては、第１および第２出力特徴マップの要素が加算される。重複領域外においては、この領域をカバーする出力特徴マップの要素を融合特徴マップに移すことができる。両出力特徴マップの何れも融合特徴マップの領域をカバーしていない場合、この領域は０で埋められてよい。
【0018】
本方法は、例えば、人工ニューラルネットワーク、好ましくは、畳み込みニューラルネットワーク（ＣＮＮ）の文脈において実行することができる。ＡＤＡＳ／ＡＤ機能には、多くの場合（とりわけ、知覚側において）、機械学習方法を用いて画像入力データをＡＤＡＳ／ＡＤ機能に関連する出力データに割り当てるように訓練される、少なくとも１つの人工ニューラルネットワークまたはＣＮＮが用いられる。ＡＤＡＳは先進運転支援システム、ＡＤは自動運転を示す（英語では、それぞれＡｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ、Ａｕｔｏｍａｔｅｄ Ｄｒｉｖｉｎｇ）。訓練された人工ニューラルネットワークは、車両においてＡＤＡＳ／ＡＤ制御装置のプロセッサに実装することができる。プロセッサは、訓練された人工ニューラルネットワーク（推論）により画像データを評価するように構成されていてよい。プロセッサは、人工ニューラルネットワーク用のハードウェアアクセラレータを備えてよい。
【0019】
プロセッサまたは推論は、例えば、１つまたは複数の画像キャプチャセンサの入力画像データから、ＡＤＡＳ／ＡＤ関連情報を検出または詳細に決定するように構成することができる。関連情報は、例えば、ＡＤＡＳ／ＡＤシステムまたはＡＤＡＳ／ＡＤ制御装置用の物体および／または周辺環境情報である。ＡＤＡＳ／ＡＤに関連する物体および／または周辺環境情報は、ＡＤＡＳ／ＡＤシステムにとって重要な入力変数を表す、例えば、対象物、目印、道路標識、交通参加者、物体との距離、物体の相対速度等である。関連情報を検出するための機能の一例は、車線検出、物体検出、深度認識（画像コンポーネントの３次元推定）、セマンティック検出、交通標識検出等である。
【0020】
１つの実施形態において、第１および第２画像が、同じ画像キャプチャセンサによりキャプチャされたものである。これは、本方法の上流のステップであってもよい。特に、第１および第２画像は、画像キャプチャセンサにより、同時または即座に連続して、キャプチャされたものであってよい。
【0021】
１つの実施形態において、（唯一の）画像キャプチャセンサが、単眼カメラである。第１表現（または第１画像）は、広角でキャプチャした、低減解像度を有する概要画像に対応してよく、第２表現（または第２画像）は、高解像度を有する部分画像に対応してよい。
【0022】
１つの実施形態例によると、第１および第２画像が、画像キャプチャセンサによりキャプチャされた（原）画像の異なる画像ピラミッドレベルに対応する。
【0023】
入力画像データは、解像度に応じて、複数のチャネルに符号化されたものであるか、または符号化されてよい。例えば、各チャネルは同じ高さおよび幅を有する。この場合、各チャネル内においては、含まれているピクセルの空間関係は維持されてよい。この点に関する詳細については特許文献６が参照され、その内容がその全体において本出願に組み込まれる。
【0024】
１つの実施形態において、第１領域がシーンの概要領域であり、第２領域がシーンの概要領域の部分領域である。第１画像に含まれている概要領域は、全体領域、つまり、画像キャプチャセンサの最大キャプチャ領域に対応してよい。第２画像に含まれているシーンの部分領域は、第１画像にも含まれている関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ（ＲＯＩ））に対応してよい。
【0025】
１つの実施形態例によると、第１画像が第１解像度を有し、第２画像が第２解像度を有する。例えば、第２解像度が第１解像度よりも高い。第２画像の解像度は画像キャプチャセンサの最大解像度に対応してよい。例えば、高い方の解像度は、第２画像の内容である、部分領域または関心領域に関するさらなる詳細を提供することができる。
画像の解像度は、正確度またはデータ深度、例えば、画像キャプチャセンサの２つの隣接する画素（ピクセル）間の最小距離に対応してよい。
画像の解像度は、正確度またはデータ深度、例えば、画像キャプチャセンサの２つの隣接する画素（ピクセル）間の最小距離に対応してよい。
【0026】
１つの実施形態において、画像キャプチャセンサとして、重複するキャプチャ領域を有する２つの単眼カメラが用いられる。２つの単眼カメラはステレオカメラのコンポーネントであってよい。２つの単眼カメラは異なる開口角および／または分解能を有してよい（「ハイブリッドステレオカメラ」）。両単眼カメラは、互いに独立して車両に取り付けられているサテライトカメラであってよい。
【0027】
１つの実施形態例によると、画像キャプチャセンサとして、全方位カメラシステムの複数のカメラが用いられる。例えば、魚眼レンズ（キャプチャ角度が、例えば、１８０°以上）を有する４つの単眼カメラは、車両の周辺環境を全体的にキャプチャすることができる。各２つの隣接するカメラは、約９０°の重複領域を有する。この場合、４つの個別の画像（４つの表現）から、車両の３６０°周辺環境についての融合特徴マップを作成することができる。
【0028】
１つの実施形態において、第１および第２出力特徴マップが、重複領域において同じ高さおよび幅を有する。言い換えれば、これら出力特徴マップの重複領域における隣接する要素は、現実空間において互いに等距離である。これは、従って、既に第１および第２特徴マップが重複領域において同じ高さおよび幅を有していることから、考えられる事例である。例えば、第１および第２領域または第１および第２画像は（もまた）同じ高さおよび幅を有する。
【0029】
１つの実施形態例によると、融合特徴マップの高さおよび幅が、第１および第２出力特徴マップを囲繞する（丁度包含する）矩形により決定される。
【0030】
１つの実施形態において、融合特徴マップの高さおよび幅が、第１および第２出力特徴マップを囲繞する（丁度包含する）矩形により決定された後、第１および／または第２出力特徴マップは、第１および／または第２出力特徴マップが融合特徴マップの幅および高さに到達するように、第１および第２出力特徴マップの位置が互いに対して維持されているように、拡大または調整することができる。両方の調整された出力特徴マップにおいて、重複領域は同じ位置である。拡大により新規に付加された、各々の（調整された）出力特徴マップの領域は０で埋められる（ゼロパディング）。両方の調整された出力特徴マップは、その後、要素ごとに加算することができる。
【0031】
１つの実施形態例によると、幅および高さが第１および第２出力特徴マップの高さおよび幅と重複領域の位置とから得られる、テンプレート（ひな形）出力特徴マップが作成される（直前の段落、囲繞矩形を参照）。テンプレート出力特徴マップは０で埋められる。
調整された第１出力特徴マップ用には、第１出力特徴マップがカバーしている領域における第１出力特徴マップからの要素は引き継がれる。また、テンプレート出力特徴マップ内の垂直方向および水平方向における第１出力特徴マップの位置を示す始点値を用いることができる。これに対応して、調整された第２出力特徴マップが構成される。また、両方の調整された出力特徴マップは、その後、要素ごとに加算することができる。
調整された第１出力特徴マップ用には、第１出力特徴マップがカバーしている領域における第１出力特徴マップからの要素は引き継がれる。また、テンプレート出力特徴マップ内の垂直方向および水平方向における第１出力特徴マップの位置を示す始点値を用いることができる。これに対応して、調整された第２出力特徴マップが構成される。また、両方の調整された出力特徴マップは、その後、要素ごとに加算することができる。
【0032】
第２出力特徴マップが重複領域全体を含んでいる（つまり、重複領域を含む第１出力特徴マップの部分領域そのものを含んでいる）という特別な場合に関する１つの実施形態において、第２出力特徴マップの異なる高さおよび幅の調整を省略することができる。この場合、第１出力特徴マップについても調整は行われないのは、融合特徴マップは第１出力特徴マップと同じ高さおよび幅を有しているからである。この場合、第１出力特徴マップとの第２出力特徴マップの要素ごとの加算は、好適な始点値に基づいて、重複領域においてのみ行われてよい。始点値とは、第１出力特徴マップ内において、どこを基点として（つまり、重複領域において）第１出力特徴マップの要素に第２出力特徴マップの要素を加算して、融合特徴マップを生成するかを予め定めるものである。
【0033】
１つの実施形態において、特徴マップが、（基礎となる）画像の解像度に依存する深度を有する。高解像度画像（例えば、抜粋画像）から、高深度の特徴マップが得られ、例えば、特徴マップは、より多くのチャネルを含む。
例えば、プロセッサは、複数の画像チャネルデータ「パケット」からなる積み重ね（英語では、ｓｔａｃｋ（スタック））をクロック周期または計算周期（英語では、ｃｌｏｃｋ ｃｙｃｌｅ（クロックサイクル））中にさらに処理できる、人工ニューラルネットワーク用のハードウェアアクセラレータを備えてよい。画像データまたは特徴（マップ）の積み重ねは、積み重ねられた画像チャネルデータパケットとして、ハードウェアアクセラレータにおいて供給されてよい。
例えば、プロセッサは、複数の画像チャネルデータ「パケット」からなる積み重ね（英語では、ｓｔａｃｋ（スタック））をクロック周期または計算周期（英語では、ｃｌｏｃｋ ｃｙｃｌｅ（クロックサイクル））中にさらに処理できる、人工ニューラルネットワーク用のハードウェアアクセラレータを備えてよい。画像データまたは特徴（マップ）の積み重ねは、積み重ねられた画像チャネルデータパケットとして、ハードウェアアクセラレータにおいて供給されてよい。
【0034】
１つの実施形態例によると、ＡＤＡＳ／ＡＤに関連する特徴量の検出が、融合特徴マップに基づいて行われる。
【0035】
１つの実施形態において、人工ニューラルネットワークまたはＣＮＮ用のハードウェアアクセラレータにおいて本方法が実装される。
【0036】
１つの実施形態例によると、融合特徴マップが、ＡＤＡＳ／ＡＤ関連情報を決定するように構成されているか、または訓練されている人工ニューラルネットワークまたはＣＮＮのエンコーダにおいて生成される。
【0037】
１つの実施形態において、ＡＤＡＳ／ＡＤ関連情報を決定するように構成されているか、または訓練されている人工ニューラルネットワークまたはＣＮＮが、様々なＡＤＡＳ／ＡＤ検出機能用の複数のデコーダを備える。
【0038】
本発明のさらなる態様は、少なくとも１つの画像キャプチャセンサの画像データを融合するシステムまたは装置に関する。本装置は、入力インタフェースとデータ処理ユニットと出力インタフェースとを備える。
入力インタフェースが、入力画像データを受信するように構成されている。入力画像データは、第１および第２画像を含む。第１画像は、シーンの第１領域を含むまたは含有する。
第２画像は、シーンの第２領域を含有する。第１および第２領域は、互いに重複する。第１および第２領域は、同一ではない。
データ処理ユニットが、以下のステップｂ）～ｄ）を実行するように構成されている。
ｂ）第１画像に基づいて第１高さおよび幅を有する第１特徴マップを決定し、第２画像に基づいて第２高さおよび幅を有する第２特徴マップを決定するステップ。
ｃ）第１特徴マップの第１畳み込みを用いて第１出力特徴マップを演算し、第２特徴マップの第２畳み込みを用いて第２出力特徴マップを演算するステップ。
ｄ）第１および第２出力特徴マップを要素ごとに加算することによる融合特徴マップを演算するステップ。重複領域の（第１および第２出力特徴マップの）要素が加算されるように、要素ごとの加算の際に第１および第２領域の位置が互いに考慮される。
出力インタフェースが、融合特徴マップを出力するように構成されている。
出力は、下流のＡＤＡＳ／ＡＤシステムに対して行われてよく、「大きい」ＡＤＡＳ／ＡＤ用のＣＮＮまたはさらなる人工ニューラルネットワークの下流の層に対して行われてもよい。
入力インタフェースが、入力画像データを受信するように構成されている。入力画像データは、第１および第２画像を含む。第１画像は、シーンの第１領域を含むまたは含有する。
第２画像は、シーンの第２領域を含有する。第１および第２領域は、互いに重複する。第１および第２領域は、同一ではない。
データ処理ユニットが、以下のステップｂ）～ｄ）を実行するように構成されている。
ｂ）第１画像に基づいて第１高さおよび幅を有する第１特徴マップを決定し、第２画像に基づいて第２高さおよび幅を有する第２特徴マップを決定するステップ。
ｃ）第１特徴マップの第１畳み込みを用いて第１出力特徴マップを演算し、第２特徴マップの第２畳み込みを用いて第２出力特徴マップを演算するステップ。
ｄ）第１および第２出力特徴マップを要素ごとに加算することによる融合特徴マップを演算するステップ。重複領域の（第１および第２出力特徴マップの）要素が加算されるように、要素ごとの加算の際に第１および第２領域の位置が互いに考慮される。
出力インタフェースが、融合特徴マップを出力するように構成されている。
出力は、下流のＡＤＡＳ／ＡＤシステムに対して行われてよく、「大きい」ＡＤＡＳ／ＡＤ用のＣＮＮまたはさらなる人工ニューラルネットワークの下流の層に対して行われてもよい。
【0039】
１つの実施形態例によると、システムはＣＮＮハードウェアアクセラレータを備える。入力インタフェース、データ処理ユニットおよび出力インタフェースは、ＣＮＮハードウェアアクセラレータにおいて実装されている。
【0040】
１つの実施形態において、システムは、エンコーダを有する畳み込みニューラルネットワークを備える。入力インタフェース、データ処理ユニットおよび出力インタフェースは、エンコーダが融合特徴マップを生成するように構成されているように、エンコーダにおいて実装されている。
【0041】
１つの実施形態例によると、畳み込みニューラルネットワークは複数のデコーダを備える。デコーダが、様々なＡＤＡＳ／ＡＤ検出機能を少なくとも融合特徴マップに基づいて実装するように構成されている。従って、ＣＮＮの複数のデコーダは、共通のエンコーダにより符号化された入力画像データを用いることができる。様々なＡＤＡＳ／ＡＤ検出機能とは、例えば、画像または画像データのセマンティックセグメンテーション、空きスペース検出、車線検出、物体検出または物体分類である。
【0042】
１つの実施形態において、システムは、ＡＤＡＳ／ＡＤ制御装置を備え、ＡＤＡＳ／ＡＤ制御装置は、少なくともＡＤＡＳ／ＡＤ検出機能の結果に基づいて、ＡＤＡＳ／ＡＤ検出機能を実装するように構成されている。
【0043】
システムは、少なくとも１つの画像キャプチャセンサを備えてよい。１つまたは複数の画像キャプチャセンサとして、例えば、特に、広角キャプチャ領域（例えば、１００°以上）と大きい最高解像度（例えば、５メガピクセル以上）を有する、単眼カメラ、ステレオカメラ、サテライトカメラ、全方位システムの個別のカメラ、ライダセンサ、レーザスキャナまたはその他の３次元カメラがその役割を果たす。
【0044】
本発明のさらなる態様は、少なくとも１つの画像キャプチャセンサと、これに対応する画像データを融合するシステムとを備える車両に関する。
【0045】
システムまたはデータ処理ユニットは、特に、マイクロコントローラまたはマイクロプロセッサ、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、テンソルプロセッシングユニット（ＴＰＵ：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ニューラル／ＡＩプロセッシングユニット（ＮＰＵ：ｎｅｕｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、デジタルシグナルプロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等と、それに対応する方法ステップを実行するためのソフトウェアを備えてよい。
【0046】
１つの実施形態によると、システムまたはデータ処理ユニットは、ハードウェアに基づく画像データ前処理段（例えば、イメージシグナルプロセッサ（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ））に実装される。
【0047】
また、本発明は、システムのプロセッサが画像データ融合のプログラムを実行するように構成されている場合に、それに対応する入力画像データを融合する方法を実行するようにプロセッサに命令する、コンピュータプログラム素子またはプログラム製品に関する。
【0048】
また、本発明は、そのようなプログラム素子が記憶されているコンピュータ可読記憶媒体に関する。
【0049】
従って、本発明は、デジタル電子回路、コンピュータハードウェア、ファームウェアまたはソフトウェアに実装されてよい。
【0050】
以下、本発明の文脈において実施形態例と図面について説明する。
【図面の簡単な説明】
【0051】
【発明を実施するための形態】
【0052】
図１は、入力インタフェース１２と、融合モジュール１６を有するデータ処理ユニット１４と、融合データをさらなるユニット２０に出力する出力インタフェース１８とを備える、少なくとも１つのセンサ１のデータを融合するシステム１０を概略的に示す。
画像キャプチャセンサ１の一例は、広角光学素子と高解像度画像キャプチャセンサ、例えば、ＣＣＤまたはＣＭＯＳセンサとを有する単眼カメラセンサである。
多くの場合、画像データまたは画像キャプチャセンサの解像度および／またはキャプチャ領域は異なる。融合には、１つまたは複数の画像キャプチャセンサの画像データから特徴量を融合することを可能にする画像データ前処理が有用である。
以下においてより詳細に説明する実施形態例は、カメラセンサの第１画像とそのカメラセンサの第２画像の処理についてであり、第２画像は、第１画像の部分領域（のみ）を有し、第１画像の解像度と比較して高い解像度を有する。
カメラセンサの画像データに基づいて、複数のＡＤＡＳ機能またはＡＤ機能、例えば、車線検出、車線維持支援、交通標識認識、速度制限アシスト、交通参加者検出、衝突警告、緊急制動アシスト、車間距離制御、工事現場アシスト、ハイウェイパイロット、クルージングショーファー機能および／またはオートパイロットを、ＡＤＡＳ／ＡＤ制御装置により、例えば、さらなるユニット２０に供給することができる。
全体システム１０，２０は人工ニューラルネットワーク、例えば、ＣＮＮを備えてよい。人工ニューラルネットワークが画像データを、例えば、車両においてリアルタイムで処理できるように、全体システム１０，２０は人工ニューラルネットワーク用のハードウェアアクセラレータを備えてよい。そのようなハードウェアコンポーネントは、ニューラルネットワークがリアルタイムで動作できるように、基本的にソフトウェア実装のニューラルネットワークを専用的に加速することができる。
画像キャプチャセンサ１の一例は、広角光学素子と高解像度画像キャプチャセンサ、例えば、ＣＣＤまたはＣＭＯＳセンサとを有する単眼カメラセンサである。
多くの場合、画像データまたは画像キャプチャセンサの解像度および／またはキャプチャ領域は異なる。融合には、１つまたは複数の画像キャプチャセンサの画像データから特徴量を融合することを可能にする画像データ前処理が有用である。
以下においてより詳細に説明する実施形態例は、カメラセンサの第１画像とそのカメラセンサの第２画像の処理についてであり、第２画像は、第１画像の部分領域（のみ）を有し、第１画像の解像度と比較して高い解像度を有する。
カメラセンサの画像データに基づいて、複数のＡＤＡＳ機能またはＡＤ機能、例えば、車線検出、車線維持支援、交通標識認識、速度制限アシスト、交通参加者検出、衝突警告、緊急制動アシスト、車間距離制御、工事現場アシスト、ハイウェイパイロット、クルージングショーファー機能および／またはオートパイロットを、ＡＤＡＳ／ＡＤ制御装置により、例えば、さらなるユニット２０に供給することができる。
全体システム１０，２０は人工ニューラルネットワーク、例えば、ＣＮＮを備えてよい。人工ニューラルネットワークが画像データを、例えば、車両においてリアルタイムで処理できるように、全体システム１０，２０は人工ニューラルネットワーク用のハードウェアアクセラレータを備えてよい。そのようなハードウェアコンポーネントは、ニューラルネットワークがリアルタイムで動作できるように、基本的にソフトウェア実装のニューラルネットワークを専用的に加速することができる。
【0053】
データ処理ユニット１４は、画像データを「積み重ねた」形式で処理することができ、つまり、計算周期（クロック周期）内で複数の入力チャネルの積み重ね（スタック）を読み込むことができ、処理することができる。具体例において、データ処理ユニット１４は、５７６ｘ３２０ピクセルの解像度を有する４つの画像チャネルを読み込むことができる。少なくとも２つの画像チャネルを融合することは、チャネルを個別にそれに対応するＣＮＮにより処理する必要がなく、既に融合したチャネル情報または特徴マップをＣＮＮにより処理することができるという、その後のＣＮＮ検出にとって、有利な点を提供することになる。そのような融合は、融合モジュール１６により行うことができる。融合の詳細については、下記の図面を参照して以下においてさらに詳しく説明する。
【0054】
融合は、ＣＮＮのエンコーダにおいて実行することができる。融合したデータは、その後、ＣＮＮの１つまたは複数のデコーダにより処理することができ、これにより、検出または他のＡＤＡＳ／ＡＤ関連情報が得られる。そのような構成の場合、図１において、エンコーダはブロック１０により表すことができ、１つまたは複数のデコーダはブロック２０により表すことができる。ＣＮＮはブロック１０および２０を備えることになり、従って、「全体システム」という表記となる。
【0055】
図２は、画像キャプチャセンサ１または２つの異なる画像キャプチャセンサの第１キャプチャ領域１０１および第２キャプチャ領域１０２の範囲と位置であって、シーンの第１および第２画像を決定することができる、範囲と位置を概略的に示す。第１画像キャプチャ領域１０１から、概要画像または全体画像を、第１画像としてキャプチャすることができ、第２画像キャプチャ領域１０２、例えば、中央画像領域から、第１画像キャプチャ領域１０１の抜粋を含む第２画像をキャプチャすることができる。図３～５は、画像キャプチャセンサ（またはカメラセンサ）を用いて画像をキャプチャすることができる、一例を示す。
【0056】
図３は、高解像度を有する概要画像または全体画像３００を概略的に示す。家屋３０６の傍を通る道路３０５または車道における、近傍およびそれよりも遠隔の交通参加者（３０４および３０３）を含むシーンがキャプチャされている。カメラセンサは、最大の幅、高さおよび解像度（またはピクセル数）を有するそのような全体画像をキャプチャすることができる。しかし、この大きいデータ量（例えば、５～１０メガピクセルの範囲）を処理することは、ＡＤシステムまたはＡＤＡＳシステムにおいてはリアルタイムでは一般的には不可能であるため、低減された画像データをさらに処理することになる。
【0057】
図４は、低減された解像度を有する全体画像または概要画像４０１を概略的に示す。解像度が半減すると、ピクセル数は４分の１に低下する。低減解像度を有する概要画像４０１は、以下において、ｗｆｏｖ（広視野（ｗｉｄｅ ｆｉｅｌｄ ｏｆ ｖｉｅｗ））画像と称される。近傍交通参加者４０４（車両）は、低減解像度の場合でも、広視野画像から検出することができる。その一方、遠隔交通参加者４０３（歩行者）は、解像度が限定されているため、この広視野画像からは検出不可能である。
【0058】
図５は、高（または最高）解像度を有する中央抜粋画像５０２を概略的に示す。高解像度を有する抜粋画像５０２は、以下において、中央画像と称される。
中央画像により、高解像度に基づいて、遠隔歩行者５０３の検出が可能になる。その一方、近傍に位置する車両５０４は、中央画像５０２のキャプチャ領域には含まれていないか、ほぼ（つまり、僅かに一部のみしか）含まれていない。
中央画像により、高解像度に基づいて、遠隔歩行者５０３の検出が可能になる。その一方、近傍に位置する車両５０４は、中央画像５０２のキャプチャ領域には含まれていないか、ほぼ（つまり、僅かに一部のみしか）含まれていない。
【0059】
図６は、第１（概要）キャプチャ領域６０１および中央キャプチャ領域６０２の代替的な配置を示す。この中央キャプチャ領域６０２は、「下方」に位置しており、つまり、垂直方向において全体キャプチャ領域６０１と同じ高さを始点としている。始点値（ｘ０，ｙ０）により、全体キャプチャ領域または概要キャプチャ領域内の水平方向および垂直方向における中央キャプチャ領域６０２の位置を示すことができる。
【0060】
図７は、対応するデジタル画像のグレースケール画像としての見え方の一例を示す。下側には第１画像として、車両のフロントカメラがキャプチャした広視野画像７０１を見ることができる。車両は道路交差点に向かって走行している。走行方向に対して垂直に、大きい、複数の車線を有している可能性がある道路が延在している。大きい道路と並行して、自転車専用道路が延在している。交通信号機は、交通参加者の優先通行権を制御している。建物および木々は、道路およびを歩道を境界画定している。中央抜粋画像７０２が広視野画像７０１において退色で示されているのは、この抜粋画像が、高解像度を有する第２画像（中央画像）７０２０として、第１画像７０１のこの抜粋画像７０２にまさに一致することを説明するためである。第２画像７０２０は上側に示されており、ここでは、人間の観察者にとって、交通信号機が自車両に対して赤信号を示していること、バスが交差点を丁度左から右へと横断したこと、およびキャプチャしたシーンのさらなる詳細な点について認識することはより簡単である。第２画像７０２０の高解像度に基づいて、さらに遠隔の物体または交通参加者も、画像処理によりロバストに検出することができる。画像ピラミッドは、例えば、第２（中央）画像の最高レベルにおいて２３０４ｘ１２８０ピクセル、第２レベルにおいて１１５２ｘ６４０ピクセル、第３レベルにおいて５７６ｘ３２０、第４レベルにおいて２８８ｘ１６０、第５レベルにおいて１４４ｘ８０ピクセル等を有してよい。第１（広視野）画像の画像ピラミッドは、同じ解像度の場合（つまり、中央画像と同じレベルの場合）には、当然のことながら、より多くのピクセルを有する。
【0061】
広視野画像および中央画像は、一般的には、様々なピラミッドレベルから導出されることから、中央画像は、解像度低減演算により、広視野画像の解像度に適合される。その際、中央画像の特徴マップにおいては、一般的に、チャネル数が増加（ピクセル当たりの情報量が増加）する。解像度低減演算は、例えば、ストライドまたはプーリングである。ストライドの場合、各２番目（または４番目またはｎ番目）のピクセルのみが読み出される。プーリングの場合、複数のピクセルが１つのピクセルに要約され、例えば、最大値プーリングの場合、（例えば、２つのピクセルまたは２ｘ２ピクセルの）ピクセルプールの最大値が引き継がれる。
【0062】
レベル５の概要画像が４００ｘ１５０ピクセルを有し、レベル５の中央画像が概要画像の左縁から水平方向にｘ０＝１３３ピクセルに位置し、概要画像の下縁から垂直方向にｙ０＝８０ピクセルまで延在していると仮定する。各ピクセルが出力特徴マップの１つの要素に対応すると仮定する。その場合、第２出力特徴マップを調整するために、左側に行ごとに１３３個の０（各ピクセルに０を１つ）を、上側に列ごとに７０個の０を、右側にも行ごとに１３３個の０を付加する必要があり、これにより、調整された第２出力特徴マップのチャネルに、要素ごとに、第１出力特徴マップのチャネルを加算することができる。始点値ｘ０，ｙ０は、概要領域の（第１）画像内の部分領域の（第２）画像の位置から決定される。始点値ｘ０，ｙ０は、水平方向および垂直方向のシフトまたは延在を示す。
【0063】
図８は、そのような画像（例えば、図７の第１または広視野画像７０１および第２または中央画像７０２０）の基本的な融合の仕方の方法を概略的に示す。
広視野画像は、入力画像データとして、人工ニューラルネットワーク（例えば、ＣＮＮ）の第１畳み込み層ｃ１に送られる。
中央画像は、入力画像データとして、ＣＮＮの第２畳み込み層ｃ２に送られる。各畳み込み層は活性化関数と任意でプーリングとを有する。
中央画像は、高さおよび幅が広視野画像の高さおよび幅と一致するように、「大きい」ゼロパディングＺＰ領域を用いて埋められ、これにより、空間関係が維持される。図７に基づくならば、中央画像７０２０用の中央抜粋画像７０２以外の領域７０１（つまり、図７下側における広視野画像７０１からの、非退色で示されている領域、従って、濃色で示されている領域）を、０で埋めることのように考えることができる。中央画像７０２０の高解像度から、第２畳み込み層ｃ２が生成する（第２）特徴マップの高深度が得られる。第２特徴マップの高さおよび幅は、広視野画像７０１の中央抜粋画像７０２の高さおよび幅に対応する。ここでは、第１および第２特徴マップの相異なる高さおよび幅の調整は、第２特徴マップのゼロパディングＺＰにより行われる。
広視野画像および中央画像の特徴量は、コンカチネートｃｃされる。
コンカチネートされた特徴量は、融合特徴マップを生成する第３畳み込み層ｃ３に送られる。
第２（ゼロパディングＺＰを用いて埋められた）特徴マップとの畳み込みの際には、０との乗算が多数必要である。畳み込み層ｃ３におけるゼロパディングＺＰ領域の「０」乗算のこれらの計算は、不要なものであり、従って、有利ではない。その一方、これらの領域を切り捨てることは不可能であるのは、例えば、公知のＣＮＮアクセラレータは、畳み込みカーネルの適用領域を空間的に制御することを許可しないからである。
しかしながら、有利な点は、両特徴マップの深度が異なっていてよいことである。コンカチネーションは、両特徴マップを「深く互いに」結合するものである。このことは、中央画像が広視野画像よりも高い解像度を有している場合に当てはまり、従って、中央画像から、より多くの情報を抽出することができ、特に有利である。この点に関して、この方法は比較的フレキシブルである。
広視野画像は、入力画像データとして、人工ニューラルネットワーク（例えば、ＣＮＮ）の第１畳み込み層ｃ１に送られる。
中央画像は、入力画像データとして、ＣＮＮの第２畳み込み層ｃ２に送られる。各畳み込み層は活性化関数と任意でプーリングとを有する。
中央画像は、高さおよび幅が広視野画像の高さおよび幅と一致するように、「大きい」ゼロパディングＺＰ領域を用いて埋められ、これにより、空間関係が維持される。図７に基づくならば、中央画像７０２０用の中央抜粋画像７０２以外の領域７０１（つまり、図７下側における広視野画像７０１からの、非退色で示されている領域、従って、濃色で示されている領域）を、０で埋めることのように考えることができる。中央画像７０２０の高解像度から、第２畳み込み層ｃ２が生成する（第２）特徴マップの高深度が得られる。第２特徴マップの高さおよび幅は、広視野画像７０１の中央抜粋画像７０２の高さおよび幅に対応する。ここでは、第１および第２特徴マップの相異なる高さおよび幅の調整は、第２特徴マップのゼロパディングＺＰにより行われる。
広視野画像および中央画像の特徴量は、コンカチネートｃｃされる。
コンカチネートされた特徴量は、融合特徴マップを生成する第３畳み込み層ｃ３に送られる。
第２（ゼロパディングＺＰを用いて埋められた）特徴マップとの畳み込みの際には、０との乗算が多数必要である。畳み込み層ｃ３におけるゼロパディングＺＰ領域の「０」乗算のこれらの計算は、不要なものであり、従って、有利ではない。その一方、これらの領域を切り捨てることは不可能であるのは、例えば、公知のＣＮＮアクセラレータは、畳み込みカーネルの適用領域を空間的に制御することを許可しないからである。
しかしながら、有利な点は、両特徴マップの深度が異なっていてよいことである。コンカチネーションは、両特徴マップを「深く互いに」結合するものである。このことは、中央画像が広視野画像よりも高い解像度を有している場合に当てはまり、従って、中央画像から、より多くの情報を抽出することができ、特に有利である。この点に関して、この方法は比較的フレキシブルである。
【0064】
図９は、代替的な第２方法を概略的に示し、広視野特徴量および中央特徴量は、（両特徴マップのコンカチネーションｃｃの代わりに）適切な要素ごとの加算（＋）を介して結合されるのであって、その前に中央画像については、第２畳み込み層ｃ２により特徴量抽出が行われた後に高さおよび幅がゼロパディングＺＰを用いて適合される。要素ごとに加算された特徴量を有する特徴マップは、第３畳み込み層ｃ３に送られる。
また、本方法においてはパフォーマンスの低下を受け入れることになるのは、加算により、異なるセマンティックな意味の特徴量が結合されるからである。また、テンソルが同じ次元を有する必要があることは有利ではない。
有利な点は、必要とされる計算時間は、（ゼロパディングＺＰ領域における）０の加算の方が、０の乗算よりも大幅に短いことである。
また、本方法においてはパフォーマンスの低下を受け入れることになるのは、加算により、異なるセマンティックな意味の特徴量が結合されるからである。また、テンソルが同じ次元を有する必要があることは有利ではない。
有利な点は、必要とされる計算時間は、（ゼロパディングＺＰ領域における）０の加算の方が、０の乗算よりも大幅に短いことである。
【0065】
上記両方法は、各々、有利な点と不利な点を提供する。望ましいのは、各々の有利な点を活用することであり、習熟された組み合わせにおいては可能である。
【0066】
図１０は、有利な方法を概略的に示す。
図８に示されている第１代替方法、つまり、コンカチネーションによる特徴量の結合に基づいて、以下において、必ずしも必要ではないゼロパディングＺＰ領域の０の乗算を時代遅れのものとする、ｃ３による数学的分解について説明する。
・畳み込み層Ｃｎは、Ｏｎ個の特徴量積み重ね（チャネル）を有する３次元テンソルＦＭｎを生成し、ｎは自然数である。
・従来の２次元畳み込みに関しては、以下が適用される。
図８に示されている第１代替方法、つまり、コンカチネーションによる特徴量の結合に基づいて、以下において、必ずしも必要ではないゼロパディングＺＰ領域の０の乗算を時代遅れのものとする、ｃ３による数学的分解について説明する。
・畳み込み層Ｃｎは、Ｏｎ個の特徴量積み重ね（チャネル）を有する３次元テンソルＦＭｎを生成し、ｎは自然数である。
・従来の２次元畳み込みに関しては、以下が適用される。
【0067】
【0068】
【数2】
【0069】
その後の畳み込み層を用いるコンカチネーション（図８参照）は、２つの削減された畳み込みＣ３ＡおよびＣ３Ｂへと変換され、その後、要素ごとの加算（＋）が行われる。
【0070】
【数3】
【0071】
【数4】
【0072】
両方の削減された畳み込みＣ３ＡおよびＣ３Ｂから生成された特徴マップの異なる高さおよび幅の適合は、要素ごとの加算（＋）の前に行われる。
畳み込みカーネルＣ３をＣ３ＡおよびＣ３Ｂへと分解することにより、畳み込みＣ３Ｂが高いランタイム効率で中央画像の削減された大きさに適用される。この要素ごとの加算（＋）は、現在使用可能な人工ニューラルネットワーク用アクセラレータにおいてランタイムニュートラルである。
畳み込みカーネルＣ３をＣ３ＡおよびＣ３Ｂへと分解することにより、畳み込みＣ３Ｂが高いランタイム効率で中央画像の削減された大きさに適用される。この要素ごとの加算（＋）は、現在使用可能な人工ニューラルネットワーク用アクセラレータにおいてランタイムニュートラルである。
【0073】
その後の加算を伴うゼロパディングＺＰは、適合された始点位置の中央特徴値を合計することと等しい。代替的に、中央特徴マップは、その前に０を用いて初期化されている大きい領域に記述されてよい。この場合、ゼロパディングＺＰは間接的に行われる。
【0074】
ｃ３後の活性化関数／プーリングは分解することができず、加算後に適用される。
特に、０からなる大きい埋め領域について、畳み込み演算は計算されない。
特に、０からなる大きい埋め領域について、畳み込み演算は計算されない。
【0075】
全体的に、この実施形態は特に有利な点として以下を提供する。
ａ）例えば、遠隔物体について、高解像度を有する関心領域を利用して、画像キャプチャセンサの大きい視野角／キャプチャ領域を用いて、最適な全体パフォーマンスのために、様々な（画像）ピラミッドレベルの統合された特徴量考慮。
ｂ）それと同時に、高いランタイム効率での実装。
ａ）例えば、遠隔物体について、高解像度を有する関心領域を利用して、画像キャプチャセンサの大きい視野角／キャプチャ領域を用いて、最適な全体パフォーマンスのために、様々な（画像）ピラミッドレベルの統合された特徴量考慮。
ｂ）それと同時に、高いランタイム効率での実装。
【0076】
図１１～１３において、本方法が再度別様に図示されている。
【0077】
図１１は、畳み込みカーネル１１１０により処理される２つの特徴マップ１１０１，１１０２のコンカチネーションを概略的に示しており、これにより、出力可能な融合特徴マップ１１３０が生じる。図８の同様の状況と異なる点は、ここでは、両特徴マップ１１０１，１１０２は同じ幅ｗおよび高さｈを有することである。両者は２つの矩形面として簡略的に図示されている。コンカチネーションは深度を互いに結合することを意味しており、第２特徴マップ１１０２が第１特徴マップ１１０１の空間的に背後に配置されているとして概略的に示されている。
ここで、畳み込みカーネル１１１０は、比較として、対置方向のハッチングにより示されており、これにより、第１部、つまり、薄いハッチングで示されている「第１畳み込み２次元カーネル」が第１特徴マップ１１０１をスキャンし、第２（濃いハッチングで示されている）畳み込み２次元カーネルが第２特徴マップ１１０２をスキャンすることが示される。
その結果が融合出力特徴マップ１１３０である。融合特徴マップ１１３０は、畳み込みの後、第１および第２特徴マップ１１０１，１１０２に関して分離することは最早できない。
ここで、畳み込みカーネル１１１０は、比較として、対置方向のハッチングにより示されており、これにより、第１部、つまり、薄いハッチングで示されている「第１畳み込み２次元カーネル」が第１特徴マップ１１０１をスキャンし、第２（濃いハッチングで示されている）畳み込み２次元カーネルが第２特徴マップ１１０２をスキャンすることが示される。
その結果が融合出力特徴マップ１１３０である。融合特徴マップ１１３０は、畳み込みの後、第１および第２特徴マップ１１０１，１１０２に関して分離することは最早できない。
【0078】
図１２は、同一の幅ｗ、高さｈおよび深度ｄの２つの特徴マップを融合する代替的なフローを概略的に示す。特徴マップの深度ｄは、チャネル数に対応してよく、または基礎となる画像の解像度に依存してよい。
ここでは、第１特徴マップ１２０１が第１畳み込み２次元カーネル１２１１によりスキャンされ、これにより、第１出力特徴マップ１２２１が生成され、第２特徴マップ１２０２が第２畳み込み２次元カーネル１２１２によりスキャンされ、これにより、第２出力特徴マップ１２２２が生成される。畳み込み２次元カーネル１２１１；１２１２は、例えば、３ｘ３ｘ「入力チャネル数」の次元を有してよく、出力層を生成する。出力特徴マップの深度は、畳み込み２次元カーネル１２１１；１２１２の数により定義することができる。
融合特徴マップ１２３０は、両出力特徴マップ１２２１，１２２２から要素ごとの加算（＋）により演算することができる。
ここでのフロー、つまり、特徴マップごとに別個の２つの畳み込みを実行し、その後これらを単純に加算することは、２つの特徴マップがコンカチネートされ、その後畳み込みが実行される図１１のフローと等しい。
ここでは、第１特徴マップ１２０１が第１畳み込み２次元カーネル１２１１によりスキャンされ、これにより、第１出力特徴マップ１２２１が生成され、第２特徴マップ１２０２が第２畳み込み２次元カーネル１２１２によりスキャンされ、これにより、第２出力特徴マップ１２２２が生成される。畳み込み２次元カーネル１２１１；１２１２は、例えば、３ｘ３ｘ「入力チャネル数」の次元を有してよく、出力層を生成する。出力特徴マップの深度は、畳み込み２次元カーネル１２１１；１２１２の数により定義することができる。
融合特徴マップ１２３０は、両出力特徴マップ１２２１，１２２２から要素ごとの加算（＋）により演算することができる。
ここでのフロー、つまり、特徴マップごとに別個の２つの畳み込みを実行し、その後これらを単純に加算することは、２つの特徴マップがコンカチネートされ、その後畳み込みが実行される図１１のフローと等しい。
【0079】
【0080】
第１特徴マップ１３０１（広視野画像から演算）は、大きい幅ｗおよび高さｈを有しているが、深度ｄは小さい。その一方、第２特徴マップ１３０２（高解像度の中央抜粋画像から演算）は、小さい幅ｗおよび高さｈを有しているが、大きい深度ｄを有している。
【0081】
第１畳み込み２次元カーネル１３１１は第１特徴マップ１３０１をスキャンし、これにより、拡大された深度ｄを有する第１出力特徴マップ１３２１が生成される。第２畳み込み２次元カーネル１３１２により第２特徴マップはスキャンされ、これにより、第２出力特徴マップ１３２２（対角線のハッチングによる賽の目状の領域）が生成される。第２出力特徴マップの深度ｄは第１出力特徴マップの深度と同一である。
【0082】
第１および第２出力特徴マップ１３２１，１３２２の融合を実行するために、概要領域内の部分領域の位置を考慮することは好都合である。従って、第２出力特徴マップ１３２２の高さおよび幅は、第１出力特徴マップ１３２１の高さおよび幅と一致するように拡大される。調整用の幅および高さの始点値は、例えば、図６または図７から、共通の概要領域６０１または７０１の中央領域６０２または７０２の位置の情報、例えば、始点値ｘ０，ｙ０の形式、またはそこから導出した特徴マップの幅始点値ｘｓおよび高さ始点値ｙｓの形式により、決定することができる。
【0083】
第２出力特徴マップ１３２２において欠如している領域（左側、右側および上側）は０で埋められる（ゼロパディング）。このようにして調整された第２出力特徴マップは、第１出力特徴マップ１３２１と、簡単に要素ごとの加算により融合することができる。そのような融合特徴マップ１３３０が図１３の下方に示されている。
【0084】
図１４は、考えられる方法フローを概略的に示す。
第１ステップＳ１において、少なくとも１つの画像キャプチャセンサの入力データが受信される。入力センサデータは、例えば、２つの走行方向を向く車両のＡＤＡＳセンサにより、例えば、部分的に重複するキャプチャ領域を有する１つの望遠カメラと１つのライダにより生成されたものであってよい。ライダセンサは、幅広のキャプチャ領域（例えば、１００°または１２０°の大きい開口角）を有してよく、これにより、シーンの第１画像または第１表現が生成される。望遠カメラは、シーンの（中央）部分領域のみ（例えば、５０°の小さいキャプチャ角）をキャプチャするが、その代わりに、さらに遠隔の物体を検出することができ、これにより、シーンの第２表現が生成される。ライダセンサと望遠カメラセンサの入力データを融合することができるように、センサローデータを画像にマッピングしてよく、これら画像は車両前方の車道平面への鳥瞰図を示す。
重複領域にはライダデータと望遠カメラデータが存在し、側方の縁領域にはライダデータしか存在せず、さらに遠隔の前方領域には望遠カメラデータしか存在しない。
第１ステップＳ１において、少なくとも１つの画像キャプチャセンサの入力データが受信される。入力センサデータは、例えば、２つの走行方向を向く車両のＡＤＡＳセンサにより、例えば、部分的に重複するキャプチャ領域を有する１つの望遠カメラと１つのライダにより生成されたものであってよい。ライダセンサは、幅広のキャプチャ領域（例えば、１００°または１２０°の大きい開口角）を有してよく、これにより、シーンの第１画像または第１表現が生成される。望遠カメラは、シーンの（中央）部分領域のみ（例えば、５０°の小さいキャプチャ角）をキャプチャするが、その代わりに、さらに遠隔の物体を検出することができ、これにより、シーンの第２表現が生成される。ライダセンサと望遠カメラセンサの入力データを融合することができるように、センサローデータを画像にマッピングしてよく、これら画像は車両前方の車道平面への鳥瞰図を示す。
重複領域にはライダデータと望遠カメラデータが存在し、側方の縁領域にはライダデータしか存在せず、さらに遠隔の前方領域には望遠カメラデータしか存在しない。
【0085】
第２ステップＳ２において、第１特徴マップが入力データから決定される。ライダセンサの（第１）画像から、第１高さおよび幅（または鳥瞰図における車道平面深度および車道平面幅）を有する第１特徴マップを生成することができる。
第３ステップＳ３において、第２特徴マップが入力データから決定される。望遠カメラセンサのキャプチャ領域の（第２）画像から、第２高さおよび幅を有する第２特徴マップを生成することができる。ここで、第２特徴マップの幅は第１特徴マップの幅よりも小さく、第２特徴マップの高さ（走行方向における距離）は第１特徴マップの高さよりも大きい。
第３ステップＳ３において、第２特徴マップが入力データから決定される。望遠カメラセンサのキャプチャ領域の（第２）画像から、第２高さおよび幅を有する第２特徴マップを生成することができる。ここで、第２特徴マップの幅は第１特徴マップの幅よりも小さく、第２特徴マップの高さ（走行方向における距離）は第１特徴マップの高さよりも大きい。
【0086】
第４ステップＳ４において、第１特徴マップに基づいて、第１出力特徴マップが決定される。ここで、第１出力特徴マップの演算は第１特徴マップの第１畳み込みを用いて行われる。
【0087】
第５ステップＳ５において、第２特徴マップに基づいて、第２出力特徴マップが決定される。第２出力特徴マップの演算は第２特徴マップの第２畳み込みを用いて行われる。第２畳み込みは、幅および高さが、第２特徴マップの高さおよび幅に限定される。
【0088】
第６ステップＳ６において、第１および第２出力特徴マップの異なるサイズの調整、特に、高さおよび／または幅の適合が行われる。
【0089】
また、第１変形例によると、第１出力特徴マップの高さは、第２出力特徴マップの高さと一致するように拡大することができる。第２出力特徴マップの幅は、第１出力特徴マップの幅と一致するように拡大することができる。拡大により新規に付加された、各々（調整された）出力特徴マップの領域は０で埋められる（ゼロパディング）。
【0090】
第２変形例によると、まず、テンプレート出力特徴マップが作成され、その幅および高さは、第１および第２出力特徴マップの高さおよび幅と重複領域の位置から得られる。テンプレート出力特徴マップは０で埋められる。この場合、テンプレート出力特徴マップは、第１出力特徴マップの幅および第２出力特徴マップの高さを有する。
【0091】
調整された第１出力特徴マップには、第１出力特徴マップがカバーしている領域における第１出力特徴マップからの要素が引き継がれる。また、テンプレート出力特徴マップ内の垂直方向および水平方向の第１出力特徴マップの位置を示す始点値を用いることができる。ライダ出力特徴マップは、例えば、テンプレート出力特徴マップの幅全体にわたって延在する一方、遠隔領域は空である。従って、垂直方向において、始点値ｙｓが予め定められ、そこからテンプレート出力特徴マップは「埋められる」。
【0092】
同様に、０で予め埋められたテンプレート出力特徴マップに基づいて、好適な始点位置から第２出力特徴マップの要素を挿入することにより調整された第２出力特徴マップが生成される。レーダ出力特徴マップは、例えば、まず、水平方向の始点位置ｘｓから割り当てられ、垂直方向において高さ全体にわたって延在する。
【0093】
第７ステップＳ７において、調整された第１および第２出力特徴マップは、要素ごとの加算により融合される。高さおよび幅を調整することにより、両出力特徴マップの要素ごとの加算は、一般的なＣＮＮアクセラレータには即座に可能である。その結果が融合特徴マップである。
【0094】
第２出力特徴マップが重複領域全体を含んでいる（つまり、重複領域を含む第１出力特徴マップの部分領域そのものを含んでいる（図１３参照））という特別な場合において、第２出力特徴マップの異なる高さおよび幅の調整を省略することができ、この場合、第１出力特徴マップとの第２出力特徴マップの要素ごとの加算は、好適な始点値ｘｓ，ｙｓに基づいて、重複領域においてのみ行われる。ここで、融合特徴マップの高さおよび幅は、第１出力特徴マップの高さおよび幅と同一である（図１３参照）。
【0095】
第８ステップＳ８において、融合特徴マップが出力される。
【符号の説明】
【0096】
１ 画像キャプチャセンサ
１０ システム
１２ 入力インタフェース
１４ データ処理ユニット
１６ 融合モデル
１８ 出力インタフェース
２０ 制御ユニット
１０１ 概要領域
１０２ 部分領域
３００ 高解像度を有する概要画像
３０３ 歩行者またはさらなる遠隔交通参加者
３０４ 車両または近傍交通参加者
３０５ 道路または車道
３０６ 家屋
４０１ 低減解像度を有する概要画像
４０３ 歩行者（検出不可能）
４０４ 車両
５０２ 高解像度を有する中央抜粋画像
５０３ 歩行者
５０４ 車両（検出不可能または完全には検出不可能）
６０１ 概要領域
６０２ 部分領域
７０１ 低減解像度を有する概要画像
７０２ 高解像度を有する抜粋画像のキャプチャ領域
７０２０ 高解像度を有する（中央）抜粋画像
１１０１ 第１特徴マップ
１１０２ 第２特徴マップ
１１１０ 畳み込みカーネル
１１３０ 融合特徴マップ
１２０１ 第１特徴マップ
１２０２ 第２特徴マップ
１２１１ 第１畳み込み２次元カーネル
１２１２ 第２畳み込み２次元カーネル
１２２１ 第１出力特徴マップ
１２２２ 第２出力特徴マップ
１２３０ 融合特徴マップ
１３０１ 第１特徴マップ
１３０２ 第２特徴マップ
１３１１ 第１畳み込み２次元カーネル
１３１２ 第２畳み込み２次元カーネル
１３２１ 第１出力特徴マップ
１３２２ 第２出力特徴マップ
１３３０ 融合特徴マップ
ｘ０ 水平方向の始点値
ｙ０ 垂直方向の始点値または延在値
ｗｆｏｖ 低減解像度を有する概要画像
ｃｅｎｔｅｒ 高解像度を有する（中央）抜粋画像
ｗ 幅
ｈ 高さ
ｄ 深度
１０ システム
１２ 入力インタフェース
１４ データ処理ユニット
１６ 融合モデル
１８ 出力インタフェース
２０ 制御ユニット
１０１ 概要領域
１０２ 部分領域
３００ 高解像度を有する概要画像
３０３ 歩行者またはさらなる遠隔交通参加者
３０４ 車両または近傍交通参加者
３０５ 道路または車道
３０６ 家屋
４０１ 低減解像度を有する概要画像
４０３ 歩行者（検出不可能）
４０４ 車両
５０２ 高解像度を有する中央抜粋画像
５０３ 歩行者
５０４ 車両（検出不可能または完全には検出不可能）
６０１ 概要領域
６０２ 部分領域
７０１ 低減解像度を有する概要画像
７０２ 高解像度を有する抜粋画像のキャプチャ領域
７０２０ 高解像度を有する（中央）抜粋画像
１１０１ 第１特徴マップ
１１０２ 第２特徴マップ
１１１０ 畳み込みカーネル
１１３０ 融合特徴マップ
１２０１ 第１特徴マップ
１２０２ 第２特徴マップ
１２１１ 第１畳み込み２次元カーネル
１２１２ 第２畳み込み２次元カーネル
１２２１ 第１出力特徴マップ
１２２２ 第２出力特徴マップ
１２３０ 融合特徴マップ
１３０１ 第１特徴マップ
１３０２ 第２特徴マップ
１３１１ 第１畳み込み２次元カーネル
１３１２ 第２畳み込み２次元カーネル
１３２１ 第１出力特徴マップ
１３２２ 第２出力特徴マップ
１３３０ 融合特徴マップ
ｘ０ 水平方向の始点値
ｙ０ 垂直方向の始点値または延在値
ｗｆｏｖ 低減解像度を有する概要画像
ｃｅｎｔｅｒ 高解像度を有する（中央）抜粋画像
【数5】
ｈ 高さ
ｄ 深度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2024-05-07
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【0095】
第８ステップＳ８において、融合特徴マップが出力される。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
少なくとも１つの画像キャプチャセンサ（１）の画像データを融合する方法において：
ａ）入力画像データを受信するステップであって、前記入力画像データは、
－シーンの第１領域（１０１，６０１）を含む第１画像（４０１，７０１）および
－前記シーンの第２領域（１０２，６０２）を含む第２画像（５０２，７０２）を含み、前記第１および前記第２領域は、互いに重複するが同一ではない、ステップ（Ｓ１）と；
ｂ）前記第１画像（４０１，７０１）に基づいて第１高さおよび幅を有する第１特徴マップ（１３０１）を決定するステップ（Ｓ２）、および、前記第２画像（５０２，７０２）に基づいて第２高さおよび幅を有する第２特徴マップ（１３０２）を決定するステップ（Ｓ３）と；
ｃ）前記第１特徴マップ（１３０１）の第１畳み込みを用いて第１出力特徴マップ（１３２１）を演算するステップ（Ｓ４）、および、前記第２特徴マップ（１３０２）の第２畳み込みを用いて第２出力特徴マップ（１３２２）を演算するステップ（Ｓ５）と；
ｄ）前記第１および前記第２出力特徴マップ（１３２１，１３２２）を要素ごとに加算することによる融合特徴マップ（１３３０）を演算するステップであって、重複領域の要素が加算されるように、前記第１および前記第２領域の位置が互いに考慮される、ステップ（Ｓ７）と；
ｅ）前記融合特徴マップ（１３３０）を出力するステップ（Ｓ８）とを備える、方法。
２．
前記第１および前記第２画像が、同じ画像キャプチャセンサによりキャプチャされたものである、上記１に記載の方法。
３．
前記第１画像（４０１，７０１）および前記第２画像（５０２，７０２）が、前記画像キャプチャセンサの画像ピラミッドの異なるレベルに対応する、上記１または２に記載の方法。
４．
前記第１領域（１０１，６０１）が前記シーンの概要領域であり、前記第２領域（５０２，７０２）が前記シーンの前記概要領域の部分領域である、上記１～３の何れか１つに記載の方法。
５．
前記第１画像が第１解像度を有し、前記第２画像が第２解像度を有し、前記第２解像度が前記第１解像度よりも高い、上記１～４の何れか１つに記載の方法。
６．
画像キャプチャセンサとして、重複するキャプチャ領域を有する２つの単眼カメラが用いられる、上記１、４または５の何れか１つに記載の方法。
７．
画像キャプチャセンサとして、全方位カメラシステムの複数のカメラが用いられる、上記１、４または５の何れか１つに記載の方法。
８．
前記第１および前記第２出力特徴マップ（１３２１，１３２２）が、重複領域において同じ高さおよび幅を有する、上記１～７の何れか１つに記載の方法。
９．
前記融合特徴マップ（１３３０）の高さおよび幅が、前記第１および前記第２出力特徴マップ（１３２１，１３２２）を囲繞する矩形により決定される、上記１～８の何れか１つに記載の方法。
１０．
前記特徴マップ（１３０１，１３０２，１３２１，１３２２）が、各々、前記画像（４０１；５０２；７０１；７０２）の解像度に依存する深度を有する、上記１～９の何れか１つに記載の方法。
１１．
前記融合特徴マップが、ＡＤＡＳ／ＡＤ関連情報を決定するように構成されている人工ニューラルネットワークのエンコーダにおいて生成される、上記１～１０の何れか１つに記載の方法。
１２．
ＡＤＡＳ／ＡＤ関連情報を決定するように構成されている前記人工ニューラルネットワークが、様々なＡＤＡＳ／ＡＤ検出機能用の複数のデコーダを備える、上記１１に記載の方法。
１３．
入力インタフェース（１２）とデータ処理ユニット（１４）と出力インタフェース（１８）とを備える、少なくとも１つの画像キャプチャセンサの画像データを融合するシステム（１０）において：
ａ）前記入力インタフェース（１２）が、入力画像データを受信するように構成されており、前記入力画像データは、
－シーンの第１領域（１０１，６０１）を含む第１画像（４０１，７０１）および
－前記シーンの第２領域（１０２，６０２）を含む第２画像（５０２，７０２）を含み、前記第１および前記第２領域は、互いに重複するが同一ではなく；
前記データ処理ユニット（１４）が、
ｂ）前記第１画像（４０１，７０１）に基づいて第１高さおよび幅を有する第１特徴マップ（１３０１）を決定し、前記第２画像（５０２，７０２）に基づいて第２高さおよび幅を有する第２特徴マップ（１３０２）を決定するように構成されており；
ｃ）前記第１特徴マップ（１３０１）の第１畳み込みを用いて第１出力特徴マップ（１３２１）を演算し、前記第２特徴マップ（１３０２）の第２畳み込みを用いて第２出力特徴マップ（１３２２）を演算するように構成されており；
ｄ）前記第１および前記第２出力特徴マップ（１３２１，１３２２）を要素ごとに加算することによる融合特徴マップを演算するように構成されており、重複領域の要素が加算されるように、前記第１および前記第２領域の位置が互いに考慮され；
ｅ）前記出力インタフェース（１８）が、前記融合特徴マップ（１３３０）を出力するように構成されている、システム（１０）。
１４．
前記システム（１０）が、エンコーダと少なくとも１つのデコーダとを有する畳み込みニューラルネットワークを備え、前記入力インタフェース（１２）、前記データ処理ユニット（１４）および前記出力インタフェース（１８）は、前記エンコーダが前記融合特徴マップを生成するように構成されているように、前記エンコーダにおいて実装されており、前記少なくとも１つのデコーダが、ＡＤＡＳ／ＡＤ検出機能を少なくとも前記融合特徴マップに基づいて実装するように構成されている、上記１３に記載のシステム。
１５．
少なくとも１つの画像キャプチャセンサ（１）と上記１３または１４に記載のシステムとを備える車両。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
少なくとも１つの画像キャプチャセンサ（１）の画像データを融合する方法において：
ａ）入力画像データを受信するステップであって、前記入力画像データは、
－シーンの第１領域（１０１，６０１）を含む第１画像（４０１，７０１）および
－前記シーンの第２領域（１０２，６０２）を含む第２画像（５０２，７０２）を含み、前記第１および前記第２領域は、互いに重複するが同一ではない、ステップ（Ｓ１）と；
ｂ）前記第１画像（４０１，７０１）に基づいて第１高さおよび幅を有する第１特徴マップ（１３０１）を決定するステップ（Ｓ２）、および、前記第２画像（５０２，７０２）に基づいて第２高さおよび幅を有する第２特徴マップ（１３０２）を決定するステップ（Ｓ３）と；
ｃ）前記第１特徴マップ（１３０１）の第１畳み込みを用いて第１出力特徴マップ（１３２１）を演算するステップ（Ｓ４）、および、前記第２特徴マップ（１３０２）の第２畳み込みを用いて第２出力特徴マップ（１３２２）を演算するステップ（Ｓ５）と；
ｄ）前記第１および前記第２出力特徴マップ（１３２１，１３２２）を要素ごとに加算することによる融合特徴マップ（１３３０）を演算するステップであって、重複領域の要素が加算されるように、前記第１および前記第２領域の位置が互いに考慮される、ステップ（Ｓ７）と；
ｅ）前記融合特徴マップ（１３３０）を出力するステップ（Ｓ８）とを備える、方法。
２．
前記第１および前記第２画像が、同じ画像キャプチャセンサによりキャプチャされたものである、上記１に記載の方法。
３．
前記第１画像（４０１，７０１）および前記第２画像（５０２，７０２）が、前記画像キャプチャセンサの画像ピラミッドの異なるレベルに対応する、上記１または２に記載の方法。
４．
前記第１領域（１０１，６０１）が前記シーンの概要領域であり、前記第２領域（５０２，７０２）が前記シーンの前記概要領域の部分領域である、上記１～３の何れか１つに記載の方法。
５．
前記第１画像が第１解像度を有し、前記第２画像が第２解像度を有し、前記第２解像度が前記第１解像度よりも高い、上記１～４の何れか１つに記載の方法。
６．
画像キャプチャセンサとして、重複するキャプチャ領域を有する２つの単眼カメラが用いられる、上記１、４または５の何れか１つに記載の方法。
７．
画像キャプチャセンサとして、全方位カメラシステムの複数のカメラが用いられる、上記１、４または５の何れか１つに記載の方法。
８．
前記第１および前記第２出力特徴マップ（１３２１，１３２２）が、重複領域において同じ高さおよび幅を有する、上記１～７の何れか１つに記載の方法。
９．
前記融合特徴マップ（１３３０）の高さおよび幅が、前記第１および前記第２出力特徴マップ（１３２１，１３２２）を囲繞する矩形により決定される、上記１～８の何れか１つに記載の方法。
１０．
前記特徴マップ（１３０１，１３０２，１３２１，１３２２）が、各々、前記画像（４０１；５０２；７０１；７０２）の解像度に依存する深度を有する、上記１～９の何れか１つに記載の方法。
１１．
前記融合特徴マップが、ＡＤＡＳ／ＡＤ関連情報を決定するように構成されている人工ニューラルネットワークのエンコーダにおいて生成される、上記１～１０の何れか１つに記載の方法。
１２．
ＡＤＡＳ／ＡＤ関連情報を決定するように構成されている前記人工ニューラルネットワークが、様々なＡＤＡＳ／ＡＤ検出機能用の複数のデコーダを備える、上記１１に記載の方法。
１３．
入力インタフェース（１２）とデータ処理ユニット（１４）と出力インタフェース（１８）とを備える、少なくとも１つの画像キャプチャセンサの画像データを融合するシステム（１０）において：
ａ）前記入力インタフェース（１２）が、入力画像データを受信するように構成されており、前記入力画像データは、
－シーンの第１領域（１０１，６０１）を含む第１画像（４０１，７０１）および
－前記シーンの第２領域（１０２，６０２）を含む第２画像（５０２，７０２）を含み、前記第１および前記第２領域は、互いに重複するが同一ではなく；
前記データ処理ユニット（１４）が、
ｂ）前記第１画像（４０１，７０１）に基づいて第１高さおよび幅を有する第１特徴マップ（１３０１）を決定し、前記第２画像（５０２，７０２）に基づいて第２高さおよび幅を有する第２特徴マップ（１３０２）を決定するように構成されており；
ｃ）前記第１特徴マップ（１３０１）の第１畳み込みを用いて第１出力特徴マップ（１３２１）を演算し、前記第２特徴マップ（１３０２）の第２畳み込みを用いて第２出力特徴マップ（１３２２）を演算するように構成されており；
ｄ）前記第１および前記第２出力特徴マップ（１３２１，１３２２）を要素ごとに加算することによる融合特徴マップを演算するように構成されており、重複領域の要素が加算されるように、前記第１および前記第２領域の位置が互いに考慮され；
ｅ）前記出力インタフェース（１８）が、前記融合特徴マップ（１３３０）を出力するように構成されている、システム（１０）。
１４．
前記システム（１０）が、エンコーダと少なくとも１つのデコーダとを有する畳み込みニューラルネットワークを備え、前記入力インタフェース（１２）、前記データ処理ユニット（１４）および前記出力インタフェース（１８）は、前記エンコーダが前記融合特徴マップを生成するように構成されているように、前記エンコーダにおいて実装されており、前記少なくとも１つのデコーダが、ＡＤＡＳ／ＡＤ検出機能を少なくとも前記融合特徴マップに基づいて実装するように構成されている、上記１３に記載のシステム。
１５．
少なくとも１つの画像キャプチャセンサ（１）と上記１３または１４に記載のシステムとを備える車両。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも１つの画像キャプチャセンサ（１）の画像データを融合する方法において：ａ）入力画像データを受信するステップであって、前記入力画像データは、
－シーンの第１領域（１０１，６０１）を含む第１画像（４０１，７０１）および
－前記シーンの第２領域（１０２，６０２）を含む第２画像（５０２，７０２）を含み、前記第１および前記第２領域は、互いに重複するが同一ではない、ステップ（Ｓ１）と；
ｂ）前記第１画像（４０１，７０１）に基づいて第１高さおよび幅を有する第１特徴マップ（１３０１）を決定するステップ（Ｓ２）、および、前記第２画像（５０２，７０２）に基づいて第２高さおよび幅を有する第２特徴マップ（１３０２）を決定するステップ（Ｓ３）と；
ｃ）前記第１特徴マップ（１３０１）の第１畳み込みを用いて第１出力特徴マップ（１３２１）を演算するステップ（Ｓ４）、および、前記第２特徴マップ（１３０２）の第２畳み込みを用いて第２出力特徴マップ（１３２２）を演算するステップ（Ｓ５）と；
ｄ）前記第１および前記第２出力特徴マップ（１３２１，１３２２）を要素ごとに加算することによる融合特徴マップ（１３３０）を演算するステップであって、重複領域の要素が加算されるように、前記第１および前記第２領域の位置が互いに考慮される、ステップ（Ｓ７）と；
ｅ）前記融合特徴マップ（１３３０）を出力するステップ（Ｓ８）とを備える、方法。
【請求項2】
前記第１および前記第２画像が、同じ画像キャプチャセンサによりキャプチャされたものである、請求項１に記載の方法。
【請求項3】
前記第１画像（４０１，７０１）および前記第２画像（５０２，７０２）が、前記画像キャプチャセンサの画像ピラミッドの異なるレベルに対応する、請求項１または２に記載の方法。
【請求項4】
前記第１領域（１０１，６０１）が前記シーンの概要領域であり、前記第２領域（５０２，７０２）が前記シーンの前記概要領域の部分領域である、請求項１に記載の方法。
【請求項5】
前記第１画像が第１解像度を有し、前記第２画像が第２解像度を有し、前記第２解像度が前記第１解像度よりも高い、請求項１に記載の方法。
【請求項6】
画像キャプチャセンサとして、重複するキャプチャ領域を有する２つの単眼カメラが用いられる、請求項１、４または５の何れか１項に記載の方法。
【請求項7】
画像キャプチャセンサとして、全方位カメラシステムの複数のカメラが用いられる、請求項１、４または５の何れか１項に記載の方法。
【請求項8】
前記第１および前記第２出力特徴マップ（１３２１，１３２２）が、重複領域において同じ高さおよび幅を有する、請求項１または２に記載の方法。
【請求項9】
前記融合特徴マップ（１３３０）の高さおよび幅が、前記第１および前記第２出力特徴マップ（１３２１，１３２２）を囲繞する矩形により決定される、請求項１または２に記載の方法。
【請求項10】
前記特徴マップ（１３０１，１３０２，１３２１，１３２２）が、各々、前記画像（４０１；５０２；７０１；７０２）の解像度に依存する深度を有する、請求項１または２に記載の方法。
【請求項11】
前記融合特徴マップが、ＡＤＡＳ／ＡＤ関連情報を決定するように構成されている人工ニューラルネットワークのエンコーダにおいて生成される、請求項１または２に記載の方法。
【請求項12】
ＡＤＡＳ／ＡＤ関連情報を決定するように構成されている前記人工ニューラルネットワークが、様々なＡＤＡＳ／ＡＤ検出機能用の複数のデコーダを備える、請求項１１に記載の方法。
【請求項13】
入力インタフェース（１２）とデータ処理ユニット（１４）と出力インタフェース（１８）とを備える、少なくとも１つの画像キャプチャセンサの画像データを融合するシステム（１０）において：ａ）前記入力インタフェース（１２）が、入力画像データを受信するように構成されており、前記入力画像データは、
－シーンの第１領域（１０１，６０１）を含む第１画像（４０１，７０１）および
－前記シーンの第２領域（１０２，６０２）を含む第２画像（５０２，７０２）を含み、前記第１および前記第２領域は、互いに重複するが同一ではなく；
前記データ処理ユニット（１４）が、
ｂ）前記第１画像（４０１，７０１）に基づいて第１高さおよび幅を有する第１特徴マップ（１３０１）を決定し、前記第２画像（５０２，７０２）に基づいて第２高さおよび幅を有する第２特徴マップ（１３０２）を決定するように構成されており；
ｃ）前記第１特徴マップ（１３０１）の第１畳み込みを用いて第１出力特徴マップ（１３２１）を演算し、前記第２特徴マップ（１３０２）の第２畳み込みを用いて第２出力特徴マップ（１３２２）を演算するように構成されており；
ｄ）前記第１および前記第２出力特徴マップ（１３２１，１３２２）を要素ごとに加算することによる融合特徴マップを演算するように構成されており、重複領域の要素が加算されるように、前記第１および前記第２領域の位置が互いに考慮され；
ｅ）前記出力インタフェース（１８）が、前記融合特徴マップ（１３３０）を出力するように構成されている、システム（１０）。
【請求項14】
前記システム（１０）が、エンコーダと少なくとも１つのデコーダとを有する畳み込みニューラルネットワークを備え、前記入力インタフェース（１２）、前記データ処理ユニット（１４）および前記出力インタフェース（１８）は、前記エンコーダが前記融合特徴マップを生成するように構成されているように、前記エンコーダにおいて実装されており、前記少なくとも１つのデコーダが、ＡＤＡＳ／ＡＤ検出機能を少なくとも前記融合特徴マップに基づいて実装するように構成されている、請求項１３に記載のシステム。
【請求項15】
少なくとも１つの画像キャプチャセンサ（１）と請求項１３または１４に記載のシステムとを備える車両。
【国際調査報告】