▶ ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-13
(54)【発明の名称】第１のセンサシステムの周囲を検出するための方法
(51)【国際特許分類】
G06V 10/25 20220101AFI20231106BHJP
G06T 7/00 20170101ALI20231106BHJP
G06V 10/82 20220101ALI20231106BHJP
G06T 7/11 20170101ALI20231106BHJP
G06T 7/174 20170101ALI20231106BHJP
G06V 10/62 20220101ALI20231106BHJP
G06N 3/044 20230101ALI20231106BHJP
G06N 3/08 20230101ALI20231106BHJP
【ＦＩ】
G06V10/25
G06T7/00 350C
G06V10/82
G06T7/11
G06T7/174
G06V10/62
G06N3/044
G06N3/08
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023527673
(86)(22)【出願日】2021-11-03
(85)【翻訳文提出日】2023-07-07
(86)【国際出願番号】 EP2021080460
(87)【国際公開番号】W WO2022101063
(87)【国際公開日】2022-05-19
(31)【優先権主張番号】102020214123.1
(32)【優先日】2020-11-10
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】591245473
【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100201743
【弁理士】
【氏名又は名称】井上 和真
(72)【発明者】
【氏名】ミュンツナー，ゼーバスティアン
(72)【発明者】
【氏名】コンドゥラッヘ，アレクサンドル・パウル
(72)【発明者】
【氏名】グレザー，クラウディウス
(72)【発明者】
【氏名】ティム，ファービアーン
(72)【発明者】
【氏名】ドレフス，フロリアン
(72)【発明者】
【氏名】ファイオン，フロリアン
(72)【発明者】
【氏名】エーベルト，ヤスミーン
(72)【発明者】
【氏名】ローゼンバウム，ラルス
(72)【発明者】
【氏名】ウルリヒ，ミヒャエル
(72)【発明者】
【氏名】シュタル，ライナー
(72)【発明者】
【氏名】グンプ，トーマス
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096BA04
5L096CA04
5L096FA02
5L096FA66
5L096FA67
5L096HA11
5L096KA04
(57)【要約】
第１のセンサシステムの周囲を検出するための方法であって、第１のセンサシステムの時系列データを、周囲を検出するために提供するステップと、第１のセンサシステムの時系列データを備える入力テンソルを、トレーニングされたニューラルネットワークのために生成するステップであり、前記ニューラルネットワークが、第２のセンサシステムにより周囲の検出を改善するために、前記入力テンソルに基づいて周囲の少なくとも１つの部分領域を同定するように構成およびトレーニングされた、ステップと、前記第２のセンサシステムに対する制御信号を、前記トレーニングされたニューラルネットワークの出力信号によって、少なくとも１つの部分領域における周囲の検出を改善するために生成するステップと、を備える方法が提案される。
【特許請求の範囲】
【請求項1】
第１のセンサシステム（５１０）の周囲を検出するための方法であって、前記第１のセンサシステム（５１０）の時系列データを、前記周囲を検出するために提供するステップと、
前記第１のセンサシステム（５１０）の時系列データを備える入力テンソルを、トレーニングされたニューラルネットワーク（２００）のために生成するステップであり、前記ニューラルネットワーク（２００）が、第２のセンサシステム（５２０）により前記周囲の検出を改善するために、前記入力テンソルに基づいて前記周囲の少なくとも１つの部分領域を同定するように構成およびトレーニングされた、ステップと、
前記トレーニングされたニューラルネットワークの出力信号によって前記少なくとも１つの部分領域における前記周囲の検出を改善するために、前記第２のセンサシステム（５２０）に対する制御信号（５４０）を生成するステップと、
を備える方法。
【請求項2】
前記ニューラルネットワーク（２００）が、時系列データを処理するように、および／または前記ニューラルネットワーク（２００）の時間に依存する状態を特徴付けるように構成されている、請求項１に記載の方法。
【請求項3】
前記第１のセンサシステム（５１０）の周囲の検出を改善するために、前記ニューラルネットワーク（２００）の前記入力テンソルが、現在の時間ステップに先行する時間ステップからの前記第２のセンサシステム（５２０）のデータを有する、請求項１または２に記載の方法。
【請求項4】
前記第１のセンサシステム（５１０）が、パッシブセンサシステムであり、前記第２のセンサシステム（５２０）が、アクティブセンサシステムである、請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記第１のセンサシステム（５１０）が前記第２のセンサシステム（５２０）と同じセンサシステムであり、前記センサシステムからの制御信号が、前記周囲の検出を改善するために後続の時間ステップで使用される、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記制御信号が、前記第１のセンサシステム（５１０）の前記周囲の検出を改善するために、前記第２のセンサシステム（５２０）を、前記周囲の前記部分領域を検出するように制御する、請求項１から５のいずれか一項に記載の方法。
【請求項7】
第２のセンサシステム（５２０）に対する制御信号を生成するために、ニューラルネットワーク（２００）をトレーニングするための方法であって、第１のセンサシステム（５１０）の周囲を検出するための前記第１のセンサシステム（５１０）の時系列データと共に、入力テンソルを前記ニューラルネットワーク（２００）に対して提供するステップであり、前記ニューラルネットワーク（２００）の前記入力テンソルが、現在の時間ステップに先行する時間ステップからの第２のセンサシステム（５２０）のデータを有する、ステップと、
前記第１のセンサシステム（５１０）の周囲の少なくとも１つの物体を、前記ニューラルネットワーク（２００）および前記入力テンソルによって生成するステップと、
前記ニューラルネットワーク（２００）および前記入力テンソルによって制御信号（５４０）を生成するステップと、
前記生成された少なくとも１つの物体を、対応して割り当てられた少なくとも１つの基準物体と比較するステップと、
第２のセンサシステム（５２０）のデータを、前記制御信号（５４０）に基づいて次の時間ステップのために生成するステップと、
周囲の物体を決定する際にそれぞれの前記基準物体からの偏差を最小化するために、前記ニューラルネットワーク（２００）を適合するステップと、
を備える方法。
【請求項8】
前記少なくとも１つの物体（５３０）および前記対応して割り当てられた基準物体が、前記第１のセンサシステム（５１０）の周囲の少なくとも１つの物体を備えるそれぞれ１つの物体リストであり、ならびに／または前記少なくとも１つの物体および前記対応して割り当てられた基準物体が、前記第１のセンサシステム（５１０）の周囲のそれぞれ１つの高解像度表現である、請求項７に記載の方法。
【請求項9】
前記物体リスト（５３０）の前記少なくとも１つの物体が、物体検知器（７１０）によって生成される、請求項７に記載の方法。
【請求項10】
前記第１のセンサシステム（５１０）の時系列データが、真の第１のセンサシステム（５１０）のデータまたは前記第１のセンサシステム（５１０）に対してシミュレートされたデータである、請求項７から９のいずれか一項に記載の方法。
【請求項11】
前記第２のセンサシステム（５２０）のデータが高解像度センサシステムによって生成され、および／または前記第２のセンサシステム（５２０）のデータが、前記第２のセンサシステムをシミュレートするためのシミュレーションプログラムによって生成され、および／または前記第２のセンサシステム（５２０）のデータが、前記第１のセンサシステムの周囲にある前記第２のセンサシステム（５２０）によって生成される、請求項７から１０のいずれか一項に記載の方法。
【請求項12】
前記ニューラルネットワーク（２００）が、時系列データを処理するように、および／または前記ニューラルネットワーク（２００）の時間に依存する状態を特徴付けるように、および／または前記ニューラルネットワーク（２００）がリカレントニューラルネットワークであるように構成されている、請求項７から１１のいずれか一項に記載の方法。
【請求項13】
請求項７から１２のいずれか一項に対応して構成されトレーニングされているニューラルネットワーク（２００）。
【請求項14】
請求項１３に対応するニューラルネットワーク（２００）を備える、請求項１から６のいずれか一項に記載の方法。
【請求項15】
請求項１から６または１４のいずれか一項に記載の方法を実行するように構成されている検出装置。【発明の詳細な説明】
【背景技術】
【0001】
運転の自動化は、周囲検出のため、運転機能をサポートするため、ならびに／または車両の少なくとも部分的に自動化された制御および案内のための、ますます広範で高性能のセンサシステムを車両に装備することと密接に関連している。
【0002】
そのために、例えばレーダーセンサやビデオセンサのように、様々な様式の、あるいは異なる技術に基づく複数の様々なセンサがしばしば使用される。様式の異なるそれぞれのセンサにより生成されるデータは、典型的にはまず個々に互いに独立して処理され、すなわち、受信されたレーダー波は、光学センサとは独立して処理される。後の処理ステップで初めて、例えばレーダー反射とビデオピクセルの関連付けにより、または算出されたレーダー物体とビデオ物体の融合により、データが結合または計算され、より高度に統合されたシステムでもセンサは互いに独立して測定する。
【0003】
ビデオカメラは、例えばその画像を検出装置に送信し、レーダーセンサも同様にその信号をこの検出システムに送信する。
【発明の概要】
【0004】
ビデオカメラを、走行を支援または自動化するための、常に可及的にシーン全体を検知する制御不能なセンサシステムとみなせば、これはモバイルプラットフォームの運転者の視覚認知に匹敵する。とりわけ運転者は、付加的に内部ミラーおよび外部ミラーを使用して、車両周囲全体を検出し、夕暮れまたは夜間ではロービームまたはハイビームのようなさらなる補助手段をより良い視覚認知のために使用する。
【0005】
ここで運転者の高められた注意は、より局所的なもの、すなわち鋭い視力であり、脳内での対応の処理は、運転時に主に前方に向かって行われる。これに対して周辺では、人間は主に動きを処理する。したがって、運転者は自分の視覚と注意を積極的かつ状況に対応して周囲の関連領域に向け、一人の運転者が周囲を常に３６０度全体で視覚的に検出することはできない。
【0006】
複数のセンサを、人間の知覚に類似して相応に目的通りに使用し、積極的に結合すること（スキャンアンドウォッチ）は、特に様々な様式のセンサを使用する際に、運転者支援または自動運転のためのシステムを改善することができる。
【0007】
本発明の態様に対応して、第１のセンサシステムの周囲を検出するための方法、ニューラルネットワークをトレーニング（訓練）するための方法、ニューラルネットワーク、および検出装置が、独立請求項の特徴にしたがって提案される。有利な構成は、従属請求項ならびに以下の明細書の対象である。
【0008】
本発明の明細書全体において、方法ステップの順序は、この方法が容易に理解できるように提示される。しかし当業者であれば、方法ステップの多くを異なる順序で実行することができ、同じ結果または対応する結果を導くこともできることを理解するであろう。この意味で、方法ステップの順序は相応に変更することができる。いくつかの特徴には、読みやすさを向上させるため、または帰属性を明確にするために番号が付けられているが、これは特定の特徴の存在を意味するものではない。
【0009】
一態様によれば、第１のセンサシステムの周囲を検出するための方法が提案され、この方法は、以下のステップを備える：
【0010】
一ステップにおいて、第１のセンサシステムの時系列データが、周囲を検出するために提供される。さらなるステップにおいて、第１のセンサシステムの時系列データを備える入力テンソルが、トレーニングされたニューラルネットワークのために生成され、このニューラルネットワークは、第２のセンサシステムにより周囲の検出を改善するために、入力テンソルに基づいて周囲の少なくとも１つの部分領域を同定するように構成およびトレーニングされた。さらなるステップにおいて、第２のセンサシステムに対する制御信号が、トレーニングされたニューラルネットワークの出力信号によって、少なくとも１つの部分領域における周囲の検出を改善するために生成される。
【0011】
ニューラルネットワークでは、人工ニューロンの接続における信号は実数であってよく、人工ニューロンの出力は、その入力の合計の非線形関数によって計算される。人工ニューロンの接続は、典型的には学習の進行と共に適合される重みを有する。この重みは、接続における信号の強度を増大し、または低下させる。人工ニューロンは、閾値を有することができ、したがって信号全体がこの閾値を上回るときだけ信号が出力される。
【0012】
典型的には複数の人工ニューロンが層状に組み合わされている。異なる層は、その入力に対して異なる形式の変換を実行する場合がある。信号は、第１の層である入力層から、場合によっては層を何回も通過した後、最後の層である出力層に移動する。
【0013】
基本的にニューラルネットワークは、入力層、中間層（隠れ層）および出力層である少なくとも３つのニューロンの層からなる。これは、ネットワークの全てのニューロンが層に分割されており、１つの層のニューロンが次の層の全てのニューロンと常に接続されていることを意味する。入力層を除いて、種々異なる層は、非線形の活性化関数を受けるニューロンからなり、次の層のニューロンに接続されている。比較的に深いニューラルネットワークは、多数のそのような中間層を有することができる。
【0014】
そのようなニューラルネットワークは、それら固有のタスクのためにトレーニングされなければならない。ここで、ニューラルネットワークの対応のアーキテクチャの各ニューロンは、例えばランダムな開始重みを受け取る。そして入力データがネットワークに入力され、各ニューロンは入力信号をその重みによって重み付けし、結果をさらに次の層のニューロンに引き渡す。次に出力層には、全体結果が提供される。エラーの大きさ、ならびに各ニューロンがそのエラーにおいて有した割合を計算することができ、エラーを最小化する方向に各ニューロンの重みを変更することができる。次に、再帰的ループ、エラーの再測定および重みの適合が、エラーが所定の限界を下回るまで行われる。
【0015】
例えば、本方法は、第１のセンサシステムとしてのパッシブセンサおよび第２のセンサシステムとしてのアクティブセンサを用いて実行され得、これらセンサシステムは直接的に、または処理ユニットを介して接続されている。ここで第１のセンサシステムは、第１のセンサシステムの周囲を測定および処理し、そのデータを用いて、本方法に対応して制御信号が生成され得、この制御信号が第２のセンサシステムに提供され、それによって第２のセンサシステムは、制御信号に対応して第１のセンサシステムの周囲において部分領域が同定され、第２のセンサシステムによる識別が、周囲の検出を改善することができる。例えばアクティブセンサに対する制御信号、すなわち第２のセンサシステムに対する制御信号は、第２のセンサシステムを制御して、角度および／または距離および／または高度など、第１のセンサシステムの周囲の所定の区域をより正確に決定することができる。
【0016】
ここで制御信号は、物体が特定された領域のみを正確に決定することに限定されず、制御信号は、第２のセンサシステムを制御して、第１のセンサシステムの周囲の適切な部分領域または区域をより正確に決定することができ、それにより、第１のセンサシステムの周囲の物体のより早期のおよび／またはより正確な同定および／または識別および／または決定を達成することができる。さらに、第１のセンサシステムの周囲を検出するための前述の方法により、専門知識をその方法に持ち込む必要はない。なぜなら、対応する知識はニューラルネットワークによってデータ駆動型に学習され得るからである。
【0017】
本方法の使用は、有利には、専門知識を前提とせずに、車両、歩行者などの関連する道路使用者について周囲を検出する際に、ロバスト性と能力を向上させる。なぜなら、古典的なモデルベースのアクティブセンサの制御の場合、改善潜在能力を同定し、第２のセンサシステムを適切に制御するには専門知識が必要となるからである。
【0018】
さらに有利には、選択されたタスクに対して高性能かつコスト的に好ましい全体システムが得られる。なぜなら、関連する道路使用者を識別するためのセンサ系およびアルゴリズムが共に最適化されるからである。
【0019】
さらに有利には、関連する物体の適用に関連した認識および本方法の簡単な拡張が得られる。
【0020】
言い換えると、本方法により、例えば物体または周囲の部分領域が、物体および／または部分領域をより正確に決定するために第１のセンサシステムのデータにより決定された後に、第１のセンサシステムの周囲の正しい決定を、例えば第２のセンサシステムのデータにより補足して行うことができる。
【0021】
ここで例えば、範囲および／または位置および／または区域および／または角度および／または距離および／または高度および／または速度および／または将来の推定的位置および／または不確実に特定された物体を伴う区域、および／または不確実性をもって特定された物体の寸法は、第２のセンサシステムによって、より正確に決定され得る。
【0022】
第２のセンサシステムに対する制御信号は、周囲の空間検出に関連してもよく、および／または制御信号を複雑に構成されていてもよく、例えばビデオシステムのような第２のセンサシステムの露光に関連することができる。したがって第２のセンサシステムに対する制御信号は、第２のセンサシステムの全特性に関連するものであり、その制御を介して第２のセンサシステムの使用により周囲の検出が変更され得る。
【0023】
第１のセンサシステムの周囲を検出するための本方法に関しては、識別された物体を前提としない。むしろ、特徴は周囲からニューラルネットワークの内部で抽出され、抽出された特徴は、周囲のより良い検出のために部分領域をそこから導出するために用いられる。ここでは特に、例えば建物もしくは植生のような構造的遮閉物、および／または道路トポロジーないし道路経過、および／または車両や歩行者などの物体が取り扱われる。
【0024】
特に物体が識別されないが、将来的にそこに物体が出現する可能性が高い部分領域も、より正確に検出することができる。
【0025】
第１のセンサシステムの周囲を検出するための本方法により、以前に物体が識別されなかった部分領域も検出されるので、物体をより迅速かつより早期に識別することができる。
【0026】
さらに本方法は、例えば意味論的セグメント化および／または道路境界の識別、および／またはマルチセンサシステムにおけるセンサ劣化の補償など、物体識別を必要としない適用分野に適用可能である。
【0027】
この方法により、例えば車両、歩行者等の関連する道路使用者、例えば境界線、車線、歩道等の規制要素に対するロバスト性および識別率を向上させることができる。さらに制御可能な第２のセンサシステムにより、目的通りに非常に高精度に周囲のより小さな領域を検出し、処理することができる。これは特に、例えば失われた対象物（紛失貨物）のように遠距離にある小さな物体の場合、例えば自家用車後方の歩行者のような部分遮蔽物の場合、または可能性のある障害物の位置特定のため、支柱、マンホールカバー、信号などのマーカを正確に検出するためである。
【0028】
さらに本方法により、センサレベルでの冗長性をすでに高めることによって、自律システムのより単純な保護を達成することができる。なぜなら例えば、制御可能な第２のセンサシステムが第１のセンサシステムの測定を確認または反証するからである。したがって本方法により、少なくとも１つの第１のセンサシステムおよび制御可能な第２のセンサシステムからなる経済的に有利な全体的センサシステムを、全体性能を改善して提供することができる。さらに本方法により、周囲全体を緩慢に測定する第１のセンサシステムとしてのセンサと、周囲のより小さな検出領域においてより迅速に測定する第２のセンサシステムとしてのセンサとを組み合わせて使用することもできる。
【0029】
一態様によれば、ニューラルネットワークが、時系列データを処理するように、および／またはニューラルネットワークの時間に依存する状態を特徴付けるように構成されていることが提案される。そのように構成されたニューラルネットワークは、上述の方法に対して特に適する。
【0030】
一態様によれば、ニューラルネットワークがリカレントニューラルネットワーク（再帰型ニューラルネットワーク）であることが提案される。
【0031】
リカレントニューラルネットワークあるいはフィードバックニューラルネットワークとは、他のネットワークとは対照的に、１つの層のニューロンから同じ層または先行の層のニューロンへの接続によって特徴付けられるニューラルネットワークである。ここでフィードバックによって、時間ステップ毎に引き渡され、必要に対応して変更される状態ベクトルを提示することができる。リカレントニューラルネットワークを使用することにより、対応する制御信号を生成するのに特に適するように本方法をトレーニングすることがでる。なぜなら、そのようなリカレントニューラルネットワークにより、先行の時間ステップからのセンサデータに、現在の時間ステップのためにアクセスできるからである。これによって、第１のセンサシステムの周囲の検出を改善することができる。
【0032】
一態様によれば、第１のセンサシステムの周囲の検出を改善するために、ニューラルネットワークの入力テンソルが第２のセンサシステムのデータを有することが提案される。有利には、第２のセンサシステムの付加的データにより、第１のセンサシステムの周囲の表現性を改善することができる。ここで入力テンソルは、現在の時間ステップおよび／または先行の時間ステップからの第２のセンサシステムのデータを有することができる。ニューラルネットワークのトレーニングは、第２のセンサシステムのデータが生成されるそれぞれの時間ステップに対応して適合させることができる。
【0033】
一態様によれば、第１のセンサシステムの周囲の検出を改善するために、ニューラルネットワークの入力テンソルが、現在の時間ステップに先行する時間ステップからの第２のセンサシステムのデータを有することが提案される。
【0034】
有利にはこれにより、生成された制御信号は、とりわけ、先行する時間ステップからの第２のセンサシステムのセンサデータに基づいており、したがって第１のセンサシステムの周囲の表現性を、第２のセンサシステムのデータによって、ニューラルネットワークのために改善することができる。
【0035】
一態様によれば、第１のセンサシステムの周囲の検出を改善するために、ニューラルネットワークの入力テンソルが、現在の時間ステップからの第２のセンサシステムのデータを有し、第２のセンサシステムは、先行する時間ステップから生成された制御信号により制御されることが提案される。有利には、第１のセンサシステムの周囲の領域の表現性は、現在の時間ステップからの第２のセンサシステムのデータと、先行する時間ステップからの制御信号とによって改善することができる。なぜなら、それぞれのセンサシステムのデータが同じ時間ステップで生成され、したがって高い同期性を有するからである。ニューラルネットワークのトレーニングは、第２のセンサシステムのデータが生成されるそれぞれの時間ステップに対応して適合させることができる。
【0036】
一態様によれば、第１のセンサシステムの周囲から物体リストを作成するようにニューラルネットワークを構成およびトレーニングすることが提案される。有利にはこのような物体リストによってニューラルネットワークをトレーニングすることができ、または物体リストのこのように同定された物体は、周囲を検出するために他のアクティブシステムにも提供することができる。
【0037】
一態様によれば、第１のセンサシステムはパッシブセンサシステムであり、第２のセンサシステムはアクティブシステムであることが提案される。
【0038】
この場合、アクティブセンサシステムは、その信号あるいはその生成されたデータあるいはその検出特性が、周囲の検出に関する制御信号に依存して、特定の検出要件に選択的に適合および／または制御され得るセンサシステムであり得る。制御可能なセンサシステムのそのような検出特性は、特に、選択された部分領域および／または制限された距離範囲および／または仰角範囲における決定など、制御可能なセンサシステムの検出領域内の物体の位置に関連することができる。しかし、位置的分解能のような測定特性であってもよい。対応して制御可能なセンサシステムは、アクティブセンサシステムであってよい。制御可能なセンサシステムの例は、レーダーセンサ、ＬＩＤＡＲセンサ、赤外線センサ、飛行時間センサ、光学センサである。一般的に、物体あるいは周囲に作用する制御可能な信号源により制御可能であるセンサを使用することができ、これは例えば、渦電流またはその他の熱入力を取り込むことによって、決定すべき物体の目的通りの個所で制御される温度変化を決定するサーモグラフィセンサである。
【0039】
一般的に、取り込まれた制御可能な信号源については、信号源の波長を、例えば、赤外線源の場合は０．７μｍ～１０００μｍの範囲で、ＬＩＤＡＲセンサの場合は３００～１６００ｎｍの範囲で変更することもできる。
【0040】
一態様によれば、制御信号によって第２のセンサシステムのデータが低減されることが提案される。
【0041】
代替的または追加的に、第１のセンサシステムによる物体の決定は、制御可能な第２のセンサシステムによっても、制御可能な第２のセンサシステムの検出特性を相応に変化させることにより実行することができ、検出特性のこの変化は、特に、モバイルプラットフォームの周囲の決定領域の空間サイズに関連する。第２のセンサシステムの制御をこのように利用することにより、例えば、計算時間および帯域幅を節約するために、センサデータの量を低減することができる。それに対する一例は、制御信号に応答して、画像全体ではなく、選択された画像部分だけを送出するビデオセンサである。
【0042】
一態様によれば、第１のセンサシステムのデータが、モバイルプラットフォームの操舵角および／または地理的地図データおよび／または計画されたルート経過および／または道路のカテゴリおよび／または気象条件を含むことが提案される。
【0043】
代替的または追加的に、第１のセンサシステムは、パッシブセンサシステムに対応して使用されるか、またはモバイルプラットフォームの操舵角信号および／もしくは位置特定信号などの別の制御変数によって制御されるアクティブセンサシステムであってもよい。
【0044】
地図データによる第２のセンサシステムの制御のために、第１のセンサシステムは、地図上の位置あるいは周囲における位置を決定する位置決定センサであり得る。地図データに基づいて、周囲の検出を改善するために、同様に特徴ならびに部分領域を導出することができる。
【0045】
そこから有意義に導出可能な部分領域に対する一例は、道路経過、特に道路の消失点である。消失点の近傍で物体が初めて視認される。これは図３ａ～ｄに一対の例について示されている。ハッチングによって、より正確に検出すべき部分領域が強調されている。
【0046】
代替的にまたは追加的に、第２のセンサシステムのデータが制御信号の生成に使用されることなく、かつ第１のセンサシステムのデータもニューラルネットワークに入力テンソルとして提供されることなく、個々のアクティブセンサを第２のセンサシステムとして使用することができる。この場合、ニューラルネットワークに対する入力テンソルは、例えば、制御信号を生成するためにモバイルプラットフォームの既存の信号を有しており、これら既存の信号により、単独でまたはトレーニングされたニューラルネットワークと共に第２のセンサシステムに対する制御信号を生成する。そのような入力データに対する例は、モバイルプラットフォームの操舵角および／または地図データおよび／またはモバイルプラットフォームに対して計画されたルートの経過および／または道路カテゴリ（市街地、高速道路、．．）および／または気象条件である。
【0047】
代替的または追加的に、入力テンソルは、複数の第１のセンサシステムのデータの複数の時系列を有することができる。代替的または追加的に、第１のセンサシステムは、複数のアクティブなセンサシステムに提供される複数の制御信号を生成することができる。
【0048】
一態様によれば、第１のセンサシステムは光学カメラシステムであり、第２のセンサシステムはＬＩＤＡＲセンサおよび／またはＲＡＤＡＲセンサおよび／または超音波センサであることが提案される。光学カメラシステムは、狭義での光学カメラまたはビデオシステムであり得る。
【0049】
一態様によれば、第１のセンサシステムは第２のセンサシステムと同じセンサシステムであり、センサシステムからの制御信号は、周囲の検出を改善するために後続の時間ステップで使用されることが提案される。
【0050】
そのような後続の時間ステップは、それぞれ後に続く時間ステップであり得る。
【0051】
ニューラルネットワークに対する入力データは、この態様に対応して第１のセンサシステムのデータを有さない。したがって、第２のセンサシステムの制御は、特に、現在の時間ステップに先行する時間ステップで生成された第２のセンサシステムのデータに基づくことができる。
【0052】
例えば、アクティブＬＩＤＡＲセンサは、時間的に交番して「アクティブ」モードと「パッシブ」モードで動作させることができる。「パッシブ」モードでは、第２のセンサシステムの視野全体を低い位置的分解能で検出することにより、周囲のシーンについての概要を生成することができる。得られた情報により、「アクティブ」モードでの次の時間ステップにおいて視野の小さな領域を非常に精確に測定することができる。
【0053】
一態様によれば、制御信号が、第１のセンサシステムの周囲の検出を改善するために、第２のセンサシステムを、周囲の部分領域を検出するように制御することが提案される。
【0054】
一態様によれば、ニューラルネットワークの入力テンソルは、モバイルプラットフォームの操舵角ならびに／または地理的地図データならびに／または計画されたルート経過ならびに／または道路のカテゴリならびに／または気象条件ならびに／または自律システムの現在のタスク、ならびに／またはより正確に測定すべき物体および／もしくは領域のリストを有することが提案される。
【0055】
ここで、自律システムの現在のタスクに対する例は、例えば駐車および／または障害物の回避などの運転タスクである。
【0056】
第２のセンサシステムに対する制御信号を生成するために、ニューラルネットワークをトレーニングするための方法であって、一ステップにおいて、第１のセンサシステムの周囲を検出するための第１のセンサシステムの時系列データと共に、入力テンソルがニューラルネットワークに対して提供されるステップであり、ニューラルネットワークの入力テンソルが、現在の時間ステップに先行する時間ステップからの第２のセンサシステムのデータを有するステップを有する方法が提案される。さらなるステップにおいて、第１のセンサシステムの周囲の少なくとも１つの物体が、ニューラルネットワークおよび入力テンソルによって生成される。さらなるステップにおいて、ニューラルネットワークおよび入力テンソルによって制御信号が生成される。さらなるステップにおいて、生成された少なくとも１つの物体が、対応して割り当てられた少なくとも１つの基準物体と比較される。さらなるステップにおいて、第２のセンサシステムのデータが、制御信号に基づいて次の時間ステップのために生成される。さらなるステップにおいて、周囲の物体を決定する際にそれぞれの基準物体からの偏差を最小化するために、ニューラルネットワークが適合される。
【0057】
ニューラルネットワークをトレーニングするための方法のために、ニューラルネットワークは、時系列データを処理するように、および／またはニューラルネットワークの時間に依存する状態を特徴付けるように構成されていてもよい。代替的にまたは追加的に、トレーニングするための方法のためのニューラルネットワークは、リカレントニューラルネットワークであり得る。
【0058】
基準物体は、ニューラルネットワークをトレーニングするために、ニューラルネットワークのための相応の入力データと共に特別に生成され、相応にラベル付けされた物体である。
【0059】
一態様によれば、ニューラルネットワークをトレーニングするために、少なくとも１つの物体および対応して割り当てられた基準物体は、第１のセンサシステムの周囲の少なくとも１つの物体を備えるそれぞれ１つの物体リストであること、ならびに／または少なくとも１つの物体および対応して割り当てられた基準物体は、第１のセンサシステムの周囲のそれぞれ１つの高解像度表現であることが提案される。周囲のこのような高解像度表現は、例えば、周囲の光学的に生成された画像および／またはＬＩＤＡＲシステムによって生成された表現であり得る。
【0060】
一態様によれば、ニューラルネットワークをトレーニングするために、物体リストの少なくとも１つの物体が物体検知器によって生成されることが提案される。
【0061】
言い換えると、ニューラルネットワークをトレーニングして、制御信号を生成し、例えば物体リストの少なくとも１つの物体を、物体検知器により、例えば第１のセンサシステムのデータに基づいて生成することによって、ニューラルネットワークおよび特にリカレントニューラルネットワークのトレーニングを、別個の物体検知器によって実行することができる。少なくとも１つの物体を生成することにより、物体検知器は、ニューラルネットワークによる制御信号の学習のために必要なフィードバックを可能にし、ここで、物体検知器自体を変更しないままであり得、またはそれ自体をニューラルネットワークのトレーニングに取り入れることができる。
【0062】
一態様によれば、ニューラルネットワークをトレーニングするために、第１のセンサシステムの時系列データは、真の第１のセンサシステムのデータまたは第１のセンサシステムに対してシミュレートされたデータであることが提案される。
【0063】
ニューラルネットワークのトレーニング、特にリカレントニューラルネットワークを注釈付きデータによりトレーニングするために、特に第２のセンサシステムに対してデータが提供される。なぜならこれらのデータは、制御信号に依存して第２のセンサシステムによって生成されるからである。したがって第２のセンサシステムは、その制御に大きく依存するデータを送出する。したがって、引き続いて変更されていない形式で、ニューラルネットワークのトレーニングのために使用され得るデータを、第２のセンサシステムのために収集することはできない。
【0064】
さらに、センサデータには、第１のセンサシステムおよび第２のセンサシステムのために注釈付けがなされなければならない。物体識別において通常のように、各関連の物体は、制限されたボックスと、例えば物体の種類および／または速度などのさらなる属性によって注釈付けられる。
【0065】
ニューラルネットワークは、最適化目標を記述する損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を用いたトレーニングの際に適合される。このような損失関数は、少なくとも２つの部分を有することができる。第１の部分は、物体認識の分野からの一般的な損失関数（マルチタスク損失）であり得、これは、回帰部分と分類部分とを有する。
【0066】
ニューラルネットワークの適合の際に、例えば物体を注釈付きデータ（グランドトゥルース）と比較することができる。損失関数の第２の部分は、制御信号に基づいてさらなる最適化目標を定式化することができる。それに対する一例は、例えばそれぞれのセンサシステムについてコスト削減を達成するために、ＬＩＤＡＲシステムのデータ点の数を最小化することである。
【0067】
ニューラルネットワークは、バックプロパゲーションを用いて適合およびトレーニングすることができる。前述の損失関数の適用によって、ニューラルネットワークはトレーニングの際に、例えば関連する部体を識別することを学習する。第２のセンサシステムに対する制御信号は、どのように良好に物体を識別できるかに大きく影響することがあるので、ニューラルネットワークはこの制御信号を、物体が最適に識別されるように変更するようになる。
【0068】
ニューラルネットワークをトレーニングするための前述の方法の他に、機械学習の分野から公知のさらなる方法をトレーニングに使用することができる。
【0069】
これら方法のいくつかは、
・ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）、
・強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）、
・アクティブラーニング（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）、
・教師なし／半教師あり学習（ｕｎｓｕｐｅｒｖｉｓｅｄ／ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、である。
・ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）、
・強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）、
・アクティブラーニング（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）、
・教師なし／半教師あり学習（ｕｎｓｕｐｅｒｖｉｓｅｄ／ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、である。
【0070】
一態様によれば、ニューラルネットワークをトレーニングするために、第２のセンサシステムのデータが高解像度センサシステムによって生成されること、および／または第２のセンサシステムのデータが第２のセンサシステムをシミュレートするためのシミュレーションプログラムによって生成されること、および／または第２のセンサシステムのデータが第１のセンサシステムの周囲にある第２のセンサシステムによって生成されること、が提案される。
【0071】
言い換えると、ニューラルネットワークをトレーニングするために、第１のセンサシステムのデータと第２のセンサシステムのデータの両方が、シミュレーションプログラムによって生成され得る。代替的または追加的に、ニューラルネットワークをトレーニングするための第２のセンサシステムのデータは、高解像度センサシステムのデータにより生成することができ、ここでは、高解像度センサシステムのデータから、制御信号に依存して第２のセンサシステムに対応するデータが生成される。例えば、制御信号に基づいて、高解像度センサシステムのデータから、周囲の部分領域に少なくとも対応するデータを選択することができる。代替的または追加的に、高解像度センサシステムのデータから、制御信号に依存してニューラルネットワークをトレーニングするために、解像度のより低いデータを選択することができる。この態様によれば、高解像度センサは、高解像度データを生成および記憶するために使用されることになり、高解像度データは、制御信号に対応してトレーニングのために、第２のセンサシステムのデータをシミュレートするために選択される。
【0072】
代替的または追加的に、現実世界のセンサ測定からのデータによるニューラルネットワークのトレーニングは、第２のセンサシステムのデータを直接使用して行うことができる。基準システムを用いて、トレーニングのために必要な基準データ、注釈付きの物体および／または高解像度センサデータを同時に生成することができる。
【0073】
ニューラルネットワークはまた、最小化目標関数として再構成損失を使用することで注釈付きデータなしでもトレーニングすることができる。これにより、第２のセンサシステムに対する制御信号を学習することが可能になる。これは、このような再構成損失が、情報理論の観点から最も価値のある情報を含むためである。例えば、すでに測定済みの建物は、移動も変化もしないため、次の時間ステップで再度測定する必要のないことを学習することができる。しかし歩行者は動くことができ、その外観が変化するので、これを簡単には予測できないため、各時間ステップでより正確に測定される。
【0074】
そのためにニューラルネットワークの構造が適合され、出力側で物体リストではなく高解像度センサデータが出力される。損失関数は、ニューラルネットワークの出力信号を、例えばシミュレーションからの第２のセンサシステムに対する高解像度センサデータと比較し、メトリックを使用して、それらデータがどの程度一致しているかを決定することができる。メトリックとしてとりわけ、絶対差の合計を使用することができる。このようにしてニューラルネットワークは、過去のデータと、低解像度の第１のセンサシステムのセンサデータおよび／または第２センサシステムのセンサデータとから高解像度センサデータを生成できるように、制御信号を解釈することを学習する。
【0075】
一態様によれば、ニューラルネットワークをトレーニングするために、ニューラルネットワークは、時系列データを処理するように、および／またはニューラルネットワークの時間に依存する状態を特徴付けるように、および／またはニューラルネットワークは、リカレントニューラルネットワークであるように構成されていることが提案される。
【0076】
ニューラルネットワークをトレーニングするための上記方法の１つに対応して構成されトレーニングされているニューラルネットワークが提案される。
【0077】
第１のセンサシステムの周囲を検出するための上記方法の１つに対応して、ニューラルネットワークをトレーニングするための上記方法の１つに対応して構成されトレーニングされているニューラルネットワークを有する方法が提案される。
【0078】
第１のセンサシステムの周囲を検出するための上記方法の１つを実行するように構成されている検出装置が提案される。
【0079】
少なくとも部分的に自動化され、かつモバイルプラットフォームの周囲を検出するための上記検出装置の１つを有するモバイルプラットフォームが提案され、および／またはモバイルプラットフォームは、上記のように、第１のセンサシステムと第２のセンサシステムとを有する。
【0080】
これによって、モバイルプラットフォームの周囲の検出を、経済的に低いコストで、かつ高品質の検出でもって行うことができる。
【0081】
モバイルプラットフォームとは、少なくとも部分的に自動化されたシステムであって、移動可能であり、および／または運転者支援システムであるシステムであると理解される。一例は、少なくとも部分的に自動化された車両、ないし運転者支援システムを備える車両であり得る。すなわちこの関連において、少なくとも部分的に自動化されたシステムは、少なくとも部分的に自動化された機能を基準にしてモバイルプラットフォームを含み、しかしモバイルプラットフォームは車両も、運転者支援システムを含む他のモバイルマシンも含む。モバイルプラットフォームに対するさらなる例は、複数のセンサを備える運転者支援システム、例えばロボット掃除機や芝刈り機などのモバイルマルチセンサロボットである。
【0082】
第１のセンサシステムの周囲を検出するための上記方法は、モバイルプラットフォームに対して、および／またはマルチセンサ監視システムに対しても、および／または製造機械および／またはパーソナルアシスタントおよび／またはアクセス制御システムに対して使用することができる。
【0083】
このような各システムは、完全にまたは部分的に自動化されたシステムであり得る。
【0084】
コンピュータプログラムの実行の際に、コンピュータによって上記方法の１つを実行させる命令を有するコンピュータプログラムが提案される。そのようなコンピュータプログラムによって、上記方法が簡単に例えばモバイルプラットフォームに提供可能となるようにすることができる。
【0085】
上記コンピュータプログラムが記憶された機械可読記憶媒体が提案される。そのような機械可読記憶媒体によって、上記コンピュータプログラム製品が携帯可能である。
【0086】
上に述べたような制御信号の外部センサシステムの制御のための使用が提案される。したがって制御信号は、代替的にまたは追加的に、第２のセンサシステムに対して、および／またはさらなる外部のセンサシステムに対して制御のために使用することができる。
【0087】
第１のセンサシステムの周囲を検出するための上記方法の１つを、少なくとも部分的に自動化されたモバイルプラットフォームの制御のために使用することが提案される。
【0088】
上記方法の１つにしたがって検出された第１のセンサシステムの周囲に基づいて、少なくとも部分的に自動化された車両を制御するための制御信号が生成され、および／または第１のセンサシステムの検出された周囲に基づいて車両搭乗者に警報するための警報信号が生成される方法が提案される。
【0089】
本発明の一実施例を、図１～８を参照して示し、以下で詳細に説明される。
【図面の簡単な説明】
【0090】
【図1】少なくとも１つの制御可能なセンサを備える種々の様式のセンサを有するモバイルプラットフォームを示す図である。
【図2a】リカレントニューラルネットワークを示す図である。
【図2b】リカレントニューラルネットワークを示す図である。
【図3】種々の交通状況の強調された領域を示す図である。
【図4】周囲を検出するための方法ステップを示す図である。
【図5】検出装置をデータの流れと共に示す図である。
【図6】検出装置のトレーニングの際のデータの流れを示す図である。
【図7】検出装置をトレーニングするための修正されたセットアップを示す図である。
【図8】本方法の可能な適用を示す図である。
【発明を実施するための形態】
【0091】
図１は、モバイルプラットフォームの周囲を検出するためのシステム１００を有する車両１７０を概略的に示す。車両１７０は、第１のセンサシステムに相当するビデオカメラ１１０を有し、これは検出装置１３０と信号技術的に結合されており、生成されたビデオカメラの画像を検出装置１３０に提供する。車両１７０の第２のセンサシステムに相当する制御可能なレーダーセンサ１２０が検出装置１３０と信号技術的に双方向に結合されており、その信号を検出装置１３０に提供する。ここで制御可能なレーダーセンサ１２０は、周囲のその知覚に基づいて、生成された制御信号によって制御され得る。
【0092】
このようなシステムにより制御信号を用いて、例えばレーダーセンサまたはライダーセンサのようなアクティブな第２のセンサシステム１２０の目的通りの制御が可能であり、これにより周囲の正しい検出が行われ得る。ここで制御信号は、信号を制御装置１３０から第２のセンサシステム１２０に伝送する接続信号１２５によって第２のセンサシステム１２０に伝送され得る。
【0093】
検出装置１３０は、ビデオカメラ１１０およびレーダーセンサのデータにより周囲を検出するための上記方法の１つを実施するように構成されている。
【0094】
さらに検出装置は制御装置１４０と接続されていてもよく、制御装置１４０は、例えばブレーキ１６０または操舵システム１５０と接続されている。これにより制御装置１４０は、検出装置１３０からの信号に依存して、例えば自動非常ブレーキを調整し、または操舵システムによって自動回避動作を制御することができる。
【0095】
図２ａは、入力端２１０と出力２２０とを備えるリカレントニューラルネットワーク（再帰型ニューラルネットワーク：ＲＮＮ）２００の構造を概略し、入力端２１０には入力テンソルが提供され得、出力２２０には、例えば制御信号および／または上で説明されたような物体リストが提供され得る。ここで状態変数Ｖ２３０および矢印により、ニューラルネットワークの再帰構造が暗示されている。
【0096】
図２ｂは、リカレントニューラルネットワーク２００の構造が概略されており、ここには再帰構造が「展開された」リカレントニューラルネットワークと共に示されている。入力端２１０ａ～ｃには、例えば時間ステップｔ－１，ｔ，ｔ＋１で、第１のセンサシステムの時系列データが提供され得、これらから対応の出力信号２２０ａ～２２０ｃはニューラルネットワークによって生成され得る。リカレントニューラルネットワーク２００のそれぞれ先行の状態は、それぞれ状態ベクトルＶｔ－２，Ｖｔ－１，Ｖｔ，Ｖｔ＋１を介してリカレントニューラルネットワーク２００の現在の状態を特徴付けるために使用され得る。ここでニューラルネットワーク自体は、第１のセンサシステムの周囲を検出するための方法において変化しない。
【0097】
言い換えると、時点ｔで入力データｘｔ、および先行の時間ステップＶｔ－１の状態がニューラルネットワーク２００によって処理される。ここでは出力２２０ａ～２２０ｃおよび新たな状態Ｖｔが生成される。状態Ｖｔ＋１は、次の時間ステップｔ＋１で、ニューラルネットワークに対する入力量として再び使用される。
【0098】
図３ａ～ｄは、４つの異なる道路シーンないし交通状況を概略し、ここではハッチングフィールドによって部分領域が強調されている。これら部分領域は、第１のセンサシステムの周囲の検出をすでに上で説明したように改善するために、例えば第２のセンサシステムにより制御信号を用いて検出することができる。
【0099】
図４は、第１のセンサシステム５１０の周囲を検出するための方法ステップを概略的に示すものである。
【0100】
現在の時間ステップの前にあるステップＳ１において、第２のセンサシステム５２０によりデータが生成され、このデータは入力テンソルの生成のために提供される。
【0101】
さらなるステップＳ２において、現在の時間ステップで第１のセンサシステム５１０の時系列データが周囲の検出のために提供され、これらのデータは例えば周囲の大きな領域を含む。
【0102】
さらなるステップＳ３において、第１のセンサシステム５１０の時系列データおよび第２のセンサシステム５２０の提供されたデータを備える入力テンソルが、トレーニング（訓練）されたニューラルネットワークのために生成され、このニューラルネットワークは、第２のセンサシステムにより周囲の検出を改善するために、入力テンソルに基づいて周囲の少なくとも１つの部分領域を同定するよう構成されトレーニングされている。さらなるステップＳ４において、第２のセンサシステム５２０に対する制御信号５４０が、少なくとも１つの部分領域において周囲の検出を改善するために、トレーニングされたニューラルネットワーク２００の出力信号によって生成される。さらにニューラルネットワーク２００は、例えば、遮蔽物および／または道路経過および／または物体などの特徴を内部で抽出し、場合によりそれらを物体リスト５３０としても出力することができる。これら抽出された特徴は、ニューラルネットワーク２００の内部で使用され、例えば角度および／または間隔のようなより正確に測定すべき領域を決定することができる。これらの領域においては、新たな物体が可視になり、またはすでに識別された物体がより正確に検出され得る確率が高い。このようにしてニューラルネットワーク２００は、これらの領域に依存して対応の制御信号を第２のセンサシステム５２０のために生成する。さらなるステップＳ５において、制御信号が第２のセンサシステム５２０を、周囲の部分領域を検出するように制御し、これにより第１のセンサシステム５１０の周囲の検出を改善する。この制御信号５４０によって第２のセンサシステムは、例えばその検出領域を制限することができる。第２のセンサシステム５２０は、次に相応してそのような領域のためにより精度が高いデータを生成し、それらのデータにより第１のセンサシステムの周囲がより良く検出され得る。
【0103】
図５は、第１のセンサシステム５１０の周囲を検出するための検出装置の動作時におけるデータの流れを概略し、検出装置が３つ並んで配置されて示す。ここでは先行の時間ステップが左５０１に配置されており、現在の時間ステップが中央５０２に配置されており、将来の時間ステップは右に配置されている。検出装置の中央の図にのみ、検出装置のそれぞれの詳細が図示されている。ここで検出装置は、トレーニングされたリカレントニューラルネットワーク２００を有する。第１のセンサシステム５１０は、例えばパッシブビデオセンサおよび／またはＬＩＤＡＲセンサシステムであり得、第２のセンサシステム５２０は、アクティブ制御可能なＬＩＤＡＲセンサシステムであり得る。これらセンサシステムは周期的にセンサデータを送出する。
【0104】
ここで第１のセンサシステム５１０のデータは、第１のセンサシステム５１０の周囲内の適切な領域がより正確に検出されるように第２のセンサシステム５２０を制御するために利用することができる。これによって、例えば関連する道路使用者がより早期により確実に識別され得、および／またはゴースト物体の数が低減され得る。
【0105】
時点ｔで、ディープラーニングによりトレーニングされたニューラルネットワーク２００に、第１のセンサシステム５１０のデータを備える入力信号２１０ｂが提供される。対応することが、入力データ２１０ａを伴う先行の時点ｔ－１に対して、あるいは入力データ２１０ｃを伴う後続の時点ｔ＋１に対して当てはまる。
【0106】
付加的に、トレーニングされたニューラルネットワーク２００には、先行する時点ｔ－１の第２のセンサシステム５２０のセンサデータｃｔ－１５４０ａと、先行する時点ｔ－１のニューラルネットワークの状態ベクトルｄｔ－１２３０ｂとが提供され、これにより入力テンソルが生成される。
【0107】
状態ベクトルｄｔ－１２３０ｂは時点ｔ－１のニューラルネットワークの状態ベクトルを表し、それを用いてニューラルネットワーク２００は、時間ステップにわたる情報を記憶することができる。
【0108】
さらに、入力テンソルは、例えば車両速度および／または車両操舵角等のようなさらなるデータ２１０ｂを有することができる。
【0109】
ニューラルネットワーク２００は、前述の入力データおよびその学習されたロジックに基づいて、第２のセンサシステム５２０に対する制御信号ｂｔ５４０、および例えば識別された関連の道路使用者のリストのような検出された物体のリストａｔ５３０を生成し、これら物体は、その位置および／または寸法および／または向きおよび／または物体形式によって特徴付けられている。
【0110】
この目的のために、ニューラルネットワーク２００は、先行する時間ステップにわたってセンサシステム５１０、５２０からの情報を集約している。関連する道路使用者の物体リストａｔを使用した特に正確な推定は、引き続き、例えば車両などのモバイルプラットフォームの制御に使用することができる。
【0111】
信号ｂｔは、アクティブ制御可能な第２のセンサシステムが測定しようとする角度範囲および距離範囲などの情報を有することができる。
【0112】
制御信号ｂｔ５４０を用いて、第１のセンサシステム５１０の周囲の検出が、後続の将来の時間ステップｔ＋１における第２のセンサシステム５２０によって制御される。加えて、次の時間ステップｔ＋１のために、時点ｔにおける第２のセンサシステム５２０のデータｃｔ５４０ｂおよびニューラルネットワーク２００の状態ベクトルｄｔ２３０ｃを提供することができる。
【0113】
図６は、第１のセンサシステムの周囲を検出するための検出装置のトレーニングの際のデータの流れを概略的に示すものである。
【0114】
第１のセンサシステム５１０の周囲を検出するための、図５で説明した検出装置に対応してすでに説明したデータの流れに加えて、図６には、物体リストａｔ５３０および損失関数６１０のための制御信号ｂｔ５４０のデータの流れが示されており、ここに図示しない基準物体を用いて、ニューラルネットワーク２００によって生成された少なくとも１つの物体を、上に述べたような、対応して割り当てられた基準物体と比較することができる。
【0115】
図５の第２のセンサシステム５２０のデータを制御信号ｂｔ５４０に依存して生成するために、図６では第２のセンサシステム５２０の代わりにシミュレーションプログラム６２０が設けられている。ニューラルネットワーク２００のトレーニングの経過の方法ステップは、すでにもっと上で説明した。
【0116】
図７は、第１のセンサシステムの周囲を検出するためのニューラルネットワーク２００のトレーニング時における、ニューラルネットワークの修正されたセットアップを伴うデータの流れを概略的に示すものである。
【0117】
ニューラルネットワーク２００のこのトレーニング時に、ニューラルネットワーク２００は、別個の物体検知器７１０を利用して、第２のセンサシステムに対する制御信号を生成するようにトレーニングされる。
【0118】
ここではニューラルネットワーク２０１と物体検知器７１０の両方が、先行する時点ｔ－１からの第２のセンサシステム５２０のセンサデータｃｔ－１５４０ａを受け取る。したがってニューラルネットワーク２００は、制御信号ｂｔ５４０を生成するように学習し、検知器７１０は、物体リストａｔ５３０の少なくとも１つの物体を、第２のセンサシステム５２０のデータに基づいて生成する。したがって検知器７１０は、制御信号ｂｔ５４０を生成するためのニューラルネットワークのトレーニングのためのフィードバックを、物体リストの少なくとも１つの物体ａｔを提供することにより提供し、自身は変化しないままであり得るか、または同様に最適化され得る。例えば物体リストａｔ５３０により特徴付けられる、物体検知器７１０のそれぞれの状態は、次の時間ステップｔ＋１でニューラルネットワーク２０１のための入力量として、状態ベクトルｄｔ２３０ｃに対応して使用することができる。代替的にまたは追加的に、ニューラルネットワーク２０１および物体検知器７１０に対する入力信号２１０ｂを入力量として提供することができる。言い換えると、ニューラルネットワーク２００は、制御信号ｂｔ５４０を生成するためのニューラルネットワーク２０１と、物体検知器７１０とに分割される。
【0119】
図８ａ～８ｄは、上述の方法のさらなる可能な適用分野を概略的に示すものである。
【0120】
図８ａは、欠陥のある構成部材を確実に選別するために、サーモグラフィ、渦電流、および従来の光学系により構成部材を検査するための自動試験システムにおける、前述の方法の１つの適用を概略的に示すものである。
【0121】
図８ｂは、例えば物体を確実に決定ないし分類するための、特に障害物と非障害物とを区別する、自動芝刈り機のための、前述の方法の１つの適用を概略的に示すものである。
【0122】
図８ｃは、自動アクセスコントロール、例えば、光学的および音響的な個人識別および自動ドア開放のための、前述の方法の１つの適用を概略的に示すものである。
【0123】
図８ｄは、場所や建物を監視するための、例えばカメラおよびＬＩＤＡＲセンサを使用して危険物を検査するための、前述の方法の１つの適用を概略的に示すものである。
【図1】
【図2a】
【図2b】
【図3a】
【図3b】
【図3c】
【図3d】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2023-07-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第１のセンサシステム（５１０）の周囲を検出するための方法であって、前記第１のセンサシステム（５１０）の時系列データを、前記周囲を検出するために提供するステップと、
前記第１のセンサシステム（５１０）の時系列データを備える入力テンソルを、トレーニングされたニューラルネットワーク（２００）のために生成するステップであり、前記ニューラルネットワーク（２００）が、第２のセンサシステム（５２０）により前記周囲の検出を改善するために、前記入力テンソルに基づいて前記周囲の少なくとも１つの部分領域を同定するように構成およびトレーニングされた、ステップと、
前記トレーニングされたニューラルネットワークの出力信号によって前記少なくとも１つの部分領域における前記周囲の検出を前記第２のセンサシステム（５２０）で改善するために、前記第２のセンサシステム（５２０）に対して供給される制御信号（５４０）を生成するステップと、
を備える方法。
【請求項2】
前記ニューラルネットワーク（２００）が、時系列データを処理するように、および／または前記ニューラルネットワーク（２００）の時間に依存する状態を特徴付けるように構成されている、請求項１に記載の方法。
【請求項3】
前記第１のセンサシステム（５１０）の周囲の検出を改善するために、前記ニューラルネットワーク（２００）の前記入力テンソルが、現在の時間ステップに先行する時間ステップからの前記第２のセンサシステム（５２０）のデータを有する、請求項１または２に記載の方法。
【請求項4】
前記第１のセンサシステム（５１０）が、パッシブセンサシステムであり、前記第２のセンサシステム（５２０）が、アクティブセンサシステムである、請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記第１のセンサシステム（５１０）が前記第２のセンサシステム（５２０）と同じセンサシステムであり、前記センサシステムからの制御信号が、前記周囲の検出を改善するために後続の時間ステップで使用される、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記制御信号が、前記第１のセンサシステム（５１０）の前記周囲の検出を改善するために、前記第２のセンサシステム（５２０）を、前記周囲の前記部分領域を検出するように制御する、請求項１から５のいずれか一項に記載の方法。
【請求項7】
第２のセンサシステム（５２０）に対する制御信号を生成するために、ニューラルネットワーク（２００）をトレーニングするための方法であって、第１のセンサシステム（５１０）の周囲を検出するための前記第１のセンサシステム（５１０）の時系列データと共に、入力テンソルを前記ニューラルネットワーク（２００）に対して提供するステップであり、前記ニューラルネットワーク（２００）の前記入力テンソルが、現在の時間ステップに先行する時間ステップからの第２のセンサシステム（５２０）のデータを有する、ステップと、
前記第１のセンサシステム（５１０）の周囲の少なくとも１つの物体を、前記ニューラルネットワーク（２００）および前記入力テンソルによって生成するステップと、
前記ニューラルネットワーク（２００）および前記入力テンソルによって制御信号（５４０）を生成するステップと、
前記生成された少なくとも１つの物体を、対応して割り当てられた少なくとも１つの基準物体と比較するステップと、
第２のセンサシステム（５２０）のデータを、前記制御信号（５４０）に基づいて次の時間ステップのために生成するステップと、
周囲の物体を決定する際にそれぞれの前記基準物体からの偏差を最小化するために、前記ニューラルネットワーク（２００）を適合するステップと、
を備える方法。
【請求項8】
前記少なくとも１つの物体（５３０）および前記対応して割り当てられた基準物体が、前記第１のセンサシステム（５１０）の周囲の少なくとも１つの物体を備えるそれぞれ１つの物体リストであり、ならびに／または前記少なくとも１つの物体および前記対応して割り当てられた基準物体が、前記第１のセンサシステム（５１０）の周囲のそれぞれ１つの高解像度表現である、請求項７に記載の方法。
【請求項9】
前記物体リスト（５３０）の前記少なくとも１つの物体が、物体検知器（７１０）によって生成される、請求項７に記載の方法。
【請求項10】
前記第１のセンサシステム（５１０）の時系列データが、真の第１のセンサシステム（５１０）のデータまたは前記第１のセンサシステム（５１０）に対してシミュレートされたデータである、請求項７から９のいずれか一項に記載の方法。
【請求項11】
前記第２のセンサシステム（５２０）のデータが高解像度センサシステムによって生成され、および／または前記第２のセンサシステム（５２０）のデータが、前記第２のセンサシステムをシミュレートするためのシミュレーションプログラムによって生成され、および／または前記第２のセンサシステム（５２０）のデータが、前記第１のセンサシステムの周囲にある前記第２のセンサシステム（５２０）によって生成される、請求項７から１０のいずれか一項に記載の方法。
【請求項12】
前記ニューラルネットワーク（２００）が、時系列データを処理するように、および／または前記ニューラルネットワーク（２００）の時間に依存する状態を特徴付けるように、および／または前記ニューラルネットワーク（２００）がリカレントニューラルネットワークであるように構成されている、請求項７から１１のいずれか一項に記載の方法。
【請求項13】
請求項７から１２のいずれか一項に対応して構成されトレーニングされているニューラルネットワーク（２００）。
【請求項14】
請求項１３に対応するニューラルネットワーク（２００）を備える、請求項１から６のいずれか一項に記載の方法。
【請求項15】
請求項１から６または１４のいずれか一項に記載の方法を実行するように構成されている検出装置。【国際調査報告】