特許 7164708 オブジェクトを分類するための方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-24

(45)【発行日】2022-11-01

(54)【発明の名称】オブジェクトを分類するための方法およびデバイス

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221025BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 12

(21)【出願番号】P 2021512490

(86)(22)【出願日】2019-09-06

(65)【公表番号】

(43)【公表日】2021-12-27

(86)【国際出願番号】 EP2019073828

(87)【国際公開番号】W WO2020049154

(87)【国際公開日】2020-03-12

【審査請求日】2021-04-28

(31)【優先権主張番号】18193125.4

(32)【優先日】2018-09-07

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】18194448.9

(32)【優先日】2018-09-14

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】520158920

【氏名又は名称】イベオ オートモーティブ システムズ ゲーエムベーハー

【氏名又は名称原語表記】Ｉｂｅｏ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ ＧｍｂＨ

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(74)【代理人】

【識別番号】100136168

【弁理士】

【氏名又は名称】川上 美紀

(74)【代理人】

【識別番号】100196117

【弁理士】

【氏名又は名称】河合 利恵

(72)【発明者】

【氏名】ジュリア ニッチュ

(72)【発明者】

【氏名】マックス シュミット

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１３－２００５９０（ＪＰ，Ａ）

【文献】特開２０１６－０１９２１２（ＪＰ，Ａ）

【文献】特開２００７－２８６９４５（ＪＰ，Ａ）

【文献】特開平０８－１３１４０３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ａ６１Ｂ ６／００

(57)【特許請求の範囲】

【請求項1】

オブジェクトを分類するための方法（１００）であって、
前記方法（１００）は、特徴抽出ユニット（１３）のためのセンサから測定データを提供すること（１０６）を含み、
前記方法（１００）は、前記測定データからモダリティに依存しない特徴（２４）を抽出すること（１０７）を含み、
前記モダリティに依存しない特徴（２４）は前記センサのセンサモダリティに依存しないため、前記モダリティに依存しない特徴からの前記センサの前記センサモダリティに対する結論は不可能であり、
少なくとも第１のセンサモダリティおよび第２のセンサモダリティが存在し、前記第１のセンサモダリティはライダーであり、前記第２のセンサモダリティはイメージであり、
前記特徴抽出ユニット（１３）は、各センサモダリティについて少なくとも１つの特徴抽出器（１４、１５、１６）を備え、
該特徴抽出器（１４、１５、１６）は、前記測定データから特徴を抽出し（１０８）、
前記特徴抽出ユニット（１３）は、特徴変換ユニット（１７）を備え、
前記特徴変換ユニット（１７）は、モダリティに依存しない特徴を見つけるためのユニットであり、
該特徴変換ユニット（１７）は、各センサモダリティについてのニューラルネットワークを備え、
前記特徴変換ユニット（１７）は、全てのセンサモダリティに共通する特徴を特定することによって、少なくとも２つの特徴抽出器の前記特徴からモダリティに依存しない特徴（２４）を抽出する（１０９）、
オブジェクトを分類するための方法（１００）。

【請求項2】

前記方法（１００）は、前記第２のセンサモダリティのセンサからの測定データを再構成できるような様式で、前記第１のセンサモダリティのセンサからの測定データから、モダリティに依存しない特徴（２４）を抽出するように構成される、
請求項１に記載の方法（１００）。

【請求項3】

前記特徴抽出器（１４、１５、１６）はニューラルネットワークである、
請求項１に記載の方法（１００）。

【請求項4】

前記第１のセンサモダリティの前記特徴抽出器（１４）は多層パーセプトロン（ＭＬＰ）ネットワークである、
請求項３に記載の方法（１００）。

【請求項5】

前記第２のセンサモダリティの前記特徴抽出器（１５）は畳み込みニューラルネットワークである、
請求項１または３に記載の方法（１００）。

【請求項6】

前記方法は、監視されない学習を用いて前記特徴抽出ユニット（１３）の事前のトレーニング（１０１）を含む、
請求項１から５のいずれか一項に記載の方法（１００）。

【請求項7】

前記方法（１００）は、分類ユニット（１８）を用いて前記モダリティに依存しない特徴（２４）を分類すること（１１０）を含む、
請求項１から６のいずれか一項に記載の方法（１００）。

【請求項8】

前記方法（１００）は、監視される学習を用いて前記分類ユニット（１８）を事前にトレーニングすること（１０２）を含む、
請求項７に記載の方法（１００）。

【請求項9】

前記方法（１００）は、前記特徴抽出ユニット（１３）から前記分類ユニット（１８）へ少なくとも１つの特徴ベクトルを前記転送すること（１１０ａ）を含み、
前記分類すること（１１０）は、受け取った前記特徴ベクトルと、各クラスについてそれぞれ事前に決定された平均特徴ベクトルとを、比較すること（１１０ｃ）を含み、
事前に指定された偏差限界を下回るとき、対応するクラスラベルが発行される（１１０ｆ）、
請求項７または８に記載の方法（１００）。

【請求項10】

光学距離測定のための方法であって、
請求項１から９のいずれか一項に記載のオブジェクトを分類するための方法（１００）を含む、
光学距離測定のための方法。

【請求項11】

オブジェクトを分類するためのデバイス（１０）であって、
請求項１から９のいずれか一項に記載の方法（１００）を実行するように構成される、
オブジェクトを分類するためのデバイス（１０）。

【請求項12】

請求項１から９のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクトを分類するための方法ならびにデバイスに関する。

【背景技術】

【0002】

車両の無人運転ナビゲーションで使用される場合、どのタイプの道路使用者が車両を囲んでいるか、ならびにどのタイプのインフラストラクチャが周辺域に配置されているかを知ることが不可欠である。言い換えれば、オブジェクトを分類することが不可欠である。従来技術から、オブジェクト分類またはオブジェクト検出のために異なるセンサモダリティ（ｓｅｎｓｏｒ ｍｏｄａｌｉｔｉｅｓ）の測定データを使用することが知られている。これは特に、異なるセンサモダリティの測定データが周辺域に関する補足情報を部分的に供給することができるため、有利である。したがって、個々のセンサからのデータは典型的には別々に処理され、さらにその後、別々に分類される。その後にのみ、データを再度統合し、さらに処理することができる。

【0003】

従来技術によれば、測定データから抽出されるデータはさらにモダリティに依存しており、別の分類モジュールが使用可能であるため、各センサモダリティについてトレーニングしなければならないことが必要である。特にイメージデータを含んでいないとき、これに関連して多大な労力が伴うが、それは、分類モジュールをトレーニングするためのライダー（Ｌｉｄａｒ）またはレーダーデータセットの注釈付けは非常に時間がかかり、エラーが発生しやすいからである。これは、測定されるデータが人には理解しにくく、またタスクを開始できるようになる前に、対応するデータセットに注釈を付ける人を、時間をかけてトレーニングしなければならないためである。さらに、ライダーおよびレーダーに関して、使用可能な注釈付けされたデータセットは、イメージデータセットに比べて非常に小さい。

【発明の概要】

【0004】

本発明は、従来技術に比べて、特徴を分類するための分類ユニットを、異なるセンサモダリティの測定データについて別々にトレーニングする必要はないが、単一のセンサモダリティの測定データに基づいて１回でトレーニングできるような様式で、オブジェクトを分類するための方法ならびにデバイスを改善するための目的に基づく。

【0005】

前述の目的は、本発明に従ってオブジェクトを分類するための方法によって解決される。方法は、特徴抽出ユニットのためのセンサから測定データを提供することを含む。方法は、具体的には、特徴抽出ユニットによって、モダリティに依存しない特徴を測定データから抽出することをさらに含む。モダリティに依存しない特徴は、センサのセンサモダリティに依存しないため、モダリティに依存しない特徴からのセンサモダリティに対する結論は不可能である。さらに方法は、モダリティに依存する特徴を抽出することも含む。

【0006】

「Ｓｅｎｓｏｒｍｏｄａｌｉｔａｔ」というドイツ語は、具体的には、英語の「センサモダリティ」に当たる。言い換えればセンサモダリティは、センサカテゴリまたはセンサタイプである。したがってセンサは、具体的には、センサモダリティ、すなわちセンサタイプまたはセンサカテゴリが異なる。センサモダリティは、具体的には、測定データが生成される際に用いる測定方法を決定する。センサモダリティは、好ましくは、ライダー、レーダー、イメージ、または超音波である。これは好ましくはモダリティの対応するセンサが、ライダーセンサ、レーダーセンサ、イメージセンサ、具体的にはカメラ、または超音波センサであることを意味する。

【0007】

「特徴」という用語は、具体的には、測定データからの特有の性質を言い表す。これらは具体的にはいわゆる「特徴」であり、典型的には、測定データを獲得したセンサのセンサモダリティに依存する。しかしながら、モダリティに依存しない特徴は、測定データを獲得したセンサのセンサモダリティに依存しない。言い換えれば、モダリティに依存しない特徴は、同じオブジェクトの少なくとも２つのセンサモダリティの測定データにおいて検出可能である。したがってモダリティに依存しない特徴は、共通特徴と呼ぶこともできる。言い換えれば、モダリティに依存しない特徴は一般に、センサに依存しない特徴である。センサのセンサモダリティに対する結論は、モダリティに依存しない特徴に基づくことはできない。モダリティに依存しない特徴は具体的には、結果として測定データが生じる測定方法のタイプに依存しない。

【0008】

言い換えれば、方法は、センサのセンサモダリティに依存しない測定データから、モダリティに依存しない特徴を抽出することができる。したがって、もはや特徴を分類するための分類ユニットが、各センサモダリティについて別々に提供およびトレーニングされる必要はない。異なるセンサモダリティのすべての測定データのために、単一の分類ユニットを提供するだけで十分である。

【0009】

好ましくは、少なくとも第１および第２のセンサモダリティが存在し、方法は、第２の測定モダリティのセンサからの測定データを再構成できるような様式で、第１のセンサモダリティのセンサからの測定データから、モダリティに依存しない特徴を抽出するように構成される。方法は好ましくは、第２のセンサモダリティの測定データから、すなわち、第１のモダリティの測定データを再構成できるような様式で、モダリティに依存しない特徴を抽出するように構成される。具体的には、２つより多く、特に３つまたは４つのセンサモダリティが存在し、方法は、各センサモダリティの測定データがこれらの特徴から再構成できるような様式で、モダリティに依存しない特徴を抽出する。

【0010】

再構成可能であるとは、各センサモダリティについて１つのデコーダを提供するとき、したがって、第１のセンサモダリティについて１つのデコーダおよび第２の測定モダリティについて１つのデコーダを提供するとき、それらは、モダリティに依存しない特徴から対応するモダリティの測定データを生成することができることを意味する。第１のセンサモダリティはたとえばライダーであり、第２のモダリティはイメージである。特徴抽出ユニットは、ライダー測定データからモダリティに依存しない特徴を抽出することができる。たとえモダリティに依存しない特徴がライダー測定データからのみ生じる場合であっても、イメージ、すなわち第２のセンサモダリティの測定データは、それによって、これらのモダリティに依存しない特徴から再構成することができる。

【0011】

センサモダリティは、好ましくは測定データのタイプを決定し、測定データのタイプはレーダー測定データ、ライダー測定データ、イメージデータ、または超音波測定データである。

【0012】

測定データは、具体的には点群（ｐｏｉｎｔ ｃｌｏｕｄ）および／またはイメージデータとすることができる。点群は具体的には、ソートされていない点群である。方法は、好ましくは、それぞれの他の測定モダリティの測定データが再構成できるような様式で、点群および／またはイメージデータからモダリティに依存しない特徴を抽出するように構成される。特徴抽出ユニットは、具体的には、点群および／またはイメージデータからモダリティに依存しない特徴を抽出するように構成され、そのため、それぞれの他のセンサモダリティの測定データ、すなわちイメージおよび／または点群が、モダリティに依存しない特徴から再構成できる。

【0013】

センサは具体的には第１のセンサモダリティを有し、これは好ましくは、センサが或るセンサモダリティに対応することを意味する。センサは、好ましくは単一のセンサモダリティのみを有することができる。

【0014】

方法は、測定データの、具体的には分類の目的の測定データの生成を含み、その後、測定データは特徴抽出ユニットに渡される。測定データは具体的にはライダー測定データであり、したがって、第１のセンサモダリティのセンサはライダーセンサである。測定データを生成するために、方法は特に、具体的にはライダー測定データを生成するための複数の測定パルスの伝送を含む。異なるセンサモダリティの測定データは、特に同じシーンから生じる。

【0015】

測定パルスは、具体的には光信号、具体的には電磁信号である。測定パルスは、好ましくは、人間の目に見えるレンジからは発生しない波長を有する。安全上の理由で、好ましくは不可視赤外線が使用される。測定パルスは、好ましくはパルス幅を有し、したがって、測定パルスは電磁放射の時限部分として理解できることになる。測定パルスは電磁信号であり、したがって測定パルスの速さがわかることに起因して、測定パルスが飛行時間内にカバーしている距離に関して、測定パルスの飛行時間から光の速さを用いて結論を引き出すことができる。

【0016】

方法は具体的には、複数のスキャンの実施を含む。これは、測定パルスまたは測定パルスのシーケンスが、異なる指示の下で連続的に伝送されることを意味する。方法は具体的には、ライダースキャン方法である。測定パルスを測定するべきレンジ内に伝送した後、それぞれのスキャンが終わり、新しいスキャンを開始することができる。各スキャンが終わった後、モダリティに依存しない特徴は、具体的には、オブジェクトを分類するために、特徴抽出ユニットによって測定データから抽出される。

【0017】

方法は、具体的には、第２のセンサモダリティのセンサから測定データを生成することを含み、方法は、特徴抽出ユニットに測定データを提供することを含む。第２のセンサモダリティおよび第１のセンサモダリティは、好ましくは異なる。言い換えれば、方法は好ましくは、第２のセンサモダリティのセンサから測定データを生成すること、ならびに第１のセンサモダリティのセンサから測定データを生成することを含み、方法は、特徴抽出ユニットに両方のセンサモダリティの測定データを提供することを含む。方法は、第３のセンサモダリティのセンサから測定データを生成することをさらに含むことができ、この測定データは同様に特徴抽出ユニットに提供される。第３のセンサモダリティ、第２のセンサモダリティ、および第１のセンサモダリティは、好ましくは異なる。方法は、第４のセンサモダリティのセンサから測定データを生成することをさらに含むことができ、この測定データは同様に特徴抽出ユニットに提供される。第１のセンサモダリティおよび／または第２のセンサモダリティおよび／または第３のセンサモダリティおよび／または第４のセンサモダリティは、ライダー、レーダー、イメージ、または超音波とすることができる。特に、センサモダリティは異なる。

【0018】

したがって方法は、具体的には、異なるセンサモダリティの測定データを生成すること、およびモダリティに依存しない特徴を抽出することを含み、したがって、分類ユニットをトレーニングするために他のセンサデータに頼ることができるという利点が得られる。

【0019】

特徴抽出ユニットは、好ましくは、各センサモダリティについて少なくとも１つの特徴抽出器を備え、特徴抽出器は測定データから特徴を抽出する。いずれの場合にも、特徴抽出ユニットは具体的には、測定データを生成する、センサの各センサモダリティについて１つの特徴抽出器を備える。特徴抽出ユニットは、具体的には、第１のセンサモダリティ、すなわち好ましくはライダー測定データについて特徴抽出器を備え、特徴抽出器は、ライダー測定データからライダー特徴を抽出するように構成される。それによって特徴抽出器によって抽出される特徴は、１つのセンサモダリティの測定データにおいてのみ見ることができる特徴、言い換えれば、モダリティに依存する特徴、ならびに、いくつかのセンサモダリティにおいて見ることができる特徴、言い換えればモダリティに依存しない特徴を含む。しかしながら特徴抽出器は、これらの特徴を互いに区別することができない。言い換えれば特徴抽出器は、どの特徴がモダリティに依存し、どの特徴がモダリティに依存しないかがわからない。

【0020】

特徴抽出ユニットは、より好ましくは、対応する測定データから特徴を抽出するように、たとえば、レーダー測定データから対応するレーダー特徴を、またはイメージデータから対応するイメージ特徴を抽出するように構成された、第２のセンサモダリティおよび／または第３のセンサモダリティおよび／または第４のセンサモダリティについてのそれぞれの対応する特徴抽出器を備える。

【0021】

特徴抽出器は、具体的には「エンコーダ」であり、好ましくはセンサモダリティに応じて、ライダーエンコーダ、レーダーエンコーダ、イメージエンコーダ、または超音波エンコーダである。エンコーダは、好ましくは、特に測定データがライダー測定データであるとき、点群エンコーダとすることが可能である。

【0022】

いずれの場合にも、特徴抽出器は具体的にはニューラルネットワークを備える。特徴抽出器は、具体的にはニューラルネットワークである。好ましくは、ニューラルネットワークは各センサモダリティに使用され、検出可能な特徴を最適に抽出する。

【0023】

さらに好ましくは、特徴抽出器は、第２のセンサモダリティについて、すなわち好ましくはイメージデータについて、少なくとも１つの畳み込み層を備える畳み込みニューラルネットワーク（ＣＮＮ）を備える。各層は複数の人工ニューロンを含む。

【0024】

ＣＮＮの各層は、畳み込み層として構成可能である。畳み込み層は、具体的には畳み込みを実施する。ＣＮＮは具体的には少なくとも５つ、好ましくは少なくとも１０、具体的には少なくとも１５の層を備える。

【0025】

すべての層（最後の層を除く）は、いずれの場合にも、特に非線形関数、具体的にはいわゆるＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）関数によって活性化される。したがって、ＲｅＬＵ関数は「整流線形ユニット」である。言い換えれば、これは、正のｘ値レンジ内で線形であるが、負のｘ値レンジ内ではゼロであり、ｘはニューロンの入力値を表す。最後の層は、好ましくは、すべての数値を最終ステップとして許可するために活性化関数は有さない。

【0026】

ＣＮＮは、イメージの形、具体的には行列の形で、入力を処理することができる。最後の層において、ＣＮＮはたとえば直線などの単純な特徴を抽出し、ネットワークが深くなるほど抽出される特徴は複雑になる（たとえば、Ｌ特徴、円形特徴、星形特徴、高次元特徴）。したがってネットワークの出力は、具体的にはベクトルの形の特徴である。出力はイメージコードとも呼ばれる。このイメージコードは、特徴再変換ユニットの再生成されたイメージコードと区別するために、下記では「実イメージコード（ｒｅａｌ ｉｍａｇｅ ｃｏｄｅ）」とも呼ばれる。

【0027】

第１のセンサモダリティについて、すなわち好ましくはライダー測定データについての特徴抽出器は、具体的には、層（ＭＬＰ層）として少なくとも１つの「多層パーセプトロン」を備える、「多層パーセプトロン」（ＭＬＰ：ｍｕｌｔｉ ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）ネットワークを備える。各層は、複数の人工ニューロンを含む。ＭＬＰネットワークは、具体的には複数のＭＬＰ層を備える。ＭＬＰ層はすべて、好ましくはいずれの場合にも非線形関数によって、具体的にはいわゆるＲｅＬＵ関数によって活性化（ａｃｔｉｖａｔｅｄ）される。ＭＬＰは好ましくは、少なくとも３つの、具体的には少なくとも５つの層を有し、層はいくつかの副層を備えることができる。

【0028】

ＭＬＰネットワークは、少なくとも１つの完全に接続された層をさらに備えることが可能であり、この層は非線形関数によって、具体的にはいわゆるＲｅＬＵ関数によって活性化することも可能である。

【0029】

ＭＬＰネットワークは、点群の形の入力を処理することができる。したがってネットワークの出力は、具体的にはベクトルの形の特徴である。出力は点群コードとも呼ばれる。この点群コードは、特徴再変換ユニットの再生成された点群コードと区別するために、下記では「実点群コード」とも呼ばれる。

【0030】

さらに好ましくは、特徴抽出ユニットは、少なくとも２つの特徴抽出器の特徴からモダリティに依存しない特徴を抽出する、特徴変換ユニットを備える。「変換」という用語は、具体的にはモダリティに依存しない特徴を見つけることと理解するべきであり、後者は共通特徴空間に記憶される。言い換えれば、特徴は共通空間内で見つけられ、表示される。言い換えれば、したがって特徴変換ユニットは、モダリティに依存しない特徴を見つけるためのユニットと理解するべきである。特徴抽出器が抽出するすべての特徴は、具体的には特徴変換ユニットに提供され、特徴変換ユニットはこのすべての特徴からモダリティに依存しない特徴を抽出する。

【0031】

利点は、モダリティに依存しない特徴に基づいて、特徴が生じるセンサのセンサモダリティに対する結論をもはや引き出せないことである。抽出および変換の結果として、特徴抽出ユニットは、具体的には、モダリティに依存しない特徴ベクトルを発行する。特徴抽出ユニットは、特に、分類目的で分類ユニットに特徴ベクトルを提供する。

【0032】

特徴変換ユニットは、特に、各センサモダリティについて１つのニューラルネットワークを備える。ネットワークは、モダリティに依存しない特徴および任意選択としてモダリティに依存する特徴を見つけるという目的、ならびに共通特徴空間内に記憶するという目的を果たす。特徴変換ユニットは、特徴を、具体的には特徴抽出器から生じる特徴ベクトルを、入力として処理するように構成される。

【0033】

特徴変換ユニットの各ニューラルネットワークは、具体的には、少なくとも１つの完全に接続された層を備える。好ましくは、ネットワークは少なくとも２つの、好ましくは少なくとも３つの、完全に接続された層を備える。完全に接続された層は、好ましくは、いずれの場合にも、非線形関数、具体的にはいわゆるＲｅＬＵ関数を用いて活性化される。ネットワークは、少なくとも１つのドロップアウト層をさらに備えることができる。ネットワークは具体的には、２つの完全に接続された層の間に１つのドロップアウト層が配置されるような様式でセットアップされる。ネットワークは、特に５層を備える。したがって最後の層は、活性化を有することができない。特徴変換ユニットの異なるセンサモダリティのすべてのニューラルネットワークは、具体的には同等にセットアップされる。

【0034】

特徴変換ユニットのネットワークの出力は、モダリティに依存しない特徴、具体的にはベクトルの形である。特徴変換ユニットは、さらに追加としてモダリティに依存する特徴も発行する。言い換えれば、特徴変換ユニットは、異なるセンサモダリティのすべての測定データ内で検出可能な、すなわち、共通のすべてのセンサモダリティを有する、特徴を探す。これらのモダリティに依存しない特徴が発行される。しかしながら追加として、１つのセンサモダリティにのみ現れる特徴、すなわちモダリティに依存する特徴も発行することができる。

【0035】

第１のセンサモダリティのニューラルネットワークは、具体的にはモダリティに依存しない特徴、すなわち共通特徴、および任意選択としてライダー特有の特徴を発行する。第２のセンサモダリティのニューラルネットワークは、具体的にはモダリティに依存しない特徴、すなわち共通特徴、および任意選択としてイメージ特有の特徴を発行する。共通特徴は、同じシーンのライダー測定データおよびイメージデータに含まれる特徴である。

【0036】

出力は、特徴コードとも呼ばれる。ネットワークがモダリティに依存する特徴も発行する場合、具体的には、モダリティに依存する特徴およびモダリティに依存しない特徴が配置されるべき場所の、言い換えればその出力のインデックスの、ネットワークに指定することができる。したがって、出力を分割することができる。

【0037】

具体的な例は、そのライダー測定データおよびイメージデータが使用可能なストライプ壁であろう。ストライプは、ライダー測定データ内では検出不可能であるが、イメージデータ内では検出可能である。この状況は、壁の深度情報については逆である。壁の深度情報は、ライダー測定データから導出可能であるが、イメージデータからは導出できない。したがって、ストライプはイメージ特有の特徴である一方で、深度情報はライダー特有の特徴である。イメージデータ内ならびにライダー測定データ内で検出可能な壁の輪郭は、共通特徴である。
少なくとも１つの特徴抽出器の抽出される特徴は、好ましくはベクトル、いわゆる特徴ベクトルである。それぞれの特徴抽出器は、具体的には、特にベクトルの形の特徴を抽出するが、いずれの場合にも、センサモダリティに応じて別々の空間内にある。言い換えれば、異なるセンサモダリティからの特徴は別々の空間内にある。

【0038】

特徴変換ユニットは、別々の空間の特徴を共通空間内、いわゆる特徴空間内に変換するように構成可能である。特徴空間は、具体的にはベクトル空間、好ましくはメトリック空間である。

【0039】

異なるセンサモダリティからのすべての特徴、言い換えればすべての特徴抽出器の出力は、具体的には特徴変換ユニットに供給される。特徴変換ユニットは、特徴の第１の部分が共通特徴空間内にあるような様式で特徴を変換する。この空間は、両方のモダリティを共通に有する、特徴を表示する。両方のモダリティを共通に有するこれらの特徴は、モダリティに依存しない特徴、言い換えれば共通特徴である。

【0040】

さらに、特徴の他の部分はそれぞれ、異なる特徴空間、言い換えればモダリティに依存するかまたはモダリティ特有の特徴空間内にあることが可能である。第２の部分は、たとえば第１のセンサモダリティに割り当てられた特徴空間内にあり、また第３の部分は、第２のセンサモダリティに割り当てられた特徴空間内にある。同様のことが、第３および第４のセンサモダリティにも適用可能である。これらの特別な空間は、各々、１つの特定のモダリティにしか見られない特徴を含む。

【0041】

好ましくは、方法は、特徴抽出ユニットの、具体的には特徴変換ユニットおよび／またはそれぞれの特徴抽出器の、前のトレーニングを含むことができる。「前の」という用語は、より好ましくは、トレーニングが分類のための測定データの生成より前に実施されることを意味する。このため、少なくとも１つのデータセットが、学習のために特に機能抽出ユニットに提供される。監視されない学習は、具体的には少なくとも１つの注釈付けされないデータセットに基づいて実施される。特徴変換ユニット、好ましくは特徴変換ユニットおよび／またはそれぞれの特徴抽出器は、具体的には、モダリティに依存しない特徴を学習するために監視されない学習を用いてトレーニングされる。

【0042】

特徴抽出ユニット、具体的には特徴変換ユニットおよび／またはそれぞれの特徴抽出器を、具体的にはトレーニングすることができる。特徴変換ユニットはさらに、掘り下げた学習、いわゆる深層学習を用いてトレーニングすることができる。

【0043】

特徴変換ユニットおよび／またはそれぞれの特徴抽出器は、具体的には監視されない学習を用いてトレーニングされる。したがって、トレーニングされるそれぞれのニューラルネットワークは、学習を用いて指定される重みを備える。

【0044】

好ましくは、特徴抽出器は最初にトレーニングされる。エンコーダと呼ばれる特徴抽出器は、好ましくは対応するデコーダと共にトレーニングされる。これは、それらが異なるユニットの外側層を表すため、有利である。これにより、各センサモダリティのエンコーダおよびデコーダは、他方のセンサモダリティから別々に学習されるため、異なるデータセットに関して学習することができる。したがって具体的には、いくつかのセンサモダリティの測定データを備える、広範囲にわたって生成されるデータセットに対する依存性はない。

【0045】

特徴抽出器のトレーニングは、入力の提供を含む。入力は、具体的にはセンサモダリティ特有である。言い換えれば、第１のセンサモダリティについての特徴抽出器への入力は、ライダー測定データ、言い換えれば点群であり、第２のセンサモダリティへの入力はイメージデータである。

【0046】

入力は、好ましくは、特徴を出力として発行する特徴抽出器に挿入される。第１のセンサモダリティについての特徴抽出器は点群コードを発行し、第２のセンサモダリティについての特徴抽出器はイメージコードを発行する。この「実」コードは、それぞれのデコーダ内に直接挿入され、それぞれのデコーダは、そこからセンサモダリティに依存する出力を再度生成する。言い換えれば、第１のセンサモダリティについてのデコーダは再度点群を生成し、第２のセンサモダリティについてのデコーダは再度イメージを、具体的にはグレースケール値イメージを生成する。

【0047】

デコーダのこのセンサモダリティ特有の出力は、それぞれのエンコーダに挿入されたそれぞれのセンサモダリティ特有の入力と比較される。これは、デコーダの出力が、エンコーダに与えられた入力と同一であるべきであるという条件として設定される。対応するニューラルネットワークの重みは、この条件に基づいて指定されるため、類似度は可能な限り高くなる。

【0048】

好ましくは、第２のセンサモダリティについてのデコーダは、「再生成された」イメージのグレースケール値を発行し、このグレースケール値は元の入力イメージのグレースケール値と比較される。これが入力としてのカラーイメージである場合、入力のグレースケール値イメージは、各ピクセルのＲ、Ｇ、Ｂ値の単純な総和、およびその後の３による除算によって生成可能である。比較のために、特に損失関数が使用され、デコーダの生成されたグレースケール値イメージのグレースケール値と、入力の実グレースケール値イメージのグレースケール値との、「平均二乗誤差」を比較する。

【0049】

好ましくは、第１のセンサモダリティについてのデコーダは「再生成された」点群を発行し、特徴抽出器に提供された点群と比較される。比較のために、好ましくは点群間のチャンファ距離（Ｃｈａｍｆｅｒ ｄｉｓｔａｎｃｅ）が決定される。これにより、他方の点群の最も近い点までの距離は、好ましくは、一方の点群の各点について決定される。同じことが、他方の点群の各点について、類似的に実施される。距離は合計される。すべての距離の合計がチャンファ距離である。点群は、同様であるほど小さくなる。特に損失関数が使用され、デコーダの生成された点群と元の点群との間のチャンファ距離を比較する。損失はゼロに等しい。

【0050】

特徴変換ユニットは、第２のステップとしてトレーニングすることができる。好ましくは、特徴変換ユニットは特徴再変換ユニットと共にトレーニングされる。特徴再変換ユニットは、好ましくは同様に、各センサモダリティについてのニューラルネットワークを有する。したがってトレーニングのために、異なるセンサモダリティの対応するエンコーダおよびデコーダも使用されるが、しかしながら、それらのトレーニングはその時点ですでに終わっているため、それらの重みが指定される。

【0051】

特徴再変換ユニットのニューラルネットワークは、少なくとも１つの完全に接続された層を有する。ニューラルネットワークは、具体的には２つのサブユニット、モダリティに依存する特徴が処理される１つのユニット、および、モダリティに依存しない特徴を処理可能な１つのユニットを有する。

【0052】

好ましくは、ネットワークは少なくとも２つ、好ましくは少なくとも３つの、完全に接続された層を備える。完全に接続された層は、好ましくは各々、非線形関数、具体的にはいわゆるＲｅＬＵ関数を用いて活性化される。ネットワークはさらに、少なくとも１つのドロップアウト層を備えることができる。ネットワークは、具体的には、２つの完全に接続された層の間に１つのドロップアウト層が配置される様式で、セットアップされる。最後の層は活性化を有さない。

【0053】

特徴変換ユニットをトレーニングするために、いずれの場合にも、センサモダリティに依存する、すなわち同じシーンのモダリティ特有の入力は、特徴抽出器に提供される。言い換えれば、第１のセンサモダリティについての特徴抽出器への入力はライダー測定データ、言い換えれば点群であり、第２のセンサモダリティへの入力はイメージデータである。

【0054】

入力は好ましくは特徴抽出器に挿入され、出力として特徴を発行する。第１のセンサモダリティについての特徴抽出器は点群コードを発行し、第２のセンサモダリティについての特徴抽出器はイメージコードを発行する。次にこのコードは特徴変換ユニットの対応するニューラルネットワークに挿入され、特徴変換ユニットはそこから、モダリティに依存しない特徴および任意選択としてモダリティに依存する特徴を抽出する。

【0055】

ニューラルネットワークの出力は、特徴再変換ユニットの対応するニューラルネットワークに挿入され、特徴再変換ユニットは特徴からセンサモダリティに依存するコードを再度生成する。言い換えれば、第１のセンサモダリティについての特徴再変換ユニットのニューラルネットワークは、点群コードを再度生成し、第２のセンサモダリティについての特徴再変換ユニットのニューラルネットワークは、イメージコードを再度生成する。

【0056】

異なるネットワークの共通特徴、または異なるモダリティの共通特徴は、それぞれ同一であることが、主な条件として設定される。このため、第１のセンサモダリティについての特徴変換ユニットのニューラルネットワークが生成した共通特徴、および、第２のセンサモダリティについてのニューラルネットワークが生成した共通特徴が、比較される。両方のモダリティにおいて検出可能な同じ特徴のコサイン類似度は、具体的にはゼロに等しい。これは、共通特徴を見つけるという目的に役立つ。

【0057】

特徴再変換ユニットのそれぞれのニューラルネットワークのコードは、対応する特徴抽出器の「実」コード、すなわち特徴抽出器の出力と、さらに比較される。順変換および逆変換は同じコード、すなわち同じ特徴を受け取ることであるということが、第１のステップにおいて二次条件として設定される。言い換えれば、平均二乗誤差はゼロに等しいということが、二次条件として指定される。これは具体的には、特徴変換ユニットへのニューラルの初期重みを学習するという目的に役立つ。

【0058】

好ましくは、最初に好ましくは少なくとも１００、最大で３００、最も好ましくは２００のエポック（ｅｐｏｃｈｓ）の下記条件を有する、損失関数が使用される。

【0059】

・両方のモダリティの共通特徴のコサイン類似度
・特徴抽出器の「実イメージコード」と特徴再変換ユニットの再変換されたイメージコードとの間の平均二乗誤差
・特徴抽出器の「実点群コード」と特徴再変換ユニットの再変換された点群コードとの間の平均二乗誤差

【0060】

ゼロに等しい上記条件の共通損失が決定され、重みの適合によって最適化される。

【0061】

第２のステップにおいて、特徴再変換ユニットのニューラルネットワークの出力はそれぞれのデコーダに挿入され、次いでデコーダの出力は、特徴抽出器に挿入された入力と比較される。その後、主条件は、もはや特徴またはコードの識別は示さないが、特徴抽出器の元のモダリティに依存する入力およびデコーダの出力の識別を示す。

【0062】

好ましくは、第２のセンサモダリティについてのデコーダは、「再生成された」イメージのグレースケール値を発行し、これが元の入力イメージのグレースケール値と比較される。比較のために、デコーダの生成されたグレースケール値イメージのグレースケール値と、入力の実グレースケール値イメージのグレースケール値との、「平均二乗誤差」が比較される。

【0063】

好ましくは、第１のセンサモダリティについてのデコーダは「再生成された」点群を発行し、これが点群と比較される。比較のために、好ましくはチャンファ距離が決定される。

【0064】

最後に、好ましくは少なくとも１００、最大で３００、最も好ましくは２００のエポックの下記条件が設定される。

【0065】

・両方のモダリティの共通特徴のコサイン類似度
・「実イメージデータ」と生成されたイメージデータとの間の平均二乗誤差
・「実点群」と生成された点群との間のチャンファ距離

【0066】

上記条件の共通損失が決定され、重みの適合によって決定され、最適化される。

【0067】

方法は具体的には、分類ユニットを用いて、モダリティに依存しない特徴の、具体的には特徴抽出ユニットから受け取った特徴ベクトルの、分類を含む。方法は具体的には、すべてのセンサモダリティのセンサのすべての特徴を分類するための単一の分類ユニットを使用し、これから測定データが生成および提供される。方法は具体的には、各センサモダリティについて別々の分類ユニットを使用することを含まない。

【0068】

方法はさらに、監視される学習を用いて分類ユニットを事前にトレーニングすることを含むことができる。このため特に、学習のための少なくとも１つのデータが分類ユニットに提供される。分類ユニットは、具体的には注釈付けされたイメージデータに基づいてトレーニングされる。「事前」という用語は、より好ましくは、トレーニングが分類の目的での測定データの生成より前に実施されることを意味する。分類ユニットは、具体的には、モダリティに依存しない特徴を分類するために、監視される学習を用いてトレーニングされる。

【0069】

注釈付けされたイメージデータセットに基づく分類ユニットのトレーニングは、具体的には、注釈付けされたイメージデータセットが現在、注釈付けされたデータの最大量を構成するため、特に有利である。特徴抽出ユニットが、センサモダリティに依存しない、モダリティに依存しない特徴を抽出するように構成されるという事実に起因して、単一のセンサモダリティのデータセットに基づいてとトレーニングされた、単一の分類ユニットを使用することができる。たとえ分類ユニットが、好ましくは注釈付けされたイメージデータセットを使用してトレーニングされた場合であっても、抽出された特徴のモダリティに依存しないことに基づいて、たとえライダー測定データを使用してトレーニングされたことが一切ない場合であっても、ライダー測定データからの特徴を分類することが同様に可能である。これは、本方法が従来技術に比べて著しく有利であることを示す。

【0070】

方法は、特に、特徴抽出ユニットから分類ユニットへ少なくとも１つの特徴ベクトルを転送することを含む。この特徴ベクトルは、モダリティに依存しない特徴のみ、または追加としてモダリティに依存する特徴を含むことができる。分類は、受け取った特徴ベクトルと、各クラスについてそれぞれ事前に指定された平均特徴ベクトルとを比較することを含み、事前に指定された偏差限界を下回るとき、対応するクラスラベルが発行される。

【0071】

分類ユニットをトレーニングすることは、特にクラスの決定を含むことができる。分類ユニットは、具体的にはクラスを決定し、このクラスについて、トレーニングが終了した後に、トレーニングのために分類ユニットに提供された少なくとも１つのデータセットに基づいて、いわゆるクラスラベルを割り当てることである。１つのクラスは、たとえば車に関することが可能である一方で、他のクラスは歩行者に関する。

【0072】

トレーニングのための少なくとも１つのデータセットは、好ましくは複数の特徴ベクトルを備え、複数の特徴ベクトルを各クラスに割り当てることができる。トレーニングは、各クラスについて平均特徴ベクトルを決定することをさらに含むことができる。クラスの平均特徴ベクトルは、特にこのクラスの特徴ベクトルを平均化することによって決定される。方法は、平均特徴ベクトルを記憶することを含む。

【0073】

方法は、具体的には特徴抽出ユニットから分類ユニットへ、分類ユニットを用いて分類されるべき少なくとも１つの特徴ベクトルを転送することを含む。まず第一に、特徴ベクトルの処理は、具体的には分類ユニットを用いて行われる。結果として、処理された特徴ベクトル、特にボトルネックベクトルが受け取られる。処理は特に、異なるクラス間のより明確な分離ラインが検出可能であるという目的に役立つ。

【0074】

分類ユニットは、具体的にはニューラルネットワークを備え、ニューラルネットワークは好ましくは少なくとも３つ、好ましくは少なくとも４つ、具体的には５つの層を備える。ニューラルネットワークは、具体的には少なくとも１つの完全に接続された層を備える。好ましくは、ネットワークは少なくとも２つ、好ましくは少なくとも３つの、完全に接続された層を備える。完全に接続された層は、好ましくはいずれの場合にも、非線形関数、具体的にはいわゆるＲｅＬＵ関数を用いて活性化される。ネットワークは、特に５つの層を備える。したがって、最後の層は活性化を有さない。最後の層はボトルネックベクトルと呼ばれる。

【0075】

分類ユニットのニューラルネットワークは、特徴ベクトルの処理に役立つ。結果として、好ましくはボトルネックベクトルが受け取られる。

【0076】

分類ユニットは、決定モジュール（ｄｅｃｉｓｉｏｎ ｍｏｄｕｌｅ）をさらに備えることができ、決定モジュールは、受け取った特徴ベクトルと平均特徴ベクトルとの間の比較を実施する。平均特徴ベクトルは、具体的には平均ボトルネックベクトルでもある。修正された特徴ベクトルは、具体的には平均特徴ベクトルと比較される。それによって平均特徴ベクトルは、分類ユニットの或るトレーニングされた知識を表す。

【0077】

比較のために、各々の場合において、好ましくは処理された特徴ベクトルの受け取った特徴ベクトルと、平均特徴ベクトルとの間のコサイン類似度が、特に決定される。偏差限界、いわゆる閾値は、具体的にはあらかじめ指定される。これは、或るクラスが検出されるべき類似度を指定する目的、または、クラスラベルがもはやこのクラスに割り当てられなくなるべき偏差を開始する目的の、それぞれに役立つ。平均特徴ベクトルに対する偏差限界を下回るとき、対応するクラスラベルが発行される。言い換えれば、クラスの平均特徴ベクトルに対する類似度が十分な場合、分類モジュールはこのクラスのオブジェクトを検出し、対応するクラスラベルを発行する。

【0078】

平均特徴ベクトルからの事前に指定された偏差限界のすべてを超えるとき、決定モジュールは、結果としてクラスのオブジェクトが検出されなかった旨を発行することができる。具体的には、クラスラベルが発行されない。比較ならびに発行は、特に分類ユニットの決定モジュールを用いて行われる。したがって決定モジュールは、分類ユニットの或る知識からの偏差に応答してクラスラベルが発行されるべきであるかどうかを決定する。

【0079】

本発明は、オブジェクトを分類するための前述の方法を含む、光学距離測定のための方法をさらに含む。

【0080】

光学距離測定は、具体的には、光信号、ここでは光学測定パルスを使用することによって、距離が決定されるという点で特徴付けられる。「距離」という用語は、レンジとして理解されるべきである。測定パルスによってカバーされる距離は、方法を実行するための測定パルスを伝送したデバイスと、測定パルスを反射したオブジェクトとの間のルートに加えて、オブジェクトと、対応する反射した測定パルスを受け取ったデバイスとの間のルートとして理解されるべきである。反射した測定パルスは、各々の場合において、送信された測定パルスの後方散乱信号を表す。言い換えれば、オブジェクトで反射した測定パルスは、伝送ユニットを用いてあらかじめ伝送された測定パルスである。光学距離測定は、好ましくは飛行時間原理に基づく。

【0081】

オブジェクトを分類するための方法および／または距離を測定するための方法は、具体的には、無人運転車両のナビゲーションに役立つ。

【0082】

さらなる態様において、本発明は、オブジェクトを分類するための前述の方法を実行するように構成された、オブジェクトを分類するためのデバイスを含む。

【0083】

デバイスは、具体的には送信ユニットおよび受信ユニットを備える。具体的には、受信ユニットは各々の場合、各センサモダリティについて少なくとも１つのセンサを備え、送信ユニットは各々の場合、それぞれのセンサモダリティの測定データを生成するための信号を送信するために、測定データを生成するための対応する送信モジュールを有することができる。

【0084】

デバイスは具体的には、第１のセンサモダリティのセンサ、好ましくは第２のセンサモダリティのセンサ、および／または、第３のセンサモダリティのセンサ、および／または第４のセンサモダリティのセンサを備える。したがってデバイスは、具体的には、少なくとも２つのセンサモダリティ、好ましくは３つまたは４つのセンサモダリティの、測定データを生成するように構成される。

【0085】

デバイスは具体的にはスキャニングライダーセンサであり、スキャニングライダーセンサは、好ましくは他のセンサモダリティのさらなるセンサを備えることができる。デバイスは特に、距離測定のための前述の方法を実行するようにさらに構成することができる。

【0086】

デバイスはさらに特徴抽出ユニットを備え、特徴抽出ユニットは、使用されるセンサの各センサモダリティについて１つの特徴抽出器を有する。特徴抽出ユニットは、特徴抽出器の抽出された特徴から、モダリティに依存しない特徴および任意選択としてモダリティに依存する特徴を抽出するための、特徴変換ユニットをさらに備える。特徴変換ユニットは、具体的には監視されない学習を用いてトレーニングされ、より好ましくは、分類ユニットは具体的には監視される学習を用いてトレーニングされる。

【0087】

デバイスは、具体的には無人運転車両のナビゲーションに役立つ。

【0088】

本発明は、プログラムが記憶されるコンピュータ可読記憶媒体を備えるコンピュータプログラム製品をさらに含み、コンピュータ可読記憶媒体は、コンピュータのメモリにロードされた後、任意選択として前述のデバイスと共に、オブジェクトを分類するためおよび／または距離特定のための前述の方法をコンピュータに実行させることが可能になる。

【0089】

本発明はさらに、プログラムが記憶されるコンピュータ可読記憶媒体に関し、コンピュータ可読記憶媒体は、コンピュータのメモリにロードされた後、任意選択として前述のデバイスと共に、オブジェクトを分類するためおよび／または距離特定のための前述の方法をコンピュータに実行させることが可能になる。

【図面の簡単な説明】

【0090】

【図1】本発明に従った方法を概略的に示す、プロセス図である。

【図2】本発明に従ったデバイスを概略的に示す図である。

【図3】特徴抽出ユニットを概略的に示す、概略図である。

【図4】特徴抽出器をトレーニングするための、第１および第２のセンサモダリティについての特徴抽出器およびデコーダを、概略的に示す図である。

【図5】特徴変換ユニットをトレーニングするための、特徴抽出ユニット、特徴再変換ユニット、およびデコーダを備える、特徴変換ユニットをトレーニングするためのアセンブリを、概略的に示す図である。

【発明を実施するための形態】

【0091】

本発明に従った方法（１００）のプロセス図が、図１に示される。

【0092】

本発明に従った方法（１００）は、好ましくは、特徴抽出器の事前のトレーニング（１１２）、および特徴抽出ユニット（１３）の特徴変換ユニット（１７）の事前のトレーニング（１０１）を含むことができる。さらに好ましくは、本発明に従った方法（１００）は、分類ユニット（１８）の事前のトレーニング（１０２）を含むことができる。

【0093】

分類ユニット（１８）のトレーニング（１０２）は、特に、トレーニングのために分類ユニット（１８）に提供された、具体的には少なくとも１つのデータセットに基づく、クラスを決定すること（１０２ａ）を含むことができる。トレーニングが終了した後に、分類ユニット（１８）がいわゆるクラスラベルを割り当てる、クラスが決定される。トレーニング（１０２）は、各クラスについて平均特徴ベクトルを識別すること（１０２ｂ）および記憶することを、さらに含むことができる。

【0094】

方法は、具体的には、特徴抽出ユニットに対して測定データを提供すること（１０６）を含む。具体的には、方法は、あらかじめ第１のセンサモダリティのセンサから測定データを生成すること（１０３）、より好ましくは同様に、第２のセンサモダリティのセンサから測定データを生成すること（１０４）、および／または、第３のセンサモダリティのセンサから測定データを生成すること（１０５）を、含むことができる。ステップ１０３から１０５は、好ましくは同時に実施することができる。方法は具体的には、スキャンを実施することを含み、すべてのセンサモダリティの測定データはスキャンが終了した後に利用可能であり、特徴抽出ユニット（１３）に提供可能である。

【0095】

方法はさらに、モダリティに依存しない特徴を抽出すること（１０７）を含む。このため、特徴は好ましくはそれぞれの特徴抽出器を用いて抽出される（１０８）。モダリティに依存しない特徴は、特徴変換ユニット（１７）を用いて少なくとも２つの特徴抽出器の特徴から抽出される（１０９）。方法はさらに、分類ユニット（１８）を用いてモダリティに依存しない特徴を分類すること（１１０）をさらに含むことができるため、オブジェクトの分類（１１１）を実行することができる。

【0096】

分類すること（１１０）は、少なくとも１つの特徴ベクトルが特徴抽出ユニット（１３）から分類ユニット（１８）へ転送されること（１１０ａ）を含むことができ、分類ユニット（１８）は好ましくは特徴ベクトルを処理する（１１０ｂ）。結果として、好ましくはボトルネックベクトルが受け取られる。特徴ベクトル、受け取られるかまたは好ましくは修正された特徴ベクトルは、各々の場合、事前に決定された平均特徴ベクトルと比較される（１１０ｃ）。比較のために、平均特徴ベクトルに対する偏差限界をさらに指定することができる（１１０ｄ）。好ましくは、特徴ベクトルと平均特徴ベクトルとの間のそれぞれのコサイン類似度が決定される（１１０ｅ）。事前に指定された偏差限界のうちの１つを下回るとき、具体的には対応するクラスラベルの発行（１１０ｆ）が行われる一方で、事前に指定された偏差限界のすべてを超えるとき、クラスのオブジェクトがまったく検出されなかった旨の発行（１１０ｇ）が行われる。これは特に、分類ユニット（１８）の決定モジュール（１８ａ）を用いて行われる。

【0097】

図２は、本発明に従ったデバイス（１０）の概略図を示す。デバイス（１０）は、送信ユニット（１１）および受信ユニット（１２）を備える。具体的には、受信ユニット（１２）は各々の場合、各センサモダリティについて少なくとも１つのセンサを備え、送信ユニット（１１）は各々の場合、それぞれのセンサモダリティの測定データを生成するための信号を送信するために、測定データを生成するための対応する送信モジュールを有することができる。たとえば、送信ユニット（１１）は各々の場合、ライダーおよびレーダー測定データを送信するためのソースを有することができる。

【0098】

受信ユニット（１２）内で受信された測定データは、特徴抽出ユニット（１３）内に提供される。特徴抽出ユニット（１３）は、第１のセンサモダリティのセンサからの測定データについての特徴抽出器（１４）、第２のセンサモダリティのセンサからの測定データについての特徴抽出器（１５）、および、第３のセンサモダリティのセンサからの測定データについての特徴抽出器（１６）を備える。それぞれの特徴抽出器（１４、１５、１６）は、特徴変換ユニット（１７）に提供される特徴を抽出し、そこからモダリティに依存しない特徴を生成する。デバイスはさらに、特徴変換ユニット（１７）のモダリティに依存しない特徴を分類する、分類ユニット（１８）を有する。分類ユニット（１８）は決定モジュール（１８ａ）を有する。

【0099】

特徴抽出ユニット（１３）の概略図が図３に示される。特徴抽出ユニット（１３）は、第１のセンサモダリティのセンサからの測定データについての特徴抽出器（１４）、および第２のセンサモダリティのセンサからの測定データについての特徴抽出器（１５）を備える。

【0100】

特徴抽出器はモダリティに依存する入力（１９）を受け取る。第１のセンサモダリティの測定データについての特徴抽出器（１４）は、第１のセンサモダリティの測定データから、すなわちライダー点群（２１）から、点群コード（２３）を生成するように構成される。第２のセンサモダリティの測定データについての特徴抽出器（１５）は、第２のセンサモダリティの測定データから、すなわちイメージデータ（２０）から、イメージコード（２２）を生成するように構成される。

【0101】

特徴抽出ユニット（１３）は、特徴変換ユニット（１７）をさらに備える。特徴変換ユニット（１７）は、第１のセンサモダリティの測定データについてのニューラルネットワーク（１７ａ）、および第２のセンサモダリティの測定データについてのニューラルネットワーク（１７ｂ）を備える。それらは入力として、特徴抽出器のそれぞれのコードを受け取る。

【0102】

特徴変換ユニット（１７）は、モダリティに依存しない特徴（２４）を検出するように構成される。モダリティに依存しない特徴（２４）は共通特徴空間（２６）内にある。特徴変換ユニット（１７）はモダリティに依存する特徴（２５）をさらに発行することが可能であり、モダリティに依存する特徴（２５）は、それら自身の特徴空間内、すなわち、第１のセンサモダリティのモダリティに依存する特徴については特徴空間（２７）内に、また第２のセンサモダリティのモダリティに依存する特徴については特徴空間（２８）内にある。

【0103】

図４において、特徴抽出器をトレーニングするための、第１のセンサモダリティについての特徴抽出器（１４）およびデコーダ（３０）、ならびに第２のセンサモダリティについての特徴抽出器（１５）およびデコーダ（３１）が示される。第１のセンサモダリティについてのデコーダ（３０）は、出力（３０ａ）、すなわち点群を発行し、これが、特徴抽出器（１４）をトレーニングするための特徴抽出器（１４）のモダリティに依存する入力（１９）と比較される。第２のセンサモダリティについてのデコーダ（３１）は、出力（３１ａ）、すなわちイメージデータを発行し、これが、特徴抽出器（１５）をトレーニングするための特徴抽出器（１５）のモダリティに依存する入力（１９）と比較される。

【0104】

図５は、図３に従った特徴抽出ユニット（１３）、特徴再変換ユニット（２９）、ならびにデコーダ、すなわち第１のセンサモダリティについてのデコーダ（３０）および第２のセンサモダリティについてのデコーダ（３１）を備える、特徴変換ユニット（１７）をトレーニングするためのアセンブリを表示する。特徴再変換ユニット（２９）は、第１のセンサモダリティについてのニューラルネットワーク（２９ａ）、および第２のセンサモダリティについてのニューラルネットワーク（２９ｂ）を備える。それらは入力として、特徴変換ユニット（１７）のモダリティに依存しない特徴（２４）、および任意選択としてモダリティに依存する特徴（２５）を受け取る。

【0105】

特徴再変換ユニット（２９）は、再度、入力からコード、すなわちイメージコード（３２）および点群コード（３３）を生成するように構成される。それぞれのデコーダは、再度、対応するコードからモダリティに依存するデータを生成することができる。第２のセンサモダリティについてのデコーダ（３１）は、再生成されたイメージデータに対応する出力（３１ａ）を生成する。第１のセンサモダリティについてのデコーダ（３０）は、再生成されたライダー点群に対応する出力（３０ａ）を生成する。

【0106】

特徴変換ユニット（１７）をトレーニングするために、モダリティに依存しない特徴（２４）の類似度、ならびに、再生成されたコードおよび再生成されたモダリティに依存するデータの類似度が考察される。

【0107】

ニューラルネットワークの実施例

【0108】

第２のセンサモダリティについての特徴抽出器は、下記のようにセットアップすることができる。

【0109】

・入力＜－イメージ（バッチサイズ×１９２×２５６×３）
・層１：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：１６
〇活性化関数：整流線形ユニット（ＲｅＬＵ）
〇バッチ正規化
〇パディング：ゼロパディング
・層２：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：１６
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層３：畳み込み層
○カーネルサイズ：３×３
○ストライド：２×２
〇出力特徴マップの数：３２
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層４：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：３２
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層５：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：３２
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層６：畳み込み層
○カーネルサイズ：３×３
○ストライド：２×２
〇出力特徴マップの数：６４
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層７：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：６４
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層８：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：６４
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層９：畳み込み層
○カーネルサイズ：３×３
○ストライド：２×２
〇出力特徴マップの数：１２８
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層１０：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：１２８
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層１１：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：１２８
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層１２：畳み込み層
○カーネルサイズ：５×５
○ストライド：２×２
〇出力特徴マップの数：２５６
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層１３：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：２５６
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層１４：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：２５６
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層１５：畳み込み層
○カーネルサイズ：５×５
○ストライド：２×２
〇出力特徴マップの数：５１２
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層１６：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：５１２
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層１７：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：２５６
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層１８：畳み込み層
○カーネルサイズ：３×３
○ストライド：１×１
〇出力特徴マップの数：２５６
〇活性化関数：ＲｅＬＵ
〇バッチ正規化
〇パディング：ゼロパディング
・層１９：畳み込み層
○カーネルサイズ：５×５
○ストライド：２×２
〇出力特徴マップの数：１２８
〇活性化関数：なし
〇バッチ正規化
〇パディング：ゼロパディング
・出力：バッチサイズ×コード（＝バッチサイズ×１５３６）

【0110】

特徴抽出器をトレーニングするための対応するデコーダは、下記のようにセットアップすることができる。

【0111】

・入力＜－バッチサイズ×コード
・層１：バッチサイズ×３×４×１２８に再形成する
・層２：「転置畳み込み」＝学習済みアップサンプリング
○カーネルサイズ：５×５
〇パディング：ゼロパディング
○ストライド：２×２
〇特徴マップ：２５６
〇活性化関数：ＲｅＬＵ
・層３：畳み込み
○カーネルサイズ：３×３
〇パディング：ゼロパディング
○ストライド：１×１
〇特徴マップ：２５６
〇活性化関数：ＲｅＬＵ
・層４：畳み込み
○カーネルサイズ：３×３
〇パディング：ゼロパディング
○ストライド：１×１
〇特徴マップ：５１２
〇活性化関数：ＲｅＬＵ
・層５：「転置畳み込み」
○カーネルサイズ：５×５
〇パディング：ゼロパディング
○ストライド：２×２
〇特徴マップ：５１２
〇活性化関数：ＲｅＬＵ
・層６：畳み込み
○カーネルサイズ：３×３
〇パディング：ゼロパディング
○ストライド：１×１
〇特徴マップ：２５６
〇活性化関数：ＲｅＬＵ
・層７：畳み込み
○カーネルサイズ：３×３
〇パディング：ゼロパディング
○ストライド：１×１
〇特徴マップ：２５６
〇活性化関数：ＲｅＬＵ
・層８：「転置畳み込み」
○カーネルサイズ：５×５
〇パディング：ゼロパディング
○ストライド：２×２
〇特徴マップ：２５６
〇活性化関数：ＲｅＬＵ
・層９：畳み込み
○カーネルサイズ：３×３
〇パディング：ゼロパディング
○ストライド：１×１
〇特徴マップ：１２８
〇活性化関数：ＲｅＬＵ
・層１０：「転置畳み込み」
○カーネルサイズ：５×５
〇パディング：ゼロパディング
○ストライド：２×２
〇特徴マップ：１２８
〇活性化関数：ＲｅＬＵ
・層１１：畳み込み
○カーネルサイズ：３×３
〇パディング：ゼロパディング
○ストライド：１×１
〇特徴マップ：６４
〇活性化関数：ＲｅＬＵ
・層１２：「転置畳み込み」
○カーネルサイズ：５×５
〇パディング：ゼロパディング
○ストライド：２×２
〇特徴マップ：６４
〇活性化関数：ＲｅＬＵ
・層１３：畳み込み
○カーネルサイズ：３×３
〇パディング：ゼロパディング
○ストライド：１×１
〇特徴マップ：３２
〇活性化関数：ＲｅＬＵ
・層１４：「転置畳み込み」
○カーネルサイズ：３×３
〇パディング：ゼロパディング
○ストライド：２×２
〇特徴マップ：３２
〇活性化関数：ＲｅＬＵ
・層１５：畳み込み
○カーネルサイズ：３×３
〇パディング：ゼロパディング
○ストライド：１×１
〇特徴マップ：１
〇活性化関数：なし
・出力：バッチサイズ×１９２×２５６×１（＝入力イメージのグレースケール値イメージ）

【0112】

これにより「転置畳み込み」という用語は、数学的意味における行列の転置として理解されるべきではないが、アップサンプリングがトレーニングされる。言い換えれば、元のイメージサイズへの「ズーミング」がトレーニングされる。

【0113】

特徴抽出器のトレーニングおよびデコーダのトレーニングは、下記のパラメータによって決定することができる。

【0114】

・オプティマイザ：ＡｄａｍＯｐｔｉｍｉｚｅｒ
・学習率：０．０００１
〇指数関数的減衰：階段
■学習率はステップ関数のように減少する。２０００００ステップの後、学習率は最小の０．００００１に達するまで半減し、その後は一定のままとなる。
・バッチサイズ：３２
・すべての変数の初期化：Ｘａｖｉｅｒの初期化
・損失関数：平均二乗誤差
・学習する合計エポック：５５０

【0115】

第１のセンサモダリティについての特徴抽出器は、下記のようにセットアップすることができる。

【0116】

・入力＜－バッチサイズ×２０４８×３
・層０：
〇層０．１：多層パーセプトロン（ＭＬＰ）
■関数の数：６４
■カーネル１×３
■バッチ正規化
■活性化関数：ＲｅＬＵ
〇層０．２：ＭＬＰ
■関数の数：１２８
■カーネル１×１
■バッチ正規化
■活性化関数：ＲｅＬＵ
〇層０．３：ＭＬＰ
■関数の数：１０２４
■カーネル１×１
■バッチ正規化
■活性化関数：ＲｅＬＵ
〇層０．４：完全に接続
■出力：５１２
■バッチ正規化
■活性化関数：ＲｅＬＵ
〇層０．５：完全に接続
■出力：２５６
■バッチ正規化
■活性化関数：ＲｅＬＵ
〇層０．６：完全に接続
■出力：９
■活性化関数なし
■０を用いる変数の初期化
〇層０．７：単位行列［１０００１０００１］を用いる加算
〇出力：バッチサイズ×３×３
・層１：入力^＊出力層０
・層２：ＭＬＰ
〇関数の数：６４
〇カーネル１×３
〇バッチ正規化
〇活性化関数：ＲｅＬＵ
・層３：ＭＬＰ
〇関数の数：６４
〇カーネル１×１
〇バッチ正規化
〇活性化関数：ＲｅＬＵ
・層４：乗算のための行列の学習
〇層４．１：ＭＬＰ
■関数の数：６４
■カーネル１×１
■バッチ正規化
■活性化関数：ＲｅＬＵ
〇層４．２：ＭＬＰ
■関数の数：１２８
■カーネル１×１
■バッチ正規化
■活性化関数：ＲｅＬＵ
〇層４．３：ＭＬＰ
■関数の数：１０２４
■カーネル１×１
■バッチ正規化
■活性化関数：ＲｅＬＵ
〇層４．４：完全に接続
■出力：５１２
■バッチ正規化
■活性化関数：ＲｅＬＵ
〇層４．５：完全に接続
■出力：２５６
■バッチ正規化
■活性化関数：ＲｅＬＵ
〇層４．６：完全に接続
■出力：４０９６
■活性化関数なし
■０を用いる変数の初期化
〇層４．７：単位行列（サイズ６４）を用いる加算
〇出力：バッチサイズ×６４×６４
・層５：層３^＊出力層４
・層６：ＭＬＰ
〇関数の数：６４
〇カーネル１×１
〇バッチ正規化
〇活性化関数：ＲｅＬＵ
・層７：ＭＬＰ
〇関数の数：１２８
〇カーネル１×１
〇バッチ正規化
〇活性化関数：ＲｅＬＵ
・層８：ＭＬＰ
〇関数の数：１５３６
〇カーネル１×１
〇バッチ正規化
〇活性化関数：ＲｅＬＵ
・出力：バッチサイズ×コード（＝１５３６）

【0117】

第１のセンサモダリティについてのデコーダは下記のようにセットアップすることができる。

【0118】

・入力＜－バッチサイズ×コード
・層１：完全に接続
〇出力：２０４８
〇活性化関数：ＲｅＬＵ
・層２：ドロップアウト
〇ドロップアウト率：０．２
・層３：完全に接続
〇出力：２０４８
〇活性化関数：ＲｅＬＵ
・層４：ドロップアウト
〇ドロップアウト率：０．２
・層５：完全に接続
〇出力：６１４４（＝２０４８^＊３）
〇活性化関数：なし
・出力：バッチサイズ×２０４８×３（＝入力点群の同サイズ）

【0119】

第１のセンサモダリティについての特徴抽出器のトレーニングおよびデコーダのトレーニングは、下記のパラメータによって決定することができる。

【0120】

・オプティマイザ：ＡｄａｍＯｐｔｉｍｉｚｅｒ
・学習率：０．０００１
〇指数関数的減衰：階段
■学習率はステップ関数のように減少する。２０００００ステップの後、学習率は最小の０．００００１に達するまで半減し、その後は一定のままとなる。
・バッチサイズ：３２
・すべての変数の初期化（０を用いる初期化を除く）：Ｘａｖｉｅｒの初期化
・損失関数：デコーダの入力点群と生成される出力点群との間のチャンファ距離
・学習する合計エポック：５５０

【0121】

特徴変換ユニットのすべてのネットワークは、下記のようにセットアップすることができる。

【0122】

・入力＜－バッチサイズ×コード（＝イメージコードまたは点群コードのいずれか）＝バッチサイズ×１５３６
・層１：完全に接続
〇出力：２０４８
〇活性化関数：ＲｅＬＵ
・層２：ドロップアウト
〇ドロップアウト率：０．２
・層３：完全に接続
〇出力：１４００
〇活性化関数：ＲｅＬＵ
・層４：ドロップアウト
〇ドロップアウト率：０．２
・層５：完全に接続
〇出力：１４００
〇活性化関数：なし
・出力：コードバッチサイズ×１４００
〇モダリティ指定特徴についてのコード：バッチサイズ×［０：７００］
〇共通特徴についてのコード：バッチサイズ×［７００：１４００］

【0123】

特徴再変換ユニットのすべてのネットワークは、下記のようにセットアップすることができる。

【0124】

・任意選択：Ｉ＿ｓｐｅｃ＝モダリティ特有の特徴についての入力コード
・Ｉ＿ｃｏｍｍｏｎ＝共通特徴についてのコード
・任意選択：Ｉ＿ｓｐｅｃ：
〇層１：完全に接続（モダリティ特有の入力）
■出力：５１２
■活性化関数：ＲｅＬＵ
〇層２：ドロップアウト
■ドロップアウト率：０．２
〇層３：完全に接続
■出力：１０２４
■活性化関数：ＲｅＬＵ
〇層４：ドロップアウト
■ドロップアウト率：０．２
〇層５：完全に接続
■出力：１５３６
■活性化関数：なし
〇モダリティ特有の特徴の出力：バッチサイズ×１５３６
・Ｉ＿ｃｏｍｍｏｎ：
〇層１：完全に接続（共通特徴の入力）
■出力：５１２
■活性化関数：ＲｅＬＵ
〇層２：ドロップアウト
■ドロップアウト率：０．２
〇層３：完全に接続
■出力：１０２４
■活性化関数：ＲｅＬＵ
〇層４：ドロップアウト
■ドロップアウト率：０．２
〇層５：完全に接続
■出力：１５３６
■活性化関数：なし
〇共通特徴の出力：バッチサイズ×１５３６
・出力＝共通特徴＋任意選択の出力特有の特徴の出力

【0125】

特徴変換ユニットのトレーニングは、下記のパラメータによって決定することができる。

【0126】

・オプティマイザ：ＡｄａｍＯｐｔｉｍｉｚｅｒ
・学習率：０．００１
〇指数関数的減衰：階段
■学習率はステップ関数のように減少する。２０００００ステップの後、学習率は最小の０．００００１に達するまで０．３倍に減少し、その後は一定のままとなる。
・バッチサイズ：３２
・すべての変数の初期化：Ｘａｖｉｅｒの初期化
・学習する合計エポック：４００
・損失関数：
〇最初の２００エポックでの損失
■１）両方のモダリティの共通特徴のコサイン類似度
■２）「実イメージコード」と再変換されたイメージコードとの間の平均二乗誤差
■３）「実点群コード」と再変換された点群コードとの間の平均二乗誤差
■ＬＯＳＳ＝１）＋２）＋３）
〇最後の２００エポックでの損失
■１）両方のモダリティの共通特徴のコサイン類似度
■２）「実イメージデータ」と生成されたイメージデータとの間の平均二乗誤差
■３）「実点群」と生成された点群との間のチャンファ距離
■ＬＯＳＳ＝１）＋２）＋３）

【0127】

分類ユニットのニューラルネットワークは、下記のようにセットアップすることができる。

【0128】

・層１：完全に接続
〇出力：１０２４
〇活性化関数：ＲｅＬＵ
・層２：完全に接続
〇出力：１０２４
〇活性化関数：ＲｅＬＵ
・層３：完全に接続
〇出力：２０４８
〇活性化関数：ＲｅＬＵ
・層４：完全に接続＝ボトルネックベクトル
〇出力：分類するべきクラスの番号
〇活性化関数：なし
〇個々のクラスの平均値はこのベクトルによって記憶され、比較として使用される。

【0129】

分類ユニットのトレーニングは、下記のパラメータによって決定することができる。

【0130】

・損失関数：Ｓｏｆｔｍａｘ Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ
・オプティマイザ：ＡｄａｍＯｐｔｉｍｉｚｅｒ
・学習率：０．０１
〇指数関数的減衰：学習率はステップ関数のように減少する。２０００００ステップの後、学習率は最小の０．００００１に達するまで０．７倍に縮小し、その後は一定のままとなる。
・バッチサイズ：３２
・すべての変数の初期化：Ｘａｖｉｅｒの初期化
・学習する合計エポック：５０

【符号の説明】

【0131】

１０１ 特徴変換ユニットをトレーニングすること
１０２ 分類ユニットをトレーニングすること
１０２ａ クラスを決定すること
１０２ｂ 各クラスについて平均特徴ベクトルを識別および記憶すること
１０３ 第１のセンサモダリティのセンサから測定データを生成すること
１０４ 第２のセンサモダリティのセンサから測定データを生成すること
１０５ 第３のセンサモダリティのセンサから測定データを生成すること
１０６ 特徴抽出ユニットに測定データを提供すること
１０７ モダリティに依存しない特徴を抽出すること
１０８ それぞれの特徴抽出器を用いて特徴を抽出すること
１０９ 特徴変換ユニットを用いてモダリティに依存しない特徴を抽出すること
１１０ 分類ユニットを用いてモダリティに依存しない特徴を分類すること
１１０ａ 特徴抽出ユニットから分類ユニットへ少なくとも１つの特徴ベクトルを転送すること
１１０ｂ 分類ユニットを用いて特徴ベクトルを処理すること
１１０ｃ 特徴ベクトルと各クラスについて事前に決定された平均特徴ベクトルとの間の、それぞれの比較
１１０ｄ 偏差限界を指定すること
１１０ｅ 特徴ベクトルと平均特徴ベクトルとの間のそれぞれのコサイン類似度を決定すること
１１０ｆ 事前に指定された偏差限界を下回るとき、対応するクラスラベルを発行すること
１１０ｇ すべての事前に指定された偏差限界を超えるとき、クラスのオブジェクトが検索されなかった旨を発行すること
１１１ オブジェクトを分類すること
１１２ 特徴抽出器をトレーニングすること
１０ デバイス
１１ 送信ユニット
１２ 受信ユニット
１３ 特徴抽出ユニット
１４ 第１のセンサモダリティのセンサからの測定データについての特徴抽出器
１５ 第２のセンサモダリティのセンサからの測定データについての特徴抽出器
１６ 第３のセンサモダリティのセンサからの測定データについての特徴抽出器
１７ 特徴変換ユニット
１７ａ 第１のセンサモダリティについてのニューラルネットワーク
１７ｂ 第２のセンサモダリティについてのニューラルネットワーク
１８ 分類ユニット
１８ａ 決定モジュール
１９ モダリティに依存する入力
２０ イメージ
２１ ライダー点群
２２ 特徴抽出器のイメージコード
２３ 特徴抽出器の点群コード
２４ モダリティに依存しない特徴
２５ モダリティに依存する特徴
２６ 共通特徴空間
２７ 第１のセンサモダリティについてのモダリティに依存する特徴についての特徴空間
２８ 第２のセンサモダリティについてのモダリティに依存する特徴についての特徴空間
２９ 特徴再変換ユニット
２９ａ 第１のセンサモダリティについてのニューラルネットワーク
２９ｂ 第２のセンサモダリティについてのニューラルネットワーク
３０ 第１のセンサモダリティについてのデコーダ
３０ａ 第１のセンサモダリティについてのデコーダの出力
３１ 第２のセンサモダリティについてのデコーダ
３１ａ 第２のセンサモダリティについてのデコーダの出力
３２ 特徴再変換ユニットのイメージコード
３３ 特徴再変換ユニットの点群コード

【図1】

【図2】

【図3】

【図4】

【図5】