特表 2023-539513 対象物を分類する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-14

(54)【発明の名称】対象物を分類する方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230907BHJP

   G01S 17/89 20200101ALI20230907BHJP

   G06V 10/82 20220101ALI20230907BHJP

   G01S 17/931 20200101ALI20230907BHJP

【ＦＩ】

G06T7/00 350C

G01S17/89

G06V10/82

G01S17/931

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023513962

(86)(22)【出願日】2021-07-16

(85)【翻訳文提出日】2023-04-07

(86)【国際出願番号】 EP2021070009

(87)【国際公開番号】W WO2022042940

(87)【国際公開日】2022-03-03

(31)【優先権主張番号】20193251.4

(32)【優先日】2020-08-28

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】505472816

【氏名又は名称】マイクロビジョン，インク．

(74)【代理人】

【識別番号】110000659

【氏名又は名称】弁理士法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】ジュリア ニッシュ

(72)【発明者】

【氏名】クリスチャン フェレンベルグ

(72)【発明者】

【氏名】トルボーン ポセウスキー

(72)【発明者】

【氏名】ジェニファー エルトマン

(72)【発明者】

【氏名】コルネリア ホフサス

【テーマコード（参考）】

5J084

5L096

【Ｆターム（参考）】

5J084AA04

5J084AA05

5J084AD01

5J084BA36

5J084CA03

5J084CA65

5L096AA06

5L096BA04

5L096DA02

5L096FA32

5L096FA33

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

対象物を分類する方法（１００）が提案される。方法は、ニューロンネットワーク（１４ａ）又は混合ガウスモデル（ＧＭＭ；１４ｂ）による、センサ（１１）の１又は複数の受信要素の測定データからの特徴の抽出（１０７）を含み、センサ（１１）の少なくとも１つの受信要素のそれぞれの測定データは光子ヒストグラム（４０）の少なくとも一部分に関係し、ニューロンネットワーク（１４ａ）は全結合ニューロンネットワーク（ＦＣＮ）又は畳み込みニューロンネットワーク（ＣＮＮ）を含む。

【特許請求の範囲】

【請求項1】

対象物を分類する方法（１００）であって、
ニューロンネットワーク（１４ａ）又は混合ガウスモデル（ＧＭＭ；１４ｂ）による、センサ（１１）の１又は複数の受信要素の測定データからの特徴の抽出（１０７）を含み、
前記センサ（１１）の少なくとも１つの前記受信要素のそれぞれの前記測定データは、光子ヒストグラム（４０）の少なくとも一部分に関係し、
前記ニューロンネットワーク（１４ａ）は、全結合ニューロンネットワーク（ＦＣＮ）又は畳み込みニューロンネットワーク（ＣＮＮ）を含む、方法（１００）。

【請求項2】

前記光子ヒストグラム（４０）は、１次元アレイ（４１）として設計される、請求項１に記載の方法（１００）。

【請求項3】

前記センサ（１１）は固体Ｌｉｄａｒセンサであり、前記方法（１００）は、
前記センサ（１１）による少なくとも１つの規定の測定間隔（４６）に対する光遷移時間測定の実行（１０１）と、
前記光遷移時間測定に基づく測定間隔（４６）毎の前記光子ヒストグラム（４０）の生成（１０２）と、
を含む請求項１又は２に記載の方法（１００）。

【請求項4】

前記ニューロンネットワーク（１４ａ）又は前記混合ガウスモデル（ＧＭＭ；１４ｂ）についての前記測定データの提供（１０６）を含み、
好ましくは、前記光子ヒストグラム（４０）の少なくとも一部分のみが与えられ、該一部分は１つのピーク（４５）のみを含む、請求項１から３のいずれか一項に記載の方法（１００）。

【請求項5】

前記光子ヒストグラム（４０）の１次元アレイ（４１）から２Ｄ画像（４４）への変換（１０４）を含む請求項２から４のいずれか一項に記載の方法（１００）。

【請求項6】

以前に抽出された前記特徴に基づく前記対象物の分類（１０８）を含む請求項１から５のいずれか一項に記載の方法（１００）。

【請求項7】

前記分類（１０８）は、追加のニューロンネットワークによって行われ、
該ニューロンネットワークは、全結合ニューロンネットワーク（ＦＣＮ）として設計される、請求項６に記載の方法（１００）。

【請求項8】

環境条件に関する表現の特定（１０９）を含む請求項１から７のいずれか一項に記載の方法（１００）。

【請求項9】

前記表現は、前記環境条件の存在、該環境条件の種類及び／又は該環境条件の強度に関する、請求項８に記載の方法（１００）。

【請求項10】

各検出対象物、主に各検出物体及び／又は各検出環境条件までの距離の特定及び割当て（１１０）を含む請求項１から９のいずれか一項に記載の方法（１００）。

【請求項11】

対象物を分類する装置（１０）であって、
複数の受信要素を有するセンサ（１１）及びニューロンネットワーク（１４ａ）又は混合ガウスモデル（ＧＭＭ；１４ｂ）を有する評価部を備え、
前記ニューロンネットワーク（１４ａ）は、全結合ニューロンネットワーク（ＦＣＮ）又は畳み込みニューロンネットワーク（ＣＮＮ）を含み、
前記ニューロンネットワーク（１４ａ）又は前記混合ガウスモデル（１４ｂ）は、前記センサ（１１）の１又は複数の受信要素の測定データから特徴を抽出するように構成され、
前記センサ（１１）の少なくとも１つの前記受信要素のそれぞれの前記測定データの各々が、光子ヒストグラム（４０）の少なくとも一部分に関係する、装置（１０）。

【請求項12】

コンピュータのメモリに読み込まれると、請求項１１に記載の装置（１０）とともに前記コンピュータに請求項１から１０のいずれか一項に記載の方法を実行させることができるプログラムが記憶されたコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。

【請求項13】

コンピュータのメモリに読み込まれると、請求項１１に記載の装置（１０）とともに前記コンピュータに請求項１から１０のいずれか一項に記載の方法を実行させることができるプログラムが記憶されたコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、独立請求項に係る、対象物を分類する方法及び装置に関する。

【背景技術】

【0002】

Ｌｉｄａｒセンサを用いて光学距離測定を行うことが、従来技術から知られている。これらは、いわゆる飛行時間の原理に基づく。処理において、周期的にパルスを放射する走査センサが用いられる。パルスは対象物に反射され、反射されたパルスが検出される。センサから対象物を往復するパルスの遷移時間を特定することによって、その対象物までの距離が、光速を利用して推定可能となる。対象物は、物体、例えば、人若しくは物、又は環境条件、例えば、霧に関係し得る。従来技術では、高い信頼性で物体を検出することが常に目標となる。

【0003】

ここで物体を検出して距離を推定するためには、分類器が、通常はセンサデータを用いて学習される。これは、物体の位置依存推定に帰着する。周知の信号処理チェーンの不利な点は、個々の処理ステップに必要となる高い計算負荷にある。問題の複雑さは性質上ここではより大きくなるため、特別な計算負荷が３Ｄでの演算によってもたらされる。

【0004】

そのため、現在の解決策は、ノイズをフィルタ除去して有効な検出値のみを報告するように、簡素化したモデル及びフィルタアプローチを用いる。しかし、これは、パルスが物体及び環境条件、例えば降雨又は霧、の双方によって反射されるという問題をもたらす。従来技術によるシステムは、有効な物体の反射と、対応の環境条件の反射とを区別するのに適していないため、誤検出が起こり得る。そして、これは、この情報に基づいて自律又は半自律で運転する車両の潜在的に危険な反応を引き起こし得る。

【0005】

特許文献１は、車両での使用のためのＬＩＤＡＲシステムを記載する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許出願公開第２０１９／３２４１４７号明細書

【発明の概要】

【0007】

結果として、本発明の課題は、計算負荷を軽減するとともに車両の環境のセマンティックセグメンテーション又は対象物検出を可能とするように、対象物を分類する方法及び装置を改良することである。特に、その目的は、対象物が物体又は環境条件のいずれに関係するのかを識別することである。

【0008】

上記課題は、ニューロンネットワーク又は混合ガウスモデル（ＧＭＭ）による、センサの１又は複数の受信要素の測定データからの特徴の抽出を含む、対象物を分類する方法によって達成される。センサの少なくとも１つの受信要素のそれぞれの測定データは、光子ヒストグラムの少なくとも一部分に関係する。ニューロンネットワークは、全結合ニューロンネットワーク（ＦＣＮ）又は畳み込みニューロンネットワーク（ＣＮＮ）を含む。さらに、上記ステップは、センサの全ての受信要素に関して実行され得る。

【0009】

特に、ＧＭＭのニューロンネットワークは、測定データにおけるパターンを検出するように設計される。パターンは、特に上昇部、いわゆるピークを意味するものとして理解されるべきである。特に、ニューロンネットワーク又はＧＭＭは、ピークの形状を解析することができる。ＧＭＭ又はニューロンネットワークは、特に、上昇部に内在する対応の分布をモデル化し、したがって評価するのに使用される。例えば、ニューロンネットワーク又はＧＭＭは、立上り及び／又は立下り側部並びにその勾配及び／又はその湾曲を、例えば指数関数的に検出することができる。ピークの幅も検出される。

【0010】

特に、ＦＣＮは、少なくとも１つの全結合層を備える。各層は、複数の人工ニューロンを含む。特に、ＦＣＮは、非線形関数をモデル化する。ＦＣＮは、光子ヒストグラムの少なくとも一部分において、及びしたがってセンサのローデータにおいて対応の非線形関数を直接検出するように設計される。言い換えると、ＦＣＮは、非線形関数の所望の出力値に対応する入力値、具体的には光子ヒストグラムの値に基づいて非線形関数を検出することを試行する。特に、ＦＣＮは、少なくとも１つの全結合層、特に複数の全結合層を備える。特に、ＦＣＮは、少なくとも５層、好ましくは少なくとも１０層、特に少なくとも１５層を備える。

【0011】

特に、ＣＮＮは、少なくとも１つの畳み込み層を備える。各層は、複数の人工ニューロンを含む。特に、ＣＮＮの各層は、畳み込み層として設計され得る。特に、畳み込み層は、畳み込みを実行する。特に、ＣＮＮは、少なくとも２層、好ましくは少なくとも３層、特に少なくとも５層の畳み込み層を備える。（好ましくは最終層を除く）全ての層の各々は、とりわけ、非線形関数、特にいわゆるＲｅＬＵ関数によって活性化される。ＲｅＬＵ関数は、ここでは、正規化線形ユニットを含む。言い換えると、それは、Ｘをニューロンの入力値として、正のＸ領域では線形設計されるが負のＸ領域では０となる関数を含む。最終層は、好ましくは、最終ステップとして全ての数値を許可するように、活性化関数を有さない。

【0012】

さらに、ＣＮＮは、１又は複数のプーリング層を備えていてもよい。特に、プーリング層は、各畳み込み層の後に配置される。プーリング層は、後続層に伝達される出力の次元を減少させるのに用いられる。特に、プーリング層は、「最大プーリング」を実行するように、言い換えると、常に複数の出力値の最大値のみを採用してそれを後続層に伝達するように設計される。

【0013】

さらに、ＣＮＮは、少なくとも１層、特に２層の全結合層を備え得る。ＣＮＮは、少なくとも１層のドロップアウト層も備え得る。特に、ネットワークは、ドロップアウト層が２層の全結合層の間に配置されるように構築される。

【0014】

ＦＣＮ及びＣＮＮを実施するのは容易である。ＣＮＮから抽出された特徴は遷移及び回転に対して不変であるので、すなわち、光子ヒストグラムの入力に影響し得るわずかな変位又は回転は破壊的とはならない。

【0015】

特に、ＧＭＭは、種々の関数からなる関数である。これらの関数の少なくとも１つ、幾つか又は全てが、ここではガウス関数であり得る。ＧＭＭは、ピーク形状をモデル化し、したがって評価するのに使用される。言い換えると、ＧＭＭは、ヒストグラムの分析的記述を識別する。特に、ＧＭＭは、管理なしにフィッティングされる。ＧＭＭは、いずれの種類の分類部とも非常に容易に合成され得る。

【0016】

特に、１又は複数の受信要素は、アバランシェ光検出器、例えば、単一光子アバランシェダイオードＳＰＡＤを含み得る。

【0017】

特に、光子ヒストグラムは、一次元アレイとして設計される。言い換えると、光子ヒストグラムは、いわゆるビンに記録される値、言い換えると数字を含む。ビンは、以前に規定された測定間隔の一部分である。特に、光子ヒストグラムの値は、それぞれのビンにおいて検出光子の量である。

【0018】

特に、センサは固体Ｌｉｄａｒセンサを含み、方法はセンサによる少なくとも１つの規定測定間隔についての光遷移時間測定の実行を含む。方法は、光遷移時間測定に基づく測定間隔毎の光子ヒストグラムの生成を含む。

【0019】

光遷移時間測定は、飛行時間の原理に基づく。したがって、送信部の少なくとも１つの送信要素、好ましくは複数の送信要素は少なくとも１つの測定パルスを放射し、送信部の各送信要素は、受信要素のそれぞれの受信要素に割り当てられる。さらに、送信要素及び受信要素の対の各々は、センサの視野のセクタに割り当てられる。結果として、視野は、送信要素及び受信要素に基づく異なるセクタに分類可能となる。したがって、飛行時間の原理、及び前述した視野のセクタへの各受信要素の局所的割当ては、パルスが反射される対象物の反射点までの距離、及び反射点の位置を特定するのに使用可能である。

【0020】

ここで、全ての送信要素が、測定間隔内に少なくとも１つの測定パルスを放射している必要はない。例えば、単一群の受信要素だけが対応の反射パルスを受信するように、送信部のエリア及びしたがって一群の送信要素が少なくとも１つの送信パルスを放射する視野の対象エリア、対象領域が測定され得る。測定間隔の定義は、特に、いわゆるフレームレートによって決定される。結果として、視野の少なくとも一部分は、測定間隔内に照射される。したがって、視野の少なくとも一部分の単一の画像、言い換えると、フレームが測定間隔内で発生し得る。

【0021】

特に、光子ヒストグラムを生成することは、時間相関単一光子カウントを含む。特に、光子ヒストグラムは、測定間隔毎及び受信部毎に生成される。したがって、ニューロンネットワーク又はＧＭＭに提供された測定データは、測定間隔を超える時間スパンに対するセンサの視野からの反射を観測する測定データを含まない。

【0022】

特に、受信要素の光子の個々の検出値は、測定間隔が終了するまでの時間について、上記に定義した測定間隔にわたって蓄積される。これは、特に各受信要素について実行される。

【0023】

飛行時間の原理は、各検出光子についての対応の反射点までの距離を特定するのに使用される。測定間隔は、ここでは、好ましくは等しい長さの異なる部分（ビン）に分割され、それは飛行時間の原理に基づいてセンサまでの異なる距離範囲を示す。検出された光子の特定された距離は、ここでビンに記録される。したがって、それぞれのビンにおける検出数は、各ビンに割り当てられる（すなわち、割り当てられた距離範囲内の反射点での反射に基づく）。

【0024】

光子ヒストグラムは、測定間隔の時間にわたる検出値の分布又は測定間隔によって包含される除去エリアの距離にわたる検出値の分布を表す。分布の構造は、検出対象物の実際の距離、対象物自体、例えばその表面の反射率、及び対象物の角度に依存する。光子ヒストグラムは、個々のビンに対する検出値の値を表す。光子ヒストグラムは、少なくとも１つの測定パルスを受信した各受信要素について上述した態様で取得される。セクタは視野に関連して各受信要素に割り当てられるので、視野についての３Ｄ位置情報を有するヒストグラムが、それぞれの光子ヒストグラムにおいて取得された距離情報を利用して特定可能となる。対象物は、主に物体又は環境条件に関係する。

【0025】

送信部とは別に、センサは、受信要素を備える受信部も備える。送信部は、周期的又はランダムにパルスを放射するように構成され、そのパルスはセンサの視野において対象物によって反射される。送信部は主に送信行列を備え、受信部は特に受信行列を備える。送信要素及び受信要素は、ここでは、対応の行列において、特に均一のグリッドにおいて規則的なパターンで規則的に配置され得る。特に、受信行列は、ＳＰＡＤアレイとして設計される。ＳＰＡＤは、アバランシェ降伏の効果を用いる半導体ダイオードである。ＳＰＡＤは、非常に高い感度及び高い時間分解能を有する。高い電界強度のエリアがアバランシェダイオード内に生成可能であり、導電又は価電子帯における自由電荷キャリア数は衝突電離によって増倍され、降伏電圧を超えて電子雪崩を起こす。これにより、少ない測定量で単一光子を検出することが可能となる。

【0026】

結果として、光子ヒストグラムは、センサのローデータを含む。より多くの情報が、光子ヒストグラムを直接処理することによって得られる。例えば、たとえ周知の方法を用いたとしても非常に高い負荷でしか検出可能でない特定対象エリア（対象領域）及び対象物、特に、物体が検出可能となる。ニューロンネットワーク又はＧＭＭの適用によって、既存の情報内容をより効率的に用いることが可能となる。これは、センサの視野のより正確かつ包括的な印象をもたらす。

【0027】

特に、センサは車両に配置され、方法は車両の環境に位置する対象物を検出及び分類するように作用する。これは、より有利な効果を車両環境にもたらし、その環境のセマンティックセグメンテーション、特に対象物又は物体検出を可能とするように計算負荷が軽減される。用語「セマンティックセグメンテーション」は、対象物を含むエリアに視野がセグメント化可能であることを意味するものと理解されなければならない。対象物の点及びその距離は、単一の点に関する測定に基づくだけでなく、隣接点の測定を考慮に入れて特定される。

【0028】

特に、ニューロンネットワーク又はＧＭＭをセンサのＡＳＩＣにおいて実現することが可能である。これは、センサのＡＳＩＣでの後のＡＤＡＳ（ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ－ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍｓ）アルゴリズムのためのセグメンテーション及び／又は前処理を既に可能としている。

【0029】

特に、ＣＮＮについて、方法は、ヒストグラムを１次元アレイから２Ｄ画像に変換することを含み得る。１次元アレイは、ここでは特に２Ｄ表現に変換される。言い換えると、対応のビンに割り当てられた値は数値として表されるのではなく、それらの数値に対応する「カラム」として図示される。これは、個々のカラム又はビンの間の線を分離しない一種のカラムチャートをもたらし、これが２Ｄ画像を表す。

【0030】

ＣＮＮは、２Ｄ画像の形態の入力を処理することができる。言い換えると、ＣＮＮは、可視的な特徴、例えば、線、縁、角などをモデル化し、これらを２Ｄ画像で認識する。ＣＮＮは、最初の層において、線などの単純な特徴を任意の配向で抽出するように設計され、例えば、Ｌ字特徴、円形特徴、星形特徴又は高次元特徴など、ネットワークが深くなるほど、抽出される特徴はより複雑となる。ＣＮＮについての１つの特別な有利な効果は、それが、２次元画像に影響するわずかなずれに対して不変であることである。さらに、ＣＮＮは、１次元アレイの形態の入力も処理できる。

【0031】

さらに、ＣＮＮは、隣接相関も取り入れることができる。これは、セマンティックセグメンテーションを可能とする。言い換えると、ＣＮＮは、２Ｄフィルタを実施するフィルタバンクとして理解され得る。これらのフィルタは、２Ｄ画像上でスライドされ、それにより折畳み処理を実行する。ＣＮＮは、２Ｄ画像全体に対して動作するが、隣接相関を考慮することができる。結果として、ＣＮＮは、隣接画素を考慮するだけであり、いずれの画素も相互にリンクさせない。ＣＮＮについての１つの特別な有利な効果は、それらが幾何特徴を直接モデル化できることである。相関は隣接受信要素間に存在するので、対象物、主に物体の、よりロバストな検出及び分類が実現可能となる。ピーク全体に関数を調整する試行がなされるため、ＧＭＭもピークの全体に対して動作し、それにより隣接相関がここでも同様に考慮される。

【0032】

特に、方法は、ニューロンネットワーク又はＧＭＭについての測定データの提供を含む。方法は、好ましくは光子ヒストグラムの少なくとも一部分のみを与えるのに使用され得る。距離は、１つのピークのみを備える。結果として、方法は、測定間隔毎及び受信要素毎の光子ヒストグラムの少なくとも一部分の選択を含み得る。少なくとも一部分は、ここでは、１つのピークのみを含むように選択される。特に、部分は、各ピークに与えられる。言い換えると、光子ヒストグラムの情報はピークを表す部分に減縮され、したがって本質的要素に減縮される。あるいは、光子ヒストグラム全体が、ニューロンネットワーク又はＧＭＭに提供され得る。

【0033】

光子ヒストグラムの部分のみがピークとともに提供される場合、ネットワーク又はＧＭＭの複雑さは、それらはより少ない情報を処理することになるので、縮小され得る。さらに、言い換えると、情報は、旧式の信号処理によっては以前に抽出されていない可能性があるピークから特定可能である。これは、旧式の信号処理はより高い計算負荷を必然的に伴い得るためである。

【0034】

特に、ニューロンネットワーク又はＧＭＭの出力は、特にテンソル、すなわち、多次元ベクトルの形態で特徴を含む。さらに、ＧＭＭに関連する特徴は、対応の使用関数、例えば、ガウス関数、例えば、平均値又は標準偏差の特徴として存在し得る。

【0035】

特に、抽出された特徴は、光子ヒストグラムの特性、特に光子ヒストグラムの進行、主に平滑度を表示する。さらに、抽出された特徴は、光子ヒストグラムのピークの平滑度、形状、高さ及び／又は幅を表示する。

【0036】

特に、方法は、抽出された特徴に基づく対象物、主に物体の検出を含む。さらに、対象物、特に物体の分類は、以前に抽出された特徴に基づき得る。特に、物体の場合、分類とは、検出物体への、少なくとも１つの物体クラス、特に以前の１つの物体クラスの割当てのことをいう。物体クラスの例は、特に、人間、自転車、自動二輪車、乗用車、トラック、樹木又は道路標識を含む。特に、分類はニューロンネットワークによって行われ、ニューロンネットワークは全結合ニューロンネットワーク（ＦＣＮ）として設計され得る。さらに、分類は、単純な、線形的な又は非線形の層によって行われ得る。

【0037】

方法は、環境条件の検出を含み得る。具体的にはセンサの受信要素の対応の視野における環境条件、特に気象条件についての表現（ｓｔａｔｅｍｅｎｔ）が主に特定される。

【0038】

表現は、その環境条件の存在、環境条件の種類及び／又は環境条件の強度に関するものであり得る。

【0039】

表現は、ある環境条件が基本的に存在することに関するものであってもよい。方法は、増加と増加とを区別し、具体的には、増加が実際の物体での反射に起因するのか、環境条件、例えば、霧、降雪又は降雨での反射から生じているのかを区別し得る。ここで関係するのは、車両の直近の環境における環境条件である。

【0040】

さらに、表現は、いずれの環境条件、例えば、降雨、降雪又は霧が存在するのかに関するものであってもよい。結果として、方法は、環境条件を分類することができ、すなわち、環境条件の種類を示すことができる。ここでも同様に、種類とは、検出環境条件への少なくとも１つの環境条件クラス、特に１つのみの環境条件クラスの割当てのことをいう。クラスの例は、霧、降雪及び降雨を含む。

【0041】

特に、環境条件の分類は、抽出された特徴に基づいて行われる。例えば、特徴は、ピークの進行を表示し得る。抽出特徴は、環境条件の以前に記憶されたプロファイル、言い換えると、以前に記憶された特徴と比較されてもよく、その割当てが行われることが可能となる。

【0042】

例えば、ヒストグラム又はピークの平滑度は、分類に関する特徴として関連し得る。平滑度は、凹凸、言い換えると、ノイズが光子ヒストグラム又はピークの過程に存在する程度及び範囲を決定し、凹凸はピークよりも大幅に小さい。非常に平滑なヒストグラム又はピークがある場合、すなわち、非常に少ない凹凸がある場合、主に霧が特定され得る。これは、対応のヒストグラム又はピークは霧の高い均質性に基づいて非常に平滑となるためである。これとの比較によって、降雨にトレースバックされ得るヒストグラム又はピークは、より凹凸が大きく、言い換えると、よりノイズが多い。これは、使用される測定パルスの光に対する空間スケールでは、雨滴のサイズは均質性を許容しないためである。同様に、ヒストグラム又はピークの凹凸は、降雪に関してさらに大きくなる。

【0043】

結果として、上昇が、例えば、霧、降雪又は降雨のいずれに基づいてもたらされたのかを推定し、したがって環境条件についての表現に達することができる。さらに、表現は、環境条件の強度、例えば、霧の濃さ又は降雨の強さに関するものであってもよい。

【0044】

物体での反射と環境条件での反射とを区別すること及び／又は環境条件を分類することは、環境条件が物体に対して及びさらには環境条件が相互間でピークの特徴的形状をもたらすということに基づく。環境条件のピークは、好ましくは、光子ヒストグラムの開始において非常に広いピークを有し、指数関数的に立ち下がる側部を有する。これは、光子は非常に早期に既に粒子、例えば、雨滴に反射されるということに起因する。

【0045】

結果として、ピークの形状を評価することは、環境条件を分類し、したがって環境条件の種類についての表現に達することを可能とする。環境条件の強度も、分布及びしたがってピークの形状に影響する。したがって、ピークの形状に基づいて、その環境条件が存在するのか否か、並びにさらに好ましくはその環境条件の種類及び／又は強度について、表現が可能となる。距離がその光子ヒストグラムの位置に基づいて環境条件に割当て可能であると、さらに好適である。

【0046】

さらに、ノイズに基づくピークも、分類可能となる。これらも、特徴的形状を有し、したがって物体及び環境条件のピークから区別可能である。例えば、非常に強い太陽照射は、ヒストグラム全体に関するノイズフロアをもたらす。対応のピークの主に幅及び形状は、物体とノイズとを区別する場合の特徴として関連する。物体のピークは、通常は測定パルスの幅及び形状を有し、一方でノイズのピークは所与の時間的に不変な太陽光がある場合に生じ、したがって、統計的分散によってのみ生じる。結果として、それらの幅は、物体のピークの幅よりも大きい。

【0047】

したがって、方法は、特に光子ヒストグラムの全てのピークを検出し、ピークが基づく対応の対象物を物体及び環境条件に分割し、それらをそれぞれ分類するのに適する。

【0048】

特に、ニューロンネットワークは、長短期記憶タイプのネットワークを含まない。ＬＳＴＭは、提案されるニューロンネットワーク又はＧＭＭよりも非常に学習が難しい。特に、それらは、測定間隔をはるかに超える期間にわたってセンサデータを観察する。これに対する不利な点は、環境条件が全ての瞬時スナップショットにおいて「外乱」として生じた場合、ＬＳＴＭはそれらを識別せずに、それらを物体と同様に経時的に追跡する。結果として、ＬＳＴＭは、追加の情報、例えば、環境条件についての表現を抽出することができなくなる。したがって、ＬＳＴＭは、対象物が物体又は環境条件のいずれに関係するのかを区別することができない。したがって、ＬＳＴＭは、霧など、複数のフレームにおいて規則的に生じる環境条件のような外乱に関してロバスト性を有さない。本発明は、外乱をヒストグラムのそれらの形状に基づいて検出することができ、したがって、より長い期間にわたって出現するノイズ又は環境条件のような反復的外乱を検出及び分類することができる。

【0049】

特に、ニューロンネットワークは学習され、又はＧＭＭはフィッティングされる。さらに、方法は、その学習又はフィッティングを含み得る。

【0050】

学習時に、データはニューロンネットワークに利用可能とされる。データは、既に手動で評価され、言い換えると、ラベル付けされている。そして、クラスは、既にデータセットに割り当てられている。これは「グラウンドトゥルース」を表す。データを特定するために、実際の運転状況で生じる光子ヒストグラムが、取得され、収集され、そして、取得された光子ヒストグラム及び手動で取得された分類に基づいて学習データのセットを生成するように手動分類ステップにおいて手動で分類され得る。追加のステップにおいて、ニューロンネットワークは、対応のデータセットに対して学習されたニューロンネットワークを生成するように、学習データセットによって学習されてもよい。データセットはここでは物体に関するので、ニューロンネットワーク又はＧＭＭは各種物体クラスに関して学習される。さらに、データセットは、対応の環境条件下で、例えば、それらの種類及び強度に応じて記録されたデータも含んでいてもよく、それにより、ニューロンネットワークは環境条件に関しても学習される。ニューロンネットワーク又はＧＭＭは、例えば、降雨及び／若しくは降雨強度を検出するため、霧及び／若しくは霧密度を検出するため、並びに／又は降雪及び／若しくは降雪量を検出するために、環境条件について学習され得る。

【0051】

したがって、結果として、大量の学習データが、学習処理時にニューロンネットワークに提示される。手動で実行された対応の割当て、すなわち、分類がニューロンネットワークによって学習され、そして分類処理時にニューロンネットワークによって使用され得る。ニューロンネットワークは、ここでは特徴抽出及び分類を、すなわち、分類部とともに、すなわち、１ステップで学習する。好ましくは、上述のラベル付けされたデータがニューロンネットワークに提供され、抽出された特徴が分類部に伝達される。ニューロンネットワークの重み付けが、データセットの以前に割り当てられたクラスと、生成されたクラスとの間の比較に基づいて調整される。学習処理は、主に損失関数を含む。

【0052】

ニューロンネットワークの学習処理時に、主に非線形関数が学習される。特に、第１のステップにおいて現在のデータのフォワードパスが行われ、第２のステップにおいて損失計算が行われる。第３のステップにおいて、勾配計算及びバックワードパス並びにしたがって使用される重み付けの最適化が行われる。

【0053】

ＧＭＭの場合、ＧＭＭの関数がフィッティングされ、言い換えると、それらの特性が調整される。

【0054】

特に、ＧＭＭは、期待値最大アプローチによってフィッティングされる。第１のステップにおいて、存在しないデータポイントが推定又は推測される期待ステップが行われる。第２のステップの最大化ステップにおいて、ＧＭＭの関数の分布の変数が、それらが分布、すなわち、ピークの形状に対応するように、可能な限り最良となるように調整される。フィッティングは、主に監視されずに行われる。そして、フィッティングされた関数は分類部に利用可能とされ、それは以前にラベル付けされた学習データを用いて学習される。

【0055】

人工ニューロンネットワーク（生物学的な神経回路網と同様）及びＧＭＭは高いパターン認識能力を有するので、学習された人工ニューロンネットワークは、悪環境条件時においても検出された物体を容易に識別し得る。さらに、ニューロンネットワークは、いずれの環境条件が支配的であるのかを自律的に検出してこの結果を伝達してもよい。

【0056】

さらに、１つ若しくは複数の環境条件についての及び／又は１つ若しくは複数の物体クラスについての確率を示すこともできる。例えば、複数の物体クラスが、対応のクラスがどの程度正しく当てはまるのかについての対応の確率で、物体に割当て可能である。同じことが、環境条件についても当てはまる。複数の可能性ある環境条件、例えば、降雨、降雪、霧は、対応の確率で既知の環境条件に割り当てられ得る。例えば、環境条件が降雨を含む可能性が最も高く、降雪を含む可能性が次に高いということが出力されてもよい。

【0057】

さらに、方法は、物体の反射率及び物体の角度に関する表現を特定し得る。これらの２つの特徴も、ピークの形状から導出される。学習も、この情報を考慮してもよい。

【0058】

特に、方法は、各検出対象物まで、主に各検出物体まで及び／又は各検出環境条件までの距離の特定及び割当てを含む。例えば、距離は、例えば特定の環境条件に起因する上昇部分に割り当てられてもよい。一例では、物体、例えば、車両は１００ｍ以内に位置し、一方で霧は５０ｍ以内に存在する。霧は、光子ヒストグラムにおける対応のピークをトリガし、それがこの方法に基づく物体の検出によって差異付けられ、分類され、距離を割り当てられている。

【0059】

特に、方法は、車両を自律的又は半自律的に制御するのに使用されてもよい。さらに、方法は、自律又は半自律運転のためのドライバ支援のフレームワーク内で適用されてもよい。さらに、方法は、交通監視のフレームワーク内で適用されてもよい。例えば、対応の装置が、ここではボラードに配置されてもよい。

【0060】

特に、抽出及び／又は分類は、評価部によって実行される。評価部は、主にニューロンネットワーク又はＧＭＭを備える。評価部は、分類された物体及び／又は環境条件を考慮して、対応の制御信号を車両の制御部に伝達し得る。さらに、物体及び／又は環境条件について特定された距離が考慮されてもよい。例えば、特定の環境条件が検出された場合、例えば、濃霧の場合には、フォグランプが自動的に作動されてもよいし、及び／又は例えば雨天の場合には、運転は自動的に減速されてもよいし、及び／又は自動ブレーキが実行されてもよい。

【0061】

特に、制御部は、複数のモジュール、例えば、ブレーキシステムのための制御モジュール、ドライブトレインのための制御モジュール、車両のステアリングシステムのための制御モジュール、及び自律運転のための制御モジュールを備える。結果として、ブレーキシステム、ドライブトレイン及び／又はステアリングシステムは、評価部の情報に基づいて制御され得る。

【0062】

正確な環境検出は自律運転の領域での用途には特に重要であり、本方法又は装置は対応の信頼性の高いデータをもたらすことができ、これは対応の制御信号のための基礎として作用し得る。

【0063】

他の態様において、本発明は、対象物を分類する装置を備える。装置は、複数の受信要素を有するセンサ、及びニューロンネットワーク又はＧＭＭを有する評価部を備え、ニューロンネットワークはＦＣＮ又はＣＮＮを含む。ニューロンネットワーク又はＧＭＭはセンサの１又は複数の受信要素の測定データから特徴を抽出するように設計され、センサの少なくとも１つの受信要素の測定データは光子ヒストグラムの少なくとも１つのそれぞれの部分に関係する。

【0064】

特に、装置は、上述の方法を実施するように設計される。特に、評価部は、ニューロンネットワーク又はＧＭＭに基づいて、特に、特徴を抽出し、対象物、主に物体及び環境条件を分類し、並びに／又は環境条件に関する表現に達する上述の方法のステップを実行するように構成された計算ユニット、例えば、ハードウェアアクセレレータを備える。さらに、評価部は、メモリ及び／又は入出力インターフェースを備え得る。

【0065】

他の態様において、本発明は、本発明に係る装置、及び好ましくは上述の制御部を有する車両に関する。さらに、車両はユーザインターフェースを備えていてもよく、それは、例えば、環境条件に関する特定された表現を表示する電子ディスプレイを含み得る。

【0066】

さらに、本発明はコンピュータプログラム製品を備え、それは、コンピュータのメモリに読み込まれると、場合によっては上述の装置とともにコンピュータに上述の方法を実行させることができるプログラムが記憶されたコンピュータ可読記憶媒体を備える。

【0067】

さらに、本発明は、コンピュータのメモリに読み込まれると、上述の装置とともにコンピュータに上述の方法を実行させることができるプログラムが記憶されたコンピュータ可読記憶媒体に関する。

【0068】

純粋に模式的な図を以下に示す。

【図面の簡単な説明】

【0069】

【図1】図１は、本発明に係る方法の処理図である。

【図2】図２は、本発明に係る装置である。

【図3】図３は、本発明に係る装置を有する車両の構成に関するブロック図である。

【図4】図４は、１次元アレイとしての光子ヒストグラムである。

【図5】図５は、２Ｄ画像としての光子ヒストグラムである。

【発明を実施するための形態】

【0070】

図１は、対象物を分類する本発明に係る方法１００を示す。

【0071】

方法１００は、好ましくは、センサ１１による光遷移時間測定の実行１０１を含む。光子ヒストグラム４０は、具体的には光遷移時間測定に基づいて生成され得る（１０２）。この目的のため、方法は、時間相関単一光子カウント１０３を含み得る。

【0072】

方法は、ニューロンネットワーク１４ａ、具体的にはＣＮＮ若しくはＦＣＮ、又はＧＭＭ１４ｂについての測定データの提供１０６をさらに含み得る。提供１０６は、１次元アレイ４１から２Ｄ画像４４への光子ヒストグラム４０の変換１０４を含み得る。さらに、光子ヒストグラム４０は、１次元アレイ４１として提供され得る（１０６）。提供１０６は、光子ヒストグラム４０の部分の選択１０５を含み得る。特に、その部分は、ピーク４５を備える。

【0073】

方法は、ニューロンネットワーク１４ａ又はＧＭＭ１４ｂによる光子ヒストグラム４０に基づく特徴の抽出１０７を含む。さらに、方法は、以前に抽出された特徴に基づく対象物の分類１０８を含み得る。抽出された特徴に基づいて、方法１００は、環境条件に関する表現の特定１０９を含み得る。さらに、方法は、抽出された特徴に基づいて各検出対象物までの距離の特定及び割当て１１０を含み得る。

【0074】

図２は、本発明に係る装置１０を示し、それは複数の受信要素を有するセンサ１１を備える。センサ１１は、受信要素を有する受信部１３、及び送信要素を有する送信部１２を備える。さらに、装置１０はニューロンネットワーク１４ａ又はＧＭＭ１４ｂを備え、それらは評価部１４に位置する。ニューロンネットワーク１４ａ又はＧＭＭ１４ｂはセンサ１１の測定データから特徴を抽出するように設計され、測定データは光子ヒストグラム４０の少なくとも一部分に関係する。評価部１４は、抽出された特徴に基づいて物体及び環境条件を分類する分類部１４ｃをさらに備える。

【0075】

図３は、本発明に係る装置１０を有する車両２１の構成に関するブロック図を示す。言い換えると、図３は、車両２１への装置１０の統合を示す。

【0076】

車両２１は、車両通信ネットワーク２２を介して相互に接続された複数の電子構成要素を備える。例えば、車両通信ネットワーク２２は、ＣＡＮバスなど、車両２１に内蔵された標準車両通信ネットワークであり得る。

【0077】

車両２１は制御部１５を備え、それは複数のモジュール、具体的には、ブレーキシステムのための制御モジュール１６、ドライブトレインのための制御モジュール１７、車両２１のステアリングシステムのための制御モジュール１９、及び自律運転のための制御モジュール１８を備える。

【0078】

車両２１は装置１０、具体的にはセンサ１１及び評価部１４を備え、それは、自律運転のための制御部１５が、例えば、車両２１を制御することに関するその意思決定時の分類結果を考慮することを可能とする環境分類を実行することができる。評価部１４は、分類部１４ｃの結果に基づいて制御部１５に制御信号を伝達するように設計される。

【0079】

車両２１は無線通信インターフェース２３、ここでは特に移動体通信インターフェースをさらに備え、それはＬＴＥ／ＵＭＴＳ標準に基づいて設計され、評価部１４がクラウドサービスのような外部サービス、特にナビゲーションサービスと通信し、ここでは特に外部緊急コールセンターと通信することを可能とする。この目的のため、例えば、移動体通信インターフェースは、加入者識別モジュール（ＳＩＭ）を備え、それにより、移動体ネットワーク、特に緊急コールセンターを介した通信を可能とするように（移動体ネットワークがＳＩＭ認証なしに緊急番号との通信を可能としていない場合）、車両２１が移動体ネットワークに報告可能となる。

【0080】

さらに、車両２１は、車両２１の位置を取得するための衛星ナビゲーションユニット２４を備える。

【0081】

車両２１は、搭乗者が１又は複数の車両システムと対話することを可能とするユーザインターフェース２０をさらに備える。このユーザインターフェース２０は、グラフ、記号及び／又は文字のコンテンツを出力するための電子ディスプレイ、並びに入力（例えば、手動入力、音声入力、及びジェスチャー、頭部又は目の移動を介した入力）を受信するための入力インターフェースを備え得る。例えば、入力インターフェースは、キーボード、スイッチ、接触感度スクリーン（タッチスクリーン）、アイトラッカーなどを備え得る。

【0082】

図４は、受信要素から取得されて１次元アレイ４１として設計された例示の光子ヒストグラム４０を示す。それは、ビン４２を、ここでは例えば３０個備え、規定された測定間隔４６内で検出された検出値４３が記録される。距離測定範囲は、測定間隔４６に割当て可能である。光子ヒストグラム４０は、１秒の１０分の１の測定間隔４６で例示的に特定されている。距離測定範囲は３０個のビン（ｎ＝１・・・３０）に分割され、それらはヒストグラムのＸ軸に記録され、１～３０番が付けられる。各ビンは、予め規定された距離範囲に対応する。一例として、距離測定範囲は０～９０ｍの距離範囲を包含し、ビンは等間隔に設定されるものとする。この例示の場合では、各ビンは、３ｍの距離範囲に対応する。

【0083】

測定間隔４６に対する検出数が、数字としてそれぞれのビンに記録される。例えば、４件の検出数がビン２１において発生し、例えば、これは６０～６３ｍの距離に対応する。６件の検出数がビン２２において、１７件の検出数がビン２３において、３０件の検出数がビン２４において、６件の検出数がビン２５において発生している。結果として、ビン２１～２５は、ビン２４において最大のピーク４５を規定し、これはここでは６９～７２ｍの距離に対応する。さらに、２０件の検出値がビン７において、２１件の検出値がビン８において、２４件の検出数がビン９において発生している。これは、更なるピーク４５を規定する。ニューロンネットワーク１４ａ又はＧＭＭ１４ｂは、ピーク４５を検出してそれらの形状を評価するように設計される。

【0084】

ビン毎の検出数は、それぞれの距離範囲における反射信号の強度を表示する。図４の光子ヒストグラム４０で明らかなように、第１の対象物は受信要素の視界に位置し、それはビン２１～２５においてビン２４における最大値を有する測定結果をもたらすので、約７１ｍの検出対象物の距離が推定可能となる。ピーク４５は物体についての特徴的形状を示すので、対象物は物体に関係すると結論付けることができる。さらに、ビン７～９のピーク４５に基づいて、受信要素の視界に霧が存在していると結論付けることができる。言い換えると、ピーク４５の原因である対象物は、霧として分類可能である。霧は、約２１～２７ｍの距離に位置する。これは、ピーク４５の形状から特定可能である。これにより、環境条件についての表現に達することが可能となる。

【0085】

図５は、図４の光子ヒストグラム４０を同様に示すが、２Ｄ画像４４の形態で示す。図４のような数字の形態での対応の検出値の代わりに、対応のビンの位置における値がＹ方向にカラムとして図示される。結果として、２Ｄ画像４４が含まれる。２つのピーク４５が、再度視認可能となる。本方法に基づくと、ビン２４に最大値を有する後方のピーク４５は物体での反射に基づく一方で前方のピーク４５は霧での反射に起因するということを特定するのにピークの形状が使用可能である。したがって、個々のピークの形状に基づいて、検出対象物は、それらが環境条件に関係する場合であっても分類可能となる。

【0086】

ニューロンネットワークの実施例
１次元入力を処理して対象物の距離を評価するＣＮＮネットワークのアーキテクチャを例示的に示す。
・畳み込み層１：
－入力形状：２０１６×１
－初期化：Ｘａｖｉｅｒ
－カーネルサイズ：５×１
－ストライド：０
－パディング：ゼロパディング
－特徴マップアウト：２００７×１６
－活性化：ＲｅＬＵ
・最大プーリング
－カーネルサイズ：２×１
－ストライド：０
－出力形状：１００３×１６
・畳み込み層２：
－入力形状：１００３×１６
－初期化：Ｘａｖｉｅｒ
－カーネルサイズ：５×１
－ストライド：０
－パディング：ゼロパディング
－特徴マップアウト：９９９×３２
－活性化：ＲｅＬＵ
・最大プーリング
－カーネルサイズ：２×１
－ストライド：０
－出力形状：４９９×３２
・畳み込み層３：
－初期化：Ｘａｖｉｅｒ
－カーネルサイズ：５×１
－ストライド：０
－パディング：ゼロパディング
－特徴マップアウト：４９７×６４
－活性化：ＲｅＬＵ
・最大プーリング
－カーネルサイズ：２×１
－ストライド：０
－出力形状：２４８×６４
・全結合層：
－入力形状：１５８７２×１
－初期化：Ｘａｖｉｅｒ
－サイズ：５０
－活性化：ＲｅＬＵ
・ドロップアウト：
－ドロップアウトレート：０．３
・全結合層：
－入力形状：５０×１
－サイズ：１
－活性化：なし

【符号の説明】

【0087】

１００ 方法
１０１ センサによる光遷移時間測定の実行
１０２ 光遷移時間測定に基づく光子ヒストグラムの生成
１０３ 時間相関単一光子カウント
１０４ ２Ｄ画像への光子ヒストグラムの変換
１０５ 光子ヒストグラムの部分の選択
１０６ ニューロンネットワーク又はＧＭＭについての測定データの提供
１０７ ニューロンネットワーク又はＧＭＭによるセンサの１又は複数の受信要素の測定データからの特徴の抽出
１０８ 以前に抽出された特徴に基づく対象物の分類
１０９ 環境条件に関する表現の特定
１１０ 各検出対象物までの距離の特定及び割当て
１０ 装置
１１ センサ
１２ 送信部
１３ 受信部
１４ 評価部
１４ａ ニューロンネットワーク
１４ｂ ＧＭＭ
１４ｃ 分類部
１５ 制御部
１６ ブレーキシステムのための制御モジュール
１７ ドライブトレインのための制御モジュール
１８ 自律運転のための制御モジュール
１９ ステアリングシステムのための制御モジュール
２０ ユーザインターフェース
２１ 車両
２２ 車両通信ネットワーク
２３ 無線通信インターフェース
２４ 衛星ナビゲーションユニット
４０ 光子ヒストグラム
４１ １Ｄアレイ
４２ ビン
４３ 検出値
４４ ２Ｄ画像
４５ ピーク
４６ 測定間隔

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】