特許 6945785 ３Ｄポイントクラウドの処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6945785

(24)【登録日】2021年9月17日

(45)【発行日】2021年10月6日

(54)【発明の名称】３Ｄポイントクラウドの処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210927BHJP

   G06T 7/521 20170101ALI20210927BHJP

   G08G 1/16 20060101ALI20210927BHJP

   G01S 17/89 20200101ALI20210927BHJP

   G01S 17/93 20200101ALI20210927BHJP

   G06N 99/00 20190101ALI20210927BHJP

【ＦＩ】

   G06T7/00 350C

   G06T7/521

   G08G1/16 C

   G01S17/89

   G01S17/93

   G06N99/00

【請求項の数】11

【全頁数】16

(21)【出願番号】特願2018-548732(P2018-548732)

(86)(22)【出願日】2017年3月14日

(65)【公表番号】特表2019-512802(P2019-512802A)

(43)【公表日】2019年5月16日

(86)【国際出願番号】EP2017056039

(87)【国際公開番号】WO2017157967

(87)【国際公開日】20170921

【審査請求日】2020年2月13日

(31)【優先権主張番号】102016204177.0

(32)【優先日】2016年3月14日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】517217922

【氏名又は名称】イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【復代理人】

【識別番号】100196449

【弁理士】

【氏名又は名称】湯澤 亮

(74)【代理人】

【識別番号】100167793

【弁理士】

【氏名又は名称】鈴木 学

(72)【発明者】

【氏名】ティシュコフ，ディミトリ

(72)【発明者】

【氏名】アバド，フレデリック

(72)【発明者】

【氏名】ベンダハン，レミー

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１２−１８９４４５（ＪＰ，Ａ）

【文献】 米国特許第０９０９８７５４（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２００７／０２１９７２０（ＵＳ，Ａ１）

【文献】 嶋田 達之介 外5名，ＬｉＤＡＲ深度データを用いたＣＮＮブレーキシーン認識，電子情報通信学会技術研究報告 Vol. 115 No. 323，日本，一般社団法人電子情報通信学会，２０１５年１１月１９日，Vol. 115 No. 323，pp. 61-67

【文献】 市川 善規 外5名，低解像度ＬＩＤＡＲを用いた歩行者検出のための特微量に関する検討，電子情報通信学会技術研究報告 Vol. 114 No. 230，日本，一般社団法人電子情報通信学会，２０１４年１０月 ２日，Vol. 114 No. 230，pp. 7-12

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／９０

Ｇ０１Ｓ １７／８９

Ｇ０１Ｓ １７／９３

Ｇ０６Ｎ ９９／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

−深度センサの所定の視点から３Ｄポイントクラウドを取得するステップと、
−前記視点に関して、前記３Ｄポイントクラウドの各ポイントから３Ｄ座標（ｘｙｚ）および強度（ｉ）データを抽出するステップと、
−３Ｄ座標（ｘｙｚ）および強度（ｉ）データを少なくとも３つの２次元（２Ｄ）空間：
・各ポイントの前記強度（ｉ）データの強度２Ｄ空間（ＩＳ）関数、
・各ポイントの高さ（ｈ）データの高さ２Ｄ空間（ＨＳ）関数、および
・３Ｄポイントクラウドの各ポイントと前記視点との間の距離（ｄ）データの距離２Ｄ空間（ＤＳ）関数
に変換するステップと
を有し、
単一のマルチチャネル２Ｄ空間（ＩＳ、ＨＳ、ＤＳ）を定義する、
３次元（３Ｄ）ポイントクラウドの処理方法。

【請求項2】

前記変換ステップが、
−背景ポイントを検出するステップと、
−検出された背景ポイントに対して所定のデフォルト値を設定するステップと
をさらに含む、請求項１に記載の処理方法。

【請求項3】

前記変換ステップの前に、
−１：Ｎクラスでオブジェクトを分類するタグデータ（Ｌａｂｅｌ−Ａ）を供給するステップと、
−前記供給されたタグデータ（Ｌａｂｅｌ−Ａ）に従って、１：Ｎクラスのオブジェクトに属するものとして各抽出されたポイントデータ（ｘｙｚｉ）をラベル付けするステップと
をさらに有する訓練フェーズを含む、請求項１または２に記載の処理方法。

【請求項4】

前記変換ステップが、
−各ポイントの前記強度データに、前記距離データに応じて強度正規化関数を適用することによって前記強度空間（ＩＳ）を正規化するステップ、および／または
−各ポイントの前記高さデータに、前記３Ｄポイントクラウド内の最小および最大の高さデータに応じて高さ正規化関数を適用することによって前記高さ空間（ＨＳ）を正規化するステップ、および／または
−各ポイントの前記距離データに、前記３Ｄポイントクラウド内の最小および最大の距離データに応じて距離正規化関数を適用することによって前記距離空間（ＤＳ）を正規化するステップ
から構成される、前記２Ｄ空間の少なくとも１つの正規化ステップを含み、
正規化された単一のマルチチャネル２Ｄ空間（ＩＳＮ、ＨＳＮ、ＤＳＮ）を定義する、
請求項１から３のいずれか１項に記載の処理方法。

【請求項5】

前記３Ｄポイントクラウドが、ライダーなどの前記深度センサを使用して導出される、請求項１から４のいずれか１項に記載の処理方法。

【請求項6】

前記強度空間、前記高さ空間、および前記距離空間の各々が、ポイントごとのＲＧＢ値空間の１つにそれぞれ割り当てられる、請求項１から５のいずれか１項に記載の処理方法。

【請求項7】

−請求項１から６のいずれか１項に記載の処理方法と、
−ディープニューラルネットワークなどの機械学習に、少なくとも１つの単一のマルチチャネル２Ｄ空間（ＩＳ、ＨＳ、ＤＳ；ＩＳＮ、ＨＳＮ、ＤＳＮ）を供給するステップと、
−前記３Ｄポイントクラウド内の少なくとも１つの関心オブジェクトを識別する、供給された単一のマルチチャネル２Ｄ空間ごとに少なくとも１つの分類ラベルを出力するステップと
を有する、３Ｄポイントクラウド内の関心オブジェクトの分類方法。

【請求項8】

前記供給ステップが、
−請求項１から６のいずれか１項に記載の処理方法を繰り返すことによって、マルチチャネル２Ｄ空間のバッチを蓄積するステップと、
−蓄積されたマルチチャネル２Ｄ空間の前記バッチの間に、ランダムな数のマルチチャネル２Ｄ空間の平均の組合せを供給するステップと
から構成される訓練フェーズを前記機械学習が有する、請求項７に記載の分類方法。

【請求項9】

前記供給ステップが、
−請求項１から６のいずれか１項に記載の処理方法を繰り返すことによって、マルチチャネル２Ｄ空間のバッチを蓄積するステップと、
−蓄積されたマルチチャネル２Ｄ空間の前記バッチの間に、あらかじめ定義された順序で分配された、いくつかのマルチチャネル２Ｄ空間を供給するステップと
から構成される訓練フェーズを前記機械学習が有する、請求項７に記載の分類方法。

【請求項10】

前記供給ステップが、
−請求項１から６のいずれか１項に記載の処理方法を繰り返すことによって、マルチチャネル２Ｄ空間のバッチを蓄積するステップと、
−蓄積されたマルチチャネル２Ｄ空間の前記バッチの間に、ランダムに選択された少なくとも２×２のマルチチャネル２Ｄ空間の行列を供給するステップと
から構成される訓練フェーズを前記機械学習が有する、請求項７に記載の分類方法。

【請求項11】

車両であって、
−少なくとも運転者の視点から、前記車両が走行しているときに辿った経路の３Ｄポイントクラウドを取得するように配置された深度センサと、
−請求項１から６のいずれか１項によって前記取得された３Ｄポイントクラウドを処理する処理ユニットと、
−請求項７から１０のいずれか１項によって処理された３Ｄポイントクラウド内の関心オブジェクトを分類する分類ユニットと、
−前記分類された関心オブジェクトに関する情報を表示するように配置された表示ユニットと、
−前記分類された関心オブジェクトに応じて前記車両を制御するように配置された自動運転ユニットと、
−前記表示ユニットおよび前記自動運転ユニットのうちの少なくとも１つを作動させるように決定する決定ユニットと
を備える、車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の自動運転に関する。詳細には、本発明は、ライダーなどを使用して導出された３次元（３Ｄ）ポイントクラウドの処理方法に関する。本発明はさらに、そのような処理方法に基づいて、かつ機械学習を使用して、３Ｄポイントクラウド内の関心オブジェクトの分類のための方法に関する。

【0002】

これらの方法は、特に、障害物の検出および回避のためのライダーセンサなどの深度センサを使用して環境の中を安全に操縦する、人間支援型または自律型の車両の分野において有用である。ライダーセンサは、レーザ光をターゲットに照射することによって距離を測定する。

【背景技術】

【0003】

公開文献「Ｃｏｎｖｏｌｕｔｉｏｎａｌ−Ｒｅｃｕｒｓｉｖｅ Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ３Ｄ ｏｂｊｅｃｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ」、Ｒｉｃｈａｒｄ Ｓｏｃｈｅｒ、Ｂｒｏｄｙ Ｈｕｖａｌ、Ｂｈａｒａｔｈ Ｂｈａｔ、Ｃｈｒｉｓｔｏｐｈｅｒ Ｄ．Ｍａｎｎｉｎｇ、Ａｎｄｒｅｗ Ｙ．Ｎｇ、ＮＩＰＳ２０１２は、畳み込み再帰的ディープラーニングを使用する３Ｄオブジェクト分類のための方法を記述している。分類システムへの入力は、カメラからのＲＧＢ（赤、緑、青）データおよび深度センサ（ＳＴＥＲＥＯ、ＴＯＦ、ＬＩＤＡＲなど）からのＤ（距離）から構成されるＲＧＢ−Ｄ情報を必要とする。そのような方法にはいくつかの欠点があり、その中には、いくつかのセンサ、すなわち、カメラおよび深度センサの使用、およびディープラーニングに供給するためにカメラからのデータ（画像）を深度センサ（座標）と統合する必要性がある。

【0004】

公開文献「Ｔｏｗａｒｄｓ ３Ｄ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｖｉａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ａｒｂｉｔｒａｒｙ ｏｂｊｅｃｔ ｔｒａｃｋｓ」、Ａｌｅｘ Ｔｅｉｃｈｍａｎ、Ｊｅｓｓｅ Ｌｅｖｉｎｓｏｎ、およびＳｅｂａｓｔｉａｎ Ｔｈｒｕｎ（ＩＣＲＡ ２０１ １）は、オブジェクト認識の方法を記述している。記載された方法では、データの各ソースは、手作業で作成された特徴を逐次方式で算出するために使用され、一連のカスケードでの機械学習の分類が後に続く。この処理フローは、ほとんど一般的な非常に繰返しが多いケースを解決するために最適化されるが、同時にすべての状況に最適ではあり得ないパラメータ調整における柔軟性が限られているので、あまり一般的でない状況ではパフォーマンスが十分でないことが分かる。最後に、強度データのみは２Ｄ画像マップの形態で提示され、並列アクセスおよび処理を単一の情報源に限定する。

【0005】

欧州特許出願公開第２９５８０４９号は、ポイントクラウドから特徴領域を抽出する方法を記述している。記載された方法は、後で機械学習アルゴリズムによって分類される、対応するボクセルに対するキーポイント選択および記述子計算のための手作業のプロセスを使用する。特徴が事前に選択されているそのような処理パイプラインは、情報のかなりの部分が手作りの方法の選択のせいで事前にフィルタリングされていたので、ディープニューラルネットワーク（ＤＮＮ）が自動的に特徴を見つける可能性を実現するようにできなかった。そのような事前フィルタリングは、他の多くの現実世界の状況で不利益を被る一方で、特定のタイプの状況に有益である可能性がある。さらに、記載された方法は、低密度のポイントクラウドデータを補償せず、したがって、遠方にあるオブジェクトに対する認識精度が低い。

【0006】

Ｙｕらによる公開文献「Ｏｂｓｔａｃｌｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ３Ｄ Ｍｅａｓｕｒｅｍｅｎｔ ｉｎ Ｕｎｓｔｒｕｃｔｕｒｅｄ Ｅｎｖｉｒｏｎｍｅｎｔｓ Ｂａｓｅｄ ｏｎ ＴｏＦ Ｃａｍｅｒａｓ」は、非構造化環境におけるロボットナビゲーションのための飛行時間（ＴｏＦ）カメラの使用に基づく障害物検出および分類方法を記述している。異なる種類のセンサ（ＴＯＦ対ライダー）を使用しながら、強度測定は、いわゆる１タップセンサとして制御されるＳＲ−３０００センサを使用して実行される。これは、信頼性のある距離情報を取得するために、４回の連続露光が実行されなければならないことを意味する。したがって、景観内で高速移動するターゲットは、距離計算でエラーを引き起こす可能性がある。ＳＲ−３０００センサのマニュアル（ｈｔｔｐｓ：／／ａｉｗｅｂ．ｔｅｃｈｆａｋ．ｕｎｉ−ｂｉｅｌｅｆｅｌｄ．ｄｅ／ｆｉｌｅｓ／ＳＲ３０００ ｍａｎｕａｌ Ｖ１．０３．ｐｄｆ）に定義されているシステムパラメータによれば、記載された方法は、８５０ｎｍの波長で７．５ｍまでの強度を使用する。さらに、記載された方法は、特徴エンジニアリング手法に基づき、すべての特徴が手作業であり、その結果、データが組み合わされる方法は、訓練データとは無関係に変わらないままである。記載された方法は、オブジェクト認識のための特徴を形成するために強度と３Ｄ情報の組合せを使用しないが、代わりに、ピクセルごとの強度値と３Ｄ測定値との間の直接対応関係を有しながら、３Ｄデータまたは結果として２Ｄデータの処理を使用する。さらに、記載された方法は、関心領域のセグメント化の間にノイズをフィルタリングして３Ｄ障害物クラスタリングを改善するために強度を使用する。より詳細には、記載された方法は、いくつかの空間を形成する４つの別個のチャネルＩ、Ｘ、Ｙ、Ｚを使用し、さらなる処理段階がないと、畳み込みディープニューラルネットワークによって容易かつ効率的に処理することができない。

【発明の概要】

【0007】

これらの従来技術は、複数のセンサからのデータおよび／または手作業による特徴選択のプロセスの組合せによってオブジェクト分類の問題に対処し、共通の日常的な状況において許容可能な結果をもたらす。しかしながら、センサの組合せは、使用条件を、すべての使用されるセンサが信号（たとえば、日、良好な気象条件など）を効率的に取り込むことが可能な状況に実質的に限定し、センサの１つが取り込まれた信号を決定できない状況（たとえば、夜間、雨天などにおけるカメラ）においては、正確な結果をもたらすことをできなくする。さらに、手作業による特徴選択プロセスは、非常に少ない典型的な状況（たとえば、最も一般的なもの）に対して最大のパフォーマンスを達成するためにのみ調整することができ、他の（希少／ユニークな）ケースでは、ロバストな分類に必要な手作業による特徴の不在に起因して、同じパフォーマンスを達成することができない。

【0008】

本発明は、従来技術の上述された欠点に対処し、第１に、単純かつ機械学習の目的に適応した３Ｄポイントクラウドの処理方法と、そのような処理方法に基づく、かつ機械学習を使用する３Ｄポイントクラウド内での対象物の分類方法とを提案することを目的とする

【0009】

この目的において、本発明の第１の態様は、
−深度センサの所定の視点から３Ｄポイントクラウドを取得するステップと、
−視点に対して３Ｄポイントクラウドの各ポイントから３Ｄ座標（ｘｙｚ）および強度（ｉ）データを抽出するステップと、
−３Ｄ座標（ｘｙｚ）および強度（ｉ）データを少なくとも３つの２次元（２Ｄ）空間：
・各ポイントの強度（ｉｎｔｅｎｓｉｔｙ）（ｉ）データの強度２Ｄ空間（ＩＳ）関数、
・各ポイントの高さ（ｅｌｅｖａｔｉｏｎ）（ｈ）データの高さ２Ｄ空間（ＨＳ）関数、および
・３Ｄポイントクラウドの各ポイントと視点との間の距離（ｄｉｓｔａｎｃｅ）（ｄ）
データの距離２Ｄ空間（ＤＳ）関数
に変換するステップと
を備え、
単一のマルチチャネル２Ｄ空間（ＩＳ、ＨＳ、ＤＳ）を定義する（ｄｅｆｉｎｉｎｇ）、
３次元（３Ｄ）ポイントクラウドの処理方法である。

【0010】

上記の実施形態による処理方法は、３Ｄポイントクラウド内の任意の関心オブジェクトを認識するために不可欠な情報をすべて保持することを可能にする、強度、高さ、および距離に関する情報を含む少なくとも３つの２Ｄ空間によって定義される単一のマルチチャネル２Ｄ空間に、取得された３Ｄポイントクラウドデータを変換する簡単かつ容易な方法を提供する。さらに、深度センサ強度データからの強度空間を有することにより、様々な材料から作られたオブジェクトを分類するために有用なさらなる情報源がもたらされる。さらに、そのような単一マルチチャネル２Ｄ空間は機械学習アルゴリズムによく適合し、センサの融合に比べて低コストである単一の深度センサを使用するだけでよく、３Ｄ座標を有するポイントクラウドの時系列ならびにすべての昼／夜および気象条件に対して同じ信号／ノイズ比を有する強度データを生成する。このように、単一の組み合わされた画像空間に対応する単一のマルチチャネル２Ｄ空間（ＩＳ、ＨＳ、ＤＳ）を定義することにより、ディープニューラルネットワークまたは畳み込みニューラルネットワーク（ＤＮＮまたはＣＮＮ）の能力を大幅に向上させて、同時にすべてのレイヤに対して３つのタイプの情報（強度、高さ、深度）のうちの深度列に沿って、フィルタ／特徴の最良の組合せを自動的に決定する。

【0011】

有利なことに、変換ステップは、背景ポイントを検出するステップと、検出された背景ポイントに対して所定のデフォルト値を設定するステップとをさらに含む。それらの座標および強度値のおかげで検出される背景ポイントは、異なる２Ｄ空間内で固定値（たとえば、０，０，０）に設定される。したがって、同様に２Ｄ空間に変換される前景ポイント（非背景）は、それらを完全に占有しないはずである。実際に結果として得られた２Ｄ空間では、背景ポイントは空のはずである。好ましくは、選択されたデフォルト値は、空間／チャネルごとに２Ｄ空間に投影されたポイントの値とは異なるべきである。様々な値を試し、固定のデフォルト値（０，０，０）が結果として得られる精度が最も高いことを確認した。さらに、機械学習は、背景／前景情報を使用して、関心オブジェクトの外形または輪郭を知ることができるはずである。

【0012】

有利なことに、処理方法は訓練フェーズを含み、その間、処理方法は、変換ステップの前に、
−１：Ｎクラスでオブジェクトを分類するタグデータ（Ｌａｂｅｌ−Ａ）を供給するステップと、
−供給されたタグデータ（Ｌａｂｅｌ−Ａ）に従って、１：Ｎクラスのオブジェクトに属するものとして、各抽出されたポイントデータ（ｘｙｚｉ）をラベル付けするステップと
をさらに備える。

【0013】

そのようなラベル付けステップは、訓練フェーズ中に、３Ｄポイントクラウド内の関心オブジェクトが対応するタグに正しく割り当てられることを保証する。ラベル付けステップはまた、そのような訓練フェーズを短縮し、オンラインフェーズ中の分類の信頼性を高める。

【0014】

有利なことに、変換ステップは、
−各ポイントの強度データに、距離データに応じて強度正規化関数を適用することによ
って強度空間（ＩＳ）を正規化するステップ、および／または
−各ポイントの高さデータに、３Ｄポイントクラウド内の最小および最大の高さデータに応じて高さ正規化関数を適用することによって高さ空間（ＨＳ）を正規化するステップ、および／または
−各ポイントの距離データに、３Ｄポイントクラウド内の最小および最大の距離データに応じて距離正規化関数を適用することによって距離空間（ＤＳ）を正規化するステップ
から構成される、２Ｄ空間の少なくとも１つの正規化ステップを含み、
正規化された単一のマルチチャネル２Ｄ空間（ＩＳＮ、ＨＳＮ、ＤＳＮ）が定義される。

【0015】

そのような正規化は、データを均一にし、汎用パターンの検索に機械学習の焦点を合わせる。実際、絶対（固有）データチャネルおよび相対（汎用）データチャネルを混合することによる正規化ステップを有することは、３Ｄポイントクラウド内の固有ケースと汎用ケースとの間の有効なトレードオフであることが判明している。

【0016】

有利なことに、３Ｄポイントクラウドは、ライダーなどの深度センサを使用して導出される。ライダーなどの単一の深度センサを使用して単一のマルチチャネル２Ｄ空間を定義すると、特に、生成されたデータフォーマットに関してより経済的で統合が容易であることが判明する。

【0017】

有利なことに、強度空間、高さ空間、および距離空間の各々は、ポイントごとのＲＧＢ（赤、緑、青）値空間の１つにそれぞれ割り当てられる。ＲＧＢ値空間を使用して、強度の代わりに、単一のマルチチャネル２Ｄ空間を定義する高さ空間および距離空間を割り当てることにより、完全なデータが、いかなるフォーマット修正も必要とせずにそのようなＲＧＢ値空間を受け取るようにすでに設計された機械学習アルゴリズムと一致することが可能になる。このように、ＲＧＢ値空間は、機械学習アルゴリズムの入力時に通常提供されるＲＧＢ画像処理チェーンと直接互換性があるように設計される。

【0018】

別の目的によれば、本発明の第２の態様は、
−第１の態様の方法の変形のいずれかによる処理方法と、
−ディープニューラルネットワークなどの機械学習に、少なくとも１つの単一のマルチチャネル２Ｄ空間（ＩＳ、ＨＳ、ＤＳ；ＩＳＮ、ＨＳＮ、ＤＳＮ）を供給するステップと、
−３Ｄポイントクラウド内の少なくとも１つの関心オブジェクトを識別する、供給された単一のマルチチャネル２Ｄ空間ごとに少なくとも１つの分類ラベルを出力するステップと
を備える、３Ｄポイントクラウド内の関心オブジェクトの分類のための方法である。

【0019】

上記の実施形態による分類方法は、（正規化された）単一のマルチチャネル２Ｄ空間を定義するマージされた（正規化された）２Ｄ空間の形態で、少なくとも３つの異なる情報源、すなわち強度、高さ、および距離をマージする方法を提供し、それは、いかなる機械学習に対してもこの情報を伝える非常に効率的な方法である。実際、単一のマルチチャネル２Ｄ空間は、畳み込みニューラルネットワークまたはディープニューラルネットワークなどの機械学習の並列処理チェーン用の入力として使用することができる。そのようなマージされた２Ｄ空間、すなわち（正規化された）単一のマルチチャネル２Ｄ空間の並列アクセスおよび処理では、機械学習により、特に、人間によって手作りされにくい強度、高さ、および距離の情報の組合せに関連する、より安定したパターンを見つけるその能力に起因して、状況のはるかに広いセットの中で分類パフォーマンスを最大化する、特徴／決定空間を自動的に構築することができる。したがって、単一のマルチチャネル空間を設計することにより、入力レイヤの深度が３倍に拡張され、フィルタ／特徴の最良の組合せを
学習するＣＮＮ／ＤＮＮの能力を与える。可能な限り多くのデータを消化できるために訓練フェーズの間、および可能な限り迅速に任意の潜在的な危険を認識できるためにオンラインフェーズ（たとえば、運転状態において）の間の両方で重要な反応時間もスピードアップする。

【0020】

有利なことに、機械学習の訓練フェーズの間、供給ステップは、
−第１の態様の方法の変形のいずれかによる処理方法を繰り返すことによって、マルチチャネル２Ｄ空間のバッチを蓄積するステップ、および、以下の変形：
−蓄積されたマルチチャネル２Ｄ空間の前記バッチの間に、ランダムな数のマルチチャネル２Ｄ空間の平均の組合せを供給するステップ、
−蓄積されたマルチチャネル２Ｄ空間の前記バッチの間に、あらかじめ定義された順序で分配された、いくつかのマルチチャネル２Ｄ空間を供給するステップ、
−蓄積されたマルチチャネル２Ｄ空間の前記バッチの間に、ランダムに選択された少なくとも２×２のマルチチャネル２Ｄ空間の行列を供給するステップ
のうちの１つまたは複数から構成される。

【0021】

１つまたはいくつかのマルチチャネル２Ｄ空間に組み合わされたデータの時系列（累積されたバッチ）を使用するそのような供給の変形は、訓練段階の間、特に遠く離れた低密度のデータを補償するために有用であり、したがって、ＤＮＮがより多くの情報にアクセスし、低密度のポイントクラウドデータを補償しない従来技術の方法と比較して、遠く離れたオブジェクトに対する認識精度が高くなる、より強固な特徴／パターンを選択することが可能になる。

【0022】

オンライン段階の間、マルチチャネル２Ｄ空間のそのような組合せをＤＮＮに供給することも可能であるが、より速い処理および出力を得るために、単一のマルチチャネル２Ｄ空間のみを供給することが望ましい。さらに、訓練されたＤＮＮは、低密度のポイントデータを受け取った場合でも、安定したパターンを正確に認識することができるように訓練フェーズから恩恵を受ける。

【0023】

別の目的によれば、本発明はさらに、
−少なくとも運転者の視点から、車両が走行しているときに辿った経路の３Ｄポイントクラウドを取得するように配置された深度センサと、
−本発明の第１の態様によって取得された３Ｄポイントクラウドを処理する処理ユニットと、
−本発明の第２の態様によって処理された３Ｄポイントクラウド内の関心オブジェクトを分類する分類ユニットと、
−分類された関心オブジェクトに関する情報を表示するように配置された表示ユニットと、
−分類された関心オブジェクトに応じて車両を制御するように配置された自動運転ユニットと、
−表示ユニットおよび自動運転ユニットのうちの少なくとも１つを作動させるように決定する決定ユニットと
を備える車両に関する。

【0024】

本発明の他の特徴および利点は、添付の図面によって例示される、本発明の特定の非限定的な例の以下の詳細説明からより明らかになる。

【図面の簡単な説明】

【0025】

【図1】本発明の好ましい実施形態による、３Ｄポイントクラウドの処理方法を表す図である。

【図2】本発明の第２の態様による、３Ｄポイントクラウド内の関心オブジェクトの分類のための方法を表す図である。

【図3A】マルチチャネル２Ｄ空間の変形を表す図である。

【図3B】マルチチャネル２Ｄ空間の変形を表す図である。

【図3C】マルチチャネル２Ｄ空間の変形を表す図である。

【図3D】マルチチャネル２Ｄ空間の変形を表す図である。

【図4】本発明による方法を実施するために必要なユニットを備えた車両を表す図である。

【発明を実施するための形態】

【0026】

本発明による方法は、第１の態様による、深度センサ（たとえば、ライダー）によって取得された３次元（３Ｄ）ポイントクラウドを１つまたはいくつかの単一のマルチチャネル２Ｄ空間に変換する処理方法、および第２の態様による、処理方法によって取得された１つまたは複数のマルチチャネル２Ｄ空間によって供給される機械学習（たとえば、ディープニューラルネットワーク）を使用する、３Ｄポイントクラウド内の関心オブジェクトの分類のための方法である。この分類方法は、マルチチャネル２Ｄ空間の形態で供給される可能な限り多くのデータに基づいて、３Ｄポイントクラウド内の関心オブジェクトを分類し認識するために有用なすべての可能なパターンをディープニューラルネットワーク（ＤＮＮ）が学習する間の学習フェーズと、単一のマルチチャネル２Ｄ空間の形態で供給される３Ｄポイントクラウドデータ内で認識された関心オブジェクトをＤＮＮが分類する間のオンラインフェーズとを備える。

【0027】

すでに述べたように、これらの方法は、特に、障害物の検出および回避のためのライダーセンサなどの深度センサを使用して環境の中を安全に操縦する、人間支援型または自律型の車両の分野において有用である。ライダーセンサからの３Ｄポイントクラウドの出力は、潜在的な障害物が環境内のどこに存在するかを迅速かつ正確に判断するために、これらの方法の両方を含むロボットソフトウェアに必要なデータを提供する。

【0028】

図１に示された３Ｄポイントクラウドの好ましい処理方法によれば、処理方法は、４つの段階Ａ〜Ｄを備える。段階Ａは、ライダーなどの深度センサを使用する３Ｄポイントクラウドデータの取得段階である。段階Ｂは、３Ｄポイントクラウドデータがいくつかの２Ｄ空間に投影または変換される変換段階とも呼ばれる投影段階である。オプションの段階である段階Ｃは、均一なデータを得るために、段階Ｂで取得された２Ｄ空間が正規化される段階である。処理方法が分類方法との関係で訓練フェーズ中に使用されるかオンラインフェーズ中に使用されるかに応じて、段階Ｄは、機械学習にさらに供給されるべきいくつかの種類のマルチチャネル２Ｄ空間を定義し、組み合わせる。

【0029】

段階Ａでは、使用される深度センサは、好ましくは、走査レーザレンジファインダの種類のライダーセンサである。
このライダーセンサはレーザービームでその環境を走査し、走査されたポイントごとにライダーセンサの視点からのその距離ならびにその強度を測定し、ライダーセンサの視点に対するクラウドのポイントごとの３Ｄ座標（ｘｙｚ）および強度データ（ｉ）を備える、時間Ｔにおける３Ｄポイントクラウド（Ｄａｔａ−Ａ）の形態の景観の３次元モデルの復元を可能にする。

【0030】

使用することができるライダーセンサの一例は、ＶｅｌｏｄｙｎｅライダーセンサＨＤＬ−６４Ｅ（ｈｔｔｐ：／／ｖｅｌｏｄｖｎｅｌｉｄａｒ．ｃｏｍ／ｄｏｃｓ／ｄａｔａｓｈｅｅｔ／６３−９１９４ Ｒｅｖ−Ｄ ＨＤＬ−６４Ｅ Ｄａｔａ％２０Ｓｈｅｅｔ
Ｗｅｂ．ｐｄｆ）である。このライダーセンサは、各々が特定の垂直角度に機械的に取り付けられ、ユニット全体が回転する、６４個の固定取付型レーザを使用して周囲の環境
を測定する。この手法は、信頼性、視界（ＦＯＶ）、およびポイントクラウド密度を劇的に増大させる。３Ｄポイントクラウドの取込み頻度は、好ましくは１０Ｈｚと１５Ｈｚとの間であり、９０５ｎｍの波長で１２０ｍまでのポイントクラウド時間系列を取り込むことを可能にする。

【0031】

好ましくは、訓練フェーズの間、１：Ｎクラスのオブジェクトを分類するタグデータ（Ｌａｂｅｌ−Ａ）が供給され、その結果、取得された３Ｄポイントクラウドデータ（Ｄａｔａ−Ａ）は、供給されたタグデータ（Ｌａｂｅｌ−Ａ）に基づいて、１：Ｎクラスのオブジェクトに属するものとしてタグ付けされる。
段階Ａの出力は、視点に対する３Ｄ座標およびポイントごとの強度値に分解される、タグ付けされたポイントクラウドデータ（Ｄａｔａ−ＡおよびＬａｂｅｌ−Ａ）に対応する。

【0032】

段階Ｂでは、（タグ付けされた）３Ｄポイントクラウドデータ（Ｄａｔａ−Ａ）が入力される。時間Ｔにおいて、３Ｄ座標（ｘｙｚ）および強度（ｉ）データは、３つの異なる２Ｄ画像空間、すなわち強度２Ｄ空間（ＩＳ）、高さ２Ｄ空間（ＨＳ）、および距離２Ｄ空間（ＤＳ）に投影される。

【0033】

３Ｄ座標を２Ｄ空間に変換する場合、ライダーセンサの視点に対応する２Ｄ画像を再生するために定義された投影行列３Ｄ→２Ｄなどのいくつかの方法を使用することができる。たとえば、視点投影タイプの変換行列（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒａ／ｗｉｋｉ／Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘ＃Ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ）を使用することができる。ディープニューラルネットワークが新規のビューをより正確に認識するように、２Ｄ空間への投影前のデータ補強の形式として、異なる値の角度で複数回、正準ビューを取得するかまたは回転を行うために、（たとえば軸ｙに対して）３Ｄ回転を適用することによって変換行列を使用することもできる。

【0034】

強度２Ｄ空間（ＩＳ）は、３Ｄポイントクラウド内の各ポイントの強度（ｉ）データの関数として定義される。そのような関数は、たとえば、２Ｄ空間への強度データの直接変換として非常に簡単であるか、または距離データにも依存してより複雑であり得る。

【0035】

高さ２Ｄ空間（ＨＳ）は、本明細書では、視点に対する各ポイントのｚ座標にリンクされた高さデータ（ｈ）の関数として定義される。

【0036】

距離２Ｄ空間（ＤＳ）は、各ポイントとｘｙｚ座標にリンクされた視点との間の距離（ｄ）データの関数として定義される。そのような距離空間は、視点から見ることができるポイントクラウドからのポイントを反映することのみを目的とする。１つの簡単な絶対関数は、たとえば、以下のようであり得る：
ｄ＝ｓｑｒｔ（ｘ＾２＋ｙ＾２＋ｚ＾２）。

【0037】

好ましくは、それらの距離および強度の値のおかげで検出される背景ポイントは、機械学習から除外されるために、異なる２Ｄ空間内で固定値（ゼロ）に設定される。

【0038】

段階Ｂの出力は、単一のマルチチャネル２Ｄ空間を定義する強度、高さ、および距離の２Ｄ空間（Ｄａｔａ−Ｂ）を含む３つの２Ｄ空間に対応する。

【0039】

段階Ｃでは、３つの２Ｄ空間（Ｄａｔａ−Ｂ）が入力される。この段階は、すべての２Ｄ空間を正規化し、均一なデータを与えるために使用される。この正規化は最小値および最大値または任意の他の適切な複雑な関数に従って行われ、その結果、データは、時間Ｔ
におけるポイントクラウド内の強度、高さ、および距離の相対変化を表す。

【0040】

正規化された強度２Ｄ空間（ＩＳＮ）は、距離データに依存する強度正規化関数を各ポイントの強度データに適用することによって取得される。複雑な関数の一例は、ＶｅｌｏｄｙｎｅユーザーズマニュアルおよびプログラミングガイドＨＤＬ−６４Ｅ Ｓ３「Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＬｉＤＡＲ Ｓｅｎｓｏｒ」（４５ページ参照）に与えられているように、オブジェクトの距離の関数としての強度の正規化である。
ｈｔｔｐ：／／ｖｅｌｏｄｖｎｅｌｉｄａｒ．ｃｏｍ／ｄｏｃｓ／ｍａｎｕａｌｓ／６３−ＨＤＬ６４ＥＳ３ｇ％２０ＵＳＥＲＳ％２０ＭＡＮＵＡＬ ＰＲＯＧＲＡＭ％２０ＧＵＩＤＥ．％２０ＨＤＬ−６４Ｅ％２０Ｓ３．Ｐｄｆ）

【0041】

正規化された高さ２Ｄ空間（ＨＳＮ）は、３Ｄポイントクラウド内の最小および最大の高さデータに依存する高さ正規化関数を各ポイントの高さデータに適用することによって取得される。
ポイントクラウドのポイントごとの高さ正規化関数の一例は、以下のようであり得る：
ｈｅｉｇｈｔ．ｐｉｘｅｌ．ｖａｌｕｅ＝２５５＊（（ｚ−ｍｉｎ＿ｐｔ．ｚ）／（ｍａｘ＿ｐｔ．ｚ−ｍｉｎ＿ｐｔ．ｚ））
ここで、ｍｉｎ＿ｐｔ．ｚおよびｍａｘ＿ｐｔ．ｚは、所与の時間Ｔにおける３Ｄポイントクラウド内の最小および最大の高さに対応する。

【0042】

正規化された距離２Ｄ空間（ＤＳＮ）は、３Ｄポイントクラウド内の最小および最大の距離データに依存する距離正規化関数を各ポイントの距離データに適用することによって取得される。
ポイントクラウドのポイントごとの距離正規化関数の一例は、以下のようであり得る：
ｄｉｓｔａｎｃｅ．ｐｉｘｅｌ．ｖａｌｕｅ＝２５５＊（（ｄ−ｍｉｎ＿ｐｔ．ｄ）／（ｍａｘ＿ｐｔ．ｄ−ｍｉｎ＿ｐｔ．ｄ））
ここで、ｍｉｎ＿ｐｔ．ｄおよびｍａｘ＿ｐｔ．ｄは、所与の時間Ｔにおける３Ｄポイントクラウド内の最小および最大の距離値に対応する。

【0043】

距離または高さの正規化の複雑な関数の場合、視点（すなわち、ライダーセンサ）とポイントクラウド内の検出されたオブジェクトとの間の距離に依存する重み［ａ，ｂ］とともに、上述された式を使用することを考慮することができる。たとえば、遠いオブジェクトの場合は［ｂ］に近く、近いオブジェクトの場合は［ａ］の近くに重みを設定することができ、ここで［ａ］＞［ｂ］である。［ａ］および［ｂ］の値は、好ましくは、各々の目標距離においてオブジェクトの分類を最適化するために実験的に定義されるはずである。
ｈｅｉｇｈｔ．ｐｉｘｅｌ．ｖａｌｕｅ＝ｗｅｉｇｈｔ（ｄｉｓｔａｎｃｅ）＊２５５＊（（ｚ−ｍｉｎ＿ｐｔ．ｚ）／（ｍａｘ＿ｐｔ．ｚ−ｍｉｎ＿ｐｔ．ｚ））
ｄｉｓｔａｎｃｅ．ｐｉｘｅｌ．ｖａｌｕｅ＝ｗｅｉｇｈｔ（ｄｉｓｔａｎｃｅ）＊２５５＊（（ｄ−ｍｉｎ＿ｐｔ．ｄ）／（ｍａｘ＿ｐｔ．ｄ−ｍｉｎ＿ｐｔ．ｄ））

【0044】

段階Ｃの出力は、単一の正規化されたマルチチャネル２Ｄ空間を定義する正規化された３つの２Ｄ空間（Ｄａｔａ−Ｃ）に対応する。

【0045】

段階Ｄでは、正規化された３つの２Ｄ空間（Ｄａｔａ−Ｃ）が入力される。処理方法が訓練フェーズ中に使用されるかオンラインフェーズ中に使用されるかに応じて、段階Ｄは、図２との関係で説明されるように、機械学習にさらに供給されるべきいくつかの種類の（正規化された）マルチチャネル２Ｄ空間（Ｄａｔａ−Ｄ）を定義し、組み合わせる。マルチチャネル２Ｄ空間のいくつかの例は、図３Ａ〜図３Ｄを参照してより詳細に提示される。

【0046】

図３Ａ〜図３Ｄは、機械学習（段階Ｅ、図２）に供給されるべき段階Ｄから出力されたデータ組合せの４つの例を示す。各図は、段階Ｄ（Ｄａｔａ−Ｃ）に入力されたデータの累積されたバッチに対応する９つの連続する単一のマルチチャネル２Ｄ空間（ｉｈｄ）の元の時間シーケンスを示す。各２Ｄ空間は６４×６４ピクセルの配列であり、その結果、各々の単一のマルチチャネル２Ｄ空間（ｉｈｄ）は６４×６４×３の配列である。

【0047】

図３Ａの１番目の例では、段階Ｄの出力（Ｄａｔａ−Ｄ）は、最後の単一のマルチチャネル２Ｄ空間（ｉｈｄ９）に対応する。最後の単一の固定位置のそのような一直線の選択は、好ましくは、機械学習からの応答が必要なときのオンラインフェーズ中に使用される。Ｄａｔａ−Ｄのフォーマットは、単一のマルチチャネル２Ｄ空間と同じ、すなわち６４×６４×３である。

【0048】

図３Ｂの２番目の例では、段階Ｄの出力は、元の時間シーケンスの中のランダムな数のマルチチャネル２Ｄ空間の平均の組合せに対応する。そのような平均の組合せは、好ましくは、より多くの情報（ｉｈｄ１〜９）に基づいてデータを供給するために、機械学習の訓練フェーズ中に使用される。図示された例では、９個のマルチチャネル２Ｄ空間のうちの６個がランダムに選択される（たとえば、２，１，５，９，６，４）。Ｄａｔａ−Ｄのフォーマットは、単一のマルチチャネル２Ｄ空間と同じ、すなわち６４×６４×３である。

【0049】

図３Ｃの３番目の例では、段階Ｄの出力は、元の時間シーケンスの中であらかじめ定義された順序で分配された、いくつかのマルチチャネル２Ｄ空間（ｉｈｄスライス）に対応する。そのようなスライスの組合せも、好ましくは、より多くの情報（ｉｈｄ１〜９）に基づいてより多くのデータ（３つのｉｈｄ）を供給するために、機械学習の訓練フェーズ中に使用される。図示された例では、最初（ｉｈｄ１）、中間（ｉｈｄ５）、および最後（ｉｈｄ９）のマルチチャネル２Ｄ空間が選択される。Ｄａｔａ−Ｄのフォーマットは３倍の６４×６４×３である。

【0050】

図３Ｄの４番目の例では、段階Ｄの出力は、元の時間シーケンスの中からランダムに選択された少なくとも２×２のマルチチャネル２Ｄ空間の行列に対応する。そのような行列の組合せも、好ましくは、より多くの情報（ｉｈｄ１〜９）に基づいてより多くのデータ（４つのｉｈｄ）を供給するために、機械学習の訓練フェーズ中に使用される。図示された例では、９つのうちの４つのｉｈｄ（ｉｈｄ３，６，７，８）がランダムに選択される。Ｄａｔａ−Ｄのフォーマットは１２８×１２８×３である。

【0051】

これらの最後の３つの例は、あまりにも多くの画像を前もって記録することなく、ディープニューラルネットワークに供給されるデータを増加させる可能性をもたらす。

【0052】

図２は、図１との関係で提示された処理方法に基づいて、３Ｄポイントクラウド内の関心オブジェクトの分類のための好ましい方法を示す。

【0053】

図１に提示された段階Ａ〜Ｄの後に、Ｄａｔａ−Ｄは、段階Ｅにおいて、機械学習、好ましくはディープニューラルネットワーク（ＤＮＮ）に出力される。ＤＮＮの定義された構成は、いくつかのカテゴリ：ネットワーク内のネットワーク、畳み込み、再帰などのうちの１つの可能性がある。

【0054】

好ましくは、使用されるＤＮＮは畳み込みニューラルネットワークであり得るし、より具体的には、この畳み込みニューラルネットワークは、以下のアドレス：ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｑ／ｐｄｆ／１５１２．００５８７ｖ３．ｐｄｆにある、Ｃｈｒｉｓｔ
ｉａｎ Ｓｚｅｇｅｄｙ、Ｖｉｎｃｅｎｔ Ｖａｎｈｏｕｃｋｅ、Ｓｅｒｇｅｙ ｌｏｆｆｅ、Ｊｏｎａｔｈｏｎ Ｓｈｌｅｎｓ、およびＺｂｉｇｎｉｅｗ Ｗｏｊｎａによって提示されたＩｎｃｅｐｔｉｏｎ Ｖ３であってもよい。そのようなディープニューラルネットワークは、マルチチャネル２Ｄ空間などの二次元オブジェクトを分析するのによく適している。

【0055】

段階Ｅでは、図３Ａ〜図３Ｄに提示された任意の種類のＤａｔａ−Ｄが入力される。訓練フェーズの間に、Ｌａｂｅｌ−Ａデータも入力される。

【0056】

第１のステップは、その構成および目標パフォーマンスレベルの要件に応じて、１つまたは複数のマルチチャネル２Ｄ空間（Ｄａｔａ−Ｄ）を、ＤＮＮの特徴空間の１つまたは複数の入力（Ｃｏｎｖ−１、Ｃｏｎｖ−２、Ｃｏｎｖ−３）に接続することから構成される。訓練フェーズの間、複数の特徴空間に接続された２Ｄ空間の時系列（たとえば図３Ｃ）などの最も正確な組合せが好ましくは選択され、一方、オンラインフェーズの間、単一のマルチチャネル２Ｄ空間（たとえば図３Ａ）などの速い組合せが固有の特徴空間に接続される。あるいは、追跡アルゴリズムを追加することが可能であり、その結果、関心オブジェクトが追跡されている限り、洗練されたデータの組合せおよびより確実な分類レベルを取得するために、累積方法のいずれかの間を切り替えることができる。

【0057】

第２のステップはＤＮＮを訓練することから構成され、ここで、特徴空間と決定空間の両方は、Ｌａｂｅｌ−Ａ内で定義されたタグ（対応する２Ｄ空間にタグ付けするために使用された各ポイントクラウドからのタグ）を有するマルチチャネル２Ｄ空間のミニバッチからのフォワード信号を与えられた損失関数（Ｌｏｓｓ−Ａ）によって生成されたフィードバックの後方伝搬を介して構築される。

【0058】

第３のステップは、オンラインフェーズ中のオンラインマルチチャネル２Ｄ空間、または訓練フェーズ中のマルチチャネル２Ｄ空間（Ｄａｔａ−）の組合せを使用するＤＮＮを介してフォワード信号を伝播して、分類レベルおよび推定信頼レベルを取得することから構成される。

【0059】

段階Ｅの出力は、好ましくは、ライダーセンサによって取得された各ポイントクラウドまたはポイントクラウドの時系列に対する推定信頼ラベルとともに分類レベルに対応する。

【0060】

そのような分類方法によって達成される目標は、自動的に最良の特徴を見つけ、たとえば３Ｄオブジェクト認識のために使用できるライダーセンサによって取得された３Ｄポイントクラウドの時系列データの正確な分類の可能性を最大化する決定空間を構築することである。

【0061】

図６は、移動中に連続する一連の３Ｄポイントクラウドを撮るレーザ光走査ユニット（ＬＩＤＡＲ）などの３６０°走査ユニット２１０を備えた車両１００を表す。車両１００は、電子制御ユニット、表示ユニット、および自動運転ユニットも備える。

【0062】

電子制御ユニットは、取得された３Ｄポイントクラウドを処理する処理ユニットと、処理された３Ｄポイントクラウド内の関心オブジェクトを分類する分類ユニットと、表示ユニットおよび自動運転ユニットのうちの少なくとも１つを作動するように決定する決定ユニットとを備える。

【0063】

比較のために、発明者は、現在の分類方法を、Ａｌｅｘ Ｔｅｉｃｈｍａｎ、Ｊｅｓｓｅ Ｌｅｖｉｎｓｏｎ、およびＳｅｂａｓｔｉａｎ Ｔｈｒｕｎの公開文献「Ｔｏｗａｒ
ｄｓ ３Ｄ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｖｉａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ａｒｂｉｔｒａｒｙ ｏｂｊｅｃｔ ｔｒａｃｋｓ」（ＩＣＲＡ２０１１）によって公開された結果と比較した。

【0064】

現在の分類方法は、Ｔｅｉｃｈｍａｎらによって提案された試験セットで同様のレベルのパフォーマンス−すなわち、歩行者の認識精度における９９．６％に達することができる。現在の方法の利点は、そのようなレベルの認識が（１つのライダーフレームのみを必要とする）単一のショットを介して達成されることである。Ｔｅｉｃｈｍａｎらに使用された追跡などのいかなる追加のアルゴリズムも必要なく、これは応答時間がはるかに高速であることを意味する。一例として、１００ｍｓ収集ライダーフレームを使用すると、現在の方法は次の１００ｍｓ以内に応答することができるが、Ｔｅｉｃｈｍａｎらは１秒以上かかる場合がある。Ｔｅｉｃｈｍａｎらの長い応答時間は、当然、自動運転および衝突回避の目的のための制限である。

【0065】

添付の特許請求の範囲によって規定される本発明の範囲から逸脱することなく、本明細書に記載された本発明の様々な実施形態に、当業者にとって明らかな様々な修正および／または改善をもたらすことができることが理解されよう。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】