(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-29
(45)【発行日】2022-08-08
(54)【発明の名称】距離測定データの取得
(51)【国際特許分類】
G01S 17/89 20200101AFI20220801BHJP
G01S 17/10 20200101ALI20220801BHJP
G06T 7/00 20170101ALI20220801BHJP
【ＦＩ】
G01S17/89
G01S17/10
G06T7/00 350C
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2021038998
(22)【出願日】2021-03-11
(65)【公開番号】P2021156882
(43)【公開日】2021-10-07
【審査請求日】2021-05-31
(31)【優先権主張番号】20166102.2
(32)【優先日】2020-03-27
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】591005615
【氏名又は名称】ジック アーゲー
(74)【代理人】
【識別番号】110001069
【氏名又は名称】特許業務法人京都国際特許事務所
(72)【発明者】
【氏名】マティアス ホナル
(72)【発明者】
【氏名】ラファエル エンゲッサー
(72)【発明者】
【氏名】ファビアン ベック
【審査官】梶田 真也
(56)【参考文献】
【文献】特表２０００－５０８７６６（ＪＰ，Ａ）
【文献】特開２０００－２６６５３９（ＪＰ，Ａ）
【文献】特開２０１６－２０６０２６（ＪＰ，Ａ）
【文献】特開２０１９－０２８９８５（ＪＰ，Ａ）
【文献】特開２０１７－２１９３８５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／００２０１１５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ １／７２ － １／８２
Ｇ０１Ｓ ３／８０ － ３／８６
Ｇ０１Ｓ ５／１８ － ７／６４
Ｇ０１Ｓ １３／００ － １７／９５
Ｇ０１Ｃ ３／００ － ３／３２
(57)【特許請求の範囲】
【請求項1】
監視領域（２０）内の物体の距離測定データをスキャン法を用いて取得するための光電センサ（１０）であって、前記監視領域（２０）へ発射光（１６）を複数の角度で送出するための発光器（１２）と前記監視領域（２０）から複数の角度で入射する受信光（２２）から受光信号を生成するための受光器（２６）とを備える測定ユニット、並びに、光伝播時間法で前記受光信号を評価することにより距離測定データを取得するように構成された制御及び評価ユニット（３６）を備え、前記距離測定データが、角度を変化させながらスキャンが行われることにより角度解像度を有すると共に、連続する時点においてスキャンが反復されることにより時間解像度を有する、光電センサ（１０）において、前記制御及び評価ユニット（３６）が更に、前記距離測定データを配列することで、距離値を含む画素が、変化するスキャン角度に対応する角度の次元と、スキャンが反復される連続する時点に対応する時間の次元にわたって配列された画像（４６）を作成し、該画像（４６）を機械学習の画像分類処理（４８）で評価することで前記画素にそれぞれ妨害物の影響と物体という２つのクラスのいずれかを割り当てるように構成されていることを特徴とする光電センサ（１０）。
【請求項2】
前記画像分類処理（４８）が、環境の影響による妨害物から物体を区別するものであることを特徴とする請求項１に記載のセンサ（１０）。
【請求項3】
前記妨害物が、塵埃、しぶき、霧、雨又は雪によるものであることを特徴とする請求項２に記載のセンサ（１０）。
【請求項4】
前記制御及び評価ユニット（３６）が、妨害物として分類された画素における距離測定データを拒絶するように構成されていることを特徴とする請求項２又は３に記載のセンサ（１０）。
【請求項5】
前記制御及び評価ユニット（３６）が画素に対して距離値に加えて強度値を特定するように構成されていることを特徴とする請求項１～４のいずれかに記載のセンサ（１０）。
【請求項6】
前記制御及び評価ユニット（３６）が画素に対して複数の距離を特定するように構成されていることを特徴とする請求項１～５のいずれかに記載のセンサ（１０）。
【請求項7】
前記制御及び評価ユニット（３６）が、画像（４６）への配列のため、画素に対する距離測定データを内挿することで、元々測定が行われなかった角度及び／又は時間にも距離値を定めるように構成されていることを特徴とする請求項１～６のいずれかに記載のセンサ（１０）。
【請求項8】
前記制御及び評価ユニット（３６）が、光伝播時間が測定された角度及び／又は時間における距離測定データを前記画像（４６）から逆算し、その距離測定データにそれぞれの角度及び／又はそれぞれの時間に隣接する一又は複数の画素からそれぞれのクラスを割り当てるように構成されていることを特徴とする請求項１～７のいずれかに記載のセンサ（１０）。
【請求項9】
前記画像分類処理（４８）が、ある一定の時間にある画素にのみクラスを割り当てることを特徴とする請求項１～８のいずれかに記載のセンサ（１０）。
【請求項10】
前記画像分類処理（４８）がディープニューラルネットワークを備えていることを特徴とする請求項１～９のいずれかに記載のセンサ（１０）。
【請求項11】
前記画像分類処理（４８）が、各画素におけるクラスが既知である画像（４６）を用いて予め訓練されていることを特徴とする請求項１～１０のいずれかに記載のセンサ（１０）。
【請求項12】
既知の前記クラスが、前記監視領域（２０）の特定の部分領域にある狙い定めた妨害物により予め定められていることを特徴とする請求項１１に記載のセンサ（１０）。
【請求項13】
前記画像分類処理（４８）が、特定のクラスについての誤差が小さくなるように最適化されていることを特徴とする請求項１～１２のいずれかに記載のセンサ（１０）。
【請求項14】
２次元レーザスキャナとして構成されていることを特徴とする請求項１～１３のいずれかに記載のセンサ（１０）。
【請求項15】
監視領域（２０）内の物体の距離測定データをスキャン法を用いて取得する方法であって、前記監視領域（２０）へ発射光（１６）を複数の角度で送出し、前記監視領域（２０）から複数の角度で入射する受信光（２２）から受光信号を生成し、光伝播時間法で前記受光信号を評価することにより距離測定データを取得し、該距離測定データが、角度を変化させながらスキャンが行われることにより角度解像度を有すると共に、連続する時点においてスキャンが反復されることにより時間解像度を有する、方法において、前記距離測定データを配列することで、距離値を含む画素が、変化するスキャン角度に対応する角度の次元と、スキャンが反復される連続する時点に対応する時間の次元にわたって配列された画像（４６）を作成し、該画像（４６）を機械学習の画像分類処理（４８）で評価することで前記画素にそれぞれ妨害物の影響と物体という２つのクラスのいずれかを割り当てることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、請求項１又は１４のプレアンブルに記載の光電センサ及び監視領域内の物体の距離測定データを取得する方法に関する。
【背景技術】
【0002】
距離測定のために広く普及しているセンサ型式の１つがレーザスキャナである。レーザスキャナでは、レーザにより生成された光線が回転ミラーの助けを借りて周期的に監視領域を塗りつぶすように掃引される。その光は監視領域内の物体の表面で拡散反射され、レーザスキャナ内で評価される。偏向ユニットの角度位置から物体の角度位置が推定され、更に光伝播時間から光の速度を用いてレーザスキャナから物体までの距離が推定される。この角度と距離の情報から監視領域内での物体の場所が２次元極座標で取得される。これにより物体の位置を推定したりその輪郭を特定したりできる。
【0003】
回転ミラーを有する広く普及したレーザスキャナの他に、最近では、レーザと受光器が一緒に回転する回転可能な測定ヘッドを有する変型や、単一の走査平面を越えて測定領域を広げるための多光線型システムが加わり、更には可動部分をマイクロシステム又は電子的な作動装置で置き換えたいわゆる固定状態システム（Solid State System）も増えつつある。距離測定データを取得するためのこの種のセンサを包括する慣用的な概念としてＬｉＤＡＲ（Light Detection and Ranging）がある。
【0004】
多くの用途においてＬｉＤＡＲセンサの測定環境には妨害が多い。これに該当するのは、例えば交通監視の場合のように、霧、しぶき、塵埃、雨又は雪のような環境の影響がある屋外領域での使用の他、採掘現場や、製材所や加工業等における機械の周囲等、塵埃の多い環境での使用もある。ここで難しい課題となるのが、距離測定データにおける環境の影響を低減させると同時に、なおも信頼できる物体の測定値を出力することである。
【0005】
環境の影響下での測定を改善する従来のアプローチの１つは典型的な妨害物を認識して除去するフィルタに基づくものである。その例としていわゆる粒子フィルタ、エコーフィルタ又はフォグフィルタがある。粒子フィルタは時間的及び空間的に孤立した測定点を認識する。これによれば大きめの物体や静的な物体がそのまま維持されるが、霧やしぶき等による広がりを持つ妨害も除去されない。視線に沿って前後に位置している複数の物体までの距離を測定するいわゆるマルチエコー対応型レーザスキャナにはエコーフィルタを使用することができる。これは、例えば霧の中では受光信号の最初のピークが霧粒から生じ、最後のピークが背後にある本来の目標物から生じる、というような発見的方法と結びつけられる。エコーフィルタは広がりを持つ妨害物に強いが、発見的方法が実際の目標物に常に適しているとは限らない。例えば２つの物体の間にあるエッジに当たる場合がある。フォグフィルタは、測定された距離における霧の典型的な強度に等しいかそれより低い強度の測定値を低減させる。フォグフィルタは妨害物の大きさに左右されずに強度の低い妨害物の影響を認識する。しかし、霧による光信号のエネルギー損失を考慮しつつその都度の距離に応じた霧の閾値を正しく設定することは困難であり、遠方の物体（特に、暗い物体）の多くが誤って隠されてしまう。
【0006】
どのフィルタも、考えられる環境の影響の特別な一部の面しかモデル化していない。単一の万能フィルタは存在せず、ある特別な使用状況におけるフィルタの設計とパラメータ設定、並びに利点と欠点を勘案した適切なフィルタの組み合わせの選択を行うには、深い専門知識が必要である。そのコストをかけてもなお大きな妥協をせざるを得ないことが多い。
【0007】
妨害物の影響をフィルタで除去する代わりに、逆に、例えば交通の分類における車両のモデルや採掘における掘削機のバケットのモデル等、検出対象の物体のモデルを作ることも考えられる。このようなアプローチが例えば非特許文献１で論じられている。モデルと測定データの間に十分な一致があれば物体が認識されたとみなされ、モデルにより説明できない測定データは全て妨害物と解釈される。それは当然ながら環境の影響だけでなく固い物体にも関係する。その上、手作業でのモデル構築には新たに大きなコストが必要となる。
【0008】
従来技術においてはまたＬｉＤＡＲシステムの測定データに学習法を応用することが論じられている。非特許文献２は特徴量に基づく分類のための学習法を扱っている。特に自動運転の文脈において、高分解能の３次元ＬｉＤＡＲスキャナの登場と共に、ディープニューラルネットワークの可能性がますます議論されている。そこではＬｉＤＡＲデータが深度図として、つまりその画素において通常の色情報又はグレースケール値情報の代わりに測定距離を符号化した画像として供給される。
【0009】
非特許文献３では点毎の分類が行われる。物体認識、具体的には歩行者の認識が非特許文献４から知られている。そこでは、深さ情報に加えて各場所で受信された光の強度情報も含む画素を持つマルチチャネル画像が用いられる。非特許文献５は地面の認識について記載している。非特許文献６では、連続して記録された２回分のレーザスキャンを結合して４チャネルの画像にしてそこから運動情報を得る、という運動解析が行われる。
【0010】
文献で提案された方法とネットワークの大多数は３次元ＬｉＤＡＲデータ用に最適化されており、走査平面が１つしかない普通の２次元レーザスキャナにそのまま転用することはできない。
【0011】
非特許文献７では、人を点毎に分類するために、測定した角度及び距離のデータが画素ラスタに直接書き込まれる。このようにすると、走査点が存在する画素が値「１」又は該走査点の強度値を持ち、他の位置の画素が値「０」を持つ疎な画像が得られる。
【0012】
あるいは、ディープニューラルネットワークそのものを適合化することで、入力データとして画像の代わりに２次元スキャンを扱うことができるようにすることができる。このような方法で、例えば非特許文献８では人と車椅子が認識される。
【0013】
非特許文献９では画像ではなく無秩序な点群がそのままディープニューラルネットワークの入力として用いられる。これらの方法は２次元データにも３次元ＬｉＤＡＲデータにも適しているが、特別に適合化したニューラルネットワークが必要である。
【0014】
環境の影響の認識にはこれらの方法は用いられていない。また、それらの方法は空間的な情報を処理するものだから、環境の影響の認識に対する適性は限定的でしかないと思われる。妨害物には例えば雨や雪のように時間的な挙動も関心の対象となるものが多いが、それはこれまでほとんど顧慮されていないままである。
【先行技術文献】
【非特許文献】
【0015】
【文献】T. G. Phillips, “Determining and verifying object pose from LiDAR measurements to support the perception needs of an autonomous excavator,” The University of Queensland, 2016
【文献】X.-F. Hana, J. S. Jin, J. Xie, M.-J. Wang und W. Jiang, “A comprehensive review of 3D point cloud descriptors,” Feb. 2018. [Online] Available: http://arxiv.org/pdf/1802.02297v1
【文献】A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “RangeNet++: Fast and Accurate LiDAR Semantic Segmentation,” http://www.ipb.uni-bonn.de/wp-content/papercite-data/pdf/milioto2019iros.pdf, 2019
【文献】G. Melotti, A. Asvadi, and C. Premebida, “CNN-LIDAR pedestrian classification: combining range and reflectance data,” in 2018 IEEE International Conference on Vehicular Electronics and Safety (ICVES), Madrid, Sep. 2018 - Sep. 2018, pp. 1-6
【文献】M. Velas, M. Spanel, M. Hradis, and A. Herout, “CNN for Very Fast Ground Segmentation in Velodyne LiDAR Data,” Sep. 2017. [Online] Available: http://arxiv.org/pdf/1709.02128v1
【文献】V. Vaquero, A. Sanfeliu, and F. Moreno-Noguer, “Deep Lidar CNN to Understand the Dynamics of Moving Vehicles,” in 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, QLD, May. 2018 - May. 2018, pp. 4504-4509
【文献】A. M. Guerrero-Higueras et al., “Tracking People in a Mobile Robot From 2D LIDAR Scans Using Full Convolutional Neural Networks for Security in Cluttered Environments,” Frontiers in neurorobotics, vol. 12, p. 85, 2018
【文献】L. Beyer, A. Hermans, and B. Leibe, “DROW: Real-Time Deep Learning based Wheelchair Detection in 2D Range Data,” Mar. 2016. [Online] Available: http://arxiv.org/pdf/1603.02636v2
【文献】C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation,” Proceedings of the IEEE conference on computer vision and pattern recognition, 2017
【文献】O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” May. 2015. [Online] Available: http://arxiv.org/pdf/1505.04597v1
【発明の概要】
【発明が解決しようとする課題】
【0016】
故に本発明の課題は冒頭で述べた種類のセンサの距離測定データの評価を改善することである。
【課題を解決するための手段】
【0017】
この課題は請求項１又は１４に記載の光電センサ及び監視領域内の物体の距離測定データを取得する方法により解決される。本光電センサは冒頭で説明した意味でＬｉＤＡＲセンサと呼ぶこともできる。測定ユニットが光を発し、戻ってくる光から受光信号を生成する。複数の方向又は角度にわたる位置分解能を得るために任意のスキャン法で走査が行われるが、それは物理的な回転又は揺動運動から、偏向型マイクロシステムを経て、純粋に電子的な作動装置までの範囲にわたる。多光線システムでは少なくとも２、３個の角度を同時に走査することもできる。
【0018】
制御及び評価ユニットが光伝播時間法で受光信号を評価することにより距離測定データを生成する。その際、測定毎にまず角度が変えられるが、これをスキャンとも呼ぶ。そして測定の反復、つまり連続する時点における複数のスキャンにより、距離測定データは角度的にも時間的にも分解される。角度及び時間のラスタは規則的である必要はないが、少なくとも角度ラスタそのものは測定の反復を通じて変わらないことが好ましい。制御及び評価ユニットはセンサのケーシングの内部に配置されてもよいが、少なくとも一部又は全体がケーシングの外部、特に接続されたコンピュータ、ネットワーク又はクラウド内にあってもよい。例えば、距離測定データそのものは光伝播時間法を用いて内部で生成し、その後の処理は外部で行う、というように任務を分担することができる。
【0019】
本発明の出発点となる基本思想は、距離測定データを並べて画像化し、以てそれを無数の画像処理用の機械学習法に入力できるようにすることである。そのために角度と時間が画像の次元又は軸として用いられる。２次元ＬｉＤＡＲ検出の場合、それにより、一般性を損なうことなくＸ軸に角度、Ｙ軸に時間をとった２次元画像が得られる。各画素の値はその角度及び時間において測定された距離に相当する。３次元ＬｉＤＡＲ検出の場合、第２の角度（典型的には中央の走査平面を基準とする仰角）を表すももう一つの軸が加わる。多光線レーザスキャナの測定データは、例えば３次元ＬｉＤＡＲデータから成る１つの画像のように処理するか、あるいは光線毎の２次元ＬｉＤＡＲデータから成る複数の画像のように処理するか選ぶことができる。
【0020】
この画像を用いれば時間的な変化のあるＬｉＤＡＲデータを機械学習の画像分類処理で評価することができる。各画素には特に環境の影響を認識するのに役立つそれぞれのクラスが割り当てられる。
【0021】
本発明には、ある一定の用途に特有の属性が考慮される非常に頑強な分類が可能になるという利点がある。データに基づくアプローチによれば、属性がデータから暗黙のうちに学習されるから、深い専門知識がなくてもそれが可能である。冒頭で論じた学習法の場合とは異なり、全ての軸が位置分解された古典的な画像を分類するのではなく、時間的な成分が画像の軸として填め込まれる。これにより履歴を評価することができ、それがまさに環境の影響の場合に大きな役割を果たし得る。適切なフィルタの特別な選択、適合化又は組み合わせを行う必要はもはやない。
【0022】
前記画像分類処理は、環境の影響による妨害物、特に塵埃、しぶき、霧、雨又は雪から物体を区別するものであることが好ましい。即ち、分類の目的は画素に妨害物及び固定物という追加的な属性を割り当てること、好ましくは正確にそれら２つのクラスに二値的に分けることである。このようにすれば、例えば物体の分類、衝突の回避又は他の用途のための後段の論理回路が、画素のクラス情報を利用して、より頑強で信頼できる結果を出力したり決定を下したりできる。
【0023】
前記制御及び評価ユニットは、妨害物として分類された画素における距離測定データを拒絶するように構成されていることが好ましい。拒絶すべき画素は例えば対応する値「ゼロ（Ｎｕｌｌ）」又は「無（ＮＩＬ）」に設定することができる。妨害物のある画素を完全に拒絶する代わりに、例えば後段での物体評価の際にその寄与度を下げる等、後段でそれを別のやり方で評価することができる。
【0024】
前記制御及び評価ユニットは画素に対して距離値に加えて強度値を特定するように構成されていることが好ましい。強度は、特に光伝播時間法の実行中に捕らえられたパルスエコーの領域における受光信号のレベルに対応し、拡散反射値、明度値又はＲＳＳＩ（Received Signal Strength Indicator）とも呼ばれる。これにより画素毎に２つの測定値を持つマルチモーダルな画像又はマルチチャネル画像が得られる。強度値はまた、距離値を有する画像に似た別の画像を強度値のために生成し、同時に又は続けて画像分類処理に供することにより考慮することもできる。
【0025】
前記制御及び評価ユニットは画素に対して複数の距離を特定するように構成されていることが好ましい。パルスベースの光伝播時間法では複数の受光パルス又はエコーが存在する可能性があり、その各々から距離を測定することができる。これは例えばガラス板又は他の（半）透明な物体を通して背後の別の物体を測定する場合に当てはまり、その場合はガラス板と物体の両方からそれぞれ距離値が得られる。本発明との関係で言えば、半透明な物体は特に妨害物、即ちフォグエコーや雨滴によるエコー等である。複数の距離の測定により、複数の距離に対応するチャネルを持つマルチチャネル画像が得られる。例えば３つのエコーを考慮する場合は３チャネル画像である。強度等、他の量も測定する場合、チャネル数は２倍になるため、例えば６チャネル画像が得られる。これにより、古典的なアプローチでも用いられる追加の情報が含められる。即ち、粒子フィルタは距離値、フォグフィルタは強度、そしてエコーフィルタは多重エコーを評価するものであり、マルチチャネル画像は基本となる情報を全て含んでいる。既存の学習法の多くは通常、マルチチャネル画像の分析も可能であるから、ここでも公知の実証された分類法乃至はディープニューラルネットワークを利用することができる。マルチチャネル画像の代わりに少数又は単一のチャネルを持つ複数の画像を評価することも考えられる。
【0026】
前記制御及び評価ユニットは、画像への配列のため、画素に対する距離測定データを内挿することで、元々測定が行われなかった角度及び／又は時間にも距離値を定めるように構成されていることが好ましい。ＬｉＤＡＲシステム、特にレーザスキャナは、規則的な配列ではなく点群として測定値を生成することが典型的である。その場合、互いの角度間隔は全く不規則である可能性がある。本実施形態によれば、測定距離（そして関係があるなら測定強度も）が画像用に均一な角度解像度になるように内挿される。測定周期及び２回の反復測定の間の時間間隔はどちらかと言えば一定であるが、本発明ではそれらが変化してもよい。測定周期が一定の場合でも距離測定データの時間解像度は規則的である必要はない。例えば、考慮すべき履歴は、直近ｎ回の測定分を全て含む代わりに、ｉ回に１回のスキャンのみとしたり、古いスキャンほど粗めに選択したりできる。
【0027】
前記制御及び評価ユニットは、光伝播時間が測定された角度及び／又は時間における距離測定データを画像から逆算し、その距離測定データにそれぞれの角度及び／又はそれぞれの時間に隣接する一又は複数の画素からそれぞれのクラスを割り当てるように構成されていることが好ましい。これは言わば前の段落の内挿と逆の操作であって、画像内での配置から求められた各画素の分類が元の距離測定データの分類に戻される。従って、今や分類済みの距離測定データの形式は再び元の形式と合致し、これにより後段の評価処理を簡素化する、又は既存の後段の評価部により簡単にアクセスできるようにすることができる。画像の角度と距離測定データの角度は互いにずれている可能性があるから、画像中で最も近い角度のクラス、又は近隣の複数の角度における多数決により決まるクラスが割り当てられる。
【0028】
前記画像分類処理はある一定の時間にある画素にのみクラスを割り当てることが好ましい。即ち、履歴を持つ画像全体が入力量である一方、出力量としてはある一定の時間に限定した分類のみが生成される。この一定の時間は実際には画像の１行（あるいは慣例で列ともいう）である。通例、履歴すべてを分類することに関心はなく、特定の時間における特定の測定のみであり、履歴は結局そのために補助データを提供するに過ぎない。ある一定の時間への限定により画像分類処理を簡素化及び高速化することができる。特にリアルタイムの要求又は準リアルタイムの要求に合わせるため、前記一定の時間は、現在、即ち最新の測定又は最新のスキャンとすることが好ましい。リアルタイムの要求がなければ他の時間を選ぶことも考えられる。その場合、分類は任意の割合で一部が履歴に、一部が未来に基づくものとなる（履歴又は未来のいずれかを考慮しない場合も含む）。
【0029】
前記画像分類処理はディープニューラルネットワークを備えていることが好ましい。このような構成によれば複雑な画像分類も非常に確実に行うことができる。これに代わる機械学習の画像分類処理にはサポートベクターマシンや決定木がある。これらは適当な規格化を行った上で最新の点及びその付近の距離値と強度値を特徴量として利用する。
【0030】
前記画像分類処理は、各画素におけるクラスが既知である画像を用いて予め訓練されていることが好ましい。このようにラベル又はアノテーションを付した画像が、どれが関係のある妨害物でどれが物体かを予め定める。訓練画像の構造は、後で画像が距離測定データから画像分類処理に供されるときの構造に対応している。即ち、訓練画像は少なくとも１つの角度軸と１つの時間軸を備えており、画素は距離測定値と場合によっては強度を符号化している。
【0031】
前記既知のクラスは、監視領域の特定の部分領域にある狙い定めた妨害物により予め定められていることが好ましい。このようにすれば、学習すべき特定の局面に的を絞った訓練画像を生成することができる。またこのようにすれば、妨害物の場所がほぼ分かっているから、画像にアノテーションを付すことが簡単になる。そうして得られる分類にはその後に手動で修正することができる。訓練画像を全て手動で分類することも考えられる。その場合、当然それを画素毎に行う必要はなく、例えば特定の範囲を囲むこと、あるいは自動的な予備分割を行ってから物体又は妨害物に属する分割領域を手動で選択することによる。アノテーションを付した訓練画像を得る別の方法は、冒頭に挙げたフィルタ又は物体モデルを用いる従来の方法をそれに適した画像に適用することである。訓練により画像分類処理を事後的に他の用途及び／又は妨害状況に対して一般化することができる。
【0032】
前記画像分類処理は特定のクラスについての誤差が小さくなるように最適化されていることが好ましい。機械学習の画像分類処理には、狙いを定めて特定のクラスを優先し、他のクラスについては誤差の増大を意図的に容認しつつ、前記特定のクラスへの分類を特に正確に行うものが少なくとも幾つかあり、前記形態によればそのような処理の利点が活かされる。例えば、いくつかの妨害物までもが物体と認識されるという犠牲を払ってでも、なるべく多くの物体画素がそれと認識されるようにする。これは例えば衝突防止に応用する場合に有意義であろう。その場合、誤って物体と扱われた妨害物は確かに可用性を損なうが、安全上の問題を引き起こす恐れは全くない。逆の場合では、若干の物体点が妨害物として除外される代わりに、残った物体点は信頼できるものになる。これは例えば交通監視の場合に車両を測量又は認識するには十分である。この場合、妨害物を物体点として扱うとエラー評価が粗くなる恐れがある。
【0033】
光電センサは２次元レーザスキャナとして構成されていることが好ましい。特にその測定ユニットが監視領域を周期的に走査するための可動式偏向ユニットを備えている場合、それは揺動ミラー若しくは回転ミラー又はそれに相当する可動式測定ヘッドを有する古典的なレーザスキャナである。しかし、２次元ＬｉＤＡＲデータを取得するための単なる１本の線に沿った走査は、例えばマイクロシステムや電子的な作動装置を用いる等、他の方法で行うこともできる。冒頭で論じた公知のＬｉＤＡＲデータ用学習法は２つの横方向の空間次元をＸ軸とＹ軸、測定値をＺ軸とする深度図を用いている。従ってそれは２次元ＬｉＤＡＲデータには応用できない。本発明では時間が追加の軸となっており、実は従来の意味では画像ではないが、それでも画像として処理できるデータ構造を作り出している。従って機械学習（特にディープニューラルネットワーク）による画像処理法のためのあらゆる知識と既存の実装を２次元レーザスキャナにも応用できる。
【0034】
本発明に係る方法は、前記と同様のやり方で仕上げていくことが可能であり、それにより同様の効果を奏する。そのような効果をもたらす特徴は、例えば本願の独立請求項に続く従属請求項に模範的に記載されているが、それらに限られるものではない。
【0035】
以下、本発明について、更なる特徴及び利点をも考慮しつつ、模範的な実施形態に基づき、添付の図面を参照しながら詳しく説明する。
【図面の簡単な説明】
【0036】
【図1】レーザスキャナの概略図。
【図2】特にレーザスキャナのＬｉＤＡＲデータに用いられる分類モデルの概観図。
【図3】ＬｉＤＡＲデータを画像として用意する処理の説明図。
【図4】ＬｉＤＡＲデータから得た画像を機械学習法で画素毎に分類する処理の説明図。
【図5】画素毎の分類処理の別の説明図であって、画素毎の分類処理を一定の時間範囲に限定する具体例を示す図。
【図6】画像行に関連付けられた分類からＬｉＤＡＲデータへのフィードバックの説明図。
【図7】距離及び強度の情報と予め決められた付属クラスとを持つマルチチャネルの訓練画像の模範的な図。
【図8】訓練画像を用いた機械学習法の学習過程を示す説明図。
【発明を実施するための形態】
【0037】
図１はＬｉＤＡＲデータ又は距離測定データを取得するための光電センサの例としての２次元レーザスキャナ１０の概略断面図である。このレーザスキャナ１０において、発光器１２（例えばレーザ光源を有するもの）が発光光学系１４の助けを借りて発射光線１６を生成する。この光線は偏向ユニット１８の表面で監視領域２０へと方向転換される。発射光線１６が監視領域２０内で物体に当たると、拡散反射光２２が再びレーザスキャナ１０まで戻り、そこで偏向ユニット１８を経由し、受光光学系２４を介して受光器２６により検出される。受光器２６は例えばフォトダイオード、アバランシェフォトダイオード（ＡＰＤ）又はＳＰＡＤ配列（シングルフォトンアバランシェフォトダイオード）である。
【0038】
偏向ユニット１８は本実施形態ではモータ２８の駆動により連続的に回転する回転ミラーとして構成されている。モータ２８又は偏向ユニット１８の各時点での角度位置はエンコーダを通じて認識される。エンコーダは例としてコード板３０とフォーク状光遮断機３２を含んでいる。発光器１２により生成された発射光線１６は、回転運動により生じる監視領域２０を塗りつぶすように掃引する。回転ミラーの代わりに、偏向ユニット１８を、発光器１２及び／又は受光器２６並びに可能であれば他の要素も収めた回転式光学ヘッドとして構成することも可能である。発光光学系１４と受光光学系２４の構成も、例えば偏向ユニットとして光線形成型ミラーを用いたり、レンズの配置を変えたり、レンズを追加したりする等、様々に変更できる。特に、自動コリメーション型の配置になったレーザスキャナも知られている。図示した実施形態では発光器１２と受光器２６が共通の回路基板３４上に収まっているが、これも一例に過ぎない。というのも、専用の回路基板を設けたり、例えば互いに高さをずらした配置に変えたりできるからである。
【0039】
さて、監視領域２０からの拡散反射光２２が受光器２６により受光されたら、エンコーダ２０、３２により測定された偏向ユニット１８の角度位置から監視領域２０内での物体の角度位置を推定することができる。加えて、好ましくは、光信号が発射されてから監視領域２０内の物体表面で反射された後で受光されるまでの光伝播時間を算出し、光の速度を用いてレーザスキャナ１０から物体までの距離を推定する。
【0040】
光伝播時間法によるこの距離測定は制御及び評価ユニット３６において行われる。そのために該ユニットは発光器１２、受光器２６、モータ２８及びエンコーダ３２と接続されている。これにより角度と距離を通じて監視領域２０内の全ての物体の２次元極座標が利用可能である。
【0041】
制御及び評価ユニット３６はインターフェイス３８を通じて例えば専用の評価用コンピュータ、上位の制御装置、ローカルネットワーク又はクラウドといった上位のシステムと接続することができる。ここまで説明した光伝播時間法を用いた評価、そしてとりわけこれから説明する、距離測定データの更なる評価は、実際には内部の制御及び評価ユニット３６と外部の計算ユニットに配分することができる。しかし好ましくは、少なくとも光伝播時間法を用いた距離測定は内部的に制御及び評価ユニット３６で行う。全ての評価を内部で行うことも考えられる。その場合、制御及び評価ユニットは、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＡＳＩＣ（特定用途向け集積回路）、マイクロプロセッサ又はＧＰＵ（グラフィックスプロセッシングユニット）等の計算部品を１つだけでなく複数含むことが好ましい。ここで言及した内部の機能構成要素は全てケーシング４０内に配置されている。ケーシング４０は光が出射及び入射する領域に前面パネル４２を備えている。
【0042】
走査により各時点で得られる極座標は１つの走査点に対応する。偏向ユニットが１回転する度に監視領域２０の走査平面が走査され、それに対応する点群が生じる。このような測定をスキャンとも呼ぶ。複数回の回転とそれによる測定の反復の間に多数のスキャンが時系列的に生じる。２次元スキャナの場合、個々のスキャンがそれぞれ２次元ＬｉＤＡＲデータであり、その一方の次元が角度、他方の次元がその角度における測定距離である。仰角が異なる多数の平面が走査される多光線レーザスキャナや、仰角方向の向きを変更できるレーザスキャナもある。これによれば、回転角と仰角を２つの次元とし、角度ペアに割り当てられた測定距離を１つの次元とする３次元ＬｉＤＡＲデータが得られる。もちろん、極座標又は球座標はそれぞれ直交座標に変換できる。
【0043】
本発明は２次元ＬｉＤＡＲデータの他に３次元ＬｉＤＡＲデータも含む。またスキャンの原理は前述の機械的な回転に限定されない。代わりにＭＥＭＳミラーのようなマイクロシステムや、フェーズド光学アレイ又は音響光学変調器の場合のような電子的な作動装置を用いてもよい。更に、発光側のアレイ（例えばＶＣＳＥＬ列やＶＳＣＥＬ行列）及び／又は受光側のアレイ（特にＳＰＡＤ列やＳＰＡＤ行列）を設け、適切な個別素子を（好ましくは発光側と受光側が合うようにペアで）作動させることにより、その都度のスキャン方向を選択することも考えられる。最後に、多数のスキャン方向を同時に検出することも考えられる。本発明では、以下に説明する妨害物認識がその強みを発揮できるように、レーザスキャナ１０を屋外領域（アウトドア用ＬｉＤＡＲ）又は非常に塵埃の多い環境で使用することが好ましい。
【0044】
図２は分類モデルの概観を示している。このモデルは各走査点にクラスを割り当てるものであり、特に「妨害物の影響」と「（固い）物体」という２つのクラスに二値的に分類する。以下では好ましい実施形態としてディープニューラルネットワークを分類器にした例を説明する。決定木やサポートベクターマシン等、他の機械学習法も考えられる。本方法は２つの段階から成る。
【0045】
後で図７及び８を参照してより詳しく説明する訓練段階において、目的とする分類が分かっているＬｉＤＡＲデータを用いて画像分類処理（ここではディープニューラルネットワーク）を訓練することで該画像分類処理のパラメータを決定する。必要な各クラスの設定（ラベリング、アノテーション）は典型的には手作業で又は手作業の支援を得て行われる。
【0046】
図２に示した応用段階ではＬｉＤＡＲデータが訓練済みの画像分類処理で分類される。個々のステップについてまず大まかに説明した後、それぞれ図３～６を参照してより詳細に説明する。本実施例でまず出発点となるのは２次元ＬｉＤＡＲデータ４４、即ち各時点の角度に依存した測定距離である。このデータは各測定時間に対応する複数回のスキャン（図ではレイヤとして描かれている）の点群として存在しており、従って一定の履歴を持っている。これらのスキャンが配列されて画像４６が作成される。ここでは距離画像と強度画像であるが、距離画像のみでもよい。その一方の軸に角度、他方の軸に時間をとり、画素には測定距離又は測定強度を符号化する。この一又は複数の画像が画像分類処理又はディープニューラルネットワーク４８に供され、これが画素毎に妨害物又は物体への分類５０を決める。後でまた詳述するが、出力側では画像全体ではなく１つの画像行だけを分類することが好ましい。最後に分類５０が今や分類済みの２次元ＬｉＤＡＲデータ５２に再び書き写される。図２では模範例として走査点のうち囲み部分５４が妨害物として分類されている。
【0047】
図３はＬｉＤＡＲデータ４４を画像４６として準備する処理、即ち図２の第１の処理ステップを図示している。この処理ステップは、特に角度解像度及び時間解像度がそれぞれ規則的である場合、省略すること又はありふれた方法で行うことができる。
【0048】
ＬｉＤＡＲデータ４４は最初、点群として存在している。これは例えば距離ｄ、強度ｉ及び角度αのベクトルとして表現できる。第４の次元として更に時間が加わるが、図３では代わりに異なるレイヤでそれを示している。本発明にとって点群の具体的な表現は重要ではない。
【0049】
距離が測定される角度αは一般に不規則に分布しており、スキャン毎に異なる可能性がある。図３に描いたベクトルはそのように分布している。測定周期又は時間軸上でのスキャンの間隔も規則的である必要はない。少なくとも角度は全てのスキャンで同じように又はそれどころか規則的に配分されていることが好ましい。そうすれば内挿と配列が容易になる。ただし、角度ラスタが均一であっても、解像度を合わせるために内挿が必要になることがある。
【0050】
再分類と内挿によりＬｉＤＡＲデータは画像４６の規則的な画素ラスタに整理される。角度間隔がもう等間隔であるため、この画像中ではもう角度インデックスを考察することができる。この画像で特徴的なのは、単に極座標が直交座標に変換されただけではないということである。そうではなく、１つの軸（ここではＹ軸）が、異なる時点におけるスキャンに対応する時間軸となっている。この画像は従来の深度図ではなく、角度と時間という全く異なる物理量が画像の次元として選ばれている。このデータ表現により、分類の際に空間情報と時間情報の両方が考慮され、それがより良い分類結果につながる。しかも画像という形式にすれば画像分類処理を利用できるため、点群のための特別な分類器を設計する必要がない。
【0051】
図３では２つの画像、即ち距離画像と強度画像（拡散反射、ＲＳＳＩ）が生成されている。画素のそれぞれの値はこの角度及び時間に測定された距離又はそこで測定された強度であり、場合によっては近接範囲からの内挿により得られたものである。２つの画像の代わりに画素毎にペア（距離，強度）を持つマルチチャネル画像を生成してもよい。更に別のやり方では強度を考慮せずにおく。逆に、また別の測定量を持つマルチチャネル画像や、別の画像を生成することも考えられる。
【0052】
別の測定量の例としてマルチエコー対応型システムがある。このシステムでは１本の走査光線で１つの物体だけでなく該走査光線上で前後にある複数の物体までの距離が測定される。典型的にはこれは、発射光線１６の一部が半透明な物体（例えば霧粒や雨滴）により反射され、別の一部がより遠くの物体により反射される場合に起きる。これにより、パルスベースの光伝播時間法では受光信号中に複数の受光パルス、ピーク又はエコーが生じ、その各々が距離測定を可能にする。従って、ペア（距離，強度）と同様にペア（第１の距離，第２の距離）をマルチチャネル画像又は一対の画像として処理することができる。強度が加わるなら２×２個のチャネル又は画像が得られ、２重エコーではないマルチエコー対応型のシステムの場合はそれに応じてより多くなる。
【0053】
図４は画像４６の本来の分類処理、即ち図２の第２の処理ステップを図示している。他の機械学習法も使用可能であることを再度強調するため、ここではディープニューラルネットワーク４８が一般的なパラメータ設定されたモデルとして描かれている。距離と強度のデータを持つ画像４６を特定の行に限定してディープニューラルネットワーク４８の入力データとすることで、図のような４回のスキャン又は他の回数のスキャンから成る一定の履歴だけを考慮するようにすることができる。
【0054】
ディープニューラルネットワーク４８は画素毎に分類５０を予想する。ここでは純粋な模範例として「１」が妨害物を表し、「０」が物体を表している。ディープニューラルネットワークの好ましい実装として、画像分割に用いられるＵ－Ｎｅｔが実証済みである。これは非特許文献１０に記載されている。
【0055】
図５は、任意選択で分類５０を一定の時間領域５６に限定できることを具体的に説明するために画像４６を再度示している。ここで選ばれたＹ軸に時間をとる表現において、各画像行は特定の測定時点における１回のスキャンを表している。殆どの場合、分類が必要なのは現在、即ち最新のスキャン、従って時間領域５６の最も上の画像行についてのみである。これによりスキャンをリアルタイム又は準リアルタイムで判定することができる。
【0056】
従って、従来の画像分割とは異なり、出力は好ましくは１つの画像行に限定される。ただし、入力量は、判定すべき最新のスキャンと他のスキャンの一定の履歴とを持つ画像全体である。この分類は全ての測定時点又はスキャンに対して実行される。あるいは、妨害物の判定を巡回的又は抜き取り検査的に特定の測定時点においてのみ行う。出力を１つの画像行だけに限定することにより、自由パラメータの数を減らし、分類モデルの質を速度、訓練データの量、又は正確性に関して高めることができる。ただし、画像４６の全ての画素をそれぞれ分類し、必要に応じてその後で初めて読み出し等の処理を部分領域に限定することは排除されない。同様に、このやり方の場合、複数の画像の同じ測定時点に属する画素に対する分類結果を、例えば多数決により組み合わせることも可能であろう。
【0057】
図６は画像４６の形式用に特定された分類５０をＬｉＤＡＲデータにフィードバックする処理、即ち図２の第３の処理ステップを図示している。この処理ステップは後段のデータ処理のためにどのような形式で情報を用意すべきかに応じた任意選択のステップである。ＬｉＤＡＲデータにフィードバックする利点は、出力形式が元のＬｉＤＡＲデータと同じ形式になるため、後段の既存の評価処理を普通の方法でより簡単に且つわずかな適合化を行うだけで済むかもしれないということである。例えば点群のベクトルに分類結果が追加的に関連付けられる。
【0058】
ディープニューラルネットワーク４８による分類５０は、最初は画像４６と同様の形式になっている。図３において論じたように、ＬｉＤＡＲデータそのものは一般に点群として不規則な角度間隔で測定される。フィードバックのために、スキャンの各点又はベクトルに、その近くの角度から得られる分析結果が割り当てられる。これを図６に矢印で簡単に示す。方法としては、ベクトルの角度に対して画像中の最も近くにある角度を探し、その画素から分類結果を複写することが考えられる。別の方法は、目的とするベクトルの角度に対して画像中の一定の角度範囲内で分類結果の多数決をとるというものである。他の種類の内挿も考えられる。
【0059】
また、図６の描画は、図５の実施形態に対応して、ある一定の時点における１つの画像行又はスキャンに限定されている。つまりＬｉＤＡＲデータへのフィードバックは分類５０そのものと同様に行毎又はスキャン乃至測定毎に行われる。あるいは、画像４６全体に対する分類５０を基となった各スキャンへ逆算するが、その際にスキャン毎に実質的に異なる履歴が入るようにすることも考えられるだろう。そのとき、図６に対応するフィードバックを時間の次元においても行うことが好ましい。
【0060】
図７はディープニューラルネットワーク４８の訓練に用いられるラベル又はアノテーション付きの訓練画像の例である。このような訓練画像はそれぞれ、ＬｉＤＡＲデータから得られた距離画像及び強度画像、並びにそれに付属する分類５０を含んでいる。距離画像と強度画像はそれぞれグレー符号化されており、分類５０においては固い物体が明るく、妨害物が暗く描かれている。異なる連続した測定時間における多数のスキャンがＸ軸上に載せられ、Ｙ軸上ではスキャン毎に距離値又は強度値が角度に沿って分布している。即ち、より多くのスキャンを入れて分かりやすく説明するため、Ｘ軸とＹ軸がここまでの描画と違って入れ替えられている。図示した訓練画像は部分毎に多数の訓練画像と解釈することができる。ただし、実際には、ディープニューラルネットワーク４８を頑強に訓練するために、このような画像が多数必要となることがほとんどである。
【0061】
訓練画像のデータの収集にもある程度の専門知識が必要であるが、それは応用に関係する面が強く、従来のように適切なフィルタを設計し、選択し、パラメータを設定し、組み合わせることに比べれば要求ははるかに少ない。何と言っても従来の場合、環境の影響がＬｉＤＡＲシステムのハードウェア及びソフトウェアに与える作用に関して特殊な知識が必要となる。その上、ディープニューラルネットワーク４８は予め考慮されていなかった場面に強い。訓練データのために画像４６を取得し、それから特にラベルとアノテーションを付す、つまり目的とする分類５０を予め設定するには、ある程度のコストがかかる。しかしこのコストは、例えば既知の構造物を含む場面や、部分領域内で狙い定めた妨害物を選ぶことにより抑えることができる。その上、当然ながらラベルが付されるのは必ずしも個々の画素ではなく、好ましくは全領域であり、その場合は古典的なフィルタと分割方法で少なくとも補助的な事前選択を行うことができる。
【0062】
図８は訓練段階を図示している。各構成要素は根本的には全て説明済みであり、訓練段階ではその進行が逆になるだけである。訓練中は、未知であって最適化処理の間に学習すべきものはモデルパラメータ、特にニューラルネットワーク４８の重みであり、他方で分類５０は予め決まっている。次の応用段階では分類５０が求められる一方、モデルパラメータは訓練から分かっている。
【0063】
本発明は、周囲の状況はほぼ分かっているものの部分的に柔軟性があるような用途において特に有利である。例として交通の分類が挙げられよう。この場合、様々な車両の訓練データを乾いた道路や濡れた（つまりしぶきが発生する）道路で撮影して手動で分類することができる。訓練プロセスの後はその分類によりしぶきの測定値と車両の測定値を分けることが可能であり、それにより高さ、長さ、幅、トレーラーの存在等の車両パラメータの特定が簡単になる。もう一つの例は採掘におけるトラックや掘削機での塵埃の認識である。この場合、衝突を避けるために、通り抜け可能な土埃と衝突が起こり得る固い物体とを区別することになる。
【0064】
多くの学習法では、例えば適切な閾値の選択により誤検出率又は検出漏れ率の適合化を行うことができる。このようにして分類結果の質を用途の必要条件に合わせることができる。例えば交通の分類の場合、しぶきの測定値を車両と分類することが最小限に抑えられるのであれば、車両の測定値をしぶきと分類することは容認できることもある。これは車両の寸法を過大に見積もらないようにするために重要である。一方、採掘への応用では、固い物体を塵埃に分類することは避けるべきであるのに対し、塵埃の測定値を固い物体として分類することはどちらかと言えば容認できるだろう。それはシステムの可用性を下げるだけであり、それにより衝突に至ることはない。
【0065】
ここまでは検出された角度範囲全体に画像４６が広がっていることを前提としていた。画像分類処理用のメモリを節約するため、互いに補完し合い、場合によっては縁部で重なり合う複数の角度範囲をスキャン毎に定めることが考えられる。更に、あくまで好ましくはであるが、角度は直接的にスキャン角を表し、全体として１つの空間次元の代わりになっている。そこで、各スキャンを直交座標に換算し、各画像中では時間軸に対して別種の空間軸（特に距離も）を基礎とすることが考えられる。
【0066】
２次元ＬｉＤＡＲデータの代わりに３次元ＬｉＤＡＲデータを処理することもできる。この場合、元の走査方向と仰角方向の２つの角度を２軸とする３次元画像を処理するか、それを対応する直交座標に換算してから処理する。画素（今の場合、厳密にはボクセルと呼ぶ）には引き続き距離と、場合によっては強度が符号化される。
【0067】
距離と強度という測定値に加えて、センサがそれを提供するなら測定値の質や外部光レベル等の他の量を評価したり、マルチエコー対応型システムにおける先に言及した複数の距離を評価したりできる。それには、それらの量で別の画像４６を作ったり、マルチチャネル画像にチャネルを追加したりする。その後の訓練と分類は同じように進行する。また、レーダー、カメラ等、他の出所のデータを適切な時間的及び空間的な記録を行った上で用いることも考えられる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】