IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社豊田中央研究所の特許一覧 ▶ 株式会社デンソーの特許一覧

<>
  • 特許-ノイズ除去装置および距離測定装置 図1
  • 特許-ノイズ除去装置および距離測定装置 図2
  • 特許-ノイズ除去装置および距離測定装置 図3
  • 特許-ノイズ除去装置および距離測定装置 図4
  • 特許-ノイズ除去装置および距離測定装置 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-13
(45)【発行日】2022-10-21
(54)【発明の名称】ノイズ除去装置および距離測定装置
(51)【国際特許分類】
   G01S 7/4861 20200101AFI20221014BHJP
   G01J 1/42 20060101ALI20221014BHJP
   G06N 3/04 20060101ALI20221014BHJP
【FI】
G01S7/4861
G01J1/42 N
G06N3/04
【請求項の数】 8
(21)【出願番号】P 2019158617
(22)【出願日】2019-08-30
(65)【公開番号】P2021038941
(43)【公開日】2021-03-11
【審査請求日】2021-07-07
(73)【特許権者】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000648
【氏名又は名称】弁理士法人あいち国際特許事務所
(74)【代理人】
【識別番号】100087723
【弁理士】
【氏名又は名称】藤谷 修
(74)【代理人】
【識別番号】100165962
【弁理士】
【氏名又は名称】一色 昭則
(74)【代理人】
【識別番号】100206357
【弁理士】
【氏名又は名称】角谷 智広
(72)【発明者】
【氏名】平塚 誠良
(72)【発明者】
【氏名】松原 弘幸
(72)【発明者】
【氏名】伊藤 誠悟
(72)【発明者】
【氏名】小川 高志
(72)【発明者】
【氏名】米田 雅樹
【審査官】藤田 都志行
(56)【参考文献】
【文献】米国特許出願公開第2018/0330238(US,A1)
【文献】特開平11-211831(JP,A)
【文献】特開平05-231983(JP,A)
【文献】特表2018-529134(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48- 7/51
G01S 17/00-17/95
G01J 1/42
G06N 3/04
JSTPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
パルス信号からノイズを除去して出力するノイズ除去装置であって、
畳み込み層とプーリング層を繰り返した層構造を含む畳み込みノイズ除去自己符号化器のニューラルネットワーク構造を有し、入力データをノイズを含むパルス信号の時間波形データとして、出力データがノイズを含まないパルス信号の時間波形データとなるように学習されており、
1段目の畳み込み層のフィルタサイズは、前記パルス信号のパルスの立ち上がりから立ち下がりまでの幅以下に設定されている、
ことを特徴とするノイズ除去装置。
【請求項2】
1段目の畳み込み層のフィルタサイズは、前記パルス信号の半値幅以上に設定されている、ことを特徴とする請求項1に記載のノイズ除去装置。
【請求項3】
n段目(nは2以上の自然数)の畳み込み層のフィルタサイズは、(n-1)段目の畳み込み層のフィルタサイズに、(n-1)段目のプーリング層におけるデータ圧縮割合を乗じた値に設定されていて、
(n+1)段目の畳み込み層のフィルタサイズを仮定し、そのフィルタサイズが2未満となる場合、畳み込み層とプーリング層の繰り返しはn段目で打ち切られ、そのフィルタサイズが2以上であれば(n+1)段目の畳み込み層とプーリング層が追加されるように、畳み込み層とプーリング層の繰り返し回数が設定されている、
ことを特徴とする請求項1または請求項2に記載のノイズ除去装置。
【請求項4】
入力データは、変形を受けたパルス信号にノイズを付加したデータを含む、ことを特徴とする請求項1ないし請求項3のいずれか1項に記載のノイズ除去装置。
【請求項5】
前記パルス信号は、光信号であることを特徴とする請求項1ないし請求項4のいずれか1項に記載のノイズ除去装置。
【請求項6】
前記パルス信号の時間波形データは、光強度の時間変化を示したデータである、ことを特徴とする請求項5に記載のノイズ除去装置。
【請求項7】
前記パルス信号の時間波形データは、光子数の時間変化を示したデータである、ことを特徴とする請求項5に記載のノイズ除去装置。
【請求項8】
対象物にパルス信号を照射する照射部と、
前記対象物により反射されたパルス信号を受信する受信部と、
前記受信部からのパルス信号からノイズを除去する請求項1ないし請求項7のいずれか1項に記載のノイズ除去装置と、
前記ノイズ除去装置からのパルス信号のパルスのピーク位置を検出し、そのピーク位置から前記対象物までの距離を算出する距離算出部と、
を有することを特徴とする距離測定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、パルス信号からノイズを除去するノイズ除去装置に関するものであり、ニューラルネットワークによる学習済みモデルを用いてノイズを除去するものである。
【背景技術】
【0002】
光により物体を検知、測距する技術として、LiDAR(Light Detection and Ranging)がある。LiDARでは、レーザを用いて光のパルスを物体に照射し、物体からの反射光を受光素子により受光することで物体までの距離を測定する。受光信号の時間波形は、パルス波の往復飛行時間に相当する位置にピークを有するので、このピーク位置を検出して往復飛行時間tを求めれば、物体までの距離Lは、L=ct/2(cは光速)によって算出することができる。LiDARでは、通常、あらかじめ設定した所定値でしきい値処理を行うことでピークを検出し、物体までの距離を算出している。
【0003】
受光信号には、実際には時間と無相関に飛来する背景光ノイズ(たとえば太陽光)が重畳される。背景光ノイズが多い場合や、反射光の光量が少なくピークが低い場合、S/Nが低くなり、ピークがノイズに埋もれてしまう場合がある。そのような場合、しきい値処理によるピークの検出ができず、物体が未検出となってしまう。
【0004】
そこで、受光信号波形からノイズを除去し、S/Nを向上させてピークの検出確率を向上させる手段が各種検討されている。その1つとして整合フィルタがある。整合フィルタは、受光信号と、送信信号の共役を取って時間反転した信号との畳み込みを計算することにより実現する。
【0005】
また、近年、機械学習が様々な分野に応用されている。機械学習のモデルの1つとして、畳み込みノイズ除去自己符号化器(Convolutional Denoising AutoEncoder;CDAE)がある。畳み込みノイズ除去自己符号化器の層構造は、畳み込み層とプーリング層が交互に繰り返したエンコード処理の層と、逆プーリング層と逆畳み込み層とが交互に繰り返したデコード処理の層で構成されている。畳み込みノイズ除去自己符号化器は、入力データとしてノイズを付加したデータを用い、出力データがノイズ付加前の元のデータとなるように学習する。
【0006】
非特許文献1、2には、畳み込みノイズ除去自己符号化器によってターゲットとする音源信号の振幅スペクトル推定の精度向上や雑音の振幅スペクトル推定を行うことが記載されている。入力データには、対数周波数領域振幅スペクトルなどの物理特性を用いることが記載されている。
【先行技術文献】
【非特許文献】
【0007】
【文献】M. Zhao, et al., "Music removal by convolutional denoising autoencoder in speech recognition", Proc. of APSIPA2015, pp.338-341,2015
【文献】大谷 健登,他,”畳み込み雑音除去符号化器と対数周波数領域振幅スペクトルを用いた楽曲音源強調”,電子情報通信学会論文誌,D, Vol. J101-D, No.3, pp615-627, 2018
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、整合フィルタでは、物体反射時のパルス波形の歪みや受光後のアンプ等の回路による歪みにより誤差が大きくなるという問題がある。そのため、ノイズ除去性能には限界がある。
【0009】
また、非特許文献1、2は、信号の物理的性質を入力データの前処理および出力としており、信号からノイズを除去して信号波形の幾何形状を直接復元することは困難である。
【0010】
そこで本発明の目的は、受光信号から効率的にノイズを除去することができるノイズ除去装置を実現することである。
【課題を解決するための手段】
【0011】
本発明の第1態様は、パルス信号からノイズを除去して出力するノイズ除去装置であって、畳み込み層とプーリング層を繰り返した層構造を含む畳み込みノイズ除去自己符号化器のニューラルネットワーク構造を有し、入力データをノイズを含むパルス信号の時間波形データとして、出力データがノイズを含まないパルス信号の時間波形データとなるように学習されており、1段目の畳み込み層のフィルタサイズは、パルス信号のパルスの立ち上がりから立ち下がりまでの幅以下に設定されている、ことを特徴とするノイズ除去装置である。
【0012】
本発明において、1段目の畳み込み層のフィルタサイズは、パルス信号の半値幅以上に設定されていることが好ましい。パルス形状の特徴をより効率的に抽出することができる。
【0013】
本発明において、n段目(nは2以上の自然数)の畳み込み層のフィルタサイズは、(n-1)段目の畳み込み層のフィルタサイズに、(n-1)段目のプーリング層におけるデータ圧縮割合を乗じた値に設定されていて、(n+1)段目の畳み込み層のフィルタサイズを仮定し、そのフィルタサイズが2未満となる場合、畳み込み層とプーリング層の繰り返しはn段目で打ち切られ、そのフィルタサイズが2以上であれば(n+1)段目の畳み込み層とプーリング層が追加されるように、畳み込み層とプーリング層の繰り返し回数が設定されていてもよい。パルス信号のパルス形状の特徴を効率的に抽出することができ、少ない学習量で効率的に学習できる。また、n段目で打ち切られる場合、n段目のプーリング層を省略してもよい。
【0014】
本発明において、入力データは、変形を受けたパルス信号にノイズを付加したデータを含んでいてもよい。従来、変形を受けたパルス信号からノイズを除去することは困難であったが、本発明によれば学習によってそのようなパルス信号からもノイズを除去することが可能となる。
【0015】
パルス信号は、電磁波、音波など任意の信号であってよく、光信号であってもよい。光信号の場合、パルス信号の時間波形データは、光強度の時間変化を示したデータであってもよいし、光子数の時間変化を示したデータであってもよい。
【0016】
また、本発明の第2態様は、対象物にパルス信号を照射する照射部と、対象物により反射されたパルス信号を受信する受信部と、受信部からのパルス信号からノイズを除去する本発明の第1態様のノイズ除去装置と、ノイズ除去装置からのパルス信号のパルスのピーク位置を検出し、そのピーク位置から対象物までの距離を算出する距離算出部と、を有することを特徴とする距離測定装置である。
【発明の効果】
【0017】
本発明によれば、パルス信号から効率的にノイズを除去することができ、S/Nを向上させることができる。特に、従来はノイズ除去が難しかった歪みが生じたパルス信号であっても、S/Nを向上させることができる。
【図面の簡単な説明】
【0018】
図1】実施例1の距離測定装置の構成を示した図。
図2】ノイズ除去装置の構成を示した図。
図3】畳み込み処理およびプーリング処理を模式的に説明する図。
図4】受光信号の波形を示したグラフ。
図5】受光信号の波形を示したグラフ。
【発明を実施するための形態】
【0019】
以下、本発明の具体的な実施例について図を参照にしながら説明するが、本発明は実施例に限定されるものではない。
【実施例1】
【0020】
図1は、実施例1の距離測定装置の構成を示した図である。実施例1の距離測定装置は、対象物20を検出してその距離を測定する装置である。また、実施例1の距離測定装置は、光パルスが対象物20に反射されて戻ってくるまでの時間により距離を測定するTOF方式のLiDARであり、発光部10と、受光部11と、ノイズ除去装置12と、距離算出部13と、学習部14と、記憶部15と、を有している。
【0021】
発光部10は、レーザー光をパルス状にして出力する装置である。パルス光のパルス幅(半値幅)をW、パルス周期をTとする。発光部10から出力されたパルス光は、図示しない光学系によって走査され、対象物20に照射される。
【0022】
受光部11は、対象物20によって反射されたパルス光を受光し、電気信号である受光信号に変換して出力する装置である。受光部11は、たとえばAPD(アバランシェフォトダイオード)である。受光信号は、光強度の時間変化を示した時間波形である。他にも、フォトンカウント方式などの信号データを取得する装置であってもよく、たとえばSPAD(シングルフォトンアバランシェフォトダイオード)を用いることができる。この場合、受光信号は、光子数の時間変化を示した時間波形(たとえばヒストグラム)である。
【0023】
ノイズ除去装置12は、受光部11からの受光信号からノイズを除去して出力する装置である。また、ノイズ除去装置12は、畳み込みノイズ除去自己符号化器のニューラルネットワークを学習させた学習済みモデルである。その構成の詳細は後述する。記憶部15には、多種多様な条件下で受光した受光信号の波形データが記憶されている。ノイズ除去装置12のニューラルネットワークの各パラメータ(畳み込みのフィルタの各成分)は、記憶部15に記憶された波形データを用いて、学習部14による学習により設定される。学習部14は、ソフトウェアにより実現されていてもよいし、ASICなどハードウェアにより実現されていてもよい。
【0024】
距離算出部13は、対象物20までの往復飛行時間を求め、それにより対象物20までの距離を算出する装置である。受光信号がパルス光であるため、パルスのピーク位置を検出することで往復飛行時間を検出することができる。また、受光信号はノイズ除去装置12によってノイズが除去されているため、パルスのピーク位置を精度よく検出することができる。
【0025】
次に、ノイズ除去装置12の構成について詳細を説明する。ノイズ除去装置12は、畳み込みノイズ除去自己符号化器のニューラルネットワークを学習させた学習済みモデルである。
【0026】
畳み込みノイズ除去自己符号化器は、図2のように、畳み込み層とプーリング層を繰り返した層構造(第1畳み込み層110と、第1プーリング層111と、第2畳み込み層112と、第2プーリング層113)と、逆プーリング層と逆畳み込み層を繰り返した層構造(第2逆プーリング層120と、第2逆畳み込み層121と、第1逆プーリング層122と、第1逆畳み込み層123)と、を有している。
【0027】
第1畳み込み層110、第1プーリング層111、第2畳み込み層112、および第2プーリング層113は、エンコード処理を行う層であり、受光信号の時間波形の形状の特徴を抽出する処理を行う層である。
【0028】
第2逆プーリング層120、第2逆畳み込み層121、第1逆プーリング層122、および第1逆畳み込み層123は、デコード処理を行う層であり、エンコード処理により抽出した時間波形の形状の特徴から受光信号を再生する処理を行う層である。
【0029】
まず、エンコード処理を行う層について説明する。
【0030】
第1畳み込み層110は、受光部11からの受光信号のデータ(入力データ)とフィルタとの畳み込み処理を行う層である。受光信号は、光強度の時間変化を示した時間波形であり、パルス周期T分の受光信号をサンプリングした1次元の信号データである。サンプリング周期は、実施例1の距離測定装置の距離測定性能などに応じて適切に設定され、実施例1では、サンプリング点数を512、パルス幅W(パルス幅W当たりのサンプリング点数)は5とする。
【0031】
第1畳み込み層110の畳み込みのフィルタサイズは、受光信号のパルス幅Wに設定されている。実施例1では、パルス幅Wは5であるため、フィルタサイズは5に設定されている。
【0032】
なお、フィルタサイズを厳密にパルス幅Wと一致させる必要はない。フィルタサイズは、受光信号のパルスの立ち上がりから立ち下がりまでの幅以下に設定されていればよい。第1畳み込み層110の畳み込みのフィルタサイズをこのように設定することで、受光信号の時間波形の形状の特徴を効率的に抽出することができる。また、このようなフィルタサイズの設定により、学習パラメータ数をより少なくすることができ、これにより学習に必要なデータのサンプル数も低減できる。フィルタサイズがこれよりも大きいと、正解となるピークとは関係のない領域の形状も含まれることとなり、ピーク形状を効率的に抽出できない恐れがある。より好ましくは、受光信号のパルス幅以上に設定されていることである。ピーク形状をより効率的に抽出することができる。たとえば、フィルタサイズは、受光信号のパルス幅Wの1~2倍とすることができる。
【0033】
フィルタの種類数は、M(2以上の自然数)であり、実施例1の距離測定装置の目標性能や、学習に必要な計算コストなどを考慮して適宜設定される。たとえばM=10である。
【0034】
フィルタのストライド幅(畳み込みのフィルタの移動量)は、実施例1では1に設定されている。もちろん、ストライド幅は2以上の値としてもよいが、ノイズ除去性能向上のためストライド幅はなるべく小さいことが好ましく、実施例1のように1に設定することが最も好ましい。
【0035】
第1畳み込み層110における畳み込み処理について、図3を参照に説明する。図3のように、入力データ(512点)にはパディング処理が施され、入力データの先頭と語尾にそれぞれ2点のデータが加えられている。つまり、516点のデータとなる。パディング処理により、畳み込み後のデータ数を入力データのデータ数と同一の512点にし、入力データの端部においても時間波形の形状の特徴を適切に抽出できるようにしている。
【0036】
パディングにより付加されるデータの値は、たとえば、先頭に付加するデータとして、入力データの語尾と同じ値とし、語尾に付加するデータとして、入力データの先頭と同じ値とし、入力データがループするように設定してもよい。あるいは、0などの所定値を付加してもよい。
【0037】
畳み込み処理は、M種類のフィルタごとにそれぞれ行う。まず、入力データの先頭から5番目までのデータを取り出し、この取り出した5×1のデータと、所定のフィルタとの内積を算出する。この内積を畳み込みの第1成分とする。次に、取り出すデータ範囲を後方に1つずらし、同様に所定のフィルタとの内積を算出し、この内積を第2成分とする。これを繰り返すことで、所定のフィルタにおける畳み込みの結果である512点のデータが得られる。
【0038】
この畳み込みがM種類のフィルタごとに行われるので、第1畳み込み層110からの出力データは、512点のデータのセットがM個となる。この出力データは、第1プーリング層111に入力される。なお、上記の出力データにバイアス値を付加したり、活性化関数を適用してから第1プーリング層111に入力してもよい。
【0039】
第1プーリング層111は、第1畳み込み層110からのデータ数を1/2にするプーリング処理を行う層である。具体的には、第1畳み込み層110からの512点のデータについて、先頭から2点ごとに区切り、2点のうち大きい方を残す。あるいは、2点の平均点を取ってもよい。他にも任意の圧縮方法を用いてよい。これにより、データ数を1/2の256点のデータに圧縮する。第1プーリング層111からの出力データは、256点のデータのセットがM個となる。
【0040】
第2畳み込み層112は、第1プーリング層111からの256点のデータのセットM個について、各セットごとにフィルタとの畳み込み処理を行う層である。フィルタの種類数はN(2以上の自然数)であり、ストライド幅、パディング処理については、第1畳み込み層110と同様である。フィルタの種類数Nは、実施例1の距離測定装置の目標性能や、学習に必要な計算コストなどを考慮して適宜設定され、たとえばN=5である。
【0041】
第2畳み込み層112の畳み込みのフィルタサイズは、第1畳み込み層110の畳み込みのフィルタサイズに、第1プーリング層111のデータ数圧縮割合を乗じた値に設定されている。実施例1では、第1畳み込み層110の畳み込みのフィルタサイズは5、第1プーリング層111のデータ数圧縮割合は1/2であるから、その値は2.5となるが、実施例1では四捨五入して3とする。もちろん、切り上げや切り捨てとしてもよい。第2畳み込み層112の畳み込みのフィルタサイズをこのように設定する理由は次の通りである。第1プーリング層111によってデータ数を圧縮しているため、受光信号におけるパルス幅に相当するデータ数も同様に圧縮される。そのため、フィルタサイズも同様に圧縮することで、受光信号の時間波形の形状の特徴を効率的に抽出することが可能となる。
【0042】
第2畳み込み層112における畳み込み処理は、N種類のフィルタごとに次の操作を行う。256点のデータM個に対し、それぞれフィルタとの畳み込みを算出して256点のデータM個を得て、さらに各成分ごとにM個のデータを足し合わせることで256点のデータを得る。N種類のフィルタごとに256点のデータが得られるので、第2畳み込み層112からの出力データは、256点のデータのセットがN個となる。この出力データは、第2プーリング層113に入力される。なお、上記の出力データにバイアスを付加したり、活性化関数を適用してから第2プーリング層113に入力してもよい。
【0043】
第2プーリング層113は、第2畳み込み層112からのデータ数を1/2にするプーリング処理を行う層である。これにより、データ数を1/2の128点のデータに圧縮する。第2プーリング層113からの出力データは、128点のデータのセットがN個となる。データの圧縮方法は第1プーリング層111と同様である。
【0044】
ここで、第2プーリング層113の出力データに対して再度畳み込み処理を行う場合、畳み込みのフィルタサイズは、第2畳み込み層112の畳み込みのフィルタサイズに、第2プーリング層113のデータ数圧縮割合を乗じた値に設定することになる。しかし、第2畳み込み層112の畳み込みのフィルタサイズは3で、第2プーリング層113のデータ圧縮割合は1/2であるから、その値は1.5であり、2未満となる。フィルタサイズが2未満では、畳み込みを行っても受光信号の時間波形の形状の特徴を抽出することができない。そのため、エンコード処理は第2プーリング層113で打ち切って、その後はデコード処理に移行する。なお、エンコード処理を第2プーリング層113で打ち切る場合、第2プーリング層113、第2逆プーリング層120、第2逆畳み込み層121を省略する構成も可能である。
【0045】
なお、実施例1では、第1プーリング層111および第2プーリング層113によるデータ数の圧縮割合を1/2としているが、これに限らず、ノイズ除去装置12のノイズ除去性能などに応じて適宜設定すればよい。たとえば、データ数の圧縮割合は1/3であってもよい。また、第1プーリング層111と第2プーリング層113とで、データ数の圧縮割合を変えてもよい。
【0046】
また、実施例1では、受光信号のパルス幅W(1段目の畳み込み層のフィルタサイズ)を5に設定し、プーリング処理を1/2としているため、畳み込み層とプーリング層の繰り返しは2回であるが、一般には次のようにして畳み込み層とプーリング層の繰り返し回数と、n段目の畳み込み層のフィルタサイズとを決定すればよい。n=1として、n(nは1以上の自然数)段目の畳み込み層とプリーング層について、畳み込み層のフィルタサイズWn とプーリング層のデータ圧縮割合Rn とを乗じた値Wn ・Rn が、2未満であれば、n+1段目の畳み込み層とプリーング層を追加せずに打ち切る。Wn ・Rn が2以上であれば、n+1段目の畳み込み層とプーリング層を追加する。また、n+1段目の畳み込み層のフィルタサイズWn+1 は、Wn+1 =Wn ・Rn とする。次に、n=n+1として、同様に繰り返し、Wn ・Rn が2未満となるまで畳み込み層とプーリング層を追加する。このようにして、畳み込み層とプーリング層の繰り返し回数を決定する。
【0047】
このように、実施例1のノイズ除去装置12における畳み込みノイズ除去自己符号化器は、受光信号のパルス幅W(1段目の畳み込み層のフィルタサイズ)とプーリング層のデータ圧縮割合によって、畳み込み層とプーリング層の繰り返し回数が規定される。
【0048】
なお、第1畳み込み層110と第1プーリング層111の間に、フィルタサイズが第1畳み込み層110と同一である畳み込み層を1以上挿入してもよい。同様に、第2畳み込み層112と第2プーリング層113の間に、フィルタサイズが第2畳み込み層112と同一である畳み込み層を1以上挿入してもよい。また、第2プーリング層113の後に、さらに畳み込み層とプーリング層の繰り返しを加えてもよいが、効率的に受光信号の時間波形の形状の特徴を抽出し、学習に要する時間を短縮するため、実施例1のように畳み込み層とプーリング層の繰り返し回数を決定することが好ましい。
【0049】
次に、デコード処理を行う層について説明する。
【0050】
第2逆プーリング層120は、第2プーリング層113からのデータに対し、第2プーリング層113とは逆の演算処理を行う層である。つまり、第2逆プーリング層120は、第2プーリング層113からの128点のデータのセットN個を、256点のデータのセットN個に戻す処理を行う層である。戻し方は従来知られている任意の方法でよく、たとえば、128点のデータ間に0を挿入することで、256点のデータに戻す処理を行う。
【0051】
第2逆畳み込み層121は、第2逆プーリング層120からのデータに対し、第2畳み込み層112とは逆の演算処理を行う層である。つまり、第2逆畳み込み層121は、第2逆プーリング層120からの256点のデータのセットN個に対して逆畳み込み処理を行う層であり、その出力は256点のデータのセットM個である。
【0052】
第1逆プーリング層122は、第2逆畳み込み層121からのデータに対し、第1プーリング層111とは逆の演算処理を行う層である。つまり、第1逆プーリング層122は、第2逆畳み込み層121からの256点のデータのセットM個を、512点のデータのセットM個に戻す処理を行う層である。
【0053】
第1逆畳み込み層123は、第1逆プーリング層122からのデータに対し、第1畳み込み層110とは逆の演算処理を行う層である。つまり、第1逆畳み込み層123は、第1逆プーリング層122からの512点のデータのセットM個に対して逆畳み込み処理を行う層であり、その出力は512点のデータである。このようにして、第2逆プーリング層120から第1逆畳み込み層123までの処理により512点のデータである受光信号が再生される。
【0054】
なお、実施例1では、第2プーリング層113と第2逆プーリング層120とを直接に接続しているが、畳み込み層を1以上挿入してもよい。
【0055】
次に、ノイズ除去装置12における畳み込みノイズ除去自己符号化器のニューラルネットワークの学習について説明する。
【0056】
学習データとして、記憶部15に記憶された受光信号の波形データを用いる。具体的には、様々な条件下で受光した正解となる受光信号(つまりノイズを含まない受光信号)の時間波形データと、正解となる受光信号にノイズが付加された時間波形データとを用いる。そして、学習部14において、この記憶部15に記憶されているノイズが付加された時間波形データを入力データとし、出力データが元のノイズを含まない時間波形データとなるように、畳み込みノイズ除去自己符号化器における第1畳み込み層110、第2畳み込み層112、第2逆畳み込み層121、第1逆畳み込み層123のフィルタの各成分を設定する。
【0057】
学習データには、対象物20により反射された際の反射面での変形を受けた受光信号のデータや、信号処理回路などによる変形を受けた受光信号のデータを含めるとよい。このような変形を受けた受光信号であっても、ノイズ除去が可能となる。
【0058】
なお、ノイズ除去装置12の学習後は、学習部14および記憶部15を実施例1の距離測定装置の構成から外してもかまわない。
【0059】
図4は、ノイズ除去装置12から出力される受光信号の波形をシミュレーションにより求めた結果を示したグラフである。図4のように、正解となるピーク位置でピークを復元できており、ノイズも効率的に除去できていることがわかる。
【0060】
図5は、ノイズ除去装置12におけるニューラルネットワークのモデルを、畳み込みノイズ除去自己符号化器から全結合のノイズ除去自己符号化器に替えた場合の、出力される受光信号の波形をシミュレーションにより求めた結果を示したグラフである。正解となるピーク位置以外にもピークが生成されており、ノイズ除去性能が十分でないことがわかる。
【0061】
以上のように、ノイズ除去装置12では、畳み込みのフィルタサイズを受光信号のパルス幅により規定している。また、畳み込み層とプーリング層の繰り返し回数もパルス幅により規定している。そのため、第1に、受光信号の時間波形の形状の特徴を効率的に収集することができる。また、第2に、受光信号に偽ピークが発生するのを抑制することができる。よって、受光信号から効率的にノイズを除去することができ、S/Nを飛躍的に向上させることができる。また、ノイズ除去前の時間波形データではノイズに埋もれて対象物20を検出できなかった場合でも、実施例1の距離測定装置によれば対象物20の検出確率を向上させることができる。
【0062】
また、ノイズ除去装置12では、受光信号が反射面で変形する場合や、信号処理などによる変形が生ずる場合であっても、あらかじめそのような変形を含めた受光信号のデータで学習しておけば、変形した受光信号からノイズを除去することができる。このように変形した受光信号からノイズを除去することは、従来のノイズ除去方法では実現が困難であったが、ノイズ除去装置12によればそれが可能となる。
【0063】
また、ノイズ除去装置12では、受光信号が1ショット(1パルス周期分の時間波形)であっても、ノイズを除去することができる。従来は、数十ショット分の受光信号を積算してノイズを抑制していたが、ノイズ除去装置12によればそのような積算が必要なくなる。よって、ノイズ除去装置12によれば受光信号から短時間でノイズを除去することができ、その結果、実施例1の距離測定装置では、対象物20の検出、距離測定にかかる時間を大幅に短縮することができる。また、一方位当たりのショット数を少なくすることで空間解像度の向上にも寄与する。
【0064】
また、ノイズ除去装置12は、畳み込みノイズ除去自己符号化器のニューラルネットワーク構造の学習済みモデルであり、畳み込みのフィルタサイズがパルス幅で規定されていて、層数もパルス幅により規定されているため、学習の計算量が少なく、効率的に学習することができる。たとえば、全結合のニューラルネットワークでは、学習するパラメータの数は数万程度になるが、ノイズ除去装置12では500程度でも十分な効果が得られる。
【0065】
(変形例)
実施例1では、距離測定装置の受光信号のノイズを除去するために本発明のノイズ除去装置を利用している。しかし、本発明のノイズ除去装置は、受光信号がパルス光であればLiDAR以外にも適用可能である。また、光信号である必要もなく、パルス信号であれば本発明を適用できる。たとえば、電波や音波などの信号であってもよく、電波レーダや超音波ソナーなどにも適用可能である。
【産業上の利用可能性】
【0066】
本発明は、LiDARの受光信号からノイズを除去することに利用できる。
【符号の説明】
【0067】
10:発光部
11:受光部
12:ノイズ除去装置
13:距離算出部
14:学習部
15:記憶部
110:第1畳み込み層
111:第1プーリング層
112:第2畳み込み層
113:第2プーリング層
120:第1逆プーリング層
121:第1逆畳み込み層
122:第2逆プーリング層
123:第2逆畳み込み層
図1
図2
図3
図4
図5