IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東芝の特許一覧 ▶ 東芝デバイス&ストレージ株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-23
(45)【発行日】2024-01-31
(54)【発明の名称】距離計測装置、及び距離計測方法
(51)【国際特許分類】
   G01S 7/4865 20200101AFI20240124BHJP
   G01S 7/487 20060101ALI20240124BHJP
   G01S 17/10 20200101ALI20240124BHJP
【FI】
G01S7/4865
G01S7/487
G01S17/10
【請求項の数】 13
(21)【出願番号】P 2020156727
(22)【出願日】2020-09-17
(65)【公開番号】P2022050239
(43)【公開日】2022-03-30
【審査請求日】2022-11-02
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】317011920
【氏名又は名称】東芝デバイス&ストレージ株式会社
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100118843
【弁理士】
【氏名又は名称】赤岡 明
(74)【代理人】
【識別番号】100125151
【弁理士】
【氏名又は名称】新畠 弘之
(72)【発明者】
【氏名】久保田 寛
(72)【発明者】
【氏名】松本 展
(72)【発明者】
【氏名】片桐 久晶
【審査官】山下 雅人
(56)【参考文献】
【文献】特開2008-026287(JP,A)
【文献】特開2004-177350(JP,A)
【文献】特開2019-144065(JP,A)
【文献】特開2017-173298(JP,A)
【文献】特開2005-257405(JP,A)
【文献】特開2019-184545(JP,A)
【文献】特開2020-046247(JP,A)
【文献】特開2017-129426(JP,A)
【文献】国際公開第2017/042993(WO,A1)
【文献】特開2019-052978(JP,A)
【文献】米国特許出願公開第2020/0191963(US,A1)
【文献】米国特許出願公開第2020/0036918(US,A1)
【文献】国際公開第2015/098469(WO,A1)
【文献】特開2019-138872(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00-17/95
(57)【特許請求の範囲】
【請求項1】
受光光学系を介して受光したレーザ光の反射光を電気信号に変換する複数の画素を有するセンサと、
前記複数の画素がそれぞれ出力する電気信号を所定のサンプリング間隔でサンプリングしたデジタル信号を複数の時系列輝度信号として生成する信号生成部と、
前記複数の時系列輝度信号のうちの積算範囲における複数の時系列輝度信号を平均化し、平均化時系列輝度信号を生成する平均化処理部と、
前記レーザ光を照射していない第1期間、及び前記複数の画素がそれぞれ出力する電気信号を所定のサンプリング間隔でサンプリングして前記デジタル信号を生成する際のブランキング期間のいずれかにデジタル化されたデジタル信号に基づき、環境光の強さに対応するフロアノイズを算出し、前記フロアノイズを前記平均化時系列輝度信号から低減し第2時系列輝度信号を生成するノイズ低減部と、
前記第2時系列輝度信号の値が閾値に達する立ち上り時間と、前記閾値に達した後に前記閾値未満に立ち下がる立ち下り時間とを検出する検出部と、
前記立ち上り時間及び前記立ち下り時間を、重み付け処理したピークタイミングと、前記レーザ光の照射タイミングとの時間差と、に基づいて、対象物までの距離を計測する距離計測部と、
を備え、
前記検出部は、前記第1期間、及び前記ブランキング期間のいずれかでの前記デジタル信号の最大値が大きくなるに従い値が大きくなる前記閾値を設定する、距離計測装置。
【請求項2】
前記フロアノイズは、前記第1期間、及び前記ブランキング期間のいずれかにデジタル化されたデジタル信号の平均値であり、
前記検出部は、前記デジタル信号の最大値から前記平均値を減じた値を前記閾値として設定する、請求項1に記載の距離計測装置。
【請求項3】
前記平均化処理部は、前記積算範囲における複数の時系列輝度信号の環境光の強さに対応するフロアノイズのレベル、及びピーク位置の少なくとも一方の相関に基づき、相関の小さい時系列輝度信号を積算せずに、前記平均化を実行するする、請求項1に記載の距離計測装置。
【請求項4】
前記積算範囲における複数の時系列輝度信号のそれぞれは、異なる方向に照射されたレーザ光に対応する、請求項1に記載の距離計測装置。
【請求項5】
記第2時系列輝度信号が前記閾値を超えたタイミングの輝度信号の値と、前記タイミングよりもデジタル信号化する際の1サンプリング間隔分の時間が前の輝度信号の値と、前記1サンプリング間隔分の時間と、を用いた補間処理により、より高精度な立ち上り時間を生成する補間処理部を更に備え、
前記距離計測部は、前記補間処理部が生成した立ち上り時間を用いて距離を計測する、請求項1に記載の距離計測装置。
【請求項6】
前記検出部は、前記閾値に応じて、前記立ち上り時間、及び前記立ち下り時間を補正する、請求項1に記載の距離計測装置。
【請求項7】
前記検出部は、前記第2時系列輝度信号に対して、ピーク検出を行い、前記ピークよりも前の時間に対応する前記立ち上り時間を検出し、前記ピークよりも後の時間に対応する前記立ち下り時間を検出する、請求項1に記載の距離計測装置。
【請求項8】
前記検出部は、前記ピーク検出、前記ピーク検出に対応する前記立ち上り時間、及び前記ピーク検出に対応する前記立ち下り時間の内の少なくとも2つの情報のくみ合わせを、複数出力する、請求項に記載の距離計測装置。
【請求項9】
前記立ち上り時間、及び前記立ち下り時間に対して前記重み付け処理をして前記ピークタイミングを生成する重み付け処理部を更に備える、請求項1に記載の距離計測装置。
【請求項10】
前記時系列輝度信号のピークの信頼度生成する信頼度生成部を更に備え、
前記ピークに対応する記立ち上り時間、及び前記立ち下り時間と、信頼度とを関連付ける、請求項に記載の距離計測装置。
【請求項11】
前記レーザ光の照射方向を変更しながら計測対象物に照射する照射光学系と、
前記照射光学系が照射した前記レーザ光の反射光を受光する受光光学系と、
前記センサが出力する電気信号を前記デジタル信号に変換するAD変換器と、を更に備える、請求項1に記載の距離計測装置。
【請求項12】
前記センサは、シリコンフォトマルチプライヤにより構成される、請求項1に記載の距離計測装置。
【請求項13】
受光光学系を介して受光したレーザ光の反射光を電気信号に変換する複数の画素を有するセンサを用いた距離計測方法であって、
前記複数の画素がそれぞれ出力する電気信号を所定のサンプリング間隔でサンプリングしたデジタル信号を複数の時系列輝度信号として生成する信号生成工程と、
前記複数の時系列輝度信号のうちの積算範囲における複数の時系列輝度信号を平均化し、平均化時系列輝度信号を生成する平均化処理工程と、
前記レーザ光を照射していない第1期間、及び前記複数の画素がそれぞれ出力する電気信号を所定のサンプリング間隔でサンプリングして前記デジタル信号を生成する際のブランキング期間のいずれかにデジタル化されたデジタル信号に基づき、環境光の強さに対応するフロアノイズを算出し、前記フロアノイズを前記平均化時系列輝度信号から低減し第2時系列輝度信号を生成するノイズ低減工程と、
前記第2時系列輝度信号の値が閾値に達する立ち上り時間と、前記閾値に達した後に前記閾値未満に立ち下がる立ち下り時間とを検出する検出工程と、
前記立ち上り時間及び前記立ち下り時間を、重み付け処理したピークタイミングと、前記レーザ光の照射タイミングとの時間差と、に基づいて、対象物までの距離を計測する距離計測工程と、
を備え、
前記検出工程は、前記第1期間、及び前記ブランキング期間のいずれかでの前記デジタル信号の最大値が大きくなるに従い値が大きくなる前記閾値を設定する、距離計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、距離計測装置及び距離計測方法に関する。
【背景技術】
【0002】
LIDAR(Light Detection and Ranging)と称される距離計測装置が知られている。この距離計測装置では、レーザ光を計測対象物に照射し、計測対象物により反射された反射光の強度をセンサ出力に基づき時系列な計測信号に変換する。これにより、レーザ光の発光の時点と、反射光がセンサに受信された時点との時間差に基づき、計測対象物までの距離が計測される。
【0003】
ところが、センサへの単位時間あたりの入力フォトン数が増加すると、時系列輝度信号が飽和する場合が多々発生し、計測精度が低下する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2016-14535号公報
【文献】特開2019-184545号公報
【文献】米国特許第10739456号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、時系列輝度信号が飽和しても安定的に距離計測が可能な距離計測装置及び距離計測方法を提供することである。
【課題を解決するための手段】
【0006】
本実施形態に係る距離計測装置は、平均化処理部と、検出部と、距離計測部と、を備える。平均化処理部は、レーザ光の反射光をデジタル化したデジタル信号を平均化し、時系列輝度信号を生成する。検出部は、時系列輝度信号が閾値に達する立ち上り時間を検出する。距離計測部は、立ち上り時間とレーザ光の照射タイミングとの時間差とに基づいて、対象物までの距離を計測する。
【図面の簡単な説明】
【0007】
図1】本実施形態に係る運転支援システムの概略的な全体構成を示す図。
図2】第1実施形態に係る距離計測装置の構成例を示す図。
図3】1フレームにおける光源の出射パターンを模式的に示している図。
図4】1フレームにおけるレーザ光の計測対象物上の照射位置を拡大して示す模式図。
図5図4と照射順が異なる計測対象物上の照射位置を拡大して示す模式図。
図6】一次元状のレーザ光源を用いて縦一列を同時に照射した例を示す図。
図7A】一次元状のレーザ光源を用いて、水平行別に縦一列を同時に照射した例を示す図。
図7B】ポリゴンミラーの例を示す図。
図8】照射範囲の部分領域に計測対象が存在する例を示す図。
図9】現フレームの時系列輝度信号の一例を示す図。
図10】信号処理部の構成を示すブロック図。
図11】時分割積算部の処理例を説明する図。
図12A】立上り検出部及び補間処理部の処理例を説明する図。
図12B】本実施形態に係る距離計測装置の処理例を示すフローチャート。
図13】第2実施形態に係る信号処理部の構成を示すブロック図。
図14】検出部の構成例を示すブロック図。
図15】フロアノイズが比較的大きい場合の、減算の効果を、模式的に示す図。
図16】ピークパターンフィルタをかけた場合の処理結果例を示す図。
図17】ピークパターンフィルタの例を示す図。
図18】立ち上り時間、及び立ち下り時間の一例を示す図。
図19】底部演算部が生成した時系列輝度信号を示す図。
図20】最大値より、平均値を減算した結果である閾値を模式的に示した図。
図21】第3実施形態に係る距離計測装置の構成を示す図。
図22】偶数回及び奇数回の出射タイミングと、その時系列輝度信号時の重ね合わせについて、模式的に示す図。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態に係る距離計測装置及び距離計測方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。
【0009】
(第1実施形態)
本実施形態に係る距離計測装置は、レーザ光の反射光をデジタル化したデジタル信号に基づく時系列輝度信号が第1閾値に達する立ち上り時間を検出することにより、センサ出力が飽和しても反射光が対象物から戻ってくるタイミングをより安定して検出しようとしたものである。より詳しく、以下に説明する。
【0010】
図1は、本実施形態に係る運転支援システムの概略的な全体構成を示す図である。図1に示すように運転支援システム1は、距離画像に基づく運転支援を行う。運転支援システム1は、距離計測システム2と、運転支援装置500と、音声装置502と、制動装置504と、表示装置506とを、を備えて構成されている。距離計測システム2は、計測対象10の距離画像、速度画像を生成するものであり、距離計測装置5と、計測情報処理装置400とを備える。
【0011】
距離計測装置5は、走査方式及びTOF(Time Of Flight)方式を用いて、計測対象10までの距離、相対速度を計測する。より具体的には、この距離計測装置5は、出射部100と、光学機構系200と、計測部300とを備えて構成されている。
【0012】
出射部100は、レーザ光L1を間欠的に出射する。光学機構系200は、出射部100が出射するレーザ光L1を計測対象10に照射するとともに、計測対象10上で反射されたレーザ光L1の反射光L2を計測部300に入射させる。ここで、レーザ光とは、位相および周波数が揃った光を意味する。また、反射光L2は、レーザ光L1による散乱光のうちの所定方向の光を意味する。
【0013】
計測部300は、光学機構系200を介して受光した反射光L2に基づき、計測対象10までの距離を計測する。すなわち、この計測部300は、出射部100がレーザ光L1を計測対象10に照射した時点と、反射光L2が計測された時点との時間差に基づき、計測対象10までの距離を計測する。また、計測部300は、計測対象10までの単位時間あたりの距離変動に基づき相対速度を計測する。なお、相対速度から距離計測装置5の速度を減じると速度になる。すなわち、距離計測装置5が停止している場合には、相対速度は速度である。このため、本実施形態では相対速度、速度、距離値の差分値などを速度に関する値と呼ぶ場合がある。
【0014】
計測情報処理装置400は、ノイズの低減処理を行い、計測対象10上の複数の測定点までの距離に基づき距離画像データ、相対速度データを出力する。計測情報処理装置400の一部または全ては、距離計測装置5の筐体内に組み込んでもよい。
【0015】
運転支援装置500は、計測情報処理装置400の出力信号に応じて車両の運転を支援する。運転支援装置500には、音声装置502、制動装置504、表示装置506などが接続されている。
【0016】
音声装置502は、例えばスピーカであり、車両内の運転席から聴講可能な位置に配置されている。運転支援装置500は、計測情報処理装置400の出力信号に基づき、例えば音声装置502に「対象物まで5メートルです」などの音声を発生させる。これにより、例えば運転士の注意力が低下している場合にも、音声を聴講することで、運転士の注意を喚起させることが可能となる。
【0017】
制動装置504は、例えば補助ブレーキである。運転支援装置500は、計測情報処理装置400の出力信号に基づき、例えば対象物が所定の距離、例えば3メートルまで近接した場合に、制動装置504に車両を制動させる。
【0018】
表示装置506は、例えば液晶モニタである。運転支援装置500は、計測情報処理装置400の出力信号に基づき、表示装置506に画像を表示する。これにより、例えば逆光時などでも、表示装置506に表示される画像を参照することで、外部情報をより正確に把握可能となる。
【0019】
次に、図2に基づき、本実施形態に係る距離計測装置5の出射部100、光学機構系200、および計測部300のより詳細な構成例を説明する。図2は、第1の実施形態に係る距離計測装置5の構成例を示す図である。図2に示すように、距離計測装置5は、出射部100と、光学機構系200と、計測部300と、計測情報処理装置400と、を備えて構成されている。ここでは、散乱光L3の内、所定の方向の散乱光を反射光L2と呼ぶこととする。図2に記載のブロック図は、信号例であり、順序、配線はこれに限定されない。
【0020】
出射部100は、光源11と、発振器11aと、第1駆動回路11bと、制御部16と、第2駆動回路16aとを、有する。
【0021】
光学機構系200は、照射光学系202と、受光光学系204とを有する。照射光学系202は、レンズ12と、第1光学素子13と、レンズ13a、ミラー(反射デバイス)15とを有する。
【0022】
受光光学系204は、第2光学素子14と、ミラー15とを有する。すなわち、これら照射光学系202、及び受光光学系204は、ミラー15を共有している。
【0023】
計測部300は、光検出器17と、センサ18と、レンズ18aと、第1増幅器19と、第1距離計測部300aとを有する。なお、光を走査する既存方法として、ここではミラー15を用いているが、ミラー15を用いる他に、距離計測装置5を回転させる方法(以下、回転方法と呼ぶ)がある。また、別の走査する既存方法として、OPA方法(Optical Phased array)がある。本実施形態は、光を走査する方法に依存しないため、回転方法やOPA方法により光を走査してもよい。
【0024】
出射部100の発振器11aは、制御部16の制御に基づき、パルス信号を生成する。第1駆動回路11bは、発振器11aの生成したパルス信号に基づいて光源11を駆動する。光源11は、例えばレーザダイオードなどのレーザ光源であり、第1駆動回路11bによる駆動に応じてレーザ光L1を間欠的に発光する。
【0025】
次に、図3に基づき1フレームにおける光源11の出射パターンを説明する。ここで、フレームとは、周期的に繰り返されるレーザ光L1の出射の組み合わせを意味する。図3は、1フレームにおける光源11の出射パターンを模式的に示している図である。図3において、横軸は時刻を示し、縦線は光源11の出射タイミングを示している。上側の図は、下側の図における部分拡大図である。この図3に示すように光源11は、例えばT=数マイクロ秒~数十マイクロ秒の間隔で、レーザ光L1(n)(0≦n<N)を間欠的に繰り返し発光する。ここで、n番目に発光されるレーザ光L1をL1(n)と表記する。Nは、1フレームにおける計測対象10を測定するために照射するレーザ光L1(n)の照射回数を示している。1フレーム分の照射が終了すると、次フレーム分の照射をL1(0)から開始する。
【0026】
図2に示すように、照射光学系202の光軸O1上には、光源11、レンズ12、第1光学素子13、第2光学素子14、及びミラー15がこの順番に配置されている。これにより、レンズ12は、間欠的に出射されるレーザ光L1をコリメートして、第1光学素子13に導光する。
【0027】
第1光学素子13は、レーザ光L1を透過させると共に、レーザ光L1の一部を光軸O3に沿って光検出器17に入射させる。第1光学素子13は、例えばビームスプリッタである。
【0028】
第2光学素子14は、第1光学素子13を透過したレーザ光L1を更に透過して、レーザ光L1をミラー15に入射させる。第2光学素子14は、例えばハーフミラーである。
【0029】
ミラー15は、光源11から間欠的に出射されるレーザ光L1を反射する反射面15aを有する。反射面15aは、例えば、互いに交差する2つの回動軸線RA1、RA2を中心として回動可能となっている。これにより、ミラー15は、レーザ光L1の照射方向を周期的に変更する。
【0030】
制御部16は、例えばCPU(Central Processing Unit)を有し、反射面15aの傾斜角度を連続的に変更させる制御を第2駆動回路16aに対して行う。第2駆動回路16aは、制御部16から供給された駆動信号に従って、ミラー15を駆動する。すなわち、制御部16は、第2駆動回路16aを制御して、レーザ光L1の照射方向を変更させる。
【0031】
次に、図4に基づき、1フレームにおけるレーザ光L1の照射方向について説明する。図4は、1フレームにおけるレーザ光L1の計測対象10上の照射位置を拡大して示す模式図である。この図4に示すように、反射面15a(図2)は、レーザ光L1ごとに照射方向を変更して計測対象10上のほぼ平行な複数の直線経路P1~Pm(mは2以上の自然数)に沿って、離散的に照射させる。このように、本実施形態に係る距離計測装置5は、各フレームf(m)(0≦m<M)ごとにレーザ光L1(n)(0≦n<N)の照射方向O(n)(0≦n<N)を変更しつつ、計測対象10に向けて1回ずつ照射する。ここで、レーザ光L1(n)の照射方向をO(n)で表記する。すなわち、本実施形態に係る距離計測装置5では、レーザ光L1(n)は、照射方向O(n)に一回照射される。照射方向O(n)(0≦n<N)は各フレームで同一であるため、mフレーム目の照射方向O(n)(0≦n<N)とm-1フレーム目の照射方向O(n)(0≦n<N)とは一致する。
【0032】
次に、図5乃至図7に基づき、図4と異なるレーザ光L1の照射例を説明する。
図5は、図4と照射順が異なる計測対象10上の照射位置を拡大して示す模式図である。図6は、縦に光が拡がる出射光学系を用いて縦一列の方向を同時に照射した例を示す図である。
図7Aは、縦に光が拡がる出射光学系を用いて、水平行別に縦一列を同時に照射した例を示す図である。
【0033】
このように、本実施形態に係るレーザ光L1(n)は図4、5に示す様に一点ずつ順次照射しても良いが、これに限定されず、複数点を同時に照射してもよい。例えば、図6、或いは図7に示す様に、一次元状のレーザ光源を用いて縦一列を同時に照射してもよい。ここでは、説明を容易にするため、計測対象10を平板状として図8に模式的に図示しているが、実際の計測では、計測対象10は、例えば自動車などである。
【0034】
図7Aの様な走査をする手段としては、例えば、図7Bで示す異なるチルト角を有するポリゴンミラーがある。図7Bは、例えばミラー15(図2)の位置に配置されるポリゴンミラー700の例を示す図である。図7Bの照射面701は、各面毎にチルト角が異なる。これにより、ポリゴンミラー700が回転することにより、照射されるレーザ光の照射方向は垂直方向に変わる。なお、図7Bのポリゴンミラーでは、ミラー上において、出射光の当たる場所と、受光面が分離されており(分離光学系)、図2の第2光学素子14を設けなくともよい。
また、図7Aの様な走査をする別の手段として回転ミラー、及び2軸のMEMSなどがある。以上の走査方法はメカニカルなものであるが、別の走査する既存方法として、OPA方法(Optical Phased array)がある。本実施形態は、光を走査する方法に依存しないため、メカニカルな方法とOPA方法のどちらにより光を走査してもよい。
【0035】
次に、図8に基づき、1フレームにおけるレーザ光L1(n)の照射範囲に計測対象10と他の反射物が存在する例を説明する。
図8は、照射範囲の部分領域に計測対象10が存在する例を示す図である。図8に示すように、計測対象10が遠方に存在する場合には、計測対象10はレーザ光L1の照射範囲の部分領域に存在する。計測対象10の範囲外には、例えば建物10a、他の自動車10b、人、道路、空などが存在する。このため、レーザ光L1(n)(0≦n<N)が照射される反射対象物が異なると、その計測距離も異なる。
【0036】
図2に示すように、受光光学系204の光軸O2上には、反射光L2が入射する順に、ミラー15の反射面15a、第2光学素子14、レンズ18a、センサ18が配置されている。ここで、光軸O1とは、レンズ12の中心位置を通過するレンズ12の焦点軸である。光軸O2とは、レンズ18aの中心位置を通過するレンズ18aの焦点軸である。
【0037】
反射面15aは、計測対象10上で散乱された散乱光L3のうち光軸O2に沿って進む反射光L2を第2光学素子14に入射させる。第2光学素子14は、反射面15aで反射された反射光L2の進行方向を変えて、光軸O2に沿って計測部300のレンズ18aに入射させる。レンズ18aは、光軸O2に沿って入射した反射光L2をセンサ18に集光させる。
【0038】
一方で、散乱光L3のうちレーザ光L1と異なる方向に反射された光の進行方向は、受光光学系204の光軸O2からずれている。このため、散乱光L3のうち光軸O2と異なる方向に反射された光は、仮に受光光学系204内に入射しても、センサ18の入射面からずれた位置に入射される。これに対して、何らかの物体により散乱された太陽光などの環境光の中には、光軸O2に沿って進行する光があり、これらの光は、ランダムにセンサ18の入射面に入射して、ランダムなノイズとなる。
【0039】
なお、図2においては、明確化のためにレーザ光L1と反射光L2の光路を分けて図示しているが、実際にはこれらは重なっていてもよい。また、レーザ光L1の光束の中心の光路を光軸O1として図示している。同様に、反射光L2の、光束の中心の光路を光軸O2として図示している。
【0040】
このセンサ18は、例えば、フォトマルチプライヤ(SiPM:Silicon Photomultipliers)により構成される。フォトマルチプライヤは、シングルフォトンアバランシェダイオード(SPAD)を複数集積したフォトンカウンティングデバイスである。フォトマルチプライヤは、フォトンカウンティングレベルの微弱光を検出することが可能である。ここで、SiPMのダイナミックレンジは、画素当たり集積されたSPADの数(SPAD数/画素)に拠る。SiPMは、例えばAPDと比べて、検出する能力、つまり感度が高いという長所があるが、ダイナミックレンジが小さいという短所もある。SiPMには、縦一例、つまり1次元に集積された1D SiPMや、縦横2次元に集積された2D SIPMがある。2D SIPMの場合、サイズに関する制約のために、SPAD数/画素が少なくなり、特に、ダイナミックレンジが小さくなる場合が多くなる。
【0041】
より具体的には、センサ18は、受光光学系204を介して受光した反射光L2を電気信号に変換する。このセンサ18の受光素子は、ガイガーモードのアバランシェフォトダイオード(APD:Avalanche Photo Diod)と、クエンチ抵抗とを有するSPADを、複数並列に接続したものである。
【0042】
アバランシェフォトダイオードは、アバランシェ増倍と呼ばれる現象を利用して受光感度を上昇させた受光素子である。ガイガーモードで使用されるアバランシェフォトダイオードは、一般にクエンチング素子(後述)と共に使用されて単一光子アバランシェフォトダイオード(SPAD: Single-Photon Avalanche Diode)とよばれ、シリコンを材料としたものは、例えば200nm~1000nmまでの波長の光に感度を有する。
【0043】
本実施形態に係るセンサ18は、シリコンフォトマルチプライヤにより構成されるが、これに限定されない。例えば、センサ18を、フォトダイオード(Photodiode)、アバランシェダイオード(ABD:avalanche breakdown diode)、化合物半導体を材料としたフォトマルチプライヤなどを複数配置して構成してもよい。フォトダイオードは、例えば光検出器として働く半導体により構成される。アバランシェダイオードは、特定の逆電圧にてアバランシェ降伏を起こすことにより、受光感度を上げたダイオードである。
【0044】
図2に示すように、1距離計測部300は、レーザ光L1の反射光L2を信号化した計測信号をアナログデジタル変換した時系列輝度信号Bに基づき計測対象10までの距離を計測する。この距離計測部300は、信号生成部20と、信号処理部22と、出力インターフェース23とを有する。
【0045】
信号生成部20は、センサ18が出力する電気信号を所定のサンプリング間隔で時系列輝度信号に変換する。この信号生成部20は、増幅器21aと、AD変換器21bと、を有する。増幅器21aは、例えば反射光L2に基づく電気信号を増幅する。より具体的には、増幅器21aとしては、センサ18の電流信号を、電圧信号に変換して増幅するトランスインピーダンスアンプ(TIA)などが用いられる。
【0046】
AD変換器21b(ADC: Analog to Digital Convertor)は、増幅器21aが増幅した計測信号を複数のサンプリングタイミングにおいてサンプリングして、レーザ光L1の照射方向に対応するデジタルの時系列輝度信号に変換する。すなわち、AD変換器21bは、増幅器21aが増幅した計測信号をサンプリングする。このように、反射光L2に基づく電気信号を所定のサンプリング間隔でサンプリングしたデジタル信号を時系列輝度信号と呼ぶこととする。すなわち、時系列輝度信号は、反射光L2の時間的変化を所定のサンプリング間隔でサンプリングして得た値の系列である。
【0047】
次に、図9に基づき、現フレームf(m)の時系列輝度信号B(m、t)(t0≦t≦t32)の一例を説明する。図9は、現フレームf(m)の時系列輝度信号B(m、t)(t0≦t≦t32)の一例を示す図である。すなわち、信号生成部20(図2)による計測信号のサンプリング値の一例を示す図である。図9の横軸はサンプリングタイミングを示し、縦軸は時系列輝度信号B(m)のサンプリング値、すなわち輝度値を示している。
【0048】
例えば、サンプリングタイミングt0~t32にブランキング時間を加えたものは、レーザ光L1(n)が照射されてから次のレーザ光L1(n+1)が照射されるまでの経過時間T(図3)に対応する。図中のピークが反射光L2に基づくサンプリング値であり、例えばピークの最大値を示すサンプリングタイミングTL2が計測対象10までの距離の2倍に対応する。なお、ピークとは、時間経過に対して値が変化する時系列信号の上に凸な領域毎の最大値を示す点を意味する。すなわち、上に凸な領域が複数存在する場合には、ピークも複数存在する。例えば時系列輝度信号B(m、t)(t0≦t≦t32)の上に凸な領域毎の最大値を示す点を意味する。
【0049】
より具体的には、距離=光速×(サンプリングタイミングTL2-光検出器17がレーザ光L1を検出したタイミング)/2なる式で距離が求められる。ここで、サンプリングタイミングは、レーザ光L1の発光開始時刻からの経過時間である。
【0050】
ここで、時系列輝度信号B(m、t、x、y)のm(0≦m<M)はフレームfの番号を示し、座標(x、y)は、レーザ光L1(n)(0≦n<N)の照射方向に基づき定められる座標を示している。すなわち、座標(x、y)は、現フレームf(m)の距離画像、速度画像を生成した際の座標に対応する。より具体的には、図8に示すように、L1(0)に対応する座標(0、0)を原点とし、水平方向へのL1(n)(0≦n<N)の照射数をHNとする。また、関数[β]を、β以下の最大の整数を示す関数とする。この場合、x=n-[n÷HN]×HNであり、y=[n÷HN]である。なお、図示したサンプリングタイミングの数やサンプリングを行う時間範囲は一例であり、サンプリングタイミングの数やサンプリングを行う時間範囲を変更してもよい。また、時系列輝度信号B(m、t、x、y)は、近接する座標の輝度信号を積算して使用しても良い。例えば、2×2、3×3、5×5の座標範囲の輝度信号を積算しても良い。このような、2×2、3×3、5×5の座標範囲の輝度信号を積算する処理は、平均化と呼ばれる場合がある。ここで、積算とは、座標(x、y)の近辺・隣接した座標(例えば、座標x+1、y+1)の時系列輝度情報を、座標(x、y)のそれに加え合わせて最終的な時系列輝度情報を求める技術である。これによりS/Nを向上させる技術である。つまり、最終的な時系列輝度情報には、近辺・隣接した座標の時系列輝度情報も含まれ得る。更に言えば、単純化のために、本実施系値に係る時系列輝度信号B(m-1、t、x、y)と時系列輝度信号B(m-1、t、x、y)の座標(x、y)は同一であるとして説明するが、前者の座標はその近辺・隣接した座標であってもよい。
【0051】
信号処理部22は、例えば、MPU(Micro Processing Unit)を含んだロジック回路で構成され、光検出器17がレーザ光L1を検出するタイミングと、センサ18が反射光L2を検出するタイミングとの時間差に基づき、距離を計測する。信号処理部22の詳細は、後述する。
【0052】
出力インターフェース23は、距離計測部300内の各構成と接続され、信号を計測情報処理装置400などの外部装置に出力する。
【0053】
ここで、図10に基づき信号処理部22の詳細な構成を説明する。図10は、信号処理部22の構成を示すブロック図である。信号処理部22は、AD変換器21bの出力信号である時系列輝度信号の平均化(時分割積算)を行い、その結果に基づき、立ち上りタイミングの検出を行うことにより、測定対象10からの距離を求める。
【0054】
信号処理部22は、時分割積算部220と、立上り検出部222と、補間処理部224と、計測処理部226とを備える。
【0055】
図10を参照しつつ、図11に基づき時分割積算部220の処理例を説明する。時分割積算部220は、時系列輝度信号の時分割積算を行う。また、時分割積算部220は、不図示のバッファを有し、時系列輝度信号を記憶可能に構成される。なお、本実施形態に係る時分割積算部220が平均化処理部に対応する。
【0056】
図11は、時分割積算部220の処理例を説明する図である。図11の(A)図は、現フレームの時系列輝度信号B(m,t,x,y)(t0≦t≦tk)を示す図である。縦軸は輝度信号の値を示し、横軸はサンプリングタイミングを示す。kは自然数であり、例えばtk=t32である。。ここで、m(0≦m<M)はフレームfの番号を示し、上述のように、座標(x、y)は、レーザ光L1(m)(0≦m<M)の照射方向に基づき定められる座標を示している。
【0057】
(B)図は同一フレーム内の上側の行に対応する時系列輝度信号B(m、t,x,(y+1))(t0≦t≦tk)を示す図である。縦軸は輝度信号の値を示し、横軸はサンプリングタイミングを示す
【0058】
(C)図は、現フレームの時系列輝度信号号B(m,t,x,y)(t0≦t≦tk)と、上側の行に対応する時系列輝度信号B(m、t,x,(y+1))(t0≦t≦tk)の平均値B2(m、t)=((B(m,t,x,y)+B(m,t,x,y+1))/2(t0≦t≦tk)を示す図である。縦軸は輝度信号の値を示し、横軸はサンプリングタイミングを示す。図11に示すように、ノイズはランダムに発生し、対象物10からの反射光の信号はほぼ同じタイミングで計測される。これにより、時系列輝度信号B2(m,t)(t0≦t≦tk)のS/N比が改善される。換言すると、時分割積算部220の積算処理は、センサ18のダイナミックレンジを拡大することと同等の処理効果を有する。
【0059】
なお、(B)図では、上側の行に対応する時系列輝度信号B(m、t,x,(y+1))(t0≦t≦tk)を積算したが、下側の行に対応する時系列輝度信号B(m、t,x,(y-1))(t0≦t≦tk)を積算してもよい。或いは、上側の行に対応する時系列輝度信号B(m、t,x,(y+1))(t0≦t≦tk)と下側の行に対応する時系列輝度信号B(m、t,x,(y-1))(t0≦t≦tk)とを積算してもよい。
【0060】
図11の例では、同一フレームfの時系列輝度信号Bを積算し平均化したが、これに限定されない。例えば、現フレームの時系列輝度信号号B(m,t,x,y)(t0≦t≦tk)と、前フレームの時系列輝度信号号B(m-1,t,x,y)(t0≦t≦tk)と、を積算して、平均値B2(m,t,x,y)=((B(m,t,x,y)+B(m-1,t,x,y))/2(t0≦t≦tk)として算出してもよい。この場合も、ノイズはランダムに発生し、対象物10からの反射光の信号はほぼ同じタイミングで計測される。これにより、平均値B2(m,t,x,y)のS/N比が改善される。なお、ランダムノイズの影響がより低い場合には、時分割積算部220の処理を省略してもよい。
【0061】
立上り検出部222は、時系列輝度信号の平均値B2(m,t)(t0≦t≦tk)の立ち上りタイミングを検出する。補間処理部224は、立上り検出部222が検出した立ち上りタイミングと、AD変換器21bのサンプリング間隔に基づき、より正確な立ち上りタイミングを得るための補間処理を行う。
【0062】
ここで、図12Aに基づき、立上り検出部222及び補間処理部224の処理例を説明する。図12Aは、立上り検出部222及び補間処理部224の処理例を説明する図である。
【0063】
図12Aの縦軸は時系列輝度信号の平均値B2(m,t)(t0≦t≦tk)の値を示し、横軸はサンプリングタイミングを示す。立上り検出部222は、時分割積算部220の処理した時系列輝度信号B2(m,t)(t0≦t≦tk)の立ち上りを求める。より詳細には、ノイズレベルよりも上に設定された閾値SthをB2(m,t)(t0≦t≦tk)が超えるタイミングを求める。図12に示すように、B2(m,t)(t0≦t≦tk)では、B2(m、tn-1)は閾値Sth未満であるが、B2(m、tn)では、閾値Sth以上である。このような場合、立上り検出部222は、tnを立ち上りタイミングとして検出する。
【0064】
補間処理部224は、時系列輝度信号B2(m、t)が閾値Sthを超えたタイミングTrを(1)式を用いてより正確に演算する。Δtは、AD変換器21bのサンプリング間隔である。なお、補間処理部224の補間には、3点以上を用いた直線回帰や、2次の補間を用いてもよい。
【数1】
これにより、時系列輝度信号B2(m、t)(t0≦t<tk)の立ち上りタイミングTrをより正確に求めることが可能となる。環境光などが多い場合には、時系列輝度信号B2(m、t)(t0≦t<tk))のピークは、飽和するに従いなだらかとなる。このため、ピーク位置を光検出器17がレーザ光L1を検出するタイミングとするとピークの形状により、ずれが生じる恐れがある。これに対して、時系列輝度信号B2(m、t)(t0≦t<t32)の立ち上りは、ずれがより少なく安定している。これにより、たち上りタイミングTrを光検出器17がレーザ光L1を検出するタイミングとすると、時系列輝度信号B2(m、t)(t0≦t<tk)のピークの形状変化の影響を低減でき、計測処理が安定する。
【0065】
計測処理部226は、補間処理部224が演算した立ち上りタイミングTrを用いて対象物10までの距離を演算する。すなわち、計測処理部226では、距離=光速×(立ち上りのタイミングTr-光検出器17(図2参照)がレーザ光L1を検出したタイミング)/2なる式で距離が求められる。すなわち、立ち上りのタイミングTrは、レーザ光L1の発光開始時刻からの経過時間に対応する。
【0066】
図12Bは、本実施形態に係る距離計測装置5の処理例を示すフローチャートである、ここでは、時系列輝度信号B(t)(t0≦t<t32)がAD変換器21bから出力された後の処理を説明する。
【0067】
時分割積算部220は、現フレームのB(m,t,x,y)(t0≦t≦tk)を取得する(ステップS100)。続けて時分割積算部220は、バッフアに記憶する上側の行に対応する時系列輝度信号B(m、t,x,(y+1))(t0≦t≦tk)と時系列輝度信号B(m,t,x,y)(t0≦t≦tk)とを加算平均し、時系列輝度信号B2(m、t,x,y))(t0≦t≦tk)を生成する(ステップS102)。
【0068】
次に、立上り検出部222は、時系列輝度信号B2(m、t,x,y)(t0≦t≦tk)が閾値Sthを超えるタイミングtnを立ち上りタイミングとして検出する(ステップS104)。
【0069】
次に、補間処理部224が、タイミングtnに基づき、時系列輝度信号B2(m、t,x,y)(t0≦t≦tk)が閾値Sthを超えたタイミングTrを(2)式を用いて、時間分解能の高い、精度のある距離結果を導出する(ステップS106)。
そして、計測処理部226は、補間処理部224が演算した立ち上りタイミングTrを用いて対象物10までの距離を演算する(ステップS108)。このように、時分割積算部220の平均化によりパイルアップ(pileup)が緩和され、S/Nが改善される。さらに、パイルアップしても、安定的に立ち上りタイミングを検出でるので、測距成功率が改善される。
【0070】
以上のように本実施形態によれば、立上り検出部222が、AD変換器21bの出力信号を時分割積算した時系列輝度信号B2(m、x、y)の立ち上りのタイミングtnを検出し、計測処理部226が、立ち上りのタイミングtnに基づき距離を演算することとした。時系列輝度信号B2(m、x、y)の立ち上りのタイミングTnは、AD変換器21bの出力信号の信号が飽和・パイルアップ(pileup)する場合にも、安定してずれが少ないので、環境光などが多い場合でも、より精度良く対象物10までの距離を演算できる。 立ち上り時刻に検出については、例えば、図13のTDC(Time to Digital Converter)240の様に、アナログ信号を入力として、TDCにより立ち上り時点を検出する方法がある。ここで、立ち上り時点を求めるには、立ち上りを検出する閾値を設定する必要があるが、ノイズによる誤検出を防ぐためには、その閾値を十分に高く設定しなければならない。しかし、SiPMセンサの様にダイナミックレンジの大きくない場合、閾値がダイナミックレンジを超えてしまい、TDCによる立ち上り時点の検出が困難になる。更に、TDCを用いる場合、入力のアナログ信号を平均化することは困難であり、ダイナミックレンジを拡大することは難しい。これに対して、本実施形態では、アナログ信号をデジタル信号に変換した後に、平均化を行うことにより、このダイナミックレンジが不足する問題を解決している。また、平均化によるSNの改善のため、TDCと異なり、長距離(>20m)に位置する対象に対しても、測距測定が可能である。このように、パイルアップ(pileup)の問題を回避しつつ、測距成功率が向上し、測距精度が改善される。
【0071】
(第2実施形態)
第2実施形態に係る運転支援システム1は、環境光によるフロアノイズを減算することにより、ノイズの影響をより低減する。また、立ち下りのタイミングも考慮して、距離演算が可能である。以下では、第1実施形態に係る運転支援システム1と相違する点について説明する。
【0072】
図13及び図14に基づき、第2実施形態に係る信号処理部22の構成を説明する。図13は、第2実施形態に係る信号処理部22の構成を示すブロック図である。なお、図13及び図14に記載のブロック図は、信号例であり、順序、配線はこれに限定されない。
【0073】
図13に示すように、第2実施形態に係る信号処理部22は、FIR処理部228と、底部演算部230と、検出部232と、重み付け処理部236と、信頼度生成部238と、TDC処理部240と、SAT処理部250とを、更に備える点で、第1実施形態に係る信号処理部22と相違する。底部演算部230は、フロアレベル算出部230a、減算部230b、及び記憶部230cを有する。
【0074】
図14は、検出部232の構成例を示すブロック図である。図14に示すように、検出部232は、立上がり検出部222と、立下がり検出部232a、及びピーク検出部232bを有する。立上がり検出部222は、第1実施形態に係る信号処理部22の立上がり検出部222と同等の構成である。
【0075】
FIR処理部228は、時分割積算部220が生成した時系列信号B2にFIR(Finite Impulse Response)フィルタをかける。FIR処理部228は、時系列信号B2を平滑化するフィルタ形である。平滑化する作用があれば、そのフィルタ形には限定されない。なお、本実施形態に係るFIR処理部228が平均化処理部の別の例に対応する。
【0076】
図13に基づき、底部演算部230の処理例を説明する。フロアレベル算出部230aは、環境光の強さを検出する。フロアレベル算出部230aは、例えば、1回の計測の間の輝度値を全て積算し、その積算結果を積算回数で除算することによりフロアレベルを算出する。本実施形態では、環境光による時系列輝度信号をフロアレベル、フロアノイズ、あるいは底部と呼ぶことがある。また、積算の期間として、計測時間のうち、測距をしている期間を除く期間としてもよい。或いは、ブランキング期間を積算の期間としてもよい。これにより、レーザからの反射光である信号を除いて、環境光だけの寄与をフロアノイズとして抽出できる。こように、フロアレベル算出部は、フロアレベルの平均値を算出している。なお、本実施形態に係る底部演算部230がノイズ低減部に対応する。
【0077】
減算部230bは、輝度信号B2(tn)から、フロアレベルの平均値を減算する。図15は、フロアノイズが比較的大きい場合の、減算の効果を、模式的に示した図である。縦軸は輝度値を示し、横軸はサンプリングタイミングを示す。図15に示す様に、単純積算された輝度信号B2(tn)は、ゼロからの値を表すのに対して、減算された第2輝度信号S(tn)は、フロアノイズの平均値からの値を示す。
【0078】
立ち上り時点を求めるには、立ち上りを検出する閾値を設定する必要がある。ノイズによる誤検出を防ぐためには、その閾値を十分に高く設定しなければならず、センサのダイナミックレンジを大きく出来ない場合、閾値がダイナミックレンジを超えてしまい、立ち上り時点の検出は困難になる。一方、ピーク時点を検出する方法では、センサへの単位時間あたりの入力フォトン数が増加すると、時系列輝度信号が飽和する場合が多々発生し、計測精度が低下する。これに対して、第2輝度信号S(tn)は、不要なノイズ源である環境光の影響が除去されている。
【0079】
底部演算部230は、また、次(tn+1)に備えて、記憶部230cが、今の値S(n)を記憶しておく。ここで、記憶部230cはバッファとして機能し、今の第2輝度信号S(tn)の記憶と、1つ前の第2輝度信号S(tn-1)の出力を同時に行うことが可能である。
【0080】
続いて、検出部232の立上り検出部222は、記憶部230cから一つ前の第2輝度信号信号S(tn-1)を、また、減算器から第2輝度信号S(tn)の値を入力し、立ち上りにおいては、S(tn-1)<閾値<S(tn)を満たしているかを判別する。ここで、閾値は、立ち上り検出のために与えられている、パラメタであり、不図示の記憶装置(レジスタ等)に格納されている。上述のように、第2輝度信号S(tn)は、不要なノイズ源である環境光の影響が除去されているので、輝度信号B2(tn)のより正しい信号の値、すなわちフロアノイズを除去した信号を表している。このため、計測に第2輝度信号S(tn)を用いることにより、センサ18のダイナミックレンジを大きく出来ない場合でも、ノイズが閾値を超える確率をより抑制することが可能となる。
【0081】
検出部232の立下り検出部232aは、立ち上り処理を行った後に、S(tn)<閾値<S(tn-1) を満たしているかを判別することにより、立ち下りを検出する。この立ち下りにおける、判別処理は、2つの入力信号を反転するだけのハードウェアにより実現される。このため、立上り検出部222は、立下り検出部232aをハードウェアとして兼ねることが可能であり、ハードウェアの小型化が可能となる。
【0082】
検出部232の立上り検出部222と、補間処理部224は、第1実施形態と同様の処理を第2時系列輝度信号S(t)(t0≦t≦tk)に対して行い、立ち上りタイミングTrを演算することが可能である。この場合、ノイズが低減され、より正確に立ち上りタイミングを検出できる。
【0083】
立下がり検出部232aは、記憶部から一つ前の信号S(tn-1)を、また、減算器からS(tn)の値を入力し、S(tn)<閾値<S(tn-1) を満たしているかを判別することにより立ち下りを求める。そして、補間処理部224は、立ち上り検出と同様の補間処理を(2)式にしたがいS(t)(t0≦t≦tk)に対して行い、立ち下りタイミングTdを演算することが可能である。この場合も、フロアノイズが低減されているので、より正確に立ち下りタイミングTdを検出できる。
【数2】
【0084】
ピーク(突出部)の時刻は、時系列輝度信号B(t)を入力として、FIRフィルタにより、求めることが可能である。ここで、図16図17に基づき、FIRピーク検出(ピークパターンフィルタ)をかけた場合のピークパターン検出処理を説明する。図16は、ピークパターンフィルタをかけた場合の処理結果例を示す図である。横軸は時間であり、縦軸は輝度値に対応する。図17は、ピークパターンフィルタの例を示す図である。横軸はタップであり、縦軸は係数に対応する。図16に示すように、オリジナル時系列輝度信号B2(t)(t0≦t≦tk)をラインL15で示し、ピークパターンフィルタをかけた場合の処理後時系列輝度信号B5(t)(t0≦t≦tk)をラインL17で示す。FIRは、時系列輝度信号と、ピークパターンとの相関を表す値を、タップ数に相当する時間を費やして求め、出力する。従って、概ねピークパターンフィルタのタップ数に等しい遅延、正確には、タップ数と係数により決められる所定の遅延が生じる。このため、ピークタイミングTpを演算する際には、この遅延を考慮する。
【0085】
ピーク検出部232bは、ピークパターンフィルタ演算により生成されたピークパターンフィルタの処理後時系列輝度信号B5(t)(t0≦t≦tk)のピークタイミングTpを求める。ピーク検出部232bは、SAT処理部250を搭載している場合は、図13に示すSAT処理部250においても処理される。SAT処理部250は、時分割積算部と同じく、時分割積算の処置の一つであるが、より高機能なものである。SAT処理部250については後述するが、積算対象の隣接画素との間で、フロアレベルの類似性と、突出部の類似性に基づく判別処理を行い、類似と判別された隣接画素の、時系列輝度信号のみを時分割積算する。SAT処理部250は、極大値を求める処理により、ピーク(突出部)の時刻を求めることが出来る。
【0086】
図18は、検出部232による計測信号の立ち上り時間Tr1a、Tr2b、及び立ち下り時間Td1a、Td2bの一例を簡略化して示した図である。図18の横軸はサンプリングタイミングを示し、縦軸は輝度値を示す。ここでは、受光量の大きさが異なる2種類の信号を図示している。計測信号が閾値Sthに達する立ち上り時間Tr1a、Tr2bと、閾値Sthに達した後に計測信号が低下して閾値Sthに達する立ち下り時間Td1a、Td2bとをそれぞれ2種類の計測信号に対して示している。
【0087】
重み付け処理部236は、(3)式にしたがい、立ち上りタイミングTrに第1重み係数Wrで重み付けした第1時間、及び立ち下りタイミングTdに第2重み係数Wdで重み付けした第2時間に基づくタイミングと、を新たなピークタイミングTPとして演算する。重みWrとWdの値は、予め設定されたテーブルを参照する。すなわち、測定環境に応じて、重み付け処理部236は、重みWrとWdの値を変更可能である。
【数3】
【0088】
計測処理部226は、重み付け処理部236が演算したピークタイミングTPを用いて対象物10までの距離を演算する。すなわち、計測処理部226では、距離=光速×(ピークタイミングTP-光検出器17(図2参照)がレーザ光L1を検出したタイミング)/2なる式で距離が求められる。ここで、ピークタイミングTPは、レーザ光L1の発光開始時刻からの経過時間に対応する。時系列輝度信号B2の立ち上りのタイミングTr1a、Tr2b、及び立ち下りタイミングTd1a、Td2bは、図20の上側の線で示した様に、AD変換器21bの出力信号の信号が飽和する場合にも、安定しているので、立ち上りのタイミングTr1a、Tr2bに対して第1重み係数Wrで重み付けした第1時間、及び立ち下りタイミングTd1a、Td2bに第2重み係数Wdで重みづけして平均した値はほぼ同じ値であるTP1bとなる。これから分かるように、ピーク(例えば、図20のtp1aとtp1b)は、飽和すなわちパイルアップ(pile-up)が著しい場合にずれてしまう。これに対して、ピークタイミングTPを用いると、パイルアップ(pile-up)が著しい場合でもより安定して対象物10までの距離を演算できる。また、測定環境に応じて、重み付け処理部236は、重みWrとWdの値を変更させることにより、より測定環境に適した重みWrとWdによりピークタイミングTPを演算でき、測定距離の演算精度がより向上する。
【0089】
ここで、図19を用いて信頼度生成部238と距離決定部の処理例を説明する。図19は、底部演算部が生成した時系列輝度信号S(t、xp、yp)(t0≦t≦tk)を示す図である。縦軸は輝度信号の値を示し、横軸は、サンプリングタイミングを示す。ここで座標(xp、yp)は、レーザ光L2の照射位置に対応する座標(図8参照)である。検出部232による計測信号の立ち上り時間Tr、Tra、Trb、及び立ち下り時間Td、Tda、Tdbを示している。ピークタイミングTpa,Tpbは、それぞれ、信頼度生成部238による信頼度が1番目に高いピークと、信頼度が2番目に高いピークを示している。
【0090】
信頼度生成部238は、ピーク検出部232bが検出したピークタイミングに対応するピーク毎の信頼度を演算する。信頼度の演算には、例えば特許文献2に開示される信頼度を用いることが可能である。例えば、この信頼度は、座標(xp、yp)の周辺に照射されたレーザ光L2に対応する時系列輝度信号S(t、x、y)(t0≦t≦tk)(xp-A≦x≦xp+A、yp-A≦y≦yp+A)の平均化の後のピーク値の確からしさを表しており、確からしいもの程、信頼度が高くなる。例えば、図19に示すように、時系列輝度信号S(t、x、y)(t0≦t≦tk)(xp-A≦x≦xp+A、yp-A≦y≦yp+A)のそれぞれにおいて、Tpaで示したピークと、Tpbで示したピークの信頼度が、それぞれ1番目と、2番目とに高かい場合である。
【0091】
計測処理部226(図10参照)は、まず、信頼度に基づいて、数あるピークの中からTpaで示したピークと、Tpbで示したピークを選定する。続いて、補間処理部224(あるいは、その結果を保存している不図示の記憶装置)から、立ち上り時刻p個、および、立ち下り時刻p個を入力する。ここで、p個は補間処理部22の記憶している、立ち上り時刻と立ち下り時刻のデータの個数を表す。そして、Tra<Tpa<Tda 及びTrb<Tpb<Tdbの関係を満たす、Tra、Trb、Tda、及びTdbを選択する。そして、前述の様に、TraとTda、及びTrbとTdbを重み平均して得られる、TPaとTPbを距離値の候補として出力する。ここで、出力する距離データの個数は2個であるとしたが、この数は、幾つであっても構わない。
【0092】
検出部232は、信頼度を用いて情報を限定して外部に出力しても良い。例えば、検出部232は、信頼度が1番目に高いピークと、信頼度が2番目に高いピークに対応する、立ち上り時間Tra、Trb、立ち下り時間Tda、Tdb、及びピークタイミングTpa,Tpbの情報を外部に出力することが可能である。また、ピーク検出部232bは、後段の補間処理部224、重み付け処理部236に、立ち上り時間Tra、Trb、立ち下り時間Tda、Tdb、及びピークタイミングTpa,Tpbの情報のみを出力してもよい、これにより処理速度がより速くなる。また、検出部232は、信頼度生成部238が生成したピークの信頼度と、このピークに対応する立ち上り時間Tra、及び立ち下り時間Tdaとを関連付けて出力してもよい。同様に、検出部232は、信頼度生成部238が生成したピークの信頼度と、このピークに対応する立ち上り時間Trb、及び立ち下り時間Tdbとを関連付けて出力してもよい。
【0093】
前述の様に、検出部232は、ピークタイミングTpaに最も時間的に近い立ち上り時間Trを立ち上り時間Traとし、ピークタイミングTpaに最も時間的に近い立ち下り時間Tdを立ち下り時間Tdaとしている。同様に検出部232は、ピークタイミングTpbに最も時間的に近い立ち上り時間Trを立ち上り時間Trbとし、ピークタイミングTpbに最も時間的に近い立ち下り時間Tdを立ち下り時間Tdbとしている。これにより、立ち上り時間Tra、Trbと立ち下り時間Tda、Tdbとの選択精度がより向上する。このように、信頼度を用いることにより、測定精度がより向上すると共に、立ち上りと立ち下り時間を用いることにより、飽和すなわちpile-upの影響を除去することが出来るなお、本実施形態では、時系列信号からフロアノイズの平均値を減算し、それと閾値との大小関係により、立ち上り時刻を検出している。そうではなく、閾値にフロアノイズの平均値を加算し、時系列信号とこの加算値との大小関係により、立ち上り時刻を検出することでも良い。
【0094】
TDC処理部240は、例えば時間デジタル変換器(TDC:Time to Digital Converter)を有する。時間デジタル変換器は、レーザ光L1が出射されてから第2閾値Sth2を超える立ち上りタイミングTdcupを計測する。すなわち、TDC処理部250は、レーザ光の反射光を信号化した時系列輝度信号が第2閾値Sthに達する立上がりタイミングTdcupを取得する 計測処理部226は、TDC処理部250が生成した立上がりタイミングTdcupを用いて対象物10までの距離を演算する。すなわち、計測処理部226では、距離=光速×(立上がりタイミングTdcup-光検出器17(図2参照)がレーザ光L1を検出したタイミング)/2なる式で距離が求められる。
【0095】
TDC処理部240は、対象までの距離が長い場合は、測定精度が低下するが、対象までの距離が短い場合は、より精度の高い結果を返すことが出来る。つまり、短距離用の計測装置として、使用することが可能である。
【0096】
以上説明したように、本実施形態によれば、時分割積算部22により生成した、時系列輝度信号B2(t)(t0≦t≦tk)から、底部演算部230が、環境光ノイズであるフロアノイズを低減し、第2時系列輝度信号S(t0≦t≦tk)を生成することした。これにより、時分割積算部22によりダイナミックレンジを拡大した時系列輝度信号B2(t)(t0≦t≦tk)に対し、底部演算部230がダイナミックレンジを縮小する成分であるフロアノイズを低減した第2時系列輝度信号S(t0≦t≦tk)を生成することが可能となる。このため、環境光などにより時系列信号B(t)(t0≦t≦tk)が飽和する場合にも、第2時系列輝度信号S(t0≦t≦tk)を用いることにより、飽和の影響を抑制でき、より安定した距離計測が可能となる。
【0097】
更に、環境光などにより時系列信号B(t)(t0≦t≦tk)が飽和し、ピークの山頂部が潰れてしまった場合においても、ピークではなく、立ち上りや立ち下りを検出することにより、安定的に測距が可能である。この場合、第2時系列輝度信号S(t0≦t≦tk)を用いることにより、飽和の影響をより抑制した状態で立ち上りや立ち下りを検出することができ、立ち上りや立ち下りの検出精度がより向上する。これにより、SiPMの弱点である、パイルアップ(pile-up)の影響を抑制でき、SiPMにより適した測距方法を構築できる。このように、一般に、立ち上りと立ち下り時刻の検出では、環境光に基づくフロアノイズの影響を受ける。しかし、本実施形態では、第2時系列輝度信号S(t0≦t≦tk)を用いることにより、環境光に基づくフロアノイズを指し引いているため、環境光の影響を受け難く、安定した測距が可能である。また、ピークに基づいた信頼度も用いていることにより、より確からしく、より成功率の高い測距が可能となる。
【0098】
(第2実施形態の変形例)
第2実施形態の変形例に係る運転支援システム1では、立ち上り、および立ち下りを検出するための閾値を、フロアノイズに基づいて求め、フロアノイズの影響を更に軽減する。図13に示すフロアレベル算出部230aが、その平均値だけでなく、その最大値も更に検出できる点で第2実施形態に係る運転支援システム1と相違する。以下では、第2実施形態に係る運転支援システム1と相違する点を説明する。
【0099】
図20は、フロアノイズの最大値より、平均値を減算し閾値を求める例を説明する模式図である。図20の一点鎖線は、フロアノイズの平均値を表し、点線はフロアノイズの最大値を表す。この図20の一点鎖線と点線の距離が、閾値に相当する。より具体的には、検出部232は、例えば、1回の計測時間のうち、測距をしている期間を除く、あるいは、ブランキング期間についての、最大値を求める。それにより、レーザからの反射光である信号を除いて、環境光だけの最大値を検出できる。そして、検出部232は、その最大値より、平均値を減算した結果を閾値Sthnとする。図20が示す様に、フロアノイズは、点線を超えることはなく、ノイズを誤って計測してしまう恐れがない。更に、検出部232は、例えば(4)式を用いて、求められた立ち上りの時刻Trに対して、閾値Sthの大きさに比例した補正値Csth(kr×Sthn)を加えて立ち上り時刻の補正結果Ctrを算出する。
【数4】
【0100】
また、検出部232は、求められた立ち下りの時刻に対しても、同様に、閾値Sthnの大きさに比例した補正値Csth(kr×Sthn)を加えて、立ち下り時刻の補正結果Ctdを算出する。
【0101】
以上説明したように、第2実施形態の変形例に係る運転支援システム1では、検出部232は、閾値Sthnを環境光の大きさに従って動的に生成することとした。また、第2時系列輝度信号S(t0≦t≦tk)について、閾値Sthnが大きくなれば、(4)式に示すように立ち上り時刻を遅延させたく補正結果Ctrとして算出する。この補正により、この閾値Sthnの変化による、立ち上り時刻のばらつきが抑えられ、より精度が向上する。なお、この閾値Sthnは、フロアレベルの平均値を含んでいないため、補正値Sthnが過大になることはない。
【0102】
(第3実施形態)
第3実施形態に係る運転支援システム1は、第1および2実施形態における時分割積算部220を、SAT処理部250に置換えたものである。SAT処理部250は、隣接する照射方向に照射して得られた輝度信号の類似性に基づき、積算することによりノイズを低減する。以下では、第1実施形態に係る運転支援システム1と相違する点にいて説明する。
【0103】
第3実施形態に係る運転支援システム1では、第1照射方向及び第2照射方向にレーザ光を間欠的に複数回発光する光源を用いて、直近に光源から第1方向に照射されたレーザ光に対応する第1デジタル信号と、複数回分の複数の第2デジタル信号との類似性に基づいて、複数の第2デジタル信号の重み値を生成する。そして、直近に光源から第1方向に照射されたレーザ光に対応する第1デジタル信号に、重み値で複数の第2デジタル信号を重み付けした第3デジタル信号を時系列輝度信号B1(t)(t0≦t≦tk)として生成する。なお、本実施形態に係るSAT処理部250が平均化処理部に対応する。
【0104】
図21は、第3実施形態に係る距離計測装置5の構成を模式的に示す図である。SAT処理部250は、バッフア252と、積算ゲート254と、検出補間部256と、第1実施形態と同等の処理機能を有する時分割積算部220とを有する。SAT処理部250では、積算範囲に有る隣接画素の、フロアレベルと突出部(時系列輝度信号のピーク)の大きさを求め、その相関に基づき、隣接画素の時系列信号を積算するか否かを決める。
【0105】
時系列信号を積算するか判らないため、一旦それを記憶しておく必要があり、積算範囲の隣接画素の分だけ、その記憶場所である輝度のバッファ252を有している。前述の相関の大きさは、隣接画素の方向にある対象が、当該画素の対象と同じであるか否かを表している。同じ対象からの反射光は信号であり、違う対象からの反射光はノイズである。相関の小さい隣接画素の時系列信号を積算しないことは、ノイズの可能性の高いものを排除することであり、SN比の改善につながる。
【0106】
図21に示すように、まず、AD変換して生成した時系列信号は、前述の通り、輝度のバッファ252に保存される。1回の計測終了後、検出補間部256が、輝度のバッファ252から入力を行い、そのフロアレベルの平均値と、ピークの値複数個を、積算範囲の画素全てについて求める。その後、底部の値の類似性を求める底部類似部258が、隣接画素とのフロアレベル値の類似性の高さを判別する。また、突出部の類似性を求める突出類似部260が、隣接画素とのピークの値の類似性の高さを判別する。そして、積載ゲート254が、類似性の高いと判断された隣接画素の、時系列信号を、選択的に時分割積算部220に送り、時分割積算部220が時分割積算する。そして、検出補間部256は、時分割積算の結果に対して、もう一度フロアレベルを検出して、その結果を時分割積算から減算しつつ、一つ前の結果と閾値の大小関係に基づいて、立ち上りと立ち下りを検出し、補間を行う。ここで、検出補間部256の処理は、第2実施形態の底部演算部230、検出部232、及び補間処理部224と同等の処理である。
【0107】
本実施形態では、SAT処理部250の適用により、突出部の類似性を求める突出類似部260が、隣接画素とのピークの値の類似性の高さを判別し、ノイズの可能性の高い画素の信号を積算しておらず、時系列輝度信号B1(t)(t0≦t≦tk)のSN比がより高くなる。従って、その時系列輝度信号B1(t)(t0≦t≦tk)を測定に用いることにより、よりノイズが少なく、より精度の高い距離測定を行うことが可能となる。また、環境光が強い場合、SAT処理部250における底部類似部258が、隣接画素とのフロアレベル値の類似性の高さを判別し、フロアノイズの可能性の高い画素の信号を積算しておらず、環境光に基づく時系列信号(フロアノイズ)を排除しているため、信号値の飽和、すなわちパイルアップ(pile-up)を抑制でき、よりロバストに測距することが可能となる。さらにまた、通常、平均化を行うことにより、空間解像度が低下するが、SAT処理部250を使う場合、積載ゲート254が、類似性の高いと判断された隣接画素の時系列信号を、選択的に時分割積算部220に送り、時分割積算部220が時分割積算するので、解像度の低下が抑制される。従って、解像度を維持したまま、測距成功率や距離精度の様な測距性能を改善することができる。
【0108】
(第4実施形態)
第4実施形態に係る運転支援システム1は、出射部100が、出射の度に、そのタイミングを変えることが可能である。以下では、第2実施形態に係る運転支援システム1と相違する点について説明する。
【0109】
より具体的には、出射部100(図2参照)は、例えば、偶数回(2n、nは整数)の出射と奇数回の出射(2n+1)について、前者の出射タイミングを、AD変換器21b(図2参照)のサンプリング時間の半分だけ早める。そして、信号処理部22は、偶数回(2n)と奇数回(2n+1)の時系列信号を、交互に並べる様に、重ね合わせる。
【0110】
図22は、偶数回(2n、nは整数)の出射と奇数回の出射(2n+1)タイミングと、その時系列輝度信号時の重ね合わせについて、模式的に示す図である。左図は、出射部100の出射タイミングn~n+3を示している。右図は、出射タイミングn~n+3に対オする時系列輝度信号示している。縦軸は輝度値であり、横軸はサンプリングタイミングである。図22では、説明を簡単にするために、ノイズは省略されている。
【0111】
上述のように、偶数回(2n)の出射部100の出射タイミングは、サンプリング時間の半分だけ、出射部100の出射タイミングを奇数回の出射(2n+1)の出射部100の出射タイミングよりも早くしている。このため、AD変換器21bでサンプリングして生成される時系列信号は、偶数回(2n)の時系列信号と奇数回(2n+1)の時系列信号とで、サンプリング時間の半分だけずれている。
【0112】
このため、ずれを無くして、出射部100の出射タイミングに合わせて偶数回(2n)の時系列信号と奇数回(2n+1)の時系列信号とを加算すると、データ数は2倍となり、サンプリング間隔はAD変換器21bのサンプリング間隔の半分と同等になる。この重ね合せした結果は、機能的には、サンプリング時間Δtの半分である(Δt/2)のAD変換器21bのサンプリングと一致する。そして、データ数の2倍となった、時系列輝度信号B(m、t))(t0≦t≦tk×2)に対して、第2実施形態と同様に、平均化処理を行い、立ち上り時刻と立ち下り時刻を求めて、対象までの距離を求める。
【0113】
一般に、AD変換器21bの時間分解能は、TDCの時間分解能に劣る。補間処理224により、立ち上り時刻などの桁は大きくなり、精度は改善するが、色々な要因により、精度の改善には限界があり、TDCによる時間分解能の精度よりは劣ってしう。このように、AD変換器21bの時間分解能を、その消費電力やサイズを増やすことなく向上させることは、容易でない。しかし、本実施形態の方法ならば、AD変換器21bの時間分解能を向上させることなく、見かけ上、サンプリング時間が半分の結果を得ることが出来、距離精度を改善することが出来る。
【0114】
このように、本実施形態によれば、出射部100が出射のタイミングを変えることにより、AD変換器21bの時間分解能を見かけ上の倍とすることが可能である。これにより、データ数の2倍となった、時系列輝度信号B(m、t))(t0≦t≦tk×2)を用いることが可能となり、距離測定の精度をより高くすることができる。
【0115】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形例は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0116】
1:距離計測装置、10:計測対象物、22:信号処理部、220:時分割積算部、228:第1FIR処理部、230:底部演算部、232:検出部、224:補間処理部、236:重み付け処理部、250:SAT処理部。
図1
図2
図3
図4
図5
図6
図7A
図7B
図8
図9
図10
図11
図12A
図12B
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22