IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

特許7621980受光装置及び受光装置の信号処理方法、並びに、測距装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-17
(45)【発行日】2025-01-27
(54)【発明の名称】受光装置及び受光装置の信号処理方法、並びに、測距装置
(51)【国際特許分類】
   G01S 7/4861 20200101AFI20250120BHJP
   G01S 17/10 20200101ALI20250120BHJP
【FI】
G01S7/4861
G01S17/10
【請求項の数】 19
(21)【出願番号】P 2021570696
(86)(22)【出願日】2020-12-17
(86)【国際出願番号】 JP2020047303
(87)【国際公開番号】W WO2021145134
(87)【国際公開日】2021-07-22
【審査請求日】2023-11-15
(31)【優先権主張番号】P 2020005722
(32)【優先日】2020-01-17
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】坂口 浩章
【審査官】東 治企
(56)【参考文献】
【文献】特開2018-169384(JP,A)
【文献】特開2016-161438(JP,A)
【文献】米国特許出願公開第2018/0164415(US,A1)
【文献】米国特許出願公開第2019/0257950(US,A1)
【文献】特開2001-289951(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48-7/51
G01S 17/00-17/95
G01C 3/00-3/32
(57)【特許請求の範囲】
【請求項1】
光源部からの照射パルス光に基づく、測距対象物からの反射光を含む光を受光するフォトンカウント型の受光素子が複数配置されて成る受光部と、
所定の時刻の複数の受光素子の値を加算して画素値とする加算部と、
加算部で加算された画素値を対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする対数変換処理部と、
光源部から照射パルス光を発光してから、反射光が戻ってくるまでの飛行時間をヒストグラムのビンとして対応させて、各時間にサンプリングされた画素値から算出される対数表現データを、その時間に対応するビンのカウント値として格納するヒストグラム加算処理部と
を備えた受光装置。
【請求項2】
対数変換処理部は、画素値から所定の値を減算した値を、対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする、
請求項1に記載の受光装置。
【請求項3】
対数変換処理部は、前記所定の値が画素値よりも大きいときは、減算した値を0として変換処理を行う、
請求項2に記載の受光装置。
【請求項4】
受光した光は外乱光を含み、
前記所定の値を、受光した光の算術平均値に所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値とするとき、
画素値に基づいて、対数表現で外乱光の算術平均値を算出して外乱光強度を推定する外乱光推定処理部を有し、
対数変換処理部は、外乱光推定処理部で推定された外乱光強度を画素値から減算する、
請求項3に記載の受光装置。
【請求項5】
対数変換処理部は、画素値を対数値又はその近似値に変換したデータから、所定の値を対数値又はその近似値に変換したデータを減算して、測距の演算に用いる対数表現データとする、
請求項1に記載の受光装置。
【請求項6】
受光した光は外乱光を含み、
前記所定の値を、受光した光の幾何平均値に所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値とするとき、
画素値に基づいて、対数表現で外乱光の幾何平均値を算出して外乱光強度を推定する外乱光推定処理部を有し、
外乱光推定処理部は、外乱光推定処理部で推定された外乱光強度を対数値又はその近似値に変換する、
請求項5に記載の受光装置。
【請求項7】
ヒストグラム加算処理部は、光源部からの複数回の照射パルス光発光に基づく、測距対象物からの反射光の各時間の対数表現データを、その時間に対応するビンのカウント値に加算してヒストグラムを更新する、
請求項1に記載の受光装置。
【請求項8】
ヒストグラム加算処理部は、光源部からの複数回の照射パルス光発光に基づく反射光を受光して得られる画素値から算出したカウント値を累積したヒストグラムを生成する、
請求項7に記載の受光装置。
【請求項9】
受光した光は外乱光を含み、
ヒストグラム加算処理部は、所定の測定期間の複数の時間においてサンプリングされた画素値を使って算出された値を前記所定の値として画素値から減算し、この減算で算出した対数表現データを、ヒストグラムのビンのカウント値として加算する、
請求項7に記載の受光装置。
【請求項10】
対数表現のままヒストグラムのカウント値を大小比較して各反射光のピークを検出し、ピークの立ち上がり始めをビンに対応する時間から距離を算出する反射光検出部を有する、
請求項1に記載の受光装置。
【請求項11】
受光した光は外乱光を含み、
外乱光推定処理部は、
所定の測定期間の複数の時間においてサンプリングされた画素値を対数値又はその近似値に変換した対数表現データLogDを、第1の所定の近似式を使って、対数表現のまま画素値を合計した総和値の対数値の近似値Sを算出し、
近似値Sからサンプリング数Nの対数値又はその近似値を減算した値から算術平均の近似値μを算出し、
対数表現データLogDを2倍した値を、第2の所定の近似式を使って、対数表現のまま画素値を二乗して合計した総和値の対数値の近似値SSを算出し、
近似値SSからサンプリング数Nの対数値又はその近似値を減算した値MMを算出し、
算術平均の近似値μ及び値MMを使って外乱光の分散の近似値Vを算出し、
算術平均の近似値μに所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値と、分散の近似値Vから算出した外乱光の標準偏差の近似値とを出力する、
請求項1に記載の受光装置。
【請求項12】
受光した光は外乱光を含み、
外乱光推定処理部は、所定の測定期間の複数の時間においてサンプリングされた画素値を合計した総和値を対数値又はその近似値に変換し、その変換した対数表現データを画素値とした画像を出力する、
請求項1に記載の受光装置。
【請求項13】
受光した光は外乱光を含み、
外乱光推定処理部は、所定の測定期間の複数の時間においてサンプリングされた画素値を対数値又はその近似値に変換した対数表現データを、所定の近似式を使って、対数表現のまま画素値を合計した総和値の対数値の近似値を算出し、この近似値を画素値とした画像を出力する、
請求項1に記載の受光装置。
【請求項14】
対数表現の累算ヒストグラムを更に対数変換して圧縮する対数変換部を有する、
請求項1に記載の受光装置。
【請求項15】
対数表現の累算ヒストグラムを、累算ヒストグラムの最小値で減算後に更に対数変換して圧縮する対数変換部を有する、
請求項1に記載の受光装置。
【請求項16】
ヒストグラム加算処理部は、対数表現データを格納するメモリの前後に、差分符号化によるデータ圧縮伸長機能を有する、
請求項1に記載の受光装置。
【請求項17】
受光素子は、ガイガーモードで動作するアバランシェフォトダイオードから成る、
請求項1に記載の受光装置。
【請求項18】
物体からの光を受光するフォトンカウント型の受光素子が複数配置されて成る受光部、
を備え、
光源部からの照射パルス光に基づく、測距対象物からの反射光を受光する、
受光装置の信号処理に当たって、
所定の時刻の複数の受光素子の値を加算して画素値とし、
次いで、画素値を対数値又はその近似値に変換して、測距の演算に用いる対数表現データとし、
光源部から照射パルス光を発光してから、反射光が戻ってくるまでの飛行時間をヒストグラムのビンとして対応させて、各時間にサンプリングされた画素値から算出される対数表現データを、その時間に対応するビンのカウント値として格納する
受光装置の信号処理方法。
【請求項19】
測距対象物に対してパルス光を照射する光源部、及び、
光源部からの照射パルス光に基づく、測距対象物からの反射光を受光する受光装置、
を具備し、
受光装置は、
物体からの光を受光するフォトンカウント型の受光素子が複数配置されて成る受光部
所定の時刻の複数の受光素子の値を加算して画素値とする加算部と、
加算部で加算された画素値を対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする対数変換処理部と、
光源部から照射パルス光を発光してから、反射光が戻ってくるまでの飛行時間をヒストグラムのビンとして対応させて、各時間にサンプリングされた画素値から算出される対数表現データを、その時間に対応するビンのカウント値として格納するヒストグラム加算処理部と
を備え測距装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、受光装置及び受光装置の信号処理方法、並びに、測距装置に関する。
【背景技術】
【0002】
フォトンの受光に応じて信号を発生する素子を受光素子として用いた受光装置がある。この種の受光装置では、測距対象物までの距離を測定する測定法として、光源部から測距対象物に向けて照射したパルス光が、当該測距対象物で反射されて戻ってくるまでの時間を測定するToF(Time of Flight:飛行時間)法が採用されている。
【0003】
フォトンの受光に応じて信号を発生する素子として、例えば、SPAD(Single Photon Avalanche Diode)素子を平面的に複数配置して成る光検出器がある(例えば、特許文献1参照)。この種の測距装置では、複数のSPAD素子の値を加算して画素値とするが、光源部からのレーザ発光後に画素値をサンプリングして反射光を捉えるために、サンプリング時刻に対応したビン(BIN)を持つヒストグラムに画素値を加算していく。
【0004】
測距対象物からの反射光は拡散し、その強度は距離の二乗に反比例する。そのため、複数回のレーザ発光に基づく反射光のヒストグラムを累積(累算)することで、S/Nを改善し、より遠くの測距対象物からの弱い反射光を弁別可能にしている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2018-169384号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したように、複数回照射するパルスレーザ発光に基づく反射光のヒストグラムを累積する場合、相対的に近くの測距対象物からの強い反射光の画素値は大きく、累積する度にヒストグラムの近い距離に対応するビンのダイナミックレンジが大きくなる。一方、相対的に遠くの測距対象物からの反射光は距離の二乗に反比例して弱く、ヒストグラムの遠くの距離に対応するビンのダイナミックレンジは小さい。そのため、全ビンを固定長ビット数表現のヒストグラムとして格納する場合において、複数回のパルスレーザ発光に基づく反射光のヒストグラムを格納するメモリの容量が大きくなる。
【0007】
本開示は、累積する際のヒストグラムのダイナミックレンジの向上、又は、メモリ容量の削減を図ることができる受光装置及びその信号処理方法、並びに、当該受光装置を有する測距装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記の目的を達成するための本開示の受光装置は、
物体からの光を受光するフォトンカウント型の受光素子が複数配置されて成る受光部、
所定の時刻の複数の受光素子の値を加算して画素値とする加算部、及び、
加算部で加算された画素値を対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする対数変換処理部、
を備え、
光源部からの照射パルス光に基づく、測距対象物からの反射光を受光する。
【0009】
また、上記の目的を達成するための本開示の受光装置の信号処理方法は、
物体からの光を受光するフォトンカウント型の受光素子が複数配置されて成る受光部、
を備え、
光源部からの照射パルス光に基づく、測距対象物からの反射光を受光する、
受光装置の信号処理に当たって、
所定の時刻の複数の受光素子の値を加算して画素値とし、
次いで、画素値を対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする。
【0010】
また、上記の目的を達成するための本開示の測距装置は、
測距対象物に対してパルス光を照射する光源部、及び、
光源部からの照射パルス光に基づく、測距対象物からの反射光を受光する受光装置、
を具備し、
受光装置は、
物体からの光を受光するフォトンカウント型の受光素子が複数配置されて成る受光部、
所定の時刻の複数の受光素子の値を加算して画素値とする加算部、及び、
加算部で加算された画素値を対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする対数変換処理部、
を備える。
【図面の簡単な説明】
【0011】
図1図1は、本開示の前提となる受光装置及び測距装置の構成の一例を示すブロック図である。
図2図2は、受光装置における加算部の処理について説明する図である。
図3図3A図3B、及び、図3Cは、レーザ発光1回目の反射光ヒストグラムについて説明する図である。
図4図4A図4B、及び、図4Cは、レーザ発光2回目の反射光ヒストグラムについて説明する図である。
図5図5A図5B、及び、図5Cは、レーザ発光3回目の反射光ヒストグラムについて説明する図である。
図6図6は、線形表現での累算ヒストグラムを示す図(その1)であり、1回加算の場合の累算ヒストグラムを図6Aに示し、4回加算の場合の累算ヒストグラムを図6Bに示している。
図7図7は、線形表現での累算ヒストグラムを示す図(その2)であり、16回加算の場合の累算ヒストグラムを図7Aに示し、16回加算の場合の平滑化ヒストグラムを図7Bに示している。
図8図8A及び図8Bは、正規分布乱数及び固定値について説明する図である。
図9図9Aは、従来技術の場合のヒストグラムの累積の対数、及び、ヒストグラムの累積の対数を表す波形図であり、図9Bは、従来技術の場合の外乱光算術平均値を減算した値のヒストグラムの累積の対数、及び、外乱光算術平均値を減算した値のヒストグラムの累積の対数表現を表す波形図である。
図10図10は、本開示に係る技術の場合のヒストグラムの累積の対数、及び、対数表現の画素値のヒストグラムの累積を表す波形図である。
図11図11は、本開示に係る技術の場合の外乱光算術平均値を減算した値のヒストグラムの累積の対数、及び、外乱光算術平均値を減算した値の対数表現の画素値のヒストグラムの累積を表す波形図である。
図12図12は、本開示の第1実施形態の実施例1に係る受光装置及び測距装置の構成例を示すブロック図である。
図13図13は、実施例1に係る受光装置における信号処理方法の流れを示すフローチャートである。
図14図14は、実施例1に係る受光装置における受光部の概略構成例を示すブロック図である。
図15図15は、受光部のSPADアレイ部の概略構成例を示す模式図である。
図16図16は、受光部の画素の回路構成例を示す回路図である。
図17図17は、実施例1に係る受光装置における加算部の構成例を示すブロック図である。
図18図18は、実施例1に係る受光装置における対数変換処理部の構成例を示すブロック図である。
図19図19は、実施例1に係る受光装置における対数表現での外乱光推定処理部の構成例を示すブロック図である。
図20図20は、外乱光推定処理部における計算処理について説明する図である。
図21図21は、実施例1に係る受光装置における対数表現でのヒストグラム加算処理部の構成例を示すブロック図である。
図22図22は、対数変換及び逆変換について説明する図である。
図23図23は、ハードウェア言語VerilogHDLで記述した対数変換及び逆変換回路のソースコードを示す図である。
図24図24は、実施例1に係る受光装置における各部の波形図(その1)であり、図24Aに加算器の出力波形を示し、図24Bに対数変換部の出力波形を示している。
図25図25は、実施例1に係る受光装置における各部の波形図(その2)であり、図25Aにヒストグラム加算処理部の出力波形を示し、図25Bに平滑化フィルタの出力波形を示している。
図26図26は、実施例1に係る受光装置における各部の波形図(その3)であり、対数変換部の出力波形を示している。
図27図27は、画素値から外乱光算術平均値を引かない場合の対数表現での累算ヒストグラムを示す図(その1)であり、1回加算の場合の累算ヒストグラムを図27Aに示し、4回加算の場合の累算ヒストグラムを図27Bに示している。
図28図28は、画素値から外乱光算術平均値を引かない場合の対数表現での累算ヒストグラムを示す図(その2)であり、16回加算の場合の累算ヒストグラムを図28Aに示し、16回加算の場合の平滑化ヒストグラムを図28Bに示している。
図29図29は、画素値から外乱光算術平均値を引いた場合の対数表現での累算ヒストグラムを示す図(その1)であり、1回加算の場合の累算ヒストグラムを図29Aに示し、4回加算の場合の累算ヒストグラムを図29Bに示している。
図30図30は、画素値から外乱光算術平均値を引いた場合の対数表現での累算ヒストグラムを示す図(その2)であり、16回加算の場合の累算ヒストグラムを図30Aに示し、16回加算の場合の平滑化ヒストグラムを図30Bに示している。
図31図31は、本開示の第1実施形態の実施例2に係る受光装置及び測距装置の構成例を示すブロック図である。
図32図32Aは、実施例2に係る受光装置における対数変換処理部の構成例を示すブロック図であり、図32Bは、実施例2に係る受光装置における幾何平均による外乱光推定処理部の構成例を示すブロック図である。
図33図33は、実施例2に係る受光装置における対数表現でのヒストグラム加算処理部の構成例を示すブロック図である。
図34図34は、本開示の第1実施形態の実施例3に係る受光装置及び測距装置の構成例を示すブロック図である。
図35図35は、実施例3に係る外乱光推定処理部における外乱光強度推定値及び分散を対数表現で算出する回路部分の第1回路例を示すブロック図である。
図36図36は、実施例3に係る外乱光推定処理部における外乱光強度推定値及び分散を対数表現で算出する回路部分の第2回路例を示すブロック図である。
図37図37は、実施例4に係る対数変換部の回路例を示すブロック図であり、第1具体例に係る回路構成を図37Aに示し、第2具体例に係る回路構成を図37Bに示している。
図38図38は、対数表現の画素値のヒストグラムの累積値から最小値を引いた値の対数を示す図(その1)であり、1回加算の場合の対数を図38Aに示し、4回加算の場合の対数を図38Bに示している。
図39図39は、対数表現の画素値のヒストグラムの累積値から最小値を引いた値の対数を示す図(その2)であり、16回加算の場合の対数を図39Aに示し、32回加算の場合の対数を図39Bに示している。
図40図40は、外乱光算術平均値を引いた値の対数表現の画素値のヒストグラムの累積値から最小値を引いた値の対数を示す図(その1)であり、1回加算の場合の対数を図40Aに示し、4回加算の場合の対数を図40Bに示している。
図41図41は、外乱光算術平均値を引いた値の対数表現の画素値のヒストグラムの累積値から最小値を引いた値の対数を示す図(その2)であり、16回加算の場合の対数を図41Aに示し、32回加算の場合の対数を図41Bに示している。
図42図42は、実施例5に係る対数表現でのヒストグラム加算処理部の構成例を示すブロック図である。
図43図43は、対数表現の累算ヒストグラムの差分符号化の流れを示す図である。
図44図44Aは、2048個のビンのヒストグラムを圧縮せずにSRAMに格納する場合のデータサイズを示す図であり、図44Bは、差分符号化した場合のデータサイズを示す図である。
図45図45は、符号化回路の構成例を示すブロック図である。
図46図46は、復号回路の構成例を示すブロック図である。
図47図47は、外乱光幾何平均値の減算なしで、16回加算の場合の対数表現での累算ヒストグラムを示す図である。
図48図48は、外乱光幾何平均値の減算ありで、16回加算の場合の対数表現での累算ヒストグラムを示す図である。
図49図49Aは、同期加算でノイズ平均化する場合の幾何平均と算術平均の違いを表す図であり、図49Bは、データ値のヒストグラムを表す図である。
図50図50Aは、時間方向の平均の場合の幾何平均と算術平均の違いを表す図であり、図50Bは、データ値のヒストグラムを表す図である。
図51図51は、本開示の第2実施形態に係る測距装置の概略構成例を示す模式図である。
図52図52は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成の一例を示すブロック図である。
図53図53は、撮像部及び車外情報検出部の設置位置の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本開示に係る技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示に係る技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の受光装置及びその信号処理方法、並びに、測距装置、全般に関する説明
2.本開示の前提となる受光装置及び測距装置
2-1.システムの構成例
2-2.ToFセンサによる測距の原理
2-3.光源部の構成例
2-4.受光装置の構成例
2-5.従来技術の課題
3.本開示の第1実施形態(フラッシュ型と称される測距装置の例)
3-1.実施例1(画素値から所定の値を減算し後に対数表現データとする例)
3-1-1.システムの構成例
3-1-2.受光部の概略構成例
3-1-2-1.SPADアレイ部の概略構成例
3-1-2-2.SPAD画素の回路構成例
3-1-2-3.SPAD画素の概略動作例
3-1-3.加算部の構成例
3-1-4.対数変換処理部の構成例
3-1-5.対数表現での外乱光推定処理部の構成例
3-1-6.対数表現でのヒストグラム加算処理部の構成例
3-2.実施例2(画素値を対数値又はその近似値に変換した後、対数表現で所定の値を減算して対数表現データとする例)
3-2-1.システムの構成例
3-2-2.対数変換処理部の構成例
3-2-3.対数表現での外乱光推定処理部の構成例
3-2-4.対数表現でのヒストグラム加算処理部の構成例
3-3.実施例3(外乱光推定処理の算術平均及び分散の算出を対数表現で行う例)
3-3-1.システムの構成例
3-3-2.外乱光の算術平均値及び分散を対数表現で計算する方法の例
3-3-3.外乱光の算術平均値及び分散を対数表現で算出する回路例
3-4.実施例4(実施例1/2に係る受光装置における対数変換部の具体例)
3-4-1.第1回路例
3-4-2.第2回路例
3-5.実施例5(対数表現の累算ヒストグラムのデータ圧縮によってメモリ容量を削減する例)
3-5-1.システムの構成例
3-5-2.符号化回路の構成例
3-5-3.復号回路の構成例
3-6.第1実施形態の作用・効果
4.本開示の第2実施形態(スキャン型と称される測距装置の例)
4-1.測距装置のシステム構成例
4-2.第2実施形態の作用・効果
5.本開示に係る技術の適用例
5-1.移動体の例
6.本開示がとることができる構成
【0013】
<本開示の受光装置及びその信号処理方法、並びに、測距装置、全般に関する説明>
本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、対数変換処理部について、画素値から所定の値を減算した値を、対数値又はその近似値に変換して、測距の演算に用いる対数表現データとし、所定の値が画素値よりも大きいときは、減算した値を0として変換処理を行う構成とすることができる。
【0014】
上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、所定の値を外乱光の算術平均値に所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値とするとき、画素値に基づいて、対数表現で外乱光の算術平均値を算出して外乱光強度を推定する外乱光推定処理部を有する構成とすることができる。そして、対数変換処理部について、外乱光推定処理部で推定された外乱光強度を画素値から減算して、測距の演算に用いる対数表現データとする構成とすることができる。
【0015】
あるいは又、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、対数変換処理部について、画素値を対数値又はその近似値に変換したデータから、所定の値を対数値又はその近似値に変換したデータを減算して、測距の演算に用いる対数表現データとする構成とすることができる。
【0016】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、所定の値を外乱光の幾何平均値に所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値とするとき、画素値に基づいて、対数表現で外乱光の幾何平均値を算出して外乱光強度を推定する外乱光推定処理部を有する構成とすることができる。そして、対数変換処理部について、外乱光推定処理部で推定された外乱光強度を対数値又はその近似値に変換する構成とすることができる。
【0017】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、光源部から照射パルス光を発光してから、反射光が戻ってくるまでの飛行時間をヒストグラムのビンとして対応させて、各時間にサンプリングされた画素値から算出される対数表現データを、その時間に対応するビンのカウント値として格納するヒストグラム加算処理部を有する構成とすることができる。
【0018】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、ヒストグラム加算処理部について、光源部からの複数回の照射発光に基づく、測距対象物からの反射光の各時間の対数表現データを、その時間に対応するビンのカウント値に加算してヒストグラムを更新する構成とすることができる。
【0019】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、ヒストグラム加算処理部について、光源部からの複数回の照射パルス光発光に基づく反射光を受光して得られる画素値から算出したカウント値を累積したヒストグラムを生成する、又は、所定の測定期間の複数の時間においてサンプリングされた画素値を使って算出された値を所定の値として画素値から減算し、この減算で算出した対数表現データを、ヒストグラムのビンのカウント値として加算する構成とすることができる。
【0020】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、対数表現のままヒストグラムのカウント値を大小比較して各反射光のピークを検出し、ピークの立ち上がり始めをビンに対応する時間から距離を算出する反射光検出部を有する構成とすることができる。
【0021】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、外乱光推定処理部について、次の構成とすることができる。すなわち、所定の測定期間の複数の時間においてサンプリングされた画素値を対数値又はその近似値に変換した対数表現データLogDを、所定の近似式を使って、対数表現のまま画素値を合計した総和値の対数値の近似値Sを算出する。次に、近似値Sからサンプリング数Nの対数値又はその近似値を減算した値から算術平均の近似値μを算出する。次に、対数表現データLogDを2倍した値を、所定の近似式を使って、対数表現のまま画素値を二乗して合計した総和値の対数値の近似値SSを算出する。次に、近似値SSからサンプリング数Nの対数値又はその近似値を減算した値MMを算出する。次に、算術平均の近似値μ及び値MMを使って外乱光の分散の近似値Vを算出する。そして、算術平均の近似値Mに所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値と、分散の近似値Vから算出した外乱光の標準偏差の近似値とを出力する。
【0022】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、外乱光推定処理部について、所定の測定期間の複数の時間においてサンプリングされた画素値を合計した総和値を対数値又はその近似値に変換し、その変換した対数表現データを画素値とした画像を出力する構成とすることができる。
【0023】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、外乱光推定処理部について、所定の測定期間の複数の時間においてサンプリングされた画素値を対数値又はその近似値に変換した対数表現データを、所定の近似式を使って、対数表現のまま画素値を合計した総和値の対数値の近似値を算出し、この近似値を画素値とした画像を出力する構成とすることができる。
【0024】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、対数表現の累算ヒストグラムを更に対数変換して圧縮する対数変換部を有する構成、あるいは又、対数表現の累算ヒストグラムを、累算ヒストグラムの最小値で減算後に更に対数変換して圧縮する対数変換部を有する構成とすることができる。
【0025】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、ヒストグラム加算処理部について、対数表現データを格納するメモリの前後に、差分符号化によるデータ圧縮伸長機能を有する構成とすることができる。
【0026】
また、上述した好ましい構成を含む本開示の受光装置及びその信号処理方法、並びに、測距装置にあっては、受光素子について、ガイガーモードで動作するアバランシェフォトダイオードから成る構成とすることができる。
【0027】
<本開示の前提となる受光装置及び測距装置>
図1は、本開示の前提となる受光装置及び測距装置の構成の一例を示すブロック図である。ここで、本開示の前提となる受光装置及び測距装置とは、後述する本開示に係る技術が適用される前の受光装置及び測距装置を言う。以下では、本開示の前提となる受光装置及び測距装置について、従来技術に係る受光装置及び測距装置として説明する。
【0028】
[システム構成例]
従来技術に係る測距装置1は、測距対象物(被写体)10に対して光を照射する光源部20、光源部20からの照射パルス光に基づく、測距対象物10からの反射光を受光する受光装置30、及び、ホスト40を備える構成となっている。
【0029】
光源部20は、例えば、赤外の波長領域にピーク波長を有するパルスレーザ光を発光するレーザ光源から成る。
【0030】
受光装置30は、測距対象物10までの距離dを測定する測定法として、ToF法を採用しており、光源部20から出射されたパルスレーザ光が、測距対象物10で反射されて戻ってくるまでの飛行時間を計測し、この飛行時間から距離dを求めるToFセンサである。
【0031】
[ToFセンサによる測距の原理]
光源部20から測距対象物10に向けてパルスレーザ光を発光し、測距対象物10で反射したレーザ光が受光装置30に戻ってくるまでの往復時間をt[秒]とすると、光速CがC≒300,000,000メートル/秒であるため、測距対象物10と測距装置1との間の距離dは、次式のように推定できる。
d=C×(t/2)
例えば、1ギガヘルツ(GHz)で反射光をサンプリングすると、ヒストグラムの1ビン(BIN)は、1ナノ秒の期間に光を検出した画素当たりのSPAD素子の数となる。そして、1ビン当たり15センチメートルの測距分解能となる。
【0032】
ホスト40は、例えば、本測距装置1が自動車等に実装されて用いられる場合には、自動車等に搭載されているECU(Engine Control Unit)などであってよい。また、本測距装置1が家庭内ペットロボットなどの自律移動ロボットやロボット掃除機や無人航空機や追従運搬ロボットなどの自律移動体に搭載されて用いられる場合には、ホスト40は、その自律移動体を制御する制御装置などであってよい。
【0033】
[光源部の構成例]
光源部20は、例えば、1つ又は複数の半導体レーザダイオードで構成されており、所定時間幅のパルス状のレーザ光L1を所定の発光周期で出射する。光源部20は、少なくとも、受光装置30の受光面の画角以上の角度範囲に向けてパルス状のレーザ光L1を出射する。また、光源部20は、例えば、1ギガヘルツ(GHz)の周期で、1ナノ秒の時間幅のレーザ光L1を出射する。光源部20から出射されたレーザ光L1は、例えば、測距範囲内に測距対象物10が存在する場合には、この測距対象物10で反射して、反射光L2として、受光装置30の受光面に入射する。
【0034】
[受光装置の構成例]
ToFセンサとしての受光装置30は、制御部31、受光部32、加算部33、ヒストグラム加算処理部34、外乱光推定処理部35、平滑化フィルタ36、反射光検出部37、及び、外部出力インタフェース(I/F)38を備えている。
【0035】
制御部31は、例えば、CPU(Central Processing Unit)などの情報処理装置で構成され、受光装置30内の各機能部を制御する。
【0036】
受光部32は、その詳細については後述するが、例えば、物体からの光を受光するフォトンカウント型の受光素子、例えば、ガイガーモードで動作するアバランシェフォトダイオードの一例であるSPAD(Single Photon Avalanche Diode:単一光子アバランシェダイオード)素子を受光素子として含む画素(以下、「SPAD画素」と記述する)が行列状(格子状)に2次元配置されて成るSPADアレイ部を有する。SPADアレイ部の複数のSPAD画素は、それぞれが1つ以上のSPAD画素より成る複数の画素にグループ化される。
【0037】
グループ化された1つの画素は、測距画像における1つの画素に対応する。従って、1つの画素を構成するSPAD画素の数(SPAD素子の数)、及び、その領域の形状を決めると、受光装置30全体の画素数が決定され、それにより、測距画像の解像度が決定されることとなる。
【0038】
受光部32は、光源部20からパルスレーザ光が出射された後、フォトンの入射を検出したSPAD素子の数(以下、「検出数」と記述する)に関する情報(例えば、後述における検出信号の数に相当)を出力する。受光部32は、例えば、光源部20の1回の発光に対して、所定のサンプリング周期でフォトンの入射を検出して、同一画素領域内に入射したフォトンの検出数を画素毎に出力する。
【0039】
加算部33は、受光部32から出力された検出数を複数のSPAD素子(例えば、1又は複数の画素に相当)毎に加算し、その加算値を画素値として、ヒストグラム加算処理部34及び外乱光推定処理部35へ出力する。
【0040】
ここで、1つのSPAD素子の値(SPAD値)は、{0,1}の値をとる1ビットのデータである。加算部33では、図2に示すように、2次元配列に並んだ複数のSPAD画素50をp_h×p_w個毎にグループ化して1つの画素60とし、当該画素60内のSPAD値の総和を、ceil(log2(p_h・p_w))ビット(ここでのceil()は小数の切上げを意味している)の2進数で表現してその画素の画素値とする。
【0041】
加算部33は、図2に示すように、画素60毎に並列にあって、全画素60の画素値を同時に算出し、ヒストグラム加算処理部34及び外乱光推定処理部35へ出力する。図2には、複数のSPAD画素50をp_h×p_w個毎にグループ化して1つの画素60とした2次元SPAD配列を図示している。
【0042】
ヒストグラム加算処理部34は、1又は複数の画素60毎に得られた画素値から、横軸を飛行時間(例えば、サンプリングの順序を示す番号(以下、「サンプリング番号」と記述する)とし、縦軸を累積画素値としたヒストグラムを作成する。ヒストグラムは、例えば、ヒストグラム加算処理部34内のメモリ(図示せず)に作成される。このメモリには、例えば、SRAM(Static Random Access Memory)等を用いることができる。但し、当該メモリとしては、SRAMに限られるものではなく、DRAM(Dynamic RAM)など、種々のメモリを使用することが可能である。
【0043】
ところで、受光部32には、測距対象物で反射されて戻ってくる反射光L2の他に、物体や大気などで反射・散乱された外乱光L0も入射する。外乱光推定処理部35は、加算部33の加算結果を基に、反射光L2と共に受光部32に入射する外乱光L0を、算術平均を基にして推定し、その外乱光強度推定値をヒストグラム加算処理部34に与える。ヒストグラム加算処理部34では、外乱光推定処理部35から与えられる外乱光強度推定値を減算してヒストグラムに加算する処理が行われる。
【0044】
ここで、ヒストグラム加算処理について、図3図4、及び、図5を用いて具体的に説明する。
【0045】
レーザ発光1回目の反射光ヒストグラムを図3Aに示す。この1回目の反射光の画素値を、図3Bに示すように、サンプリング時間に対応するビン番号のメモリアドレスへ保存する。外乱光強度推定値を減算してヒストグラムに加算する場合を図3Cに示す。
【0046】
レーザ発光2回目の反射光ヒストグラムを図4Aに示す。この2回目の反射光の画素値を、図4Bに示すように、サンプリング時間に対応するビン番号のメモリアドレスに保存されている値に加算する。外乱光強度推定値を減算してヒストグラムに加算する場合を図4Cに示す。
【0047】
レーザ発光3回目の反射光ヒストグラムを図5Aに示す。この3回目の反射光の画素値を、図5Bに示すように、サンプリング時間に対応するビン番号のメモリアドレスに保存されている値に加算する。外乱光強度推定値を減算してヒストグラムに加算する場合を図5Cに示す。
【0048】
上記のようにして生成した反射光ヒストグラムにおいて、ピーク検出などのようにヒストグラムのカウント値間の大小比較や閾値との大小比較を繰り返して行うことで、反射光を捉えているビンを特定する。
【0049】
平滑化フィルタ36は、例えば、FIR(Finite Impulse Response;有限長インパルス応答)フィルタなどを用いて構成され、ショットノイズを低減し、ヒストグラム上の不要なピーク数を減らして反射光のピーク検出を行い易いように平滑化処理を行う。
【0050】
反射光検出部37は、ヒストグラムの隣接するビンのカウント値の大小比較を繰り返すことによって山のピークを検出し、ピーク値の大きい複数の山を候補として、それぞれの山の立ち上がりのビンを求めて反射光の飛行時間から測距対象物までの距離を算出する。このとき、複数の山が検出されることがあるが、周辺画素の情報を参考にして最終的な測距値をホスト40が算出するため、複数の反射光候補の測距値を、外部出力インタフェース38を介してホスト40へ送信する。
【0051】
外部出力インタフェース38としては、MIPI(Mobile Industry Processor Interface)やSPI(Serial Peripheral Interface)などを用いることができる。
【0052】
ここで、線形表現のヒストグラムの累積について説明する。累積数が増加すると、外乱光の分散は累積数の平方根に比例するが、反射光は累積数に比例するため、S/Nの改善を図ることができる。
【0053】
反射光の強度は、距離の二乗に反比例するが、外乱光の強度は距離に関係なく、ガウス分布N(μ,σ2)と仮定する。1回加算の場合の累算ヒストグラム(累積ヒストグラム)を図6Aに示す。ここでは、理解を容易にするために、ビン5,100,200,・・・,900に反射光が返ってきた場合の例を示している。図6Bに、4回加算の場合の累算ヒストグラムを示し、図7Aに、16回加算の場合の累算ヒストグラムを示す。図7Bは、16回加算の場合であって、平滑化フィルタ36で平滑化した後の平滑化ヒストグラムである。
【0054】
外乱光強度のバラツキが大きく、標準偏差が大きいと、反射光との弁別が難しくなる。外乱光と反射光とを信頼性高く弁別できるか否かの指標として標準偏差を利用することができる。μ=50、σ=5の正規分布乱数及び固定値を図8Aに示し、μ=50、σ=15の正規分布乱数及び固定値を図8Bに示す。μ及びσは、それぞれ正規分布の乱数生成に使った外乱光の算術平均値及び標準偏差のパラメータ値である。
【0055】
上述したように、受光素子として例えばSPAD素子を用い、ToF法によって測距を行うToFセンサとしての受光装置30では、複数のSPAD素子の値を加算して画素値とするが、パルスレーザ発光後に画素値をサンプリングして反射光を捉えるために、サンプリング時刻に対応してビンとしたヒストグラムに画素値を加算していく。反射光は、進行するに従い2次元的に広がっていき、その強度は距離の二乗に反比例するため、複数回のパルスレーザ発光の反射光ヒストグラムを累算することで、同期加算によるノイズ平均化によってS/Nの改善を図ることで、より遠くの測距対象物からの弱い反射光を弁別可能にしている。
【0056】
[従来技術の課題]
しかし、複数回のレーザ発光に基づく反射光のヒストグラムを累算する場合、相対的に近くの測距対象物からの強い反射光の画素値は大きく、累算する度にヒストグラムのダイナミックレンジが大きくなる。そのため、複数回のレーザ発光に基づく反射光のヒストグラムを格納するメモリの容量が大きくなる。特に、晴天の日中には、外乱光が強くなり、画素値のほとんどが大きな値となるため、より多くのヒストグラムを累算するには、ヒストグラムのカウント値のビット数が多く必要である。
【0057】
また、先述したように、反射光と外乱光との弁別に標準偏差を利用するとよいが、画素数分の乗算器や平方根演算器が必要となるため、回路規模及び消費電力を増加させてしまう課題もある。また、ヒストグラムのデータが大きすぎるため、外部へのリアルタイム転送が難しい。このような課題を解決するために、ダイナミックレンジの圧縮を目的としてヒストグラムのカウント値を対数変換してメモリに格納することも考えられるが、対数変換した値を逆変換して画素値の累算後に再度対数変換をする必要があるため、消費電力が増加することになる。
【0058】
従来技術の場合のヒストグラムの累積の対数(点線で図示)、及び、対数表現の画素値のヒストグラムの累積(実線で図示)を表す波形図を図9Aに示す。また、従来技術の場合の外乱光の算術平均値μを減算した値のヒストグラムの累積の対数(点線で図示)、及び、外乱光の算術平均値μを減算した値の対数表現の画素値のヒストグラムの累積(実線で図示)を表す波形図を図9Bに示す。
【0059】
<本開示の第1実施形態>
本開示に係る技術では、受光素子、例えば、SPAD素子が複数配置されて成る受光部を備え、光源部からの照射パルス光に基づく、測距対象物からの反射光を受光する受光装置、及び、当該受光装置を有する測距装置において、所定の時刻の複数のSPAD素子の値を加算して画素値Dとし、この画素値Dを対数値又はその近似値に変換して対数表現データLogDとする。
【0060】
対数表現の画素値のヒストグラムを累積することは、幾何平均に比例する量を算出することと等価である。このことを利用し、画素値Dを対数変換してそのまま演算を行うようにする。すなわち、対数変換以降の信号処理を対数表現のまま実行し、測距対象物10までの距離dを測定する測距を行うようにする。
【0061】
対数変換以降の信号処理において、対数表現の画素値のヒストグラムを累積することにより、ヒストグラムのダイナミックレンジを圧縮できるため、メモリ容量の縮小化を図ることができる。また、対数変換以降の信号処理において、対数表現上での算術平均が、幾何平均の対数表現に等しいことを利用することで、演算処理が簡単になる。
【0062】
本開示に係る技術の場合のヒストグラムの累積の対数(点線で図示)、及び、対数表現の画素値のヒストグラムの累積(実線で図示)を表す波形図を図10に示す。また、本開示に係る技術の場合の外乱光の算術平均値μを減算した値のヒストグラムの累積の対数(点線で図示)、及び、外乱光の算術平均値μを減算した値の対数表現の画素値のヒストグラムの累積(実線で図示)を表す波形図を図11に示す。
【0063】
以下に、本開示の第1実施形態に係る受光装置及び測距装置の具体的な実施例について説明する。第1実施形態に係る測距装置は、SPAD素子を含む画素が行列状に2次元配置されて成り、一度に広角の測距画像を取得する、所謂、フラッシュ型と称される測距装置である。
【0064】
≪実施例1≫
実施例1は、画素値Dから所定の値Mを減算した後に対数表現データとする例である。所定の値Mとしては、例えば、外乱光の算術平均値μを例示することができる。図12は、本開示の第1実施形態の実施例1に係る受光装置及び測距装置の構成例を示すブロック図である。
【0065】
実施例1では、画素値Dから所定の値Mを減算した値(D-M)を対数値又はその近似値に変換して、対数表現データLog(D-M)とする。そして、この対数表現データLog(D-M)を格納及び演算して測距を行う。但し、D<Mのときは、D-Mを0として対数値又はその近似値に変換する。
LogD=log2(1+Max(D-M,0)
【0066】
ここで、実施例1に係る受光装置における信号処理方法(本開示の信号処理方法)の流れについて、図13のフローチャートを用いて説明する。本信号処理は、例えば、CPUなどの情報処理装置で構成される制御部31による制御の下に実行されることとする。
【0067】
制御部31は、加算部33から画素値Dを取得し(ステップS11)、次いで、画素値Dから所定の値Mを減算し(ステップS12)、減算結果(D-M)を対数値又はその近似値に変換して、対数表現データLog(D-M)とする(ステップS13)。次に、制御部31は、対数表現データLog(D-M)を格納及び演算し(ステップS14)、次いで、ToF法を用いて、測距対象物10までの距離dを測定する測距を行う(ステップS15)。
【0068】
ここで、所定の値Mは、統計値Uに、所定の乗数AMPを乗じて、所定の加数OFFSETを加算した外乱光強度推定値(AMP・U+OFFSET)である。統計値Uとしては、外乱光取得期間における画素値の算術平均、又は、画素値の幾何平均値、画素値の最大値、画素値の最小値、画素値の中央値などが考えられる。実施例1では、算術平均値と幾何平均値のみを例示しているが、最大値、最小値、中央値なども同様な箇所と同様な期間でそれぞれの統計値算出の演算をすることができる。また、所定の乗数AMPが1で、所定の加数OFFSETが0のとき、所定の値Mとして、統計値Uそのものを使う構成としてもよい。
【0069】
[システム構成例]
実施例1に係る測距装置1は、測距対象物(被写体)10に対して光を照射する光源部20、光源部20からの照射パルス光に基づく、測距対象物10からの反射光を受光する受光装置30、及び、ホスト40を備える構成となっている。光源部20は、例えば、赤外の波長領域にピーク波長を有するレーザ光を発光するレーザ光源から成る。
【0070】
受光装置30は、測距対象物10までの距離dを測定する測定法として、ToF法を採用したToFセンサであり、制御部31、受光部32、加算部33、及び、外部出力インタフェース38の他に、対数変換処理部61、対数表現での外乱光推定処理部62、対数表現でのヒストグラム加算処理部63、対数表現での平滑化フィルタ64、対数変換部65、及び、対数表現での反射光検出部66を備えている。
【0071】
[受光部の概略構成例]
図14は、実施例1に係る受光装置30における受光部32の概略構成例を示すブロック図である。受光部32の概略構成例については、後述する各実施例においても同様である。
【0072】
図2に示すように、受光部32は、タイミング制御回路321、駆動部322、SPADアレイ部323、及び、出力部324を備えている。
【0073】
SPADアレイ部323は、複数のSPAD画素50が行列状に2次元配置されて構成されている。複数のSPAD画素50に対しては、画素行毎に画素駆動線LD(図面中の行方向)が接続され、画素列毎に出力信号線LS(図面中の列方向)が接続されている。画素駆動線LDの一端は、駆動部322の各行に対応した出力端に接続され、出力信号線LSの一端は、出力部324の各列に対応した入力端に接続されている。
【0074】
駆動部322は、シフトレジスタやアドレスデコーダなどを含み、SPADアレイ部323の各画素50を、全画素同時や画素列単位等で駆動する。具体的には、駆動部322は、少なくとも、SPADアレイ部323内の選択列における各画素50に、後述するクエンチ電圧VQCHを印加する回路部、及び、選択列における各画素50に、後述する選択制御電圧VSELを印加する回路部を有している。そして、駆動回路322は、読出し対象の画素列に対応する画素駆動線LDに選択制御電圧VSELを印加することで、フォトンの入射を検出するために用いるSPAD画素50を画素列単位で選択する。
【0075】
駆動回路322によって選択走査された画素列の各SPAD画素50から出力される信号(以下、「検出信号」と記述する)VOUTは、出力信号線LSの各々を通して出力部324に供給される。出力部324は、各SPAD画素50から供給された検出信号VOUTを、1つ以上のSPAD画素50より成る、先述した画素60毎に設けられた加算部33(図13参照)へ出力する。
【0076】
タイミング制御部321は、各種のタイミング信号を生成するタイミングジェネレータ等を含み、タイミングジェネレータで生成された各種のタイミング信号を基に、駆動部322及び出力部324を制御する。
【0077】
(SPADアレイ部の概略構成例)
図15は、実施例1に係る受光装置30の受光部32におけるSPADアレイ部323の概略構成例を示す模式図である。SPADアレイ部323の概略構成例については、後述する各実施例においても同様である。
【0078】
図15に示すように、SPADアレイ部323は、例えば、複数のSPAD画素50が行列状に2次元配置された構成となっている。複数のSPAD画素50は、行方向、及び/又は、列方向に配列する所定数ずつのSPAD画素50で構成された複数の画素60にグループ化されている。各画素60の最外周に位置するSPAD画素50の外側の縁を結んだ領域の形状は、所定の形状(例えば、矩形)をなしている。行方向に画素が並んだ画素単位での2次元配置の構成も可能であり、その場合は1つの行を選択して行単位で読み出す構成となる。
【0079】
(SPAD画素の回路構成例)
図16は、実施例1に係る受光装置30のSPADアレイ部323における画素50の回路構成例を示す回路図である。SPAD画素50の回路構成例の概略構成例については、後述する各実施例においても同様である。
【0080】
図16に示すように、SPAD画素50は、受光素子の一例であるSPAD素子51、及び、SPAD素子51にフォトンが入射したことを検出する読出し回路52を備えている。SPAD素子51は、そのアノード電極とカソード電極との間に降伏電圧(ブレークダウン電圧)以上の逆バイアス電圧VSPADが印加されている状態でフォトンが入射すると、アバランシェ電流を発生する。
【0081】
読出し回路52は、クエンチ抵抗53、選択トランジスタ54、デジタル変換器55、インバータ56、及び、バッファ57を備えている。
【0082】
クエンチ抵抗53は、例えば、N型のMOSFET(Metal Oxide Semiconductor Field Effect Transistor。以下、「NMOSトランジスタ」と記述する)で構成されている。クエンチ抵抗53を構成するNMOSトランジスタは、そのドレイン電極がSPAD素子51のアノード電極に接続され、そのソース電極が選択トランジスタ54を介して接地されている。また、クエンチ抵抗53を構成するNMOSトランジスタのゲート電極には、当該NMOSトランジスタをクエンチ抵抗として作用させるために予め設定されているクエンチ電圧VQCHが、図14の駆動部322から画素駆動線LDを介して印加される。
【0083】
SPAD素子51は、そのアノード電極とカソード電極との間に降伏電圧(ブレークダウン電圧)以上の逆バイアス電圧が印加されるとガイガーモードで動作するアバランシェフォトダイオードであり、1つのフォトンの入射を検出することができる。
【0084】
選択トランジスタ54は、例えば、NMOSトランジスタから成り、そのドレイン電極がクエンチ抵抗53を構成するNMOSトランジスタのソース電極に接続され、そのソース電極が接地されている。選択トランジスタ54はそのゲート電極に、図14の駆動部322から選択制御電圧VSELが画素駆動線LDを介して印加されると、オフ状態からオン状態に変化する。
【0085】
デジタル変換器55は、抵抗素子551及びNMOSトランジスタ552から構成されている。NMOSトランジスタ552は、そのドレイン電極が抵抗素子551を介して電源電圧VDDのノードに接続され、そのソース電極が接地されている。また、NMOSトランジスタ552のゲート電極は、SPAD素子51のアノード電極とクエンチ抵抗53との接続ノードN1に接続されている。
【0086】
インバータ56は、P型のMOSFET(以下、「PMOSトランジスタ」と記述する)561及びNMOSトランジスタ562から成るCMOSインバータの構成となっている。PMOSトランジスタ561は、そのドレイン電極が電源電圧VDDのノードに接続され、そのソース電極がNMOSトランジスタ562のドレイン電極に接続されている。NMOSトランジスタ562は、そのドレイン電極がPMOSトランジスタ561のソース電極に接続され、そのソース電極が接地されている。PMOSトランジスタ561のゲート電極及びNMOSトランジスタ562のゲート電極は、抵抗素子551及びNMOSトランジスタ552のドレイン電極との接続ノードN2に共通に接続されている。インバータ56の出力端は、バッファ57の入力端に接続されている。
【0087】
バッファ57は、インピーダンス変換のための回路であり、インバータ56からその出力信号が入力されると、その入力した出力信号をインピーダンス変換し、検出信号VOUTとして出力する。
【0088】
(SPAD画素の概略動作例)
図16に例示した読出し回路52は、例えば、以下のように動作する。すなわち、まず、図14の駆動部322から選択トランジスタ54のゲート電極に選択制御電圧VSELが印加されて選択トランジスタ24がオン状態となっている期間、SPAD素子51には降伏電圧(ブレークダウン電圧)以上の逆バイアス電圧VSPADが印加される。これにより、SPAD素子51は、その動作が許可された状態となる。
【0089】
一方、図14の駆動部322から選択トランジスタ54に選択制御電圧VSELが印加されておらず、選択トランジスタ54がオフ状態となっている期間において、逆バイアス電圧VSPADがSPAD素子51に印加されない。従って、SPAD素子51は、その動作が禁止された状態となる。
【0090】
選択トランジスタ54がオン状態であるときに、SPAD素子51にフォトンが入射すると、SPAD素子51においてアバランシェ電流が発生する。それにより、クエンチ抵抗53にアバランシェ電流が流れ、接続ノードN1の電圧が上昇する。そして、接続ノードN1の電圧がNMOSトランジスタ552のオン電圧よりも高くなると、NMOSトランジスタ552がオン状態になり、接続ノードN2の電圧が電源電圧VDDから0Vに変化する。
【0091】
そして、接続ノードN2の電圧が電源電圧VDDから0Vに変化すると、PMOSトランジスタ561がオフ状態からオン状態に変化するとともに、NMOSトランジスタ562がオン状態からオフ状態に変化し、接続ノードN3の電圧が0Vから電源電圧VDDに変化する。その結果、バッファ77からハイレベルの検出信号VOUTが出力される。
【0092】
その後、接続ノードN1の電圧が上昇し続けると、SPAD素子51のアノード電極とカソード電極との間に印加されている電圧が降伏電圧よりも小さくな。これにより、アバランシェ電流が止まって、接続ノードN1の電圧が低下する。そして、接続点N1の電圧がNMOSトランジスタ552のオン電圧よりも低くなると、NMOSトランジスタ552がオフ状態になり、バッファ57からの検出信号VOUTの出力が停止する。すなわち、検出信号VOUTがローレベルになる。
【0093】
このように、読出し回路52は、SPAD素子51にフォトンが入射してアバランシェ電流が発生し、これによりNMOSトランジスタ552がオン状態になったタイミングから、アバランシェ電流が止まってNMOSトランジスタ552がオフ状態になるタイミングまでの期間、ハイレベルの検出信号VOUTを出力する。
【0094】
読出し回路52から出力された検出信号VOUTは、図14の出力部324介して、画素60毎の加算部33(図14参照)に入力される。従って、画素60毎の加算部33には、1つの画素60を構成する複数のSPAD画素50のうちでフォトンの入射が検出されたSPAD画素50の数(検出数)の検出信号VOUTが入力されることになる。
【0095】
[加算部の構成例]
図17は、実施例1に係る受光装置30における加算部33の構成例を示すブロック図である。図17に示すように、加算部33は、例えば、パルス整形部331、及び、受光数カウント部332を有する構成となっている。加算部33の構成例については、後述する各実施例においても同様である。
【0096】
パルス整形部331は、図14に示すSPADアレイ部322から出力部324を介して供給される検出信号VOUTのパルス波形を、加算部33の動作クロックに応じた時間幅のパルス波形に整形する。
【0097】
受光数カウント部332は、対応する画素60からサンプリング周期ごとに入力される検出信号VOUTをカウントすることで、フォトンの入射が検出された画素50の個数(検出数)をサンプリング周期ごとに計数し、この計数値を画素60の画素値Dとして出力する。
【0098】
尚、図17における画素値D[i][8:0]のうち、[i]は、各SPAD画素50を特定する識別子であり、本例では、“0”から“R-1”までの値(図15参照)である。また、[8:0]は、画素値D[i]のビット数を示している。
【0099】
図17には、加算部33が、識別子iで特定される画素60から入力される検出信号VOUTに基づき、“0”~“511”の値を取り得る9ビットの画素値Dを生成することが例示されている。
【0100】
ここで、サンプリング周期とは、光源部20がレーザ光L1を出射してから、受光装置30の受光部32でフォトンの入射が検出されるまでの時間(飛行時間)を計測する周期である。このサンプリング周期には、光源部20の発光周期よりも短い周期が設定される。例えば、サンプリング周期をより短くすることで、より高い時間分解能で、光源部20から出射して、測距対象物10で反射したフォトンの飛行時間を推定又は算出することが可能となる。これは、サンプリング周波数をより高くすることで、より高い測距分解能で物体90までの距離を推定又は算出することが可能となることを意味している。
【0101】
例えば、光源部20がレーザ光L1を出射して、このレーザ光L1が測距対象物10で反射し、この反射光L2が受光部32に入射するまでの飛行時間をtとすると、光速Cが一定(C≒300,000,000メートル/秒)であることから、先述した式(d=C×(t/2))から、測距対象物10までの距離dを推定又は算出することができる。
【0102】
そこで、サンプリング周波数を1ギガヘルツとすると、サンプリング周期は1ナノ秒となる。その場合、1つのサンプリング周期は、15センチメートルに相当する。これは、サンプリング周波数を1ギガヘルツとした場合の測距分解能が15センチメートルであることを示している。また、サンプリング周波数を2倍の2ギガヘルツとすると、サンプリング周期は0.5ナノ秒となるため、1つのサンプリング周期は、7.5センチメートルに相当する。これは、サンプリング周波数を2倍とした場合、測距分解能を1/2にすることができることを示している。このように、サンプリング周波数を高くしてサンプリング周期を短くすることで、より精度良く、測距対象物10までの距離を推定又は算出することが可能となる。
【0103】
[対数変換処理部の構成例]
図18は、実施例1に係る受光装置30における対数変換処理部61の構成例を示すブロック図である。
【0104】
対数変換処理部61には、加算部33から画素値Dが、D-フリップフロップ(FF)71を介して入力される。D-フリップフロップ71は、ヒストグラムの更新期間、及び、所定の値Mである外乱光強度推定値の取得期間にイネーブルになる。
【0105】
図18に示すように、対数変換処理部61は、減算器611、クリップ回路612、対数変換部613、セレクタ614、対数/線形表現設定部615、及び、D-フリップフロップ616を有する構成となっている。
【0106】
減算器611は、加算部33から入力される画素値Dから、対数表現での外乱光推定処理部62において、所定の値M(推定された外乱光強度推定値)を減算する。減算器611の減算結果(D-M)は、クリップ回路612を介して対数変換部613に供給されるとともに、セレクタ614の一方の入力となる。
【0107】
対数変換部613は、画素値Dから所定の値Mを減算した減算結果(D-M)を対数値又はその近似値に変換し、対数表現データLog(D-M)とする。但し、D<Mのときは、D-Mを0として対数値又はその近似値に変換する。対数表現データLog(D-M)は、セレクタ614の他方の入力となる。
【0108】
セレクタ614は、対数/線形表現設定部615からの設定情報lselに基づいて、2入力の一方を選択する。対数/線形表現設定部615は、対数表現のときに論理“0”となり、線形表現のときに論理“1”となる設定情報lselを出力する。
【0109】
これにより、セレクタ614は、設定情報lselに基づいて、対数表現データLog(D-M)、又は、線形表現の画素値Dを選択する。すなわち、本例に係る対数変換処理部61を有する受光装置30は、画素値Dを対数又はその近似値に変換した対数表現データLogDを処理(格納及び演算)して測距を行うモード、及び、画素値を線形表現のまま処理(格納及び演算)して測距を行うモードを有し、そのモードの切替えが可能な構成となっている。
【0110】
セレクタ614で選択された対数表現データLog(D-M)、又は、線形表現の画素値Dは、D-フリップフロップ616を介して次段の対数表現でのヒストグラム加算処理部63に供給される。D-フリップフロップ616は、ヒストグラムの更新期間にイネーブルになる。
【0111】
[対数表現での外乱光推定処理部の構成例]
図19は、実施例1に係る受光装置30における対数表現での外乱光推定処理部62の構成例を示すブロック図である。尚、対数表現での外乱光推定処理部62は、実施例1に係る受光装置30にとって必須の構成要素ではない。すなわち、画素値Dから所定の値M(外乱光強度推定値)を減算しない場合には、対数表現での外乱光推定処理部62を省略した構成とすることができる。
【0112】
対数表現での外乱光推定処理部62には、加算部33から画素値Dが、D-フリップフロップ71を介して入力される。D-フリップフロップ71は、ヒストグラムの更新期間、及び、外乱光強度推定値の取得期間にイネーブルになる。
【0113】
図19に示すように、対数表現での外乱光推定処理部62は、対数変換部6201、セレクタ6202、算術/幾何平均設定部6203、加算器6204、D-フリップフロップ6205、除算器6206、及び、D-フリップフロップ6207を有する構成となっている。外乱光推定処理部62は更に、セレクタ6208、パラメータ設定部6209、加算器6210、パラメータ設定部6211、D-フリップフロップ6212、逆変換部6213、1ビット左シフト回路6214、及び、セレクタ6215を有している。
【0114】
加算部33から入力される画素値Dは、対数変換部6201で対数値又はその近似値に変換されてセレクタ6202の一方の入力となるとともに、直接セレクタ6202の他方の入力となる。
【0115】
セレクタ6202は、算術/幾何平均設定部6203からの設定情報mselに基づいて、2入力の一方を選択する。算術/幾何平均設定部6203は、算術平均のときに論理“0”となり、幾何平均のときに論理“1”となる設定情報mselを出力する。これにより、セレクタ6202は、設定情報mselに基づいて、画素値D、又は、対数表現データLogDを選択する。
【0116】
セレクタ6202で選択された画素値D、又は、対数表現データLogDは、加算器6204に入力される。加算器6204は、画素値D、又は、対数表現データLogDと、次段のD-フリップフロップ6205のラッチデータとを加算する。D-フリップフロップ6205は、外乱光の統計値の測定期間のみイネーブルとなる。
【0117】
除算器6206は、D-フリップフロップ6205のラッチデータをデータの個数Nで割り算することで、外乱光の統計値を求める。D-フリップフロップ6207は、外乱光の統計値の測定期間の終了毎に1サイクルだけイネーブルとなり、除算器6206で求めた幾何平均値や算術平均値である外乱光の統計値をラッチする。
【0118】
D-フリップフロップ6207にラッチされた幾何平均値や算術平均値である統計値U[7:0]は、0を一方の入力とするセレクタ6208の他方の入力となる。セレクタ6208は、パラメータ設定部6209で設定された所定の乗数AMP[7:0]に基づいて2入力の一方を選択し、加算器6210の入力とする。加算器6210は、パラメータ設定部6211で設定された所定の加数OFFSET[7:0]に基づいて、セレクタ6208で選択されたデータと、1bitシフト回路6214の出力データとの加算処理を、乗数AMPのビット数と同じ回数だけ繰り返す。
【0119】
D-フリップフロップ6212は、外乱光の統計値の測定期間が終了し、統計値U[7:0]をラッチした後に、乗数AMP[7:0]及び加数OFFSET[7:0]のビット数と同じサイクルでイネーブルとなり、AMP[7:0]×U[7:0]+OFFSET[7:0]を計算する。図20に、対数表現での外乱光推定処理部62における計算処理、即ち、AMP[7:0]×U[7:0]+OFFSET[7:0]の計算処理の説明図を示す。
【0120】
D-フリップフロップ6212のラッチデータは、逆変換部6213で逆変換(逆対数変換)され、セレクタ6215の一方の入力となるとともに、直接セレクタ6215の他方の入力となる。
【0121】
セレクタ6215は、算術/幾何平均設定部6203からの設定情報mselに基づいて、2入力の一方を選択する。具体的には、セレクタ6215は、設定情報mselが論理“0”のときに、D-フリップフロップ6212のラッチデータを選択し、設定情報mselが論理“1”のときに、逆変換部6213の出力データを選択し、対数変換処理部61へ出力する。
【0122】
[対数表現でのヒストグラム加算処理部の構成例]
ヒストグラム加算処理部63は、光源部20からレーザ光を発光してから、反射光が戻ってくるまでの飛行時間をヒストグラムのビンとして対応させて、各時間にサンプリングされた画素値から算出される対数表現データを、その時間に対応するビンのカウント値としてメモリに格納する。
【0123】
ヒストグラム加算処理部63については、複数回のレーザ発光に基づく、測距対象物からの反射光の各時間の対数表現データLogDを、その時間に対応するビンのカウント値に加算してヒストグラムを更新するものとする。そして、複数回のレーザ発光に基づく反射光を受光して得られる画素値から算出したカウント値を累積したヒストグラムを使って、測距の演算を行う。
【0124】
これにより、ヒストグラムを格納するメモリのビット数の削減、又は、累積する際のヒストグラムのダイナミックレンジの拡大を図ることができる。また、幾何平均の対数値を計算できる。対数量子化されることで、大きなノイズによる変動が抑制される。以下に、ヒストグラム加算処理部63の構成について具体的に説明する。
【0125】
図21は、実施例1に係る受光装置30における対数表現でのヒストグラム加算処理部63の構成例を示すブロック図である。図21に示すように、ヒストグラム加算処理部63は、加算器631、D-フリップフロップ632、SRAM633、D-フリップフロップ634、加算器(+1)635、D-フリップフロップ636、及び、D-フリップフロップ637を有する構成となっている。
【0126】
ここで、読出しアドレスREAD_ADDR(RA)が入力されるSRAM633と、書込みアドレスWRITE_ADDR(WA)が入力されるSRAM633とは同じSRAM(メモリ)である。後者のSRAM633は、ヒストグラム更新期間にイネーブルとなる。
【0127】
ヒストグラム加算処理部63には、対数変換処理部61から、対数表現データLog(D-M)、又は、線形表現の画素値Dが入力される。加算器631は、入力される対数表現データLog(D-M)、又は、線形表現の画素値Dに対して、SRAM633からの読出しデータREAD_DATA(RD)を加算する。
【0128】
D-フリップフロップ632は、ヒストグラム更新期間にイネーブルとなって加算器631の加算結果をラッチする。そして、D-フリップフロップ632は、ラッチしたデータを、書込みアドレスWAが入力されるSRAM633に対して、その書込みデータWRITE_DATA(WD)として供給する。
【0129】
D-フリップフロップ632は、ヒストグラム更新期間、及び、ヒストグラムデータHIST_DATAの転送期間にイネーブルとなる。そして、D-フリップフロップ632は、ラッチしたデータを、SRAM633に対して、その読出しアドレスREAD_ADDRとして供給する。加算器634は、D-フリップフロップ632のラッチデータに1を加算することによってビン(BIN)をインクリメントする。
【0130】
SRAM633から読み出される読出しデータREAD_DATAは、ヒストグラムデータHIST_DATAとして出力される。D-フリップフロップ636は、ヒストグラム更新期間にイネーブルとなり、D-フリップフロップ634のラッチデータをラッチする。D-フリップフロップ637は、ヒストグラム更新期間にイネーブルとなり、D-フリップフロップ636のラッチデータをラッチする。D-フリップフロップ637のラッチデータは、ヒストグラムビンHIST_BINとして出力される。
【0131】
図22は、対数変換及び逆変換について説明する図である。折れ線近似を使って、対数変換及び指数変換を行うこととする。対数表現をu3.3(uは丸め誤差の最小単位)の固定小数点で表し、逆変換した線形表現をu8.0の固定小数点で表すと、図23に示すハードウェア言語VerilogHDLコードのようにシンプルに実装できる。
log21+x:u8.0 → u3.3(LOG2)
x-1:u3.3 → u8.0(EXP2)
【0132】
図13に説明を戻す。図13において、平滑化フィルタ64は、ヒストグラム加算処理部63から出力される対数表現の累算ヒストグラムに対して、対数表現での平滑化の処理を行う。具体的には、平滑化フィルタ64は、ショットノイズを低減し、ヒストグラム上のピーク数を減らして反射光のピーク検出を行い易いように平滑化処理を行う。
【0133】
対数変換部65は、平滑化フィルタ64で平滑化された対数表現の累算ヒストグラムを更に対数変換して圧縮する。この対数変換部65の処理の詳細については後述する。
【0134】
反射光検出部66は、対数表現のままヒストグラムの隣接するビンのカウント値の大小比較を繰り返すことによって山のピークを検出する。そして、ピーク値の大きい複数の山を候補として、それぞれの山の立ち上がりのビンを求めて反射光の飛行時間から測距対象物までの距離の算出を行う。
【0135】
また、反射光検出部66については、ヒストグラムのカウント値を対数表現から逆対数変換(指数関数、2のべき乗で線形表現に戻した値、又は、その近似値に変換)した値で大小比較して各反射光のピークを検出する。そして、ピークの立ち上がり始めをビンに対応する時間から距離を算出する構成とすることもできる。
【0136】
加算器33の出力波形を図24Aに示し、対数変換処理部61の出力波形を図24Bに示し、対数表現でのヒストグラム加算処理部63の出力波形を図25Aに示し、対数表現での平滑化フィルタ64の出力波形を図25Bに示し、対数変換部65の出力波形を図26に示す。
【0137】
ここで、画素値Dから所定の値Mを引かない場合(即ち、外乱光強度推定値を算術平均値とした場合)の対数表現の画素値のヒストグラムの累積、及び、引いた場合の対数表現の画素値のヒストグラムの累積について説明する。
【0138】
(画素値Dから外乱光の算術平均値を引かない場合)
1回加算の場合の累算ヒストグラムを図27Aに示し、4回加算の場合の累算ヒストグラムを図27Bに示し、16回加算の場合の累算ヒストグラムを図28Aに示す。また、16回加算の場合であって、対数表現での平滑化フィルタ64で平滑化した後の平滑化ヒストグラムを図28Bに示す。
【0139】
(画素値Dから外乱光の算術平均値を引いた場合)
1回加算の場合の累算ヒストグラムを図29Aに示し、4回加算の場合の累算ヒストグラムを図29Bに示し、16回加算の場合の累算ヒストグラムを図30Aに示す。また、16回加算の場合であって、対数表現での平滑化フィルタ64で平滑化した後の平滑化ヒストグラムを図30Bに示す。
【0140】
≪実施例2≫
実施例2は、画素値Dを対数値又はその近似値に変換した後、対数表現で所定の値Mを減算して対数表現データとする例である。図31は、本開示の第1実施形態の実施例2に係る受光装置及び測距装置の構成例を示すブロック図である。
【0141】
実施例2では、画素値Dを対数値又はその近似値に変換した対数表現データLogD2から、所定の値M(例えば、外乱光の算術平均値)を対数値又はその近似値に変換した対数表現データLogMを減算した値を求める。これは、Mが1になるように正規化したものの対数を計算していることになる。そして、この対数表現データLogD(=LogD2-LogM)を格納及び演算して測距を行う。
LogD2=log2(1+D2)
LogM=log2(1+M)
LogD=log2(1+D2)-log2(1+M)
【0142】
[システム構成例]
実施例2に係る測距装置1においても、測距対象物(被写体)10に対して光を照射する光源部20、光源部20からの照射パルス光に基づく、測距対象物10からの反射光を受光する受光装置30、及び、ホスト40を備える構成となっている。
【0143】
ToF法を採用したToFセンサである受光装置30については、実施例1では、対数表現での外乱光推定処理部62を対数変換処理部61と並列的に配置し、画素値Dから所定の値M(例えば、外乱光の算術平均値)を減算した後に対数変換を行うのに対して、実施例2では、幾何平均による外乱光推定処理部67を対数変換処理部61の後段に配置した構成となっている。
【0144】
対数変換処理部61では、加算部33から入力される画素値Dを対数値又はその近似値に変換した対数表現データLogD2の生成が行われる。幾何平均による外乱光推定処理部67では、所定の値M(例えば、外乱光の算術平均値)を対数値又はその近似値に変換した対数表現データLogMの生成が行われる。そして、対数表現でのヒストグラム加算処理部63では、対数表現データLogD2から対数表現データLogMを減算し、対数表現データLogD(=LogD2-LogM)の生成が行われる。
【0145】
対数変換処理部61、幾何平均による外乱光推定処理部67、及び、対数表現でのヒストグラム加算処理部63以外の構成については、実施例1の場合と同じである。実施例2では、対数表現で減算(LogD2-LogM)を行っており、線形に戻すと除算になるので、外乱光の算術平均値が1になるように正規化を行っていることになる。
【0146】
対数圧縮で入力のレンジが小さくなっているだけとみれば、後段の処理の機能や効果については、実施例1の場合と同様のことが期待できる。但し、実施例2の場合は、実施例1の場合よりも、対数変換及び逆変換の固定小数点表現の小数部のビット数がより多く必要となる。
【0147】
[対数変換処理部の構成例]
図32Aは、実施例2に係る受光装置30における対数変換処理部61の構成例を示すブロック図である。
【0148】
実施例2に係る受光装置30では、対数変換処理部61において、画素値Dから所定の値Mを減算する処理を行わないことから、対数変換処理部61は、図18の減算器611及びクリップ回路612を持たず、図32Aに示すように、対数変換部613、セレクタ614、対数/線形表現設定部615、及び、D-フリップフロップ616を有する構成となっている。
【0149】
対数変換部613、セレクタ614、対数/線形表現設定部615、及び、D-フリップフロップ616の機能等については、基本的に、実施例1の場合と同じである。D-フリップフロップ616は、ヒストグラムの更新期間にイネーブルとなり、セレクタ614で選択された対数表現データLogD、又は、線形表現の画素値Dをラッチし、そのラッチデータ(LogD又はD)を対数変換処理部61の出力とする。
【0150】
[幾何平均による外乱光推定処理部の構成例]
図32Bは、実施例2に係る受光装置30における幾何平均による外乱光推定処理部67の構成例を示すブロック図である。尚、対数表現での外乱光推定処理部62は、実施例2に係る受光装置30にとって必須の構成要素ではない。すなわち、画素値Dから外乱光強度推定値を減算しない場合には、対数表現での外乱光推定処理部62を省略した構成とすることができる。
【0151】
図32Bに示すように、実施例2に係る受光装置30における幾何平均による外乱光推定処理部67は、加算器6204、D-フリップフロップ6205、除算器6206、及び、D-フリップフロップ6207を有する構成となっている。外乱光推定処理部67は更に、セレクタ6208、パラメータ設定部6209、加算器6210、パラメータ設定部6211、D-フリップフロップ6212、及び、1ビット左シフト回路6214を有している。
【0152】
外乱光推定処理部67には、対数変換処理部61から画素値D、又は、対数表現データLogDが入力される。加算器6204は、対数変換処理部61から入力される画素値D、又は、対数表現データLogDと、次段のD-フリップフロップ6205のラッチデータとを加算する。D-フリップフロップ6205は、外乱光の統計値の測定期間のみイネーブルとなる。
【0153】
除算器6206は、D-フリップフロップ6205のラッチデータをデータの個数Nで割り算することで、外乱光の統計値を求める。D-フリップフロップ6207は、外乱光の統計値の測定期間終了後に1サイクルだけイネーブルとなり、除算器6206で求めた外乱光の統計値をラッチする。D-フリップフロップ6207の出力である外乱光の統計値は、前回(l-1回目)のヒストグラム加算時の幾何平均の対数である。セレクタ6208以降については、基本的に、図19に示す対数表現での外乱光推定処理部62の場合と同様である。
【0154】
[対数表現でのヒストグラム加算処理部の構成例]
図33は、実施例2に係る受光装置30における対数表現でのヒストグラム加算処理部63の構成例を示すブロック図である。
【0155】
実施例2に係る受光装置30では、対数表現でのヒストグラム加算処理部63において、外乱光強度推定値の減算処理が行われることから、ヒストグラム加算処理部63は、実施例1のヒストグラム加算処理部63の構成要素の他に、減算器638及びクリップ回路639を有する構成となっている。
【0156】
ここで、読出しアドレスREAD_ADDR(RA)が入力されるSRAM633と、書込みアドレスWRITE_ADDR(WA)が入力されるSRAM633とは同じSRAM(メモリ)である。後者のSRAM633は、ヒストグラム更新期間にイネーブルとなる。
【0157】
ヒストグラム加算処理部63には、対数変換処理部61から、対数表現データLogD、又は、線形表現の画素値Dが入力される。加算器631は、入力される対数表現データLogD、又は、線形表現の画素値Dに対して、SRAM633からの読出しデータREAD_DATA(RD)を加算する。
【0158】
減算器638は、加算器631の加算結果から、外乱光推定処理部67で推定された外乱光強度推定値を減算する。減算器638の減算結果は、クリップ回路639を介してD-フリップフロップ632に供給される。D-フリップフロップ632は、外乱光の統計値の測定期間の終了毎に1サイクルだけイネーブルとなり、画素値の対数表現から外乱光強度推定値を減じた値をラッチする。この画素値の対数表現から外乱光強度推定値を減じた値は、画素値を幾何平均で正規化した値の対数表現であり、書込みアドレスWAが入力されるSRAM633に対して、その書込みデータWRITE_DATA(WD)として供給される。
【0159】
他の構成要素、即ち、SRAM633、D-フリップフロップ634、加算器635、D-フリップフロップ636、及び、D-フリップフロップ637の機能及び動作については、基本的に、実施例1の場合と同じである。
【0160】
≪実施例3≫
実施例3は、外乱光推定処理の算術平均及び分散の算出を対数表現で行う例である。図34は、本開示の第1実施形態の実施例3に係る受光装置及び測距装置の構成例を示すブロック図である。
【0161】
[システム構成例]
実施例3に係る測距装置1においても、測距対象物(被写体)10に対して光を照射する光源部20、光源部20からの照射パルス光に基づく、測距対象物10からの反射光を受光する受光装置30、及び、ホスト40を備える構成となっている。
【0162】
ToF法を採用したToFセンサである受光装置30は、加算部33から出力される画素値Dが直接、ヒストグラム加算処理部34及び対数表現での外乱光推定処理部62に入力され、外乱光推定処理部62において、外乱光推定処理の算術平均及び分散の算出を対数表現で行う構成となっている。
【0163】
対数表現での外乱光推定処理部62は、所定の測定期間の複数の時間tにおいて画素値Dをサンプリングし、このサンプリングした画素値Dtを合計した総和値SUMを、対数値又はその近似値に変換した対数表現データLogSUMを画素値とした画像についても出力することができる。すなわち、実施例3に係る受光装置30は、測距情報だけでなく、対数変換した画素値で構成される画像も出力できるToFセンサである。
【0164】
[外乱光の算術平均値及び分散を対数表現で計算する方法の例]
外乱光の算術平均値μについては、まず、
【数1】
として、総和値SUMの対数の近似値Sを逐次的に近似的に算出し、log2(1+μ)=S-log2Nから逆変換(2x-1)を行って外乱光の算術平均値μを求める。ここで、Nはサンプリング数であり、log2Nはサンプリング数Nの対数値又はその近似値である。
【0165】
外乱光の強度推定値については、外乱光の算術平均値μを基に、所定の乗数AMP及び所定の加数OFFSETを用いて、AMP・μ+OFFSETのようにして算出するものとし、乗数AMP及び加数OFFSETで調整可能にしておく。
【0166】
分散σ2については、まず、
【数2】
として、SSを逐次的に近似的に算出する。
【0167】
次に、
【数3】
【数4】
として、2(S-log2N)、及び、SS-log2N(=MM)を対数表現上での加減算及びシフトで求める。
【0168】
分散σ2については、
【数5】
であるので、2(S-log2N)、及び、SS-log2Nを2xに逆変換したものの差をとることによって分散σ2の近似値Vを求める。
【0169】
標準偏差σについては、分散σ2の平方根であるため、次式(6),(7)のように対数変換して、2で割って逆変換した値を近似値として使う。
【数6】
【数7】
【0170】
[外乱光の算術平均値及び分散を対数表現で算出する第1回路例]
図35は、実施例3に係る外乱光推定処理部62における外乱光の算術平均値及び分散を対数表現で算出する回路部分の第1回路例を示すブロック図である。
【0171】
外乱光推定処理部62は、外乱光強度推定値を算出する回路系として、D-フリップフロップ6251、対数変換部6252、D-フリップフロップ6253、近似値計算部6254、D-フリップフロップ6255、減算器6256、log2N設定部6257、D-フリップフロップ6258、加算器6259、log2AMP設定部6260、対数逆変換部6261、加算器6262、OFFSET-AMP+1設定部6263、及び、D-フリップフロップ6264を有している。
【0172】
D-フリップフロップ6251、D-フリップフロップ6253、及び、D-フリップフロップ6255は、外乱光の算術平均値及び分散の取得期間にイネーブルになる。D-フリップフロップ6258及びD-フリップフロップ6264は、外乱光の算術平均値及び分散の取得期間終了毎にパイプラインが1回流れるようにそれぞれが1サイクルイネーブルになる。
【0173】
D-フリップフロップ6251には、所定の測定期間の複数の時間tにおいて画素値Dをサンプリングした画素値Dtが入力される。D-フリップフロップ6251は、イネーブルになることで、画素値Dtをラッチする。対数変換部6252は、D-フリップフロップ6251がラッチした画素値Dtについて、log2(1+x)の対数変換を行う。D-フリップフロップ6253は、イネーブルになることで、対数変換部6252の変換結果log2(1+Dt)を累積加算する。
【0174】
近似値計算部6254は、D-フリップフロップ6253の出力及びD-フリップフロップ6255の出力に基づいて近似値計算を行う。D-フリップフロップ6255からは、式(1)のS、即ち、対数表現データLogSUMの近似値が、表示画像の画素値として出力される。D-フリップフロップ6255の出力Sは、減算器6252にも入力される。減算器6252は、D-フリップフロップ6255の出力Sからlog2Nを減算する。
【0175】
D-フリップフロップ6258は、イネーブルになることで、減算器6252の減算結果をラッチする。加算器6259は、D-フリップフロップ6258の出力にlog2AMPを加算する。対数逆変換部6261は、加算器6259の加算結果について、2x-1の逆対数変換を行う。加算器6262は、対数逆変換部6261の逆変換結果にOFFSET-AMP+1を加算する。D-フリップフロップ6264は、イネーブルになることで、加算器6262の加算結果をラッチし、外乱光強度推定値として出力する。
【0176】
外乱光推定処理部62は、標準偏差の近似値を算出する回路系として、1ビット左シフト回路6265、近似値計算部6266、D-フリップフロップ6267、減算器6268、D-フリップフロップ6269、対数逆変換部6270、減算器6271、1ビット左シフト回路6272、対数逆変換部6273、D-フリップフロップ6274、対数変換部6275、1ビット右シフト回路6276、対数逆変換部6277、及び、D-フリップフロップ6278を有している。
【0177】
D-フリップフロップ6267は、外乱光の算術平均値及び分散の取得期間にイネーブルになる。D-フリップフロップ6269及びD-フリップフロップ6274は、外乱光の算術平均値及び分散の取得期間終了毎にパイプラインが1回流れるようにそれぞれが1サイクルイネーブルになる。
【0178】
D-フリップフロップ6253の出力は、1ビット左シフト回路6265を介して近似値計算部6266に供給される。近似値計算部6266は、1ビット左シフト回路6265で1ビットだけ左シフトされたD-フリップフロップ6203の出力、及び、D-フリップフロップ6267の出力に基づいて近似値計算を行う。D-フリップフロップ6267からは、式(2)のSSが出力される。
【0179】
減算器6268は、D-フリップフロップ6267の出力SSからlog2Nを減算する。D-フリップフロップ6269は、イネーブルになることで、減算器6268の減算結果をラッチする。対数逆変換部6270は、D-フリップフロップ6269の出力について、2xの逆対数変換を行う。対数逆変換部6271は、1ビット左シフト回路6272で1ビットだけ左シフトされたD-フリップフロップ6208の出力について、2xの逆対数変換を行う。
【0180】
減算器6273は、対数逆変換部6270の逆変換結果と対数逆変換部6271の逆変換結果との減算を行う。D-フリップフロップ6274は、イネーブルになることで、減算器6273の減算結果をラッチし、外乱光の分散σ2として出力する。対数変換部6275は、D-フリップフロップ6274の出力、即ち、分散σ2について、log2(x)の対数変換を行う。
【0181】
1ビット右シフト回路6276は、対数変換部6275の変換結果を1ビットだけ右シフトする。対数逆変換部6277は、1ビット右シフト回路6276について、2xの逆対数変換を行う。D-フリップフロップ6278は、対数逆変換部6277の逆変換結果をラッチし、標準偏差の近似値として出力する。
【0182】
[外乱光の算術平均値及び分散を対数表現で算出する第2回路例]
図36は、実施例3に係る外乱光推定処理部62における外乱光の算術平均値及び分散を対数表現で算出する回路部分の第2回路例を示すブロック図である。
【0183】
第1回路例では、D-フリップフロップ6255の出力Sである対数表現データLogSUMの近似値を表示画像の画素値として出力する構成となっている。これに対して、第2回路例では、D-フリップフロップ6251がラッチした画素値Dtに基づいて、対数表現データLogSUMを算出して、表示画像の画素値として出力する構成となっている。
【0184】
具体的には、図36に示すように、外乱光推定処理部62は、対数表現データLogSUMを算出する回路系として、加算器6279、D-フリップフロップ6280、及び、対数変換部6281を有する構成となっている。
【0185】
D-フリップフロップ6280は、外乱光の算術平均値及び分散の取得期間にイネーブルになる。加算器6279及びD-フリップフロップ6280では、画素値Dtの累積加算が行われる。対数変換部6281は、画素値Dtの累積加算結果について、log2(1+x)の対数変換を行い、その変換結果である対数表現データLogSUMを表示画像の画素値として出力する。
【0186】
ところで、第1回路例及び第2回路例において、近似値計算部6024及び近似値計算部6016の近似値計算LogAdd(a,b)は、次式(8)の近似式を使って、
【数8】
次式(9)のように、logの中身を対数のまま加算する計算を固定小数点で行う。
【数9】
【0187】
ここで、
【数10】
とする。f(x)を小数点以下がwビットの固定小数点とすると、2-ldlは、次式(11)に近似できる。
【数11】
【0188】
小数点以下がwビットの固定小数点のLogAdd(a,b)は、
【数12】
となり、比較器、シフト回路、及び、加算器で実装できる。
【0189】
≪実施例4≫
実施例4は、実施例1又は実施例2に係る受光装置30における対数変換部65(図13又は図31参照)の具体例である。
【0190】
[第1具体例]
第1具体例は、対数表現の画素値の累算ヒストグラムを更に対数変換して圧縮する例である。ヒストグラムの累積値を対数変換して圧縮する例である。図37Aは、実施例4に係る対数変換部65の第1具体例を示すブロック図である。
【0191】
図37Aに示すように、第1具体例に係る対数変換部65は、対数変換器651、クリップ回路652、及び、D-フリップフロップ653を有し、対数表現の画素値のヒストグラムの累積値を対数変換して圧縮する構成となっている。
【0192】
対数変換部65には、図13又は図31に示す対数表現での平滑化フィルタ64での平滑化後のヒストグラムデータ、例えば、10ビットから16ビット程度のデータが入力される。
【0193】
対数変換器651は、平滑化後のヒストグラムデータについて、log2(1+x)の対数変換を行う。クリップ回路652は、対数変換器651の変換結果について、7以上を7に飽和させる。D-フリップフロップ653は、クリップ回路652の出力をラッチし、0~7の値をとる3ビットのデータとして出力する。
【0194】
[第2具体例]
第2具体例は、対数表現の画素値の累算ヒストグラムを、当該の最小値で減算後に更に対数変換して圧縮する例である。図37Bは、実施例4に係る対数変換部65の第2具体例を示すブロック図である。
【0195】
図37Bに示すように、第2具体例に係る対数変換部65は、対数変換器651、クリップ回路652、及び、D-フリップフロップ653の他に、減算器654を対数変換器651の前段に有し、対数表現の累算ヒストグラムを、当該累算ヒストグラムの最小値で減算後に更に対数変換して圧縮する構成となっている。
【0196】
対数変換部65には、図13又は図31に示す対数表現での平滑化フィルタ64での平滑化後のヒストグラムデータ、例えば、10ビットから16ビット程度のデータが入力される。
【0197】
減算器654は、平滑化後のヒストグラムデータから、平滑化後のヒストグラムデータの最小値を減算する。対数変換器651は、減算器654の減算結果について、log2(1+x)の対数変換を行う。クリップ回路652は、対数変換器651の変換結果について、7以上を7に飽和させる。D-フリップフロップ653は、クリップ回路652の出力をラッチし、0~7の値をとる3ビットのデータとして出力する。
【0198】
上記の構成の第2具体例に係る対数変換部65によれば、10ビットから3ビットに圧縮する場合には、30%に圧縮することができる。また、16ビットから3ビットに圧縮する場合には、19%に圧縮することができる。
【0199】
対数表現の画素値のヒストグラムの累積値から最小値を引いた値の対数について、1回加算の場合の対数を図38Aに示し、4回加算の場合の対数を図38Bに示し、16回加算の場合の対数を図39Aに示し、32回加算の場合の対数を図39Bに示している。
【0200】
また、外乱光算術平均値を引いた値の対数表現の画素値のヒストグラムの累積値から最小値を引いた値の対数について、1回加算の場合の対数を図40Aに示し、4回加算の場合の対数を図40Bに示し、16回加算の場合の対数を図41Aに示し、32回加算の場合の対数を図41Bに示している。
【0201】
≪実施例5≫
実施例5は、対数表現の画素値の累算ヒストグラムのデータ圧縮によってメモリ容量を削減する例であり、実施例1に係る受光装置における対数表現でのヒストグラム加算処理部63の他の構成例である。
【0202】
[システム構成例]
図42は、実施例5に係る対数表現でのヒストグラム加算処理部63の構成例を示すブロック図である。実施例5に係るヒストグラム加算処理部63は、シーケンシャルなデータの差分の形式で行う差分符号化によるデータ圧縮伸長機能を、対数表現データを格納するメモリの一例であるSRAM633の前後に実装した構成となっている。
【0203】
具体的には、図42に示すように、書込みアドレスWRITE_ADDR(WA)、及び、書込みデータWRITE_DATA(WD)が入力される側のSRAM633に入力段に、符号化回路641が実装され、読出しアドレスREAD_ADDR(RA)が入力される側のSRAM633の出力段に復号回路642が実装されている。対数表現の累算ヒストグラムの差分符号化の流れを図43に示す。
【0204】
上述したように、差分符号化によるデータ圧縮伸長機能をSRAM633の前後に実装することで、SRAM633のメモリ容量を削減することができる。一例として、048BINのヒストグラムを圧縮せずにSRAM633に格納する場合のデータサイズを図44Aに示し、差分符号化した場合のデータサイズを図44Bに示す。
【0205】
例えば、エスケープが256個以下と仮定してSRAM633のエスケープメモリ6331(図45参照)の容量を減らす。エスケープが256個の場合、50.0%[=(3×2048+8×256)/(8×2048)]に圧縮でき、エスケープが64個の場合、40.6%[=(3×2048+8×64)/(8×2048)]に圧縮できる。
【0206】
[符号化回路の構成例]
図45は、符号化回路641の構成例を示すブロック図である。因みに、SRAM633は、符号メモリ6331及びエスケープメモリ6332を有している。符号メモリ6331には、ヒストグラム加算処理部63内のD-フリップフロップ637から入力される書込みアドレスWAtが書き込まれる。
【0207】
図45に示すように、符号化回路641は、D-フリップフロップ6411、減算器6412、符号割当て処理部6413、加算器(+1)6414、及び、D-フリップフロップ6415を有する構成となっている。
【0208】
D-フリップフロップ6411は、ヒストグラム加算処理部63内のD-フリップフロップ632から入力される書込みデータWDtをラッチする。減算器6412は、D-フリップフロップ632から入力される書込みデータWDtから、D-フリップフロップ6411のラッチデータWDt-1を減算する。
【0209】
符号割当て処理部6413は、D-フリップフロップ632から入力される書込みデータWDt、及び、減算器6412の減算結果(WDt-WDt-1)を基に、符号メモリ6331に書込みデータSingWDt,Abstを供給するとともに、エスケープメモリ6332に書込みデータEscapeWDtを供給する。
【0210】
加算器6414及びD-フリップフロップ6415は、エスケープ符号ができる度に、エスケープメモリ6332の書込みアドレスEscapeWAをカウントアップ(インクリメント)する。
【0211】
[復号回路の構成例]
図46は、復号回路642の構成例を示すブロック図である。図46に示すように、復号回路642は、乗算器6421、加算器6422、D-フリップフロップ6423、セレクタ6424、エスケープ判定部6425、加算器(+1)6426、及び、D-フリップフロップ6427を有する構成となっている。
【0212】
乗算器6421は、符号メモリ6331から入力される読出しデータSingWDtと読出しデータAbstとを乗算する。加算器6422は、乗算器6421の乗算結果(SingWDt×Abst)に対して、D-フリップフロップ6423のラッチデータRDt-1を加算する。D-フリップフロップ6423は、セレクタ6424から出力される読出しデータRDtをラッチする。
【0213】
セレクタ6424は、加算器6422の加算結果と、エスケープメモリ6332から読み出された読出しデータEscapeRDtとを2入力とし、エスケープ判定部6425の判定結果に基づいて、いずれか一方を選択して読出しデータRDtとして出力する。エスケープ判定部6425は、符号メモリ6331から入力される読出しデータAbstに基づいてエスケープ判定を行う。
【0214】
加算器6426及びD-フリップフロップ6427は、エスケープ符号を読み出すごとに、エスケープメモリ6332の書込みアドレスEscapeWAをカウントアップ(インクリメント)する。
【0215】
≪第1実施形態の作用・効果≫
第1実施形態によれば、以下のような作用・効果を得ることできる。
(ダイナミックレンジの向上、又は、メモリ容量の削減)
・ヒストグラムのダイナミックレンジとメモリサイズとはトレードオフの関係にあるが、同じメモリサイズでは従来法よりもダイナミックレンジが大きくなる。それ故、S/N改善のためにレーザ発光回数を増やしてもヒストグラムが飽和しないので、反射光の位置判定の精度が劣化しない。
・同じダイナミックレンジの場合には、メモリサイズを小さくできるため回路規模の削減を図ることができる。
【0216】
(消費電力の削減)
・対数表現でビット数削減(例えば、線形表現12ビットから対数表現8ビットへ削減)によって、D-フリップフロップ(FF)やメモリのビット数が減ることで、ヒストグラム処理の際の消費電力を削減ができる。
・分散算出に乗算器や平方根演算器が不要になり、加減算器、対数変換及び逆変換の簡易な回路に置き換えることができるため消費電力を削減ができる。
【0217】
(幾何平均による外乱光推定処理による作用・効果)
・外乱光の一時的な大きな変動の影響を受けにくい。
・反射光が含まれたサンプルであっても外乱光の平均に近い値を算出できる。
【0218】
(対数累算を更に対数変換したヒストグラムの非可逆圧縮による作用・効果)
・データが圧縮されることで、必要データ転送帯域を削減し、転送時間の短縮やLSIのピン数の削減を図ることができる。
【0219】
(対数表現の差分符号化による作用・効果)
・対数表現によってビット数が削減されているので、エスケープ符号のビット数を小さくできて、エスケープ用SRAMのメモリ容量を削減できる。また、2ビット符号用SRAM及びエスケープ用SRAMで良いので、SRAMのメモリ容量の削減にもなるが、ECC回路のビット数の削減によって回路規模及び消費電力を削減できる。
【0220】
(対数の累算の効果)
k-1≦a≦2k+1-1,k=0,1,・・・のとき、
【数13】
と折れ線で近似できる。
【0221】
【数14】
とし、s(≧0)は、反射光に反応したSPAD素子の数とすると、L個の互いに独立な確率変数Xiの対数log2(1+Xi)の合計の期待値μslは、
【数15】
となり、分散σsl 2は、
【数16】
となる。
【0222】
ここで、l=kと仮定すると、
【数17】
となる。
【0223】
k-1≦μe/(1+s)≦2k+1-1,2k-1≦ei/(1+s)≦2k+1-1,k=0,1,・・・のとき、期待値μslは、Llog2(1+s+μe)と近似でき、標準偏差σslは、{√L/(1+s)2k}σeと近似できる。
【0224】
このように、期待値μslは、Lに対して比例するが、標準偏差σslは、√Lに比例する、という線形表現と同様な性質を持っている。更に、標準偏差σslは、信号レベルの大きさsに反比例する、及び、信号レベルの大きさsが小さいとき、標準偏差σslは、ノイズのレンジ2kに反比例する、という性質を持っている。
【0225】
図47に、外乱光幾何平均値の減算なしで、16回加算の場合の対数表現での累算ヒストグラムを示す。信号レベルの大きさが大きいと、対数累算の標準偏差が小さくなる。
【0226】
図48に、外乱光幾何平均値の減算ありで、16回加算の場合の対数表現での累算ヒストグラムを示す。外乱光幾何平均値の減算の場合、反射光がない部分の信号レベルの大きさは小さいので、対数累算の標準偏差が小さくなる効果はないものの、反射光の信号レベルの大きさはそれほど小さくならない。
【0227】
(同期加算におけるノイズの平均化による抑圧の効果)
幾何平均は、算術平均よりも小さくなるが、大きな外れ値があるときに分布のピークのある場所と算術平均は一致しないが、幾何平均は一致しやすい。
【0228】
k-1≦μe/(1+s)≦2k+1-1,2k-1≦ei/(1+s)≦2k+1-1,k=0,1,・・・のとき、期待値μslは、Llog2(1+s+μe)と近似できる。L回のlog2(1+xi)の算術平均は、
【数18】
であり、1+xiの幾何平均の対数の期待値μgeoとなるので、L回のlog2(1+xi)のの累算は、幾何平均の対数の期待値μgeoをL倍したものになる。
【0229】
大きな値が含まれる分布の場合に、算術平均が中央値よりも大きくなりやすい。幾何平均は、そのような場合にもそれほど大きくならない特徴がある。L回のlog2(1+xi)の累算もこの特徴を有するため、例えば、車両制御システムに本開示の測距装置を搭載して用いる場合に、対向車のヘッドライトなどによってL回のレーザ発光の内で、たまたま数回大きな値が混ざっていても影響を受けにくい。
【0230】
図49Aに、同期加算でノイズ平均化をした場合の幾何平均と算術平均の違いを表し、図49Bに、データ値(SPAD素子の出力値)のヒストグラムを表す。
【0231】
(時間方向の平均の効果)
同期加算でノイズ平均化をした場合と同様に、幾何平均は、算術平均よりも小さくなるが、大きな外れ値があるときに分布のピークのある場所と算術平均は一致しないが、幾何平均は一致しやすい。
【0232】
外乱光強度推定値の推定において、反射光が混ざった状態で幾何平均をとると、反射光の影響をあまり受けずに、外乱光の算術平均値の算術平均に近い値になる。図50Aに、時間方向の平均の場合の幾何平均と算術平均の違いを表し、図50Bに、データ値(画素値)のヒストグラムを表す。
【0233】
<本開示の第2実施形態>
第1の実施形態では、フラッシュ型と称される測距装置を例に挙げて説明した。これに対し、第2の実施形態では、スキャン型と称される測距装置を例に挙げて説明する。尚、以下の説明において、第1の実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。
【0234】
[測距装置のシステム構成例]
図51は、本開示の第2実施形態に係る測距装置の概略構成例を示す模式図である。図51に示すように、第2実施形態に係る測距装置は、光源部20及び受光装置30に加えて、制御装置200、集光レンズ201、ハーフミラー202、マイクロミラー203、受光レンズ204、及び、スキャン部205を備える構成となっている。
【0235】
マイクロミラー203及びスキャン部205は、受光装置30の受光部32に入射する光を走査する走査部を構成している。尚、この走査部には、マイクロミラー203及びスキャン部205の他にも、集光レンズ201、ハーフミラー202、及び、受光レンズ204のうちの少なくとも1つが含まれてもよい。
【0236】
光源部20は、例えば、第1実施形態の場合と同様に、1つ又は複数の半導体レーザダイオードで構成されており、所定時間幅のパルス状のレーザ光L1を所定の発光周期で出射する。また、光源部20は、例えば、1ギガヘルツ(GHz)の周期で、1ナノ秒の時間幅のレーザ光L1を出射する。
【0237】
集光レンズ201は、光源部20から出射したレーザ光L1を集光する。例えば、集光レンズ201は、レーザ光L1の広がりが受光装置30の受光面の画角分程度となるように、レーザ光L1を集光する。
【0238】
ハーフミラー202は、入射したレーザ光L1の少なくとも一部を、マイクロミラー203へ向けて反射する。尚、ハーフミラー202に代えて、偏光ミラーなど、一部の光を反射し、他の一部の光を透過する光学素子を用いることも可能である。
【0239】
マイクロミラー203は、反射面の中心を軸として角度を変化させることができるように、スキャン部205に取り付けられている。スキャン部205は、例えば、マイクロミラー203で反射したレーザ光L1の像SAが所定の走査エリアARを水平方向に往復するように、マイクロミラー203を水平方向に揺動又は振動させる。例えば、スキャン部205は、レーザ光L1の像SAが所定の走査エリアARを1ミリ秒で往復するように、マイクロミラー203を水平方向に揺動又は振動させる。尚、マイクロミラー203の揺動又は振動には、ステッピングモータやピエゾ素子などを利用することができる。
【0240】
測距範囲内に存在する物体90で反射したレーザ光L1の反射光L2は、レーザ光L1の出射軸と同じ光軸を入射軸として、レーザ光L1とは反対方向からマイクロミラー203に入射する。マイクロミラー203に入射した反射光L2は、レーザ光L1と同じ光軸に沿ってハーフミラー202に入射し、その一部がハーフミラー202を透過する。
【0241】
ハーフミラー202を透過した反射光L2の像は、受光レンズ204を介することで、受光装置30の受光部32における画素列に結像される。
【0242】
受光装置30については、第1実施形態において例示した受光装置、具体的には、第1実施形態の各実施例に係る受光装置と同様の構成とすることができる。その他の構成、及び、動作については、第1実施形態の場合と同様であってよい。従って、ここでは詳細な説明を省略する。
【0243】
受光装置30において、受光部32は、例えば、第1の実施形態で例示した画素60が垂直方向(行方向に対応)に配列した構造を備える。すなわち、受光部32は、例えば、図15で例示したSPADアレイ部323の一部の行(1行又は数行)で構成することができる。
【0244】
制御装置200は、例えば、CPU(Central Processing Unit)などの情報処理装置で構成され、光源部20、受光装置30、及び、スキャン部205などを制御する。
【0245】
[第2実施形態の作用・効果]
以上のように、本開示に係る技術は、フラッシュ型の測距装置に限らず、スキャン型の測距装置にも適用することができる。そして、スキャン型の測距装置において、受光装置30として、第1実施形態の各実施例に係る受光装置を用いることにより、第1実施形態の場合と同様の作用・効果を得ることができる。
【0246】
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【0247】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0248】
<本開示に係る技術の適用例>
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
【0249】
[移動体]
図52は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図52に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
【0250】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図52では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
【0251】
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
【0252】
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【0253】
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0254】
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【0255】
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【0256】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【0257】
ここで、図53は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0258】
尚、図53には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
【0259】
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【0260】
図52に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【0261】
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
【0262】
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【0263】
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
【0264】
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【0265】
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
【0266】
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
【0267】
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
【0268】
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
【0269】
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
【0270】
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【0271】
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【0272】
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【0273】
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図52の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【0274】
尚、図52に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
【0275】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成要素のうち、例えば、撮像部7410がToFカメラ(ToFセンサ)を含む場合に、当該ToFカメラとして、特に、先述した第1実施形態又は第2実施形態に係る受光装置を用いることができる。当該受光装置を測距装置のToFカメラとして搭載することで、例えば、測距対象物を高精度にて検出可能な車両制御システムを構築できる。
【0276】
<本開示がとることができる構成>
尚、本開示は、以下のような構成をとることもできる。
【0277】
≪A.受光装置≫
[A-1]物体からの光を受光するフォトンカウント型の受光素子が複数配置されて成る受光部、
所定の時刻の複数の受光素子の値を加算して画素値とする加算部、及び、
加算部で加算された画素値を対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする対数変換処理部、
を備え、
光源部からの照射パルス光に基づく、測距対象物からの反射光を受光する、
受光装置。
[A-2]対数変換処理部は、画素値から所定の値を減算した値を、対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする、
上記[A-1]に記載の受光装置。
[A-3]対数変換処理部は、所定の値が画素値よりも大きいときは、減算した値を0として変換処理を行う、
上記[A-2]に記載の受光装置。
[A-4]所定の値を外乱光の算術平均値に所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値とするとき、
画素値に基づいて、対数表現で外乱光の算術平均値を算出して外乱光強度を推定する外乱光推定処理部を有し、
対数変換処理部は、外乱光推定処理部で推定された外乱光強度を画素値から減算する、
上記[A-3]に記載の受光装置。
[A-5]対数変換処理部は、画素値を対数値又はその近似値に変換したデータから、所定の値を対数値又はその近似値に変換したデータを減算して、測距の演算に用いる対数表現データとする、
上記[A-1]に記載の受光装置。
[A-6]所定の値を外乱光の幾何平均値に所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値とするとき、
画素値に基づいて、対数表現で外乱光の幾何平均値を算出して外乱光強度を推定する外乱光推定処理部を有し、
外乱光推定処理部は、外乱光推定処理部で推定された外乱光強度を対数値又はその近似値に変換する、
上記[A-5]に記載の受光装置。
[A-7]光源部から照射パルス光を発光してから、反射光が戻ってくるまでの飛行時間をヒストグラムのビンとして対応させて、各時間にサンプリングされた画素値から算出される対数表現データを、その時間に対応するビンのカウント値として格納するヒストグラム加算処理部を有する、
上記[A-2]乃至上記[A-6]のいずれかに記載の受光装置。
[A-8]ヒストグラム加算処理部は、光源部からの複数回の照射パルス光発光に基づく、測距対象物からの反射光の各時間の対数表現データを、その時間に対応するビンのカウント値に加算してヒストグラムを更新する、
上記[A-7]に記載の受光装置。
[A-9]ヒストグラム加算処理部は、光源部からの複数回の照射パルス光発光に基づく反射光を受光して得られる画素値から算出したカウント値を累積したヒストグラムを生成する、
上記[A-8]に記載の受光装置。
[A-10]ヒストグラム加算処理部は、所定の測定期間の複数の時間においてサンプリングされた画素値を使って算出された値を所定の値として画素値から減算し、この減算で算出した対数表現データを、ヒストグラムのビンのカウント値として加算する、
上記[A-8]に記載の受光装置。
[A-11]対数表現のままヒストグラムのカウント値を大小比較して各反射光のピークを検出し、ピークの立ち上がり始めをビンに対応する時間から距離を算出する反射光検出部を有する、
上記[A-1]乃至上記[A-10]のいずれかに記載の受光装置。
[A-12]外乱光推定処理部は、
所定の測定期間の複数の時間においてサンプリングされた画素値を対数値又はその近似値に変換した対数表現データLogDを、所定の近似式を使って、対数表現のまま画素値を合計した総和値の対数値の近似値Sを算出し、
近似値Sからサンプリング数Nの対数値又はその近似値を減算した値から算術平均の近似値μを算出し、
対数表現データLogDを2倍した値を、所定の近似式を使って、対数表現のまま画素値を二乗して合計した総和値の対数値の近似値SSを算出し、
近似値SSからサンプリング数Nの対数値又はその近似値を減算した値MMを算出し、
算術平均の近似値μ及び値MMを使って外乱光の分散の近似値Vを算出し、
算術平均の近似値μに所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値と、分散の近似値Vから算出した外乱光の標準偏差の近似値とを出力する、
上記[A-1]乃至上記[A-11]のいずれかに記載の受光装置。
[A-13]外乱光推定処理部は、所定の測定期間の複数の時間においてサンプリングされた画素値を合計した総和値を対数値又はその近似値に変換し、その変換した対数表現データを画素値とした画像を出力する、
上記[A-1]乃至上記[A-12]のいずれかに記載の受光装置。
[A-14]外乱光推定処理部は、所定の測定期間の複数の時間においてサンプリングされた画素値を対数値又はその近似値に変換した対数表現データを、所定の近似式を使って、対数表現のまま画素値を合計した総和値の対数値の近似値を算出し、この近似値を画素値とした画像を出力する、
上記[A-1]乃至上記[A-12]のいずれかに記載の受光装置。
[A-15]対数表現の累算ヒストグラムを更に対数変換して圧縮する対数変換部を有する、
上記[A-1]乃至上記[A-14]のいずれかに記載の受光装置。
[A-16]対数表現の累算ヒストグラムを、累算ヒストグラムの最小値で減算後に更に対数変換して圧縮する対数変換部を有する、
上記[A-1]乃至上記[A-14]のいずれかに記載の受光装置。
[A-17]ヒストグラム加算処理部は、対数表現データを格納するメモリの前後に、差分符号化によるデータ圧縮伸長機能を有する、
上記[A-1]乃至上記[A-16]のいずれかに記載の受光装置。
[A-18]受光素子は、ガイガーモードで動作するアバランシェフォトダイオードから成る、
上記[A-1]乃至上記[A-17]のいずれか1項に記載の受光装置。
【0278】
≪B.受光装置の信号処理方法≫
[B-1]物体からの光を受光するフォトンカウント型の受光素子が複数配置されて成る受光部、
を備え、
光源部からの照射パルス光に基づく、測距対象物からの反射光を受光する、
受光装置の信号処理に当たって、
所定の時刻の複数の受光素子の値を加算して画素値とし、
次いで、画素値を対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする、
受光装置の信号処理方法。
【0279】
≪C.測距装置≫
[C-1]測距対象物に対してパルス光を照射する光源部、及び、
光源部からの照射パルス光に基づく、測距対象物からの反射光を受光する受光装置、
を具備し、
受光装置は、
物体からの光を受光するフォトンカウント型の受光素子が複数配置されて成る受光部、
所定の時刻の複数の受光素子の値を加算して画素値とする加算部、及び、
加算部で加算された画素値を対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする対数変換処理部、
を備える測距装置。
[C-2]対数変換処理部は、画素値から所定の値を減算した値を、対数値又はその近似値に変換して、測距の演算に用いる対数表現データとする、
上記[C-1]に記載の測距装置。
[C-3]対数変換処理部は、所定の値が画素値よりも大きいときは、減算した値を0として変換処理を行う、
上記[C-2]に記載の測距装置。
[C-4]所定の値を外乱光の算術平均値に所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値とするとき、
画素値に基づいて、対数表現で外乱光の算術平均値を算出して外乱光強度を推定する外乱光推定処理部を有し、
対数変換処理部は、外乱光推定処理部で推定された外乱光強度を画素値から減算する、
上記[C-3]に記載の測距装置。
[C-5]対数変換処理部は、画素値を対数値又はその近似値に変換したデータから、所定の値を対数値又はその近似値に変換したデータを減算して、測距の演算に用いる対数表現データとする、
上記[C-1]に記載の測距装置。
[C-6]所定の値を外乱光の幾何平均値に所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値とするとき、
画素値に基づいて、対数表現で外乱光の幾何平均値を算出して外乱光強度を推定する外乱光推定処理部を有し、
外乱光推定処理部は、外乱光推定処理部で推定された外乱光強度を対数値又はその近似値に変換する、
上記[C-5]に記載の測距装置。
[C-7]光源部から照射パルス光を発光してから、照射パルス光が戻ってくるまでの飛行時間をヒストグラムのビンとして対応させて、各時間にサンプリングされた画素値から算出される対数表現データを、その時間に対応するビンのカウント値として格納するヒストグラム加算処理部を有する、
上記[C-2]乃至上記[C-6]のいずれかに記載の測距装置。
[C-8]ヒストグラム加算処理部は、光源部からの複数回の照射パルス光発光に基づく、測距対象物からの反射光の各時間の対数表現データを、その時間に対応するビンのカウント値に加算してヒストグラムを更新する、
上記[C-7]に記載の測距装置。
[C-9]ヒストグラム加算処理部は、光源部からの複数回の照射パルス光発光に基づく反射光を受光して得られる画素値から算出したカウント値を累積したヒストグラムを生成する、
上記[C-8]に記載の測距装置。
[C-10]ヒストグラム加算処理部は、所定の測定期間の複数の時間においてサンプリングされた画素値を使って算出された値を所定の値として画素値から減算し、この減算で算出した対数表現データを、ヒストグラムのビンのカウント値として加算する、
上記[C-8]に記載の測距装置。
[C-11]対数表現のままヒストグラムのカウント値を大小比較して各反射光のピークを検出し、ピークの立ち上がり始めをビンに対応する時間から距離を算出する反射光検出部を有する、
上記[C-1]乃至上記[C-10]のいずれかに記載の測距装置。
[C-12]外乱光推定処理部は、
所定の測定期間の複数の時間においてサンプリングされた画素値を対数値又はその近似値に変換した対数表現データLogDを、所定の近似式を使って、対数表現のまま画素値を合計した総和値の対数値の近似値Sを算出し、
近似値Sからサンプリング数Nの対数値又はその近似値を減算した値から算術平均の近似値μを算出し、
対数表現データLogDを2倍した値を、所定の近似式を使って、対数表現のまま画素値を二乗して合計した総和値の対数値の近似値SSを算出し、
近似値SSからサンプリング数Nの対数値又はその近似値を減算した値MMを算出し、
算術平均の近似値μ及び値MMを使って外乱光の分散の近似値Vを算出し、
算術平均の近似値μに所定の乗数を乗じた値に所定の加数を加算した外乱光強度推定値と、分散の近似値Vから算出した外乱光の標準偏差の近似値とを出力する、
上記[C-1]乃至上記[C-11]のいずれかに記載の測距装置。
[C-13]外乱光推定処理部は、所定の測定期間の複数の時間においてサンプリングされた画素値を合計した総和値を対数値又はその近似値に変換し、その変換した対数表現データを画素値とした画像を出力する、
上記[C-1]乃至上記[C-12]のいずれかに記載の測距装置。
[C-14]外乱光推定処理部は、所定の測定期間の複数の時間においてサンプリングされた画素値を対数値又はその近似値に変換した対数表現データを、所定の近似式を使って、対数表現のまま画素値を合計した総和値の対数値の近似値を算出し、この近似値を画素値とした画像を出力する、
上記[C-1]乃至上記[C-12]のいずれかに記載の測距装置。
[C-15]対数表現の累算ヒストグラムを更に対数変換して圧縮する対数変換部を有する、
上記[C-1]乃至上記[C-14]のいずれかに記載の測距装置。
[C-16]対数表現の累算ヒストグラムを、累算ヒストグラムの最小値で減算後に更に対数変換して圧縮する対数変換部を有する、
上記[C-1]乃至上記[C-14]のいずれかに記載の測距装置。
[C-17]ヒストグラム加算処理部は、対数表現データを格納するメモリの前後に、差分符号化によるデータ圧縮伸長機能を有する、
上記[C-1]乃至上記[C-16]のいずれかに記載の測距装置。
[C-18]受光素子は、ガイガーモードで動作するアバランシェフォトダイオードから成る、
上記[C-1]乃至上記[C-17]のいずれか1項に記載の測距装置。
【符号の説明】
【0280】
1・・・測距装置、10・・・測距対象物(被写体)、20・・・光源部、30・・・受光装置、31・・・制御部、32・・・受光部、33・・・加算部、34・・・ヒストグラム加算処理部、35・・・外乱光推定処理部、36・・・平滑化フィルタ、37・・・反射光検出部、38・・・外部出力インタフェース(I/F)、40・・・ホスト50・・・SPAD画素、60・・・画素、61・・・対数変換処理部、62・・・対数表現での外乱光推定処理部、63・・・対数表現でのヒストグラム加算処理部、64・・・対数表現での平滑化フィルタ、65・・・対数変換部、66・・・対数表現での反射光検出部、70・・・画素グループ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
図45
図46
図47
図48
図49
図50
図51
図52
図53