(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022175591
(43)【公開日】2022-11-25
(54)【発明の名称】測距装置及び測距システム
(51)【国際特許分類】
G01S 7/487 20060101AFI20221117BHJP
H04N 5/369 20110101ALI20221117BHJP
【FI】
G01S7/487
H04N5/369
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2021082135
(22)【出願日】2021-05-14
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】西野 辰樹
【テーマコード(参考)】
5C024
5J084
【Fターム(参考)】
5C024CY17
5C024GX02
5J084AA05
5J084AA10
5J084AC02
5J084AC03
5J084AC04
5J084AC06
5J084AC07
5J084AD01
5J084AD06
5J084BA04
5J084BA36
5J084BA40
5J084BA49
5J084BB02
5J084BB24
5J084BB26
5J084CA12
5J084CA31
5J084CA32
5J084CA49
5J084CA70
5J084DA01
5J084DA08
5J084EA01
(57)【要約】
【課題】測距精度が低下することを抑制することが可能な、測距装置、測距システムを提供する。
【解決手段】照明装置からの照射光が照射された対象物からの前記照射光の反射光が入射する第1の領域に受光領域が配置され、それぞれ第1の信号を生成する複数の第1の画素ユニットと、前記反射光が入射しない第2の領域に受光領域が配置され、それぞれ第2の信号を生成する複数の第2の画素ユニットとを有し、前記第1及び第2の画素ユニットを含む複数の画素ユニットそれぞれの受光領域が行列方向に配列された画素アレイと、前記第1の信号及び前記第2の信号に基づいて距離情報を出力する測距処理部と、を備える測距装置を提供する。
【選択図】
図7
【特許請求の範囲】
【請求項1】
照明装置からの照射光が照射された対象物からの前記照射光の反射光が入射する第1の領域に受光領域が配置され、それぞれ第1の信号を生成する複数の第1の画素ユニットと、前記反射光が入射しない第2の領域に受光領域が配置され、それぞれ第2の信号を生成する複数の第2の画素ユニットとを有し、前記第1及び第2の画素ユニットを含む複数の画素ユニットそれぞれの受光領域が行列方向に配列された画素アレイと、
前記第1の信号及び前記第2の信号に基づいて距離情報を出力する測距処理部と、
を備えた測距装置。
【請求項2】
前記第1の領域は前記行または前記列に沿った矩形領域である、
請求項1に記載の測距装置。
【請求項3】
前記第2の領域は前記第1の領域と平行な矩形領域である、
請求項2に記載の測距装置。
【請求項4】
前記第2の画素ユニットは前記第1の画素ユニットと隣接している、
請求項1に記載の測距装置。
【請求項5】
前記第1の領域は前記画素アレイの複数の領域に分離している、
請求項1に記載の測距装置。
【請求項6】
前記第2の画素ユニットは前記第1の画素ユニットと隣接している、
請求項5に記載の測距装置。
【請求項7】
前記第1の画素ユニットは複数の光電変換部を含む、
請求項1に記載の測距装置。
【請求項8】
前記測距処理部は、前記第1の画素ユニットそれぞれで生成された前記第1の信号と、前記第2の画素ユニットそれぞれで生成された前記第2の信号とに基づくことで、前記第1の画素ユニットそれぞれの前記距離情報を生成する、
請求項1に記載の測距装置。
【請求項9】
前記測距処理部は、前記第1の画素ユニットそれぞれで生成された前記第1の信号と、前記複数の第2の画素ユニットのうちの2以上の第2の画素ユニットそれぞれで生成された前記第2の信号の平均値とに基づくことで、前記第1の画素ユニットそれぞれの前記距離情報を生成する、
請求項1に記載の測距装置。
【請求項10】
前記測距処理部は、
前記第1の信号に基づいて第1のヒストグラムを生成する第1のヒストグラム生成部と、
前記第2の信号に基づいて第2のヒストグラムを生成する第2のヒストグラム生成部と、
を有するヒストグラム生成部を備え、
前記第1のヒストグラム及び前記第2のヒストグラムに基づいて前記距離情報を生成する、
請求項8に記載の測距装置。
【請求項11】
前記測距処理部は、前記第1のヒストグラムから第2のヒストグラムを減算することで、第3のヒストグラムを生成する、
請求項10に記載の測距装置。
【請求項12】
前記測距処理部は、前記第3のヒストグラムのピーク、特徴点、重心のうち少なくとも何れか1つに基づいて前記距離情報を生成する
請求項11に記載の測距装置。
【請求項13】
前記測距処理部は、
前記第1のヒストグラム生成部が前記第1のヒストグラムの生成に使用する第1のメモリ回路と、
前記第2のヒストグラム生成部が前記第2のヒストグラムの生成に使用する第2のメモリ回路と、
をさらに有し、
前記第1のメモリ回路に生成された前記第1のヒストグラムから前記第2のメモリ回路に生成された前記第2のヒストグラムを減算することで、前記第3のヒストグラムを生成する、
請求項11に記載の測距装置。
【請求項14】
前記測距処理部は、
前記第1の信号に基づく第1のヒストグラムと、前記第2の信号に基づく第2のヒストグラムとを生成するヒストグラム生成部と、
前記ヒストグラム生成部が前記第1及び第2のヒストグラムの生成に使用するメモリ回路と、
前記メモリ回路に生成された前記第1のヒストグラムを保持するバッファ回路と、
を有し、
前記メモリ回路内に前記第1のヒストグラムを生成し、当該メモリ回路内に生成された前記第1のヒストグラムを前記バッファ回路に転送し、前記メモリ回路内に前記第2のヒストグラムを生成し、前記バッファ回路に保持された前記第1のヒストグラムと前記メモリ回路内の前記第2のヒストグラムとに基づいて前記距離情報を生成する、
請求項1に記載の測距装置。
【請求項15】
前記ヒストグラム生成部の入力を前記第1の信号と前記第2の信号との何れかに切り替えるスイッチ回路をさらに備える、
請求項14に記載の測距装置。
【請求項16】
前記測距処理部は、前記第1の信号に基づいてヒストグラムの値を加算し、前記第2の信号に基づいて前記ヒストグラムの値を減算するヒストグラム生成部を有する、
請求項1に記載の測距装置。
【請求項17】
前記距離情報は、前記測距処理部が前記第1の信号及び前記第2の信号に基づいて生成するヒストグラムのピークに対応するビン番号又は時間情報を含む、
請求項1に記載の測距装置。
【請求項18】
前記距離情報は、前記測距処理部が前記第1の信号及び前記第2の信号に基づいて生成するヒストグラムの特徴点を含む、
請求項17に記載の測距装置。
【請求項19】
前記距離情報は、前記測距処理部が前記第1の信号及び前記第2の信号に基づいて生成するヒストグラムを含む、
請求項1に記載の測距装置。
【請求項20】
照射光を照射する照明装置と、
前記照射光が対象物によって反射された反射光を受光する測距装置と、
を備え、
前記測距装置は、
前記反射光が入射する第1の領域に受光領域が配置され、それぞれ第1の信号を生成する複数の第1の画素ユニットと、前記反射光が入射しない第2の領域に受光領域が配置され、それぞれ第2の信号を生成する複数の第2の画素ユニットとを有し、前記第1及び第2の画素ユニットを含む複数の画素ユニットそれぞれの受光領域が行列方向に配列された画素アレイと、
前記第1の信号及び前記第2の信号に基づいて距離情報を出力する測距処理部と、
を備えた測距システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、測距装置及び測距システムに関する。
【背景技術】
【0002】
LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)用途に用いられる技術として、光源から対象物に光を照射してから、受光部がその反射光を検出するまでの時間を計測するToF(Time-of-flight)法により距離計測を行う距離計測センサ(以下、ToFセンサという)が注目されている。
【0003】
ToFセンサでは、光源が発光してからその反射光が受光部の光電変換部へ入射するまでの時間(以下、飛行時間という)を物理量として複数回計測することで、その結果から生成された物理量からなるヒストグラムに基づいて、対象物までの距離を特定する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、このようなToFセンサにおいて生じるフレア現象等の影響により、測距精度が低下することが課題であった。
【0006】
本開示は、上記に鑑みてなされたものであって、測距精度の低下を抑制することが可能な測距装置及び測距システムを提案する。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本開示に係る一形態の測距装置は、照明装置からの照射光が照射された対象物からの前記照射光の反射光が入射する第1の領域に受光領域が配置され、それぞれ第1の信号を生成する複数の第1の画素ユニットと、前記反射光が入射しない第2の領域に受光領域が配置され、それぞれ第2の信号を生成する複数の第2の画素ユニットとを有し、前記第1及び第2の画素ユニットを含む複数の画素ユニットそれぞれの受光領域が行列方向に配列された画素アレイと、前記第1の信号及び前記第2の信号に基づいて距離情報を出力する測距処理部と、を備える。
【0008】
さらに、本開示に係る一形態の測距システムは、照射光を照射する照明装置と、前記照射光が対象物によって反射された反射光を受光する測距装置と、を備え、前記測距装置は、前記反射光が入射する第1の領域に受光領域が配置され、それぞれ第1の信号を生成する複数の第1の画素ユニットと、前記反射光が入射しない第2の領域に受光領域が配置され、それぞれ第2の信号を生成する複数の第2の画素ユニットとを有し、前記第1及び第2の画素ユニットを含む複数の画素ユニットそれぞれの受光領域が行列方向に配列された画素アレイと、前記第1の信号及び前記第2の信号に基づいて距離情報を出力する測距処理部と、を備える。
【図面の簡単な説明】
【0009】
【
図1】
図1は、本開示の実施形態に係る測距システム1の概略構成の一例を示すブロック図である。
【
図2】
図2は、
図1に示した画素アレイ100の概略構成の一例を示す図である。
【
図3】
図3は、本開示の実施形態に係る測距システム1の光学システムの概略構成の一例を示す図である。
【
図4】
図4は、本開示の実施形態に係る測距システム1の光学システムの概略構成の一例を示す図である。
【
図5】
図5は、
図2においてフレア現象が生じている場合の模式図の一例を示す図である。
【
図6】
図6は、
図5に示したフレア画素におけるヒストグラムの概略図の一例を示す図である。
【
図7】
図7は、第1の実施形態に係る画素アレイ100及び測距処理部110の詳細構成の一例を示すブロック図である。
【
図8】
図8は、第1の実施形態に係る減算処理前後のヒストグラムの概略図の一例を示す図である。
【
図9】
図9は、第1の実施形態に係る演算処理の概略例を示すフローチャートである。
【
図10】
図10は、第1の実施形態の変形例に係る画素アレイ100のレーザ照射領域1010の変形例の概略構成の一例を示す図である。
【
図11】
図11は、第2の実施形態に係る画素アレイ100及び測距処理部210の詳細構成の一例を示すブロック図である。
【
図12】
図12は、第2の実施形態に係る演算処理の概略例を示すフローチャートである。
【
図13】
図13は、第3の実施形態に係る画素アレイ100及び測距処理部310の詳細構成の一例を示すブロック図である。
【
図14】
図14は、第3の実施形態に係る画素アレイ100及び測距処理部310の変形例の詳細構成の一例を示すブロック図である。
【
図15】
図15は、第3の実施形態に係る演算処理の概略例を示すフローチャートである。
【
図16】
図16は、適用例に係る車両制御システムの概略構成の一例を示すブロック図である。
【
図17】
図17は、適用例に係る車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0010】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0011】
また、以下に示す項目順序に従って本開示を説明する。
1.第1の実施形態
1.1 測距システム
1.2 光学システム
1.3 画素アレイ
1.4 背景
1.5 演算方法
1.6 変形例
1.7 作用・効果
2.第2の実施形態
2.1 演算方法
2.2 作用・効果
3.第3の実施形態
3.1 演算方法
3.2 作用・効果
4.適用例
5.補足
【0012】
1.第1の実施形態
1.1 測距システム
図1は、本開示の実施形態に係る測距システム1の概略構成の一例を示すブロック図である。
図1に示すように、測距システム1は、光源部10と測距装置20と全体制御部30と受光部光学系40とを備える。測距システム1は、光源とToFセンサとを備えるセンサシステムであり、光を射出するとともに、対象物50により反射された反射光を検出するように構成される。ここで、対象物50は測距システム1の画角内に存在する1以上の物体であってよい。
【0013】
光源部10は、全体制御部30からの指示に基づいて、対象物50に向かってレーザ光(照射光)L0を射出するように構成される。光源部10は、全体制御部30からの指示に基づいて、発光および非発光を交互に繰り返す発光動作を行うことにより所定の発光周期でレーザ光L0を射出する。光源部10は、例えば赤外光を射出する光源を備える。この光源は、例えば、レーザ光源やLED(Light Emitting Diode)などを用いて構成される。また、レーザ光源に、面光源として、例えば、VCSEL(Vertical Cavity Surface Emitting LASER)を適用することもできる。ここで、光源部10は、本開示における「照明装置」の一具体例に対応する。対象物50は、本開示における「対象物」の一具体例に対応する。
【0014】
受光部光学系40は、測距装置20の受光面において像を結像させるレンズを含んで構成される。この受光部光学系40には、光源部10から射出され、対象物50により反射された光パルス(反射光パルスL1)が入射するようになっている。
【0015】
測距装置20は、
図1に示すように、画素アレイ100と、測距処理部110と、測距制御部120と、駆動回路130と、発光タイミング制御部140と、制御部150と、クロック生成部160と、出力部170とを備える。測距装置20は、全体制御部30からの指示に基づいて、反射光パルスL1を検出するように構成される。そして、測距装置20は、検出結果に基づいて距離画像を生成し、生成した距離画像の画像データを出力部170より距離情報D1として出力する。ここで、画素アレイ100は、本開示における「画素アレイ」の一具体例に対応する。測距処理部110は本開示における「測距処理部」の一具体例に対応する。
【0016】
これら、画素アレイ100と、測距処理部110と、測距制御部120と、駆動回路130と、発光タイミング制御部140と、制御部150と、クロック生成部160と、出力部170とは、1つの半導体チップ上に配置することができる。また一方で、測距装置20は第1の半導体チップと第2の半導体チップとを積層した構成としてもよい。この場合、例えば画素アレイ100の一部の(光電変換部1001)を第1の半導体チップ上に配置し、測距装置に含まれる他の部分を第2の半導体チップ上に配置する構成が考えられる。
【0017】
図1において、全体制御部30は、例えば予め組み込まれるプログラムに従い、測距システム1全体の動作を制御する。また、全体制御部30は、外部から供給される外部制御信号に応じた制御を実行することもできる。一方、制御部150は、全体制御部30からの指示に従い、測距装置20全体の動作を制御する。
【0018】
クロック生成部160は、外部から供給される基準クロック信号に基づき、測距装置20内で用いられる1以上のクロック信号を生成する。発光タイミング制御部140は、全体制御部30から供給される発光トリガ信号に従い、発光タイミングを示す発光制御信号を生成する。発光制御信号は、光源部10に供給されるとともに、測距処理部110に供給される。測距制御部120は、制御部150からの指示に基づいて、測距処理部110の動作を制御することにより、画素アレイ100の各画素1000から出力される検出信号に基づく距離情報の生成を測距処理部110に実行させる。
【0019】
画素アレイ100は、マトリックス状に配置された複数の画素1000を備える。画素1000は、光を検出することにより、検出した光の光量に応じた検出信号PLSを生成するように構成される。詳しくは、
図2を用いて後述する。
【0020】
複数の画素1000に対しては、列ごとに画素駆動線LD(図面中の上下方向)が接続され、その一端は駆動回路130の各列に対応した出力端に接続される。
【0021】
本実施形態では、画素アレイ100の全部又は一部を使用して、反射光L1を検出する。画素アレイ100における使用する領域は、レーザ光L0全体が反射光L1として反射された場合に画素アレイ100に結像される反射光L1の像と同じ、スキャン方向と垂直な方向(図面中、上下方向。以下、垂直方向ともいう)に長い矩形であってよい。ただし、これに限定されず、画素アレイ100に結像される反射光L1の像よりも大きな領域や小さな領域など、種々変形されてよい。
【0022】
駆動回路130は、シフトレジスタやアドレスデコーダなどを含み、画素アレイ100の各画素1000を、全画素同時や列単位等で駆動する。そこで、駆動回路130は、少なくとも、画素アレイ100内の選択列における各画素1000に、後述するクエンチ電圧V_QCHを印加する回路と、選択列における各画素1000に、後述する選択制御電圧V_SELを印加する回路とを含む。そして、駆動回路130は、読出し対象の列に対応する画素駆動線LDに選択制御電圧V_SELを印加することで、フォトンの入射を検出するために用いる画素1000を列単位で選択する。
【0023】
画素アレイ100から出力された検出信号は、測距処理部110に供給される。測距処理部110は、TDC部111と、ヒストグラム生成部112と、信号処理部113とを備える。
【0024】
各画素1000から読み出された検出信号PLSは、TDC部111に供給される。ここで、検出信号は、画素アレイ100における例えば画素列ごとに、所定のサンプリング周期で読み出され、TDC部111に供給される。
【0025】
TDC部111は、基準とするタイミング(例えば、発光タイミング制御部140から発光制御信号が入力されたタイミング)から画素アレイ100から供給された検出信号PLSが入力されるまでの時間差を計測し、計測された時間差を示すデジタル情報を生成する。すなわち、TDC部111は、発光制御信号と検出信号PLSとに基づき、光源部10から光が出射してその光が対象物50で反射して各画素1000に入射するまでの飛行時間を示す時間情報を生成する。
【0026】
ヒストグラム生成部112は、TDC部111により生成された時間情報に基づいてヒストグラムを生成する。ここで、ヒストグラム生成部112は、時間情報を、測距制御部120により設定された単位時間dに基づき計数し、ヒストグラムを生成する。単位時間dとは、例えば、ヒストグラムにおける1つのビンに割り当てられた時間幅であってよい。また、単位時間dは、例えば、画素アレイ100の各画素1000から検出信号を読み出すサンプリング周期と同じ時間幅であってもよい。
【0027】
信号処理部113は、ヒストグラム生成部により生成されたヒストグラムのデータに基づき、所定の演算処理を行い、例えば、距離情報を算出する。信号処理部113は、例えば、ヒストグラムのデータに基づき、当該ヒストグラムの曲線近似を作成する。信号処理部113は、このヒストグラムが近似された曲線のピークを検出し、検出されたピークに基づき、対象物50までの距離Dを求めることができる。
【0028】
信号処理部113は、ヒストグラムの曲線近似を行う際に、ヒストグラムが近似された曲線に対してフィルタ処理を施すことができる。例えば、信号処理部113は、ヒストグラムが近似された曲線に対してローパスフィルタ処理を施すことで、ノイズ成分を抑制することが可能である。
【0029】
測距処理部110から出力される距離情報は出力部170に供給される。出力部170はインターフェース部とも呼ばれ、測距処理部から供給された距離情報を、出力データとして外部に出力する。出力部170としては、例えば、MIPI(Mobile Industry Processor Interface)を適用することができる。
【0030】
なお、上述では、信号処理部113で求められた距離情報は出力部170を介して外部に出力されているが、これはこの例に限定されない。すなわち、ヒストグラム生成部112により生成されたヒストグラムのデータを出力部170から出力する構成をとってもよい。この場合、測距条件情報は、フィルタ係数を示す情報を省略することができる。出力部170から出力されたヒストグラムデータは、例えば、外部の情報処理装置に供給され、適宜、処理される。
【0031】
また、距離情報はヒストグラムのデータそのものでなくてもよい。すなわち、距離情報は、ヒストグラムが近似された曲線の特徴点の情報であってもよい。
【0032】
全体制御部30は、光源部10および測距装置20に制御信号を供給し、これらの動作を制御することにより、測距システム1の動作を制御するように構成される。
【0033】
1.2 光学システム
図3は、本実施形態に係る測距システム1の光学システムの概略構成を示す図である。
図3では、測距装置20の画角を水平方向に走査する、いわゆるスキャン型の光学システムを例示する。
【0034】
図3に示すように、測距システム1は、光学システムとして、光源11と、集光レンズ12と、ハーフミラー13と、ポリゴンミラー14と、受光レンズ15と、画素アレイ100とを備える。光源11、集光レンズ12、ハーフミラー13及びポリゴンミラー14は、例えば、
図1における光源部10に含まれる。また、受光レンズ15は
図1における受光部光学系40に含まれる。なお、ハーフミラー13及びポリゴンミラー14は、光源部10と受光部光学系40とで共有されてよい。
【0035】
図3に示す構成において、光源11から出射したレーザ光L0は、集光レンズ12により、断面の強度スペクトルが垂直方向に長い矩形の平行光に変換され、その後、ハーフミラー13に入射する。ハーフミラー13は、入射したレーザ光L0の一部を反射する。ハーフミラー13で反射したレーザ光L0は、ポリゴンミラー14に入射する。ポリゴンミラー14は、例えば、全体制御部30からの制御に基づいて動作する駆動部16により、所定の回転軸を振動中心として水平方向に振動する。これにより、ポリゴンミラー14で反射したレーザ光L0の画角SRが測距範囲ARを水平方向に往復走査するように、レーザ光L0が水平走査される。なお、駆動部16には、MEMS(Micro Electro Mechanical System)やマイクロモーター等を用いることができる。
【0036】
ポリゴンミラー14で反射したレーザ光L0は、測距範囲AR内に存在する対象物50で反射し、反射光L1としてポリゴンミラー14に入射する。ポリゴンミラー14に入射した反射光L1の一部は、ハーフミラー13を透過して受光レンズ15に入射し、それにより、画素アレイ100における特定の領域に結像される。なお、特定の領域は、画素アレイ100の全体であってもよいし、一部であってもよい。また、特定の領域は、例えば、特許請求の範囲における第1の領域に相当する領域であってもよい。
【0037】
図3ではスキャン型の光学系を例示したが、これに限定されず、例えば、
図4に示すように、測距システム1の画角が固定された、いわゆるフラッシュ型の光学システムとすることも可能である。この場合、
図4に示すように、光源11と、照射レンズ17と、集光レンズ18と、画素アレイ100とを備える。光源11から出射されたレーザ光L0は、照射レンズ17を介することで必要十分な広がり角の光に変換されて、測距範囲AR全体に照射される。測距範囲AR内に存在する対象物50で反射したレーザ光L0は、反射光L1として、集光レンズ18を介して画素アレイ100に入射する。このように、一度の発光で測距範囲AR全体を測定することが可能なフラッシュ型の測距システム1では、測距範囲AR内を走査するための駆動部16やハーフミラー13と、ポリゴンミラー14とを必要としておらず、そのため、スキャン型の測距システム1と比較して、光学システムが小規模で済むという利点がある。
【0038】
1.3 画素アレイ
図2は、
図1に示した画素アレイ100の概略構成の一例を示す図である。
図2に示すように、画素アレイ100は複数の画素1000が行列方向に配列されており、各画素1000は、光電変換部1001と、クエンチ抵抗1002と、選択トランジスタ1003と、インバータ1004とを備える。例えば、クエンチ抵抗1002はPMOSトランジスタで構成されていてもよい。
【0039】
光電変換部1001は、入射された光を光電変換により電気信号に変換して出力する。光電変換部1001は、入射された光子(光子)を光電変換により電気信号に変換し、光子の入射に応じたパルスを出力する。光電変換部1001として、例えば、単一光子アバランシェダイオード(SPAD:Single Photon Avalanche Diode)が用いられる。SPADは、カソードにアバランシェ増倍が発生する大きな負電圧を加えておくと、1光子の入射に応じて発生した電子がアバランシェ増倍を生じ、大電流が流れる特性を有する。SPADのこの特性を利用することで、1光子の入射を高感度で検知することができる。ここで、光電変換部1001は、本開示における「光電変換部」の一具体例に対応する。
【0040】
図2において、光電変換部1001は、カソードがクエンチ抵抗1002のドレインに接続され、アノードが光電変換部1001の降伏電圧である電圧Vbdに対応する負電圧(-Vop)の電圧源に接続される。クエンチ抵抗1002のソースが電源電圧Veに接続される。クエンチ抵抗1002のゲートには、クエンチ電圧V_QCHが入力される。クエンチ抵抗1002は、電源電圧Veおよびクエンチ電圧V_QCHに応じた電流をドレインから出力する電流源である。このような構成により、光電変換部1001には、逆バイアスが印加される。また、光電流は、光電変換部1001のカソードからアノードに向けた方向に流れる。
【0041】
より詳細には、光電変換部1001は、カソードに電源電圧Veが印加され、カソードーアノード間の電圧が電圧Ve+Vopとなっている状態で光子が入射されると、アバランシェ増倍が開始されカソードからアノードの方向に向けて電流が流れ、それに伴い光電変換部1001において電圧降下が発生する。この電圧降下により、光電変換部1001のカソードーアノード間の電圧が電圧Vopまで下がるとアバランシェ増倍が停止される(クエンチング動作)。その後、電流源であるクエンチ抵抗1002からの電流(リチャージ電流)により光電変換部1001が充電され、光電変換部1001の状態が光子入射前の状態に戻る(リチャージ動作)。
【0042】
クエンチ抵抗1002のドレインと光電変換部1001のカソードとの接続点から取り出された電圧Vcaが、インバータ1004に入力される。インバータ1004は、入力された電圧Vcaに対して閾値電圧Vthに基づき閾値判定を行い、出力する信号Vinvを、当該電圧Vcaが閾値電圧Vthを正方向または負方向に超える毎に反転させる。
【0043】
より具体的には、インバータ1004は、光電変換部1001に対する光子の入射に応じたアバランシェ増倍による電圧降下において、電圧Vcaが閾値電圧Vthを跨いだ第1のタイミングで、信号Vinvを反転させる。次に、リチャージ動作により光電変換部1001の充電が行われ電圧Vcaが上昇する。インバータ1004は、この上昇する電圧Vcaが閾値電圧Vthを跨いだ第2のタイミングで、信号Vinvを再び反転させる。この第1のタイミングと第2のタイミングとの時間方向の幅が、光電変換部1001に対する光子の入射に応じた出カパルスとなる。この出力パルスは、
図1において説明した検出信号PLSに対応する。また、検出信号PLSは、本開示における「第1の信号」及び「第2の信号」の一具体例に対応する。
【0044】
選択トランジスタ1003は、例えば、NMOSトランジスタであり、そのドレインがクエンチ抵抗1002のドレインと光電変換部1001のカソードとの接続点に接続され、そのソースが電圧Vgに接続されている。電圧VgはGND電圧(0V)であってもよいし、負電圧であってもよい。選択トランジスタ1003のゲートは駆動回路130に接続されており、ゲートに駆動回路130からの選択制御電圧V_SELが画素駆動線LDを介して印加されると、選択トランジスタ1003がオフ状態からオン状態に変化する。
【0045】
画素1000の出力状態は、例えば以下のように動作する。選択トランジスタ1003がオフ状態である期間(非接続期間)、光電変換部1001のカソードには電源電圧Veが供給されることから、光電変換部1001に光子が入射すると前述したように、電圧降下が生じ、画素1000からは出力パルスが出力される。この状態である画素1000のことを以下アクティブ画素1200と呼ぶ。一方、選択トランジスタ1003がオンである期間(接続期間)、光電変換部1001のカソードは電圧Vgが印加される。すなわち、光電変換部1001には降伏電圧を超える電圧が印加されない状態となり、光子が光電変換部1001に入射しても、画素1000からは出力パルスは出力されない。この状態である画素1000のことを以下非アクティブ画素と呼ぶ。
【0046】
また、
図2に示すように、1つのヒストグラムの作成に使用される画素1000の数は、複数であってもよい。その場合、本説明では、1つのヒストグラムの作成に使用される複数の画素1000の集合をマクロ画素1100(画素ユニットとも呼ぶ)と称する。このマクロ画素1100は、例えばm×n(m、nはそれぞれ2以上の整数)の画素1000で構成される。このように、1つのマクロ画素1100をデプス画像の1画素に対応する構成とした場合、1つのマクロ画素1100を構成する複数の画素1000のうちで光子の入射が検出された画素1000の数が検出信号として出力される。なお、デプス画像とは、各画素の値がヒストグラムに基づいて決定された距離情報である画像データであってよい。
【0047】
1.4 背景
上述した測距装置(ToFセンサ)において、非常に強い光の強度を持つ反射光が受光部に入射すると、受光部はその反射光を吸収しきれずに、更なる反射を引き起こす。この受光部からの反射光は、多方向の角度に分散され、測距装置のパッケージや受光レンズを含むレンズにより反射され、再び受光部へ入射する。この現象はフレア現象と呼ばれ、アクティブ画素の受光量に影響を及ぼし、本来の測距データとは異なる位置にピークを持つヒストグラムが生成され、測距誤差として検出される。以下、フレア現象により受光部へ再入射する光のことを、フレア光と呼ぶ。
【0048】
図5に、画素アレイ100においてフレア現象が生じている場合の模式図を示す。
図5に示すように、レーザ照射領域1010と、読み出し領域1020と、フレア画素1030と、フレア領域1040が画素アレイ100上に存在する。
【0049】
レーザ照射領域1010は、反射光L1が画素アレイ100において照射される領域である。このレーザ照射領域1010は
図5においては矩形で示されているが、矩形でなくてもよい。
【0050】
読み出し領域1020は、画素アレイ100において入射してくる光に応じで検出信号を出力することができるような状態になっている領域のことを指し、複数のアクティブ画素1200により構成される。この読み出し領域1020は、例えば、複数のアクティブ状態のマクロ画素1100で構成されていてもよい。
【0051】
一般的に、消費電力の観点から、画素アレイ100の全ての画素1000がアクティブ状態になっていることは少ない。例えば、レーザ照射領域1010と読み出し領域1020とは、
図5に示すように、消費電力を下げるために一致していることが望ましい。しかし、例えば、間引き読み出しの場合など、レーザ照射領域1010すべてが読み出し領域1020に設定されていなくてもよい。
【0052】
ここで、
図5に示すように、非常に強い光が入射したフレア画素1030を中心として、フレア光が周囲の画素に再入射するフレア領域1040が生じることがある。
図5においては、例えば、4つのフレア画素1030によるフレアの影響について図示している。フレア領域1040は、再反射する物体との距離や光の強度により、広さは一定ではない。
【0053】
図6に、フレア領域1040内に存在するアクティブ画素1200Aからの信号により生成されるヒストグラムの一例を示す。ヒストグラムの横軸は、飛行時間を示しており、縦軸は、累積画素値であり、入射した反射光の強度を示している。
【0054】
図6のヒストグラムにおいては、フレア光の影響を受けているため、反射光を起因とするピークAの他に、フレア光を起因とするピークBが存在している。前述の通り、累積画素値が最大となる際の飛行時間に基づいて、測距情報が出力されるため、フレア画素1030においては、本来距離情報がピークAに基づいて算出されるべきところが、ピークBに基づいて算出される。従って、フレア画素1030においては、実際の距離とは異なる距離情報が出力されることになり、測距誤差が生じてしまう。
【0055】
さらに、例えば、対象物の反射率が高い場合、受光部に入射する反射光の光強度が強くなるため、上記のようなフレア等による測距精度低下の問題が顕著化する場合がある。
【0056】
また、受光部に再入射する光はフレア現象だけでなくゴースト現象も引き起こすことがある。このゴースト現象も、フレア光と同様にヒストグラムにおいて異なる位置にピークを持つため、実際の距離とは異なる距離情報が出力されることになり、測距誤差を生じさせる要因となる。
【0057】
その他にも、反射光の光強度が非常に弱く、ランダムノイズとの差が小さい場合にも、測距誤差が生じ得る。
【0058】
そこで、以下の実施形態では、レーザ照射領域1010に含まれるアクティブ画素1200Aとレーザ照射領域1010に含まれないアクティブ画素1200Bとから得られるそれぞれの信号に基づいて演算処理を行うことにより、フレア現象等の影響を受けない測距装置及び測距システムについて、具体例を挙げて説明する。
【0059】
1.5 演算方法
図7に、第1の実施形態に係る画素アレイ100及び測距処理部110の詳細構成の一例を示すブロック図を示す。
図7に示すように、レーザ照射領域1010が垂直方向に長い矩形の場合で説明を行うが、レーザ照射領域1010はこれに限られず、後述する変形例であってもよいし、その他、完全なる矩形を成していなくてもよい。また、この場合の光学システムはスキャン型であっても、フラッシュ型であってもよい。さらに、以下の説明では、1つのヒストグラムが1つの画素1000に対応する場合を例示するが、上述したように、1つのヒストグラムが複数の画素1000を含む1つのマクロ画素1100に対応していてもよい。その場合、後述する画素1000、アクティブ画素1200A及びアクティブ画素1200Bは、それぞれマクロ画素1100であってよい。
【0060】
例えば、画素アレイ100上におけるレーザ照射領域1010が、列C1に対応している場合、読み出し領域1020も列C1に設定される。すなわち、列C1の画素1000に接続された画素駆動線LDには選択制御電圧V_SELが印加され、アクティブ状態とされる。ここで、アクティブ画素1200Aは、レーザ照射領域1010に含まれ、かつ、アクティブ状態である画素である。一方、レーザ照射領域に含まれないアクティブ画素1200Bは、通常のフレア現象等の影響を除去しない場合は、非アクティブ画素として選択トランジスタ1003がオン状態に設定されている。しかし、本願の実施形態においては、レーザ照射領域1010に含まれない画素もアクティブ状態とし、その出力とレーザ照射領域1010に含まれるアクティブ画素の出力とで演算処理を行うことにより、フレア現象などの影響を低減する。すなわち、アクティブ画素1200Bもアクティブ状態とされる。
【0061】
ここで、レーザ照射領域1010は、本開示における「第1の領域」の一具体例に対応する。画素アレイ100におけるレーザ照射領域1010でない領域は、本開示における「第2の領域」の一具体例に対応する。アクティブ画素1200A及びアクティブ画素1200Bは、それぞれ本開示における「第1の画素ユニット」及び「第2の画素ユニット」の一具体例に対応する。
【0062】
アクティブ画素1200Aとアクティブ画素1200Bは、例えば、
図7に示すように、互いに隣り合う列C1及びC2、かつ、同じ行R1にそれぞれ配置されていてもよいが、この位置関係に限られない。例えば、アクティブ画素1200Aが列C1行R1に配置されている場合、アクティブ画素1200Bは、列C2行R0のような異なる行にあっても、列C3行R1のような、必ずしも隣り合った行または列に位置していなくてもよい。一方で、フレア現象による影響は、近接する画素において相関性が高いため、アクティブ画素1200Aとアクティブ画素1200Bとはできるだけ近い方が好ましい。
【0063】
また、アクティブ画素1200Bは、レーザ照射領域1010に含まれていないことが望ましいが、例えばレーザ光が読み出し領域1020の幅に一致しないような場合は、多少のレーザ光が入射していてもよい。
【0064】
第1の実施形態における画素アレイ100及び測距処理部110における動作について、以下に説明する。第1の実施形態において、アクティブ画素1200Aが列C1行R1、アクティブ画素1200Bが列C2行R1である場合について説明するが、特にアクティブ画素1200Aとアクティブ画素1200Bの位置はこれに限られない。
【0065】
まず、駆動回路130により、列C1とC2にある画素1000がアクティブ状態とされる。これにより、アクティブ画素1200A及びアクティブ画素1200Bはそれぞれの光電変換部1001に入射する光子に応じて、それぞれ検出信号A及び検出信号Bを出力する。TDC部111において、発光制御信号と検出信号A及び検出信号Bに基づいて、時間情報A及び時間情報Bが出力される。
【0066】
第1の実施形態において、ヒストグラム生成部112はメモリ回路114A及びメモリ回路114Bと、演算回路117とを備える。ここで、メモリ回路114A及びメモリ回路114Bは、本開示における「第1のメモリ回路」及び「第2のメモリ回路」の一具体例に対応する。ヒストグラム生成部112は、TDC部111から出力される時間情報Aに基づいて、メモリ回路114A内にヒストグラムAを生成する(本開示における「第1のヒストグラム生成部」の一具体例に対応)。例えば、ヒストグラム生成部112は、所定のサンプリング周期で読み出される検出信号Aから算出された時間情報Aに基づき、メモリ回路114A内に作成するヒストグラムAにおける時間情報Aに対応するビンの値をインクリメントすることで、メモリ回路114A内にヒストグラムAを生成する。その際、検出信号Aの振幅がAD(Analog-to-Digital)変換等により量子化されている場合、ヒストグラム生成部112は、ヒストグラムAの該当するビンに、量子化された検出信号Aの値を加算することで、ヒストグラムAを作成してもよい。なお、アクティブ画素1200Aがマクロ画素1100である場合には、検出信号Aが反射光の入射を検出した画素の数を示しているため、ヒストグラム生成部112は、検出信号Aの値をヒストグラムAの該当するビンに加算してよい。
【0067】
同様にして、ヒストグラム生成部112は、TDC部111から出力される時間情報Bに基づいて、メモリ回路114B内にヒストグラムBを生成する(本開示における「第2のヒストグラム生成部」の一具体例に対応)。
【0068】
それぞれのメモリ回路114A、114Bで生成されたヒストグラムA及びヒストグラムBは、演算回路117に入力される。本実施形態において、メモリ回路114Aおよびメモリ回路114Bでのヒストグラム生成は、例えば、並行して行われてよい。
【0069】
ここで、
図8に示すように、ヒストグラムAは、
図6と同様に、フレア光の影響を受けているため、反射光を起因とするピークAの他に、フレア光を起因とするピークBが存在している。一方、
図8のヒストグラムBは、アクティブ画素1200Bがレーザ照射領域1010外であることから、反射光を起因とするピークは存在せず、フレア光を起因とするピークBが存在している。
【0070】
演算回路117では、入力されたヒストグラムA及びヒストグラムBに基づいて減算処理を含む演算処理S100が行われ、ヒストグラムCが生成される。具体的には、ヒストグラムAとヒストグラムBとの各ビンが同じ時間情報(サンプリング期間に相当)に対応するものと仮定して、ヒストグラムAの各ビンの値からヒストグラムBの各ビンの値が減算されることで、ヒストグラムCが作成される。上述したように、ヒストグラムAには反射光を起因とするピークAとフレア光を起因とするピークBとが存在し、ヒストグラムBにはフレア光を起因とするピークBが存在する。したがって、ヒストグラムAからヒストグラムBを減算することで、ヒストグラムCに示すように、反射光を起因とするピークAへの影響を抑えつつ、フレア光を起因とするピークBを低減又は消滅させることが可能となる。
【0071】
ここで、ヒストグラムA、ヒストグラムB及びヒストグラムCは、本開示における「第1のヒストグラム」、「第2のヒストグラム」及び「第3のヒストグラム」の一具体例に対応する。
【0072】
また、フレアに限らずゴースト等が存在する場合にも、ヒストグラムAには反射光を起因とするピークAとゴースト等を起因とするピークBとが存在する一方、ヒストグラムBには反射光を起因とするピークAが存在せず、ゴースト等を起因とするピークBが存在するため、ヒストグラムAからヒストグラムBを減算することで、反射光を起因とするピークAへの影響を抑えつつ、ゴースト等を起因とするピークBを低減又は消滅させることが可能となる。
【0073】
さらに、アクティブ画素1200Aに近いアクティブ画素1200Bからの検出信号Bに基づいて作成されたヒストグラムBには、アクティブ画素1200Aからの検出信号Aに基づいてヒ作成されたストグラムAのランダムノイズと近しいランダムノイズが含まれる場合がある。そのような場合、ヒストグラムAからヒストグラムBを減算することで、ヒストグラムCにおけるランダムノイズを低減することも可能となり得る。
【0074】
ヒストグラムCは
図8に示すように、ピークBについて減算処理が行われることにより、ピークAが最も累積画素値が高いヒストグラムである。ここで、ヒストグラムCにおいてピークBの位置における累積画素値はすべて減算処理される必要はなく、ピークAよりも十分低い累積画素値であればよい。
【0075】
演算回路117で生成されたヒストグラムCは、信号処理部113に出力される。信号処理部113では、例えば、入力されたヒストグラムCのデータに基づき、ヒストグラムCの曲線近似を作成する。信号処理部113は、このヒストグラムCが近似された曲線のピークAを検出し、検出されたピークAに基づき、距離情報を出力する。すなわち、フレア現象等の影響を受けることなく、正確な距離Dを求めることができ、測距精度の低下を抑制することができる。
【0076】
ここで、信号処理部113から出力される距離情報はヒストグラムCに基づく特徴点を含んでいてもよいし、ピークAの重心の情報を含んでいてもよい。さらに、ピークAの最大累積画素値に対応するビン番号に関する情報であってもよい。また、必ずしも信号処理部113は、特徴点や重心に関する情報でなく、ヒストグラムCそのものを出力してもよい。
【0077】
図9に、第1の実施形態に係る演算処理の概略例を示すフローチャートを示す。
図9に示すように、例えば、全体制御部30からの指示に基づいて、光源部10及び測距装置20は以下のように動作する。
【0078】
まず、ステップS1では、例えば、駆動回路130が、全体制御部30からの制御に基づき、アクティブ画素1200Aを含む第1の領域及びアクティブ画素1200Bを含む第2の領域をアクティブ状態とする。前述したように、第1の領域はレーザ照射領域1010であり、第2の領域はレーザ照射領域1010に含まれない。ここで第1の領域は、矩形であってもよいし、レーザ照射領域1010に合うように適宜調整されてもよい。さらに第2の領域は、複数の領域に分割されていてもよい。例えば、第1の領域が列C1である場合、
図7における列C0及び列C2を第2の領域として選択してもよい。
【0079】
ステップS2では、例えば全体制御部30において管理されている発光回数をカウントするためのカウンタの値Nがゼロにリセットされる(N=0)。
【0080】
ステップS3では、例えば測距制御部120において管理されている1回の発光ごとの読み出し回数(サンプリング回数ともいう)をカウントするためのカウンタの値Mがゼロにリセットされる(M=0)。
【0081】
ステップS4では、発光タイミング制御部140が、全体制御部30から供給される発光トリガ信号に従い発光制御信号を生成し、これを光源部10へ供給する。それにより、光源部10からレーザ光L0が照射される。この時、測距システム1の光学システムは、例えば、スキャン型であっても、フラッシュ型であってもよい。
【0082】
ステップS5では、レーザ光L0が対象物50で反射された反射光L1を含む光に基づいて、アクティブ画素1200Aにおいて検出信号Aが生成され、アクティブ画素1200Bにおいて検出信号Bが生成される。なお、先述したように第2の領域が複数に分割されている場合は、例えば、複数のアクティブ画素1200B1、1200B2からそれぞれ検出信号B1及び検出信号B2が生成されてもよい。
【0083】
ステップS6では、TDC部111において、発光タイミング制御部140から供給された発光制御信号と検出信号Aとに基づいて時間情報Aが生成され、同じく発光制御信号と検出信号Bに基づいて時間情報Bが生成される。なお、TDC部111による時間情報A及びBの生成動作は、上述した動作と同様であってよい。また、第2の領域が複数に分割されている場合は、例えば、時間情報B1及び時間情報B2が生成されてもよい。
【0084】
ステップS7では、ヒストグラム生成部112において、時間情報Aに基づいてヒストグラムAが生成され、時間情報Bに基づいてヒストグラムBが生成される。より具体的には、ヒストグラム生成部112は、メモリ回路114A内に格納されているヒストグラムAにおける時間情報Aに対応するビンの値を更新する。その際、検出信号Aが量子化されている場合又は反射光L1を検出した画素1000の数を示している場合には、該当のビンに検出信号Aが示す値が加算されてもよい。同様にして、ヒストグラム生成部112は時間情報Bに基づいて、メモリ回路114B内のヒストグラムBにおける対象のビンに値を格納する。ここで、ヒストグラムBは、時間情報B1及び時間情報B2の平均値に基づいて生成されてもよい。この場合、複数の領域のアクティブ画素1200からフレア光を起因とする成分を得、その平均値をとることで、より正確にフレア光を起因とするピークBを低減又は消滅させることが可能となる。
【0085】
ステップS8では、検出回数(サンプリング回数)をカウントするためのカウンタの値Mが1インクリメントされる(M=M+1)。つづいて、ステップS9では、インクリメント後のカウンタの値Mが、予め特定した読み出し回数の上限値M_maxに達しているか否かが判定され、達していない場合(ステップS9;NO)、本動作がステップS5に戻り、カウンタの値MがM_maxに達するまで、以降の動作が繰り返し実行される。一方、値Mが上限値M_maxに達している場合(ステップS9;YES)、本動作がステップS10へ進む。なお、検出回数(サンプリング回数)の上限値M_maxは、例えば、1以上の値であってよい。
【0086】
ステップS10では、発光回数をカウントするためのカウンタの値Nが1インクリメントされる(N=N+1)。つづいて、ステップS11では、インクリメント後のカウンタの値Nが、予め設定しておいた発光回数の上限値N_maxに達しているか否かが判定され、達していない場合(ステップS11;NO)、本動作がステップS3へ戻り、カウンタの値Nが上限値N_maxに達するまで、以降の動作が繰り返し実行される。一方、値Nが上限値N_maxに達している場合(ステップS11;YES)、本動作がステップS12へ進む。なお、発光回数の上限値N_maxは、ヒストグラムから生成される距離情報の精度が必要十分の精度になるであろうと見込まれる値であってよく、例えば、1以上の値であってよい。
【0087】
ステップS12では、演算回路117において、メモリ回路114A及び114B内に作成されたヒストグラムA及びヒストグラムBに基づいて、減算処理を含む演算処理が実行され、ヒストグラムCが生成される。具体的には、上述したように、例えば、ヒストグラムAとヒストグラムBとの各ビンが同じ時間情報(サンプリング期間に相当)に対応するものと仮定して、ヒストグラムAの各ビンの値からヒストグラムBの各ビンの値が減算されることで、ヒストグラムCが作成される。なお、この演算処理は、信号処理部113において実行されてもよい。
【0088】
ステップS13では、信号処理部113において、ヒストグラムCに基づいて距離情報が生成される。例えば、ヒストグラムCのデータに基づき、ヒストグラムCの曲線近似が作成される。信号処理部113は、このヒストグラムCが近似された曲線のピークAを検出し、検出されたピークAに基づき、距離情報を出力する。
【0089】
ステップS14では、信号処理部113から出力された距離情報に基づいて、出力部170から距離情報が出力される。なお、出力部170から出力される距離情報は、画素1000ごと(マクロ画素1100の場合はマクロ画素1100ごと)の距離情報が2次元配列した2次元データ(デプス画像)であってもよい。
【0090】
その後、例えば全体制御部30において、本動作を終了するか否かが判定され(ステップS15)、終了する場合(ステップS15;YES)、本動作は終了する。一方、終了しない場合(ステップS15;NO)、本動作がステップS2へ戻り、以降の動作が実行される。
【0091】
1.6 変形例
ここで、
図10を用いて、画素アレイ100におけるレーザ照射領域1010の変形例について説明する。
図5では、レーザ照射領域1010は1つの矩形領域を例として図示していたが、
図10に示すように、例えば、2以上の複数の領域に分離されていてもよい。この場合、分離されたレーザ照射領域1010は等間隔で配置されていてもよいし、ランダムに配置されていてもよい。また、このように2以上の複数の領域に分離されたレーザ照射領域1010は、フラッシュ型の測距システムによって実現されてよい。
【0092】
レーザ照射領域1010が複数の領域に分割されている場合、読み出し領域1020はレーザ照射領域1010に対応するように設定されうる。しかし、例えば、間引き読み出しの場合など、レーザ照射領域1010すべてが読み出し領域1020に設定されていなくてもよい。
【0093】
変形例において、例えば、
図10に示すように、アクティブ画素1200Aはレーザ照射領域1010内に設定され、アクティブ画素1200Bはレーザ照射領域1010外に設定される。アクティブ画素1200Aとアクティブ画素1200Bの位置関係は、第1の実施形態で前述したものと同様であるため、ここでは詳細な説明を省略する。
【0094】
また、アクティブ画素1200A及びアクティブ画素1200Bを用いた演算方法については、前述したものと同様であるため、ここでは詳細な説明を省略する。ただし、第1の実施形態とは異なり、列単位ではなく、画素単位でのアクティブ画素1200の選択ができるように、例えば、列に対応する画素駆動線LDの他に、行に対応する画素駆動線LD2を備えていてもよい。この場合、駆動回路130は画素アレイ100の行方向にも設けられうる。
【0095】
1.7 作用・効果
以上のように、本実施形態によれば、本来のアクティブ画素1200Aに加えて、レーザ照射領域1010外の画素1000またはマクロ画素1100をアクティブ状態にし、アクティブ画素1200Bとして読み出し、演算処理を行うことで、フレア現象等の影響を除去した距離情報の出力が可能となる。これにより、フレア現象等の影響の大小によらず、対象物50との距離を正確に算出することができ、例えば、対象物50の反射率が高い場合でも、測距精度低下を抑制することができる。
【0096】
道路標識やミラーなどは一般的に、フレア現象の引き起こす原因となりうる反射率の高い材料で構成されていることが多い。また、対向車線を走行する車両のライトや交通信号機などの光は強く、画素1000に設けられた波長フィルタによる減衰を考慮してもフレア現象等の要因となり得る。これらのことから、本実施形態は車載向けLiDARに好適に使用される。ただし、これに限定されず、高反射物や光源等が対象物となり得る種々のシーンで使用される測距システムに対して、本実施形態は好適である。
【0097】
また、減算処理を含む演算処理により、ヒストグラムを生成するため、例えば、ゴースト、ランダムノイズ、背景光による影響についても低減することが可能である。
【0098】
また、メモリ回路114A及びメモリ回路114Bをそれぞれ備えることにより、同時にヒストグラムA及びヒストグラムBを生成することができるため、ヒストグラムA及びヒストグラムBの生成に要する時間は、アクティブ画素1200Aのみについてヒストグラムを生成する場合と同等で済む。さらに、同じ受光タイミングにおけるヒストグラムA及びヒストグラムBを生成することができるため、より効果的にフレア現象等を起因とするピークBの除去または低減することが可能である。
【0099】
なお、本実施形態では、画素アレイ100の画角SRを水平方向へ往復走査する場合を例示したが、これに限定されず、画素アレイ100の長手方向を水平方向とし、画素アレイ100の画角SRを垂直方向へ往復走査するように構成することも可能である。
【0100】
また、前述した通り、光学システムがスキャン型であっても、フラッシュ型であっても、画素アレイ100上にレーザ照射領域1010とレーザが照射されていない領域が存在すれば本実施形態を適用することもできる。
【0101】
2.第2の実施形態
次に、第2の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、上述した第1の実施形態と同様の構成については、同一の符号を付与し、それを引用することで、その重複する説明を省略する。
【0102】
上述した第1の実施形態では、ヒストグラム生成部112がヒストグラムAを生成するメモリ回路A及びヒストグラムBを生成するメモリ回路Bを有する場合(
図7等参照)を例示した。これに対し、第2の実施形態では、ヒストグラムA及びヒストグラムBが1つのメモリ回路114を使いまわすことで作成される場合を例示する。ここで、アクティブ画素1200Aとアクティブ画素1200Bは簡単のために、第1の実施形態と同様に選択したものとして説明する。
【0103】
2.1 演算方法
本実施形態では、先に、アクティブ画素1200Aからの検出信号Aに基づいて反射光L1の成分を含むヒストグラムAが作成され、次に、アクティブ画素1200Bからの検出信号Bに基づいて反射光L1の成分を含まないヒストグラムBが作成され、そして、ヒストグラムAとヒストグラムBとの差分(ヒストグラムC)に基づいて、距離情報が算出される。
【0104】
図11は、第2の実施形態に係る画素アレイ100及び測距処理部210の詳細構成の一例を示すブロック図を示す。
図7に示すように、本実施形態に係る測距処理部210は、第1の実施形態において
図7を用いて説明した測距処理部110と同様の構成において、ヒストグラム生成部112がヒストグラム生成部212に置き換えられている。
【0105】
ヒストグラム生成部212は、2つのメモリ回路114A及び114Bの代わりに、1つのメモリ回路214と、スイッチ回路215と、バッファ回路216とを備える。なお、ヒストグラム生成部212は、演算回路217も有している。ここで、メモリ回路214は、本開示における「メモリ回路」の一具体例に対応する。スイッチ回路215は、本開示における「スイッチ回路」の一具体例に対応する。
【0106】
スイッチ回路215は、例えば、測距制御部120からの制御信号に従い、メモリ回路214に入力する時間情報を、アクティブ画素1200Aからの検出信号Aに基づく時間情報Aと、アクティブ画素1200Bからの検出信号Bに基づく時間情報Bとのうちの何れかに切り替える。
【0107】
メモリ回路214は、メモリ回路114A及び114Bと同様に、入力された時間情報A又はBに基づいて、ヒストグラムA又はBを生成する。
【0108】
バッファ回路216は、メモリ回路214内に作成されたヒストグラムAを一時的に保持し、その後、メモリ回路214内にヒストグラムBが作成されると、保持しているヒストグラムAを演算回路217へ出力する。
【0109】
第2の実施形態における画素アレイ100及び測距処理部210における動作について、以下に説明する。第2の実施形態において、第1の実施形態と同様に、アクティブ画素1200Aが列C1行R1、アクティブ画素1200Bが列C2行R1である場合について説明するが、特にアクティブ画素1200Aとアクティブ画素1200Bの位置はこれに限られない。
【0110】
本実施形態では、まず、ヒストグラムAが作成される。具体的には、まず、駆動回路130により、列C1にある画素1000がアクティブ状態とされる。これにより、アクティブ画素1200Aは、検出信号Aを出力する。TDC部111において、発光制御信号と検出信号Aに基づいて、時間情報Aが出力される。
【0111】
第2の実施形態において、ヒストグラム生成部212は、上述したように、メモリ回路214と、スイッチ回路215と、バッファ回路216と、演算回路217とを備える。この段階では、メモリ回路214はTDC部111より時間情報Aを受け取るようにスイッチ回路215が切り替えられているものとする。ヒストグラム生成部212は、TDC部111から出力される時間情報Aに基づいて、メモリ回路214内にヒストグラムAを生成する。例えば、ヒストグラム生成部212は、所定のサンプリング周期で読み出される検出信号Aから算出された時間情報Aに基づき、メモリ回路214内に作成するヒストグラムAにおける時間情報Aに対応するビンの値をインクリメントすることで、メモリ回路214内にヒストグラムAを生成する。その際、検出信号Aの振幅がAD変換等により量子化されている場合、ヒストグラム生成部212は、ヒストグラムAの該当するビンに、量子化された検出信号Aの値を加算することで、ヒストグラムAを作成してもよい。なお、アクティブ画素1200Aがマクロ画素1100である場合には、検出信号Aが反射光の入射を検出した画素の数を示しているため、ヒストグラム生成部212は、検出信号Aの値をヒストグラムAの該当するビンに加算してよい。そして、ヒストグラム生成部212は、メモリ回路214内にヒストグラムAが完成すると、ヒストグラムAをバッファ回路216に転送し、メモリ回路214をリセットする。なお、第2の実施形態に係るメモリ回路214及びバッファ回路33、第1の実施形態に係るメモリ回路114A及び114B、第3の実施形態に係るメモリ回路314は、ヒストグラムA、B又はCを外部へ出力後、都度、リセットされてよい。
【0112】
続いて、ヒストグラムBが作成される。具体的には、駆動回路130により、列C2にある画素1000がアクティブ状態とされる。これにより、アクティブ画素1200Bは、検出信号Bを出力する。TDC部111において、発光制御信号と検出信号Bに基づいて、時間情報Bが出力される。
【0113】
また、スイッチ回路215により、メモリ回路214はTDC部111より時間情報Bを受け取るように入力が切り替えられる。スイッチ回路215によるメモリ回路214の入力の切替は、TDC部111からの時間情報Aの出力が完了後直ちに行われてもよく、また、TDC部111への検出信号Bの入力タイミングで行われてもよい。
【0114】
スイッチ回路215による入力情報の切替後、ヒストグラム生成部212は、TDC部から出力される時間情報Bに基づいて、メモリ回路214内にヒストグラムBを生成する。ヒストグラムBの生成方法は上述したヒストグラムAの生成方法と同様であってよい。
【0115】
バッファ回路216に格納されたヒストグラムA及び、メモリ回路214で生成されたヒストグラムBは、演算回路217に入力する。演算回路217では、入力されたヒストグラムA及びヒストグラムBに基づいて減算処理を含む演算処理が行われ、ヒストグラムCが生成される。ヒストグラムCの生成方法は第1の実施形態で述べたものと同様であるため、省略するが、
図8におけるヒストグラムCと同様に、演算回路217で生成されたヒストグラムCは、反射光を起因とするピークAへの影響を抑えつつ、フレア光を起因とするピークBを低減又は消滅させることが可能となる。
【0116】
第2の実施形態においても、第1の実施形態と同様に、ゴースト等を起因とするピークBを消滅させることが可能である。また同様に、ヒストグラムCにおけるランダムノイズを低減することも可能となり得る。
【0117】
ヒストグラムCは
図8に示すように、ピークBについて減算処理が行われることにより、ピークAが最も累積画素値が高いヒストグラムである。ここで、ヒストグラムCにおいてピークBの位置における累積画素値はすべて減算処理される必要はなく、ピークAよりも十分低い累積画素値であればよい。
【0118】
演算回路217へヒストグラムA及びヒストグラムBが出力された後、メモリ回路214は再度スイッチ回路215の切替により、時間情報AをTDC部111から入力できるように接続が切り替えられる。
【0119】
演算回路217で生成されたヒストグラムCは、信号処理部113に出力される。第1の実施形態と同様に、信号処理部113においてヒストグラムCに基づいて生成された距離情報は、出力部170に出力される。ここで、信号処理部113から出力される距離情報はヒストグラムCに基づく特徴点を含んでいてもよいし、ピークAの重心の情報を含んでいてもよい。さらに、ピークAの最大累積画素値に対応するビン番号に関する情報であってもよい。また、必ずしも信号処理部113は、特徴点や重心に関する情報でなく、ヒストグラムCそのものを出力してもよい。
【0120】
また、演算回路317Cがヒストグラム生成部212内にある構成を例示して説明したが、信号処理部113内に設けられていてもよい。
【0121】
図12に、第2の実施形態に係る演算処理の概略例を示すフローチャートを示す。
図12に示すように、例えば、全体制御部30からの指示に基づいて、光源部10及び測距装置20は以下のように動作する。なお、第1の実施形態と共通する部分については適宜省略して述べる。
【0122】
まず、ステップS21では、例えば、駆動回路130が、全体制御部30からの制御に基づき、アクティブ画素1200Aを含む第1の領域をアクティブ状態とする。この時、スイッチ回路215により、メモリ回路214は、時間情報Aを入力とするような接続状態とされている。
【0123】
ステップS22では、例えば全体制御部30において管理されている発光回数をカウントするためのカウンタの値Nがゼロにリセットされる(N=0)。
【0124】
ステップS23では、例えば測距制御部120において管理されている1回の発光ごとの読み出し回数(サンプリング回数ともいう)をカウントするためのカウンタの値M1がゼロにリセットされる(M1=0)。
【0125】
ステップS24では、発光タイミング制御部140が、全体制御部30から供給される発光トリガ信号に従い発光制御信号を生成し、これを光源部10へ供給する。それにより、光源部10からレーザ光L0が照射される。
【0126】
ステップS25では、レーザ光L0が対象物50で反射された反射光L1を含む光に基づいて、アクティブ画素1200Aにおいて検出信号Aが生成される。
【0127】
ステップS26では、TDC部111において、発光タイミング制御部140から供給された発光制御信号と検出信号Aとに基づいて時間情報Aが生成される。
【0128】
ステップS27では、ヒストグラム生成部212において、時間情報Aに基づいてヒストグラムAが生成される。より具体的には、ヒストグラム生成部212は、メモリ回路214内に格納されているヒストグラムAにおける時間情報Aに対応するビンの値を更新する。その際、検出信号Aが量子化されている場合又は反射光L1を検出した画素1000の数を示している場合には、該当のビンに検出信号Aが示す値が加算されてもよい。
【0129】
ステップS28では、検出回数(サンプリング回数)をカウントするためのカウンタの値M1が1インクリメントされる(M1=M1+1)。つづいて、ステップS29では、インクリメント後のカウンタの値M1が、予め特定した読み出し回数の上限値M1_maxに達しているか否かが判定され、達していない場合(ステップS29;NO)、本動作がステップS25に戻り、カウンタの値M1がM1_maxを達するまで、以降の動作が繰り返し実行される。一方、値M1が上限値M1_maxに達している場合(ステップS29;YES)、本動作がステップS30へ進む。なお、検出回数(サンプリング回数)の上限値M1_maxは、例えば、1以上の値であってよい。
【0130】
ステップS30では、メモリ回路214で生成されたヒストグラムAがバッファ回路216に格納される。
【0131】
ステップS31では、例えば、スイッチ回路215により、時間情報Bを入力とするような接続状態に切り替えられる。ステップS31は、例えば、ステップS29とステップS30の間で行われていてもよい。
【0132】
ステップS32では、例えば、駆動回路130が、全体制御部30からの制御に基づき、アクティブ画素1200Bを含む第2の領域をアクティブ状態とする。このとき、第1の領域の画素を非アクティブ状態としてもよい。
【0133】
ステップS33では、例えば測距制御部120において管理されている1回の発光ごとの読み出し回数(サンプリング回数ともいう)をカウントするためのカウンタの値M2がゼロにリセットされる(M2=0)。
【0134】
ステップS34では、発光タイミング制御部140が、全体制御部30から供給される発光トリガ信号に従い発光制御信号を生成し、これを光源部10へ供給する。それにより、光源部10からレーザ光L0が照射される。
【0135】
ステップS35では、フレア光などを含む光に基づいて、アクティブ画素1200Bにおいて検出信号Bが生成される。
【0136】
ステップS36では、TDC部111において、発光タイミング制御部140から供給された発光制御信号と検出信号Bとに基づいて時間情報Bが生成される。
【0137】
ステップS37では、ヒストグラム生成部212において、時間情報Bに基づいてヒストグラムBが生成される。より具体的には、ヒストグラム生成部212は、メモリ回路214内に格納されているヒストグラムBにおける時間情報Bに対応するビンの値を更新する。その際、検出信号Bが量子化されている場合又はフレア光などの光を検出した画素1000の数を示している場合には、該当のビンに検出信号Bが示す値が加算されてもよい。
【0138】
ステップS38では、検出回数(サンプリング回数)をカウントするためのカウンタの値M2が1インクリメントされる(M2=M2+1)。つづいて、ステップS39では、インクリメント後のカウンタの値M2が、予め特定した読み出し回数の上限値M2_maxに達しているか否かが判定され、達している場合(ステップS39;NO)、本動作がステップS35に戻り、カウンタの値MがM2_maxに達するまで、以降の動作が繰り返し実行される。一方、値M2が上限値M2_maxに達している場合(ステップS39;YES)、本動作がステップS40へ進む。なお、検出回数(サンプリング回数)の上限値M2_maxは、例えば、1以上の値であってよい。
【0139】
ステップS40では、発光回数をカウントするためのカウンタの値Nが1インクリメントされる(N=N+1)。つづいて、ステップS41では、インクリメント後のカウンタの値Nが、予め設定しておいた発光回数の上限値N_maxに達しているか否かが判定され、達していない場合(ステップS41;NO)、本動作がステップS23へ戻り、カウンタの値Nが上限値N_maxに達するまで、以降の動作が繰り返し実行される。一方、値Nが上限値N_maxに達している場合(ステップS41;YES)、本動作がステップS42へ進む。なお、発光回数の上限値N_maxは、ヒストグラムから生成される距離情報の精度が必要十分の精度になるであろうと見込まれる値であってよく、例えば、1以上の値であってよい。
【0140】
ステップS42から動作終了までの動作は、
図9におけるステップS12から動作終了までに対応し、同様の動作を行うため、ここでは説明を省略する。
【0141】
2.2 作用・効果
以上のような構成によっても、第1の実施形態と同様に、本来のアクティブ画素1200Aに加えて、レーザ照射領域1010外の画素1000またはマクロ画素1100をアクティブ状態にし、アクティブ画素1200Bとして読み出し、演算処理を行うことで、フレア現象等の影響を除去した距離情報の出力が可能となる。これにより、フレア現象等の影響の大小によらず、対象物50との距離を正確に算出することができ、例えば、対象物50の反射率が高い場合でも、測距精度低下を抑制することができる。
【0142】
さらに、本実施形態によれば、メモリ回路214がヒストグラムA及びヒストグラムBの生成をいずれも行う、すなわち、メモリ回路214を使いまわすことで、メモリ回路114を複数用意する必要がなくなり、チップの省面積化が可能である。
【0143】
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0144】
3.第3の実施形態
次に、第3の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、上述した実施形態と同様の構成については、同一の符号を付与し、それを引用することで、その重複する説明を省略する。
【0145】
上述した実施形態では、ヒストグラムA及びヒストグラムBに基づいて演算処理を行い、新たなヒストグラムCを生成する場合(
図8等参照)を例示した。これに対し、第3の実施形態では、ヒストグラムA及びヒストグラムBを生成せず、時間情報A及びBから直接的にヒストグラムCを生成する場合を例示する。
【0146】
3.1 演算方法
本実施形態では、第1の実施形態と同様に、アクティブ画素1200A及び1200Bから並行して検出信号A及びBが読み出されて時間情報A及びBが生成される。生成された時間情報のうち、時間情報Aはヒストグラムに加算され、時間情報Bはヒストグラムから減算される。それにより、時間情報A及びBから直接的にヒストグラムCが生成される。
【0147】
図13は、第3の実施形態に係る画素アレイ100及び測距処理部310の詳細構成の一例を示すブロック図を示す。
図13に示すように、本実施形態に係る測距処理部310は、第1の実施形態において
図7を用いて説明した測距処理部110と同様の構成において、ヒストグラム生成部112がヒストグラム生成部312に置き換えられている。
【0148】
ヒストグラム生成部312は、2つのメモリ回路114A及び114B並びに演算回路117の代わりに、メモリ回路314を備える。
【0149】
メモリ回路314は、入力された時間情報A及びBに基づいて、ヒストグラムCを生成する。すなわち、ヒストグラム生成部312は、TDC部111から入力された時間情報Aに基づいて、メモリ回路314内のヒストグラムにおける該当するビンの値を加算し、TDC部111から入力された時間情報Bに基づいて、メモリ回路314内のヒストグラムにおける該当するビンの値を減算することで、メモリ回路314内にヒストグラムCを作成する。
【0150】
第3の実施形態における画素アレイ100及び測距処理部310における動作について、以下に説明する。第3の実施形態において、第1の実施形態と同様に、アクティブ画素1200Aが列C1行R1、アクティブ画素1200Bが列C2行R1である場合について説明するが、特にアクティブ画素1200Aとアクティブ画素1200Bの位置はこれに限られない。
【0151】
本実施形態では、まず、第1の実施形態と同様に、アクティブ画素1200A及びアクティブ画素1200Bは、それぞれ検出信号A及び検出信号Bを出力する。TDC部111において、発光制御信号と検出信号A及び検出信号Bに基づいて、時間情報A及び時間情報Bが出力される。
【0152】
第3の実施形態において、ヒストグラム生成部312は、上述したように、メモリ回路314を備える。ヒストグラム生成部312は、TDC部111から出力される時間情報A及び時間情報Bに基づいて、メモリ回路314内にヒストグラムCを生成する。例えば、ヒストグラム生成部312は、所定のサンプリング周期で読み出される検出信号Aから算出された時間情報Aに基づき、メモリ回路314内に作成するヒストグラムCにおける時間情報Aに対応するビンの値をインクリメントする。一方、ヒストグラム生成部312は、所定のサンプリング周期で読み出される検出信号Bから算出された時間情報Bに基づき、メモリ回路314内に作成するヒストグラムCにおける時間情報Bに対応するビンの値をデクリメントする。
【0153】
検出信号A及び検出信号Bの振幅がAD変換等により量子化されている場合、ヒストグラム生成部312は、ヒストグラムAの該当するビンに、量子化された検出信号Aの値を加算し、検出信号Bの値を減算することで、ヒストグラムCを作成してもよい。なお、アクティブ画素1200Aがマクロ画素1100である場合には、検出信号Aが反射光の入射を検出した画素の数を示しているため、ヒストグラム生成部312は、検出信号Aの値をヒストグラムCの該当するビンに加算してよい。
【0154】
また、ヒストグラム生成部312は、
図14に示すように、ヒストグラム生成部312内に演算回路317をさらに備えていてもよい。演算回路317は、例えば、時間情報Bをデクリメントするために必要な演算、または、検出信号Bの値を減算するために必要な演算を行ってもよい。例えば、演算回路317は、時間情報Aから時間情報Bを減算し、その結果で、メモリ回路314内のヒストグラムCにおける該当するビンの値を増減させてもよい。
【0155】
生成されたヒストグラムCは、
図8におけるヒストグラムCと同様のようになり、反射光を起因とするピークAへの影響を抑えつつ、フレア光を起因とするピークBを低減又は消滅させることが可能となる。
【0156】
図15に、第3の実施形態に係る演算処理の概略例を示すフローチャートを示す。
図15に示すように、例えば、全体制御部30からの指示に基づいて、光源部10及び測距装置20は以下のように動作する。なお、第1の実施形態と共通する部分については適宜省略して述べる。
【0157】
ステップS51からステップS56までは、
図9におけるステップS1からステップS6と同様の動作であるため、詳細な説明はここでは省略する。
【0158】
ステップS57では、ヒストグラム生成部312において、時間情報A及び時間情報Bに基づいて、メモリ回路314にヒストグラムCが生成される。より具体的には、ヒストグラム生成部312は、メモリ回路314内に格納されているヒストグラムCにおける時間情報Aに対応するビンの値をインクリメント、時間情報Bに対応するビンの値をデクリメントすることで更新する。その際、検出信号Aが量子化されている場合又は反射光L1を検出した画素1000の数を示している場合には、該当のビンに検出信号Aが示す値が加算されてもよい。同様にして、ヒストグラム生成部312は、検出信号Bが量子化されている場合又は反射光L1を検出した画素1000の数を示している場合には、時間情報Bに基づいて、該当のビンに検出信号Bが示す値が減算されてもよい。
【0159】
続いて、ステップS58では、検出回数(サンプリング回数)をカウントするためのカウンタの値Mが1インクリメントされる(M=M+1)。つづいて、ステップS59では、インクリメント後のカウンタの値Mが、予め特定した読み出し回数の上限値M_maxに達しているか否かが判定され、達していない場合(ステップS59;NO)、本動作がステップS55に戻り、カウンタの値MがM_maxに達するまで、以降の動作が繰り返し実行される。一方、値Mが上限値M_maxに達している場合(ステップS59;YES)、本動作がステップS60へ進む。なお、検出回数(サンプリング回数)の上限値M_maxは、例えば、1以上の値であってよい。
【0160】
以降、ステップS60から動作終了までは、
図9におけるステップS10から動作終了までに対応し、同様の動作を行うため、ここでは説明を省略する。
【0161】
3.2 作用・効果
【0162】
以上のような構成によっても、第1及び第2の実施形態と同様に、本来のアクティブ画素1200Aに加えて、レーザ照射領域1010外の画素1000またはマクロ画素1100をアクティブ状態にし、アクティブ画素1200Bとして読み出し、演算処理を行うことで、フレア現象等の影響を除去した距離情報の出力が可能となる。これにより、フレア現象等の影響の大小によらず、対象物50との距離を正確に算出することができ、例えば、対象物の反射率が高い場合でも、測距精度低下を抑制することができる。
【0163】
さらに、本実施形態によれば、メモリ回路314のみでヒストグラムCの生成行うので、メモリ回路を複数用意する必要がなく、チップの省面積化が可能である。
【0164】
また、本実施形態によれば、ヒストグラムA及びヒストグラムBの生成を行わずにヒストグラムCの生成行うため、ヒストグラムCの生成にかかる時間が短くできるという効果もある。
【0165】
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0166】
4.適用例
次に、上述した測距システム1は、様々な製品へ応用することができる。例えば、上述した測距システム1は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0167】
図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0168】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。
図16に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部170052、及び車載ネットワークI/F(interface)12053が図示されている。
【0169】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0170】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0171】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0172】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0173】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0174】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0175】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0176】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0177】
音声画像出力部170052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。
図16の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0178】
図17は、撮像部12031の設置位置の例を示す図である。
【0179】
図17では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
【0180】
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0181】
なお、
図17には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0182】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0183】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0184】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0185】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部170052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部170052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0186】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、
図1の測距システム1は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、測距精度の低下を抑制でき、精度の高い測距及び撮像をすることが可能となる。
【0187】
5.補足
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【0188】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0189】
なお、本技術は以下のような構成も取ることができる。
(1)
照明装置からの照射光が照射された対象物からの前記照射光の反射光が入射する第1の領域に受光領域が配置され、それぞれ第1の信号を生成する複数の第1の画素ユニットと、前記反射光が入射しない第2の領域に受光領域が配置され、それぞれ第2の信号を生成する複数の第2の画素ユニットとを有し、前記第1及び第2の画素ユニットを含む複数の画素ユニットそれぞれの受光領域が行列方向に配列された画素アレイと、
前記第1の信号及び前記第2の信号に基づいて距離情報を出力する測距処理部と、
を備えた測距装置。
(2)
前記第1の領域は前記行または前記列に沿った矩形領域である、
前記(1)に記載の測距装置。
(3)
前記第2の領域は前記第1の領域と平行な矩形領域である、
前記(2)に記載の測距装置。
(4)
前記第2の画素ユニットは前記第1の画素ユニットと隣接している、
前記(2)又は(3)に記載の測距装置。
(5)
前記第1の領域は前記画素アレイの複数の領域に分離している、
前記(1)に記載の測距装置。
(6)
前記第2の画素ユニットは前記第1の画素ユニットと隣接している、
前記(5)に記載の測距装置。
(7)
前記第1の画素ユニットは複数の光電変換部を含む、
前記(1)~(6)の何れか1つに記載の測距装置。
(8)
前記測距処理部は、前記第1の画素ユニットそれぞれで生成された前記第1の信号と、前記第2の画素ユニットそれぞれで生成された前記第2の信号とに基づくことで、前記第1の画素ユニットそれぞれの前記距離情報を生成する、
前記(1)~(7)の何れか1つに記載の測距装置。
(9)
前記測距処理部は、前記第1の画素ユニットそれぞれで生成された前記第1の信号と、前記複数の第2の画素ユニットのうちの2以上の第2の画素ユニットそれぞれで生成された前記第2の信号の平均値とに基づくことで、前記第1の画素ユニットそれぞれの前記距離情報を生成する、
前記(1)~(7)の何れか1つに記載の測距装置。
(10)
前記測距処理部は、
前記第1の信号に基づいて第1のヒストグラムを生成する第1のヒストグラム生成部と、
前記第2の信号に基づいて第2のヒストグラムを生成する第2のヒストグラム生成部と、
を有するヒストグラム生成部を備え、
前記第1のヒストグラム及び前記第2のヒストグラムに基づいて前記距離情報を生成する、
前記(1)~(9)の何れか1つに記載の測距装置。
(11)
前記測距処理部は、前記第1のヒストグラムから第2のヒストグラムを減算することで、第3のヒストグラムを生成する、
前記(10)に記載の測距装置。
(12)
前記測距処理部は、前記第3のヒストグラムのピーク、特徴点、重心のうち少なくとも何れか1つに基づいて前記距離情報を生成する
前記(11)に記載の測距装置。
(13)
前記測距処理部は、
前記第1のヒストグラム生成部が前記第1のヒストグラムの生成に使用する第1のメモリ回路と、
前記第2のヒストグラム生成部が前記第2のヒストグラムの生成に使用する第2のメモリ回路と、
をさらに有し、
前記第1のメモリ回路に生成された前記第1のヒストグラムから前記第2のメモリ回路に生成された前記第2のヒストグラムを減算することで、前記第3のヒストグラムを生成する、
請前記(11)又は(12)に記載の測距装置。
(14)
前記測距処理部は、
前記第1の信号に基づく第1のヒストグラムと、前記第2の信号に基づく第2のヒストグラムとを生成するヒストグラム生成部と、
前記ヒストグラム生成部が前記第1及び第2のヒストグラムの生成に使用するメモリ回路と、
前記メモリ回路に生成された前記第1のヒストグラムを保持するバッファ回路と、
を有し、
前記メモリ回路内に前記第1のヒストグラムを生成し、当該メモリ回路内に生成された前記第1のヒストグラムを前記バッファ回路に転送し、前記メモリ回路内に前記第2のヒストグラムを生成し、前記バッファ回路に保持された前記第1のヒストグラムと前記メモリ回路内の前記第2のヒストグラムとに基づいて前記距離情報を生成する、
前記(1)~(9)の何れか1つに記載の測距装置。
(15)
前記ヒストグラム生成部の入力を前記第1の信号と前記第2の信号との何れかに切り替えるスイッチ回路をさらに備える、
前記(14)に記載の測距装置。
(16)
前記測距処理部は、前記第1の信号に基づいてヒストグラムの値を加算し、前記第2の信号に基づいて前記ヒストグラムの値を減算するヒストグラム生成部を有する、
前記(1)~(9)の何れか1つに記載の測距装置。
(17)
前記距離情報は、前記測距処理部が前記第1の信号及び前記第2の信号に基づいて生成するヒストグラムのピークに対応するビン番号又は時間情報を含む、
前記(1)~(16)の何れか1つに記載の測距装置。
(18)
前記距離情報は、前記測距処理部が前記第1の信号及び前記第2の信号に基づいて生成するヒストグラムの特徴点を含む、
前記(1)~(17)の何れか1つに記載の測距装置。
(19)
前記距離情報は、前記測距処理部が前記第1の信号及び前記第2の信号に基づいて生成するヒストグラムを含む、
前記(1)~(18)の何れか1つに記載の測距装置。
(20)
照射光を照射する照明装置と、
前記照射光が対象物によって反射された反射光を受光する測距装置と、
を備え、
前記測距装置は、
前記反射光が入射する第1の領域に受光領域が配置され、それぞれ第1の信号を生成する複数の第1の画素ユニットと、前記反射光が入射しない第2の領域に受光領域が配置され、それぞれ第2の信号を生成する複数の第2の画素ユニットとを有し、前記第1及び第2の画素ユニットを含む複数の画素ユニットそれぞれの受光領域が行列方向に配列された画素アレイと、
前記第1の信号及び前記第2の信号に基づいて距離情報を出力する測距処理部と、
を備えた測距システム。
【符号の説明】
【0190】
1 測距システム
10 光源部
11 光源
12、18 集光レンズ
13 ハーフミラー
14 ポリゴンミラー
15 受光レンズ
16 駆動部
17 照射レンズ
20 測距装置
30 全体制御部
40 受光部光学系
50 対象物
100 画素アレイ
110、210、310 測距処理部
111 TDC部
112、212、312 ヒストグラム生成部
113 信号処理部
114A、114B、214、314 メモリ回路
117、217、317 演算回路
120 測距制御部
130 駆動回路
140 発光タイミング制御部
150 制御部
160 クロック生成部
170 出力部
215 スイッチ回路
216 バッファ回路
1000 画素
1001 光電変換部
1002 クエンチ抵抗
1003 選択トランジスタ
1004 インバータ
1010 レーザ照射領域
1020 読み出し領域
1030 フレア画素
1040 フレア領域
1100 マクロ画素(画素ユニット)
1200A、1200B アクティブ画素
AR 測距範囲
D1 距離情報
L0 レーザ光(照射光)
L1 反射光
LD 画素駆動線
PLS 検出信号
SR 画角