IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

<>
  • 特開-光検出装置および測距システム 図1
  • 特開-光検出装置および測距システム 図2
  • 特開-光検出装置および測距システム 図3
  • 特開-光検出装置および測距システム 図4
  • 特開-光検出装置および測距システム 図5
  • 特開-光検出装置および測距システム 図6
  • 特開-光検出装置および測距システム 図7
  • 特開-光検出装置および測距システム 図8
  • 特開-光検出装置および測距システム 図9
  • 特開-光検出装置および測距システム 図10
  • 特開-光検出装置および測距システム 図11
  • 特開-光検出装置および測距システム 図12
  • 特開-光検出装置および測距システム 図13
  • 特開-光検出装置および測距システム 図14
  • 特開-光検出装置および測距システム 図15
  • 特開-光検出装置および測距システム 図16
  • 特開-光検出装置および測距システム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024125795
(43)【公開日】2024-09-19
(54)【発明の名称】光検出装置および測距システム
(51)【国際特許分類】
   G01S 7/4865 20200101AFI20240911BHJP
   G01S 17/10 20200101ALI20240911BHJP
   G01C 3/06 20060101ALI20240911BHJP
【FI】
G01S7/4865
G01S17/10
G01C3/06 120Q
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023033864
(22)【出願日】2023-03-06
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100112955
【弁理士】
【氏名又は名称】丸島 敏一
(72)【発明者】
【氏名】永松 元気
(72)【発明者】
【氏名】崎村 昇
(72)【発明者】
【氏名】稲垣 雄志
(72)【発明者】
【氏名】遠藤 宣明
(72)【発明者】
【氏名】関谷 彰人
【テーマコード(参考)】
2F112
5J084
【Fターム(参考)】
2F112AD01
2F112BA06
2F112CA05
2F112CA12
2F112EA05
2F112FA03
2F112FA07
2F112FA21
2F112FA41
2F112FA45
2F112FA50
2F112GA01
5J084AA05
5J084AB01
5J084AC02
5J084AD01
5J084BA04
5J084BA36
5J084BA40
5J084BA60
5J084BB02
5J084BB20
5J084CA03
5J084CA32
5J084CA49
5J084CA80
5J084EA04
5J084EA40
(57)【要約】
【課題】複数の対象物から光の反射に対応しつつ、測距精度の低下を抑制する。
【解決手段】光検出装置は、光子の受光タイミングの時刻を計測するTDC(Time to Digital Converter)と、TDCの互いに異なるTDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成するヒストグラム生成部とを備える。ヒストグラム生成部は、第1測距期間においてTDCコード循環期間が互いに異なる2以上の第1ヒストグラムを生成し、第2測距期間において第1ヒストグラムよりもTDC分解能が粗い第2ヒストグラムを生成してもよい。
【選択図】 図4
【特許請求の範囲】
【請求項1】
光子の受光タイミングの時刻を計測するTDC(Time to Digital Converter)と、
前記TDCの互いに異なるTDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成するヒストグラム生成部と
を備える光検出装置。
【請求項2】
前記TDCは、発光間隔が互いに異なる前記光子の受光タイミングの時刻を計測する
請求項1に記載の光検出装置。
【請求項3】
前記ヒストグラム生成部は、
第1測距期間において前記TDCコード循環期間が互いに異なる2以上の第1ヒストグラムを生成し、
第2測距期間において前記第1ヒストグラムよりも前記TDC分解能が粗い第2ヒストグラムを生成する
請求項1に記載の光検出装置。
【請求項4】
前記第1測距期間の測距光の発光間隔は、前記第2測距期間の前記測距光の発光間隔より短い
請求項3に記載の光検出装置。
【請求項5】
前記第1測距期間における前記測距光の発光間隔は、前記第1ヒストグラムについての前記TDCコード循環期間の整数倍である
請求項3に記載の光検出装置。
【請求項6】
前記第2測距期間のTDC分解能であるヒストグラムのビン幅は、前記第1ヒストグラムについての前記TDCコード循環期間と同等以下である
請求項3に記載の光検出装置。
【請求項7】
前記第1測距期間において前記TDCのTDCコードが測距レンジ内で複数回循環する
請求項3に記載の光検出装置。
【請求項8】
前記2以上の第1ヒストグラムの前記TDC分解能は互いに等しい
請求項3に記載の光検出装置。
【請求項9】
前記第2測距期間の前記TDC分解能であるヒストグラムのビン幅の上限は、前記第1ヒストグラムについての前記TDCコード循環期間の最小値である
請求項3に記載の光検出装置。
【請求項10】
前記第2測距期間の前記TDC分解能であるヒストグラムのビン幅の下限は、前記第2ヒストグラムのビン数の最大値で測距レンジを割った値である
請求項9に記載の光検出装置。
【請求項11】
前記第1測距期間および前記第2測距期間は時分割的に設定される
請求項3に記載の光検出装置。
【請求項12】
前記第1ヒストグラムの生成および前記第2ヒストグラムの生成に同一の回路資源が割り当てられる
請求項11に記載の光検出装置。
【請求項13】
前記第1測距期間および前記第2測距期間は並列に設定される
請求項3に記載の光検出装置。
【請求項14】
前記第1ヒストグラムの生成および前記第2ヒストグラムの生成に別個の回路資源が割り当てられる
請求項13に記載の光検出装置。
【請求項15】
フレームレートを高速化可能なフレームレート優先モードと、検出可能ピーク数を増大可能な検出可能ピーク数設定モードと、測距レンジを拡大可能な測距レンジ優先モードとのいずれか少なくとも1つが設けられる
請求項1に記載の光検出装置。
【請求項16】
前記フレームレート優先モードと、前記検出可能ピーク数設定モードと、前記測距レンジ優先モードとのいずれか少なくとも1つにおいて、前記測距光の発光間隔がサブフレームごとに変化される
請求項15に記載の光検出装置。
【請求項17】
前記ヒストグラム生成部で生成されたヒストグラムに基づいて、対象物までの距離を算出する距離算出部
をさらに備える請求項3に記載の光検出装置。
【請求項18】
前記距離算出部は、前記第1ヒストグラムおよび第2ヒストグラムに基づいて、少なくとも1つの対象物までの距離を算出する
請求項17に記載の光検出装置。
【請求項19】
前記距離算出部が算出可能な対象物までの距離の個数は、前記第1ヒストグラムの個数以下である
請求項17に記載の光検出装置。
【請求項20】
光子を対象物に出射する発光部と、
前記対象物から反射された光子の受光タイミングの時刻を計測するTDC(Time to Digital Converter)の互いに異なるTDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成する光検出装置と
を備える測距システム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、光検出装置および測距システムに関する。詳しくは、本技術は、複数のTDC(Time to Digital Converter)分解能に基づいて光検出可能な光検出装置および測距システムに関する。
【背景技術】
【0002】
測距では、ToF(Time of Flight)センサが用いられることがある。ToFセンサでは、対象物への光の発光タイミングと、対象物から反射された光の受光タイミングとから、対象物までの距離が直接測定される。例えば、光の発光タイミングから受光タイミングまでの時間を互いに異なるTDC分解能でカウントしたカウント値に基づいての生成したヒストグラムから対象物までの距離を算出する測距装置が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-1763号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の従来技術では、複数の対象物から光が反射されると、測距対象の特定ができず、測距精度の低下を招くおそれがあった。
【0005】
本技術はこのような状況に鑑みて生み出されたものであり、複数の対象物から光の反射に対応しつつ、測距精度の低下を抑制することを目的とする。
【課題を解決するための手段】
【0006】
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、光子の受光タイミングの時刻を計測するTDC(Time to Digital Converter)と、前記TDCの互いに異なるTDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成するヒストグラム生成部とを備える光検出装置である。これにより、短い方のTDCコード循環期間にサブレンジを設定すると、互いに距離が異なる対象物からの光の反射に基づくヒストグラムのピークが、各ピークの存在する各サブレンジを特定することで、一意に判別可能という作用をもたらす。
【0007】
また、第1の側面において、前記TDCは、発光間隔が互いに異なる前記光子の受光タイミングの時刻を計測してもよい。これにより、ヒストグラムのビン幅に応じて測距光の発光間隔が設定可能となるという作用をもたらす。
【0008】
また、第1の側面において、前記ヒストグラム生成部は、第1測距期間において前記TDCコード循環期間が互いに異なる2以上の第1ヒストグラムを生成し、第2測距期間において前記第1ヒストグラムよりも前記TDC分解能が粗い第2ヒストグラムを生成してもよい。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジを拡大するとともに、マルチパスに起因するヒストグラムの複数のピークと複数の対象物との対応関係が識別可能となるという作用をもたらす。
【0009】
また、第1の側面において、前記第1測距期間の測距光の発光間隔は、前記第2測距期間の前記測距光の発光間隔より短くてもよい。これにより、TDC分解能が粗い第2ヒストグラムのビン幅に応じて設定される発光間隔の制約を緩和しつつ、TDC分解能が細かい第1ヒストグラムのビン幅に応じた発光間隔が設定されるという作用をもたらす。
【0010】
また、第1の側面において、前記第1測距期間における前記測距光の発光間隔は、前記第1ヒストグラムについての前記TDCコード循環期間の整数倍でもよい。これにより、第1測距期間におけるTDCコード循環期間において光子の発光数が増大されるという作用をもたらす。
【0011】
また、第1の側面において、前記第2測距期間のTDC分解能であるヒストグラムのビン幅は、前記第1ヒストグラムについての前記TDCコード循環期間と同等以下でもよい。これにより、短い方のTDCコード循環期間にサブレンジを設定すると、互いに距離が異なる対象物からの光の反射に基づくヒストグラムのピークが、各ピークの存在する各サブレンジを特定することで、一意に判別可能という作用をもたらす。
【0012】
また、第1の側面において、前記第1測距期間において前記TDCのTDCコードが測距レンジ内で複数回循環してもよい。これにより、TDCのカウント動作に基づいて、TDC分解能が細かい第1ヒストグラムが生成されるという作用をもたらす。
【0013】
また、第1の側面において、前記2以上の第1ヒストグラムの前記TDC分解能は互いに等しくてもよい。これにより、2以上の第1ヒストグラムのTDC分解能が適正化されるという作用をもたらす。
【0014】
また、第1の側面において、前記第2測距期間の前記TDC分解能であるヒストグラムのビン幅の上限は、前記第1ヒストグラムについての前記TDCコード循環期間の最小値でもよい。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジが拡大されるとともに、マルチパスに起因するヒストグラムの複数のピークと複数の対象物との対応関係が識別可能となるという作用をもたらす。
【0015】
また、第1の側面において、前記第2測距期間の前記TDC分解能であるヒストグラムのビン幅の下限は、前記第2ヒストグラムのビン数の最大値で測距レンジを割った値でもよい。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジが拡大されるという作用をもたらす。
【0016】
また、第1の側面において、前記第1測距期間および前記第2測距期間は時分割的に設定されてもよい。これにより、同一の回路資源を割り当てつつ、2以上の対象物までの距離が算出されるという作用をもたらす。
【0017】
また、第1の側面において、前記第1ヒストグラムの生成および前記第2ヒストグラムの生成に同一の回路資源が割り当てられてもよい。これにより、回路資源の増大を抑制しつつ、2以上の対象物までの距離が算出されるという作用をもたらす。
【0018】
また、第1の側面において、前記第1測距期間および前記第2測距期間は並列に設定されてもよい。これにより、フレームレートの増大を抑制しつつ、距離可能な距離の個数が増大されるという作用をもたらす。
【0019】
また、第1の側面において、前記第1ヒストグラムの生成および前記第2ヒストグラムの生成に別個の回路資源が割り当てられてもよい。これにより、複数のヒストグラムの生成が並列に実施可能になるという作用をもたらす。
【0020】
また、第1の側面において、フレームレートを高速化可能なフレームレート優先モードと、検出可能ピーク数を増大可能な検出可能ピーク数設定モードと、測距レンジを拡大可能な測距レンジ優先モードとのいずれか少なくとも1つが設けられてもよい。これにより、測距環境に応じて測距条件を適正化しつつ、測距が可能となるという作用をもたらす。
【0021】
また、第1の側面において、前記フレームレート優先モードと、前記検出可能ピーク数設定モードと、前記測距レンジ優先モードとのいずれか少なくとも1つにおいて、前記測距光の発光間隔がサブフレームごとに変化されてもよい。これにより、測距光の発光間隔が変化されたサブフレームの合成処理に基づいて測距レンジが拡張可能となるという作用をもたらす。
【0022】
また、第1の側面において、前記ヒストグラム生成部で生成されたヒストグラムに基づいて、対象物までの距離を算出する距離算出部をさらに備えてもよい。これにより、対象物から反射された光の受光タイミングの時刻を計測して、対象物までの距離が算出されるという作用をもたらす。
【0023】
また、第1の側面において、前記距離算出部は、前記第1ヒストグラムおよび第2ヒストグラムに基づいて、少なくとも1つの対象物までの距離を算出してもよい。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジを拡大するとともに、マルチパスに起因するヒストグラムの複数のピークと複数の対象物との対応関係が識別可能となるという作用をもたらす。
【0024】
また、第1の側面において、前記距離算出部が算出可能な対象物までの距離の個数は、前記第1ヒストグラムの個数以下でもよい。これにより、2以上の対象物までの距離が算出されるという作用をもたらす。
【0025】
また、第2の側面は、光子を対象物に出射する発光部と、前記対象物から反射された光子の受光タイミングの時刻を計測するTDC(Time to Digital Converter)の互いに異なるTDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成する光検出装置とを備える測距システムである。これにより、短い方のTDCコード循環期間にサブレンジを設定すると、互いに距離が異なる対象物からの光の反射に基づくヒストグラムのピークが、各ピークの存在する各サブレンジを特定することで、一意に判別可能という作用をもたらす。
【図面の簡単な説明】
【0026】
図1】第1の実施の形態に係る測距装置の構成例を示すブロック図である。
図2】第1の実施の形態に係る光検出部の構成例を示すブロック図である。
図3】第1の実施の形態に係る光検出装置が適用される固体撮像装置の構成例を示すブロック図である。
図4】第1の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
図5】第1の実施の形態に係る測距装置のヒストグラム生成処理の一例を示す図である。
図6】第2の実施の形態に係る光検出部の構成例を示すブロック図である。
図7】第2の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
図8】第3の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
図9】第4の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
図10】第5の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
図11】第6の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
図12】第7の実施の形態に係る測距装置の測距モードの一例を示す図である。
図13】第8の実施の形態に係る測距装置の測距モードの一例を示す図である。
図14】第9の実施の形態に係る光検出部の積層例を示す斜視図である。
図15】第10の実施の形態に係る光検出部の積層例を示す斜視図である。
図16】車両制御システムの概略的な構成例を示すブロック図である。
図17】撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0027】
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(3つのサブフレームをフレームに時分割的に設け、互いに異なる第1TDCコード循環期間を2つのサブフレームに設定し、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームに設けた例)
2.第2の実施の形態(2つのサブフレームをフレームに並列して設け、互いに異なる第1TDCコード循環期間を2つのサブフレームに設定し、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの並列のサブフレームに設けた例)
3.第3の実施の形態(4つのサブフレームをフレームに時分割的に設け、互いに異なる第1TDCコード循環期間を3つのサブフレームに設定し、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームに設けた例)
4.第4の実施の形態(4つのサブフレームをフレームに時分割的に設け、測距レンジが拡大されるように、互いに異なる第1TDCコード循環期間を3つのサブフレームに設定するとともに、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームに設けた例)
5.第5の実施の形態(3つのサブフレームをフレームに並列して設け、測距レンジが拡大されるように、互いに異なる第1TDCコード循環期間を3つのサブフレームに設定するとともに、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの並列のサブフレームに設けた例)
6.第6の実施の形態(2つのサブフレームをフレームに並列して設け、測距レンジが拡大されるように、互いに異なる3つの第1TDCコード循環期間のうちの2つの第1TDCコード循環期間を2つのサブフレームに設定するとともに、第1TDCコード循環期間よりも長い第2TDCコード循環期間および残りの1つの第1TDCコード循環期間を残りの並列のサブフレームに設けた例)
7.第7の実施の形態(複数のサブフレームがフレームに時分割的に設けられた測距における測距モードの例)
8.第8の実施の形態(複数のサブフレームがフレームに並列して設けられた測距における測距モードの例)
9.第9の実施の形態(画素アレイ部を上層チップに設け、回路アレイ部を下層チップに設けた例)
10.第10の実施の形態(複数のSPADが設けられた画素が配列された画素アレイ部を上層チップに設け、回路アレイ部を下層チップに設けた例)
11.移動体への応用例
【0028】
<1.第1の実施の形態>
図1は、第1の実施の形態に係る測距装置の構成例を示すブロック図である。
【0029】
同図において、測距装置100は、例えば、ToFに基づいて測距を実施する。ここで、測距装置100は、光子を含む測距光LMLを各対象物101、102に出射する。そして、測距装置100は、測距光LMLが各対象物101、102で反射された反射光LRF1、LRF2の受光タイミングに基づいて、各対象物101、102までの距離を算出することができる。
【0030】
このとき、測距装置100は、互いに異なるTDC分解能でカウントしたカウント値に基づいて生成したヒストグラムから各対象物101、102までの距離を算出することができる。ここで、測距装置100は、第1測距期間においてTDCコード循環期間が互いに異なる2以上の第1ヒストグラムを生成し、第2測距期間において第1ヒストグラムよりもTDC分解能が粗い第2ヒストグラムを生成することができる。これにより、測距装置100は、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジを拡大するとともに、マルチパスに起因するヒストグラムの複数のピークと各対象物101、102との対応関係を識別することができる。
【0031】
測距装置100は、駆動部111、発光部112、光検出部123、距離算出部124、光学系113、121および光学フィルタ122を備える。
【0032】
駆動部111は、光検出部123からの指示に従って、発光部112を駆動する。このとき、駆動部111は、光検出部123からの発光トリガTRGに従って、発光部112の駆動タイミングを設定する。
【0033】
発光部112は、駆動部111の駆動に従って、所定の波長域の光を出射する。所定の波長域は、可視域でもよいし、赤外域でもよい。発光部112は、測距光LMLの発光間隔を変化させることができる。発光部112には、レーザーダイオードを用いることができる。発光部112は、発光領域を変化させてもよい。このとき、レーザーダイオードは、複数設けてもよい。
【0034】
光学系113は、測距光LMLを対象物101、102に結像させる。なお、光学系113は、レンズおよび光学フィルタなどを備えてもよい。
【0035】
光学系121は、各反射光LRF1、LRF2を光検出部123の受光面に結像させる。なお、光学系121は、レンズおよび絞りなどを備えてもよい。
【0036】
光学フィルタ122は、各反射光LRF1、LRF2から不要な波長帯の光を除去する。
【0037】
光検出部123は、各対象物101、102から反射された反射光LRF1、LRF2を受光する。光検出部123には、反射光LRF1、LRF2を受光するために、SPAD(Single Photon Avalanche Diode)を設けることができる。光検出部123は、発光トリガTRGに従って発光部112が測距光LMLを出射してから、SPADが受光するまでの時間をカウントしたカウント値に基づいて、ヒストグラムを画素ごとに生成することができる。ヒストグラムは、SPADの反応数(受光頻度とも言う)と各対象物101、102までの距離との関係を示すことができる。各対象物101、102までの距離は、発光部112が測距光LMLを出射してから、SPADが受光するまでの時間がTDCでカウントされたカウント値に基づいて換算することができる。なお、以下の説明では、TDCでカウントされたカウント値をTDCコードと呼ぶ。
【0038】
ここで、光検出部123は、時間のカウントを時分割的に実行するとともに、ヒストグラムの生成を時分割的に実行することができる。このとき、光検出部123は、第1測距期間および第2測距期間を時分割的に設定し、第1測距期間の時間のカウントおよびヒストグラムの生成と、第2測距期間の時間のカウントおよびヒストグラムの生成に同一の回路資源を割り当てることができる。
【0039】
距離算出部124は、光検出部123で生成されたヒストグラムのピークから各対象物101、102までの距離を画素ごとに求めることができる。このとき、距離算出部124は、ヒストグラムのピーク位置に基づいて、各対象物101、102までの距離を算出することができる。ここで、光検出部123は、TDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成することができる。なお、TDCコード循環期間は、あるTDC分解能においてTDCコードが0から最大値までの至る期間である。TDC分解能は、TDCコードに基づく時間分解能であり、ヒストグラムのビン幅と同義である。これにより、短い方のTDCコード循環期間にサブレンジが設定されると、互いに距離が異なる対象物101、102からの光の反射に基づくヒストグラムのピークが、各ピークの存在する各サブレンジを特定することで、一意に判別可能となる。このため、距離算出部124は、互いに距離が異なる対象物101、102で測距光LMLが反射される場合においても、一方の対象物101、102の距離の算出ができなくなったり、実在しない中間の距離を算出したりするのを防止することができる。
【0040】
ここで、第1測距期間の測距光LMLの発光間隔は、第2測距期間の測距光LMLの発光間隔より短くてもよい。これにより、TDC分解能が粗い第2ヒストグラムのビン幅に応じて設定される発光間隔の制約を緩和しつつ、TDC分解能が細かい第1ヒストグラムのビン幅に応じた発光間隔を設定することができる。
【0041】
図2は、第1の実施の形態に係る光検出部の構成例を示すブロック図である。
【0042】
同図において、光検出部123は、受光部131、読出し回路132、TDC133、ヒストグラム生成部134および制御部135を備える。
【0043】
受光部131には、複数の画素が設けられる。画素は、ロウ方向およびカラム方向にマトリックス状に配置される。各画素には、SPADを設けることができる。各画素は、単一のSPADを備えてもよいし、複数のSPADを備えてもよい。
【0044】
読出し回路132は、画素アレイ部140の各画素から画素データを読出し、TDC133に出力する。
【0045】
TDC133は、発光から受光までの時間差を測定し、その値をデジタル値に変換する。このとき、デジタル値は、発光トリガTRGの出力タイミングとSPADパルスの出力タイミングの時間差を示すことができる。また、TDC133は、測距光LMLの発光間隔が互いに異なる各反射光LRF1、LRF2の受光タイミングの時刻を計測するマルチヒットTDCでもよい、このとき、TDC133は、発光トリガTRGの出力後に順次検出される複数のSPADパルスについて、それぞれの時間差を求めることができる。
【0046】
ヒストグラム生成部134は、発光から受光までの時間差と発光部112の反応数との関係を示すヒストグラムを生成することができる。このとき、ヒストグラム生成部134は、互いに異なるTDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成することができる。例えば、ヒストグラム生成部134は、第1測距期間においてTDCコード循環期間が互いに異なる2以上の第1ヒストグラムを生成し、第2測距期間において第1ヒストグラムよりもTDC分解能が粗い第2ヒストグラムを生成することができる。このとき、ヒストグラム生成部134は、2以上の第1ヒストグラムのTDC分解能は互いに等しくすることができる。距離算出部124が算出可能な対象物までの距離の個数は、第1ヒストグラムの個数以下である。
【0047】
制御部135は、受光部131、読出し回路132、TDC133およびヒストグラム生成部134を制御する。例えば、制御部135は、フレームを分割したサブフレームごとに設定されたTDCコード循環期間に対応したヒストグラムが生成されるように、受光部1311、読出し回路132、TDC133およびヒストグラム生成部134の動作タイミングを制御する。また、制御部135は、発光トリガTRGを駆動部111に出力する。このとき、制御部135は、第2測距期間の測距光LMLの発光間隔より第1測距期間の測距光LMLの発光間隔が短くなるように、発光トリガTRGを駆動部111に出力してもよい。
【0048】
図3は、第1の実施の形態に係る光検出装置が適用される固体受光部の構成例を示すブロック図である。
【0049】
同図において、受光部131および読出し回路132は、画素アレイ部140、行走査回路141および列処理回路142を備える。これらの回路は、単一の半導体基板に配置してもよいし、積層基板に配置してもよい。
【0050】
画素アレイ部140には、画素151がロウ方向およびカラム方向にマトリックス状に配置される。各画素151は、スイッチ152を介してカラムごとに信号線SVLに接続され、ロウごとに水平制御線CHLに接続される。各画素151は、光子の入射に応じて生成されたパルスのカウント値を画素データとして出力する。
【0051】
行走査回路141は、垂直同期信号に同期してロウを順に選択する。このとき、行走査回路141は、水平制御線CHLを介して画素151を選択することができる。行走査回路141は、画素151をロウごとに選択するために、選択信号SEL<1>-<n>をロウごとにスイッチ152に供給する。また、行走査回路141は、各画素151のカウント値をロウごとにリセットするために、カウントリセット信号RST<1>-<n>をロウごとに画素151に供給する。行走査回路141は、光子が検出された画素151を含むロウの選択を調停する垂直アービタを含んでもよい。
【0052】
列処理回路142は、信号線SVLを介して伝送された画素データに対して、各種の信号処理を実行する。列処理回路142は、カラムをスキャンするラインスキャナを含んでもよい。列処理回路142は、光子が検出された画素151を含むカラムの選択を調停する水平アービタを含んでもよい。
【0053】
図4は、第1の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
【0054】
同図において、フレームFMは、3つのサブフレームSFM0からSFM2に分割される。サブフレームSFM1、SFM2は、第1測距期間に割り当てられ、サブフレームSFM0は、第2測距期間に割り当てられる。第1測距期間には、TDCコード循環期間が互いに異なる複数のサブフレームSFM1、SFM2が割り当てられる。各サブフレームSFM1、SFM2では、TDCコードが複数回循環する。
【0055】
このとき、サブフレームSFM1のTDCコード循環期間は、サブフレームSFM2のTDCコード循環期間より短くすることができる。サブフレームSFM0のTDCコード循環期間は、測距レンジMRGに相当する期間に設定することができる。第2測距期間のTDC分解能であるヒストグラのビン幅は、第1測距期間のTDCコード循環期間と同等以下とすることができる。例えば、サブフレームSFM0で生成されるヒストグラムのビン幅は、サブフレームSFM1のTDCコード循環期間と等しくすることができる。また、第1測距期間で生成される2以上の第1ヒストグラムのTDC分解能は互いに等しくすることができる。例えば、各サブフレームSFM1、SFM2で生成されるヒストグラムのビン幅は、互いに等しくすることができる。ここで、第1測距期間の各サブフレームSFM1、SFM2で生成されるヒストグラムをFineヒストグラムと呼び、第2測距期間のサブフレームSFM0で生成されるヒストグラムをCoarseヒストグラムと呼ぶ。また、ビン数が最も少ないFineヒストグラムの全ビンに対応する光飛行時間に相当する距離をサブレンジSRとする。このとき、Coarseヒストグラムのビン幅はサブレンジSRに設定することができる。また、測距レンジMRGは、各サブフレームSFM1、SFM2で生成される2つのFineヒストグラムのビン数の最小公倍数に相当する距離で与えることができる。このとき、測距点あたりに測距可能な対象物の最大個数は2となる。
【0056】
ここで、第2測距期間のTDC分解能であるヒストグラムのビン幅の上限は、第1測距期間のTDCコード循環期間の最小値でもよい。また、第2測距期間のTDC分解能であるヒストグラムのビン幅の下限は、Coarseヒストグラムのビン数の最大値で測距レンジを割った値でもよい。
【0057】
例えば、Coarseヒストグラムのビン幅≦短い方のTDCコード循環期間に対応する距離という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。これにより、マルチパスに起因するヒストグラムの複数のピークと複数の対象物101、102との対応関係を識別することができる。
【0058】
また、Coarseヒストグラムのビン幅≧測距レンジ/ヒストグラムビン数の最大値という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジMRGを拡大することができる。
【0059】
例えば、サブフレームSFM0で生成されるCoarseヒストグラムのビン数は4、サブフレームSFM1で生成されるFineヒストグラムのビン数は6、サブフレームSFM2で生成されるFineヒストグラムのビン数は8に設定することができる。ここで、サブフレームSFM1で生成されるFineヒストグラムのTDCコード循環期間をサブレンジSRに設定し、サブフレームSFM0で生成されるCoarseヒストグラムのビン幅をサブレンジSRに設定することができる。このとき、各サブフレームSFM1、SFM2で生成されるFineヒストグラムのビン幅はSR/6に設定することができる。また、サブフレームSFM0におけるTDCコード循環数を1、サブフレームSFM1におけるTDCコード循環数を4、サブフレームSFM2におけるTDCコード循環数を3に設定することができる。また、測距レンジMRGは、サブフレームSFM1で生成される2つのFineヒストグラムのビン数=6と、サブフレームSFM2で生成される2つのFineヒストグラムのビン数=8の最小公倍数=24に相当する距離で与えることができる。
【0060】
また、第1測距期間の測距光LMLの発光間隔は、第2測距期間の測距光LMLの発光間隔より短くすることができる。また、第1測距期間の各サブフレームSFM1、SFM2の測距光LMLの発光間隔は、第1測距期間の各サブフレームSFM1、SFM2のTDCコード循環期間の整数倍でもよい。このとき、第1測距期間の各サブフレームSFM1、SFM2の測距光LMLの発光回数は、各サブフレームSFM1、SFM2のビン数で測距レンジMRGを割った値に設定することができる。例えば、サブフレームSFM0における測距光LMLの発光回数を1とする。このとき、サブフレームSFM1における測距光LMLの発光回数を4、サブフレームSFM2における測距光LMLの発光回数を3に設定することができる。
【0061】
図5は、第1の実施の形態に係る測距装置のヒストグラム生成処理の一例を示す図である。
【0062】
同図において、ヒストグラム生成部134は、サブフレームSFM0のTDCコード循環期間ごとにCoarseヒストグラムHS0を生成する。また、ヒストグラム生成部134は、サブフレームSFM1のTDCコード循環期間ごとにFineヒストグラムHS1を生成する。また、ヒストグラム生成部134は、サブフレームSFM2のTDCコード循環期間ごとにFineヒストグラムHS2を生成する。このとき、距離が互いに異なる2つの対象物101、102が測距レンジMRG内にあるものとすると、CoarseヒストグラムHS0および各FineヒストグラムHS1、HS2には2つのピークが発生する。
【0063】
距離算出部124は、サブフレームSFM1のTDCコード循環期間ごとに測距レンジMRGの分だけFineヒストグラムHS1を並べる。また、距離算出部124は、サブフレームSFM2のTDCコード循環期間ごとに測距レンジMRGの分だけFineヒストグラムHS2を並べる。そして、測距レンジMRGの分だけ並べたFineヒストグラムHS1、HS2をビンごとに重ねたタイリングヒストグラムHS3を生成する。
【0064】
このとき、CoarseヒストグラムHS0のビン幅はサブレンジSRに設定されているので、CoarseヒストグラムHS0の2つのピークには、FineヒストグラムHS1の2つのピークがそれぞれ含まれる。FineヒストグラムHS1のTDCコード循環期間は、FineヒストグラムHS2のTDCコード循環期間よりも短いので、HS0の2つのピークの各サブレンジSRにおいて、2つのFineヒストグラムHS1、HS2の2つのピークが、HS0の2つのピークのビンの位置で重なることはない。このため、各サブレンジSRの2つのFineヒストグラムHS1、HS2のピークが重なるビンの位置と、CoarseヒストグラムHS0のピークのビンの位置とを紐付けることにより、測距点あたり最大2つの対象物101、102までの距離を算出することができる。
【0065】
例えば、サブフレームSFM1では、TDCコード循環数が4に設定され、4つのTDCコード循環期間が設けられる。このとき、サブフレームSFM1の各TDCコード循環期間にサブレンジSR0からSR3が設定される。サブフレームSFM1の各TDCコード循環期間のFineヒストグラムがサブレンジSR0からSR3ごとに配置されることにより、Fineヒストグラムの24ビン分の位置が距離に換算される。
【0066】
ここで、例えば、対象物101までの距離が測距レンジMRGの4ビンの位置に相当し、対象物102までの距離が測距レンジMRGの18ビンの位置に相当するものとする。このとき、タイリングヒストグラムHS3の各サブレンジSR0からSR3において、2つのFineヒストグラムHS1、HS2のピークが重なったピークP0からP3がそれぞれ発生する。
【0067】
ここで、サブレンジSR0では、2つのFineヒストグラムHS1、HS2のピークが4ビンの位置で重なったピークP0が発生し、CoarseヒストグラムHS0のピークが発生する。また、サブレンジSR3では、2つのFineヒストグラムHS1、HS2のピークが18ビンの位置で重なったピークP3が発生し、CoarseヒストグラムHS0のピークが発生する。このため、サブレンジSR0の2つのFineヒストグラムHS1、HS2のピークが重なったピークP0の4ビンの位置と、CoarseヒストグラムHS0のピークの0ビンの位置とを紐付けることにより、対象物101までの距離を算出することができる。また、サブレンジSR3の2つのFineヒストグラムHS1、HS2のピークが重なったピークP3の18ビンの位置と、CoarseヒストグラムHS0のピークの3ビンの位置とを紐付けることにより、対象物102までの距離を算出することができる。
【0068】
一方、サブレンジSR1では、2つのFineヒストグラムHS1、HS2のピークが10ビンの位置で重なったピークP1が発生し、CoarseヒストグラムHS0のピークは発生しない。また、サブレンジSR2では、2つのFineヒストグラムHS1、HS2のピークが12ビンの位置で重なったピークP2が発生し、CoarseヒストグラムHS0のピークは発生しない。このため、タイリングヒストグラムHS3のピークP1、P2は偽ピークと判定することができる。
【0069】
このように、上述の第1の実施の形態では、互いに異なるTDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成する。このとき、短い方のTDCコード循環期間にサブレンジSRを設定する。これにより、互いに距離が異なる対象物101、102からの光の反射に基づくヒストグラムのピークを、各ピークの存在する各サブレンジを特定することで、一意に判別することができる。このため、互いに距離が異なる対象物101、102が測距レンジMRG内にある場合においても、一方の対象物101、102の距離の算出ができなくなったり、実在しない中間の距離を算出したりするのを防止することができる。
【0070】
また、TDCコード循環期間が互いに異なる2以上のFineヒストグラムHS1、HS2とともに、FineヒストグラムHS1、HS2よりもTDC分解能が粗いCoarseヒストグラムHS0を生成する。これにより、タイリングヒストグラムHS3の真のピークP0、P3を特定しつつ、偽のピークP1、P2を特定することができ、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、対象物101、102の測距精度を向上させることができる。
【0071】
<2.第2の実施の形態>
上述の第1の実施の形態では、3つのサブフレームSFM0からSFM2をフレームFMに時分割的に設け、互いに異なる第1TDCコード循環期間を2つのサブフレームSFM1、SFM2に設定する。そして、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームSFM0に設けた。この第2の実施の形態では、2つのサブフレームSFM1、SFM2のそれぞれをフレームFMに並列して設け、互いに異なる第1TDCコード循環期間を2つのサブフレームSFM1、SFM2に設定する。そして、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの並列のサブフレームSFM1、SFM2に設ける。
【0072】
図6は、第2の実施の形態に係る光検出部の構成例を示すブロック図である。
【0073】
同図において、光検出部223は、上述の第1の実施の形態のTDC133、ヒストグラム生成部134および制御部135に代えて、TDC133-1、133-2、ヒストグラム生成部134-1、134-2および制御部235を備える。第2の実施の形態の光検出部223のそれ以外の構成は、上述の第1の実施の形態の光検出部123の構成と同様である。
【0074】
光検出部223は、各対象物101、102から反射された反射光LRF1、LRF2を受光する。光検出部223は、発光トリガTRGに従って発光部112が測距光LMLを出射してから、SPADが受光するまでの時間をカウントしたカウント値に基づいて、ヒストグラムを画素ごとに生成することができる。
【0075】
ここで、光検出部223は、時間のカウントを並列に実行するとともに、ヒストグラムの生成を並列に実行することができる。このとき、光検出部223は、第1測距期間および第2測距期間を並列に設定し、第1測距期間の時間のカウントおよびヒストグラムの生成と、第2測距期間の時間のカウントおよびヒストグラムの生成に別個の回路資源を割り当てることができる。
【0076】
各TDC133-1、133-2は、発光から受光までの時間差を測定し、その値をデジタル値に変換する。このとき、各TDC133-1、133-2は、互いに異なるTDCコード循環期間に基づいて時間のカウントを実施することができる。例えば、TDC133-1は、第1測距期間で設定されたTDCコード循環期間に基づいて時間のカウントを実施することができる。TDC133-2は、第2測距期間で設定されたTDCコード循環期間に基づいて時間のカウントを実施することができる。
【0077】
各ヒストグラム生成部134-1、134-2は、発光から受光までの時間差と発光部112の反応数との関係を示すヒストグラムを生成することができる。このとき、各ヒストグラム生成部134-1、134-2は、互いに異なるTDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成することができる。例えば、ヒストグラム生成部134-1は、第1測距期間においてTDCコード循環期間が互いに異なる2以上のFineヒストグラムを生成することができる。ヒストグラム生成部134-2は、第2測距期間においてFineヒストグラムよりもTDC分解能が粗いCoarseヒストグラムを生成することができる。
【0078】
制御部235は、受光部131、読出し回路132、TDC133-1、133-2およびヒストグラム生成部134-1、134-2を制御する。例えば、制御部235は、第1測距期間の時間のカウントおよびヒストグラムの生成と、第2測距期間の時間のカウントおよびヒストグラムの生成が並列に実施されるように、各TDC133-1、133-2および各ヒストグラム生成部134-1、134-2の動作タイミングを制御する。
【0079】
図7は、第2の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
【0080】
同図において、フレームFMは、2つのサブフレームSFM1、SFM2に分割される。第1測距期間および第2測距期間は並列に設置され、第1測距期間および第2測距期間のそれぞれには、サブフレームSFM1、SFM2が割り当てられる。第1測距期間には、第1回路資源が割り当てられ、第2測距期間には、第2回路資源が割り当てられる。第1回路資源には、TDC133-1およびヒストグラム生成部134-1を割り当て、第2回路資源には、TDC133-2およびヒストグラム生成部134-2を割り当てることができる。
【0081】
このとき、第1測距期間において、サブフレームSFM1のTDCコード循環期間は、サブフレームSFM2のTDCコード循環期間より短くすることができる。第2測距期間において、サブフレームSFM1のTDCコード循環期間は、測距レンジMRGに相当する期間に設定することができる。第2測距期間のTDC分解能であるヒストグラムのビン幅は、第1測距期間のTDCコード循環期間と同等以下とすることができる。例えば、第2測距期間のサブフレームSFM1で生成されるヒストグラムのビン幅は、第1測距期間のサブフレームSFM1のTDCコード循環期間と等しくすることができる。また、第1測距期間で生成される2以上のFineヒストグラムのTDC分解能は互いに等しくすることができる。例えば、第1測距期間の各サブフレームSFM1、SFM2で生成されるFineヒストグラムのビン幅は、互いに等しくすることができる。測距レンジMRGは、第1測距期間の各サブフレームSFM1、SFM2で生成される2つのFineヒストグラムのビン数の最小公倍数に相当する距離で与えることができる。このとき、測距点あたりに測距可能な対象物の最大個数は2となる。
【0082】
ここで、Coarseヒストグラムのビン幅≦短い方のTDCコード循環期間に対応する距離という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。また、Coarseヒストグラムのビン幅≧測距レンジ/ヒストグラムビン数の最大値という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。
【0083】
例えば、第1測距期間において、サブフレームSFM1で生成されるFineヒストグラムのビン数は6、サブフレームSFM2で生成されるFineヒストグラムのビン数は8に設定することができる。第2測距期間において、サブフレームSFM1で生成されるCoarseヒストグラムのビン数は4、サブフレームSFM2で生成されるCoarseヒストグラムのビン数は3に設定することができる。ここで、第1測距期間のサブフレームSFM1で生成されるFineヒストグラムのTDCコード循環期間をサブレンジSRに設定し、第2測距期間のサブフレームSFM1で生成されるCoarseヒストグラムのビン幅をサブレンジSRに設定することができる。
【0084】
このように、上述の第2の実施の形態では、2つのサブフレームSFM1、SFM2のそれぞれをフレームFMに並列して設け、2つのサブフレームSFM1、SFM2の組を第1測距期間および第2測距期間に割り当てる。そして、互いに異なる第1TDCコード循環期間を第1測距期間の2つのサブフレームSFM1、SFM2に設定する。また、第1TDCコード循環期間よりも長い第2TDCコード循環期間を第2測距期間のサブフレームSFM1、SFM2に設ける。これにより、2つのFineヒストグラムHS1、HS2および1つのCoarseヒストグラムHS0を生成するために、3つのサブフレームSFM0からSFM2をフレームFMに設ける必要がなくなる。このため、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、対象物101、102の測距精度を向上させることが可能となるとともに、フレームレートを向上させることができる。
【0085】
なお、上述の第2の実施の形態において、2つの対象物101、102の測距を行うには、第1測距期間の各サブフレームSFM1、SFM2で生成される2つのFineヒストグラムと、第2測距期間のサブフレームSFM1で生成される1つのCoarseヒストグラムがあればよい。このため、第2測距期間のサブフレームSFM2で生成される1つのCoarseヒストグラムは不要である。
【0086】
<3.第3の実施の形態>
上述の第1の実施の形態では、3つのサブフレームSFM0からSFM2をフレームFMに時分割的に設け、互いに異なる第1TDCコード循環期間を2つのサブフレームSFM1、SFM2に設定する。そして、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームSFM0に設けた。この第3の実施の形態では、4つのサブフレームをフレームFMに時分割的に設け、互いに異なる第1TDCコード循環期間を3つのサブフレームに設定する。そして、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームに設ける。
【0087】
図8は、第3の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
【0088】
同図において、フレームFMは、4つのサブフレームSFM0からSFM3に分割される。サブフレームSFM1からSFM3は、第1測距期間に割り当てられ、サブフレームSFM0は、第2測距期間に割り当てられる。第1測距期間には、TDCコード循環期間が互いに異なる複数のサブフレームSFM1からSFM3が割り当てられる。各サブフレームSFM1からSFM3では、TDCコードが複数回循環する。
【0089】
このとき、サブフレームSFM1のTDCコード循環期間は、サブフレームSFM2のTDCコード循環期間より短くすることができる。サブフレームSFM2のTDCコード循環期間は、サブフレームSFM3のTDCコード循環期間より短くすることができる。サブフレームSFM0のTDCコード循環期間は、測距レンジMRGに相当する期間に設定することができる。第2測距期間のTDC分解能であるヒストグラムのビン幅は、第1測距期間のTDCコード循環期間と同等以下とすることができる。例えば、サブフレームSFM0で生成されるヒストグラムのビン幅は、サブフレームSFM1のTDCコード循環期間と等しくすることができる。また、第1測距期間で生成される2以上のFineヒストグラムのTDC分解能は互いに等しくすることができる。例えば、各サブフレームSFM1からSFM3で生成されるFineヒストグラムのビン幅は、互いに等しくすることができる。ここで、第1測距期間の各サブフレームSFM1からSFM3で生成されるヒストグラムをFineヒストグラムと呼び、第2測距期間のサブフレームSFM0で生成されるヒストグラムをCoarseヒストグラムと呼ぶ。また、ビン数が最も少ないFineヒストグラムの全ビンに対応する光飛行時間に相当する距離をサブレンジSRとする。このとき、Coarseヒストグラムのビン幅はサブレンジSRに設定することができる。また、測距レンジMRGは、3つのサブフレームSFM1からSFM3のうちの2つのサブフレームの各組から生成される2つのFineヒストグラムのビン数の最小公倍数の最小値に相当する距離で与えることができる。このとき、測距点あたりに測距可能な対象物の最大個数は3となる。
【0090】
ここで、Coarseヒストグラムのビン幅≦Fineヒストグラムの最小のTDCコード循環期間に対応する距離という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。また、Coarseヒストグラムのビン幅≧測距レンジ/ヒストグラムビン数の最大値という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。
【0091】
例えば、サブフレームSFM0で生成されるCoarseヒストグラムのビン数は4に設定することができる。また、サブフレームSFM1で生成されるFineヒストグラムのビン数は6、サブフレームSFM2で生成されるFineヒストグラムのビン数は8、サブフレームSFM3で生成されるFineヒストグラムのビン数は10に設定することができる。ここで、サブフレームSFM1で生成されるFineヒストグラムのTDCコード循環期間をサブレンジSRに設定し、サブフレームSFM0で生成されるCoarseヒストグラムのビン幅をサブレンジSRに設定することができる。このとき、サブフレームSFM1、SFM2から生成される2つのFineヒストグラムのビン数の最小公倍数lcm(6,8)は24ビンである。サブフレームSFM1、SFM3から生成される2つのFineヒストグラムのビン数の最小公倍数lcm(6,10)は30ビンである。サブフレームSFM2、SFM3から生成される2つのFineヒストグラムのビン数の最小公倍数lcm(8,10)は40ビンである。このため、測距レンジMRGは、これらの3つの最小公倍数lcm(6,8)、lcm(6,10)、lcm(8,10)のうちの最小値=24ビンで与えられる。
【0092】
また、第1測距期間の測距光LMLの発光間隔は、第2測距期間の測距光LMLの発光間隔より短くすることができる。また、第1測距期間の各サブフレームSFM1からSFM3の測距光LMLの発光間隔は、第1測距期間の各サブフレームSFM1からSFM3のTDCコード循環期間の整数倍でもよい。このとき、第1測距期間の各サブフレームSFM1からSFM3の測距光LMLの発光回数は、各サブフレームSFM1からSFM3のビン数で測距レンジMRGを割った値に設定することができる。例えば、サブフレームSFM0における測距光LMLの発光回数を1とする。このとき、サブフレームSFM1における測距光LMLの発光回数を4、サブフレームSFM2における測距光LMLの発光回数を3、サブフレームSFM3における測距光LMLの発光回数を3に設定することができる。
【0093】
このように、上述の第3の実施の形態では、4つのサブフレームSFM0からSFM3をフレームFMに時分割的に設け、互いに異なる第1TDCコード循環期間を3つのサブフレームSFM1からSFM3に設定する。そして、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームSFM0に設ける。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジMRGを拡大することが可能となるとともに、測距精度の低下を抑制しつつ、測距点あたり最大3つの対象物の測距を実現することができる。
【0094】
<4.第4の実施の形態>
上述の第3の実施の形態では、4つのサブフレームSFM0からSFM3をフレームFMに時分割的に設け、互いに異なる第1TDCコード循環期間を3つのサブフレームSFM1からSFM3に設定する。そして、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームSFM0に設けた。この第4の実施の形態では、4つのサブフレームSFM0からSFM3をフレームFMに時分割的に設ける。そして、測距レンジMRGが拡大されるように、互いに異なる第1TDCコード循環期間を3つのサブフレームSFM1からSFM3に設定するとともに、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームSFM0に設ける。第4の実施の形態では、測距点あたりに測距可能な物体の最大個数が2となるが、第3の実施の形態と比較してより測距レンジMRGが拡大される。
【0095】
図9は、第4の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
【0096】
同図において、フレームFMは、4つのサブフレームSFM0からSFM3に分割される。サブフレームSFM1からSFM3は、第1測距期間に割り当てられ、サブフレームSFM0は、第2測距期間に割り当てられる。第1測距期間には、TDCコード循環期間が互いに異なる複数のサブフレームSFM1からSFM3が割り当てられる。各サブフレームSFM1からSFMでは、TDCコードが複数回循環する。
【0097】
このとき、サブフレームSFM1のTDCコード循環期間は、サブフレームSFM2のTDCコード循環期間より短くすることができる。サブフレームSFM2のTDCコード循環期間は、サブフレームSFM3のTDCコード循環期間より短くすることができる。サブフレームSFM0のTDCコード循環期間は、測距レンジMRGに相当する期間に設定することができる。第2測距期間のTDC分解能であるヒストグラムのビン幅は、第1測距期間のTDCコード循環期間と同等以下とすることができる。例えば、サブフレームSFM0で生成されるヒストグラムのビン幅は、サブフレームSFM1のTDCコード循環期間と等しくすることができる。また、第1測距期間で生成される2以上のFineヒストグラムのTDC分解能は互いに等しくすることができる。例えば、各サブフレームSFM1からSFM3で生成されるFineヒストグラムのビン幅は、互いに等しくすることができる。また、測距レンジMRGは、3つのサブフレームSFM1からSFM3から生成される3つのFineヒストグラムのビン数の最小公倍数と、Coarseヒストグラムのビン数×最小のFineヒストグラムのビン数のうちの小さい方の値で与えることができる。このとき、測距点あたりに測距可能な対象物の最大個数は2となる。
【0098】
ここで、Coarseヒストグラムのビン幅≦Fineヒストグラムの最小のTDCコード循環期間に対応する距離という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。また、Coarseヒストグラムのビン幅≧測距レンジ/ヒストグラムビン数の最大値という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。
【0099】
サブフレームSFM1で生成されるFineヒストグラムのビン数は6、サブフレームSFM2で生成されるFineヒストグラムのビン数は8、サブフレームSFM3で生成されるFineヒストグラムのビン数は10に設定することができる。ここで、サブフレームSFM1で生成されるFineヒストグラムのTDCコード循環期間をサブレンジSRに設定し、サブフレームSFM0で生成されるCoarseヒストグラムのビン幅をサブレンジSRに設定することができる。このとき、測距レンジ測距レンジMRGは, 3つのサブフレームSFM1からSFM3から生成される3つのFineヒストグラムのビン数の最小公倍数120ビンで与えられる。この場合、Coarseヒストグラムのビン数は20ビンと設定され、Fineヒストグラムのビン数の最大値を上回るため、必要な回路資源が増加する。回路資源の観点から、Fineヒストグラムのビン数の最大値を、設定可能なヒストグラムのビン数とする制約を設けてもよい。例えば、サブフレームSFM0で生成されるCoarseヒストグラムのビン数は10に設定する。このとき、測距レンジMRGは、Coarseヒストグラムのビン数×最小のFineヒストグラムのビン数=10ビン×6ビン=60ビンで与えられる。
【0100】
また、第1測距期間の測距光LMLの発光間隔は、第2測距期間の測距光LMLの発光間隔より短くすることができる。また、第1測距期間の各サブフレームSFM1からSFM3の測距光LMLの発光間隔は、第1測距期間の各サブフレームSFM1からSFM3のTDCコード循環期間の整数倍でもよい。このとき、第1測距期間の各サブフレームSFM1からSFM3の測距光LMLの発光回数は、各サブフレームSFM1からSFM3のビン数で測距レンジMRGを割った値に設定することができる。例えば、サブフレームSFM0における測距光LMLの発光回数を1とする。このとき、サブフレームSFM1における測距光LMLの発光回数を10、サブフレームSFM2における測距光LMLの発光回数を8、サブフレームSFM3における測距光LMLの発光回数を6に設定することができる。
【0101】
このように、上述の第4の実施の形態では、4つのサブフレームSFM0からSFM3をフレームFMに時分割的に設ける。そして、測距レンジMRGが拡大されるように、互いに異なる第1TDCコード循環期間を3つのサブフレームSFM1からSFM3に設定するとともに、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームSFM0に設ける。これにより、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、測距レンジMRGを拡大することが可能となるとともに、測距精度の低下を抑制しつつ、測距点あたり最大2つの対象物の測距を実現することができる。
【0102】
<5.第5の実施の形態>
上述の第4の実施の形態では、4つのサブフレームSFM0からSFM3をフレームFMに時分割的に設ける。そして、測距レンジMRGが拡大されるように、互いに異なる第1TDCコード循環期間を3つのサブフレームSFM1からSFM3に設定するとともに、第1TDCコード循環期間よりも長い第2TDCコード循環期間を残りの1つのサブフレームSFM0に設けた。この第5の実施の形態では、3つのサブフレームSFM1からSFM3をフレームFMに並列して設け、3つのサブフレームSFM1からSFM3の各組を第1測距期間および第2測距期間に割り当てる。そして、測距レンジMRGが拡大されるように、互いに異なる第1TDCコード循環期間を第1測距期間の3つのサブフレームSFM1からSFM3に設定する。また、第1TDCコード循環期間よりも長い第2TDCコード循環期間を第2測距期間のサブフレームSFM1からSFM3に設ける。
【0103】
図10は、第5の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
【0104】
同図において、フレームFMは、3つのサブフレームSFM1からSFM3に分割される。第1測距期間および第2測距期間は並列に設置され、第1測距期間および第2測距期間のそれぞれには、サブフレームSFM1からSFM3が割り当てられる。第1測距期間には、第1回路資源が割り当てられ、第2測距期間には、第2回路資源が割り当てられる。第1回路資源には、TDC133-1およびヒストグラム生成部134-1を割り当て、第2回路資源には、TDC133-2およびヒストグラム生成部134-2を割り当てることができる。
【0105】
このとき、第1測距期間において、サブフレームSFM1のTDCコード循環期間は、サブフレームSFM2のTDCコード循環期間より短くすることができる。サブフレームSFM2のTDCコード循環期間は、サブフレームSFM3のTDCコード循環期間より短くすることができる。第2測距期間において、サブフレームSFM1のTDCコード循環期間は、測距レンジMRGに相当する期間に設定することができる。第2測距期間のTDC分解能であるヒストグラムのビン幅は、第1測距期間のTDCコード循環期間と同等以下とすることができる。例えば、第2測距期間のサブフレームSFM1で生成されるヒストグラムのビン幅は、第1測距期間のサブフレームSFM1のTDCコード循環期間と等しくすることができる。また、第1測距期間で生成される2以上のFineヒストグラムのTDC分解能は互いに等しくすることができる。例えば、第1測距期間の各サブフレームSFM1からSFM3で生成されるFineヒストグラムのビン幅は、互いに等しくすることができる。測距レンジMRGは、3つのサブフレームSFM1からSFM3から生成される3つのFineヒストグラムのビン数の最小公倍数と、Coarseヒストグラムのビン数×最小のFineヒストグラムのビン数のうちの小さい方の値で与えることができる。このとき、測距点あたり測距可能な対象物の最大個数は2となる。
【0106】
ここで、Coarseヒストグラムのビン幅≦Fineヒストグラムの最小のTDCコード循環期間に対応する距離という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。また、Coarseヒストグラムのビン幅≧測距レンジ/ヒストグラムビン数の最大値という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。
【0107】
例えば、第1測距期間において、サブフレームSFM1で生成されるFineヒストグラムのビン数は6、サブフレームSFM2で生成されるFineヒストグラムのビン数は8、サブフレームSFM3で生成されるFineヒストグラムのビン数は10に設定することができる。また、第2測距期間において、サブフレームSFM1で生成されるCoarseヒストグラムのビン数は10、サブフレームSFM2で生成されるCoarseヒストグラムのビン数は8、サブフレームSFM3で生成されるCoarseヒストグラムのビン数は6に設定することができる。ここで、第1測距期間のサブフレームSFM1で生成されるFineヒストグラムのTDCコード循環期間をサブレンジSRに設定し、第2測距期間のサブフレームSFM1で生成されるCoarseヒストグラムのビン幅をサブレンジSRに設定することができる。
【0108】
このように、上述の第5の実施の形態では、3つのサブフレームSFM1からSFM3をフレームFMに並列して設け、3つのサブフレームSFM1からSFM3の組を第1測距期間および第2測距期間に割り当てる。そして、測距レンジMRGが拡大されるように、互いに異なる第1TDCコード循環期間を第1測距期間の3つのサブフレームSFM1からSFM3に設定する。また、第1TDCコード循環期間よりも長い第2TDCコード循環期間を第2測距期間のサブフレームSFM1からSFM3に設ける。これにより、2つの対象物101、102の測距を可能としつつ、測距レンジMRGを拡大するために、4つのサブフレームSFM0からSFM3をフレームFMに設ける必要がなくなる。このため、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、対象物101、102の測距精度を向上させることが可能となるとともに、フレームレートを向上させつつ、測距レンジMRGを拡大することができる。
【0109】
なお、上述の第5の実施の形態において、2つの対象物101、102の測距を行うには、第1測距期間の各サブフレームSFM1からSFM3で生成される3つのFineヒストグラムと、第2測距期間のサブフレームSFM1で生成される1つのCoarseヒストグラムがあればよい。このため、第2測距期間のサブフレームSFM2、SFM3で生成される2つのCoarseヒストグラムは不要である。
【0110】
<6.第6の実施の形態>
上述の第5の実施の形態では、測距レンジMRGが拡大されるように、互いに異なる第1TDCコード循環期間を第1測距期間の3つのサブフレームSFM1からSFM3に設定する。そして、第1TDCコード循環期間よりも長い第2TDCコード循環期間を第2測距期間のサブフレームSFM1からSFM3に設けた。この第6の実施の形態では、2つのサブフレームSFM1、SFM2をフレームFMに並列して設け、2つのサブフレームSFM1、SFM2の組を第1測距期間および第2測距期間に割り当てる。そして、測距レンジMRGが拡大されるように、互いに異なる3つの第1TDCコード循環期間のうちの2つの第1TDCコード循環期間を第1測距期間のサブフレームSFM1、SFM2に設定する。また、第1TDCコード循環期間よりも長い第2TDCコード循環期間および残りの1つの第1TDCコード循環期間を第2測距期間のサブフレームSFM1、SFM2に設ける。
【0111】
図11は、第6の実施の形態に係る測距装置のTDC処理のシーケンスの一例を示す図である。
【0112】
同図において、フレームFMは、2つのサブフレームSFM1、SFM2に分割される。第1測距期間および第2測距期間は並列に設置され、第1測距期間および第2測距期間のそれぞれには、サブフレームSFM1、SFM2が割り当てられる。第1測距期間には、第1回路資源が割り当てられ、第2測距期間には、第2回路資源が割り当てられる。第1回路資源には、TDC133-1およびヒストグラム生成部134-1を割り当て、第2回路資源には、TDC133-2およびヒストグラム生成部134-2を割り当てることができる。
【0113】
このとき、第1測距期間において、サブフレームSFM1のTDCコード循環期間は、サブフレームSFM2のTDCコード循環期間より短くすることができる。第2測距期間において、サブフレームSFM2のTDCコード循環期間は、第1測距期間のサブフレームSFM1のTDCコード循環期間より短くすることができる。第2測距期間のサブフレームSFM1のTDCコード循環期間は、測距レンジMRGに相当する期間に設定することができる。第2測距期間のサブフレームSFM1のTDC分解能であるヒストグラムのビン幅は、第1測距期間のTDCコード循環期間と同等以下とすることができる。例えば、第2測距期間のサブフレームSFM1で生成されるヒストグラムのビン幅は、第1測距期間のサブフレームSFM1のTDCコード循環期間と等しくすることができる。また、第1測距期間で生成される2以上のFineヒストグラムのTDC分解能および第2測距期間のサブフレームSFM2で生成されるFineヒストグラムのTDC分解は互いに等しくすることができる。例えば、第1測距期間の各サブフレームSFM1、SFM2および第2測距期間のサブフレームSFM2で生成されるFineヒストグラムのビン幅は、互いに等しくすることができる。測距レンジMRGは、第1測距期間の各サブフレームSFM1、SFM2および第2測距期間のサブフレームSFM2で生成される3つのFineヒストグラムのビン数の最小公倍数と、Coarseヒストグラムのビン数×最小のFineヒストグラムのビン数のうちの小さい方の値で与えることができる。このとき、測距点あたりに測距可能な対象物の最大個数は2となる。
【0114】
ここで、Coarseヒストグラムのビン幅≦Fineヒストグラムの最小のTDCコード循環期間に対応する距離という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。また、Coarseヒストグラムのビン幅≧測距レンジ/ヒストグラムビン数の最大値という条件を満たすようにCoarseヒストグラムのビン幅を設定することができる。
【0115】
例えば、第1測距期間において、サブフレームSFM1で生成されるFineヒストグラムのビン数は6、サブフレームSFM2で生成されるFineヒストグラムのビン数は8に設定することができる。第2測距期間において、サブフレームSFM1で生成されるCoarseヒストグラムのビン数は10、サブフレームSFM2で生成されるFineヒストグラムのビン数は10に設定することができる。ここで、第1測距期間のサブフレームSFM1で生成されるFineヒストグラムのTDCコード循環期間をサブレンジSRに設定し、第2測距期間のサブフレームSFM1で生成されるCoarseヒストグラムのビン幅をサブレンジSRに設定することができる。
【0116】
このように、上述の第6の実施の形態では、2つのサブフレームSFM1、SFM2をフレームFMに並列して設ける。そして、測距レンジMRGが拡大されるように、互いに異なる3つの第1TDCコード循環期間のうちの2つの第1TDCコード循環期間を第1測距期間の2つのサブフレームSFM1、SFM2に設定する。また、第1TDCコード循環期間よりも長い第2TDCコード循環期間および残りの1つの第1TDCコード循環期間を第2測距期間の2つのサブフレームSFM1、SFM2に設ける。これにより、2つのサブフレームSFM1、SFM2をフレームFMに設けることにより、2つの対象物101、102の測距を可能としつつ、測距レンジMRGを拡大することができる。このため、ヒストグラムの生成にかかる負荷の増大を抑制しつつ、対象物101、102の測距精度を向上させることが可能となるとともに、フレームレートを向上させつつ、測距レンジMRGを拡大することができる。
【0117】
<7.第7の実施の形態>
上述の第1の実施の形態では、3つのサブフレームSFM0からSFM2をフレームFMに時分割的に設け、測距可能な対象物を2つとした。この第7の実施の形態では、複数のサブフレームがフレームに時分割的に設けられた測距における測距モードを選択可能とする。
【0118】
図12は、第7の実施の形態に係る測距装置の測距モードの一例を示す図である。
【0119】
同図において、測距装置100には、測距モードとして、フレームレート優先モードと、検出可能ピーク数設定モードと、測距レンジ優先モードとが設けられる。このとき、測距装置100は、光検出に光検出部123を用いることができる。フレームレート優先モードは、フレームレートの高速化に対応したモードである。検出可能ピーク数設定モードは、測距可能な対象物を2つまたは3つに切り替え可能なモードである。測距レンジ優先モードは、測距レンジの拡大に対応したモードである。
【0120】
測距装置100は、フレームレート優先モード、検出可能ピーク数設定モードおよび測距レンジ優先モードの選択に応じて、測距レンジ、対応ピーク数、サブフレーム数およびレーザー発射間隔を切り替えることができる。例えば、測距装置100は、フレームレート優先モードでは、上述の第1の実施の形態の測距処理を実行することができる。測距装置100は、検出可能ピーク数設定モードで3ピーク対応が選択された場合、上述の第3の実施の形態の測距処理を実行することができる。測距装置100は、測距レンジ優先モードが選択された場合、上述の第4の実施の形態の測距処理を実行することができる。
【0121】
このとき、測距装置100は、フレームレート優先モードと、検出可能ピーク数設定モードと、測距レンジ優先モードのそれぞれにおいて、レーザー発射間隔をサブフレームごとに変化させてもよい。
【0122】
このように、上述の第7の実施の形態では、測距モードとして、フレームレート優先モードと、検出可能ピーク数設定モードと、測距レンジ優先モードとを測距装置100に設ける。これにより、測距装置100は、測距条件を変更しつつ測距を実施することができ、測距環境に適応した測距を実現することが可能となる。
【0123】
<8.第8の実施の形態>
上述の第7の実施の形態では、複数のサブフレームがフレームに時分割的に設けられた測距における測距モードを選択可能とした。この第8の実施の形態では、複数のサブフレームがフレームに並列して設けられた測距における測距モードを選択可能とする。
【0124】
図13は、第8の実施の形態に係る測距装置の測距モードの一例を示す図である。
【0125】
同図において、測距装置100には、測距モードとして、フレームレート優先モードと、測距レンジ優先モードとが設けられる。このとき、測距装置100は、光検出に光検出部223を用いることができる。
【0126】
測距装置100は、フレームレート優先モードおよび測距レンジ優先モードの選択に応じて、測距レンジ、対応ピーク数、サブフレーム数およびレーザー発射間隔を切り替えることができる。例えば、測距装置100は、フレームレート優先モードでは、上述の第2の実施の形態の測距処理を実行することができる。測距装置100は、測距レンジ優先モードが選択された場合、上述の第5の実施の形態の測距処理または上述の第6の実施の形態の測距処理を実行することができる。
【0127】
このように、上述の第8の実施の形態では、測距モードとして、フレームレート優先モードと、測距レンジ優先モードとを測距装置100に設ける。これにより、測距装置100は、測距条件を変更しつつ測距を実施することができ、測距環境に適応した測距を実現することが可能となる。
【0128】
<9.第9の実施の形態>
上述の第1の実施の形態では、3つのサブフレームSFM0からSFM2をフレームFMに時分割的に設け、互いに異なる第1TDCコード循環期間を2つのサブフレームSFM1、SFM2に設定した。この第9の実施の形態では、画素151が配列された画素アレイ部140を上層チップに設け、回路部が配列された回路アレイ部を下層チップに設ける。
【0129】
図14は、第9の実施の形態に係る光検出部の積層例を示す斜視図である。
【0130】
同図において、この光検出部は、画素アレイ部140および回路アレイ部501を備える。画素アレイ部140は、回路アレイ部501上に積層することができる。画素アレイ部140は、画素151および読出し回路132を備える。画素151は、ロウ方向およびカラム方向にマトリックス状に配置される。各画素151には、SPADを設けることができる。
【0131】
回路アレイ部501は、回路部511を備える。回路部511は、ロウ方向およびカラム方向にマトリックス状に配置される。回路部511は、画素151ごとに設けることができる。各回路部511には、TDC133およびヒストグラム生成部134などを設けることができる。
【0132】
回路アレイ部501が形成される下層チップおよび画素アレイ部140が形成される上層チップは、直接接合してもよい。このとき、下層チップおよび上層チップには、パッド電極521、522をそれぞれ形成することができる。パッド電極521は、回路部511に接続される。パッド電極522は、読出し回路132に接続される。パッド電極521、522は、互いに対向配置することができる。下層チップおよび上層チップの直接接合では、ハイブリッドボンディングを用いることができる。このとき、パッド電極521、522は、Cu-Cu接続することができる。
【0133】
このように、上述の第9の実施の形態では、画素151が配列された画素アレイ部140を回路部511が配列された回路アレイ部501上に積層する。これにより、チップサイズの増大を抑制しつつ、画素151の面積を増大させることができ、固体撮像装置の小型化を図りつつ、感度を向上させることができる。
【0134】
<10.第10の実施の形態>
上述の第9の実施の形態では、画素151が配列された画素アレイ部140を回路部511が配列された回路アレイ部501上に積層した。この第10の実施の形態では、複数のSPADが設けられた画素が配列された画素アレイ部を上層チップに設け、回路部が配列された回路アレイ部を下層チップに設ける。
【0135】
図15は、第10の実施の形態に係る光検出部の積層例を示す斜視図である。
【0136】
同図において、この光検出部は、画素アレイ部640および回路アレイ部601を備える。画素アレイ部640は、回路アレイ部601上に積層することができる。画素アレイ部640は、画素651および読出し回路132を備える。画素651は、ロウ方向およびカラム方向にマトリックス状に配置される。各画素651には、複数のSPAD652を設けることができる。各画素651において、SPAD652は、ロウ方向およびカラム方向にマトリックス状に配置してもよい。同図では、SPAD652を2行2列にマトリックス状に配置した例を示した。各画素651において、複数のSPAD652は並列に接続することができる。
【0137】
回路アレイ部601は、回路部611を備える。回路部611は、ロウ方向およびカラム方向にマトリックス状に配置される。回路部611は、画素651ごとに設けることができる。各回路部611には、TDC133およびヒストグラム生成部134などを設けることができる。このとき、各回路部611の読出し回路132は、各画素651の複数のSPAD652に接続することができる。
【0138】
回路アレイ部601が形成される下層チップおよび画素アレイ部640が形成される上層チップは、直接接合してもよい。このとき、下層チップおよび上層チップには、パッド電極621、622をそれぞれ形成することができる。パッド電極621は、回路部611に接続される。パッド電極622は、読出し回路132に接続される。パッド電極621、622は、互いに対向配置することができる。下層チップおよび上層チップの直接接合では、ハイブリッドボンディングを用いることができる。このとき、パッド電極621、622は、Cu-Cu接続することができる。
【0139】
このように、上述の第10の実施の形態では、複数のSPAD652が設けられた画素651が配列された画素アレイ部640を、回路部611が配列された回路アレイ部601上に積層する。これにより、チップサイズの増大を抑制しつつ、各画素651の面積を増大させることが可能となるとともに、受光頻度を増大させることができる。このため、固体撮像装置の小型化を図りつつ、感度を向上させることが可能となるとともに、S/N比を向上させることができる。
【0140】
<11.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0141】
図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0142】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図16に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
【0143】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0144】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0145】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0146】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であってもよいし、赤外線等の非可視光であってもよい。
【0147】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0148】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0149】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0150】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0151】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図16の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0152】
図17は、撮像部12031の設置位置の例を示す図である。
【0153】
図17では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
【0154】
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0155】
なお、図17には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0156】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0157】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0158】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0159】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0160】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、例えば、上述の測距装置100は、撮像部12031に適用することができる。車両制御システム12000に本開示に係る技術を適用することにより、測距処理にかかる負荷の増大を抑制しつつ、測距レンジを拡大することが可能となるとともに、複数の対象物101、102の測距精度を向上させることができる。
【0161】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。また、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【0162】
なお、本技術は以下のような構成もとることができる。
(1)光子の受光タイミングの時刻を計測するTDC(Time to Digital Converter)と、
前記TDCの互いに異なるTDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部で生成されたヒストグラムに基づいて、対象物までの距離を算出する距離算出部と
を備える光検出装置。
(2)前記TDCは、発光間隔が互いに異なる前記光子の受光タイミングの時刻を計測する
前記(1)に記載の光検出装置。
(3)前記ヒストグラム生成部は、
第1測距期間において前記TDCコード循環期間が互いに異なる2以上の第1ヒストグラムを生成し、
第2測距期間において前記第1ヒストグラムよりも前記TDC分解能が粗い第2ヒストグラムを生成する
前記(1)または(2)に記載の光検出装置。
(4)前記第1測距期間の測距光の発光間隔は、前記第2測距期間の前記測距光の発光間隔より短い
前記(3)に記載の光検出装置。
(5)前記第1測距期間における前記測距光の発光間隔は、前記第1ヒストグラムについての前記TDCコード循環期間の整数倍である
前記(3)または(4)に記載の光検出装置。
(6)前記第2測距期間のTDC分解能であるヒストグラムのビン幅は、前記第1ヒストグラムについての前記TDCコード循環期間と同等以下である
前記(3)から(5)のいずれかに記載の光検出装置。
(7)前記第1測距期間において前記TDCのTDCコードが測距レンジ内で複数回循環する
前記(3)から(6)のいずれかに記載の光検出装置。
(8)前記2以上の第1ヒストグラムの前記TDC分解能は互いに等しい
前記(3)から(7)のいずれかに記載の光検出装置。
(9)前記第2測距期間の前記TDC分解能であるヒストグラムのビン幅の上限は、前記第1ヒストグラムについての前記TDCコード循環期間の最小値である
前記(3)から(8)のいずれかに記載の光検出装置。
(10)前記第2測距期間の前記TDC分解能であるヒストグラムのビン幅の下限は、前記第2ヒストグラムのビン数の最大値で測距レンジを割った値である
前記(9)に記載の光検出装置。
(11)前記第1測距期間および前記第2測距期間は時分割的に設定される
前記(3)から(10)のいずれかに記載の光検出装置。
(12)前記第1ヒストグラムの生成および前記第2ヒストグラムの生成に同一の回路資源が割り当てられる
前記(11)に記載の光検出装置。
(13)前記第1測距期間および前記第2測距期間は並列に設定される
前記(3)から(10)のいずれかに記載の光検出装置。
(14)前記第1ヒストグラムの生成および前記第2ヒストグラムの生成に別個の回路資源が割り当てられる
前記(13)に記載の光検出装置。
(15)フレームレートを高速化可能なフレームレート優先モードと、検出可能ピーク数を増大可能な検出可能ピーク数設定モードと、測距レンジを拡大可能な測距レンジ優先モードとのいずれか少なくとも1つが設けられる
前記(1)から(14)のいずれかに記載の光検出装置。
(16)前記フレームレート優先モードと、前記検出可能ピーク数設定モードと、前記測距レンジ優先モードとのいずれか少なくとも1つにおいて、前記測距光の発光間隔がサブフレームごとに変化される
前記(15)に記載の光検出装置。
(17)前記ヒストグラム生成部で生成されたヒストグラムに基づいて、対象物までの距離を算出する距離算出部
をさらに備える前記(3)に記載の光検出装置。
(18)前記距離算出部は、前記第1ヒストグラムおよび第2ヒストグラムに基づいて、少なくとも1つの対象物までの距離を算出する
前記(17)に記載の光検出装置。
(19)前記距離算出部が算出可能な対象物までの距離の個数は、前記第1ヒストグラムの個数以下である
前記(17)または(18)に記載の光検出装置。
(20)光子を対象物に出射する発光部と、
前記対象物から反射された光子の受光タイミングの時刻を計測するTDC(Time to Digital Converter)の互いに異なるTDCコード循環期間において、互いに異なるTDC分解能を持つヒストグラムを生成する光検出装置と
を備える測距システム。
【符号の説明】
【0163】
100 測距装置
101、102 対象物
111 駆動部
112 発光部
113、121 光学系
122 光学フィルタ
123 光検出部
124 距離算出部
131 画素アレイ部
132 読出し回路
133 TDC
134 ヒストグラム生成部
135 制御部
131 画素アレイ部
141 行走査回路
142 列処理回路
151 画素
152 スイッチ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17