IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

特許7511562受光装置及び受光装置の制御方法、並びに、測距装置
<>
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図1
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図2
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図3
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図4
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図5
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図6
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図7
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図8
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図9
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図10
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図11
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図12
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図13
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図14
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図15
  • 特許-受光装置及び受光装置の制御方法、並びに、測距装置 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-27
(45)【発行日】2024-07-05
(54)【発明の名称】受光装置及び受光装置の制御方法、並びに、測距装置
(51)【国際特許分類】
   G01S 7/4861 20200101AFI20240628BHJP
   G01S 17/10 20200101ALI20240628BHJP
   G01C 3/06 20060101ALI20240628BHJP
   H04N 25/443 20230101ALI20240628BHJP
   H04N 25/705 20230101ALI20240628BHJP
【FI】
G01S7/4861
G01S17/10
G01C3/06 120Q
G01C3/06 140
H04N25/443
H04N25/705
【請求項の数】 11
(21)【出願番号】P 2021536651
(86)(22)【出願日】2020-06-17
(86)【国際出願番号】 JP2020023703
(87)【国際公開番号】W WO2021019939
(87)【国際公開日】2021-02-04
【審査請求日】2023-05-12
(31)【優先権主張番号】P 2019137656
(32)【優先日】2019-07-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】園田 裕子
(72)【発明者】
【氏名】馬原 久美子
【審査官】東 治企
(56)【参考文献】
【文献】国際公開第2019/049923(WO,A1)
【文献】特表2019-518200(JP,A)
【文献】特開2018-085099(JP,A)
【文献】特開2013-090074(JP,A)
【文献】特開2019-032305(JP,A)
【文献】国際公開第2019/012756(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48-7/51
G01S 17/00-17/95
G01C 3/00-3/32
H04N 25/00-25/79
H01L 27/14-27/148
(57)【特許請求の範囲】
【請求項1】
受光素子を含む画素が行列状に2次元配置されて成る受光部、
受光部の各画素を1つの画素行、又は、複数の画素行の単位で選択する行選択部、
行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を画素単位で選択する列選択部、及び、
列選択部を制御する制御部を備え、
制御部は、列選択部に対して、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を、複数の画素を単位とする領域の単位で選択し、領域毎に画素の信号を読み出す制御を行い、
制御部は、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素の信号について、領域毎に時分割で読み出すとき、今回の読出し領域として、前回の読出し領域と離れた領域を設定する、
受光装置。
【請求項2】
受光部の各画素から読み出される信号を処理する読出し回路部を備え、
読出し回路部は、受光部の各画素から読み出される信号を、列選択部によって選択された領域毎に処理する、
請求項1に記載の受光装置。
【請求項3】
制御部は、読出し回路部に対して、列選択部によって選択された領域に対応する回路部分以外の回路部分を非活性化の状態にする制御を行う、
請求項2に記載の受光装置。
【請求項4】
画素は、列選択部から与えられる走査信号に応答して、画素単位で選択状態とする列選択用のスイッチ素子を有する、
請求項1に記載の受光装置。
【請求項5】
列選択用のスイッチ素子は、画素の電源を遮断状態とすることにより、画素を非選択状態とする、
請求項4に記載の受光装置。
【請求項6】
制御部は、行選択部によって選択された1つの画素行、又は、複数の画素行における、複数の画素を単位とする領域の数を設定可能である、
請求項1に記載の受光装置。
【請求項7】
制御部は、設定した複数の領域のうち、画素の信号を読み出す領域を任意に指定可能である、
請求項6に記載の受光装置。
【請求項8】
受光素子は、光子の受光に応じて信号を発生する素子である、
請求項1に記載の受光装置。
【請求項9】
受光素子は、単一光子アバランシェダイオードから成る、
請求項に記載の受光装置。
【請求項10】
受光素子を含む画素が行列状に2次元配置されて成る受光部、
受光部の各画素を1つの画素行、又は、複数の画素行の単位で選択する行選択部、及び、
行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を画素単位で選択する列選択部、
を備える受光装置の制御に当たって、
列選択部に対して、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を、複数の画素を単位とする領域の単位で選択し、領域毎に画素の信号を読み出す制御を行い、
行選択部によって選択された1つの画素行、又は、複数の画素行の各画素の信号について、領域毎に時分割で読み出すとき、今回の読出し領域として、前回の読出し領域と離れた領域を設定する、
受光装置の制御方法。
【請求項11】
測定対象物に対して光を照射する光源、及び、
測定対象物で反射された光を検出する受光装置を備え、
受光装置は、
受光素子を含む画素が行列状に2次元配置されて成る受光部、
受光部の各画素を1つの画素行、又は、複数の画素行の単位で選択する行選択部、
行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を画素単位で選択する列選択部、及び、
列選択部を制御する制御部を備え、
制御部は、列選択部に対して、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を、複数の画素を単位とする領域の単位で選択し、領域毎に画素の信号を読み出す制御を行い、
制御部は、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素の信号について、領域毎に時分割で読み出すとき、今回の読出し領域として、前回の読出し領域と離れた領域を設定する、
測距装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、受光装置及び受光装置の制御方法、並びに、測距装置(距離測定装置)に関する。
【背景技術】
【0002】
受光素子として、光子の受光に応じて信号を発生する素子を用いた受光装置がある(例えば、特許文献1参照)。この種の受光装置では、測定対象物までの距離を測定する測定法として、測定対象物に向けて照射した光が、当該測定対象物で反射されて戻ってくるまでの時間を測定するToF(Time of Flight:飛行時間)法が採用されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2016-211881号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ToFのうち、光の飛行時間差から直接距離を算出するダイレクトToF法では、受光素子を含む画素が行列状に2次元配置されて成る受光部の各画素の信号を読み出す処理が行われる。このとき、受光部の各画素を、1つの画素行、又は、複数の画素行を単位として選択し、その選択した領域の全画素の信号を一度に読み出すようにすると、消費電力が大きくなってしまう。
【0005】
そこで、本開示は、受光部の各画素の信号を読み出す際の消費電力を抑制することができる受光装置及び受光装置の制御方法、並びに、当該受光装置を用いる測距装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するための本開示の受光装置は、
受光素子を含む画素が行列状に2次元配置されて成る受光部、
受光部の各画素を1つの画素行、又は、複数の画素行の単位で選択する行選択部、
行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を画素単位で選択する列選択部、及び、
列選択部を制御する制御部を備え、
制御部は、列選択部に対して、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を、複数の画素を単位とする領域の単位で選択し、領域毎に画素の信号を読み出す制御を行い、
制御部は、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素の信号について、領域毎に時分割で読み出すとき、今回の読出し領域として、前回の読出し領域と離れた領域を設定する
【0007】
上記の目的を達成するための本開示の受光装置の制御方法は、
受光素子を含む画素が行列状に2次元配置されて成る受光部、
受光部の各画素を1つの画素行、又は、複数の画素行の単位で選択する行選択部、及び、
行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を画素単位で選択する列選択部、
を備える受光装置の制御に当たって、
列選択部に対して、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を、複数の画素を単位とする領域の単位で選択し、領域毎に画素の信号を読み出す制御を行い、
行選択部によって選択された1つの画素行、又は、複数の画素行の各画素の信号について、領域毎に時分割で読み出すとき、今回の読出し領域として、前回の読出し領域と離れた領域を設定する
【0008】
上記の目的を達成するための本開示の測距装置は、
測定対象物に対して光を照射する光源、及び、
測定対象物で反射された光を検出する受光装置を備える。そして、
受光装置は、
受光素子を含む画素が行列状に2次元配置されて成る受光部、
受光部の各画素を1つの画素行、又は、複数の画素行の単位で選択する行選択部、
行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を画素単位で選択する列選択部、及び、
列選択部を制御する制御部を備え、
制御部は、列選択部に対して、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を、複数の画素を単位とする領域の単位で選択し、領域毎に画素の信号を読み出す制御を行い、
制御部は、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素の信号について、領域毎に時分割で読み出すとき、今回の読出し領域として、前回の読出し領域と離れた領域を設定する
【図面の簡単な説明】
【0009】
図1図1は、本開示の実施形態に係る測距装置の一例を示す概略構成図である。
図2図2A及び図2Bは、本開示の実施形態に係る測距装置の具体的な構成の一例を示すブロック図である。
図3図3は、SPAD素子を用いた基本的な画素回路の一例を示す回路図である。
図4図4Aは、SPAD素子のPN接合の電流-電圧特性を示す特性図であり、図4Bは、画素回路の回路動作の説明に供する波形図である。
図5図5は、本開示の実施形態に係る受光装置の一例を示す概略構成図である。
図6図6は、本開示の実施形態に係る受光装置の制御方法について説明するフローチャートである。
図7図7は、実施例1に係る画素回路の構成の一例を示す回路図である。
図8図8は、実施例2に係る読出し回路部の構成の一例を示す概略構成図である。
図9図9Aは、実施例3に係る制御例における制御信号LD_NUMと分割数との対応関係を示す図であり、図9Bは、LD_NUM=1とき、即ち、分割数=2のときの動作イメージを示す図である。
図10図10Aは、制御信号LD_NUMによる領域ROIの分割数の設定、及び、選択信号SELによる領域ROIの指定の一例を示す図であり、図10Bは、選択信号SELのみで領域ROIを指定する例を示す図である。
図11図11は、実施例4に係る時分割読出しの4分割の場合の動作例を示す図である。
図12図12は、読出し領域として隣り合う領域を順番に設定した場合の不具合について説明する図である。
図13図13は、5分割の場合の時分割読出しの動作例を示す図である。
図14図14A及び図14Bは、実施例5に係るヒストグラムのピーク選択の具体例について説明する波形図である。
図15図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
図16図16は、測距装置の設置位置の例を示す図である。
【発明を実施するための形態】
【0010】
以下、本開示の技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の受光装置及び測距装置、全般に関する説明
2.実施形態に係る測距装置
2-1.測距装置の具体的な構成例
2-2.SPAD素子を用いた基本的な画素回路例
2-3.SPAD素子を用いた画素回路の回路動作例
3.実施形態に係る受光装置
3-1.実施例1(画素回路の構成例)
3-2.実施例2(読出し回路部の構成例)
3-3.実施例3(制御部による制御例)
3-4.実施例4(領域ROIの信号を時分割で読み出す例)
3-5.実施例5(ヒストグラムのピークを選択する例)
4.変形例
5.本開示に係る技術の適用例(移動体の例)
6.本開示がとることができる構成
【0011】
<本開示の受光装置及び測距装置、全般に関する説明>
本開示の受光装置及び測距装置にあっては、受光部の各画素から読み出される信号を処理する読出し回路部を備える構成とすることができる。そして、読出し回路部について、受光部の各画素から読み出される信号を、列選択部によって選択された領域毎に処理する構成とすることができる。また、制御部について、読出し回路部に対して、列選択部によって選択された領域に対応する回路部分以外の回路部分を非活性化の状態にする制御を行う構成とすることができる。
【0012】
上述した好ましい構成を含む本開示の受光装置及び測距装置にあっては、画素について、列選択部から与えられる走査信号に応答して、画素単位で選択状態とする列選択用のスイッチ素子を有する構成とすることができる。また、列選択用のスイッチ素子について、画素の電源を遮断状態とすることにより、画素を非選択状態とする構成とすることができる。
【0013】
また、上述した好ましい構成を含む本開示の受光装置及び測距装置にあっては、制御部について、行選択部によって選択された1つの画素行、又は、複数の画素行における、複数の画素を単位とする領域の数を設定可能な構成とすることができる。更に、制御部について、設定した複数の領域のうち、画素の信号を読み出す領域を任意に指定可能な構成とすることができる。
【0014】
また、上述した好ましい構成を含む本開示の受光装置及び測距装置にあっては、制御部について、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素の信号について、領域毎に時分割で読み出すとき、今回の読出し領域として、前回の読出し領域と離れた領域を設定する構成とすることができる。
【0015】
また、上述した好ましい構成を含む本開示の受光装置及び測距装置にあっては、受光素子について、光子の受光に応じて信号を発生する素子、好ましくは、単一光子アバランシェダイオードから成る構成とすることができる。
【0016】
<実施形態に係る測距装置>
図1は、本開示の実施形態に係る測距装置の一例を示す概略構成図である。本実施形態に係る測距装置1は、測定対象物である被写体10までの距離を測定する測定法として、被写体10に向けて照射した光(例えば、赤外の波長域にピーク波長を有するレーザ光)が、当該被写体10で反射されて戻ってくるまでの飛行時間を測定するToF法を採用している。ToFによる距離測定を実現するために、本実施形態に係る測距装置1は、光源20及び受光装置30を備えている。そして、受光装置30として、後述する本開示の実施形態に係る受光装置を用いることができる。
【0017】
[測距装置の具体的な構成例]
本実施形態に係る測距装置1の具体的な構成の一例を図2A及び図2Bに示す。光源20は、例えば、レーザドライバ21、レーザ光源22、及び、拡散レンズ23を有し、被写体10に対してレーザ光を照射する。レーザドライバ21は、制御部40による制御の下に、レーザ光源22を駆動する。レーザ光源22は、例えば半導体レーザから成り、レーザドライバ21によって駆動されることによってレーザ光を出射する。拡散レンズ23は、レーザ光源22から出射されたレーザ光を拡散し、被写体10に対して照射する。
【0018】
受光装置30は、受光レンズ31、受光部である光センサ32、及び、論理回路33を有し、レーザ照射部20による照射レーザ光が被写体10で反射されて戻ってくる反射レーザ光を受光する。受光レンズ31は、被写体10からの反射レーザ光を光センサ32の受光面上に集光する。光センサ32は、受光レンズ31を経た被写体10からの反射レーザ光を画素単位で受光し、光電変換する。光センサ32としては、受光素子を含む画素が行列状(アレイ状)2次元配置されて成る2次元アレイセンサ(所謂、エリアセンサ)を用いることができる。
【0019】
光センサ32の出力信号は、論理回路33を経由して制御部40へ供給される。制御部40は、例えば、CPU(Central Processing Unit:中央処理ユニット)等によって構成され、光源20及び受光装置30を制御するとともに、光源20から被写体10に向けて照射したレーザ光が、当該被写体10で反射されて戻ってくるまでの時間tの計測を行う。この時間tを基に、被写体10までの距離Lを求めることができる。
【0020】
時間計測の方法としては、光源20からパルス光を照射したタイミングでタイマをスタートさせ、受光装置30が当該パルス光を受光したタイミングでタイマをストップし、時間tを計測する。時間計測のその他の方法として、光源20から所定の周期でパルス光を照射し、受光装置30が当該パルス光を受光した際の周期を検出し、発光の周期と受光の周期との位相差から時間tを計測してもよい。時間計測は複数回実行され、複数回計測された時間を積み上げたヒストグラムのピークを検出することで時間tを計測する。
【0021】
そして、本実施形態では、光センサ32として、画素の受光素子が、光子の受光に応じて信号を発生する素子、例えば、SPAD(Single Photon Avalanche Diode:単一光子アバランシェダイオード)素子から成るセンサを用いている。すなわち、本実施形態に係る受光装置30は、画素の受光素子がSPAD素子から成る構成となっている。尚、受光素子は、SPAD素子に限定されるものではなく、APD(Avalanche Photo Diode)やCAPD(Current Assisted Photonic Demodulator)等の種々の素子であってもよい。
【0022】
[SPAD素子を用いた基本的な画素回路例]
SPAD素子を用いた受光装置30における基本的な画素回路の一例を図3に示す。ここでは、1画素分の基本構成を図示している。
【0023】
SPAD素子を用いた画素50の基本的な画素回路は、SPAD素子51のカソード電極が、負荷であるP型MOSトランジスタQLを介して、電源電圧VDDが与えられる端子52に接続され、アノード電極が、アノード電圧Vbdが与えられる端子53に接続された構成となっている。アノード電圧Vbdとしては、アバランシェ増倍が発生する大きな負電圧が印加される。アノード電極とグランドとの間には容量素子Cが接続されている。そして、SPAD素子51のカソード電圧VCAが、P型MOSトランジスタQp及びN型MOSトランジスタQnが直列接続されて成るCMOSインバータ54を介してSPAD出力(画素出力)として導出される。
【0024】
SPAD素子51には、ブレークダウン電圧VBD以上の電圧が印加される。ブレークダウン電圧VBD以上の過剰電圧は、エクセスバイアス電圧VEXと呼ばれ、2-5V程度の電圧が一般的である。SPAD素子51は、DC的な安定点が無いガイガーモードと呼ばれる領域で動作する。SPAD素子51のPN接合のI(電流)-V(電圧)特性を図4Aに示す。
【0025】
[SPAD素子を用いた画素回路の回路動作例]
続いて、上記の構成の画素回路の回路動作の一例について、図4Bの波形図を用いて説明する。
【0026】
SPAD素子51に電流が流れていない状態では、SPAD素子51には、VDD-Vbdの値の電圧が印加されている。この電圧値(VDD-Vbd)は、(VBD+VEX)である。そして、SPAD素子51のPN接合部で暗電子の発生レートDCR(Dark Count Rate)や光照射によって発生した電子がアバランシェ増倍を生じ、アバランシェ電流が発生する。この現象は、遮光されている状態(即ち、光が入射していない状態)でも確率的に発生している。これが暗電子の発生レートDCRである。
【0027】
カソード電圧VCAが低下し、SPAD素子51の端子間の電圧がPNダイオードのフレークダウン電圧VBDになると、アバランシェ電流が停止する。そして、アバランシェ増倍で発生し、蓄積された電子が、負荷の抵抗素子R(又は、P型MOSトランジスタQL)によって放電し、カソード電圧VCAが電源電圧VDDまで回復し、再び初期状態に戻る。
【0028】
SPAD素子51に光が入射して1個でも電子-正孔対が発生すると、それが種となってアバランシェ電流が発生するので、光子1個の入射でも、ある検出効率PDE(Photon Detection Efficiency)で検出することができる。この光子を検出できる検出効率PDEは、通常、数%~20%程度のものが多い。
【0029】
以上の動作が繰り返される。そして、この一連の動作において、カソード電圧VCAが、CMOSインバータ54で波形整形され、1フォトンの到来時刻を開始点とするパルス幅Tのパルス信号がSPAD出力(画素出力)となる。
【0030】
<実施形態に係る受光装置>
次に、上記の構成の測距装置1に用いることができる、本開示の実施形態に係る受光装置、及び、当該受光装置の制御方法について説明する。本実施形態に係る受光装置は、上記の構成の画素50が、行列状に2次元配置されて成る受光部を有する。画素50が2次元配置されて成る受光部は、図2Aの光センサ32に相当するということができる。
【0031】
図5は、本開示の実施形態に係る受光装置の一例を示す概略構成図である。図5に示すように、本実施形態に係る受光装置30は、受光素子として、光子の受光に応じて信号を発生する素子、例えばSPAD素子51を含む画素50が、行列状に2次元配置されて成る受光部60を有している。本実施形態に係る受光装置30は、受光部60の他に、行選択部70、列選択部80、読出し回路部90、及び、制御部40等を有するシステム構成となっている。
【0032】
行選択部70は、受光装置30の外部から与えられるV制御信号に基づいて、受光部60の各画素50を1つの画素行、又は、複数の画素行を単位として選択する。ここでは、V制御信号として、V制御信号000[2:0]~062[2:0]を用いる場合を例示している。列選択部80は、受光装置30の外部から与えられるH制御信号に基づいて、受光部60の各画素50を画素単位で選択する。ここでは、H制御信号として、H制御信号EN_SPAD_H0[2:0]~EN_SPAD_H198[2:0]を用いる場合を例示している。
【0033】
読出し回路部90は、行選択部70によって選択された1つの画素行、又は、複数の画素行について、列選択部80によって画素単位で選択された画素50の信号を読み出し、当該信号に対し所定の処理を施した後、受光装置30の外部へ出力する。制御部40は、受光装置30の外部から与えられる同期信号S_SYNC、制御信号LD_NUM、タイミング信号TRG_I,PRE_TRG、及び、選択信号SELに基づいて、列選択部80による画素選択の制御、及び、読出し回路部90による各画素50の信号(画素信号)の読出し制御を行う。
【0034】
上記の構成の本実施形態に係る受光装置30において、受光部60の各画素50を、1つの画素行、又は、複数の画素行を単位として選択し、その選択した領域の全画素の信号を一度に読み出すようにすると、選択された画素行の全画素が同時に駆動され、ピーク電流が大きくなる。また、選択された画素行の全画素が同時に駆動されるだけでなく、読み出された画素信号を処理する読出し回路部についても、全画素に対応した全ての回路部分が処理動作を行うことになる。その結果、消費電力が大きくなってしまう。
【0035】
そこで、本実施形態に係る受光装置30では、行選択部70によって選択された画素行(1つの画素行、又は、複数の画素行)の各画素の信号50を、複数の画素を単位とする領域毎に時分割で読み出すようにする。具体的には、制御部40による制御の下に、列選択部80は、行選択部70によって選択された画素行の各画素50について、複数の画素を単位として選択する。そして、制御部40による制御の下に、読出し回路部90は、列選択部80によって選択された複数の画素を単位とする領域毎に時分割で、画素50の信号を読み出す。
【0036】
より具体的には、行方向(H方向)の制御線を画素50毎に分け、列選択部80によって画素単位で自由にON/OFF可能にする。そして、列選択部80による画素単位でのON/OFFを、外部から与えられるH制御信号に基づく制御によって切り替えて、複数の画素を単位として選択する。そして、複数の画素を単位とする領域の各画素50の信号を時分割で読み出す。
【0037】
続いて、制御部40による制御の下に実行される、本実施形態に係る受光装置30の制御方法について、図6のフローチャートを用いて説明する。制御部40は、行選択部70を制御することにより、受光部60の各画素50を、1つの画素行、又は、複数の画素行を単位として選択し(ステップS11)、次いで、列選択部80を制御することにより、選択した画素行の各画素50について、複数の画素を単位とする領域の単位で選択する(ステップS12)。そして、制御部40は、読出し回路部90を制御することにより、選択した領域毎に時分割で、画素50の信号を読み出す(ステップS13)。
【0038】
上述したように、本実施形態に係る受光装置30では、行選択部70によって選択された画素行(1つの画素行、又は、複数の画素行)の各画素50の信号について、複数の画素を単位とする領域毎に時分割で画素信号の読出しが行われる。このように、列選択部80によって選択された領域単位で画素信号の読出しを時分割で行うことにより、1つの画素行、又は、複数の画素行の全画素の信号を一度に読み出す場合に比べて、消費電力を低減することができる。
【0039】
以下に、低消費電力化を目的として、複数の画素を単位とする領域毎に時分割で画素信号の読出しを行うための本実施形態の具体的な実施例について説明する。
【0040】
[実施例1]
実施例1は、本開示の実施形態に係る受光装置30に用いられる画素50の回路例(画素回路例)である。実施例1に係る画素回路の構成の一例を図7に示す。
【0041】
実施例1に係る画素50は、第1の回路部50Aと、第2の回路部50Bとから成る。第1の回路部50Aは、図3に示した基本的な画素回路におけるP型MOSトランジスタQL(負荷)、及び、CMOSインバータ54の他に、スイッチ素子SW及び2つのN型MOSトランジスタQV,QHを有している。CMOSインバータ54は、図3のP型MOSトランジスタQp及びN型MOSトランジスタQnが直列接続されて成るCMOSインバータである。
【0042】
スイッチ素子SWは、クエンチスイッチであり、制御信号EN_PRに基づくクエンチング動作により、SPAD素子51に対する印加電圧を降伏電圧まで下げることによってアバランシェ現象を停止させる。
【0043】
2つのN型MOSトランジスタQV,QHはそれぞれ、SPAD素子51のカソード電極が接続された端子Tと基準電位ノード(例えば、グランドGND)との間に接続されている。一方のN型MOSトランジスタQVは、画素50を画素行の単位で選択するための行選択用のスイッチ素子である。他方のN型MOSトランジスタQHは、画素50を画素列の単位で選択するための列選択用のスイッチ素子である。
【0044】
行選択用のN型MOSトランジスタQVは、図5の行選択部70から与えられる走査信号XEN_SPAD_Vに応答して非導通状態となり、端子Tをオープン状態にすることで、画素50を画素行の単位で選択する。列選択用のN型MOSトランジスタQHは、図5の列選択部80から与えられる走査信号XEN_SPAD_Hに応答して非導通状態となり、端子Tをオープン状態にすることで、画素50を画素列の単位で選択する。
【0045】
列選択用のN型MOSトランジスタQHが設けられていることで、行選択部70によって選択された1つの画素行、又は、複数の画素行の各画素50について、画素単位での選択が可能となる。また、列選択用のN型MOSトランジスタQHは、導通状態となり、端子Tの電位を接地電位にすることで、画素50の電源を遮断状態とし、画素50を非選択の状態とする。このN型MOSトランジスタQHの作用により、非選択の画素では、画素50の電源を遮断状態とすることで、低消費電力化を図ることができる。
【0046】
実施例1に係る画素50の第2の回路部50Bは、レベルシフト回路55、3入力のNAND回路56、2入力のOR回路57、インバータ回路58、及び、インバータ回路59を有する回路構成となっている。
【0047】
端子Tの電圧VCAは、CMOSインバータ54を経た後、レベルシフト回路55でレベルシフトされて、3入力のNAND回路56の反転入力(第1の入力)となる。3入力のNAND回路56は、制御信号EN_C及び制御信号EN_Fを第2の入力及び第3の入力とする。制御信号EN_Cは、列方向(垂直方向)の制御のための信号である。制御信号EN_Fは、行方向(水平方向)の制御のための信号である。NAND回路56は、制御信号EN_C及び制御信号EN_Fが共に論理“1”のときにゲート開となる。
【0048】
NAND回路56の出力は、2入力のOR回路57の反転入力(第1の入力)となる。2入力のOR回路57は、画素50の外部、例えば図5の制御部40から与えられる制御信号I_ORを第2の入力とする。制御信号I_ORは、画素50の信号の読出しの可/不可の制御を行うための信号である。OR回路57の出力は、インバータ回路58及びインバータ回路59を介して、画素信号O_SPADとして出力される。
【0049】
上述したように、実施例1に係る画素回路は、列選択部80から与えられる走査信号XEN_SPAD_Hに応答して、画素単位で選択状態とする列選択用のスイッチ素子、即ちN型MOSトランジスタQHを有する構成となっている。これにより、行選択部70によって選択された1つの画素行、又は、複数の画素行の各画素50について、複数の画素を単位とする領域の単位で選択し、領域毎に画素の信号を読み出すことが可能になる。また、N型MOSトランジスタQHの作用により、非選択の画素については、画素50の電源を遮断状態とすることで、省電力化を図ることができる。
【0050】
[実施例2]
実施例2は、本開示の実施形態に係る受光装置30に用いられる読出し回路部90の構成例である。実施例2に係る読出し回路部90の構成の一例を図8に示す。
【0051】
ここでは、図面の簡略化のために、一例として、受光部60の画素配列を水平48×垂直24として図示している。この水平48×垂直24の画素配列に対して、例えば、水平走査信号XEN_SPAD_H、垂直走査信号XEN_SPAD_V、及び、制御信号EN_Cを伝送する各制御線が1画素毎に配線され、制御信号EN_Fを伝送する各制御線が水平3画素毎に配線されている。これらの制御信号については、図面の簡略化のために、図示を省略している。
【0052】
本例では、理解を容易にするために、水平48×垂直24の画素配列に対して、行選択部70は、例えば4つの画素行を単位として受光部60の各画素50を選択することとする。そして、列選択部80は、制御部40による制御の下に、例えば水平12画素の計48個(=水平12×垂直4)の画素を単位とする領域の単位で受光部60の各画素50を選択し、画素信号を読み出すこととする。ここでは、48個の画素を単位とする領域を、領域ROI0,ROI1,ROI2,ROI3とするとき、そのうちの領域ROI1を選択する領域とする。このとき、列選択部80による走査の下に、選択する領域ROI1以外の領域ROI0,ROI2,ROI3の各画素50は、列選択用のスイッチ素子、即ちN型MOSトランジスタQHのスイッチング作用により、画素50の電源が遮断され、非選択状態となる。
【0053】
上記のように、列選択部80が、例えば48個(水平12×垂直4)の画素を単位とする領域ROIの単位で画素50を選択し、領域ROI毎に画素50の信号を読み出すものとするとき、読出し回路部90は、列選択部80によって選択された領域ROI(ROI0/ROI1/ROI2/ROI3)毎に画素50の信号を処理する。具体的には、読出し回路部90の回路部分は、列選択部80によって選択される領域ROIに対応して、回路部分90A、回路部分90B、回路部分90C、及び、回路部分90Dの4つに分割されている。
【0054】
そして、制御部40は、読出し回路部90に対して、列選択部80によって選択された領域ROIに対応する回路部分(本例では、回路部分90B)のみを活性化の状態とし、回路部分90B以外の回路部分90A、回路部分90C、及び、回路部分90Dについては非活性化の状態にする制御を行う。読出し回路部90において、回路部分毎にクロック系統を分割し、電源島も分けることで、回路部分毎に活性化/非活性化の切り替えを行いことができる。
【0055】
上述したように、実施例2に係る読出し回路部90は、列選択部80によって選択される領域ROIに対応して回路部分が分割されており、制御部40による制御の下に、列選択部80によって選択された領域ROIに対応する回路部分以外の回路部分が、クロックOFF、電源OFFによって非活性化状態となる。これにより、画素50での省電力化に加えて、読出し回路部90においても省電力化を図ることができる。
【0056】
[実施例3]
実施例3は、制御部40による制御例である。制御部40は、先述したように、同期信号S_SYNC、制御信号LD_NUM、タイミング信号TRG_I,PRE_TRG、及び、選択信号SELに基づいて、列選択部80による画素選択の制御、及び、読出し回路部90による各画素50の信号(画素信号)の読出し制御を行う。
【0057】
制御信号LD_NUMは、列選択部80によって選択される領域ROIの分割数を決定するための信号であり、選択信号SELは、どの領域ROIを選択して画素信号を読み出すかを指定するための信号である。ここで、列選択部80によって選択される領域ROIの分割数とは、列選択部80によって選択された1つの画素行、又は、複数の画素行における、複数の画素を単位とする領域ROIの数である。
【0058】
制御部40は、先ず、制御信号LD_NUMに基づいて、列選択部80によって選択される領域ROIについて、図9Aに示すように、その分割数を設定する。一例として、LD_NUM=0とき分割数=1(即ち、分割無し)、LD_NUM=1とき分割数=2、LD_NUM=2とき分割数=4、LD_NUM=3とき分割数=8という具合に、分割数を設定する。ここでは、タイミング信号TRG_Iの1回当たりの有効SPAD数を、LD_NUM=0ときに576とし、LD_NUM=1ときに288とし、LD_NUM=2ときに144とし、LD_NUM=3ときに72とする場合を例示している。
【0059】
LD_NUM=1とき、即ち、分割数=2のときの動作イメージを図9Bに示す。分割数=2のときは、領域ROI0と領域ROI1とが読出し領域となる。そして、タイミング信号TRG_Iに同期して、領域ROI0と領域ROI1とが交互に動作状態となり、各画素50の信号の読出しが行われる。また、外乱光の影響を排除するために、タイミング信号PRE_TRGに同期して、領域ROIの分割モードによらず処理範囲全体(本例では、領域ROI0及び領域ROI1)で外乱光成分の取得が行われる。外乱光成分については、例えば、読出し回路部90において、領域ROI0及び領域ROI1で取得した画素信号に対して差分をとる処理が行われる。これにより、外乱光の影響を排除することができる。
【0060】
制御信号LD_NUMによる領域ROIの分割数の設定、及び、選択信号SELによる領域ROIの指定の一例について図10Aを用いて説明する。
・LD_NUM=0(分割無し)
この分割モード場合、選択信号SELの値によらず、画素信号の全面読出し。
・LD_NUM=1(2分割:ROI0/ROI1)
この分割モード場合、SEL[0]=0で領域ROI0の読出し、SEL[0]=1で領域ROI1の読出し。
・LD_NUM=2(4分割:ROI0/ROI1/ROI2/ROI3)
この分割モード場合、SEL[1:0]=0で領域ROI0の読出し、SEL[1:0]=1で領域ROI1の読出し、SEL[1:0]=2で領域ROI2の読出し、SEL[1:0]=3で領域ROI3の読出し。
・LD_NUM=3(8分割:ROI0/ROI1/ROI2/ROI3/ROI4/ROI5/ROI6/ROI7)
この分割モード場合、SEL[2:0]=0で領域ROI0の読出し、SEL[2:0]=1で領域ROI1の読出し、SEL[2:0]=2で領域ROI2の読出し、SEL[2:0]=3で領域ROI3の読出し、SEL[2:0]=4で領域ROI4の読出し、SEL[2:0]=5で領域ROI5の読出し、SEL[2:0]=6で領域ROI6の読出し、SEL[2:0]=7で領域ROI7の読出し。
【0061】
上記の例では、制御信号LD_NUMによる領域ROIの分割数の設定、及び、選択信号SELによる領域ROIの指定としたが、選択信号SELのみで領域ROIを指定することもできる。具体的には、図10Bの上段に示すように、選択信号SELのみで単一の領域ROIを指定したり、図10Bの下段に示すように、選択信号SELのみで複数の領域ROIを指定したりすることができる。
【0062】
上述したことから明らかなように、制御部40は、設定される選択信号SELの値に応じて、画素50の信号を読み出す領域ROIを指定することができる。すなわち、制御部40は、設定した複数の領域のうち、画素50の信号を読み出す領域を、選択信号SELの値に応じて任意に指定可能である。
【0063】
[実施例4]
実施例4は、領域ROIの信号を時分割で読み出す例であり、4分割(ROI0/ROI1/ROI2/ROI3)の分割モードの場合の例である。実施例4に係る時分割読出しの動作例を図11に示す。
【0064】
4分割の分割モードの場合、領域ROI0、領域ROI1、領域ROI2、及び、領域ROI3を領域単位で選択し、その選択した領域ROIの各画素50の信号を読み出すことになる。その読出しの際に、制御部40は、行選択部70によって選択された1つの画素行、又は、複数の画素行の各画素50の信号について、領域毎に時分割で読み出す。
【0065】
このとき、制御部40による制御の下に、今回の読出し領域として、前回の読出し領域と領域的に離れた領域を設定することが好ましい。具体的には、4分割の分割モードの場合、図11に示すように、制御部40は、先ず、領域ROI1を読出し領域として設定し、次いで、領域ROI2を飛ばして領域ROI1と離れた領域ROI3を読出し領域として設定する。次に、制御部40は、領域ROI1及び領域ROI2を飛ばして領域ROI3と離れた領域ROI0を読出し領域として設定し、次いで、領域ROI1を飛ばして領域ROI00と離れた領域ROI2を読出し領域として設定する。
【0066】
ここで、画素信号の読出し領域として、領域ROI0→領域ROI1→領域ROI2→領域ROI3という具合に、隣り合う領域を順番に設定した場合を考える。このように画素信号の読出し領域が隣り合っている場合、前回の読出し領域の発光の反射光(反射波)が収束しないうちに、今回の読出し領域の発光が始まることになるため、図12に点線で囲んだ領域Xに示すように、前回の読出し領域の発光の影響を受けることになる。これに対して、上述したように、今回の読出し領域として、前回の読出し領域と離れた領域を設定することで、今回の読出し領域の各画素50の信号を読み出す際に、前回の読出し領域の発光の影響を抑えることができるメリットがある。
【0067】
4分割の分割モード以外の例として、例えば、5分割の場合の時分割読出しの動作例を図13に示す。5分割の分割モードの場合は、例えば、領域ROI0→領域ROI3→領域ROI1→領域ROI4→領域ROI2の順に読出し領域として設定し、領域毎に時分割で読み出すようにすることで、今回設定した領域の各画素50の信号を読み出す際に、前回の読出し領域の発光の影響を抑制することができる。
【0068】
[実施例5]
実施例5は、ヒストグラムのピークを選択する例である。先述したように、測距装置では、時間計測を複数回実行し、複数回計測した時間を積み上げたヒストグラムのピークを検出することで時間tを計測し、この時間tを基に、被写体までの距離Lを求めることになる。実施例5に係るヒストグラムのピーク選択の具体例について図14A及び図14Bに示す。
【0069】
図14Aは、今回のヒストグラム取得期間において、最初のピーク部分に、前回の読出し領域の発光の影響によって小さいピークが生じる場合の波形図である。図14Aに示す具体例の場合には、フィルタリング処理等によって、前回の読出し領域の発光の影響による小さいピークについては選択(取得)しないようにする。図14Bは、前回の読出し領域の発光の影響によって近い距離に小さいピークが生じる場合の波形図である。図14Bに示す具体例の場合には、近い距離の小さいピークについては選択(取得)しないようにする。
【0070】
図14A及び図14Bに示す、実施例5に係るヒストグラムのピーク選択の具体例によれば、今回のヒストグラム取得期間において、前回の読出し領域の発光の影響を排除することができる。
【0071】
<変形例>
以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した受光装置及び測距装置の構成、構造は例示であり、適宜、変更することができる。例えば、上記の実施形態では、受光素子としてSPAD素子を用いる場合を例に挙げて説明したが、受光素子としては、SPAD素子に限られるものではなく、APDやCAPD等の素子を用いた場合であっても同様の作用、効果を得ることができる。
【0072】
<本開示に係る技術の適用例>
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される測距装置として実現されてもよい。
【0073】
[移動体]
図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図15に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
【0074】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図15では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
【0075】
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
【0076】
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【0077】
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0078】
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【0079】
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【0080】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【0081】
ここで、図16は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0082】
尚、図16には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
【0083】
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【0084】
図15に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【0085】
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
【0086】
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【0087】
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
【0088】
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【0089】
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
【0090】
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
【0091】
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
【0092】
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
【0093】
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
【0094】
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【0095】
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【0096】
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【0097】
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図15の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【0098】
尚、図15に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
【0099】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部7410がToFカメラを含む場合に、当該ToFカメラに適用され得る。そして、本開示に係る技術を適用することにより、受光部の各画素の信号を読み出す際の消費電力を抑制することができるため、例えば、低消費電力の車両制御システムを構築できる。
【0100】
<本開示がとることができる構成>
尚、本開示は、以下のような構成をとることもできる。
【0101】
≪A.受光装置≫
[A-1]受光素子を含む画素が行列状に2次元配置されて成る受光部、
受光部の各画素を1つの画素行、又は、複数の画素行の単位で選択する行選択部、
行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を画素単位で選択する列選択部、及び、
列選択部を制御する制御部を備え、
制御部は、列選択部に対して、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を、複数の画素を単位とする領域の単位で選択し、領域毎に画素の信号を読み出す制御を行う、
受光装置。
[A-2]受光部の各画素から読み出される信号を処理する読出し回路部を備え、
読出し回路部は、受光部の各画素から読み出される信号を、列選択部によって選択された領域毎に処理する、
上記[A-1]に記載の受光装置。
[A-3]制御部は、読出し回路部に対して、列選択部によって選択された領域に対応する回路部分以外の回路部分を非活性化の状態にする制御を行う、
上記[A-2]に記載の受光装置。
[A-4]画素は、列選択部から与えられる走査信号に応答して、画素単位で選択状態とする列選択用のスイッチ素子を有する、
上記[A-1]乃至上記[A-3]のいずれかに記載の受光装置。
[A-5]列選択用のスイッチ素子は、画素の電源を遮断状態とすることにより、画素を非選択状態とする、
上記[A-4]に記載の受光装置。
[A-6]制御部は、行選択部によって選択された1つの画素行、又は、複数の画素行における、複数の画素を単位とする領域の数を設定可能である、
上記[A-1]乃至上記[A-5]のいずれかに記載の受光装置。
[A-7]制御部は、設定した複数の領域のうち、画素の信号を読み出す領域を任意に指定可能である、
上記[A-6]に記載の受光装置。
[A-8]制御部は、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素の信号について、領域毎に時分割で読み出すとき、今回読み出す領域として、前回読み出した領域と離れた領域を設定する、
上記[A-1]乃至上記[A-7]のいずれかに記載の受光装置。
[A-9]受光素子は、光子の受光に応じて信号を発生する素子である、
上記[A-1]乃至上記[A-8]のいずれかに記載の受光装置。
[A-10]受光素子は、単一光子アバランシェダイオードから成る、
上記[A-9]に記載の受光装置。
【0102】
≪B.測距装置≫
[B-1]測定対象物に対して光を照射する光源、及び、
測定対象物で反射された光を検出する受光装置を備え、
受光装置は、
受光素子を含む画素が行列状に2次元配置されて成る受光部、
受光部の各画素を1つの画素行、又は、複数の画素行の単位で選択する行選択部、
行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を画素単位で選択する列選択部、及び、
列選択部を制御する制御部を備え、
制御部は、列選択部に対して、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素を、複数の画素を単位とする領域の単位で選択し、領域毎に画素の信号を読み出す制御を行う、
測距装置。
[B-2]受光部の各画素から読み出される信号を処理する読出し回路部を備え、
読出し回路部は、受光部の各画素から読み出される信号を、列選択部によって選択された領域毎に処理する、
上記[B-1]に記載の測距装置。
[B-3]制御部は、読出し回路部に対して、列選択部によって選択された領域に対応する回路部分以外の回路部分を非活性化の状態にする制御を行う、
上記[B-2]に記載の測距装置。
[B-4]画素は、列選択部から与えられる走査信号に応答して、画素単位で選択状態とする列選択用のスイッチ素子を有する、
上記[B-1]乃至上記[B-3]のいずれかに記載の測距装置。
[B-5]列選択用のスイッチ素子は、画素の電源を遮断状態とすることにより、画素を非選択状態とする、
上記[B-4]に記載の測距装置。
[B-6]制御部は、行選択部によって選択された1つの画素行、又は、複数の画素行における、複数の画素を単位とする領域の数を設定可能である、
上記[B-1]乃至上記[B-5]のいずれかに記載の測距装置。
[B-7]制御部は、設定した複数の領域のうち、画素の信号を読み出す領域を任意に指定可能である、
上記[B-6]に記載の測距装置。
[B-8]制御部は、行選択部によって選択された1つの画素行、又は、複数の画素行の各画素の信号について、領域毎に時分割で読み出すとき、今回読み出す領域として、前回読み出した領域と離れた領域を設定する、
上記[B-1]乃至上記[B-7]のいずれかに記載の測距装置。
[B-9]受光素子は、光子の受光に応じて信号を発生する素子である、
上記[B-1]乃至上記[B-8]のいずれかに記載の測距装置。
[B-10]受光素子は、単一光子アバランシェダイオードから成る、
上記[B-9]に記載の測距装置。
【符号の説明】
【0103】
1・・・測距装置、10・・・被写体(測定対象物)、20・・・光源、21・・・レーザドライバ、22・・・レーザ光源、23・・・拡散レンズ、30・・・受光装置、31・・・受光レンズ、32・・・光センサ、33・・・回路部、40・・・制御部、50・・・画素、51・・・SPAD素子、60・・・受光部、70・・・行選択部、80・・・列選択部、90・・・読出し回路部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16