7645226 センシングシステム、および、測距システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-05

(45)【発行日】2025-03-13

(54)【発明の名称】センシングシステム、および、測距システム

(51)【国際特許分類】

   G01S 7/4914 20200101AFI20250306BHJP

   G01S 7/4915 20200101ALI20250306BHJP

   G01S 17/894 20200101ALI20250306BHJP

   H04N 25/773 20230101ALI20250306BHJP

   H04N 25/705 20230101ALI20250306BHJP

   H10F 39/18 20250101ALI20250306BHJP

【ＦＩ】

G01S7/4914

G01S7/4915

G01S17/894

H04N25/773

H04N25/705

H10F39/18 A

【請求項の数】 5

(21)【出願番号】P 2022501630

(86)(22)【出願日】2020-11-17

(86)【国際出願番号】 JP2020042717

(87)【国際公開番号】W WO2021166344

(87)【国際公開日】2021-08-26

【審査請求日】2023-09-27

(31)【優先権主張番号】P 2020024820

(32)【優先日】2020-02-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100112955

【弁理士】

【氏名又は名称】丸島 敏一

(72)【発明者】

【氏名】中川 慶

(72)【発明者】

【氏名】半澤 克彦

【審査官】山下 雅人

(56)【参考文献】

【文献】国際公開第２０１８／２２１０４８（ＷＯ，Ａ１）

【文献】特開２０１０－２６７７２０（ＪＰ，Ａ）

【文献】特開２０１８－１２４２７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ１７／００ －１７／９５

Ｈ０４Ｎ ５／３０ －２５／７９

Ｇ０１Ｃ ３／０６ － ３／０８

Ｈ１０Ｆ３９／１８

(57)【特許請求の範囲】

【請求項1】

所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、
それぞれが光電変換によりパルス信号を生成する所定数の画素と、
前記発光制御信号および前記垂直同期信号のそれぞれに同期して前記パルス信号の個数を計数する計数部と、
前記計数部の計数値に基づいて物体までの距離を測定する信号処理回路と、
前記発光制御信号を生成して前記発光部に供給するドライバと、
撮像モードが設定された場合には前記ドライバを停止させ、測距モードが設定された場合には前記ドライバに前記発光制御信号を生成させるコントローラと
を具備し、
前記計数部は、
前記発光制御信号に同期して前記パルス信号を計数する処理と前記垂直同期信号に同期して前記パルス信号を計数する処理とを順に行う第１カウンタと、
前記垂直同期信号に同期して前記パルス信号を計数する第２カウンタと
を備え、
前記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、
前記複数の画素ブロックのそれぞれは、複数のエリアに分割され、
前記計数部は、前記複数のエリアのそれぞれに対応付けて設けられ、
前記第１カウンタは、対応するエリア内の前記画素のそれぞれからの前記パルス信号の論理和を計数し、
前記複数のエリアは、第１および第２のエリアを含み、
前記第１のエリアには、前記発光制御信号との位相差が所定値に設定された第１のイネーブル信号に同期して前記論理和を計数する２個以上の前記第１カウンタが配置され、
前記第２のエリアには、前記位相差が前記所定値と異なる第２のイネーブル信号に同期して前記論理和を計数する２個以上の前記第１カウンタが配置され、
前記信号処理回路は、前記位相差ごとに前記第１カウンタのそれぞれの計数値の統計量を演算して前記統計量に基づいて前記距離を測定する
測距システム。

【請求項2】

前記複数のエリアのそれぞれには、９個の前記画素が配置される
請求項１記載の測距システム。

【請求項3】

前記複数のエリアのそれぞれには、４個の前記画素が配置される
請求項１記載の測距システム。

【請求項4】

前記画素ブロック内には、４つのエリアが配置される
請求項１記載の測距システム。

【請求項5】

所定の垂直同期信号より周波数の高い発光制御信号に基づいて照射光を照射する発光部と、
それぞれが光電変換によりパルス信号を生成する複数の画素と、
前記複数の画素のパルス信号の個数を計数する計数部と、
前記計数部の計数値に基づいて物体までの距離を測定する信号処理回路と、
前記発光制御信号を生成して前記発光部に供給するドライバと、
撮像モードが設定された場合には前記ドライバを停止させ、測距モードが設定された場合には前記ドライバに前記発光制御信号を生成させるコントローラと
を具備し、
前記計数部は複数のカウンタと、前記複数の画素と複数のカウンタの間に接続され、前記複数の画素から出力された複数のパルス信号を受け、任意の複数のカウンタに前記複数のパルス信号を振り分ける出力先制御回路とを備え、
前記複数の画素は、第一のチップに設けられ、
前記出力先制御回路、前記信号処理回路および前記計数部は、第ニのチップに設けられ、
前記計数部は、
前記発光制御信号に同期して前記パルス信号を計数する処理と前記垂直同期信号に同期して前記パルス信号を計数する処理とを順に行う第１カウンタと、
前記垂直同期信号に同期して前記パルス信号を計数する第２カウンタと
を備え、
前記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、
前記複数の画素ブロックのそれぞれは、複数のエリアに分割され、
前記計数部は、前記複数のエリアのそれぞれに対応付けて設けられ、
前記第１カウンタは、対応するエリア内の前記画素のそれぞれからの前記パルス信号の論理和を計数し、
前記複数のエリアは、第１および第２のエリアを含み、
前記第１のエリアには、前記発光制御信号との位相差が所定値に設定された第１のイネーブル信号に同期して前記論理和を計数する２個以上の前記第１カウンタが配置され、
前記第２のエリアには、前記位相差が前記所定値と異なる第２のイネーブル信号に同期して前記論理和を計数する２個以上の前記第１カウンタが配置され、
前記信号処理回路は、前記位相差ごとに前記第１カウンタのそれぞれの計数値の統計量を演算して前記統計量に基づいて前記距離を測定する
測距システム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、センシングシステムに関する。詳しくは、パルス数を計数するセンシングシステムおよび測距システムに関する。

【背景技術】

【0002】

近年、非常に微弱な光信号を捉えて光通信、距離計測やフォトンカウントなどを実現するＳＰＡＤ（Single Photon Avalanche Diode）と呼ばれるデバイスが開発および研究されている。このＳＰＡＤは、１光子を検出することができるほど感度の高いアバランシェフォトダイオードである。例えば、ＳＰＡＤを用いてパルス信号を生成する画素と、そのパルス信号の個数を露光期間内に計数するカウンタとを配列した固体撮像素子が提案されている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／１５０７８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の従来技術では、高感度のＳＰＡＤを用いて微弱な光を検出することにより、暗い環境下で撮像した際の画質向上を図っている。しかしながら、上述の固体撮像素子では、撮像した画像内の物体までの距離の測定を行うことができない。測距を行うために、赤外線やレーザを用いる測距センサを追加した場合には、システムの消費電力やコストが増大してしまうため、好ましくない。

【0005】

本技術はこのような状況に鑑みて生み出されたものであり、画像データを撮像するシステムにおいて、測距センサを追加することなく、物体までの距離を測定することを目的とする。

【課題を解決するための手段】

【0006】

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、それぞれが光電変換によりパルス信号を生成する所定数の画素と、上記発光制御信号および上記垂直同期信号のそれぞれに同期して上記パルス信号の個数を計数する計数部とを具備するセンシングシステムである。これにより、画像データの撮像と測距とが実行されるという作用をもたらす。

【0007】

また、この第１の側面において、上記計数部は、上記発光制御信号に同期して上記パルス信号を計数する第１カウンタと、上記垂直同期信号に同期して上記パルス信号を計数する第２カウンタとを備えてもよい。これにより、カウンタの計数値に基づいて測距が実行されるという作用をもたらす。

【0008】

また、この第１の側面において、上記計数部は、上記発光制御信号に同期して上記パルス信号を計数する処理と上記垂直同期信号に同期して上記パルス信号を計数する処理とを順に行う第１カウンタと、上記垂直同期信号に同期して上記パルス信号を計数する第２カウンタとを備えてもよい。これにより、カウンタ数が削減されるという作用をもたらす。

【0009】

また、この第１の側面において、上記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、上記計数部は、上記画素ブロックごとに設けられ、上記第１カウンタは、上記画素ブロック内の上記画素のそれぞれからの上記パルス信号の論理和を計数してもよい。これにより、画素ブロックごとに距離が測定されるという作用をもたらす。

【0010】

また、この第１の側面において、上記画素ブロックごとに４個の上記第１カウンタと５個の上記第２カウンタとが配置されてもよい。これにより、４個の計数値に基づいて距離が測定されるという作用をもたらす。

【0011】

また、この第１の側面において、上記画素ブロックごとに８個の上記第１カウンタと１個の上記第２カウンタとが配置されてもよい。これにより、測距可能な距離範囲が広くなるという作用をもたらす。

【0012】

また、この第１の側面において、上記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、上記複数の画素ブロックのそれぞれは、複数のエリアに分割され、上記計数部は、上記複数のエリアのそれぞれに対応付けて設けられ、上記第１カウンタは、対応するエリア内の上記画素のそれぞれからの上記パルス信号の論理和を計数してもよい。これにより、エリアごとの計数値から距離が測定されるという作用をもたらす。

【0013】

また、この第１の側面において、上記複数のエリアのそれぞれには、９個の上記画素が配置されてもよい。これにより、９画素分のパルス信号の論理和が計数されるという作用をもたらす。

【0014】

また、この第１の側面において、上記複数のエリアのそれぞれには、４個の上記画素が配置されてもよい。これにより、４画素分のパルス信号の論理和が計数されるという作用をもたらす。

【0015】

また、この第１の側面において、上記画素ブロック内には、４つのエリアが配置されてもよい。これにより、２つのエリアのそれぞれの計数値から距離が測定されるという作用をもたらす。

【0016】

また、この第１の側面において、上記画素ブロック内には、２つのエリアが配置されてもよい。これにより、４つのエリアのそれぞれの計数値から距離が測定されるという作用をもたらす。

【0017】

また、この第１の側面において、上記第１カウンタは、上記画素ブロック内の上記画素のうち設定された個数の画素のそれぞれの上記パルス信号の論理和を計数してもよい。これにより、計数値のデータサイズが変更されるという作用をもたらす。

【0018】

また、この第１の側面において、上記計数部は、上記発光制御信号に同期して上記パルス信号を計数する処理と上記垂直同期信号に同期して上記パルス信号を計数する処理とを順に行う所定数のカウンタを備えてもよい。これにより、カウンタ数が削減されるという作用をもたらす。

【0019】

また、この第１の側面において、上記計数部は、９個の上記カウンタを備えてもよい。これにより、９個の計数値から距離が測定されるという作用をもたらす。

【0020】

また、この第１の側面において、上記計数部は、４個の上記カウンタを備えてもよい。これにより、４個の計数値から距離が測定されるという作用をもたらす。

【0021】

また、この第１の側面において、上記発光制御信号との位相差として複数の設定値のそれぞれが順に設定されるイネーブル信号を供給する画素駆動部をさらに具備し、上記カウンタは、上記イネーブル信号に同期して上記パルス信号を供給してもよい。これにより、測距精度が向上するという作用をもたらす。

【0022】

また、本技術の第２の側面は、所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、それぞれが光電変換によりパルス信号を生成する所定数の画素と、上記発光制御信号および上記垂直同期信号のそれぞれに同期して上記パルス信号の個数を計数する計数部と、上記計数部の計数値に基づいて物体までの距離を測定する測距部とを具備する測距システムである。これにより、画像データが撮像され、計数値に基づいて測距が実行されるという作用をもたらす。

【0023】

また、本技術の第３の側面は、発光制御信号に基づいて照射光を照射する発光部と、それぞれが光電変換によりパルス信号を生成する複数の画素と、前記複数の画素のパルス信号の個数を計数する計数部と、を具備し、前記計数部は複数のカウンタと、前記複数の画素と複数のカウンタの間に接続され、前記複数の画素から出力された複数のパルス信号を受け、任意の複数のカウンタに前記複数のパルス信号を振り分ける出力先制御回路とを備え、前記複数の画素は、第一のチップに設けられ、前記出力制御回路および前記計数部は、第二のチップに設けられるセンシングシステムである。これにより、積層構造のセンシングシステムにおいて、画像データの撮像と測距とが実行されるという作用をもたらす。

【図面の簡単な説明】

【0024】

【図1】本技術の第１の実施の形態における測距システムの一構成例を示すブロック図である。

【図2】本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。

【図3】本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。

【図4】本技術の第１の実施の形態における画素ブロックの一構成例を示すブロック図である。

【図5】本技術の第１の実施の形態における画素の一構成例を示す回路図である。

【図6】本技術の第１の実施の形態における画素の一構成例を示す断面図である。

【図7】本技術の第１の実施の形態における出力先制御回路の一構成例を示す回路図である。

【図8】本技術の第１の実施の形態における画素チップおよび回路チップのそれぞれに設けられる回路の対応関係の一例を示す図である。

【図9】本技術の第１の実施の形態におけるカウンタの動作を説明するための図である。

【図10】本技術の第１の実施の形態における固体撮像素子の測距モードの動作の一例を示すタイミングチャートである。

【図11】本技術の第１の実施の形態における固体撮像素子の撮像モードの動作の一例を示すタイミングチャートである。

【図12】本技術の第１の実施の形態における測距システムの全体図の一例である。

【図13】本技術の第１の実施の形態における測距システムの動作の一例を示すフローチャートである。

【図14】本技術の第２の実施の形態における画素ブロックの一構成例を示すブロック図である。

【図15】本技術の第２の実施の形態における出力先制御回路の一構成例を示す回路図である。

【図16】本技術の第２の実施の形態における画素チップおよび回路チップのそれぞれに設けられる回路の対応関係の一例を示す図である。

【図17】本技術の第２の実施の形態におけるカウンタの動作を説明するための図である。

【図18】本技術の第３の実施の形態における出力先制御回路の一構成例を示す回路図である。

【図19】本技術の第３の実施の形態における画素チップおよび回路チップのそれぞれに設けられる回路の対応関係の一例を示す図である。

【図20】本技術の第３の実施の形態におけるカウンタの動作を説明するための図である。

【図21】本技術の第４の実施の形態における出力先制御回路の一構成例を示す回路図である。

【図22】本技術の第４の実施の形態における画素チップおよび回路チップのそれぞれに設けられる回路の対応関係の一例を示す図である。

【図23】本技術の第４の実施の形態におけるカウンタの動作を説明するための図である。

【図24】本技術の第５の実施の形態における画素ブロックに設けられる回路の一例を示す図である。

【図25】本技術の第６の実施の形態における画素ブロックに設けられる回路の一例を示す図である。

【図26】本技術の第６の実施の形態における０度エリアの一構成例を示すブロック図である。

【図27】本技術の第６の実施の形態における出力先制御回路の一構成例を示す回路図である。

【図28】本技術の第７の実施の形態における画素ブロックに設けられる回路の一例を示す図である。

【図29】本技術の第７の実施の形態における固体撮像素子の測距モードの動作の一例を示すタイミングチャートである。

【図30】本技術の第８の実施の形態における画素ブロックに設けられる回路の一例を示す図である。

【図31】本技術の第８の実施の形態における出力先制御回路の一構成例を示す回路図である。

【図32】本技術の第８の実施の形態における固体撮像素子の測距モードの動作の一例を示すタイミングチャートである。

【図33】本技術の第９の実施の形態における画素ブロックに設けられる回路の一例を示す図である。

【図34】本技術の第１０の実施の形態における画素ブロックに設けられる回路の一例を示す図である。

【図35】本技術の第１０の実施の形態における出力先制御回路の一構成例を示す回路図である。

【図36】本技術の第１０の実施の形態における画素駆動部の動作を説明するための図である。

【図37】車両制御システムの概略的な構成例を示すブロック図である。

【図38】撮像部の設置位置の一例を示す説明図である。

【発明を実施するための形態】

【0025】

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（発光制御信号および垂直同期信号に同期して計数する例）
２．第２の実施の形態（１つのカウンタが発光制御信号および垂直同期信号に同期して計数する例）
３．第３の実施の形態（全カウンタが発光制御信号および垂直同期信号に同期して計数する例）
４．第４の実施の形態（８個のカウンタが発光制御信号および垂直同期信号に同期して計数する例）
５．第５の実施の形態（複数のエリアに分割し、発光制御信号および垂直同期信号に同期して計数する例）
６．第６の実施の形態（エリア内の画素数を削減し、発光制御信号および垂直同期信号に同期して計数する例）
７．第７の実施の形態（エリア数を削減し、発光制御信号および垂直同期信号に同期して計数する例）
８．第８の実施の形態（位相差を切り替え、発光制御信号および垂直同期信号に同期して計数する例）
９．第９の実施の形態（位相差を固定し、発光制御信号および垂直同期信号に同期して計数する例）
１０．第１０の実施の形態（計数対象の画素数を切り替え、発光制御信号および垂直同期信号に同期して計数する例）
１１．移動体への応用例

【0026】

＜１．第１の実施の形態＞
［測距システムの構成例］
図１は、本技術の第１の実施の形態における測距システム１００の一構成例を示すブロック図である。この測距システム１００は、画像データの撮像と測距とを行うためのものである。測距システム１００は、発光部１１０、ドライバ１２０、コントローラ１３０、固体撮像素子２００、プロセッサ１４０およびアプリケーションプロセッサ１５０を備える。

【0027】

測距システム１００内の素子のそれぞれは、１つの電子装置内に配置してもよいし、複数の装置に分散して配置してもよい。複数の装置に分散して配置する場合、例えば、発光部１１０、ドライバ１２０、コントローラ１３０、固体撮像素子２００、プロセッサ１４０が撮像装置内に配置され、アプリケーションプロセッサ１５０は画像処理装置内に配置される。

【0028】

発光部１１０は、ドライバ１２０からの発光制御信号ＬＣＬＫに従って発光し、照射光を照射するものである。例えば、照射光として近赤外光などが用いられる。

【0029】

ドライバ１２０は、コントローラ１３０の制御に従って、所定の周期信号を発光制御信号ＬＣＬＫとして生成し、発光部１１０に供給するものである。

【0030】

コントローラ１３０は、ドライバ１２０およびプロセッサ１４０を同期して動作させるものである。ここで、測距システムには、物体までの距離を測定する測距モードと、画像データの撮像を行う撮像モードとを含む複数のモードが設定される。測距モードにおいてコントローラ１３０は、ドライバ１２０に発光制御信号ＬＣＬＫを生成させるとともに、発光制御信号ＬＣＬＫと同一の信号を発光制御信号ＬＣＬＫ'としてプロセッサ１４０に生成させる。一方、撮像モードにおいてコントローラ１３０は、ドライバ１２０を停止させ、プロセッサ１４０に垂直同期信号ＶＳＹＮＣを生成させる。

【0031】

ここで、垂直同期信号ＶＳＹＮＣの周波数は、例えば、３０ヘルツ（Ｈｚ）や６０ヘルツ（Ｈｚ）である。一方、発光制御信号ＬＣＬＫの周波数は、垂直同期信号ＶＳＹＮＣよりも高く、例えば、１０乃至２０メガヘルツ（ＭＨｚ）である。

【0032】

プロセッサ１４０は、固体撮像素子２００およびアプリケーションプロセッサ１５０を制御するものである。このプロセッサ１４０は、測距モードにおいて発光制御信号ＬＣＬＫ'を生成して固体撮像素子２００に供給し、固体撮像素子２００からデプスマップを受け取る。一方、撮像モードにおいてプロセッサ１４０は、垂直同期信号ＶＳＹＮＣを生成して固体撮像素子２００に供給し、固体撮像素子２００から画像データを受け取る。そして、プロセッサ１４０は、デプスマップや画像データをアプリケーションプロセッサ１５０に供給する。

【0033】

アプリケーションプロセッサ１５０は、画像データやデプスマップに基づいて、画像認識処理などの所定の処理を行うものである。

【0034】

固体撮像素子２００は、光電変換により画像データまたはデプスマップを生成するものである。この固体撮像素子２００は、測距モードにおいて、発光制御信号ＬＣＬＫ'に同期して、照射光に対する反射光を光電変換し、デプスマップを生成する。一方、撮像モードにおいて固体撮像素子２００は、垂直同期信号ＶＳＹＮＣに同期して、入射光を光電変換し、画像データを生成する。固体撮像素子２００は、画像データやデプスマップをプロセッサ１４０に供給する。なお、固体撮像素子２００を備えるシステムは、特許請求の範囲に記載のセンシングシステムの一例である。

【0035】

なお、プロセッサ１４０、アプリケーションプロセッサ１５０の機能の一部または全てを固体撮像素子２００が有する構成であってもよい。

【0036】

［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、回路チップ２０２と、その回路チップ２０２に積層された画素チップ２０１とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接続することもできる。これらの他の方式（磁気結合など）により接続することもできる。また、２つのチップを積層しているが、３層以上を積層することもできる。

【0037】

図３は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、画素駆動部２１０、垂直走査回路２２０、画素アレイ部２３０、カラムバッファ２４０、信号処理回路２５０および出力部２６０を備える。画素アレイ部２３０内には、複数の画素が二次元格子状に配列される。また、画素アレイ部２３０は、複数の画素ブロック３００に分割される。

【0038】

画素駆動部２１０は、発光制御信号ＬＣＬＫ'に同期して画素アレイ部２３０内の画素ブロックを駆動し、パルス数の計数を行わせるものである。

【0039】

垂直走査回路２２０は、垂直同期信号ＶＳＹＮＣに同期して画素の行を順に選択し、計数値をカラムバッファ２４０へ出力させるものである。

【0040】

カラムバッファ２４０は、画素ごとの計数値を保持するものである。

【0041】

信号処理回路２５０は、計数値を配列したデータに対して所定の信号処理を行うものである。例えば、測距モードにおいて、信号処理回路２５０は、画素ブロック３００ごとに計数値に基づいて距離を求め、それらの距離のデータを配列したデプスマップを生成する。また、撮像モードにおいて、信号処理回路２５０は、画素ごとの計数値を画素データとして、それらを配列した画像データを生成し、画像データに対して各種の画像処理を行う。そして、信号処理回路２５０は、デプスマップや画像データをプロセッサ１４０に供給する。

【0042】

［画素ブロックの構成例］
図４は、本技術の第１の実施の形態における画素ブロック３００の一構成例を示すブロック図である。画素ブロック３００は、画素３１０と、画素３２１乃至３２８と、出力先制御回路３７０と、カウンタ３３１乃至３４３と、スイッチ３５１乃至３６３とを備える。

【0043】

画素３１０は、ＳＰＡＤを用いてパルス信号を生成するものである。画素３１０は、パルス信号Ｐ１を出力先制御回路３７０およびカウンタ３３５に供給する。画素３２１乃至３２８の構成は、画素３１０と同様である。これらの９画素は、例えば、３行×３列に配列される。また、画素アレイ部２３０内において、列ごとに垂直信号線３０９が配線される。ｎ（ｎは整数）列目の垂直信号線を３０９－ｎとする。

【0044】

画素３２１は、パルス信号Ｐ２を生成し、出力先制御回路３７０およびカウンタ３３６に供給する。画素３２２は、パルス信号Ｐ３を生成し、出力先制御回路３７０およびカウンタ３３７に供給する。画素３２３は、パルス信号Ｐ４を生成し、出力先制御回路３７０およびカウンタ３３８に供給する。画素３２４は、パルス信号Ｐ５を生成し、出力先制御回路３７０およびカウンタ３３９に供給する。

【0045】

また、画素３２５は、パルス信号Ｐ６を生成し、出力先制御回路３７０およびカウンタ３４０に供給する。画素３２６は、パルス信号Ｐ７を生成し、出力先制御回路３７０およびカウンタ３４１に供給する。画素３２７は、パルス信号Ｐ８を生成し、出力先制御回路３７０およびカウンタ３４２に供給する。画素３２８は、パルス信号Ｐ９を生成し、出力先制御回路３７０およびカウンタ３４３に供給する。

【0046】

出力先制御回路３７０は、パルス信号Ｐ１乃至Ｐ９の出力先を制御するものである。測距モードにおいて、出力先制御回路３７０は、画素駆動部２１０からのイネーブル信号ＥＮ１乃至ＥＮ４に同期して、パルス信号Ｐ１乃至Ｐ９の論理和の信号を生成し、カウンタ３３１乃至３３４に入力する。カウンタ３３１への信号を入力信号ＣＩＮ１とし、カウンタ３３２への信号を入力信号ＣＩＮ２とする。また、カウンタ３３３への信号を入力信号ＣＩＮ３とし、カウンタ３３４への信号を入力信号ＣＩＮ４とする。一方、撮像モードにおいては、出力先制御回路３７０からカウンタへ信号が出力されない。

【0047】

カウンタ３３１は、入力信号ＣＩＮ１の個数を計数するものである。この入力信号ＣＩＮ１は、画素ブロック３００内の各画素のパルス信号の論理和であるため、その計数値は、画素ブロック３００内に入射された光子数を示す。カウンタ３３１は、計数値をＣＮＴ１としてスイッチ３５１に出力する。

【0048】

カウンタ３３２乃至３３４の構成は、カウンタ３３１と同様である。カウンタ３３２乃至３３４は、入力信号ＣＩＮ２乃至ＣＩＮ４の計数値をＣＮＴ２乃至ＣＮＴ４としてスイッチ３５２乃至３５４に出力する。

【0049】

カウンタ３３５は、パルス信号Ｐ１の個数を計数するものである。このカウンタ３３５は、計数値をＣＮＴ５としてスイッチ３５５に出力する。カウンタ３３６乃至３４３の構成は、カウンタ３３５と同様である。カウンタ３３６乃至３４３は、パルス信号Ｐ２乃至Ｐ９の計数値をＣＮＴ６乃至１３としてスイッチ３５６乃至３６３に出力する。

【0050】

また、カウンタ３３１乃至３４３には、垂直走査回路２２０からのリセット信号ＲＳＴ１乃至ＲＳＴ１３が入力される。カウンタの計数値は、このリセット信号により初期化される。なお、垂直走査回路２２０の代わりに画素駆動部２１０がリセット信号を供給することもできる。

【0051】

スイッチ３５１は、垂直走査回路２２０からの選択信号ＳＥＬｎに従って垂直信号線３０９－ｎを介してカラムバッファ２４０へ計数値ＣＮＴ１を出力するものである。スイッチ３５２乃至３６３の構成は、スイッチ３５１と同様である。スイッチ３５３、３５５、３５８および３６１は、例えば、選択信号ＳＥＬｎに従って垂直信号線３０９－ｎを介してカラムバッファ２４０へ計数値を出力する。スイッチ３５２、３５６、３５９および３６２は、例えば、選択信号ＳＥＬ（ｎ＋１）に従って垂直信号線３０９－（ｎ＋１）を介してカラムバッファ２４０へ計数値を出力する。スイッチ３５４、３５７、３６０および３６３は、例えば、選択信号ＳＥＬ（ｎ＋２）に従って垂直信号線３０９－（ｎ＋２）を介してカラムバッファ２４０へ計数値を出力する。

【0052】

なお、画素ブロック３００内に９画素を配置しているが、画素ブロック３００内の画素数は９画素に限定されず、後述するように４画素などであってもよい。また、画素ごとにカウンタを設けているが、カラムごとにカウンタを配置することもできる。この場合には、垂直走査回路２２０が行を順に選択し、カウンタ群は、選択された行からのパルス信号を計数する。

【0053】

［画素の構成例］
図５は、本技術の第１の実施の形態における画素３１０の一構成例を示す回路図である。この画素３１０は、ＳＰＡＤ３１１、抵抗３１２およびインバータ３１３を備える。

【0054】

ＳＰＡＤ３１１は、光電変換により光電流を生成し、アバランシェ増幅するものである。抵抗３１２およびＳＰＡＤ３１１は、電源端子と接地端子との間において直列に接続される。

【0055】

インバータ３１３は、抵抗３１２およびＳＰＡＤ３１１の接続点の電位を反転し、パルス信号Ｐ１として出力先制御回路３７０へ出力するものである。

【0056】

また、例えば、ＳＰＡＤ３１１は、画素チップ２０１に設けられ、抵抗３１２およびインバータ３１３と、その後段の回路（出力先制御回路３７０など）とは、回路チップ２０２に設けられる。なお、画素３１０全体を画素チップ２０１に設けることもできる。

【0057】

図６は、本技術の第１の実施の形態における画素３１０の一構成例を示す断面図である。同図に例示するように、マイクロレンズ１０５により集光された光は、画素３１０内の各層に入力される。マイクロレンズ１０５以外の領域の構成は、例えば、特開２０１８－８８４８８号公報の第００２４乃至００５３段落に記載のものと同様である。

【0058】

［出力先制御回路の構成例］
図７は、本技術の第１の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この出力先制御回路３７０は、ＯＲ（論理和）ゲート３７１乃至３７４と、ＡＮＤ（論理積）ゲート３８１乃至３８４とを備える。

【0059】

ＯＲゲート３７１は、パルス信号Ｐ１乃至Ｐ９の論理和をＡＮＤゲート３８１に出力するものである。ＯＲゲート３７２は、パルス信号Ｐ１乃至Ｐ９の論理和をＡＮＤゲート３８２に出力するものである。ＯＲゲート３７３は、パルス信号Ｐ１乃至Ｐ９の論理和をＡＮＤゲート３８３に出力するものである。ＯＲゲート３７４は、パルス信号Ｐ１乃至Ｐ９の論理和をＡＮＤゲート３８４に出力するものである。なお、パルス信号Ｐ１乃至Ｐ９のそれぞれが、ほぼ同時に出力されると、ＯＲゲート３７１の論理和後の信号は１つになり、ミスカウントが生じてしまう。そのため、ＯＲゲート３７１の入力数を偶数（Ｐ２やＰ４など）のみ、奇数（Ｐ１やＰ３など）のみ、あるいは、１／３画素分など、配線で減らしてもよい。ＯＲゲート３７２などのＯＲゲートについても同様である。

【0060】

ＡＮＤゲート３８１は、ＯＲゲート３７１からの信号と、画素駆動部２１０からのイネーブル信号ＥＮ１との論理積を入力信号ＣＩＮ１としてカウンタ３３１に出力するものである。ＡＮＤゲート３８２は、ＯＲゲート３７２からの信号と、画素駆動部２１０からのイネーブル信号ＥＮ２との論理積を入力信号ＣＩＮ２としてカウンタ３３２に出力するものである。ＡＮＤゲート３８３は、ＯＲゲート３７３からの信号と、画素駆動部２１０からのイネーブル信号ＥＮ３との論理積を入力信号ＣＩＮ３としてカウンタ３３３に出力するものである。ＡＮＤゲート３８４は、ＯＲゲート３７４からの信号と、画素駆動部２１０からのイネーブル信号ＥＮ４との論理積を入力信号ＣＩＮ４としてカウンタ３３４に出力するものである。

【0061】

ここで、イネーブル信号ＥＮ１は、発光制御信号ＬＣＬＫと同一の信号である。イネーブル信号ＥＮ２は、発光制御信号ＬＣＬＫの位相を９０度ずらした信号である。イネーブル信号ＥＮ３は、発光制御信号ＬＣＬＫの位相を１８０度ずらした信号である。イネーブル信号ＥＮ４は、発光制御信号ＬＣＬＫの位相を２７０度ずらした信号である。言い換えれば、イネーブル信号ＥＮ１乃至ＥＮ４は、発光制御信号ＬＣＬＫとの位相差が０度、９０度、１８０度、２７０度の信号である。

【0062】

同図に例示した構成により、カウンタ３３１は、位相差が０度のイネーブル信号ＥＮ１に同期して、画素ブロック３００内のパルス数（言い換えれば、光子数）を計数することができる。また、カウンタ３３２は、位相差が９０度のイネーブル信号ＥＮ２に同期して、画素ブロック３００内のパルス数を計数することができる。カウンタ３３３は、位相差が１８０度のイネーブル信号ＥＮ３に同期して、画素ブロック３００内のパルス数を計数することができる。カウンタ３３４は、位相差が２７０度のイネーブル信号ＥＮ３に同期して、画素ブロック３００内のパルス数を計数することができる。

【0063】

信号処理回路２５０は、例えば、カウンタ３３１乃至３３４の計数値ＣＮＴ１乃至ＣＮＴ４に基づいて、次の式により、距離を求める。
ｄ＝（ｃ／４πｆ）×ｔａｎ^－１
×｛（ＣＮＴ２－ＣＮＴ４）／（ＣＮＴ１－ＣＮＴ３）｝…式１
上式において、ｄは距離であり、単位は、例えば、メートル（ｍ）である。ｃは光速であり、単位は、例えば、メートル毎秒（ｍ／ｓ）である。ｔａｎ^－１は、正接関数の逆関数である。（ＣＮＴ２－ＣＮＴ４）／（ＣＮＴ１－ＣＮＴ３）の値は、照射光と反射光との位相差を示す。πは、円周率を示す。また、ｆは照射光の周波数であり、単位は、例えば、メガヘルツ（ＭＨｚ）である。

【0064】

このように、光の飛行時間に基づいて距離を算出する測距方法は、ＴｏＦ（Time of Flight）方式と呼ばれる。

【0065】

図８は、本技術の第１の実施の形態における画素チップ２０１および回路チップ２０２のそれぞれに設けられる回路の対応関係の一例を示す図である。同図に例示するように、画素ブロック３００ごとに、９画素分のＳＰＡＤが画素チップ２０１に配列される。また、画素ブロック３００ごとに、１３個のカウンタが回路チップ２０２に配列される。なお、同図において回路チップ２０２内のカウンタ以外の回路（出力先制御回路３７０など）は、省略されている。

【0066】

１３個のカウンタのうち４個は、位相差が０度、９０度、１８０度および２７０度のイネーブル信号に同期して画素ブロック３００内のパルス数を計数する。同図において、カウンタの下部のカッコ内の値は、対応するイネーブル信号の位相差を示す。残りの９個のカウンタは、対応する１つの画素のパルス数を垂直同期信号ＶＳＹＮＣに同期して計数する。

【0067】

図９は、本技術の第１の実施の形態におけるカウンタの動作を説明するための図である。同図におけるカウンタ＃１乃至４は、カウンタ３３１乃至３３４を示す。カウンタ＃５乃至１３は、カウンタ３３５乃至３４３を示す。

【0068】

測距モードにおいて、カウンタ＃１乃至４は、位相差が０度、９０度、１８０度および２７０度のイネーブル信号ＥＮ１乃至ＥＮ４に同期して画素ブロック３００内のパルス数を計数する。一方、カウンタ＃５乃至１３は、計数を停止する。

【0069】

撮像モードにおいて、カウンタ＃５乃至１３は、垂直同期信号ＶＳＹＮＣに同期して対応する画素のパルス数を計数する。一方、カウンタ＃１乃至４は、計数を停止する。

【0070】

［固体撮像素子の動作例］
図１０は、本技術の第１の実施の形態における固体撮像素子２００の測距モードの動作の一例を示すタイミングチャートである。タイミングＴ０において、測距モードが設定されたものとする。プロセッサ１４０は、垂直同期信号ＶＳＹＮＣの供給を停止する。垂直走査回路２２０は、リセット信号ＲＳＴをカウンタ３３１乃至３３４に供給し、計数値を初期化する。

【0071】

また、タイミングＴ１において、ドライバ１２０は、発光制御信号ＬＣＬＫの供給を開始し、その信号に同期して発光部１１０が発光する。また、タイミングＴ１において、画素駆動部２１０は、発光制御信号ＬＣＬＫとの位相差が０度のイネーブル信号ＥＮ１の供給を開始する。そして、タイミングＴ２において、画素駆動部２１０は、位相差が９０度のイネーブル信号ＥＮ２の供給を開始する。タイミングＴ３において、画素駆動部２１０は、位相差が１８０度のイネーブル信号ＥＮ３の供給を開始する。タイミングＴ４において、画素駆動部２１０は、位相差が２７０度のイネーブル信号ＥＮ４の供給を開始する。

【0072】

そして、一定期間が経過すると、垂直走査回路２２０は、選択信号により、計数値を出力させる。信号処理回路２５０は、それらの計数値に基づいて、式１を用いて画素ブロック３００ごとに距離を求める。

【0073】

図１１は、本技術の第１の実施の形態における固体撮像素子２００の撮像モードの動作の一例を示すタイミングチャートである。タイミングＴ１０において、撮像モードが設定されたものとする。プロセッサ１４０は、タイミングＴ１１以降に垂直同期信号ＶＳＹＮＣの供給を開始する。

【0074】

また、ドライバ１２０は、発光制御信号ＬＣＬＫの供給を停止し、画素駆動部２１０は、イネーブル信号ＥＮ１乃至ＥＮ４の供給を停止する。垂直走査回路２２０は、リセット信号ＲＳＴをカウンタ３３５乃至３４３に供給し、計数値を初期化する。そして、垂直同期信号ＶＳＹＮＣに同期したタイミングＴ１２乃至Ｔ１３の露光期間において、垂直走査回路２２０は、リセット信号ＲＳＴの供給を停止する。この期間内にカウンタ３３５乃至３４３は、パルス数を計数し、垂直走査回路２２０は、選択信号により、計数値を出力させる。信号処理回路２５０は、それらの計数値を配列した画像データを生成する。

【0075】

図１２は、本技術の第１の実施の形態における測距システム１００の全体図の一例である。画素ブロック３００内において、画素３１０、画素３２１乃至３２８以外の回路は、計数部３３０内に配置される。

【0076】

発光部１１０は、垂直同期信号ＶＳＹＮＣより周波数の高い発光制御信号ＬＣＬＫに同期して照射光を照射する。また、画素３１０等の画素のそれぞれは、光電変換によりパルス信号を生成する。

【0077】

測距モードにおいて、出力先制御回路３７０は、画素ブロック３００内のパルス信号の論理和をイネーブル信号ＥＮ１乃至ＥＮ４に同期してカウンタ３３１乃至３３４に供給する。カウンタ３３１乃至３３４は、その論理和の信号を計数する。イネーブル信号は、前述したように、発光制御信号ＬＣＬＫとの位相差が所定値（０度や９０度）の信号であるため、カウンタ３３１乃至３３４の計数値は、発光制御信号ＬＣＬＫに同期してパルス数を計数した値となる。なお、カウンタ３３１乃至３３４は、特許請求の範囲に記載の第１カウンタの一例である。

【0078】

一方、撮像モードにおいて、カウンタ３３５乃至３４３は、垂直同期信号ＶＳＹＮＣに同期して、対応する画素のパルス信号の個数を計数する。なお、カウンタ３３５乃至３４３は、特許請求の範囲に記載の第２カウンタの一例である。

【0079】

同図に例示するように、計数部３３０には、垂直同期信号ＶＳＹＮＣに同期して計数を行うカウンタ３３５乃至３４３と、発光制御信号ＬＣＬＫに同期して計数を行うカウンタ３３１乃至３３４とが設けられる。これにより、固体撮像素子２００は、画像データの撮像に加えて、ＴｏＦ方式による測距を行うことができる。また、固体撮像素子２００自身が測距を行うことができるため、赤外線やレーザを用いる測距センサを追加する必要がない。このため、測距センサを別途に追加する場合と比較して、測距システム１００の消費電力やコストを抑制することができる。

【0080】

図１３は、本技術の第１の実施の形態における測距システム１００の動作の一例を示すフローチャートである。この動作は、例えば、測距および撮像を行うためのアプリケーションが実行されたときに開始される。

【0081】

測距システム１００は、測距モードに移行し、発光制御信号ＬＣＬＫに同期して発光部１１０が照射光を照射する（ステップＳ９０１）。また、カウンタ３３１乃至３３４は、発光制御信号ＬＣＬＫに同期してパルス数を計数する（ステップＳ９０２）。そして、信号処理回路２５０は、計数値に基づいて測距し、デプスマップを生成する（ステップＳ９０３）。

【0082】

続いて測距システム１００は、撮像モードに移行し、固体撮像素子２００は、カウンタ３３５乃至３４３に切り替えて、垂直同期信号に同期した露光期間内にパルス数を計数する（ステップＳ９０４）。信号処理回路２５０は、計数値を配列した画像データに基づいて顔認識などの画像処理を行う（ステップＳ９０５）。ステップＳ９０５の後に、測距システム１００は、動作を終了する。

【0083】

なお、固体撮像素子２００は、測距（ステップＳ９０３）の後に撮像（ステップＳ９０４）を行っているが、撮像の後に測距を行ってもよい。また、測距と撮像とを同時に実行することもできる。

【0084】

このように、本技術の第１の実施の形態によれば、計数部３３０が、発光制御信号および垂直同期信号のそれぞれに同期してパルス数を計数するため、画素において垂直同期信号に同期して画像データを撮像しつつ、測距を行うことができる。

【0085】

＜２．第２の実施の形態＞
上述の第１の実施の形態では、測距のためのカウンタ３３１乃至３３４と、撮像のためのカウンタ３３５乃至３４３とを９画素ごとに設けていたが、多画素化に伴って必要なカウンタ数が多くなり、回路規模が増大してしまう。この第２の実施の形態の固体撮像素子２００は、撮像のためのカウンタの一部を測距にも用いることにより、カウンタ数を削減した点において第１の実施の形態と異なる。

【0086】

図１４は、本技術の第２の実施の形態における画素ブロック３００の一構成例を示すブロック図である。この第２の実施の形態の画素ブロック３００は、カウンタ３４０乃至３４３とスイッチ３６０乃至３６３とが設けられない点において第１の実施の形態と異なる。

【0087】

また、第２の実施の形態の出力先制御回路３７０は、カウンタ３３１乃至３３９に、入力信号ＣＩＮ１乃至ＣＩＮ９を供給する。また、スイッチ３５１、３５４および３５７は、垂直信号線３０９－ｎを介して計数値を出力する。スイッチ３５２、３５５および３５８は、垂直信号線３０９－（ｎ＋１）を介して計数値を出力する。スイッチ３５３、３５６および３５９は、垂直信号線３０９－（ｎ＋２）を介して計数値を出力する。

【0088】

図１５は、本技術の第２の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この第２の実施の形態の出力先制御回路３７０は、セレクタ３９１乃至３９４をさらに備える点において第１の実施の形態と異なる。

【0089】

また、第２の実施の形態のＡＮＤゲート３８１は、論理積をセレクタ３９１に供給し、ＡＮＤゲート３８２は、論理積をセレクタ３９２に供給する。ＡＮＤゲート３８３は、論理積をセレクタ３９３に供給し、ＡＮＤゲート３８４は、論理積をセレクタ３９４に供給する。

【0090】

セレクタ３９１は、パルス信号Ｐ１と、ＡＮＤゲート３８１からの信号とのいずれかを、制御信号ＣＴＲＬ１に従って選択し、入力信号ＣＩＮ１としてカウンタ３３１に供給するものである。

【0091】

また、パルス信号Ｐ２は、そのまま入力信号ＣＩＮ２としてカウンタ３３２に入力される。

【0092】

セレクタ３９２は、パルス信号Ｐ３と、ＡＮＤゲート３８２からの信号とのいずれかを、制御信号ＣＴＲＬ２に従って選択し、入力信号ＣＩＮ３としてカウンタ３３３に供給するものである。

【0093】

また、パルス信号Ｐ４は、そのまま入力信号ＣＩＮ４としてカウンタ３３４に入力される。パルス信号Ｐ５およびＰ６は、そのまま入力信号ＣＩＮ５およびＣＩＮ６としてカウンタ３３５および３３６に入力される。

【0094】

セレクタ３９３は、パルス信号Ｐ７と、ＡＮＤゲート３８３からの信号とのいずれかを、制御信号ＣＴＲＬ３に従って選択し、入力信号ＣＩＮ７としてカウンタ３３７に供給するものである。

【0095】

また、パルス信号Ｐ８は、そのまま入力信号ＣＩＮ８としてカウンタ３３８に入力される。

【0096】

セレクタ３９４は、パルス信号Ｐ９と、ＡＮＤゲート３８４からの信号とのいずれかを、制御信号ＣＴＲＬ４に従って選択し、入力信号ＣＩＮ９としてカウンタ３３９に供給するものである。

【0097】

上述の制御信号ＣＴＲＬ１乃至ＣＴＲＬ４は、例えば、画素駆動部２１０から供給される。測距モードにおいて画素駆動部２１０は、制御信号ＣＴＲＬ１乃至ＣＴＲＬ４により、セレクタ３９１乃至３９４を制御して、ＡＮＤゲート３８１乃至３８４からの信号を選択させる。これにより、カウンタ３３１、３３３、３３７および３３９は、位相差が０度、９０度、１８０度および２７０度のイネーブル信号ＥＮ１乃至ＥＮ４に同期してパルス数を計数することができる。そして、信号処理回路２５０は、それらの計数値に基づいて測距を行う。

【0098】

一方、撮像モードにおいて画素駆動部２１０は、制御信号ＣＴＲＬ１乃至ＣＴＲＬ４により、セレクタ３９１乃至３９４を制御して、パルス信号Ｐ１、Ｐ３、Ｐ７およびＰ９を選択させる。これにより、カウンタ３３１、３３３、３３７および３３９は、残りのカウンタととともに、垂直同期信号に同期して、対応する画素のパルス数を計数する。

【0099】

図１６は、本技術の第２の実施の形態における画素チップ２０１および回路チップ２０２のそれぞれに設けられる回路の対応関係の一例を示す図である。同図に例示するように、画素ブロック３００ごとに、９画素分のＳＰＡＤが画素チップ２０１に配列される。また、画素ブロック３００ごとに、９個のカウンタが回路チップ２０２に配列される。

【0100】

測距モードにおいて９個のカウンタのうち左上、右上、左下および右下のカウンタは、位相差が０度、９０度、１８０度および２７０度のイネーブル信号ＥＮ１乃至ＥＮ４に同期してパルス数を計数する。一方、撮像モードにおいて、９個のカウンタのそれぞれは、垂直同期信号に同期して、対応する画素のパルス数を計数する。

【0101】

なお、測距にも用いる４個のカウンタを左上、右上、左下および右下に配置しているが、この配置に限定されない。

【0102】

図１７は、本技術の第２の実施の形態におけるカウンタの動作を説明するための図である。図におけるカウンタ＃１乃至９は、カウンタ３３１乃至３３９を示す。

【0103】

測距モードにおいて、カウンタ＃１、＃３、＃７および＃９は、位相差が０度、９０度、１８０度および２７０度のイネーブル信号ＥＮ１乃至ＥＮ４（言い換えれば、発光制御信号ＬＣＬＫ）に同期して画素ブロック３００内のパルス数を計数する。一方、残りのカウンタは、計数を停止する。

【0104】

撮像モードにおいて、カウンタ＃１乃至９は、垂直同期信号ＶＳＹＮＣに同期して対応する画素のパルス数を計数する。

【0105】

同図に例示するように、カウンタ＃１、＃３、＃７および＃９が、発光制御信号ＬＣＬＫに同期して画素ブロック３００内のパルス数を計数する処理と、垂直同期信号ＶＳＹＮＣに同期してパルス数を計数する処理とを順に行う。残りのカウンタ＃２、＃４、＃５、＃６および＃８は、垂直同期信号ＶＳＹＮＣに同期してパルス数を計数する。言い換えれば、撮像に用いる９個のカウンタのうち４個が測距にも用いられる。このため、撮像のための９個のカウンタと、測距のための４個のカウンタとを別々に設ける第１の実施の形態と比較してカウンタ数を削減することができる。

【0106】

なお、カウンタ＃１、＃３、＃７および＃９は、特許請求の範囲に記載の第１カウンタの一例であり、カウンタ＃２、＃４、＃５、＃６および＃８は、特許請求の範囲に記載の第２カウンタの一例である。

【0107】

このように、本技術の第２の実施の形態では、４個のカウンタが、発光制御信号に同期してパルス数を計数する処理と、垂直同期信号に同期してパルス数を計数する処理とを順に行う。これにより、撮像のためのカウンタと、測距のためのカウンタとを別々に設ける必要がなくなるため、カウンタ数を削減することができる。

【0108】

＜３．第３の実施の形態＞
上述の第２の実施の形態では、４個のカウンタが位相差が０度乃至２７０度のイネーブル信号に同期してパルス数を計数していたが、この構成では、測距可能な距離の範囲が不足することがある。この第３の実施の形態の固体撮像素子２００は、位相差の範囲を広げることにより、測距可能な距離範囲を拡大した点において第２の実施の形態と異なる。

【0109】

図１８は、本技術の第３の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この第３の実施の形態の出力先制御回路３７０は、ＯＲゲート３７５乃至３７９と、ＡＮＤゲート３８５乃至３８９と、セレクタ３９５乃至３９９とをさらに備える点において第２の実施の形態と異なる。

【0110】

ＯＲゲート３７５乃至３７９と、ＡＮＤゲート３８５乃至３８９と、セレクタ３９５乃至３９９との接続構成は、ＯＲゲート３７１、ＡＮＤゲート３８１およびセレクタ３９１と同様である。

【0111】

ＡＮＤゲート３８５乃至３８９には、イネーブル信号ＥＮ５乃至ＥＮ９が入力される。セレクタ３９５乃至３９９には、制御信号ＣＴＲＬ５乃至ＣＲＴＲＬ９が入力される。また、セレクタ３９１乃至３９９は、パルス信号Ｐ１乃至Ｐ９と、ＡＮＤゲート３８１乃至３８９からの信号とのいずれかを選択し、入力信号ＣＩＮ１乃至ＣＩＮ９としてカウンタ３３１乃至３３９に供給する。

【0112】

イネーブル信号ＥＮ１乃至ＥＮ９のそれぞれの位相差は、例えば、０度、３６０度、９０度、４５０度、７２０度、６３０度、２７０度、５４０度および１８０度に設定される。イネーブル信号の位相差を０度から７２０度までにすることにより、０度から２７０度までの場合と比較して、信号処理回路２５０が測距可能な距離範囲を拡大することができる。

【0113】

信号処理回路２５０は、測距モードにおいて、例えば、０乃至７２０度の位相差により大体の距離を求め、次に、０乃至５４０度などの位相差により、正確な距離を求める。このように位相差の範囲を徐々に狭くすることにより、距離の精度を徐々に向上させることができる。

【0114】

図１９は、本技術の第３の実施の形態における画素チップ２０１および回路チップ２０２のそれぞれに設けられる回路の対応関係の一例を示す図である。同図に例示するように、画素ブロック３００ごとに、９画素分のＳＰＡＤが画素チップ２０１に配列される。また、画素ブロック３００ごとに、９個のカウンタが回路チップ２０２に配列される。

【0115】

測距モードにおいて９個のカウンタのうち左上、右上、左下および右下のカウンタは、位相差が０度、９０度、１８０度および２７０度のイネーブル信号に同期してパルス数を計数する。また、中央のカウンタは、位相差が７２０度のイネーブル信号に同期してパルス数を計数する。中央の上下左右のカウンタは、位相差が３６０度、５４０度、４５０度および６３０度のイネーブル信号に同期してパルス数を計数する。

【0116】

図２０は、本技術の第３の実施の形態におけるカウンタの動作を説明するための図である。測距モードにおいて、カウンタ＃１乃至＃９は、位相差が０度、３６０度、９０度、４５０度、７２０度、６３０度、２７０度、５４０度および１８０度のイネーブル信号に同期して画素ブロック３００内のパルス数を計数する。

【0117】

撮像モードにおいて、カウンタ＃１乃至９は、垂直同期信号ＶＳＹＮＣに同期して対応する画素のパルス数を計数する。

【0118】

このように、本技術の第３の実施の形態によれば、９個のカウンタが、位相差の異なる９個のイネーブル信号に同期してパルス数を計数するため、４個のイネーブル信号に同期して計数する場合と比較して、測距可能な距離範囲を拡大することができる。

【0119】

＜４．第４の実施の形態＞
上述の第３の実施の形態では、９個のカウンタがイネーブル信号に同期してパルス数を計数していたが、この構成では、測距に用いるデータ数が増大し、信号処理回路２５０の処理量が増大するおそれがある。この第４の実施の形態の固体撮像素子２００は、測距に用いるカウンタの個数を削減した点において第３の実施の形態と異なる。

【0120】

図２１は、本技術の第４の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この第４の実施の形態の出力先制御回路３７０は、ＯＲゲート３７５、ＡＮＤゲート３８５およびセレクタ３９５が削減された点において第３の実施の形態と異なる。また、パルス信号Ｐ５は、そのまま入力信号ＣＩＮ５としてカウンタ３３５へ供給される。

【0121】

図２２は、本技術の第４の実施の形態における画素チップ２０１および回路チップ２０２のそれぞれに設けられる回路の対応関係の一例を示す図である。この第４の実施の形態の画素ブロック３００は、中央のカウンタが測距モードにおいて計数しない点において第３の実施の形態と異なる。

【0122】

図２３は、本技術の第４の実施の形態におけるカウンタの動作を説明するための図である。測距モードにおいて、カウンタ＃５以外の８個のカウンタが、イネーブル信号に同期してパルス数を計数する。言い換えれば、測距に用いられるカウンタが９個から８個に削減されている。これにより、測距に用いるデータ数が少なくなり、信号処理回路２５０の処理量が削減される。なお、カウンタ＃５以外のカウンタは、特許請求の範囲に記載の第１カウンタの一例であり、カウンタ＃５は、特許請求の範囲に記載の第２カウンタの一例である。

【0123】

このように、本技術の第４の実施の形態によれば、８個のカウンタがイネーブル信号に同期してパルス数を計数するため、９個のカウンタがイネーブル信号に同期して計数する場合と比較して測距に用いるデータ数を削減することができる。

【0124】

＜５．第５の実施の形態＞
上述の第１の実施の形態では、画素ブロックごとに、位相差が０度のイネーブル信号に同期したカウンタを１つのみ配置していたが、この構成では、カウンタからの信号の品質が不足するおそれがある。この第５の実施の形態の固体撮像素子２００は、同一のイネーブル信号に同期したカウンタを２つ以上配置することにより、信号品質を向上させた点において第１の実施の形態と異なる。

【0125】

図２４は、本技術の第５の実施の形態における画素ブロック３００に設けられる回路の一例を示す図である。画素ブロック３００は、複数のエリアに分割される。例えば、画素ブロック３００は、０度エリア４１０、９０度エリア４２０、１８０度エリア４３０および２７０度エリア４４０に分割される。０度エリア４１０には、カウンタ４１１などの９個のカウンタが３行×３列で配列される。９０度エリア４２０には、カウンタ４２１などの９個のカウンタが３行×３列で配列される。１８０度エリア４３０には、カウンタ４３１などの９個のカウンタが３行×３列で配列される。２７０度エリア４４０には、カウンタ４４１などの９個のカウンタが３行×３列で配列される。なお、エリアごとの画素数は、カウンタ数と同数（すなわち、９）である。

【0126】

０度エリア４１０において、左上、右上、左下および右下のカウンタは、位相差が０度のイネーブル信号に同期して０度エリア４１０内のパルス数を計数する。９０度エリア４２０において、左上、右上、左下および右下のカウンタは、位相差が９０度のイネーブル信号に同期して９０度エリア４２０内のパルス数を計数する。１８０度エリア４３０において、左上、右上、左下および右下のカウンタは、位相差が１８０度のイネーブル信号に同期して１８０度エリア４３０内のパルス数を計数する。２７０度エリア４４０において、左上、右上、左下および右下のカウンタは、位相差が２７０度のイネーブル信号に同期して２７０度エリア４４０内のパルス数を計数する。

【0127】

また、０度エリア４１０、９０度エリア４２０、１８０度エリア４３０および２７０度エリア４４０のそれぞれには、出力先制御回路３７０が配置される。同図において、出力先制御回路３７０は省略されている。また、第５の実施の形態の出力先制御回路３７０の構成は、図１５に例示した第２の実施の形態のものと同様である。ただし、４個のカウンタには、同一のイネーブル信号が入力される。

【0128】

同図に例示するように、画素ブロック３００ごとに、位相差が同一のイネーブル信号に同期して計数した計数値が４つ生成される。信号処理回路２５０は、これらの４つの計数値の合計値や平均値を演算し、演算結果を用いて測距を行う。４つの計数値の合計や平均を演算することにより、信号のノイズを低減して信号品質を向上させることができる。

【0129】

なお、各エリアの左上、右上、左下および右下のカウンタは、特許請求の範囲に記載の第１カウンタの一例であり、それ以外のカウンタは、特許請求の範囲に記載の第２カウンタの一例である。また、画素ブロック３００ごとのエリア数は、４つに限定されず、エリアごとの画素数も９画素に限定されない。

【0130】

このように、本技術の第５の実施の形態によれば、位相差が同一のイネーブル信号に同期して計数するカウンタを画素ブロック３００ごとに４つ配置するため、それらの計数値の合計や平均の演算により信号のノイズを低減することができる。

【0131】

＜６．第６の実施の形態＞
上述の第５の実施の形態では、エリアごとに９画素を配置していたが、この構成では、画素ブロック３００内の画素数が３６画素となり、デプスマップの解像度が不足するおそれがある。この第６の実施の形態の固体撮像素子２００は、エリアごとの画素数を削減し、デプスマップの解像度を向上させた点において第５の実施の形態と異なる。

【0132】

図２５は、本技術の第６の実施の形態における画素ブロック３００に設けられる回路の一例を示す図である。第６の実施の形態の画素ブロック３００は、エリアごとの画素数が４画素である点において第５の実施の形態と異なる。４画素は、２行×２列で配列される。また、エリアごとに、イネーブル信号に同期してパルス数を計数するカウンタが左上に配置される。

【0133】

同図に例示したように、エリアごとの画素数を４画素に削減したため、エリアごとの画素数が９画素の第５の実施の形態と比較して、デプスマップの解像度を向上させることができる。

【0134】

図２６は、本技術の第６の実施の形態における０度エリア４１０の一構成例を示すブロック図である。０度エリア４１０には、画素３１０、３２１乃至３２３と、計数部３３０とが配置される。計数部３３０には、出力先制御回路３７０と、カウンタ４１１乃至４１４と、スイッチ３５１乃至３５４とが配置される。

【0135】

画素３１０、３２１乃至３２３は、パルス信号Ｐ１乃至Ｐ４を出力先制御回路３７０に出力する。出力先制御回路３７０は、入力信号ＣＩＮ１乃至ＣＩＮ４をカウンタ４１１乃至４１４に供給する。カウンタ４１１乃至４１４は、計数値ＣＮＴ１乃至ＣＮＴ４をスイッチ３５１乃至３５４に供給する。スイッチ３５１および３５３は、計数値を垂直信号線３０９－ｎに供給し、スイッチ３５２および３５４は、計数値を垂直信号線３０９－（ｎ＋１）に供給する。

【0136】

なお、９０度エリア４２０、１８０度エリア４３０および２７０度エリア４４０の構成は、０度エリア４１０と同様である。

【0137】

図２７は、本技術の第６の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この出力先制御回路３７０には、ＯＲゲート３７１、ＡＮＤゲート３８１、およびセレクタ３９１が配置される。第６の実施の形態のＯＲゲート３７１、ＡＮＤゲート３８１、およびセレクタ３９１の接続構成は、出力先がカウンタ４１１である点以外は、第２の実施の形態の図１５と同様である。

【0138】

また、パルス信号Ｐ２乃至Ｐ４は、そのまま入力信号ＣＩＮ２乃至ＣＩＮ４としてカウンタ４１２乃至４１４に供給される。

【0139】

なお、カウンタ４１１は、特許請求の範囲に記載の第１カウンタの一例であり、カウンタ４１２乃至４１４は、特許請求の範囲に記載の第２カウンタの一例である。

【0140】

このように、本技術の第６の実施の形態によれば、エリアごとの画素数を４画素に削減したため、エリアごとの画素数が９画素の場合よりも、デプスマップの解像度を向上させることができる。

【0141】

＜７．第７の実施の形態＞
上述の第６の実施の形態では、画素ブロックごとに４エリアを配置していたが、この構成では、画素ブロック３００内の画素数が１６画素となり、デプスマップの解像度が不足するおそれがある。この第７の実施の形態の固体撮像素子２００は、エリア数を削減し、デプスマップの解像度を向上させた点において第６の実施の形態と異なる。

【0142】

図２８は、本技術の第７の実施の形態における画素ブロックに設けられる回路の一例を示す図である。第７の実施の形態の画素ブロック３００は、エリア数が２つである点において第６の実施の形態と異なる。例えば、画素ブロック３００内に、０度エリア４１０と１８０度エリア４３０とが設けられる。画素ブロック３００内のエリア数を４つから２つに削減することにより、画素ブロック３００のサイズを小さくすることができる。これにより、デプスマップの解像度を向上させることができる。

【0143】

図２９は、本技術の第７の実施の形態における固体撮像素子２００の測距モードの動作の一例を示すタイミングチャートである。タイミングＴ０において、測距モードが設定されたものとする。プロセッサ１４０は、垂直同期信号ＶＳＹＮＣの供給を停止する。垂直走査回路２２０は、リセット信号ＲＳＴをカウンタ３３１乃至３３４に供給し、計数値を初期化する。

【0144】

また、タイミングＴ１において、ドライバ１２０は、発光制御信号ＬＣＬＫの供給を開始し、その信号に同期して発光部１１０が発光する。また、タイミングＴ１において、画素駆動部２１０は、発光制御信号ＬＣＬＫとの位相差が０度のイネーブル信号ＥＮ１の供給を開始する。そして、タイミングＴ２において、画素駆動部２１０は、位相差が１８０度のイネーブル信号ＥＮ２の供給を開始する。

【0145】

そして、一定期間が経過すると、垂直走査回路２２０は、選択信号により、計数値を出力させる。信号処理回路２５０は、それらの計数値に基づいて、画素ブロック３００ごとに距離を求める。

【0146】

このように、本技術の第７の実施の形態によれば、画素ブロック３００ごとのエリア数を２つに削減したため、エリア数が４つの場合よりも、デプスマップの解像度を向上させることができる。

【0147】

＜８．第８の実施の形態＞
上述の第７の実施の形態では、位相差が０度および１８０度のイネーブル信号に同期してカウンタがパルス数を計数していたが、９０度および２７０度のイネーブル信号を用いないため、測距精度が低下し、測距可能な距離範囲が狭くなってしまう。この第８の実施の形態の固体撮像素子２００は、位相差が０度および１８０度のイネーブル信号に加えて、位相差が９０度および２７０度のイネーブル信号にも同期してパルス数を計数する点において第７の実施の形態と異なる。

【0148】

図３０は、本技術の第８の実施の形態における画素ブロック３００に設けられる回路の一例を示す図である。この第８の実施の形態の画素ブロック３００は、複数のエリアに分割されず、カウンタ４１１乃至４１４が配置される点において第７の実施の形態と異なる。また、画素ブロック３００には、４画素が配置される。同図においてカウンタ以外の回路（出力先制御回路３７０など）は、省略されている。

【0149】

また、測距モードにおいて、カウンタ４１１および４１４は、０度および１８０度のイネーブル信号に同期してパルス数を計数し、カウンタ４１２および４１３は、９０度および２７０度のイネーブル信号に同期してパルス数を計数する。

【0150】

図３１は、本技術の第８の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この第８の実施の形態の出力先制御回路３７０には、ＯＲゲート３７１乃至３７４と、ＡＮＤゲート３８１乃至３８４と、セレクタ３９１乃至３９４とが設けられる。

【0151】

ＯＲゲート３７１乃至３７４と、ＡＮＤゲート３８１乃至３８４と、セレクタ３９１乃至３９４との接続構成は、第２の実施の形態のＯＲゲート３７１、ＡＮＤゲート３８１およびセレクタ３９１と同様である。

【0152】

ＡＮＤゲート３８１乃至３８４には、イネーブル信号ＥＮ１乃至ＥＮ４が入力される。セレクタ３９１乃至３９４には、制御信号ＣＴＲＬ１乃至ＣＴＲＬ４が入力される。また、セレクタ３９１乃至３９４は、パルス信号Ｐ１乃至Ｐ４と、ＡＮＤゲート３８１乃至３８４からの信号とのいずれかを選択し、入力信号ＣＩＮ１乃至ＣＩＮ４としてカウンタ４１１乃至４１４に供給する。

【0153】

図３２は、本技術の第８の実施の形態における固体撮像素子２００の測距モードの動作の一例を示すタイミングチャートである。タイミングＴ０において、測距モードが設定されたものとする。プロセッサ１４０は、垂直同期信号ＶＳＹＮＣの供給を停止する。垂直走査回路２２０は、リセット信号ＲＳＴをカウンタ３３１乃至３３４に供給し、計数値を初期化する。

【0154】

また、タイミングＴ１において、ドライバ１２０は、発光制御信号ＬＣＬＫの供給を開始し、その信号に同期して発光部１１０が発光する。また、タイミングＴ１において、画素駆動部２１０は、発光制御信号ＬＣＬＫとの位相差が０度のイネーブル信号ＥＮ１およいＥＮ４の供給を開始する。そして、タイミングＴ２において、画素駆動部２１０は、位相差が９０度のイネーブル信号ＥＮ２およびＥＮ３の供給を開始する。

【0155】

そして、一定期間が経過すると、垂直走査回路２２０は、選択信号により、計数値を出力させる。信号処理回路２５０は、それらの計数値を保持しておく。

【0156】

次にタイミングＴ３において、垂直走査回路２２０は、リセット信号ＲＳＴをカウンタ３３１乃至３３４に供給し、計数値を初期化する。タイミングＴ４において画素駆動部２１０は、発光制御信号ＬＣＬＫとの位相差が１８０度のイネーブル信号ＥＮ１およびＥＮ４の供給を開始する。そして、タイミングＴ５において、画素駆動部２１０は、位相差が２７０度のイネーブル信号ＥＮ２およびＥＮ３の供給を開始する。

【0157】

そして、一定期間が経過すると、垂直走査回路２２０は、選択信号により、計数値を出力させる。信号処理回路２５０は、保持した計数値と、出力された計数値とに基づいて、画素ブロック３００ごとに距離を求める。

【0158】

同図に例示するように、画素駆動部２１０は、複数の設定値（９０度および２７０度など）のそれぞれが順に位相差に設定されるイネーブル信号を供給する。このように位相差を切り替えることにより、カウンタは、位相差が０度および１８０度のイネーブル信号に加えて、位相差が９０度および２７０度のイネーブル信号にも同期してパルス数を計数することができる。位相差の個数が多くなるため、測距精度を向上させ、測距可能な距離範囲を拡大することができる。

【0159】

なお、測距モードにおいて、４つのカウンタの全てが計数を行っているが、測距モードにおいて２つのカウンタ（カウンタ４１１および４１２など）のみが計数を行うこともできる。測距モード時に動作するカウンタ数を削減することにより、消費電力を削減することができる。

【0160】

このように、本技術の第８の実施の形態によれば、画素駆動部２１０が、複数の設定値のそれぞれを順に位相差に設定するため、位相差の個数を多くすることができる。これにより、測距精度を向上させ、測距可能な距離範囲を拡大することができる。

【0161】

＜９．第９の実施の形態＞
上述の第８の実施の形態では、画素駆動部２１０が、位相差を切り替えていたが、この構成では、位相差を固定する場合と比較して測距の間隔が長くなり、デプスマップのフレームレートが低下してしまう。この第９の実施の形態の固体撮像素子２００は、位相差を固定してデプスマップのフレームレートを向上させた点において第８の実施の形態と異なる。

【0162】

図３３は、本技術の第９の実施の形態における画素ブロック３００に設けられる回路の一例を示す図である。この第９の実施の形態の画素ブロック３００には、第８の実施の形態と同様に、カウンタ４１１乃至４１４が配置される

【0163】

ただし、測距モードにおいてイネーブル信号ＥＮ１乃至ＥＮ４の位相差は、固定される。例えば、カウンタ４１１は、０度のイネーブル信号ＥＮ１に同期してパルス数を計数し、カウンタ４１２は、９０度のイネーブル信号ＥＮ２に同期してパルス数を計数する。カウンタ４１３は、１８０度のイネーブル信号ＥＮ３に同期してパルス数を計数し、カウンタ４１４は、２７０度のイネーブル信号ＥＮ４に同期してパルス数を計数する。位相差を固定したため、第８の実施の形態と比較して、デプスマップのフレームレートが向上する。

【0164】

このように、本技術の第９の実施の形態によれば、画素駆動部２１０が、イネーブル信号の位相差を固定するため、位相差を切り替える場合と比較してデプスマップのフレームレートを向上させることができる。

【0165】

＜１０．第１０の実施の形態＞
上述の第９の実施の形態では、カウンタは、測距モードにおいて４画素の単位でパルス数を計数していたが、計数対象の画素数が増大するほど、計数値の最大値が大きくなり、計数値のデータサイズが大きくなってしまう。この第１０の実施の形態の固体撮像素子２００は、計数対象の画素数を４画素と２画素とに切り替え、データサイズを可変にする点において第９の実施の形態と異なる。

【0166】

図３４は、本技術の第１０の実施の形態における画素ブロックに設けられる回路の一例を示す図である。第１０の実施の形態の画素ブロック３００内には、例えば、０度エリア４１０と１８０度エリア４３０とが設けられる。また、エリアごとに、４画素と出力先制御回路３７０とが設けられる。測距モードにおいてエリア内の４つのカウンタのうち１つはイネーブル信号に同期してパルス数を計数する。撮像モードにおいて、４つのカウンタのそれぞれは、垂直同期信号に同期してパルス数を計数する。

【0167】

図３５は、本技術の第１０の実施の形態における出力先制御回路３７０の一構成例を示す回路図である。この第１０の実施の形態の出力先制御回路３７０には、ＯＲゲート３７１、３７２および３８０と、ＡＮＤゲート３８１および３８２と、セレクタ３９１とが設けられる。

【0168】

ＯＲゲート３７１は、パルス信号Ｐ１およびＰ２の論理和をＡＮＤゲート３８１に供給する。ＯＲゲート３７２は、パルス信号Ｐ３およびＰ４の論理和をＡＮＤゲート３８２に供給する。

【0169】

ＡＮＤゲート３８１は、ＯＲゲート３７１からの信号とイネーブル信号ＥＮ１ａとの論理積をＯＲゲート３８０に供給する。ＡＮＤゲート３８２は、ＯＲゲート３７２からの信号とイネーブル信号ＥＮ１ｂとの論理積をＯＲゲート３８０に供給する。

【0170】

ＯＲゲート３８０は、ＡＮＤゲート３８１および３８２のそれぞれからの信号の論理和をセレクタ３９１に出力する。

【0171】

セレクタ３９１は、パルス信号Ｐ１と、ＯＲゲート３８０からの信号とのいずれかを、制御信号ＣＴＲＬに従って選択し、入力信号ＣＩＮ１としてカウンタ４１１に供給する。

【0172】

また、パルス信号Ｐ２乃至Ｐ４は、そのまま入力信号ＣＩＮ２乃至ＣＩＮ４として、カウンタ４１２乃至４１４に供給される。

【0173】

なお、カウンタ４１１は、特許請求の範囲に記載の第１カウンタの一例であり、カウンタ４１２乃至４１４は、特許請求の範囲に記載の第２カウンタの一例である。

【0174】

図３６は、本技術の第１０の実施の形態における画素駆動部２１０の動作を説明するための図である。同図の制御は、０度エリア４１０に対応するものである。第１０の実施の形態において、測距モードには、４画素加算モードと２画素加算モードとのいずれかが設定される。４画素加算モードは、パルス信号の計数対象の画素数を４画素とするモードであり、２画素加算モードは、パルス信号の計数対象の画素数を２画素とするモードである。

【0175】

４画素加算モードにおいて、画素駆動部２１０は、位相差が０度の信号をイネーブル信号ＥＮ１ａおよびＥＮ１ｂとして供給する。２画素加算モードにおいて、画素駆動部２１０は、位相差が０度の信号をイネーブル信号ＥＮ１ａおよびＥＮ１ｂの一方として供給する。イネーブル信号ＥＮ１ａおよびＥＮ１ｂの他方は供給されない。また、撮像モードにおいて、イネーブル信号は供給されない。なお、１８０度エリア４３０の制御は、位相差が１８０度に設定される点以外は、同図に例示した０度エリア４１０と同様である。

【0176】

また、画素駆動部２１０は、測距モードにおいて、制御信号ＣＴＲＬを「０」にしてセレクタ３９１にＯＲゲート３８０からの信号を選択させる。一方、撮像モードにおいて画素駆動部２１０は、制御信号ＣＴＲＬを「１」にしてセレクタ３９１にパルス信号Ｐ１を選択させる。

【0177】

図３５および図３６に例示した構成により、出力先制御回路３７０は、画素ブロック３００内の４画素のうち設定された個数（４画素または２画素）の画素のそれぞれのパルス信号の論理和を出力し、カウンタ４１１は、その論理和を計数する。これにより、計数対象の画素数を４画素と２画素とに切り替え、計数値のデータサイズを変更することができる。

【0178】

なお、画素駆動部２１０は、計数対象の画素数を４画素と２画素とに切り替えているが、この構成に限定されず、例えば、１画素や３画素などに切り替えることもできる。

【0179】

このように、本技術の第１０の実施の形態によれば、画素ブロック３００内の４画素のうち設定された個数の画素のパルス信号の論理和をカウンタ４１１が計数するため、計数値のデータサイズを変更することができる。

【0180】

＜１１．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

【0181】

図３７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

【0182】

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。

【0183】

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

【0184】

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0185】

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

【0186】

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

【0187】

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

【0188】

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。

【0189】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0190】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

【0191】

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

【0192】

図３８は、撮像部１２０３１の設置位置の例を示す図である。

【0193】

図３８では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

【0194】

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

【0195】

なお、図３８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

【0196】

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

【0197】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0198】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

【0199】

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

【0200】

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図３の固体撮像素子２００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、センサを追加せずに測距することができるため、車両制御システムの消費電力やコストを低減することができる。

【0201】

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

【0202】

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

【0203】

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

【0204】

なお、本技術は以下のような構成もとることができる。
（１）所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、
それぞれが光電変換によりパルス信号を生成する所定数の画素と、
前記発光制御信号および前記垂直同期信号のそれぞれに同期して前記パルス信号の個数を計数する計数部と
を具備するセンシングシステム。
（２）前記計数部は、
前記発光制御信号に同期して前記パルス信号を計数する第１カウンタと、
前記垂直同期信号に同期して前記パルス信号を計数する第２カウンタと
を備える前記（１）記載のセンシングシステム。
（３）前記計数部は、
前記発光制御信号に同期して前記パルス信号を計数する処理と前記垂直同期信号に同期して前記パルス信号を計数する処理とを順に行う第１カウンタと、
前記垂直同期信号に同期して前記パルス信号を計数する第２カウンタと
を備える前記（１）記載のセンシングシステム。
（４）前記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、
前記計数部は、前記画素ブロックごとに設けられ、
前記第１カウンタは、前記画素ブロック内の前記画素のそれぞれからの前記パルス信号の論理和を計数する
前記（３）記載のセンシングシステム。
（５）前記画素ブロックごとに４個の前記第１カウンタと５個の前記第２カウンタとが配置される前記（４）記載のセンシングシステム。
（６）前記画素ブロックごとに８個の前記第１カウンタと１個の前記第２カウンタとが配置される前記（４）記載のセンシングシステム。
（７）前記所定数の画素を配列した画素アレイ部は、複数の画素ブロックに分割され、
前記複数の画素ブロックのそれぞれは、複数のエリアに分割され、
前記計数部は、前記複数のエリアのそれぞれに対応付けて設けられ、
前記第１カウンタは、対応するエリア内の前記画素のそれぞれからの前記パルス信号の論理和を計数する
前記（３）記載のセンシングシステム。
（８）前記複数のエリアのそれぞれには、９個の前記画素が配置される
前記（７）記載のセンシングシステム。
（９）前記複数のエリアのそれぞれには、４個の前記画素が配置される
前記（７）記載のセンシングシステム。
（１０）前記画素ブロック内には、４つのエリアが配置される
前記（７）から（９）のいずれかに記載のセンシングシステム。
（１１）前記画素ブロック内には、２つのエリアが配置される
前記（７）から（９）のいずれかに記載のセンシングシステム。
（１２）前記第１カウンタは、前記画素ブロック内の前記画素のうち設定された個数の画素のそれぞれの前記パルス信号の論理和を計数する
前記（７）から（９）のいずれかに記載のセンシングシステム。
（１３）前記計数部は、前記発光制御信号に同期して前記パルス信号を計数する処理と前記垂直同期信号に同期して前記パルス信号を計数する処理とを順に行う所定数のカウンタを備える
前記（１）記載のセンシングシステム。
（１４）前記計数部は、９個の前記カウンタを備える
前記（１３）記載のセンシングシステム。
（１５）前記計数部は、４個の前記カウンタを備える
前記（１３）記載のセンシングシステム。
（１６）前記発光制御信号との位相差として複数の設定値のそれぞれが順に設定されるイネーブル信号を供給する画素駆動部をさらに具備し、
前記カウンタは、前記イネーブル信号に同期して前記パルス信号を供給する
前記（１３）から（１５）のいずれかに記載のセンシングシステム。
（１７）所定の垂直同期信号より周波数の高い発光制御信号に同期して照射光を照射する発光部と、
それぞれが光電変換によりパルス信号を生成する所定数の画素と、
前記発光制御信号および前記垂直同期信号のそれぞれに同期して前記パルス信号の個数を計数する計数部と、
前記計数部の計数値に基づいて物体までの距離を測定する測距部と
を具備する測距システム。
（１８）発光制御信号に基づいて照射光を照射する発光部と、
それぞれが光電変換によりパルス信号を生成する複数の画素と、
前記複数の画素のパルス信号の個数を計数する計数部と、
を具備し、
前記計数部は複数のカウンタと、前記複数の画素と複数のカウンタの間に接続され、前記複数の画素から出力された複数のパルス信号を受け、任意の複数のカウンタに前記複数のパルス信号を振り分ける出力先制御回路とを備え、
前記複数の画素は、第一のチップに設けられ、
前記出力制御回路および前記計数部は、第二のチップに設けられる
センシングシステム。

【符号の説明】

【0205】

１００ 測距システム
１０５ マイクロレンズ
１１０ 発光部
１２０ ドライバ
１３０ コントローラ
１４０ プロセッサ
１５０ アプリケーションプロセッサ
２００ 固体撮像素子
２０１ 画素チップ
２０２ 回路チップ
２１０ 画素駆動部
２２０ 垂直走査回路
２３０ 画素アレイ部
２４０ カラムバッファ
２５０ 信号処理回路
２６０ 出力部
３００ 画素ブロック
３１０、３２１～３２８ 画素
３１１ ＳＰＡＤ
３１２ 抵抗
３１３ インバータ
３３０ 計数部
３３１～３４３、４１１～４１４、４２１、４３１、４４１ カウンタ
３５１～３６３ スイッチ
３７０ 出力先制御回路
３７１～３８０ ＯＲ（論理和）ゲート
３８１～３８９ ＡＮＤ（論理積）ゲート
３９１～３９９ セレクタ
４１０ ０度エリア
４２０ ９０度エリア
４３０ １８０度エリア
４４０ ２７０度エリア
１２０３１ 撮像部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】