特許 7535515 固体撮像素子、撮像装置および固体撮像素子の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-07

(45)【発行日】2024-08-16

(54)【発明の名称】固体撮像素子、撮像装置および固体撮像素子の制御方法

(51)【国際特許分類】

   H04N 25/78 20230101AFI20240808BHJP

   H04N 25/772 20230101ALI20240808BHJP

   H03M 1/12 20060101ALI20240808BHJP

   H03M 1/56 20060101ALI20240808BHJP

【ＦＩ】

H04N25/78

H04N25/772

H03M1/12 B

H03M1/56

【請求項の数】 8

(21)【出願番号】P 2021532713

(86)(22)【出願日】2020-06-01

(86)【国際出願番号】 JP2020021515

(87)【国際公開番号】W WO2021010036

(87)【国際公開日】2021-01-21

【審査請求日】2023-04-13

(31)【優先権主張番号】P 2019132743

(32)【優先日】2019-07-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100112955

【弁理士】

【氏名又は名称】丸島 敏一

(72)【発明者】

【氏名】宮田 慎也

【審査官】松永 隆志

(56)【参考文献】

【文献】国際公開第２０１６／１３６４４８（ＷＯ，Ａ１）

【文献】特表２００３－５１６７００（ＪＰ，Ａ）

【文献】国際公開第２０１９／０４９９２３（ＷＯ，Ａ１）

【文献】特開２０１２－１６５１６８（ＪＰ，Ａ）

【文献】特開２００７－２８１５５５（ＪＰ，Ａ）

【文献】特開２０１６－１８４８４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／７８

Ｈ０４Ｎ ２５／７７２

Ｈ０３Ｍ １／１２

Ｈ０３Ｍ １／５６

(57)【特許請求の範囲】

【請求項1】

所定期間内の時刻を示すデジタル信号を時刻コードとして発生する時刻コード発生部と、
所定数の画素が配列されたクラスタに接続されて前記時刻コードを転送するリピータと、
前記所定数の画素のそれぞれの出力のタイミングを示す出力タイミング信号と前記画素ごとに前記時刻コードの出力が有効であるか否かを示す出力イネーブル信号とを供給する垂直駆動回路と、
露光量に応じたアナログ信号と前記所定期間に亘って変動する参照信号とを比較して比較結果を出力するコンパレータと、
前記時刻コードを前記リピータから取得して保持するラッチ回路と、
前記比較結果が反転したときに前記ラッチ回路を制御して前記時刻コードを保持させる制御と前記出力タイミング信号の示す前記タイミングで前記ラッチ回路を制御して前記時刻コードを前記リピータへ出力させる制御とを行うラッチ制御回路と、
前記出力イネーブル信号により前記時刻コードの出力が有効に設定された場合には前記出力タイミング信号を前記ラッチ制御回路へ供給するイネーブル制御部と
を具備する固体撮像素子。

【請求項2】

前記所定数の画素のそれぞれには、前記コンパレータと前記ラッチ回路と前記ラッチ制御回路と前記イネーブル制御部とが配置される
請求項１記載の固体撮像素子。

【請求項3】

前記リピータにより転送された時刻コードに対して所定の信号処理を行う信号処理部をさらに具備する請求項１記載の固体撮像素子。

【請求項4】

前記信号処理部は、第１および第２の信号処理部を含み、
前記第１の信号処理部は、前記複数のクラスタの一部から出力された前記時刻コードに対して前記信号処理を行い、
前記第２の信号処理部は、前記複数のクラスタの残りから出力された前記時刻コードに対して前記信号処理を行う
請求項３記載の固体撮像素子。

【請求項5】

前記信号処理部は、
前記出力された時刻コードに対して所定の信号処理を行って画像データを生成する信号処理回路と、
前記画像データのうち前記時刻コードを出力すべき領域を関心領域として設定する関心領域設定部と
を備える請求項３記載の固体撮像素子。

【請求項6】

前記信号処理部は、
前記画像データ内の被写体のそれぞれについて前記被写体の動く方向を示す動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルに基づいて次に生成される画像データ内の前記関心領域の位置を予測する関心領域予測部と
をさらに備える請求項５記載の固体撮像素子。

【請求項7】

所定期間内の時刻を示すデジタル信号を時刻コードとして発生する時刻コード発生部と、
所定数の画素が配列されたクラスタに接続されて前記時刻コードを転送するリピータと、
前記所定数の画素のそれぞれの出力のタイミングを示す出力タイミング信号と前記画素ごとに前記時刻コードの出力が有効であるか否かを示す出力イネーブル信号とを供給する垂直駆動回路と、
露光量に応じたアナログ信号と前記所定期間に亘って変動する参照信号とを比較して比較結果を出力するコンパレータと、
前記時刻コードを前記リピータから取得して保持するラッチ回路と、
前記比較結果が反転したときに前記ラッチ回路を制御して前記時刻コードを保持させる制御と前記出力タイミング信号の示す前記タイミングで前記ラッチ回路を制御して前記時刻コードを前記リピータへ出力させる制御とを行うラッチ制御回路と、
前記出力イネーブル信号により前記時刻コードの出力が有効に設定された場合には前記出力タイミング信号を前記ラッチ制御回路へ供給するイネーブル制御部と、
前記時刻コードを配列した画像データを記憶する記憶部と
を具備する撮像装置。

【請求項8】

所定期間内の時刻を示すデジタル信号を時刻コードとして発生する時刻コード発生手順と、
リピータが、所定数の画素が配列されたクラスタに接続されて所定期間内の時刻を示す前記時刻コードを転送する転送手順と、
前記所定数の画素のそれぞれの出力のタイミングを示す出力タイミング信号と前記画素ごとに前記時刻コードの出力が有効であるか否かを示す出力イネーブル信号とを供給する垂直駆動手順と、
露光量に応じたアナログ信号と前記所定期間に亘って変動する参照信号とを比較して比較結果を出力する比較手順と、
ラッチ回路が、前記時刻コードを前記リピータから取得して保持するラッチ手順と、
ラッチ制御回路が、前記比較結果が反転したときに前記ラッチ回路を制御して前記時刻コードを保持させる制御と前記出力タイミング信号の示す前記タイミングで前記ラッチ回路を制御して前記時刻コードを前記リピータへ出力させる制御とを行うラッチ制御手順と、
前記出力イネーブル信号により前記時刻コードの出力が有効に設定された場合には前記出力タイミング信号を前記ラッチ制御回路へ供給するイネーブル制御手順と
を具備する固体撮像素子の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、固体撮像素子に関する。詳しくは、全画素を同時に露光する固体撮像素子、撮像装置および固体撮像素子の制御方法に関する。

【背景技術】

【0002】

従来より、ローリングシャッター歪みが生じないという利点を考慮して、動きの速い被写体を撮像する場合などにおいて、全画素を同時に露光するグローバルシャッター方式が固体撮像素子において用いられている。例えば、画素毎に画素回路およびＡＤＣ（Analog to Digital Converter）を配置し、駆動回路が全画素を同時に露光してデジタル信号を出力させる固体撮像素子が提案されている（例えば、特許文献１参照。）。この固体撮像素子において画像データの一部のみに信号処理を施す場合には、リピータが行単位でデジタル信号を処理対象の画素から信号処理部へ転送し、信号処理部が列単位で処理対象のデジタル信号を抽出して信号処理を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１６／１３６４４８号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の従来技術では、画素毎にＡＤＣを配置したため、列ごとにＡＤＣを配置する場合と比較して、ＡＤ（Analog to Digital）変換の速度を速くすることができる。しかしながら、上述の固体撮像素子では、リピータが行単位で処理対象のデジタル信号を信号処理部へ転送するため、行内の画素数（すなわち、列数）が多くなるほど、信号処理部へ転送されるデータ量が増大する。これにより、列数が多くなるほど、信号処理部の処理量が増大し、処理速度が低下するという問題がある。

【0005】

本技術はこのような状況に鑑みて生み出されたものであり、画像データの一部に信号処理を行う固体撮像素子において、処理速度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定数の画素が配列されたクラスタに接続されて所定期間内の時刻を示すデジタル信号を転送するリピータと、上記所定数の画素のそれぞれの出力のタイミングを示す出力タイミング信号と上記画素ごとに上記デジタル信号の出力が有効であるか否かを示す出力イネーブル信号とを供給する垂直駆動回路と、露光量に応じたアナログ信号と上記所定期間に亘って変動する参照信号とを比較して比較結果を出力するコンパレータと、上記デジタル信号を上記リピータから取得して保持するラッチ回路と、上記比較結果が反転したときに上記ラッチ回路を制御して上記デジタル信号を保持させる制御と上記出力タイミング信号の示す上記タイミングで上記ラッチ回路を制御して上記デジタル信号を上記リピータへ出力させる制御とを行うラッチ制御回路と、上記出力イネーブル信号により上記デジタル信号の出力が有効に設定された場合には上記出力タイミング信号を上記ラッチ制御回路へ供給するイネーブル制御部とを具備する固体撮像素子、および、その制御方法である。これにより、画素単位でデジタル信号の出力が有効に設定されるという作用をもたらす。

【0007】

また、この第１の側面において、上記リピータと上記所定数の画素とは、複数のクラスタのそれぞれに配置され、上記所定数の画素のそれぞれには、上記コンパレータと上記ラッチ回路と上記ラッチ制御回路と上記イネーブル制御部とが配置されてもよい。これにより、クラスタ内の画素が順に駆動されるという作用をもたらす。

【0008】

また、この第１の側面において、上記リピータにより転送されたデジタル信号に対して所定の信号処理を行う信号処理部をさらに具備してもよい。これにより、画素単位で出力されたデジタル信号に対して信号処理が行われるという作用をもたらす。

【0009】

また、この第１の側面において、上記信号処理部は、第１および第２の信号処理部を含み、上記第１の信号処理部は、上記複数のクラスタの一部から出力された上記デジタル信号に対して上記信号処理を行い、上記第２の信号処理部は、上記複数のクラスタの残りから出力された上記デジタル信号に対して上記信号処理を行ってもよい。これにより、第１および第２の信号処理部より、並列にデジタル信号が処理されるという作用をもたらす。

【0010】

また、この第１の側面において、上記信号処理部は、上記出力されたデジタル信号に対して所定の信号処理を行って画像データを生成する信号処理回路と、上記画像データのうち上記デジタル信号を出力すべき領域を関心領域として設定する関心領域設定部とを備えてもよい。これにより、関心領域に対して信号処理が行われるという作用をもたらす。

【0011】

また、この第１の側面において、上記信号処理部は、上記画像データ内の被写体のそれぞれについて上記被写体の動く方向を示す動きベクトルを検出する動きベクトル検出部と、上記動きベクトルに基づいて次に生成される画像データ内の上記関心領域の位置を予測する関心領域予測部とをさらに備えてもよい。これにより、動きに追従して関心領域の位置が予測されるという作用をもたらす。

【0012】

また、本技術の第２の側面は、所定数の画素が配列されたクラスタに接続されて所定期間内の時刻を示すデジタル信号を転送するリピータと、上記所定数の画素のそれぞれの出力のタイミングを示す出力タイミング信号と上記画素ごとに上記デジタル信号の出力が有効であるか否かを示す出力イネーブル信号とを供給する垂直駆動回路と、露光量に応じたアナログ信号と上記所定期間に亘って変動する参照信号とを比較して比較結果を出力するコンパレータと、上記デジタル信号を上記リピータから取得して保持するラッチ回路と、上記比較結果が反転したときに上記ラッチ回路を制御して上記デジタル信号を保持させる制御と上記出力タイミング信号の示す上記タイミングで上記ラッチ回路を制御して上記デジタル信号を上記リピータへ出力させる制御とを行うラッチ制御回路と、上記出力イネーブル信号により上記デジタル信号の出力が有効に設定された場合には上記出力タイミング信号を上記ラッチ制御回路へ供給するイネーブル制御部と、上記デジタル信号を配列した画像データを記憶する記憶部とを具備する撮像装置である。これにより、画素単位で出力されたデジタル信号が記憶されるという作用をもたらす。

【図面の簡単な説明】

【0013】

【図1】本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。

【図2】本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。

【図3】本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。

【図4】本技術の第１の実施の形態における画素アレイ部の一構成例を示す平面図である。

【図5】本技術の第１の実施の形態における画素の一構成例を示すブロック図である。

【図6】本技術の第１の実施の形態における画素回路、差動入力回路、正帰還回路および反転回路の一構成例を示す回路図である。

【図7】本技術の第１の実施の形態におけるラッチ部の一構成例を示すブロック図である。

【図8】本技術の第１の実施の形態におけるラッチ制御回路およびラッチ回路の一構成例を示す回路図である。

【図9】本技術の第１の実施の形態におけるラッチ回路の動作をまとめた図である。

【図10】本技術の第１の実施の形態におけるリピータ部およびクラスタの一構成例を示す図である。

【図11】本技術の第１の実施の形態におけるリピータの一構成例を示す回路図である。

【図12】本技術の第１の実施の形態における信号処理部の一構成例を示すブロック図である。

【図13】本技術の第１の実施の形態におけるＰ相を変換する動作の一例を示すタイミングチャートである。

【図14】本技術の第１の実施の形態におけるＤ相を変換する動作の一例を示すタイミングチャートである。

【図15】本技術の第１の実施の形態における００１列目の０番目のクラスタがデジタル信号を出力する動作の一例を示すタイミングチャートである。

【図16】本技術の第１の実施の形態における００１列目の１番目のクラスタがデジタル信号を出力する動作の一例を示すタイミングチャートである。

【図17】本技術の第１の実施の形態におけるアナログデジタル変換を説明するための図である。

【図18】本技術の第１の実施の形態における出力イネーブル信号をイネーブルに設定した画素の動作を説明するための図である。

【図19】本技術の第１の実施の形態における出力イネーブル信号をディセーブルに設定した画素の動作を説明するための図である。

【図20】本技術の第１の実施の形態におけるＲＯＩ（Region Of Interest）の設定前後の画像データの一例を示す図である。

【図21】本技術の第１の実施の形態におけるＲＯＩの一例を示す図である。

【図22】比較例におけるＲＯＩが設定された画像データと信号処理部へ転送された画像データとを示す図である。

【図23】比較例におけるＲＯＩの一例を示す図である。

【図24】本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。

【図25】本技術の第２の実施の形態における固体撮像素子の一構成例を示すブロック図である。

【図26】本技術の第２の実施の形態における画素アレイ部の一構成例を示す平面図である。

【図27】車両制御システムの概略的な構成の一例を示すブロック図である。

【図28】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

【発明を実施するための形態】

【0014】

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画素単位でデジタル信号の出力を有効に設定する例）
２．第２の実施の形態（画素単位でデジタル信号の出力を有効に設定し、複数の信号処理部を設けた例）
３．移動体への応用例

【0015】

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するための装置であり、光学部１１０、固体撮像素子２００およびＤＳＰ（Digital Signal Processing）回路１２０を備える。さらに撮像装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。撮像装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。

【0016】

光学部１１０は、被写体からの光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、垂直同期信号ＶＳＹＮＣに同期して、光電変換により画像データを生成するものである。ここで、垂直同期信号ＶＳＹＮＣは、撮像のタイミングを示す所定周波数の周期信号である。固体撮像素子２００は、生成した画像データをＤＳＰ回路１２０に信号線２０９を介して供給する。

【0017】

ＤＳＰ回路１２０は、固体撮像素子２００からの画像データに対して所定の信号処理を実行するものである。このＤＳＰ回路１２０は、処理後の画像データをバス１５０を介してフレームメモリ１６０などに出力する。

【0018】

表示部１３０は、画像データを表示するものである。表示部１３０としては、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルが想定される。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。

【0019】

バス１５０は、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記憶部１７０および電源部１８０が互いにデータをやりとりするための共通の経路である。

【0020】

フレームメモリ１６０は、画像データを保持するものである。記憶部１７０は、画像データなどの様々なデータを記憶するものである。電源部１８０は、固体撮像素子２００、ＤＳＰ回路１２０や表示部１３０などに電源を供給するものである。

【0021】

［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、回路チップ２０２と、その回路チップ２０２に積層された受光チップ２０１とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接続することもできる。

【0022】

図３は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、ＤＡＣ（Digital to Analog Converter）２１１、時刻コード発生部２１２、垂直駆動回路２１３、画素アレイ部２１４、画素駆動回路２１５、タイミング生成回路２１６および信号処理部２５０を備える。

【0023】

ＤＡＣ２１１は、所定のＡＤ変換期間内に亘って変動するアナログの参照信号をＤＡ（Digital to Analog）変換により生成するものである。例えば、のこぎり刃状のランプ信号が参照信号として用いられる。ＤＡＣ２１１は、参照信号を画素アレイ部２１４に供給する。

【0024】

時刻コード発生部２１２は、ＡＤ変換期間内の時刻を示すデジタル信号を時刻コードとして発生するものである。時刻コード発生部２１２は、例えば、カウンタにより実現される。カウンタとして、例えば、グレイコードカウンタが用いられる。時刻コード発生部２１２は、時刻コードを画素アレイ部２１４へ供給する。

【0025】

画素アレイ部２１４には、複数の画素が二次元格子状に配列される。画素のそれぞれは、露光量に応じたアナログ信号を生成し、そのアナログ信号をデジタル信号に変換する。そして、画素は、デジタル信号を画素データとして信号処理部２５０に供給する。

【0026】

垂直駆動回路２１３は、画素を駆動して、ＡＤ変換を実行させるものである。画素駆動回路２１５は、画素を駆動してアナログ信号を生成させるものである。

【0027】

タイミング生成回路２１６は、垂直同期信号ＶＳＹＮＣに同期して、垂直駆動回路２１３、画素駆動回路２１５および信号処理部２５０の動作タイミングを制御するものである。

【0028】

信号処理部２５０は、画素アレイ部２１４からの画素データに対して所定の信号処理を行うものである。信号処理として、例えば、ＣＤＳ（Correlated Double Sampling）処理や、画像認識処理が実行される。信号処理部２５０は、処理後のデータをＤＳＰ回路１２０に供給する。また、信号処理部２５０は、ユーザの操作に従ってＲＯＩを設定し、その設定情報を垂直駆動回路２１３に供給する。

【0029】

［画素アレイ部の構成例］
図４は、本技術の第１の実施の形態における画素アレイ部２１４の一構成例を示す平面図である。この画素アレイ部２１４には、複数の画素３００と、複数のリピータ部２２０とが配置される。

【0030】

また、画素アレイ部２１４は、各々が所定数（１２８など）の画素からなる複数のクラスタ２１７により分割される。また、リピータ部２２０は、クラスタ２１７の列ごとに設けられる。時刻コード発生部２１２も、クラスタ２１７の列ごとに設けられる。

【0031】

リピータ部２２０は、時刻コードを転送するものである。このリピータ部２２０は、対応する時刻コード発生部２１２から、対応するクラスタ２１７内の画素３００へ時刻コードを転送する。また、リピータ部２２０は、対応するクラスタ２１７内の画素３００から信号処理部２５０へ画素データを転送する。

【0032】

［画素の構成例］
図５は、本技術の第１の実施の形態における画素３００の一構成例を示すブロック図である。この画素３００は、画素回路３１０と、ＡＤＣ３０５とを備える。

【0033】

画素回路３１０は、画素駆動回路２１５の制御に従って、露光量に応じたアナログ信号を画素信号ＳＩＧとして生成するものである。この画素回路３１０は、生成した画素信号ＳＩＧをＡＤＣ３０５に供給する。

【0034】

ＡＤＣ３０５は、アナログの画素信号ＳＩＧに対してＡＤ変換を行うものである。このＡＤＣ３０５は、コンパレータ３２０およびラッチ部４００を備える。

【0035】

コンパレータ３２０は、画素回路３１０からの画素信号ＳＩＧと、ＤＡＣ２１１からの参照信号ＲＥＦとを比較するものである。コンパレータ３２０は、比較結果ＶＣＯをラッチ部４００に供給する。また、コンパレータ３２０は、差動入力回路３３０、正帰還回路３４０および反転回路３５０を備える。

【0036】

差動入力回路３３０は、画素信号ＳＩＧと参照信号ＲＥＦとの差分を増幅するものである。正帰還回路３４０は、出力の一部を入力に加算するものである。反転回路３５０は、正帰還回路３４０の出力を反転するものである。

【0037】

ラッチ部４００は、比較結果ＶＣＯが反転したときの時刻コードをリピータ部２２０から取得して保持するものである。また、ラッチ部４００は、垂直駆動回路２１３の制御に従って、保持した時刻コードを画素データとしてリピータ部２２０に出力する。

【0038】

［画素回路およびコンパレータの構成例］
図６は、本技術の第１の実施の形態における画素回路３１０、差動入力回路３３０、正帰還回路３４０および反転回路３５０の一構成例を示す回路図である。

【0039】

画素回路３１０は、リセットトランジスタ３１１、浮遊拡散層３１２、ＦＤＧトランジスタ３１３、浮遊拡散層３１４、転送トランジスタ３１５、光電変換素子３１６および電荷排出トランジスタ３１７を備える。リセットトランジスタ３１１、ＦＤＧトランジスタ３１３、転送トランジスタ３１５および電荷排出トランジスタ３１７として、例えば、ｎＭＯＳ（n-channel Metal Oxide Semiconductor）トランジスタが用いられる。

【0040】

差動入力回路３３０は、ｐＭＯＳ（p-channel MOS）トランジスタ３３１および３３４と、差動トランジスタ３３２および３３５と、電流源トランジスタ３３３とを備える。

【0041】

また、正帰還回路３４０は、ｎＭＯＳトランジスタ３４１、３４２、３４３および３４５と、ｐＭＯＳトランジスタ３４４とを備える。反転回路３５０は、ｐＭＯＳトランジスタ３５１および３５２と、ｎＭＯＳトランジスタ３５３および３５４とを備える。

【0042】

画素回路３１０内のリセットトランジスタ３１１は、画素駆動回路２１５からのリセット信号ＲＳＴに従って、浮遊拡散層３１２や３１４を初期化するものである。

【0043】

浮遊拡散層３１２および３１４は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。

【0044】

ＦＤＧトランジスタ３１３は、画素駆動回路２１５からの制御信号ＦＤＧに従って、浮遊拡散層３１２と浮遊拡散層３１４との間の経路を開閉し、電荷電圧変換効率を制御するものである。

【0045】

転送トランジスタ３１５は、画素駆動回路２１５からの転送信号ＴＸに従って光電変換素子３１６から浮遊拡散層３１４へ電荷を転送するものである。光電変換素子３１６は、光電変換により、電荷を生成するものである。光電変換素子３１６として、例えば、フォトダイオードが用いられる。

【0046】

電荷排出トランジスタ３１７は、画素駆動回路２１５からの制御信号ＯＦＧに従って光電変換素子３１６から電荷を排出して、その電荷量を初期化するものである。

【0047】

差動入力回路３３０内のｐＭＯＳトランジスタ３３１および３３４は、電源電圧ＶＤＤＨに並列に接続される。ｐＭＯＳトランジスタ３３１のゲートは、自身のドレインとｐＭＯＳトランジスタ３３４のゲートとに接続される。また、ｐＭＯＳトランジスタ３３４のドレインは、正帰還回路３４０内のｎＭＯＳトランジスタ３４１のゲートに接続される。

【0048】

差動トランジスタ３３２は、ｐＭＯＳトランジスタ３３１と電流源トランジスタ３３３との間に挿入される。また、差動トランジスタ３３２のゲートには、参照信号ＲＥＦが入力される。差動トランジスタ３３５は、ｐＭＯＳトランジスタ３３４と電流源トランジスタ３３３との間に挿入される。また、差動トランジスタ３３５のゲートには、画素信号ＳＩＧが入力される。電流源トランジスタ３３３は、差動トランジスタ３３２および３３５と接地端子との間に挿入される。電流源トランジスタ３３３のゲートには、一定のバイアス電圧Ｖｂが印加される。

【0049】

また、画素回路３１０と、差動トランジスタ３３２および３３５と、電流源トランジスタ３３３とは、受光チップ２０１に配置される。ＤＡＣ２１１および画素駆動回路２１５も同様に受光チップ２０１に配置される。一方、ｐＭＯＳトランジスタ３３１および３３４と正帰還回路３４０と反転回路３５０とは、回路チップ２０２に配置される。時刻コード発生部２１２、垂直駆動回路２１３、ラッチ部４００、リピータ部２２０および信号処理部２５０も回路チップ２０２に配置される。

【0050】

なお、受光チップ２０１および回路チップ２０２のそれぞれに配置する回路は、同図に例示したものに限定されない。

【0051】

正帰還回路３４０内のｎＭＯＳトランジスタ３４１、３４２および３４５は、電源端子と接地端子との間に直列に接続される。また、ｎＭＯＳトランジスタ３４２のゲートは、電源電圧ＶＤＤＨより低い電源電圧ＶＤＤＬに接続される。

【0052】

ｎＭＯＳトランジスタ３４３およびｐＭＯＳトランジスタ３４４は、ｎＭＯＳトランジスタ３４２のゲートと、ｎＭＯＳトランジスタ３４２および３４５の接続ノードとの間において、直列に接続される。また、この接続ノードの電位は、反転信号ｘＶＣＯとして反転回路３５０に供給される。

【0053】

また、ｎＭＯＳトランジスタ３４５のゲートには、垂直駆動回路２１３からの駆動信号ＩＮＩ１が入力される。ｎＭＯＳトランジスタ３４３のゲートには、垂直駆動回路２１３からの駆動信号ＩＮＩ２が入力される。

【0054】

反転回路３５０内のｐＭＯＳトランジスタ３５１および３５２は、電源電圧ＶＤＤＬに直列に接続される。ｎＭＯＳトランジスタ３５３および３５４は、ｐＭＯＳトランジスタ３５２と接地端子との間において並列に接続される。

【0055】

また、ｐＭＯＳトランジスタ３５２およびｎＭＯＳトランジスタ３５４のそれぞれのゲートには、垂直駆動回路２１３からの駆動信号ＴＥＳＴＶＣＯが入力される。ｐＭＯＳトランジスタ３４４のゲートは、ｐＭＯＳトランジスタ３５２およびｎＭＯＳトランジスタ３５４の接続ノードに接続され、この接続ノードの電位は、比較結果ＶＣＯとしてラッチ部４００に供給される。

【0056】

なお、画素回路３１０、差動入力回路３３０、正帰還回路３４０および反転回路３５０のそれぞれは、図５を参照して説明した機能を実現することができるものであれば、図６に例示した回路構成に限定されない。

【0057】

［ラッチ部の構成例］
図７は、本技術の第１の実施の形態におけるラッチ部４００の一構成例を示すブロック図である。このラッチ部４００は、ＮＡＮＤ（否定論理積）ゲート４１０およびラッチ制御回路４２０と、複数のラッチ回路４３０とを備える。

【0058】

ＮＡＮＤゲート４１０は、出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞と、出力タイミング信号ｘＷＯＲＤ＜ｍ＞との否定論理積をラッチ制御回路４２０に出力するものである。出力タイミング信号ｘＷＯＲＤ＜ｍ＞は、クラスタ２１７内の画素のうちｍ（ｍは、整数）番目の画素の出力タイミングを示す出力タイミング信号ＷＯＲＤ＜ｍ＞を反転した信号である。クラスタ２１７内の画素数が「１２８」である場合、「０」乃至「１２７」がｍに設定される。出力タイミング信号ｘＷＯＲＤ＜０＞乃至ｘＷＯＲＤ＜１２７＞は、全クラスタに供給される。

【0059】

また、出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞は、対応する画素の画素データの出力が有効であるか否かを示す信号である。垂直駆動回路２１３は、イネーブルを設定する場合に、「１」の値の出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞を出力し、ディセーブルを設定する場合に「０」の値の出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞を出力する。

【0060】

ｉは、クラスタ２１７の列を示す３桁の整数である。クラスタ２１７の列数を例えば、「５１２」とすると、「０００」乃至「５１１」の値がｉに設定される。また、ｊは、対応する列内の画素を示す整数である。例えば、クラスタ２１７の列内に、３５８４画素が含まれる場合、「０」乃至「３５８３」の値がｊに設定される。例えば、第０００列目の０画素目には、出力イネーブル信号ＥＮ＿ＯＵＴ＿０００＜０＞が入力される。

【0061】

クラスタ２１７の列数を「５１２」とし、列内の画素数を「３５８４」とすると、全画素数は、５１２×３５８４である。これらの画素のそれぞれについて、個別に出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞が設定される。初期状態においては、全画素の出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞は、イネーブルに設定される。

【0062】

ラッチ制御回路４２０は、ラッチ回路４３０を制御して、コンパレータ３２０からの比較結果ＶＣＯが反転したときの時刻コードを保持させるものである。また、ラッチ制御回路４２０は、ＮＡＮＤゲート４１０からの信号に従ってラッチ回路４３０を制御し、保持した時刻コードを画素データとして出力させる。

【0063】

ラッチ回路４３０は、ラッチ制御回路４２０に従って、リピータ２３０からの時刻コードを保持し、その時刻コードを画素データとしてリピータ２３０へ出力するものである。ラッチ回路４３０は、時刻コードのビット数の分、設けられる。

【0064】

図８は、本技術の第１の実施の形態におけるラッチ制御回路４２０およびラッチ回路４３０の一構成例を示す回路図である。

【0065】

ラッチ制御回路４２０は、ＮＯＲ（否定論理和）ゲート４２１と、インバータ４２２および４２３とを備える。ラッチ回路４３０は、スイッチ４３１とインバータ４３２および４３３とを備える。

【0066】

ＮＯＲゲート４２１は、ＮＡＮＤゲート４１０からの信号と、コンパレータ３２０からの比較結果ＶＣＯとの否定論理和を出力するものである。この否定論理和は、制御信号ｘＴとしてインバータ４２２およびスイッチ４３１に供給される。インバータ４２２は、制御信号ｘＴを反転し、制御信号Ｔとしてスイッチ４３１に供給するものである。インバータ４２３は、比較結果ＶＣＯを反転し、制御信号Ｌとしてインバータ４３２に供給するものである。また、比較結果ＶＣＯは、制御信号ｘＬとしてインバータ４３２に供給される。

【0067】

ラッチ回路４３０のそれぞれにおいて、インバータ４３２は、制御信号ＬおよびｘＬに従って、インバータ４３３の出力の反転値をスイッチ４３１とインバータ４３３の入力端子とに出力するものである。制御信号Ｌがハイレベルであり、制御信号ｘＬがローレベルである場合にインバータ４３２は、反転値を出力し、そうでない場合は出力しない。インバータ４３３は、インバータ４３２の出力の反転値をインバータ４３２の入力端子に出力するものである。

【0068】

スイッチ４３１は、制御信号ＴおよびｘＴに従って、リピータ部２２０とインバータ４３２の出力端子との間の経路を開閉するものである。制御信号Ｔがハイレベルであり、制御信号ｘＴがローレベルである場合にインバータ４３２は、閉状態に移行し、そうでない場合に開状態に移行する。

【0069】

図７および図８に例示した構成により、ラッチ制御回路４２０は、比較結果ＶＣＯが反転したときにラッチ回路４３０を制御してデジタルの時刻コードを保持させる。これにより、アナログの画素信号ＳＩＧがデジタルの時刻コードにＡＤ変換される。また、対応する出力タイミング信号ＷＯＲＤ＜ｍ＞および出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞が「１」である場合にラッチ制御回路４２０は、ラッチ回路４３０を制御して、保持した時刻コードを画素データとして出力させる。なお、ラッチ部４００の回路構成は、図７および図８を参照して説明した機能を実現することができるものであれば、図７および図８に例示した構成に限定されない。

【0070】

図９は、本技術の第１の実施の形態におけるラッチ回路４３０の動作をまとめた図である。出力タイミング信号ＷＯＲＤ＜ｍ＞が「１」であり、かつ、出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞が「１」（イネーブル）である場合に、対応するラッチ回路４３０は、保持した時刻コードを画素データとして出力する。一方、出力タイミング信号ＷＯＲＤ＜ｍ＞が「０」である場合、または、出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞が「０」（ディセーブル）である場合に、画素データは出力されない。

【0071】

［リピータ部の構成例］
図１０は、本技術の第１の実施の形態におけるリピータ部２２０およびクラスタ２１７の一構成例を示す図である。リピータ部２２０内には、垂直方向に複数のリピータ２３０が配列される。クラスタ２１７とリピータ２３０とは１対１に接続される。例えば、垂直方向に沿って列ごとに２８個のクラスタ２１７が配列される場合、２８個のリピータ２３０が配列される。

【0072】

リピータ２３０は、時刻データを転送するものである。リピータ２３０として、例えば、シフトレジスタが用いられる。リピータ２３０のそれぞれは、対応するクラスタ２１７内のラッチ部４００の全てとローカルビット線を介して接続される。

【0073】

リピータ２３０は、時刻コードを対応するラッチ部４００へ転送する。また、リピータ２３０は、対応するラッチ部４００からの画素データを信号処理部２５０へ転送する。

【0074】

図１１は、本技術の第１の実施の形態におけるリピータ２３０の一構成例を示す回路図である。このリピータ２３０は、複数の転送回路２４０と、インバータ２３１乃至２３４とを備える。転送回路２４０は、時刻コードのビット数の分、設けられる。転送回路２４０のそれぞれは、インバータ２４１および２４２と、フリップフロップ２４３とを備える。

【0075】

インバータ２３１は、所定周波数のマスタクロック信号ＭＣＫを反転してインバータ２３２とインバータ２３４とに供給するものである。インバータ２３２は、インバータ２３１からの信号を反転して後段のリピータ２３０へ供給するものである。

【0076】

インバータ２３４は、インバータ２３１からの信号を反転してインバータ２３３に供給するものである。インバータ２３３は、インバータ２３４からの信号を反転してフリップフロップ２４３のそれぞれに供給するものである。

【0077】

フリップフロップ２４３は、インバータ２３３からの信号に同期して、時刻コードのうち対応するビットを保持するものである。このフリップフロップ２４３の入力端子には、時刻コード発生部２１２からの時刻コードのうち対応するビットがマスタービット線ＭＢＬを介して入力される。また、フリップフロップ２４３は、保持したビットをインバータ２４１と後段のリピータ２３０とに供給する。

【0078】

インバータ２４１は、制御信号ＷＥＮに従って、フリップフロップ２４３からのビットを反転し、ローカルビット線ＬＢＬを介して対応するラッチ部４００のそれぞれに供給するものである。

【0079】

インバータ２４２は、制御信号ＲＥＮに従って、対応するラッチ部４００からのビットを反転し、後段のリピータ２３０へ供給するものである。

【0080】

［信号処理部の構成例］
図１２は、本技術の第１の実施の形態における信号処理部２５０の一構成例を示すブロック図である。この信号処理部２５０は、ＣＤＳ処理部２５１、フレームメモリ２５２、動きベクトル検出部２５３、ＲＯＩ設定部２５４、次フレームＲＯＩ予測部２５５および後段処理部２５６を備える。

【0081】

ＣＤＳ処理部２５１は、画素アレイ部２１４からの画素データのそれぞれに対し、ＣＤＳ処理を行うものである。このＣＤＳ処理部２５１は、処理後の画素データをフレームメモリ２５２、動きベクトル検出部２５３および後段処理部２５６に供給する。処理後の画素データを配列した画像データ（フレーム）は、現在フレームとして、動きベクトル検出部２５３に供給される。なお、ＣＤＳ処理部２５１は、特許請求の範囲に記載の信号処理回路の一例である。

【0082】

フレームメモリ２５２は、ＣＤＳ処理部２５１からの画素データを配列した画像データ（フレーム）を過去フレームとして保持するものである。

【0083】

動きベクトル検出部２５３は、フレームメモリ２５２に保持された過去フレームと、現在フレームとに基づいて、フレーム内の被写体のそれぞれについて、その動く方向および距離を示すベクトルを動きベクトルとして検出するものである。例えば、動きベクトル検出部２５３は、現在フレームを複数のブロックに分割し、ブロックごとに、最もマッチするブロックを過去フレームから探し出すブロックマッチングを行う。そして、動きベクトル検出部２５３は、過去フレーム内のブロックから、現在フレーム内の対応するブロックへのベクトルを動きベクトルとして検出する。動きベクトル検出部２５３は、検出した動きベクトルを次フレームＲＯＩ予測部２５５に供給する。

【0084】

ＲＯＩ設定部２５４は、操作部１４０からの操作信号に従って、画像データ内の一部の領域を、所定の信号処理（画像認識処理など）を施す対象である関心領域（ＲＯＩ）として設定するものである。ここで、ＲＯＩの形状は限定されず、ＲＯＩ設定部２５４は、矩形の他、円形や楕円形のＲＯＩを設定することができる。ＲＯＩ設定部２５４は、ＲＯＩの外周を特定するための設定情報を次フレームＲＯＩ予測部２５５に供給する。ＲＯＩが矩形の場合、設定情報は、例えば、その矩形の一対の対角のそれぞれの座標を示す。また、ＲＯＩが円形の場合、設定情報は、例えば、その円の中心座標および半径を示す。なお、ＲＯＩ設定部２５４は、特許請求の範囲に記載の関心領域設定部の一例である。

【0085】

次フレームＲＯＩ予測部２５５は、現在フレームの次のフレーム内のＲＯＩの位置を予測するものである。この次フレームＲＯＩ予測部２５５は、現在フレームにおけるＲＯＩの設定情報と、動きベクトル検出部２５３からの動きベクトルとに基づいて、次フレームのＲＯＩの位置を予測する。例えば、次フレームＲＯＩ予測部２５５は、現在フレームのＲＯＩの設定情報を保持しておき、そのＲＯＩを動きベクトルの分だけ移動させ、移動後の位置を次フレームにおけるＲＯＩの位置として求める。次フレームＲＯＩ予測部２５５は、予測したＲＯＩの設定情報を垂直駆動回路２１３に供給する。最初の予測においては、ＲＯＩ設定部２５４により設定されたＲＯＩが現在フレーム内のＲＯＩとして用いられる。２回目以降の予測においては、前回予測したＲＯＩにより、現在フレーム内のＲＯＩが更新される。

【0086】

垂直駆動回路２１３は、設定されたＲＯＩ内の画素のそれぞれについて、出力イネーブル信号ＥＮ＿ＯＵＴをイネーブルに設定し、それ以外の画素について出力イネーブル信号ＥＮ＿ＯＵＴをディセーブルに設定する。

【0087】

後段処理部２５６は、ＣＤＳ処理後のフレームに対し、デモザイク処理や画像認識処理などの各種の信号処理を行うものである。例えば、ＲＯＩが設定されると、後段処理部２５６は、そのＲＯＩに対して画像認識処理などを実行する。後段処理部２５６は、処理後のデータをＤＳＰ回路１２０に供給する。

【0088】

なお、信号処理部２５０の処理の一部または全てを、信号処理部２５０の代わりに、固体撮像素子２００の外部の回路（ＤＳＰ回路１２０など）が行う構成とすることもできる。

【0089】

また、信号処理部２５０は、動きベクトルの検出と次のフレームのＲＯＩの予測とを行っているが、動きの無い範囲にＲＯＩが設定される場合には、動きベクトル検出部２５３や次フレームＲＯＩ予測部２５５を設けない構成とすることもできる。

【0090】

［固体撮像素子の動作例］
図１３は、本技術の第１の実施の形態におけるＰ相を変換する動作の一例を示すタイミングチャートである。ここで、Ｐ相は、画素回路３１０を初期化したときの画素信号ＳＩＧのレベルを示す。

【0091】

タイミングｔ０において１Ｖ期間が開始する。ここで、１Ｖ期間は、全画素のＡＤ変換が完了するまでの期間である。１Ｖ期間の長さは、例えば、垂直同期信号ＶＳＹＮＣの周期に設定される。

【0092】

タイミングｔ０の後のタイミングｔ１において、画素駆動回路２１５は、全画素にリセット信号ＲＳＴを供給し、浮遊拡散層を初期化する。これにより、全画素においてＰ相が生成される。タイミングｔ１の後のタイミングｔ２において、垂直駆動回路２１３は、駆動信号ＴＥＳＴＶＣＯをハイレベルからローレベルにする。また、コンパレータ３２０は、ハイレベルの比較結果ＶＣＯの出力を開始する。

【0093】

タイミングｔ２の後のタイミングｔ３において、垂直駆動回路２１３は、駆動信号ＩＮＩ２、ＩＮＩ１を順に供給し、正帰還回路３４０を初期化する。タイミングｔ３の後のタイミングｔ４からタイミングｔ７の期間に亘って、垂直駆動回路２１３は、制御信号ＷＥＮを供給し、ＤＡＣ２１１は、参照信号ＲＥＦをスロープ状に変化させる。この期間内のｔ５において、Ｐ相が参照信号ＲＥＦのレベルを越えると、コンパレータ３２０は、比較結果ＶＣＯを反転させる。リピータ部２２０は、制御信号ＷＥＮに従って時刻データを画素へ転送し、ラッチ部４００は、比較結果ＶＣＯの反転時の時刻データを保持する。これにより、全画素についてＰ相がＡＤ変換される。

【0094】

また、タイミングｔ７の後のタイミングｔ８において、垂直駆動回路２１３は、クラスタ２１７内の０番目の画素へ、一定期間に亘って出力タイミング信号ＷＯＲＤを供給する。出力タイミング信号ＷＯＲＤの送信期間内のタイミングｔ９において、垂直駆動回路２１３は、制御信号ＲＥＮを供給する。リピータ部２２０は、制御信号ＲＥＮに従って、各クラスタの０番目の画素データ（時刻データ）を信号処理部２５０へ転送する。

【0095】

以下、クラスタ２１７内の１番目から１２７番目の画素へ順に出力タイミング信号ＷＯＲＤが送信され、その送信期間内に制御信号ＲＥＮが供給される。これにより、全画素から信号処理部２５０へ、Ｐ相を変換した画素データが転送される。

【0096】

図１４は、本技術の第１の実施の形態におけるＤ相を変換する動作の一例を示すタイミングチャートである。ここで、Ｄ相は、露光量に応じた画素信号ＳＩＧのレベルを示す。

【0097】

Ｐ相変換後のタイミングｔ２１において、コンパレータ３２０は、ハイレベルの比較結果ＶＣＯの出力を開始し、その直後に画素駆動回路２１５は、転送信号ＴＸを供給する。転送信号ＴＸの供給により、全画素の露光が終了し、全画素でＤ相が生成される。また、転送信号ＴＸの供給の直後に垂直駆動回路２１３は、駆動信号ＩＮＩ２および駆動信号ＩＮＩ１を順に供給する。

【0098】

タイミングｔ２１の後のタイミングｔ２２からタイミングｔ２４の期間に亘って、垂直駆動回路２１３は、制御信号ＷＥＮを供給し、ＤＡＣ２１１は、参照信号ＲＥＦをスロープ状に変化させる。この期間内のｔ２３において、Ｄ相が参照信号ＲＥＦのレベルを越えると、コンパレータ３２０は、比較結果ＶＣＯを反転させる。ラッチ部４００は、比較結果ＶＣＯの反転時の時刻データを保持する。これにより、全画素についてＤ相がＡＤ変換される。

【0099】

タイミングｔ２４の後のタイミングｔ２５において、垂直駆動回路２１３は、クラスタ２１７内の０番目の画素へ、一定期間に亘って出力タイミング信号ＷＯＲＤを供給する。出力タイミング信号ＷＯＲＤの送信期間内のタイミングｔ２６において、垂直駆動回路２１３は、制御信号ＲＥＮを供給する。リピータ部２２０は、制御信号ＲＥＮに従って、各クラスタの０番目の画素データ（時刻データ）を信号処理部２５０へ転送する。

【0100】

以下、クラスタ２１７内の１番目から１２７番目の画素へ順に出力タイミング信号ＷＯＲＤが送信され、その送信期間内に制御信号ＲＥＮが供給される。これにより、全画素から信号処理部２５０へ、Ｄ相を変換した画素データが転送される。

【0101】

後段の信号処理部２５０は、全画素について、Ｐ相とＤ相との差分を求めるＣＤＳ処理を行う。

【0102】

図１５は、本技術の第１の実施の形態における００１列目の０番目のクラスタ２１７がデジタル信号を出力する動作の一例を示すタイミングチャートである。

【0103】

タイミングｔ３０において、制御信号ＷＥＮの供給が終了し、全画素でＰ相のＡＤ変換が完了したものとする。タイミングｔ３０の後のタイミングｔ３１からタイミングｔ３５の期間に亘って、垂直駆動回路２１３は、各クラスタの０番目の画素へ、ハイレベルの出力タイミング信号ＷＯＲＤ＜０＞を供給する。この期間において、出力タイミング信号ＷＯＲＤ＜１＞乃至ＷＯＲＤ＜１２７＞は、ローレベルに設定される。

【0104】

タイミングｔ３０を起点として一定の遅延時間が経過したタイミングｔ３２から、タイミングｔ３３までのパルス期間に亘って、垂直駆動回路２１３は、ハイレベルの出力イネーブル信号ＥＮ＿ＯＵＴ＿００１＜０＞を供給する。また、垂直駆動回路２１３は、そのパルス期間に亘ってハイレベルの制御信号ＲＥＮを供給する。出力タイミング信号ＷＯＲＤ＜０＞および出力イネーブル信号ＥＮ＿ＯＵＴ＿００１＜０＞がハイレベルであるため、００１列目の０番目の画素からＰ相の画素データが出力される。

【0105】

タイミングｔ３３からクリアランスの期間が経過したタイミングｔ３４において、マスタクロック信号ＭＣＫの供給が開始される。このマスタクロック信号ＭＣＫに同期してリピータ部２２０は、Ｐ相の画素データを転送する。

【0106】

タイミングｔ３５から一定期間に亘って、垂直駆動回路２１３は、各クラスタの１番目の画素へ、ハイレベルの出力タイミング信号ＷＯＲＤ＜１＞を供給する。この期間において、ｍが「１」に該当しない出力タイミング信号ＷＯＲＤ＜ｍ＞は、ローレベルに設定される。

【0107】

タイミングｔ３５の後のタイミングｔ３６においてマスタクロック信号ＭＣＫの供給が停止する。このタイミングｔ３６からクリアランスの期間が経過したタイミングｔ３７において、垂直駆動回路２１３は、パルス期間に亘ってハイレベルの制御信号ＲＥＮを供給する。この期間に亘って、出力イネーブル信号ＥＮ＿ＯＵＴ＿００１＜１＞はローレベルに設定される。出力イネーブル信号ＥＮ＿ＯＵＴ＿００１＜１＞がローレベル（ディセーブル）であるため、００１列目の１番目の画素からは、Ｐ相の画素データが出力されない。

【0108】

以降は、２番目乃至１２７番目の画素について、順に出力タイミング信号ＷＯＲＤ、出力イネーブル信号ＥＮ＿ＯＵＴおよび制御信号ＲＥＮが供給される。そして、タイミングｔ３８において全画素についてＰ相の転送が完了する。

【0109】

Ｐ相の転送の後に、０番目乃至１２７番目の画素について、順にＤ相が転送される。同図において、Ｄ相の転送は省略されている。

【0110】

同図に例示したように、出力イネーブル信号ＥＮ＿ＯＵＴがイネーブルの画素（０番目の画素など）からは画素データが出力される。一方、出力イネーブル信号ＥＮ＿ＯＵＴがディセーブルの画素（１番目の画素など）からは画素データが出力されない。

【0111】

図１６は、本技術の第１の実施の形態における００１列目の１番目のクラスタ２１７がデジタル信号を出力する動作の一例を示すタイミングチャートである。

【0112】

１番目のクラスタ２１７内の０番目から１２７番目の画素へ、出力イネーブル信号ＥＮ＿ＯＵＴ＿００１＜１２８＞乃至ＥＮ＿ＯＵＴ＿００１＜２５５＞が供給される。

【0113】

タイミングｔ３２において、垂直駆動回路２１３は、パルス期間に亘って制御信号ＲＥＮを供給する一方で出力イネーブル信号ＥＮ＿ＯＵＴ＿００１＜１２８＞をローレベルに設定する。これにより、００１列目の１２８番目（言い換えれば、１番目のクラスタ内の０番目）の画素からは、Ｐ相の画素データが出力されない。

【0114】

また、タイミングｔ３７において、垂直駆動回路２１３は、パルス期間に亘ってハイレベルの出力イネーブル信号ＥＮ＿ＯＵＴ＿００１＜１２９＞および制御信号ＲＥＮを供給する。００１列目の１２９番目の画素（言い換えれば、１番目のクラスタ内の１番目）からは、Ｐ相の画素データが出力される。

【0115】

以降は、２番目乃至１２７番目の画素について、順に出力タイミング信号ＷＯＲＤ、出力イネーブル信号ＥＮ＿ＯＵＴおよび制御信号ＲＥＮが供給され、タイミングｔ３８において全画素についてＰ相の転送が完了する。

【0116】

同図に例示したように、出力イネーブル信号ＥＮ＿ＯＵＴがイネーブルの画素（１番目の画素など）からは画素データが出力される。一方、出力イネーブル信号ＥＮ＿ＯＵＴがディセーブルの画素（０番目の画素など）からは画素データが出力されない。

【0117】

また、００１列内の２番目のクラスタ２１７へは、出力イネーブル信号ＥＮ＿ＯＵＴ＿００１＜２５６＞乃至ＥＮ＿ＯＵＴ＿００１＜３８３＞が供給される。以下、３番目以降のクラスタ２１７へも同様に、１２８ビットの出力イネーブル信号が供給される。ｋ（ｋは整数）番目のクラスタ２１７へは、出力イネーブル信号ＥＮ＿ＯＵＴ＿００１＜（ｋ×１２８＞乃至ＥＮ＿ＯＵＴ＿００１＜（ｋ×１２８＋１２７＞が供給される。例えば、２７番目のクラスタ２１７へは、出力イネーブル信号ＥＮ＿ＯＵＴ＿００１＜３４５６＞乃至ＥＮ＿ＯＵＴ＿００１＜３５８３＞が供給される。００１列以外の列についても同様である。

【0118】

図１５および図１６に例示したように、全クラスタについて、出力タイミング信号ＷＯＲＤ＜０＞乃至ＷＯＲＤ＜１２７＞が順に供給される。そして、対応する出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞がイネーブルである場合に、対応する画素から画素データが出力され、ディセーブルである場合に画素データは、出力されない。このように、固体撮像素子２００は、画素単位で、デジタルの画素データの出力を有効とするか否かを設定することができる。なお、全画素について出力イネーブル信号ＥＮ＿ＯＵＴ＿ｉ＜ｊ＞がイネーブルに設定されている場合は、出力タイミング信号ＷＯＲＤ＜ｍ＞により、全クラスタにおいてｍ番目の画素の画素データが出力される。全画素数をＮ（Ｎは、整数）とすると、クラスタの個数はＮ／１２８となるため、出力タイミング信号ＷＯＲＤ＜ｍ＞によりＮ／１２８個の画素データが同時に出力される。

【0119】

図１７は、本技術の第１の実施の形態におけるアナログデジタル変換を説明するための図である。複数のクラスタ２１７のそれぞれに、所定数（１２８など）の画素と、リピータ２３０とが配置される。

【0120】

リピータ２３０は、所定数（１２８など）の画素が配列されたクラスタ２１７に接続される。このリピータ２３０は、時刻コードを転送する。

【0121】

画素のそれぞれには、画素回路３１０およびＡＤＣ３０５が配置される。ＡＤＣ３０５内には、ＮＡＮＤゲート４１０、コンパレータ３２０、ラッチ制御回路４２０およびラッチ回路４３０が配置される。

【0122】

なお、同図において、説明の便宜上、ＮＡＮＤゲート４１０をスイッチの図記号で表している。また、ＮＡＮＤゲート４１０には出力タイミング信号ＷＯＲＤ信号を反転したｘＷＯＲＤが入力されるが、説明の便宜上、反転前の信号が入力されるものとして表記している。

【0123】

画素駆動回路２１５は、全画素の画素回路３１０を駆動して露光量に応じたアナログの画素信号ＳＩＧを生成させる。

【0124】

コンパレータ３２０は、画素信号ＳＩＧと所定のＡＤ変換期間に亘って変動する参照信号ＲＥＦとを比較して比較結果ＶＣＯを出力する。ラッチ制御回路４２０は、比較結果が反転したときにラッチ回路４３０のそれぞれを制御して、そのＡＤ変換期間内の時刻を示すデジタルの時刻コードを保持（言い換えれば、ラッチ）させる制御を行う。ラッチ回路４３０は、ラッチ制御回路４２０の制御に従って、時刻コードをリピータ２３０から取得してラッチする。これらの制御により、全画素において、アナログの画素信号ＳＩＧは、デジタルの時刻コードに変換される。

【0125】

図１８は、本技術の第１の実施の形態における出力イネーブル信号ＥＮ＿ＯＵＴをイネーブルに設定した画素の動作を説明するための図である。

【0126】

垂直駆動回路２１３は、出力イネーブル信号ＥＮ＿ＯＵＴをＮＡＮＤゲート４１０に供給する。また、垂直駆動回路２１３は、出力タイミング信号ＷＯＲＤ＜０＞乃至ＷＯＲＤ＜１２７＞により１２８画素を順に駆動して画素データを出力させる。

【0127】

ここで、出力イネーブル信号ＥＮ＿ＯＵＴにより、ＲＯＩ内のある画素データの出力が有効に設定されたものとする。この場合に、ＮＡＮＤゲート４１０は、対応する出力タイミング信号ＷＯＲＤ＜０＞をラッチ制御回路４２０に供給する。ラッチ制御回路４２０は、出力タイミング信号ＷＯＲＤ＜０＞の示すタイミングで、ラッチ回路４３０を制御してデジタルの時刻コードを画素データとしてリピータ２３０へ出力させる。リピータ２３０は、画素データを信号処理部２５０へ転送する。信号処理部２５０は、転送された画素データに対して、画像認識処理などの信号処理を行う。

【0128】

なお、ＮＡＮＤゲート４１０は、特許請求の範囲に記載のイネーブル制御部の一例である。

【0129】

図１９は、本技術の第１の実施の形態における出力イネーブル信号ＥＮ＿ＯＵＴをディセーブルに設定した画素の動作を説明するための図である。

【0130】

ここで、出力イネーブル信号ＥＮ＿ＯＵＴにより、ＲＯＩの外部のある画素データの出力が無効に設定されたものとする。この場合に、ＮＡＮＤゲート４１０は、対応する出力タイミング信号ＷＯＲＤ＜１＞をラッチ制御回路４２０に供給しない。出力タイミング信号ＷＯＲＤ＜１＞が供給されないため、ラッチ制御回路４２０は、ラッチ回路４３０に画素データを出力させない。

【0131】

図１９および図２０に例示したように、固体撮像素子２００は、出力イネーブル信号ＥＮ＿ＯＵＴにより、画素単位で、画素データをリピータ２３０に出力するか否かを設定することができる。

【0132】

図２０は、本技術の第１の実施の形態におけるＲＯＩの設定前後の画像データの一例を示す図である。同図におけるａは、ＲＯＩ設定前の画像データの一例を示す図である。同図におけるｂは、ＲＯＩが設定された画像データの一例を示す図である。

【0133】

ＲＯＩが設定されていない場合、固体撮像素子２００は、垂直同期信号ＶＳＹＮＣに同期して画像データを連続して撮像し、表示部１３０は、同図におけるａに例示するように画像データ５００を表示する。

【0134】

ユーザは、表示された画像データを参照して、タッチパネルの操作などにより、ＲＯＩを設定する。例えば、同図におけるｂに例示するように、円形のＲＯＩ５１２が設定されたものとする。

【0135】

動きベクトル検出部２５３は、過去の画像データ（フレーム）５００と、現在の画像データ（フレーム）５０１とを元に、ブロックマッチングなどを行って動きベクトル５１１を検出する。

【0136】

図２１は、本技術の第１の実施の形態におけるＲＯＩの一例を示す図である。同図におけるｂにおいて、点線は、ＲＯＩ設定前の画像データの外周を示す。ＲＯＩの動きベクトル５１１が検出されると、次フレームＲＯＩ予測部２５５は、その動きベクトル５１１に基づいて、現在の画像データの次の画像データ５０２におけるＲＯＩの位置を予測する。そして、次フレームＲＯＩ予測部２５５は、予測したＲＯＩの設定情報を垂直駆動回路２１３に供給する。

【0137】

垂直駆動回路２１３は、予測されたＲＯＩ内の画素について出力イネーブル信号ＥＮ＿ＯＵＴをイネーブルに設定し、ＲＯＩ外の画素について出力イネーブル信号ＥＮ＿ＯＵＴをディセーブルに設定する。これにより、同図に例示するように、次の画像データ５０２のうち、ＲＯＩ５２０内の画素データのみがリピータ２３０に出力され、信号処理部２５０に転送される。これにより、ＲＯＩ５２０に対して信号処理（ＣＤＳ処理や画像認識処理など）が行われ、処理後のＲＯＩ５２０が表示される。

【0138】

図２０および図２１に例示したように、固体撮像素子２００は、次のフレームのＲＯＩを予測するため、動きのある範囲にＲＯＩを設定した場合であっても、その動きに追従してＲＯＩを適切な位置に移動させることができる。

【0139】

ここで、ＮＡＮＤゲート４１０が配置されず、出力イネーブル信号ＥＮ＿ＯＵＴが各画素に供給されない比較例を想定する。

【0140】

図２２は、比較例におけるＲＯＩが設定された画像データと信号処理部２５０へ転送された画像データとを示す図である。同図におけるａは、ＲＯＩが設定された画像データ５５０の一例を示す図である。同図におけるｂは、リピータ２３０が信号処理部２５０へ転送した画像データ５６０の一例を示す図である。同図におけるｂにおいて、外側の点線は、ＲＯＩ設定前の画像データの外周を示す。

【0141】

同図におけるａに例示するように、画像データ５５０において、矩形のＲＯＩ５５１が設定されたものとする。この場合に、比較例の垂直駆動回路２１３および画素駆動回路２１５は、画素を駆動してＲＯＩ内の画素データを行単位でリピータ２３０へ出力させる。リピータ２３０は、同図におけるｂに例示するように、ＲＯＩを含む画像データ５６０を信号処理部２５０へ転送する。行単位で出力されたため、画像データ５６０の列は、ＲＯＩ内の列の他、ＲＯＩ外の不要な列も含む。

【0142】

図２３は、比較例におけるＲＯＩの一例を示す図である。同図において、外側の点線は、ＲＯＩ設定前の画像データの外周を示す。比較例の信号処理部２５０は、行単位で出力された画像データ５６０をフレームメモリなどに保持し、その画像データ５６０内から列単位でＲＯＩ５７０内の画素データを抽出する。比較例の信号処理部２５０は、抽出したＲＯＩ５７０に対して、画像認識処理などの各種の信号処理を施す。

【0143】

図２２および図２３に例示したように、ＮＡＮＤゲート４１０を設けない比較例では、垂直駆動回路２１３は、画素単位でＲＯＩ内の処理対象の画素データをリピータ２３０へ出力させることができない。このため、垂直駆動回路２１３および画素駆動回路２１５は、画素を駆動して処理対象の画素データを行単位でリピータ２３０へ出力させる。そして、リピータ２３０は、行単位で出力された画素データを信号処理部２５０へ転送し、信号処理部２５０が列単位で処理対象の画素データを抽出しなければならない。この構成では、列数が多いほど、信号処理部２５０へ転送されるデータ量が増大するため、信号処理部２５０の処理速度が低下する。したがって、比較例の固体撮像素子２００では、数百ｆｐｓ（frame per second）などのフレームレートしか実現することができない。

【0144】

これに対して、ＮＡＮＤゲート４１０を設けた固体撮像素子２００では、図２０および図２１に例示したように、垂直駆動回路２１３は、出力イネーブル信号ＥＮ＿ＯＵＴにより、画素単位で処理対象の画素データをリピータ２３０へ出力させることができる。これにより、行単位で出力された画像データを信号処理部２５０がフレームメモリ等に保持し、列単位で処理対象の画素データを抽出する処理が不要となる。したがって、その処理の分だけ、信号処理部２５０の処理速度を向上させることができる。この処理速度の向上により、固体撮像素子２００は、数万ｆｐｓ（frame per second）などの非常に高いフレームレートで、フレームを撮像および処理することができる。

【0145】

図２４は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この動作は、例えば、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。

【0146】

画素駆動回路２１５および垂直駆動回路２１３は、画素のそれぞれを駆動して、全画素を露光させ、Ｐ相をＡＤ変換させる（ステップＳ９０１）。垂直駆動回路２１３は、ｍを「０」に初期化する（ステップＳ９０２）。

【0147】

クラスタ２１７のそれぞれにおいて、ｍ番目の画素は、その画素に対応する出力イネーブル信号ＥＮ＿ＯＵＴが「１」（すなわち、イネーブル）であるか否かを判断する（ステップＳ９０３）。対応する出力イネーブル信号ＥＮ＿ＯＵＴが「１」である場合に（ステップＳ９０３：Ｙｅｓ）、ｍ番目の画素は、出力タイミング信号ＷＯＲＤ＜ｍ＞が「１」になるタイミングで、画素データをリピータ２３０へ出力する（ステップＳ９０４）。

【0148】

出力イネーブル信号ＥＮ＿ＯＵＴが「１」でない場合（ステップＳ９０３：Ｎｏ）、または、ステップＳ９０４の後に垂直駆動回路２１３は、ｍが「１２７」であるか否かを判断する（ステップＳ９０５）。ｍが「１２７」でない場合に（ステップＳ９０５：Ｎｏ）、垂直駆動回路２１３は、ｍをインクリメントし（ステップＳ９０６）、ステップＳ９０３以降を繰り返す。

【0149】

ｍが「１２７」である場合に（ステップＳ９０５：Ｙｅｓ）、垂直駆動回路２１３は、Ｄ相の変換が完了したか否かを判断する（ステップＳ９０７）。Ｄ相の変換が完了していない場合に（ステップＳ９０７：Ｎｏ）、画素駆動回路２１５および垂直駆動回路２１３は、画素のそれぞれを駆動してＤ相を生成させ、ＡＤ変換させてＰ相変換時と同様にｍを「０」にする（ステップＳ９０８）。そして、垂直駆動回路２１３は、ステップＳ９０２以降を繰り返す。

【0150】

Ｄ相の変換が完了した場合に（ステップＳ９０７：Ｙｅｓ）、信号処理部２５０は、転送された画素データに対して、ＣＤＳ処理や画像認識処理などの信号処理を行う（ステップＳ９０８）。ステップＳ９０８の後に、固体撮像素子２００は、画像データを撮像し、処理する動作を終了する。

【0151】

複数の画像データを連続して撮像する場合には、ステップＳ９０１乃至Ｓ９０８の処理が垂直同期信号ＶＳＹＮＣに同期して繰り返し実行される。

【0152】

このように、本技術の第１の実施の形態によれば、出力イネーブル信号ＥＮ＿ＯＵＴにより出力が有効に設定されると、画素３００が画素データを出力するため、垂直駆動回路２１３は、処理対象の画素データを画素単位で出力させることができる。これにより、処理対象の画素データを行単位で信号処理部２５０へ出力させる場合と比較して、信号処理部２５０の処理量を削減し、その処理速度を向上させることができる。

【0153】

＜２．第２の実施の形態＞
上述の第１の実施の形態では、信号処理部２５０がＲＯＩ内の画素データを処理していたが、ＲＯＩ内の画素数が増大するほど、信号処理部２５０の処理量が増大し、処理速度が低下するおそれがある。この第２の実施の形態の固体撮像素子２００は、複数の信号処理部が並列に画素データを処理する点において第１の実施の形態と異なる。

【0154】

図２５は、本技術の第２の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この第２の実施の形態の固体撮像素子２００は、信号処理部２５０の代わりに、上側信号処理部２６０および下側信号処理部２７０を備える点において第１の実施の形態と異なる。

【0155】

上側信号処理部２６０は、複数のクラスタの一部（例えば、偶数列のクラスタ）から出力された画素データに対してＣＤＳ処理を行うものである。この上側信号処理部２６０は、処理後の画素データを下側信号処理部２７０へ供給する。なお、上側信号処理部２６０は、特許請求の範囲に記載の第１の信号処理部の一例である。

【0156】

下側信号処理部２７０は、複数のクラスタの残り（例えば、奇数列のクラスタ）から出力された画素データに対してＣＤＳ処理を行うものである。この下側信号処理部２７０は、上側信号処理部２６０からのＣＤＳ処理後の画素データと、自身がＣＤＳ処理を行った画素データとを配列して画像データを生成する。そして、下側信号処理部２７０は、画像認識処理などの後段処理をさらに行い、処理後のデータを出力する。なお、下側信号処理部２７０は、特許請求の範囲に記載の第２の信号処理部の一例である。

【0157】

同図に例示したように、上側信号処理部２６０および下側信号処理部２７０が並列に画素データを処理するため、信号処理部２５０のみが処理する第１の実施の形態と比較して、処理速度を向上させることができる。

【0158】

図２６は、本技術の第２の実施の形態における画素アレイ部２１４の一構成例を示す平面図である。１列目などの奇数列のクラスタ２１７のリピータ部２２０は、下側信号処理部２７０へ画素データを転送する。一方、２列目などの偶数列のクラスタ２１７のリピータ部２２０は、上側信号処理部２６０へ画素データを転送する。

【0159】

このように、本技術の第２の実施の形態によれば、上側信号処理部２６０および下側信号処理部２７０が奇数列および偶数列を並列に処理するため、信号処理部２５０のみが処理する場合と比較して、処理速度を向上させることができる。

【0160】

＜３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

【0161】

図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

【0162】

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。

【0163】

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

【0164】

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0165】

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

【0166】

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

【0167】

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

【0168】

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。

【0169】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0170】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

【0171】

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

【0172】

図２８は、撮像部１２０３１の設置位置の例を示す図である。

【0173】

図２８では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

【0174】

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

【0175】

なお、図２８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

【0176】

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

【0177】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0178】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

【0179】

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

【0180】

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、フレームレートを向上させることができるため、動画の画質を向上させてドライバの疲労を軽減することが可能になる。

【0181】

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

【0182】

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

【0183】

なお、本技術は以下のような構成もとることができる。
（１）所定数の画素が配列されたクラスタに接続されて所定期間内の時刻を示すデジタル信号を転送するリピータと、
前記所定数の画素のそれぞれの出力のタイミングを示す出力タイミング信号と前記画素ごとに前記デジタル信号の出力が有効であるか否かを示す出力イネーブル信号とを供給する垂直駆動回路と、
露光量に応じたアナログ信号と前記所定期間に亘って変動する参照信号とを比較して比較結果を出力するコンパレータと、
前記デジタル信号を前記リピータから取得して保持するラッチ回路と、
前記比較結果が反転したときに前記ラッチ回路を制御して前記デジタル信号を保持させる制御と前記出力タイミング信号の示す前記タイミングで前記ラッチ回路を制御して前記デジタル信号を前記リピータへ出力させる制御とを行うラッチ制御回路と、
前記出力イネーブル信号により前記デジタル信号の出力が有効に設定された場合には前記出力タイミング信号を前記ラッチ制御回路へ供給するイネーブル制御部と
を具備する固体撮像素子。
（２）所定数の画素が接続されて前記デジタル信号を転送するリピータと、
前記出力タイミング信号により前記所定数の画素を順に駆動して前記デジタル信号を出力させる垂直駆動回路と
をさらに具備し、
前記リピータと前記所定数の画素とは、複数のクラスタのそれぞれに配置され、
前記所定数の画素のそれぞれには、前記コンパレータと前記ラッチ回路と前記ラッチ制御回路と前記イネーブル制御部とが配置される
前記（１）記載の固体撮像素子。
（３）前記リピータにより転送されたデジタル信号に対して所定の信号処理を行う信号処理部をさらに具備する
前記（１）または（２）に記載の固体撮像素子。
（４）前記信号処理部は、第１および第２の信号処理部を含み、
前記第１の信号処理部は、前記複数のクラスタの一部から出力された前記デジタル信号に対して前記信号処理を行い、
前記第２の信号処理部は、前記複数のクラスタの残りから出力された前記デジタル信号に対して前記信号処理を行う
前記（３）記載の固体撮像素子。
（５）前記信号処理部は、
前記出力されたデジタル信号に対して所定の信号処理を行って画像データを生成する信号処理回路と、
前記画像データのうち前記デジタル信号を出力すべき領域を関心領域として設定する関心領域設定部と
を備える前記（３）または（４）記載の固体撮像素子。
（６）前記信号処理部は、
前記画像データ内の被写体のそれぞれについて前記被写体の動く方向を示す動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルに基づいて次に生成される画像データ内の前記関心領域の位置を予測する関心領域予測部と
をさらに備える前記（５）記載の固体撮像素子。
（７）所定数の画素が配列されたクラスタに接続されて所定期間内の時刻を示すデジタル信号を転送するリピータと、
前記所定数の画素のそれぞれの出力のタイミングを示す出力タイミング信号と前記画素ごとに前記デジタル信号の出力が有効であるか否かを示す出力イネーブル信号とを供給する垂直駆動回路と、
露光量に応じたアナログ信号と前記所定期間に亘って変動する参照信号とを比較して比較結果を出力するコンパレータと、
前記デジタル信号を前記リピータから取得して保持するラッチ回路と、
前記比較結果が反転したときに前記ラッチ回路を制御して前記デジタル信号を保持させる制御と前記出力タイミング信号の示す前記タイミングで前記ラッチ回路を制御して前記デジタル信号を前記リピータへ出力させる制御とを行うラッチ制御回路と、
前記出力イネーブル信号により前記デジタル信号の出力が有効に設定された場合には前記出力タイミング信号を前記ラッチ制御回路へ供給するイネーブル制御部と、
前記デジタル信号を配列した画像データを記憶する記憶部と
を具備する撮像装置。
（８）所定数の画素が配列されたクラスタに接続されて所定期間内の時刻を示すデジタル信号を転送する転送手順と、
前記所定数の画素のそれぞれの出力のタイミングを示す出力タイミング信号と前記画素ごとに前記デジタル信号の出力が有効であるか否かを示す出力イネーブル信号とを供給する垂直駆動手順と、
露光量に応じたアナログ信号と前記所定期間に亘って変動する参照信号とを比較して比較結果を出力する比較手順と、
前記デジタル信号を前記リピータから取得して保持するラッチ手順と、
前記比較結果が反転したときに前記ラッチ回路を制御して前記デジタル信号を保持させる制御と前記出力タイミング信号の示す前記タイミングで前記ラッチ回路を制御して前記デジタル信号を前記リピータへ出力させる制御とを行うラッチ制御手順と、
前記出力イネーブル信号により前記デジタル信号の出力が有効に設定された場合には前記出力タイミング信号を前記ラッチ制御回路へ供給するイネーブル制御手順と
を具備する固体撮像素子の制御方法。

【符号の説明】

【0184】

１００ 撮像装置
１１０ 光学部
１２０ ＤＳＰ回路
１３０ 表示部
１４０ 操作部
１５０ バス
１６０ フレームメモリ
１７０ 記憶部
１８０ 電源部
２００ 固体撮像素子
２０１ 受光チップ
２０２ 回路チップ
２１１ ＤＡＣ
２１２ 時刻コード発生部
２１３ 垂直駆動回路
２１４ 画素アレイ部
２１５ 画素駆動回路
２１６ タイミング生成回路
２１７ クラスタ
２２０ リピータ部
２３０ リピータ
２３１～２３４、２４１、２４２、４２２、４２３、４３２、４３３ インバータ
２４０ 転送回路
２４３ フリップフロップ
２５０ 信号処理部
２５１ ＣＤＳ処理部
２５２ フレームメモリ
２５３ 動きベクトル検出部
２５４ ＲＯＩ設定部
２５５ 次フレームＲＯＩ予測部
２５６ 後段処理部
２６０ 上側信号処理部
２７０ 下側信号処理部
３００ 画素
３０５ ＡＤＣ
３１０ 画素回路
３１１ リセットトランジスタ
３１２、３１４ 浮遊拡散層
３１３ ＦＤＧトランジスタ
３１５ 転送トランジスタ
３１６ 光電変換素子
３１７ 電荷排出トランジスタ
３２０ コンパレータ
３３０ 差動入力回路
３３１、３３４、３４４、３５１、３５２ ｐＭＯＳトランジスタ
３３２、３３５ 差動トランジスタ
３３３ 電流源トランジスタ
３４０ 正帰還回路
３４１～３４３、３４５、３５３、３５４ ｎＭＯＳトランジスタ
３５０ 反転回路
４００ ラッチ部
４１０ ＮＡＮＤゲート
４２０ ラッチ制御回路
４２１ ＮＯＲゲート
４３１ スイッチ
４３０ ラッチ回路
１２０３１ 撮像部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】