(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022139337
(43)【公開日】2022-09-26
(54)【発明の名称】撮像素子
(51)【国際特許分類】
H04N 5/374 20110101AFI20220915BHJP
H04N 5/378 20110101ALI20220915BHJP
H04N 5/341 20110101ALI20220915BHJP
【ＦＩ】
H04N5/374
H04N5/378
H04N5/341
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2021039668
(22)【出願日】2021-03-11
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(74)【代理人】
【識別番号】100185225
【弁理士】
【氏名又は名称】齋藤 恭一
(72)【発明者】
【氏名】冨岡 宏平
(72)【発明者】
【氏名】安江 俊夫
(72)【発明者】
【氏名】船津 良平
(72)【発明者】
【氏名】菊地 幸大
(72)【発明者】
【氏名】中村 友洋
(72)【発明者】
【氏名】山下 誉行
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024CX06
5C024CX37
5C024GY31
5C024HX23
5C024HX50
5C024JX08
(57)【要約】
【課題】撮像領域ごとに局所的な高フレームレート撮影若しくは高解像度撮影を実現し、画面全体の画質を向上させる撮像素子を提供する。
【解決手段】撮像素子は、画素ブロックにブロック化されて制御される画素アレイとカラム読出回路からなる信号読出回路を備える撮像素子であって、前記カラム読出回路は、前記画素ブロックごとに与えられたモード選択信号に応じて、１フレームの間に、前記画素ブロックの各画素から出力される画素信号について、いずれか一つの画素信号を選択するか、又は、すべての画素信号を順番に選択する、入力切替スイッチと、前記入力切替スイッチを介して入力される画素信号を、前記画素ブロックの画素数に対応した回数でサンプリングして積算するアナログ積算器と、前記アナログ積算器の出力をデジタル信号に変換するＡＤＣとを有することを特徴とする。
【選択図】図１
【解決手段】撮像素子は、画素ブロックにブロック化されて制御される画素アレイとカラム読出回路からなる信号読出回路を備える撮像素子であって、前記カラム読出回路は、前記画素ブロックごとに与えられたモード選択信号に応じて、１フレームの間に、前記画素ブロックの各画素から出力される画素信号について、いずれか一つの画素信号を選択するか、又は、すべての画素信号を順番に選択する、入力切替スイッチと、前記入力切替スイッチを介して入力される画素信号を、前記画素ブロックの画素数に対応した回数でサンプリングして積算するアナログ積算器と、前記アナログ積算器の出力をデジタル信号に変換するＡＤＣとを有することを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
隣接する複数の画素からなる画素ブロックにブロック化されて制御される画素アレイと、
前記画素ブロックの画素ブロック列に対応するカラム読出回路からなる信号読出回路を備える、撮像素子であって、
前記カラム読出回路は、
前記画素ブロックごとに与えられたモード選択信号に応じて、１フレームの間に、前記画素ブロックの各画素から出力される画素信号について、いずれか一つの画素信号を選択するか、又は、すべての画素信号を順番に選択する、入力切替スイッチと、
前記入力切替スイッチを介して入力される画素信号を、前記画素ブロックの画素数に対応した回数でサンプリングして積算するアナログ積算器と、
前記アナログ積算器の出力をデジタル信号に変換するＡＤＣ（アナログ／デジタル変換器）と
を有することを特徴とする、撮像素子。
前記画素ブロックの画素ブロック列に対応するカラム読出回路からなる信号読出回路を備える、撮像素子であって、
前記カラム読出回路は、
前記画素ブロックごとに与えられたモード選択信号に応じて、１フレームの間に、前記画素ブロックの各画素から出力される画素信号について、いずれか一つの画素信号を選択するか、又は、すべての画素信号を順番に選択する、入力切替スイッチと、
前記入力切替スイッチを介して入力される画素信号を、前記画素ブロックの画素数に対応した回数でサンプリングして積算するアナログ積算器と、
前記アナログ積算器の出力をデジタル信号に変換するＡＤＣ（アナログ／デジタル変換器）と
を有することを特徴とする、撮像素子。
【請求項2】
請求項１に記載の撮像素子において、
前記カラム読出回路は、さらに、画素の信号レベルの出力から画素のリセットレベルの出力を減算する相関二重サンプリングを行うことを特徴とする、撮像素子。
前記カラム読出回路は、さらに、画素の信号レベルの出力から画素のリセットレベルの出力を減算する相関二重サンプリングを行うことを特徴とする、撮像素子。
【請求項3】
請求項１又は２に記載の撮像素子において、
前記入力切替スイッチは、前記モード選択信号が高フレームレート撮影のとき、すべての画素信号を順番に選択し、前記モード選択信号が高解像度撮影のとき、いずれか一つの画素信号を選択することを特徴とする、撮像素子。
前記入力切替スイッチは、前記モード選択信号が高フレームレート撮影のとき、すべての画素信号を順番に選択し、前記モード選択信号が高解像度撮影のとき、いずれか一つの画素信号を選択することを特徴とする、撮像素子。
【請求項4】
請求項１乃至３のいずれか一項に記載の撮像素子において、
前記モード選択信号が高フレームレート撮影のとき、前記画素ブロックの映像出力として、フレームごとに前記画素ブロックのすべての画素信号を積算した信号を出力し、前記モード選択信号が高解像度撮影のとき、フレームごとに前記画素ブロックのいずれか一つの画素信号を順に出力することを特徴とする、撮像素子。
前記モード選択信号が高フレームレート撮影のとき、前記画素ブロックの映像出力として、フレームごとに前記画素ブロックのすべての画素信号を積算した信号を出力し、前記モード選択信号が高解像度撮影のとき、フレームごとに前記画素ブロックのいずれか一つの画素信号を順に出力することを特徴とする、撮像素子。
【請求項5】
請求項１乃至４のいずれか一項に記載の撮像素子において、
前記モード選択信号は、前記画素ブロックの画素数に対応するフレーム数の期間ごとに、更新されることを特徴とする、撮像素子。
前記モード選択信号は、前記画素ブロックの画素数に対応するフレーム数の期間ごとに、更新されることを特徴とする、撮像素子。
【請求項6】
請求項１乃至５のいずれか一項に記載の撮像素子において、
前記カラム読出回路は、前記画素アレイの画素ブロック列の上側と下側に配置され、一方が奇数行、他方が偶数行の前記画素ブロックを制御することを特徴とする、撮像素子。
前記カラム読出回路は、前記画素アレイの画素ブロック列の上側と下側に配置され、一方が奇数行、他方が偶数行の前記画素ブロックを制御することを特徴とする、撮像素子。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像信号を取得する撮像素子に関する。
【背景技術】
【0002】
従来、撮像素子に、フレームレートや解像度などの特定の撮像性能に特化した動作モードを設けることが提案されている（例えば、特許文献１)。このような撮像素子を用い、撮影シーンの特徴に合わせて最適な動作モードを選択することで、取得する映像信号の画質の向上を図る撮影手法がある。例えば、動きの速い被写体を撮像する場合は高フレームレート／低解像度モード、高精細で動きの少ない被写体を撮像する場合は低フレームレート／高解像度モードで撮影するなどといった撮影シーンに適応したモード選択をすることで、実質的な画質向上を図ることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１４１４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
３６０°映像などの広視野撮像を行う場合、同一撮像画面の中に複数の異なる特徴を持つ撮像シーンが同時に映り込むことが想定される。このとき、例えば、画面内の移動速度の速い被写体に合わせて高フレームレートモードでの撮像を選択すると、同一画面内に同時に映り込む静止した高精細な被写体の精細度が低下しまう。反対に、画面内の高精細な被写体に合わせて高解像度モードでの撮像を選択すると、移動速度の速い被写体がぼやけて、動きをとらえることができないという問題が生じる。
【0005】
したがって、上記のような問題点に鑑みてなされた本発明の目的は、撮像領域ごとに局所的な高フレームレート撮影若しくは高解像度撮影を実現し、画面全体の画質を向上させる撮像素子を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために本発明に係る撮像素子は、隣接する複数の画素からなる画素ブロックにブロック化されて制御される画素アレイと、前記画素ブロックの画素ブロック列に対応するカラム読出回路からなる信号読出回路を備える、撮像素子であって、前記カラム読出回路は、前記画素ブロックごとに与えられたモード選択信号に応じて、１フレームの間に、前記画素ブロックの各画素から出力される画素信号について、いずれか一つの画素信号を選択するか、又は、すべての画素信号を順番に選択する、入力切替スイッチと、前記入力切替スイッチを介して入力される画素信号を、前記画素ブロックの画素数に対応した回数でサンプリングして積算するアナログ積算器と、前記アナログ積算器の出力をデジタル信号に変換するＡＤＣ（アナログ／デジタル変換器）とを有することを特徴とする。
【0007】
また、前記撮像素子は、前記カラム読出回路が、さらに、画素の信号レベルの出力から画素のリセットレベルの出力を減算する相関二重サンプリングを行うことが望ましい。
【0008】
また、前記撮像素子は、前記入力切替スイッチが、前記モード選択信号が高フレームレート撮影のとき、すべての画素信号を順番に選択し、前記モード選択信号が高解像度撮影のとき、いずれか一つの画素信号を選択することが望ましい。
【0009】
また、前記撮像素子は、前記モード選択信号が高フレームレート撮影のとき、前記画素ブロックの映像出力として、フレームごとに前記画素ブロックのすべての画素信号を積算した信号を出力し、前記モード選択信号が高解像度撮影のとき、フレームごとに前記画素ブロックのいずれか一つの画素信号を順に出力することが望ましい。
【0010】
また、前記撮像素子は、前記モード選択信号が、前記画素ブロックの画素数に対応するフレーム数の期間ごとに、更新されることが望ましい。
【0011】
また、前記撮像素子は、前記カラム読出回路は、前記画素アレイの画素ブロック列の上側と下側に配置され、一方が奇数行、他方が偶数行の前記画素ブロックを制御することが望ましい。
【発明の効果】
【0012】
本発明における撮像素子によれば、撮像領域ごとに局所的な高フレームレート撮影若しくは高解像度撮影を実現し、画面全体の画質を向上させることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係る撮像素子の回路構成例を示す図である。
【図2】１画素（Pixel）の回路構成の一例を示す図である。
【図3】スイッチトキャパシタ（ＳＣ）積算器の構成の一例を示す図である。
【図4】撮像素子の駆動信号のタイミング図の一例である。
【図5】画素駆動信号と各画素のＦＤ信号との関係を示す図である。
【図6】ＳＣ積算器の積算動作を説明する図である。
【図7】モード選択信号の例と対応する出力信号形式の例を示す図である。
【図8】本発明の他の実施形態に係る撮像素子の回路構成例を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を用いて説明する。
【0015】
（実施の形態）
図１に、本発明の一実施形態に係る撮像素子の回路構成例を示す。撮像素子は、画素アレイ１００、行選択・画素駆動回路１１０、信号読出回路２００、駆動信号生成回路２１０を備えている。
図１に、本発明の一実施形態に係る撮像素子の回路構成例を示す。撮像素子は、画素アレイ１００、行選択・画素駆動回路１１０、信号読出回路２００、駆動信号生成回路２１０を備えている。
【0016】
画素アレイ１００は、隣接するｋ×ｌ画素領域（水平ｋ個、垂直ｌ個、ｋ，ｌは２以上の整数）１０を１ブロック単位として、ブロック化して構成され、制御される。ここでは、画素アレイ１００が、２×２画素領域を画素ブロック１０とし、水平Ｈブロック×垂直Ｖブロック（水平２Ｈ画素×垂直２Ｖ画素)で構成されるとして説明する。なお、画素ブロック１０の大きさ（画素数）は、高フレームレート撮影時の画像精細度等に基づいて自由に設定可能である。画素ブロック１列（垂直方向にＶ個並んだ画素ブロック１０）ごとに４本（ｋ×ｌ本、すなわち、画素ブロック１０の画素ごとに１本）の信号読出線１７が垂直方向に配線され、後述のカラム読出回路２０１にそれぞれ並列接続される。
【0017】
画素ブロック１０の各画素（本実施形態では、Pixel A～Pixel D）は、例えば、４Ｔｒ（トランジスタ）型画素で構成される。図２に、１画素（Pixel）の回路構成の一例を示す。画素は、フォトダイオード（ＰＤ）１１、転送ゲート１２、フローティングディフュージョン（ＦＤ）１３、出力トランジスタ（ソースフォロア回路）１４、選択トランジスタ１５、及びリセットトランジスタ１６を備えている。
【0018】
フォトダイオード（ＰＤ）１１は、入射光に応じて光電変換を行い、露光量に基づく信号電荷を生成する。
【0019】
転送ゲート１２は、電荷転送信号ＴＸにより制御され、信号ＴＸがＨｉｇｈになると導通し、フォトダイオード（ＰＤ）１１で生成された信号電荷をフローティングディフュージョン（ＦＤ）１３に転送する。
【0020】
フローティングディフュージョン（ＦＤ）１３は、実質的にコンデンサとして機能し、転送された信号電荷を蓄積する。信号電荷に基づくフローティングディフュージョン（ＦＤ）１３の電位が、出力トランジスタ１４のゲート電極に印加される。
【0021】
出力トランジスタ１４は、ソースフォロア回路を構成し、ゲート電極に印加された電圧に応じて、ソース側に出力信号（出力電圧）を出力する。
【0022】
選択トランジスタ１５は、行選択信号ＳＬにより制御され、信号ＳＬがＨｉｇｈになると導通し、出力トランジスタ（ソースフォロア回路）１４の出力信号を、信号読出線１７に出力する。
【0023】
リセットトランジスタ１６は、ＦＤリセット信号ＲＴにより制御され、信号ＲＴがＨｉｇｈになると導通し、フローティングディフュージョン（ＦＤ）１３に蓄積されていた信号電荷を排出し、画素の出力をリセットする。
【0024】
こうして、各画素ブロック１０の画素（Pixel A～Pixel D）からの出力信号が、信号読出線（Ａ～Ｄ）１７に出力される。なお、画素構造は、上述の４Ｔｒ型画素に限られず、入射光に基づいた出力信号を信号読出線１７に出力する構成を備えた画素であれば、任意の構造であってよい。
【0025】
図１に戻って、行選択・画素駆動回路１１０は、画素アレイ１００の行を選択して、駆動する。行選択は画素ブロック１行（水平方向にＨ個並んだ画素ブロック１０）ごとに画素を選択・駆動する。ｍ行目の画素ブロック行を選択する信号をＳＬ(m)とする。行選択・画素駆動回路１１０は、同じ画素ブロック行（ｍ行）の画素ブロック１０を同一の制御信号で同時に駆動するが、画素ブロック１０内の画素（Pixel A～Pixel D）ごとに異なる画素駆動信号（ＸＴ，ＲＴ）を供給し、各画素を制御する。本実施形態では、ｍ行目の画素ブロック１０の各画素（Pixel A～Pixel D）の画素駆動信号を、それぞれＴＸA(m)～ＴＸD(m)、ＲＴA(m)～ＲＴD(m)とする。
【0026】
信号読出回路２００は、画素アレイ１００の水平Ｈブロックに対応した、Ｈ個のカラム読出回路２０１（カラム読出回路(1)～(H)）からなる。カラム読出回路２０１は、信号が入力される上流側から、入力切替スイッチ２０（スイッチφA～φD）、スイッチトキャパシタ積算器（以下、ＳＣ積算器）３０、ＡＤＣ（アナログ／デジタル変換器）４０で構成される。各カラム読出回路(1)～(H)は、選択・駆動された画素ブロック行の出力信号を積算及びＡＤ（アナログ／デジタル）変換し、撮像素子出力信号Ｄ(1)，Ｄ(2)，…，Ｄ(H)として出力する。
【0027】
駆動信号生成回路２１０は、各カラム読出回路(1)～(H)に対して、同一の制御信号Ｐ、制御信号Ｑ、ＳＣ積算器制御信号、ＡＤＣ制御信号を供給する。各カラム読出回路２０１は、駆動信号生成回路２１０から供給された駆動信号により一斉に動作する。
【0028】
図１の左側の図は、撮像素子のｎ列目（ｎ＝１，２，…，Ｈ）の構造を拡大して示したものである。ｎ列目には、２×２画素（ｋ×ｌ画素）の画素ブロック１０が列方向（垂直方向）にＶブロック配列されている。画素ブロック１０の各画素（Pixel A～Pixel D）の出力信号は、それぞれ信号読出線Ａ～Ｄに接続される。
【0029】
カラム読出回路２０１の構成について説明する。入力切替スイッチ２０は、信号読出線Ａ～ＤとＳＣ積算器３０とを、スイッチφA～φDを介して接続する。したがって、信号読出線Ａ～Ｄの出力信号（画素ブロックの各画素から出力される画素信号）のいずれか一つが、ＳＣ積算器３０に入力される。なお、入力切替スイッチ２０の動作は、後述のとおり制御信号によって異なり、制御信号Ｐが与えられたときは、各信号読出線Ａ～Ｄを順に接続し、制御信号Ｑが与えられたときは、信号読出線Ａ～Ｄのいずれか特定のものを接続する。
【0030】
図３は、スイッチトキャパシタ（ＳＣ）積算器３０の構成の一例である。ＳＣ積算器３０は、サンプリング容量３１（容量Ｃ1）、積算容量３２（容量Ｃ2）、ＯＰアンプ３３、及びスイッチφSMP，φAMP，φRTで構成される。スイッチφRTがＯＮ（導通）になることで、積算容量３２に積算された電荷が初期化される。スイッチφSMP，がＯＮ、φAMPがＯＦＦになることで、入力電圧Ｖinによるサンプリング容量３１へのチャージが行われる。続いてスイッチφSMPがＯＦＦ、φAMPがＯＮになることでサンプリング容量３１にチャージされた電荷が積算容量３２へ転送され、出力電圧Ｖoutが生じる。スイッチφSMP，φAMPのＯＮ，ＯＦＦを繰り返すことで、入力電圧Ｖinによる電荷が積算容量３２に積算される。すなわち、ＳＣ積算器３０は、アナログ積算器として機能する。なお、サンプリング容量３１と積算容量３２の容量値を調整することにより、出力電圧Ｖoutにゲイン（Ｃ1／Ｃ2）を与えることができる。
【0031】
ＳＣ積算器３０は上記のサンプリング及び電荷転送動作を複数回行い、入力電圧Ｖinの積算動作を行う。ＳＣ積算器３０への入力信号は、入力切替スイッチ２０（スイッチφA～φD）によって、Pixel A～Pixel Dのいずれかの画素信号を選択できる。撮像素子には、モード選択信号Ｆ(1)～Ｆ(H)が外部から入力されており、ｎ列目のカラム読出し回路(n)には、モード選択信号Ｆ(n)が入力されている。入力切替スイッチ２０には制御信号Ｐと制御信号Ｑの両方が全カラム一律に供給されているが、カラム毎に供給されるモード選択信号Ｆ(n)に応じてどちらの制御信号で制御されるか選択される。
【0032】
モード選択信号Ｆ(n)は以下で表される信号である。
Ｆ(n)＝（Ｆ1n，Ｆ2n，・・・，ＦVn） （ｎ＝1,2,…,H）
Ｆmn＝０ or １
Ｆ(n)＝（Ｆ1n，Ｆ2n，・・・，ＦVn） （ｎ＝1,2,…,H）
Ｆmn＝０ or １
【0033】
ここでＦmnは、ｍ行ｎ列目の画素ブロック１０に対する（画素ブロック１０ごとに与えられた）モード選択信号を示す。すなわち、Ｆmnはｍ行ｎ列目の画素ブロックを読み出す際に、高フレームレート読出し（Ｆmn＝０）を行うか、高解像度読出し（Ｆmn＝１）を行うかを指定する。Ｆmn＝０のとき制御信号Ｐ、Ｆmn＝１のとき制御信号Ｑで入力切替スイッチ２０のスイッチφA～φDがそれぞれ駆動される。
【0034】
モード選択信号Ｆmnの生成手法は本発明において限定されないが、取得した映像のフィードバック信号とすることが望ましい。例えば、本撮像装置若しくは別の撮像装置で取得した映像信号の時空間の周波数成分・ノイズ成分を解析し、その結果をもとに時間周波数が高い領域はモード選択信号Ｆmn＝０に、空間周波数が高い領域はモード選択信号Ｆmn＝１に、それぞれ映像特性をフィードバックするように生成する方法などが考えられる。モード選択信号Ｆmnは、１画素ブロック１０に含まれる画素数に対応するフレーム数ごとに（ｋ×ｌフレームごとに、本実施形態では４フレームごとに）１回の周期で更新されることが望ましい。
【0035】
ＡＤＣ４０は、ＳＣ積算器３０の積算結果をデジタル信号に変換し、出力信号Ｄ(n) （ｎ＝1,2,…,H）として撮像素子から出力する。なお、出力信号は、さらにデジタル相関２重サンプリング（ＤＣＤＳ）を行って、画素の信号レベルのＡＤＣ出力から画素のリセットレベルのＡＤＣ出力を減算して、固定パターンノイズが除去された信号を出力してもよい。
【0036】
図４に、撮像素子の駆動信号のタイミング図の一例を示す。行選択・画素駆動回路１１０は、１フレーム期間Ｔf＝1/ｆf（ｆfはフレーム周波数）に画素ブロック１行目からＶ行目までの走査をおこなう。図４は、各フレーム期間におけるｍ行目の処理を行う際の各駆動信号・制御信号を、拡大して示している。本実施形態では、読出回路は、１画素ブロックに含まれる画素数（ｋ×ｌ画素、本実施形態では４画素）に対応して、４フレーム周期（Frame A～D）でフレームごとに異なる読出動作を行う。なお、入力切替スイッチ２０のスイッチφA～φDは、１フレームの間に、制御信号Ｐ（高フレームレート撮影）のとき、当該画素ブロックのすべての画素信号を順番に選択し、制御信号Ｑ（高精細撮影）のとき、当該画素ブロックのいずれか一つの画素信号を選択するように動作する。
【0037】
【0038】
まず、図５により画素駆動信号と画素出力信号の詳細を説明する。図５は、任意（例えば、ｍ行ｎ列目）の画素ブロックにおいて、Frame A～Dの画素駆動信号によって、各画素のフローティングディフュージョン（ＦＤ）１３に蓄積される信号電荷の遷移を図示している。
【0039】
Frame Aにおける読出動作では、Pixel A～Dに対してＦＤ１３への電荷転送信号ＴＸA～ＴＸDがＴＸA→ＴＸB→ＴＸC→ＴＸDの順で送られ、各画素の光電変換信号をＦＤ１３に転送する。例えば、左端の画素ＦＤ信号図に示されるように、この時点でPixel AのＦＤが4/ｆf露光信号が蓄積された状態、Pixel BのＦＤが3/ｆf露光信号が蓄積された状態、Pixel CのＦＤが2/ｆf露光信号が蓄積された状態、Pixel DのＦＤが1/ｆf露光信号が蓄積された状態となっている。
【0040】
その後Pixel Aに対して、ＦＤリセット信号ＲＴAが送られＦＤの電荷がリセットされる。これにより、Pixel AのＦＤがリセットレベルの状態となるが、他の画素Pixel B～Dは、ＦＤの電荷が維持される。
【0041】
続くFrame Bでは同様に電荷転送信号がＴＸB→ＴＸC→ＴＸD→ＴＸAの順で送られ、各画素Pixel A～DのＦＤ１３に、更に１フレーム分の1/ｆf露光信号が追加された状態（Pixel AのＦＤが1/ｆf露光信号、Pixel BのＦＤが4/ｆf露光信号、Pixel CのＦＤが3/ｆf露光信号、Pixel DのＦＤが2/ｆf露光信号）となる。その後、ＦＤリセット信号ＲＴBによりPixel BのＦＤの電荷がリセットされるが、他の画素Pixel A,C,Dは、ＦＤの電荷が維持される。
【0042】
続くFrame Cでは同様に電荷転送信号がＴＸC→ＴＸD→ＴＸA→ＴＸBの順で送られ、各画素Pixel A～DのＦＤ１３に、更に１フレーム分の1/ｆf露光信号が追加された状態となる。その後、ＦＤリセット信号ＲＴCによりPixel CのＦＤ容量（電荷）のみがリセットされる。
【0043】
続くFrame Dでは同様に電荷転送信号がＴＸD→ＴＸA→ＴＸB→ＴＸCの順で送られ、各画素Pixel A～DのＦＤ１３に、更に１フレーム分の1/ｆf露光信号が追加された状態となる。その後、ＦＤリセット信号ＲＴDによりPixel DのＦＤ容量（電荷）のみがリセットされる。以下、Frame Aの動作手順に戻り同様の動作を４フレーム周期で繰り返す。なお、画素ブロックがｋ×ｌ画素からなるときは、ｋ×ｌフレーム周期で上記の電荷転送処理を行うこととなる。
【0044】
１フレーム期間に生成される信号電荷を1/ｆf露光信号とすると、上記動作により、Pixel A～Dの各画素のＦＤ１３の信号電荷は、ＦＤリセットレベル（図５では、0/4と表示）からフレームが進むごとに1/ｆf →2/ｆf →3/ｆf →4/ｆfと露光信号がたまっていき、4/ｆf（図５では、4/4と表示）の露光信号がたまるとＦＤリセットレベルに戻る、４フレーム周期の動作を繰り返す。また、各画素が１フレームずつ位相をずらして動作することになる。
【0045】
次に、図６によりＳＣ積算器３０によってＦＤ信号を積算する動作の詳細について説明する。図６は、Frame Aの読出動作における画素駆動信号と、ＳＣ積算器３０による積算動作を、制御信号Ｐ（高フレームレート撮影）と制御信号Ｑ（高解像度撮影）を対比して図示している。図上段にFrame Aにおける電荷転送信号ＴＸA～ＴＸD及びリセット信号ＲＴAによってPixel A～DのＦＤ１３に蓄積される信号量を時系列で図示している。信号電荷の蓄積状態を示す表示は図５と共通である。
【0046】
ＳＣ積算器３０は、初めにスイッチφRTがＯＮになることで積算容量３２のチャージをリセットしたのち、入力切替スイッチ２０のスイッチφA～φDの動作に対応したPixel A～Pixel DのＦＤ出力を積算する。入力切替スイッチφA～φDは、前述したようにモード選択信号Ｆmnによって制御信号Ｐ若しくは制御信号Ｑのどちらで制御されるかが選択される。ＳＣ積算器３０は、画素ブロックの画素数に対応した回数（ｋ×ｌ回、本実施形態では４回）でサンプリングして積算する積算処理を毎回行う。
【0047】
まず、制御信号Ｐを用いる場合の積算動作について説明する。制御信号Ｐを用いる場合（高フレームレート読出しの場合）、まず入力切替スイッチφA～φDがφA →φB →φC →φDの順にＯＮになることにより、Pixel A（3/ｆf露光信号）→Pixel B（2/ｆf露光信号）→ Pixel C（1/ｆf露光信号）→Pixel D（ＦＤリセットレベル信号）の順で各画素のＦＤ出力がサンプリングされ、ＳＣ積算器３０で積算される。すなわち、ｋ×ｌ画素の出力が1回ずつサンプリングされ、積算される。積算動作終了後、ＳＣ積算器３０の出力は図４に示すように後段のＡＤＣ４０にサンプリングされデジタル信号Ｄmn,A1に変換される。なお、各画素にはサンプリングの直後、電荷転送信号ＴＸA(m)～ＴＸD(m)により、１フレーム分の信号電荷（1/ｆf露光信号）がフォトダイオードから転送され蓄積される。
【0048】
ＡＤＣ４０のサンプリングが終了すると、ＳＣ積算器３０はスイッチφRTにより積算容量３２のチャージをリセットし、同様にPixel A（4/ｆf露光信号）→Pixel B（3/ｆf露光信号）→ Pixel C（2/ｆf露光信号）→Pixel D（1/ｆf露光信号）の順で各画素のＦＤ出力をサンプリングしＳＣ積算器３０で積算する。積算後の出力はＡＤＣ４０にサンプリングされ同様にデジタル信号Ｄmn,A2に変換される。Ｄmn,A1とＤmn,A2の差分｜Ｄmn,A1－Ｄmn,A2｜はPixel A～Dの1/ｆf露光信号の合計値と等しいため、この信号はPixel A～Pixel Dの４画素加算1/ｆf露光信号として扱うことができる。すなわち、制御信号Ｐのとき（モード選択信号Ｆmn＝０のとき）、１フレームごとにｋ×ｌ画素の加算信号が得られ、当該画素ブロックは高フレームレート撮影が行われる。
【0049】
次に制御信号Ｑによる積算動作を説明する。制御信号Ｑを用いる場合（高解像度読出しの場合）、スイッチφRTがＯＮになりＳＣ積算器３０の積算容量３２のチャージがリセットされた後、Frame Aでは、電荷転送信号ＴＸA(m)により、１フレーム分の信号電荷（1/ｆf露光信号）がフォトダイオードからPixel AのＦＤ１３に転送され、Pixel Aの蓄積信号量が4/ｆf露光信号となる。次いで、入力切替スイッチ２０のスイッチφAのみが連続的にＯＮとなり、スイッチφB～φDはＯＦＦのままのため、ＳＣ積算器３０はPixeｌ A（4/ｆf露光信号)の信号のみを４回（ｋ×ｌ回）マルチサンプリングする。積算結果はＡＤＣ４０により、Ｄmn,A1に変換される。なお、ＴＸB(m)～ＴＸD(m)によりPixel B～DのＦＤ信号も蓄積されるが、Frame AではPixel B～DはＳＣ積算器３０に接続されない。
【0050】
続いて、スイッチφRTによりＳＣ積算器３０の積算容量３２のチャージがリセットされ、ＦＤリセット信号ＲＴAにより、Pixeｌ AのＦＤ１３の電荷がリセットされる。その後、同様にスイッチφAのみが連続的にＯＮとなり、ＳＣ積算器３０がPixeｌ A（ＦＤリセットレベル)を４回（ｋ×ｌ回）マルチサンプリングし積算する。積算結果はＡＤＣ４０により、Ｄmn,A2に変換される。Ｄmn,A1とＤmn,A2の差分｜Ｄmn,A1－Ｄmn,A2｜はPixel Aの4/ｆf露光信号と等しいため、この信号はPixel Aの4/ｆf露光信号として扱うことができる。すなわち、制御信号Ｑのとき（モード選択信号Ｆmn＝１のとき）、１フレームで１画素の露光信号が得られ、当該画素ブロックは高解像度撮影が行われる。
【0051】
図６に基づいて、Frame Aの読出動作手順・動作原理について説明したが、図４に示された動作タイミングにより、同様の読出動作手順・動作原理がFrame B～Dについても適応される。すなわち、ｋ×ｌフレーム期間でｋ×ｌ画素の露光信号が個別に得られ、高解像度が実現できる。｜Ｄmn,A1－Ｄmn,A2｜の演算手法は限定されず、素子内のデジタル回路で行ってもよいし、撮像素子外部の計算手法を用いてもよい。
【0052】
図７に、入力されるモード選択信号の例と対応する出力信号形式の例を示す。図７（a）に示すようにカラムごとにＦ(n)＝（Ｆ1n，Ｆ2n，…，ＦVn） （ｎ＝1,2,…,H）が入力されるとき、Ｆmnが０若しくは１の値をとることによってイメージセンサが２つの領域に分けられる。
【0053】
図７（ｂ）に示すように、モード選択信号Ｆmnが０の領域では1/ｆf露光４画素加算信号が映像出力として得られるため局所的な高フレームレート撮像が実現できる。Ｆmnが１の領域は、4/ｆf露光サブフレーム読出(Pixel A～D)信号を取得できるため、局所的な高解像度撮像を実現することができる。なお、モード選択信号Ｆmnが１の領域は、１フレームごとに各画素(Pixel A～D)の画素信号が順次取得されるが、各画素信号は回路上の処理により、それぞれ４フレーム期間（画素ブロック１０内の全画素が読み出される期間）保持する。こうすることで、高解像度撮像の画素ブロックの映像出力が得られる。
【0054】
本実施形態に係る撮像素子によれば、解像度若しくはフレームレートのうちどちらの性能を優先するかを、外部から入力されるモード選択信号によって画素ブロック（ｋ×ｌ画素領域）ごとに指定することができる。したがって上述した同一画面内に動きの速い被写体と高精細な被写体が同時に映り込むような撮像シーンにおいても局所的な高フレームレート撮影若しくは高解像度撮影を実現することで、画面全体の画質を向上させることができる。
【0055】
（他の実施形態）
図８に、本発明の他の実施形態に係る撮像素子の回路構成例を示す。
図８に、本発明の他の実施形態に係る撮像素子の回路構成例を示す。
【0056】
前記した実施形態では画素アレイ１００の下側にＨ個のカラム読出回路２０１を設け、画素ブロック列に対して並列に読出回路を接続されていたが、画素ブロック列に対するカラム読出回路２０１の並列数は任意である。例えば、図８に示すように、画素アレイ１００の（画素ブロック列の）上側と下側に信号読出回路（カラム読出回路２０１）を設け、カラム読出回路２０１の総数を２Ｈ個に増やしてもよい。この場合、例えば、画素ブロックの奇数行を上側回路への信号線と接続し、画素ブロックの偶数行は下側回路への信号線と接続するなどの配線構造を用いることで、カラムピッチを維持したまま読出回路の並列数を２倍にすることができる。
【0057】
また、上記実施形態ではアナログ積算器としてＳＣ積算器３０を用いたが、画素からの複数の信号を順次アナログ加算ができる回路であれば、積算機能の実現方法は任意である。
【0058】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態に記載の各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロック、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
【符号の説明】
【0059】
１０ 画素ブロック
１１ フォトダイオード（ＰＤ）
１２ 転送ゲート
１３ フローティングディフュージョン（ＦＤ）
１４ 出力トランジスタ
１５ 選択トランジスタ
１６ リセットトランジスタ
１７ 信号読出線
２０ 入力切替スイッチ
３０ スイッチトキャパシタ（ＳＣ）積算器
３１ サンプリング容量
３２ 積算容量
３３ ＯＰアンプ
４０ ＡＤＣ（アナログ／デジタル変換器）
１００ 画素アレイ
１１０ 行選択・画素駆動回路
２００ 信号読出回路
２０１ カラム読出回路
２１０ 駆動信号生成回路
１１ フォトダイオード（ＰＤ）
１２ 転送ゲート
１３ フローティングディフュージョン（ＦＤ）
１４ 出力トランジスタ
１５ 選択トランジスタ
１６ リセットトランジスタ
１７ 信号読出線
２０ 入力切替スイッチ
３０ スイッチトキャパシタ（ＳＣ）積算器
３１ サンプリング容量
３２ 積算容量
３３ ＯＰアンプ
４０ ＡＤＣ（アナログ／デジタル変換器）
１００ 画素アレイ
１１０ 行選択・画素駆動回路
２００ 信号読出回路
２０１ カラム読出回路
２１０ 駆動信号生成回路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】