特開 2022-139336 撮像素子及び撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022139336

(43)【公開日】2022-09-26

(54)【発明の名称】撮像素子及び撮像装置

(51)【国際特許分類】

   H04N 5/369 20110101AFI20220915BHJP

【ＦＩ】

H04N5/369

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021039666

(22)【出願日】2021-03-11

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(74)【代理人】

【識別番号】100185225

【弁理士】

【氏名又は名称】齋藤 恭一

(72)【発明者】

【氏名】冨岡 宏平

(72)【発明者】

【氏名】安江 俊夫

(72)【発明者】

【氏名】船津 良平

(72)【発明者】

【氏名】中村 友洋

(72)【発明者】

【氏名】菊地 幸大

(72)【発明者】

【氏名】山下 誉行

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CX03

5C024CX37

5C024GX02

5C024HX23

5C024HX30

(57)【要約】

【課題】撮像素子のＡＤ変換速度を維持したまま、画面領域ごとに指定した撮像性能を実質的に改善し、画面全体の実効的な画質を向上させた映像信号を出力することができる撮像装置を提供する。
【解決手段】撮像素子は、画素ブロックにブロック化されて制御される画素アレイと、カラム読出回路からなる信号読出回路を備え、前記カラム読出回路は、前記画素ブロックの各画素の画素信号に対して、それぞれ互いに異なるゲインを適用して積算する機能を有するアナログ積算器と、前記アナログ積算器の出力をデジタル信号に変換するＡＤＣとを備える。撮像装置は、さらに、前記画素ブロックごとに優先する撮像性能を指定するモード選択信号に基づいて、前記モード選択信号に応じた演算を前記撮像素子の出力信号に対して行い、映像信号を生成する信号処理部を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

隣接する複数の画素からなる画素ブロックにブロック化されて制御される画素アレイと、
前記画素ブロックの画素ブロック列に対応するカラム読出回路からなる信号読出回路を備える、撮像素子であって、
前記カラム読出回路は、
前記画素ブロックの各画素の画素信号に対して、それぞれ互いに異なるゲインを適用して積算する機能を有するアナログ積算器と、
前記アナログ積算器の出力をデジタル信号に変換するＡＤＣ（アナログ／デジタル変換器）と
を備えることを特徴とする、撮像素子。

【請求項2】

請求項１に記載の撮像素子において、
前記カラム読出回路は、さらに、画素の信号レベルの出力から画素のリセットレベルの出力を減算する相関二重サンプリングを行うことを特徴とする、撮像素子。

【請求項3】

請求項１又は２に記載の撮像素子において、
前記画素ブロックの画素数に対応するフレーム数を周期として、フレームごとに各画素の画素信号と適用されるゲインの組み合わせを異ならせることを特徴とする、撮像素子。

【請求項4】

請求項１乃至３のいずれか一項に記載の撮像素子において、
前記カラム読出回路は、前記画素アレイの画素ブロック列の上側と下側に配置され、一方が奇数行、他方が偶数行の前記画素ブロックを制御することを特徴とする、撮像素子。

【請求項5】

請求項１乃至４のいずれか一項に記載の撮像素子と、
前記画素ブロックごとに優先する撮像性能を指定するモード選択信号に基づいて、前記モード選択信号に応じた演算を前記撮像素子の出力信号に対して行い、映像信号を生成する信号処理部と
を有することを特徴とする、撮像装置。

【請求項6】

請求項５に記載の撮像装置において、
前記モード選択信号は、解像度優先、フレームレート優先、ノイズ性能優先のいずれかであることを特徴とする、撮像装置。

【請求項7】

請求項５又は６に記載の撮像装置において、
前記モード選択信号が解像度優先のとき、前記画素ブロックの映像信号は、画素ごとに演算処理によって求められ、各画素は前記画素ブロックの画素数に対応するフレーム数の期間一定の信号値を出力することを特徴とする、撮像装置。

【請求項8】

請求項５又は６に記載の撮像装置において、
前記モード選択信号が高フレームレート優先のとき、前記画素ブロックの映像信号は、フレームごとに求められ、前記画素ブロックの全画素は同一の信号値をフレームごとに出力することを特徴とする、撮像装置。

【請求項9】

請求項５又は６に記載の撮像装置において、
前記モード選択信号がノイズ性能優先のとき、前記画素ブロックの映像信号は、前記画素ブロックの全画素が前記画素ブロックの画素数に対応するフレーム数の期間同一の信号値を出力することを特徴とする、撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像信号を取得する撮像素子及び撮像装置に関する。

【背景技術】

【0002】

近年では、撮像装置の信号処理はデジタル化されており、撮像素子の映像出力もデジタル信号となっている。そして、高解像度（多画素）化に対応するため、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子の高速画素信号読出回路には、画素アレイの列ごとにＡＤＣ（アナログ／デジタル変換器）を設ける列並列ＡＤＣが広く用いられている（例えば、特許文献１)。

【0003】

列並列ＡＤＣを用いた撮像素子の画素１行あたりの信号読出期間Ｔ_Hは撮像素子の垂直方向（信号読出方向）の画素数Ｖとフレームレートｆ_fに反比例する。そのため、高解像度・高フレームレート撮像素子の実現には読出回路の高速化が不可欠である。例えば、列並列ＡＤＣを用いた８Ｋ／２４０ｆｐｓ撮像素子の１行あたり信号読出期間Ｔ_Hは１μｓ以下である。さらに、デジタルＣＤＳ（相関二重サンプリング）による固定パターンノイズ除去（例えば、特許文献２)を行う場合、一回の読出動作に対して画素のリセットレベルと信号レベルの両方のＡＤ変換を行う必要があるため、０．５μｓ以下での高速ＡＤ変換が必要である。

【0004】

また、限られたＡＤ変換速度で実質的な画質向上を図るために、従来、撮像素子に、フレームレートや解像度などの特定の撮像性能に特化した動作モードを設けることが提案されている（例えば、特許文献３)。このような撮像素子を用い、動きの速い被写体を撮像する場合は高フレームレート／低解像度モード、高精細で動きの少ない被写体を撮像する場合は低フレームレート／高解像度モードで撮影するなどといった撮影シーンに適応したモード選択をすることが行われている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１８８３６０号公報

【特許文献2】特開２００９－２９６４２３号公報

【特許文献3】特開２０２０－１４１４０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

一般にＡＤＣの動作速度は、ノイズ性能・ビット深度・消費電力・ＡＤＣ面積等の性能とトレードオフの関係にある。そして、多画素高速撮像素子では、上述のとおりＡＤ変換に許容される時間が短くなってくるため、ＡＤＣの動作速度の限界に起因して、ノイズ性能劣化・ビット深度不足・消費電力増大・チップ面積増大などの課題がある。

【0007】

また、特定の撮像性能に特化した動作モードを撮像素子に設けたとしても、３６０°映像などの広視野撮像を行う場合、同一撮像画面の中に複数の異なる特徴を持つ撮像シーンが同時に映り込むことが想定される。このとき、例えば、画面内の移動速度の速い被写体に合わせて高フレームレートモードでの撮像を選択すると、同一画面内に同時に映り込む静止した高精細な被写体の精細度が低下しまう。反対に、画面内の高精細な被写体に合わせて高解像度モードでの撮像を選択すると、移動速度の速い被写体がぼやけ、動きをとらえることができないという問題が生じる。

【0008】

さらに、撮像素子の動作モードを選択して撮影した場合、撮像素子の出力信号自体が選択された撮像性能の映像信号となるため、撮影後に画質の変更等を行うことができないという課題がある。

【0009】

したがって、上記のような問題点に鑑みてなされた本発明の目的は、撮像素子においてＡＤ変換速度を維持したまま、その出力信号の処理方法を変えることで、複数画素からなる画面領域ごとに選択された撮像性能を改善することができる撮像素子を提供することにある。

【0010】

また、上記のような問題点に鑑みてなされた本発明の目的は、撮像素子のＡＤ変換速度を維持したまま、画面領域ごとに指定した撮像性能（解像度、フレームレート、ノイズ性能のいずれか）を実質的に改善し、画面全体の実効的な画質を向上させた映像信号を出力することができる撮像装置を提供することにある。

【課題を解決するための手段】

【0011】

上記課題を解決するために本発明に係る撮像素子は、隣接する複数の画素からなる画素ブロックにブロック化されて制御される画素アレイと、前記画素ブロックの画素ブロック列に対応するカラム読出回路からなる信号読出回路を備える、撮像素子であって、前記カラム読出回路は、前記画素ブロックの各画素の画素信号に対して、それぞれ互いに異なるゲインを適用して積算する機能を有するアナログ積算器と、前記アナログ積算器の出力をデジタル信号に変換するＡＤＣ（アナログ／デジタル変換器）とを備えることを特徴とする。

【0012】

また、前記撮像素子は、前記カラム読出回路が、さらに、画素の信号レベルの出力から画素のリセットレベルの出力を減算する相関二重サンプリングを行うことが望ましい。

【0013】

また、前記撮像素子は、前記画素ブロックの画素数に対応するフレーム数を周期として、フレームごとに各画素の画素信号と適用されるゲインの組み合わせを異ならせることが望ましい。

【0014】

また、前記撮像素子は、前記カラム読出回路が、前記画素アレイの画素ブロック列の上側と下側に配置され、一方が奇数行、他方が偶数行の前記画素ブロックを制御することが望ましい。

【0015】

上記課題を解決するために本発明に係る撮像装置は、前記撮像素子と、前記画素ブロックごとに優先する撮像性能を指定するモード選択信号に基づいて、前記モード選択信号に応じた演算を前記撮像素子の出力信号に対して行い、映像信号を生成する信号処理部とを有することを特徴とする。

【0016】

また、前記撮像装置は、前記モード選択信号が、解像度優先、フレームレート優先、ノイズ性能優先のいずれかであることが望ましい。

【0017】

また、前記撮像装置は、前記モード選択信号が解像度優先のとき、前記画素ブロックの映像信号は、画素ごとに演算処理によって求められ、各画素は前記画素ブロックの画素数に対応するフレーム数の期間一定の信号値を出力することが望ましい。

【0018】

また、前記撮像装置は、前記モード選択信号が高フレームレート優先のとき、前記画素ブロックの映像信号は、フレームごとに求められ、前記画素ブロックの全画素は同一の信号値をフレームごとに出力することが望ましい。

【0019】

また、前記撮像装置は、前記モード選択信号がノイズ性能優先のとき、前記画素ブロックの映像信号は、前記画素ブロックの全画素が前記画素ブロックの画素数に対応するフレーム数の期間同一の信号値を出力することが望ましい。

【発明の効果】

【0020】

本発明における撮像素子によれば、ＡＤ変換速度を維持したまま、その出力信号の処理方法を変えることで、画面領域ごとに選択された撮像性能を改善することができる。

【0021】

また、本発明における撮像装置によれば、撮像素子のＡＤ変換速度を維持したまま、画面領域ごとに指定した撮像性能（解像度、フレームレート、ノイズ性能のいずれか）を実質的に改善し、画面全体の画質を向上させた映像信号を出力することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る撮像装置の構成例を示す図である。

【図2】本発明の一実施形態に係る撮像素子のブロック図の例である。

【図3】１画素（Pixel）の回路構成の一例を示す図である。

【図4】撮像素子の画素ブロック及びカラム読出回路の回路構成の一例を示す図である。

【図5】撮像素子の読出動作及び出力信号のタイミングの一例を示す図である。

【図6】撮像素子の駆動信号のタイミング図の一例である。

【図7】撮像素子における信号処理の一例を示す図である。

【図8】信号処理部のカラム信号処理部のブロック図の例である。

【図9】本発明の他の実施形態に係る撮像素子のブロック図の例である。

【発明を実施するための形態】

【0023】

以下、本発明の実施の形態について、図を用いて説明する。

【0024】

（実施の形態）
図１に、本発明の一実施形態に係る撮像装置の構成例を示す。撮像装置は、レンズ１、撮像素子２、信号処理部３で構成される。なお、撮像装置には、モード選択信号生成部４で生成されたモード選択信号Ｆが入力される。

【0025】

レンズ１は、被写体像を撮像素子２の画素アレイ受光面に結像する。撮像素子２は、被写体像を撮像素子出力信号Ｄ(1)，Ｄ(2)，…，Ｄ(H)に変換し、信号処理部３へ送信する。信号処理部３は、Ｈ個のカラム信号処理部５０を備えており、各カラム信号処理部(1)～(H)は、撮像素子出力信号Ｄ(1)，Ｄ(2)，…，Ｄ(H)とモード選択信号Ｆ(1)，Ｆ(2)，…，Ｆ(H)を受信し、出力映像信号Ｘ(1)，Ｘ(2)，…，Ｘ(H)をそれぞれ出力する。

【0026】

以下に撮像素子及び撮像装置の構成と動作原理の詳細を述べる。

【0027】

（１）撮像素子
図２に、本発明の撮像素子２のブロック図の例を示す。撮像素子２は、画素アレイ１００、行選択・画素駆動回路１１０、信号読出回路２００、駆動信号生成回路２１０を備えている。

【0028】

画素アレイ１００は、隣接するｋ×ｌ画素領域（水平ｋ個、垂直ｌ個、ｋ，ｌは２以上の整数）１０を１ブロック単位として、ブロック化して構成され、制御される。ここでは、画素アレイ１００が、２×２画素領域を画素ブロック１０とし、水平Ｈブロック×垂直Ｖブロック（水平２Ｈ画素×垂直２Ｖ画素)で構成されるとして説明する。なお、画素ブロック１０の大きさ（画素数）は、高フレームレート優先時の画像精細度等に基づいて自由に設定可能である。画素ブロック１列（垂直方向にＶ個並んだ画素ブロック１０）ごとに２本（ｋ本、すなわち、各画素列ごとに１本）の信号読出線が垂直方向に配線され、Ｈ個のカラム読出回路２０１にそれぞれ並列接続される。

【0029】

画素ブロック１０の各画素（本実施形態では、Pixel 1～Pixel 4）は、例えば、４Ｔｒ（トランジスタ）型画素で構成される。図３に、１画素（Pixel）の回路構成の一例を示す。画素は、フォトダイオード（ＰＤ）１１、転送ゲート１２、フローティングディフュージョン（ＦＤ）１３、出力トランジスタ（ソースフォロア回路）１４、選択トランジスタ１５、及びリセットトランジスタ１６を備えている。

【0030】

フォトダイオード（ＰＤ）１１は、入射光に応じて光電変換を行い、露光量に基づく信号電荷を生成する。

【0031】

転送ゲート１２は、電荷転送信号ＴＸにより制御され、信号ＴＸがＨｉｇｈになると導通し、フォトダイオード（ＰＤ）１１で生成された信号電荷をフローティングディフュージョン（ＦＤ）１３に転送する。

【0032】

フローティングディフュージョン（ＦＤ）１３は、実質的にコンデンサとして機能し、転送された信号電荷を蓄積する。信号電荷に基づくフローティングディフュージョン（ＦＤ）１３の電位が、出力トランジスタ１４のゲート電極に印加される。

【0033】

出力トランジスタ１４は、ソースフォロア回路を構成し、ゲート電極に印加された電圧に応じて、ソース側に出力信号（出力電圧）を出力する。

【0034】

選択トランジスタ１５は、行選択信号ＳＬにより制御され、信号ＳＬがＨｉｇｈになると導通し、出力トランジスタ（ソースフォロア回路）１４の出力信号を、信号読出線１７に出力する。

【0035】

リセットトランジスタ１６は、ＦＤリセット信号ＲＴにより制御され、信号ＲＴがＨｉｇｈになると導通し、フローティングディフュージョン（ＦＤ）１３に蓄積された信号電荷を排出し、画素の出力をリセットする。

【0036】

こうして、各画素ブロック１０の画素（Pixel 1～Pixel 4）からの出力信号が、信号読出線１７に出力される。なお、画素構造は、上述の４Ｔｒ型画素に限られず、入射光に基づいた出力信号を信号読出線１７に出力する構成を備えた画素であれば、任意の構造であってよい。

【0037】

図２に戻って、行選択・画素駆動回路１１０は、画素アレイ１００の行を選択すると共に、選択された行の画素を駆動する。行選択は画素ブロック１行（水平方向にＨ個並んだ画素ブロック１０）ごとに画素を選択・駆動する。行選択・画素駆動回路１１０は、同じ画素ブロック行（ｍ行）の画素ブロック１０を同一の制御信号で同時に駆動するが、画素ブロック１０内の画素（Pixel 1～Pixel 4）ごとに異なる画素選択信号及び駆動信号を供給し、各画素を制御する。本実施形態では、ｍ行目の画素ブロック１０の各画素（Pixel 1～Pixel 4）の選択信号をＳＬ₁(m)～ＳＬ₄(m)とし、画素駆動信号を、それぞれＴＸ₁(m)～ＴＸ₄(m)、ＲＴ₁(m)～ＲＴ₄(m)とする。

【0038】

信号読出回路２００は、画素アレイ１００の水平Ｈブロックに対応した、Ｈ個のカラム読出回路２０１（カラム読出回路(1)～(H)）からなる。カラム読出回路２０１は、信号が入力される上流側からスイッチトキャパシタ積算器（以下、ＳＣ積算器）２０、ＡＤＣ３０、及びデジタルＣＤＳ（以下、ＤＣＤＳ）４０で構成される。各カラム読出回路(1)～(H)は、選択・駆動された画素ブロック行の出力信号を読出し、積算・ＡＤ変換等の処理を行って、撮像素子出力信号Ｄ(1)，Ｄ(2)，…，Ｄ(H)として出力する。

【0039】

駆動信号生成回路２１０は、カラム読出回路(1)～(H)に対して、同一のＳＣ積算器制御信号及びＡＤＣ制御信号を供給し、さらにＤＣＤＳを制御する。各カラム読出回路２０１は、駆動信号生成回路２１０から供給された駆動信号により一斉に動作する。

【0040】

図４に、撮像素子２の画素ブロック１０及びカラム読出回路２０１の回路構成の一例を示す。

【0041】

画素ブロック１０は、例えば、図３で説明した４Ｔｒ型画素Pixel 1～Pixel 4で構成される。ここでは、ｎ列ｍ行目の画素ブロック１０が例示されている。画素ブロック１０には、行選択・画素駆動回路１１０から、ｍ行目の画素ブロック１０の各画素（Pixel 1～Pixel 4）を選択する信号ＳＬ₁(m)～ＳＬ₄(m)、画素駆動のための電荷転送信号ＴＸ₁(m)～ＴＸ₄(m)、及びＦＤリセット信号ＲＴ₁(m)～ＲＴ₄(m)が入力される。垂直方向に並んだPixel 1,3及びPixel 2,4の出力はそれぞれ同一の信号読出線１７に接続される。２本の信号読出線１７は、それぞれバイアス電圧Ｖ_bがゲートに与えられたソース接地ＮＭＯＳトランジスタ１８のドレイン端子に接続され、スイッチφ_L，φ_Rを介してＳＣ積算器２０の入力側に接続される。

【0042】

ＳＣ積算器２０は、サンプリング容量２１（容量Ｃ_1a），２２（容量Ｃ_1b），２３（容量Ｃ_1c）、積算容量２４（容量Ｃ₂）、ＯＰアンプ２５、及びスイッチφ_SMP，φ_AMP，φ_RT，φ_1b，φ_1cで構成される。スイッチφ_RTがＯＮ（導通）になることで、積算容量２４に積算された電荷が初期化される。スイッチφ_SMPがＯＮ、φ_AMPがＯＦＦになることで、入力電圧によるサンプリング容量へのチャージが行われる。スイッチφ_SMPがＯＦＦ、φ_AMPがＯＮになることでサンプリング容量にチャージされた電荷が積算容量２４へ転送される。ＳＣ積算器２０は、画素ブロック１０の画素数（ｋ×ｌ個：本実施形態では４個）に対応して、上記のサンプリング及び電荷転送動作を４回（ｋ×ｌ回）行い、入力電圧の積算動作を行う。すなわち、ＳＣ積算器２０は、アナログ積算器として機能する。

【0043】

ＳＣ積算器２０のサンプリング容量はスイッチφ_1b，φ_1cが動作することで、Ｃ_1a，Ｃ_1a＋Ｃ_1b，Ｃ_1a＋Ｃ_1c，Ｃ_1a＋Ｃ_1b＋Ｃ_1cのいずれかを選択することができる。それぞれのサンプリング容量選択時に積算動作で入力信号に与えられるゲインをそれぞれＧ₁，Ｇ₂，Ｇ₃，Ｇ₄とすると、ゲインＧ₁～Ｇ₄はそれぞれ以下の式（１）～（４）で与えられる。

【0044】

【数1】

【0045】

【数2】

【0046】

【数3】

【0047】

【数4】

【0048】

ただし、Ｇ₁～Ｇ₄は、次式（５）で示される行列Ｇの逆行列Ｇ^-1が存在するよう設定される必要がある。

【0049】

【数5】

【0050】

本実施形態では、ゲインをＧ₁＝１，Ｇ₂＝２，Ｇ₃＝３，Ｇ₄＝４（Ｃ_1a＝Ｃ₂，Ｃ_1b＝Ｃ₂，Ｃ_1c＝２Ｃ₂）と設定する。なお、この値は一例であり、ゲインＧ₁～Ｇ₄の値は、互いに異なる値であって、（５）式で示される行列Ｇの逆行列Ｇ^-1が存在する条件を満たせば任意に設定することができる。また、画素ブロックがｋ×ｌ画素の場合は、ｋｌ種類のゲインＧ₁～Ｇ_klを用い、（５）式はＧ₁～Ｇ_klを要素として持つｋｌ×ｋｌ行列となる。

【0051】

ＡＤＣ３０は、ＳＣ積算器２０の出力をデジタル信号に変換する。

【0052】

ＤＣＤＳ４０は、メモリ４１と加算器４２を備えている。画素リセットレベルのＡＤＣ出力をメモリ４１に記憶し、続いて出力される画素信号レベルのＡＤＣ出力からリセットレベルＡＤＣ出力を減算することで、撮像素子出力信号を得る。出力信号は各カラム読出回路２０１から並列に、信号Ｄ(n) （ｎ＝1,2,…,H）として撮像素子２から出力される。

【0053】

図５に、撮像素子２の読出動作及び出力信号のタイミング図の一例を示す。行選択・画素駆動回路１１０は1フレーム期間Ｔ_f＝1/ｆ_f（ｆ_fはフレーム周波数）に画素ブロック１行目からＶ行目までの走査をおこなう。本実施形態では、画素ブロック１０の画素数に対応するフレーム数を周期（ｋ×ｌフレーム周期、ここでは４フレーム周期）として、読出回路はフレームごとに異なる読出動作を行う。すなわち、第１フレームでは読出動作（Ａ）、第２フレームでは読出動作（Ｂ）、第３フレームでは読出動作（Ｃ）、第４フレームでは読出動作（Ｄ）をそれぞれＶ回繰り返すことで各フレームの出力信号を得る。画素ブロック１行あたりのそれぞれ１回の読出動作期間はＴ_H＝Ｔ_f／Ｖ＝1/ｆ_f／Ｖである。

【0054】

図６は、撮像素子の駆動信号のタイミング図の一例である。読出動作（Ａ）～（Ｄ）のそれぞれに対し、スイッチφ_1b，φ_1cの動作タイミングのみ（Ａ）～（Ｄ）でそれぞれ動作が異なり、その他の動作タイミングは全フレーム（読出動作（Ａ）～（Ｄ））で共通である。

【0055】

画素駆動信号ＳＬ，ＲＴ，ＴＸ、及びスイッチφ_L，φ_Rの動作によりリセットレベル（Pixel 1→2→3→4）、信号レベル(Pixel 1→2→3→4)の順でＳＣ積算器２０に対して画素の信号が入力される。

【0056】

ＳＣ積算器２０はスイッチφ_RTにより積算容量２４のチャージをリセットしたのち、リセットレベルPixel 1～4のそれぞれの信号をスイッチφ_1b，φ_1cの動作に応じた異なるサンプリング容量でチャージし、チャージした電荷を積算容量２４に転送して積算する。このとき、各入力信号にはサンプリング容量に応じた前述の式（１）～（４）で表されるゲイン（Ｇ₁～Ｇ₄）が適用される。積算後の積算器の出力電圧はＡＤＣ３０によってデジタル信号に変換される。その後、スイッチφ_RTにより積算容量２４のチャージをリセットし、続いて入力される信号レベルPixel 1～4の信号に対しても上記と同じ動作を行い、ＡＤＣ３０のデジタル信号を得る。

【0057】

ＤＣＤＳ４０は２つのデジタル信号を減算し、撮像素子出力信号を生成する。ｍ行ｎ列目（ｍ＝1,2,…,V、ｎ＝1,2,…,H）の画素ブロックから読み出される第ｉフレーム（ｉ＝1,2,3,4）の撮像素子出力をＤ_mn,iと表記すると、Ｄ_mn,iは以下の式（６）で表される。

【0058】

【数6】

【0059】

ここでＳ_mn,ijはｍ行ｎ列目画素ブロックにおける第ｉフレーム（ｉ＝1,2,3,4）、Pixel j （ｊ＝1,2,3,4）、の画素信号（信号レベルとリセットレベルの差）を表す。式（６）は、ゲインＧ₁～Ｇ₄を巡回させて画素信号に掛け合わせており、フレームごとに、各画素の画素信号と画素信号に適用されるゲインの組み合わせを異ならせている。式（６）で表される信号群は撮像素子出力信号Ｄ(n)として下記（７）式の出力順で出力される。

【0060】

【数7】

【0061】

図７に、撮像素子における信号処理の一例を図示する。図７は、上述した撮像素子のｎ列目の信号演算を示している。左側から、画素ブロックのｎ列目の第１フレーム、第２フレーム、第３フレーム、第４フレームの画素信号（Ｓ_mn,ij：第ｉフレーム、Pixel j）である。これらの画素信号は、フレームごとに、読出動作（Ａ）～（Ｄ）による演算（上記の（６）式）がなされる。この演算結果のそれぞれＤ_mn,i（ｉはフレーム）を順に並べて、撮像素子出力信号Ｄ(n)とする。この撮像素子出力信号Ｄ(n)が、信号処理部３へ送信される。

【0062】

本発明の撮像素子は、ＡＤ変換速度を維持したまま、上記の処理が行われた撮像素子出力信号Ｄ(n)を常に出力する。この撮像素子出力信号Ｄ(n)は、後述のとおり処理方法を変えることで、画面領域ごとに選択された撮像性能を改善することができる。

【0063】

（２）モード選択信号生成部
モード選択信号生成部４は、モード選択信号Ｆを生成する。カラム読出回路(n)に入力されるモード選択信号Ｆ(n)は、以下の式（８）で表される。

【0064】

【数8】

【0065】

モード選択信号Ｆ(n)の各要素Ｆ_mnはｎ列ｍ行目画素ブロックにおいて優先する撮像性能を指定する。本実施形態では、０のとき解像度優先、１のときフレームレート優先、２のときノイズ性能優先と定義する。モード選択信号Ｆ(n)の生成手法は本発明において限定されないが、撮影映像のフィードバック信号とすることが望ましい。例えば、本撮像装置若しくは別の撮像装置で取得した映像信号の時空間の周波数成分・ノイズ成分を解析し、その結果をもとにモード選択信号Ｆ(n)をリアルタイムに生成する方法などが考えられる。

【0066】

また、モード選択信号Ｆ(n)の要素Ｆ_mn（要素Ｆ_mnを単にモード選択信号ということがある）の設定にあたっては、画素信号が後述の条件式（１３）～（１５）のいずれを満たすかにより、モード選択信号Ｆ_mnを選択することが望ましい。また、モード選択信号Ｆ_mnは、画素ブロックの画素数に対応した読出動作のまとまり（本実施形態では、４フレーム）に１回の周期で更新されることが望ましい。或いは、被写体の移動速度や撮影シーンの時間変化速度に応じて適切な更新周期を選択してもよい。

【0067】

なお、本実施形態では、モード選択信号生成部４は、撮像装置の外部に配置されているが、必要に応じて、撮像装置の内部に設けてもよい。

【0068】

（３）信号処理部
信号処理部３は、複数（Ｈ個）のカラム信号処理部５０から構成され、モード選択信号に応じた演算を撮像素子２の出力信号に対して行う。図８に、信号処理部３のカラム信号処理部５０のブロック図の例を示す。カラム信号処理部(n)は撮像素子の撮像素子出力信号Ｄ(n)及びモード選択信号Ｆ(n)を受信し、出力信号Ｘ(n)を生成する。カラム信号処理部５０は、メモリ５１と演算部５２を備えている。メモリ５１は、撮像素子出力信号Ｄ(n)の要素数に応じた４Ｖ（ｋ×ｌ×Ｖ）個の信号を保持できるメモリ容量を有している。また、演算部５２は、例えば、ＣＰＵ（Central Processing Unit）等の演算素子で構成されている。

【0069】

入力された撮像素子出力信号Ｄ(n)は、メモリ５１に一旦記憶される。その後、画素ブロック１０のアドレス（ｍ，ｎ）が同一でフレーム番号ｉがそれぞれ異なるＤ_mn,1，Ｄ_mn,2，Ｄ_mn,3，Ｄ_mn,4が同時に演算部５２に送信される。

【0070】

演算部５２は、受信したＤ_mn,1，Ｄ_mn,2，Ｄ_mn,3，Ｄ_mn,4に対して、画素ブロックごとに優先する撮像性能を指定するモード選択信号のＦ_mnの値に対応した、以下の（ｉ）～（iii)のいずれかに示される演算を行う。

【0071】

【数9】

【0072】

【数10】

【0073】

【数11】

【0074】

ここで、Ｘ_mn,ijは、ｍ行ｎ列目画素ブロックにおける第ｉフレーム（ｉ＝1,2,3,4）、Pixel j （ｊ＝1,2,3,4）、の出力信号（画素単位の映像信号）を示す。したがって、式（９）によれば、各画素が異なる演算処理により異なる信号値を出力する（解像度の情報を有する）が、画素数に対応するフレーム期間（４フレームの間）はそれぞれ一定の信号値を出力する（フレーム方向の情報は失われる）こととなる。式（１０）によれば、画素ブロックの出力信号はフレームごとに求められる（フレーム方向の情報を有する）が、画素ブロック内の全画素は同一の信号値を出力する（解像度の情報は失われる）こととなる。また、式（１１）によれば、画素ブロック内の全画素は、画素数に対応するフレーム期間（４フレームの間）同一の信号値を出力する（解像度の情報もフレーム方向の情報も失われる）が、ノイズは低減する。

【0075】

上記演算をｍ＝１，２，…，Ｖに対して実行することで、式（１２）で表される出力映像信号Ｘ(n)を生成する。

【0076】

【数12】

【0077】

上記の（ｉ）～（iii)の条件に対応した式（９）～（１１）を演算する場合において、特に画素信号Ｓ_mn,ijが式（１３）～（１５）で表される以下の条件を満たすときは、モード選択信号Ｆ_mnで指定される撮像性能が向上し、かつそれに伴って犠牲となる撮像性能の影響が限定的になる。

【0078】

【数13】

【0079】

【数14】

【0080】

【数15】

【0081】

例えば、式（１３）は隣接する２×２画素から出力される連続する４フレームの信号について、４つの画素それぞれが互いに異なる信号を出力しているが、フレーム方向には信号がほぼ変化しないことを意味する。例えば、静止した高精細な被写体が撮像される領域が該当する。

【0082】

また、式（１４）は隣接する２×２画素から出力される連続する４フレームの信号について、フレーム毎に見ると４つの画素がほぼ等しい信号を出力しているが、フレーム方向には信号が互いに異なることを示している。例えば、高速で動く被写体の撮像領域で動きぼやけが大きい場合や、ある被写体の動きをフォローする際にデフォーカスした背景が流れている領域などが該当する。

【0083】

また、式（１５）は連続する４フレーム方向にも隣接する２×２画素についても出力信号がほぼ等しいことを意味する。例えばカメラを固定した状態で空や平坦な壁などの動きが少なくかつ微細なパターンのない被写体が撮像される領域や、デフォーカスした静止物体の撮像領域などが該当する。

【0084】

式（９）～（１１）の演算によって得られる撮像装置の出力信号Ｘ_mn,ijはそれぞれ式（１３），式（１４），式（１５）で示される条件を満たす限りにおいては

【0085】

【数16】

【0086】

とみなすことができる。すなわち、任意のｍ，ｎに対して式（１３），式（１４），式（１５）の条件下で式（９），式（１０），式（１１）の演算行うことで、モード選択信号（Ｆ_mn）で指定される撮像性能を局所的に向上させることができる。

【0087】

例えば、式（１３）が満たされる条件下で式（９）の演算を行うと、局所的な解像度を２Ｈ×２Ｖ相当とした撮像が実現できる。このとき、フレームレートはｆ_f／４相当となるが、式（１３）の条件より、フレームレート低下の影響は限定的である。また、式（１４）が満たされる条件において式（１０）の演算を行うことで、局所的にフレームレートｆ_fの撮像が実現できる。このとき、解像度はＨ×Ｖ相当に低下するが、式（１４）の条件よりその影響は限定的である。式（１５）が満たされる条件において式（１１）による演算を行うと、撮像素子における積算動作に加えて信号処理部で撮像素子出力信号の加算平均を行うため局所的にランダムノイズ成分を低減した撮像が実現できる。解像度Ｈ×Ｖ相当かつフレームレートｆ_f／４となるが、式（１５）の条件よりそれらの影響は限定的である。

【0088】

本発明における撮像装置によれば、画素ブロックの出力信号Ｓ_mn,ijが式（１１）～（１３）で示されるいずれかの条件を満たす場合においては、フィードバック信号として適切に設定されたモード選択信号（Ｆ_mn）を入力することで、各領域において指定された撮像性能を優先（解像度２Ｈ×２Ｖ画素／フレームレートｆ_fの維持／低ノイズ動作のいずれかを選択）することができ、かつそれに伴い犠牲となる撮像性能の画質への影響を限定的にすることができる。

【0089】

従来技術では領域ごとに撮像性能を変化させることができなかったが（例えばＡＤＣの動作速度制約から与えられた最小の変換期間Ｔ_H（Ｔ_H＝1/ｆ_f/Ｖ）に対して、全画面一律に画素数Ｈ×Ｖ、フレームレートｆ_fの撮像しか実現できなかった）、一方、本発明によれば、空間周波数が高く時間周波数が低い領域では解像度優先、空間周波数が低く時間周波数が高い領域ではフレームレート優先、どちらも低い領域ではノイズ優先とすることで、画面全体の画質を従来技術よりも向上させられる。また、撮影後の撮像素子の出力信号に対し、その後の信号処理を変えることにより、指定した撮像性能を改善することができる。

【0090】

（他の実施の形態）
図９に、本発明の他の実施形態に係る撮像素子のブロック図の例を示す。

【0091】

前記した実施形態では画素アレイ１００の下側にＨ個のカラム読出回路２０１を設け、画素ブロック列に対して並列に読出回路を接続していたが、画素ブロック列に対するカラム読出回路の並列数は任意である。例えば、図９に示すように、画素アレイ１００の（画素ブロック列の）上側と下側に信号読出回路（カラム読出回路２０１）を設け、カラム読出回路２０１の総数を２Ｈ個に増やしてもよい。この場合、図９のように例えば画素ブロックの奇数行を上側回路への信号線と接続し、偶数行は下側回路への信号線と接続するなどの配線構造を用いることで、信号読出回路２００のカラムピッチは一定のまま画素ブロック列に対してカラム読出回路２０１の並列数が２倍とできる。このため、同一の変換期間Ｔ_Hに対するフレームレートｆ_fを２倍にすることができる。

【0092】

また、前記した実施形態では、ＤＣＤＳ４０を用いてＣＤＳ動作をデジタル領域で行っているが、ＳＣ積算器２０の前段（スイッチφ_R，φ_LとＳＣ積算器のサンプリング容量の間）にアナログＣＤＳ回路を設置して、アナログ領域によるＣＤＳを行ってもよい。その場合、実施形態で示した信号レベルとリセットレベル両方の積算及びＡＤ変換動作は必要なく、アナログＣＤＳの出力信号のみを積算及びＡＤ変換して出力すればよい。

【0093】

モード選択信号（Ｆ_mn）の生成手法は上記の実施形態で例示したほかに、以下（ａ）～（ｃ）に示すような手法が考えられる。

【0094】

（ａ）ユーザーが任意に設定した値を固定値若しくはある更新頻度で更新される値として入力する。

【0095】

（ｂ）距離センサで取得した被写体の位置・位置情報とレンズパラメータ（フォーカス位置・焦点距離・f値）などから画面の注目領域やフォーカス合焦領域、被写体移動速度等を判断し、その結果をもとにリアルタイムに生成する。

【0096】

（ｃ）オブジェクト認識等の画像解析技術を用いて被写体ごとに領域を分け、それぞれの被写体の特性（推定される空間周波数成分や移動速度）に応じた適切なモード選択信号Ｆ_mnを自動で与える。

【0097】

上記の実施の形態１では、撮像素子及び撮像装置の構成と動作について説明したが、本発明はこれに限らず、撮像された信号を処理する信号処理方法として構成されてもよい。すなわち、各図のデータの処理に従って、画素で撮像された信号をモード選択信号に基づいて処理する信号処理方法として構成されても良い。

【0098】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態に記載の各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロック、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0099】

１ レンズ
２ 撮像素子
３ 信号処理部
４ モード選択信号生成部
１０ 画素ブロック
１１ フォトダイオード（ＰＤ）
１２ 転送ゲート
１３ フローティングディフュージョン（ＦＤ）
１４ 出力トランジスタ
１５ 選択トランジスタ
１６ リセットトランジスタ
１７ 信号読出線
１８ ＮＭＯＳトランジスタ
２０ スイッチトキャパシタ（ＳＣ）積算器
２１～２３ サンプリング容量
２４ 積算容量
２５ ＯＰアンプ
３０ ＡＤＣ（アナログ／デジタル変換器）
４０ デジタルＣＤＳ（相関二重サンプリング）
４１ メモリ
４２ 加算器
５０ カラム信号処理部
５１ メモリ
５２ 演算部
１００ 画素アレイ
１１０ 行選択・画素駆動回路
２００ 信号読出回路
２０１ カラム読出回路
２１０ 駆動信号生成回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】