IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-17
(45)【発行日】2022-06-27
(54)【発明の名称】撮像素子及び撮像装置
(51)【国際特許分類】
   H04N 5/378 20110101AFI20220620BHJP
   H04N 5/3745 20110101ALI20220620BHJP
【FI】
H04N5/378
H04N5/3745
【請求項の数】 9
(21)【出願番号】P 2017206379
(22)【出願日】2017-10-25
(65)【公開番号】P2019080199
(43)【公開日】2019-05-23
【審査請求日】2020-10-21
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】内田 峰雄
【審査官】橘 高志
(56)【参考文献】
【文献】特表2016-513942(JP,A)
【文献】特開2014-195112(JP,A)
【文献】特開2016-184843(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/378
H04N 5/3745
(57)【特許請求の範囲】
【請求項1】
光電変換を行うための複数の画素を行列状に配置した画素アレイを有する第1の基板と、前記光電変換に基づく第1の信号を処理する複数の信号処理部を行列状に配置した回路アレイと前記信号処理部にて処理された第2の信号を外部へ転送する転送部とを有する第2の基板とを積層した撮像素子であって、
前記画素アレイは複数の画素によって形成される複数の画素ブロックを含み、
前記信号処理部と対応する画素ブロックとは複数の第1の信号線によって接続され、
前記信号処理部と対応する前記転送部とは複数の第2の信号線によって接続され、
前記信号処理部は前記複数の第1の信号線から入力される前記第1の信号をアナログデジタル変換する変換回路を備え、
前記転送部は前記第2の基板において前記回路アレイに対して前記第1の信号線が設けられた第1の方向とは異なる方向に配置されていることを特徴とする撮像素子。
【請求項2】
前記画素ごとに複数の光電変換部を備えることを特徴とする請求項1に記載の撮像素子。
【請求項3】
前記信号処理部は前記変換回路に対して前記複数の第1の信号線の中からいずれの信号線を接続するかを選択する選択部をさらに備えることを特徴とする請求項1または2に記載の撮像素子。
【請求項4】
前記画素ブロックは同一列に含まれる画素のみを含み、前記第1の信号線は列方向に設けられかつ前記第2の信号線は前記第1の方向と直交する第2の方向に設けられ、
前記転送部は前記第2の基板において前記回路アレイに対して前記第2の方向に設けられていることを特徴とする請求項1乃至3のいずれか1項に記載の撮像素子。
【請求項5】
前記転送部は前記第2の基板において前記回路アレイを前記第2の方向において挟む位置に設けられていることを特徴とする請求項4に記載の撮像素子。
【請求項6】
前記第2の信号線は前記回路アレイにおける行ごとに複数の信号を転送可能に構成されていることを特徴とする請求項1乃至5のいずれか1項に記載の撮像素子。
【請求項7】
前記転送部は前記第2の信号を外部へ転送するための複数の出力部を備え、
前記転送部は前記第2の信号を外部へ転送るために用いられる前記出力部の数を切り替え可能なことを特徴とする請求項1乃至6のいずれか1項に記載の撮像素子。
【請求項8】
前記転送部が転送する前記第2の信号の順序は、対応する前記画素アレイにおける画素の位置に対応することを特徴とする請求項1乃至7のいずれか1項に記載の撮像素子。
【請求項9】
請求項1乃至8のいずれか1項に記載の撮像素子と、
前記撮像素子から前記変換回路から出力されるデジタル信号を取得する取得手段と、
前記撮像素子の駆動を制御する駆動制御手段とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子及び撮像装置に関する。
【背景技術】
【0002】
近年、CMOSセンサなどの撮像素子を用いた撮像装置では、多機能化が進み、静止画や動画などの撮像画像の生成だけでなく、例えば特許文献1には、撮像素子から得られた信号を用いて瞳分割方式の焦点検出が可能な構成とした撮像装置が開示されている。特許文献1に記載の構成では、データ量が増加して読み出し時間が長くなり、フレームレートの低下および消費電力の増加が発生していた。また、特許文献2には、撮像素子におけるアナログデジタル変換回路(いか、ADC回路と表記する)の省電力化を目的として、画素ブロックごとの演算部の演算結果に応じて動作状態とスタンバイ状態を切り替える制御が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2001-124984号公報
【文献】特開2016-184843号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献2における各画素は撮像画像を取得する従来からの構成を前提としており、画素ブロックをどのように構成するのかは明確化されていない。さらに、特許文献1のように撮像画像を生成する以外の焦点検出を取得可能な画素構成の場合などにおいてどのように画素ブロックを構成し、それぞれを制御するのかも明確ではなく、かえって消費電力を増加させてしまう懸念もある。
【0005】
本発明の目的は、データ量の増加によるフレームレートの低下を抑制しつつ、撮像素子の省電力化を実現することを可能とする撮像素子及び撮像装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明に係る撮像素子は、光電変換を行うための複数の画素を行列状に配置した画素アレイを有する第1の基板と、前記光電変換に基づく第1の信号を処理する複数の信号処理部を行列状に配置した回路アレイと前記信号処理部にて処理された第2の信号を外部へ転送する転送部とを有する第2の基板とを積層した撮像素子であって、前記画素アレイは複数の画素によって形成される複数の画素ブロックを含み、前記信号処理部と対応する画素ブロックとは複数の第1の信号線によって接続され、前記信号処理部と対応する前記転送部とは複数の第2の信号線によって接続され、前記信号処理部は前記複数の第1の信号線から入力される前記第1の信号をアナログデジタル変換する変換回路を備え、前記転送部は前記第2の基板において前記回路アレイに対して前記第1の信号線が設けられた第1の方向とは異なる方向に配置されていることを特徴とする。
【発明の効果】
【0007】
本発明によれば、データ量の増加によるフレームレートの低下を抑制しつつ、撮像素子の省電力化を実現することを可能とする撮像素子及び撮像装置を提供することができる。
【図面の簡単な説明】
【0008】
図1】本発明の第1の実施形態による撮像装置の概略構成を示すブロック図である。
図2】本発明の第1の実施形態による撮像素子の概略構成を示すブロック図である。
図3】本発明の第1の実施形態による撮像装置における撮像素子の画素配列の一例を示す平面図である。
図4】撮像光学系の射出瞳から出る光束と単位画素との関係を示す模式図である。
図5】撮像素子の2つの副画素から得られる像信号波形の例を示すグラフである。
図6】本発明の第1の実施形態による撮像装置における撮像素子の構成の一例を示す概略図である。
図7】本発明の第1の実施形態による撮像装置における撮像素子の単位画素の回路構成の一例を示す図である。
図8】本発明の第1の実施形態による撮像装置における撮像素子の列共通読み出し回路の構成の一例を示す図である。
図9】本発明の第1の実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図10】本発明の第1の実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図11】本発明の第2実施形態による撮像装置における撮像素子の列共通読み出し回路の構成の一例を示す図である。
図12】本発明の第2実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図13】本発明の第2実施形態による画素ブロックの例である。
図14】本発明の第3実施形態による撮像装置における撮像素子の列共通読み出し回路の構成の一例を示す図である。
図15】本発明の第3実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図16】本発明の第4実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図17】本発明の第4実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図18】本発明の第4実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図19】本発明の第5実施形態による撮像装置における撮像素子の構成の一例を示す概略図である。
図20】本発明の第5実施形態による撮像装置における撮像素子の配線の一例を示す概略図である。
図21】本発明の第5実施形態による撮像装置における撮像素子の列共通読み出し回路の構成の一例を示す図である。
図22】本発明の第6実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図23】本発明の第7実施形態による画素ブロックの例である。
図24】本発明の第7実施形態による撮像装置における撮像素子の構成の一例を示す概略図である。
図25】本発明の第7実施形態による補正パラメータの構成図である。
図26】本発明の第8実施形態によるADC回路の内部構成図である。
図27】本発明の第8実施形態によるADC回路の動作を示すタイミングチャートである。
図28】本発明の第9実施形態による撮像素子の内部構成の説明図である。
図29】本発明の第9の実施形態による撮像装置における撮像素子の列共通読み出し回路の構成の一例を示す図である。
図30】本発明の第9の実施形態による信号処理部21より後段の回路ブロックの構成を示す図である。
図31】本発明の第9の実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図32】本発明の第9の実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図33】本発明の第9の実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図34】本発明の第9の実施形態の変形例1による信号処理部21より後段の回路ブロックの構成を示す図である。
図35】本発明の第9の実施形態の変形例1による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
図36】本発明の第9の実施形態の変形例2による信号処理部21より後段の回路ブロックの構成を示す図である。
【発明を実施するための形態】
【0009】
(第1の実施形態)
本発明の第1の実施形態による撮像素子及び撮像装置について、各図を用いて説明する。その際、全ての図において同一の機能を有するものは同一の数字を付けし、その繰り返しの説明は省略する。
【0010】
はじめに、本実施形態による撮像装置100の概略構成について、図1を用いて説明する。
【0011】
本実施形態における撮像装置100は、図1に示すように、第1レンズ群101、絞り102、第2レンズ群103、第3レンズ群104、光学的ローパスフィルタ105、撮像素子106を有している。また、撮像装置100は、絞りアクチュエータ117、フォーカスアクチュエータ118、絞り駆動回路115、フォーカス駆動回路116を有している。また、撮像素子106は、信号処理部107を含む。撮像装置100はさらに、DFE(Digital Front End)108、DSP(Digital Signal Processer)109を有している。また、撮像装置100は、表示部111、RAM112、タイミング生成回路(TG)113、CPU114、ROM119、記録媒体110を有している。
【0012】
第1レンズ群101、絞り102、第2レンズ群103、第3レンズ群104及び光学的ローパスフィルタ105は、被写体側からこの順番で光軸に沿って配置されており、これらによって撮像光学系を構成している。撮像光学系は、被写体の光学像を形成するための光学系に相当する。第1レンズ群101は、撮像光学系の最前部(被写体側)に配置されたレンズ群であり、光軸方向に沿って進退可能に保持されている。絞り102は、その開口径を調節することで撮像時の光量調節を行う機能を備える。第2レンズ群103は、絞り102と一体となって光軸方向に沿って進退し、第1レンズ群101の進退動作との連動により、変倍動作(ズーム機能)を実現する。第3レンズ群104は、光軸方向に沿った進退により、焦点調節を行う機能を備える。光学的ローパスフィルタ105は、撮像画像の偽色やモアレを軽減するための光学素子である。
【0013】
なお、本実施形態では、撮像光学系を有するレンズ装置を撮像装置100の本体と一体的に構成した例を示すが、本発明の実施形態はこれに限定されるものではない。本発明は、撮像装置本体と、撮像装置本体に着脱可能に取り付けられたレンズ装置(撮像光学系)とにより構成された撮像システムにも適用可能である。
【0014】
絞りアクチュエータ117は、絞り102の開口径を変更する機構を備えたものである。絞り駆動回路115は、絞りアクチュエータ117により絞り102の開口径を制御して撮像光量を調節するとともに静止画撮像時の露光時間制御を行なうための駆動回路である。フォーカスアクチュエータ118は、第3レンズ群104を光軸方向に沿って進退駆動する機構を備えたものである。フォーカス駆動回路116は、フォーカスアクチュエータ118を駆動することにより焦点位置を調節するための駆動回路である。
【0015】
撮像素子106は、撮像光学系の結像面に配置された2次元CMOSイメージセンサである。本実施形態の撮像素子106は、図2に示すように通常のイメージセンサとは異なり、積層構造を有する積層型イメージセンサである。より詳細には、入射光に対して光電変換を行う画素部11を含む第1の基板10と、画素部11からの信号を処理する信号処理部21および周辺回路等を含む第2の基板20とを積層した積層型の構成を有している。画素部11及ぶ信号処理部21は各基板内において行方向および列方向に周期的に複数個が配列されている。なお、本実施形態においては2枚の基板を積層した構造としているが、より多くのの基板を積層してもよい。例えば、DRAM等のメモリを有する基板や、異なる信号処理回路を含む基板を積層することにより新たな機能を撮像素子106に持たせることが可能となる。なお、本実施形態において第2の基板に含まれる周辺回路には、電源回路、タイミング生成回路、レジスタ、出力アンプ等が含まれる。
【0016】
撮像素子106は、撮像光学系により結像された被写体像(光学像)を光電変換により電気信号に変換する。なお、本明細書では、撮像素子106を、撮像部と表記することもある。TG113は、撮像素子106等を所定のタイミングで駆動するための駆動信号を撮像素子106等に供給するためのものである。駆動信号には、撮像素子106を動作させるためのクロック信号や同期信号を含み、さらには撮像素子106の駆動を選択するためのモード変更用の各種設定パラメータ等を含む。なお、TG113は撮像素子106の内部に内部TGとして設けるようにしてもよく、外部から供給される同期信号に基づいて駆動信号を生成する構成としてもよい。また、撮像素子106の駆動を選択するためのモードとしては、少なくとも静止画用モード、動画用モード、ライブビューモードを備えている。
【0017】
信号処理部107は、撮像素子106内に設けられ、少なくとも画素部から出力されるアナログ画像信号をデジタル画像信号に変換するADC回路を備えている。
【0018】
DFE108は、撮像素子106から出力されるデジタル画像信号に対して所定の演算処理を実行する機能を備えている。DSP109は、DFE108から出力されるデジタル画像信号に対する補正処理や現像処理などを行う機能を備えている。DSP109は、また、画像信号(デジタル画像信号)から焦点ずれ量を算出するAF(オートフォーカス)演算を行う機能も備えている。また、DFE108およびDSP109はFPGA回路等のリコンフィギュアブル回路を備える。外部からの設定によってさまざまな回路構成をとることによって、複雑な補正動作等を少ない回路資源で実現することができる。
【0019】
表示部111は、撮像画像や各種のメニュー画面などを表示する機能を備えている。表示部111には、液晶ディスプレイ(LCD)や有機ELディスプレイ(OLED)などが用いられる。RAM112は、撮像画像のデータなどを一時的に記憶するためのランダムアクセスメモリである。ROM119は、各種補正データや所定の処理を実行するためのプログラムなどを記憶するリードオンリメモリである。記録媒体110は、撮像画像のデータを記録するためのものである。記録媒体110は、例えばSDメモリカードのような不揮発性半導体メモリを用いたメモリカード等、着脱可能なものでもよい。RAM112、ROM119、記録媒体110は、DSP109に接続されている。
【0020】
CPU114は、撮像装置100の全体の制御を司る制御装置であり、各構成要素の制御を統括的に行う。それと共に及び各種設定パラメータ等の設定を各構成要素に対して行う。また、CPUは114、データを電気的に書き込み・消去可能なキャッシュメモリ等を含み、これに記録されたプログラムを実行する。なお、メモリは、CPUが実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。また、CPU114は、撮像素子106から出力される信号の解析や画像処理も行う。解析結果は画像情報として出力される。なお、画像情報は画像の解析結果であって、被写体の輝度や色だけではなく、物体(人体を含む)の有無及び特長、物体の位置/速度/加速度、特定被写体の検出結果等を含む。また、CPU114は、DSP109から出力されるAF演算結果に基づいてフォーカス駆動回路116を制御し、フォーカスアクチュエータ118によって撮像光学系の焦点位置の調節を行う。
【0021】
次に、本実施形態による撮像装置100における撮像素子106の画素配列の一例について、図3を用いて説明する。なお、図3に示す画素配列は第1の基板10に含まれる画素部11の配列に相当する。
【0022】
撮像素子106は、例えば図3に示すように、複数の画素部11(単位画素)が行方向及び列方向に沿って2次元アレイ状に配列された画素領域PA(画素アレイ)を有している。画素領域PAは、特に限定されるものではないが、例えば4000行×8000列の画素部11の画素アレイを含むことができる。なお、図3には、これらのうち、6行×8列の画素アレイを抜き出して示している。
【0023】
それぞれの画素部11は、2つのフォトダイオード(以下、「PD」と表記する)401a,401bと、1つのマイクロレンズ(図示せず)と、カラーフィルタ(図示せず)とを含む。PD401a及びPD401bは、それぞれ、画素部11内に構成される2つの副画素a及び副画素bの光電変換部である。マイクロレンズは、画素部11に1つずつ設けられており、入射した光を同じ画素部11の2つの光電変換部に集光する。
【0024】
図2の画素部11内に示している符号a,bは、左右に瞳分割された副画素a,bを表している。副画素aから出力される出力信号a(A信号)及び副画素bから出力される出力信号b(B信号)は、焦点検出に利用される焦点検出信号である。また、A信号とB信号とを加算して得られる信号(A+B信号)は、画像生成(撮像画像の生成)に用いられる。また、符号R,G,Bは、カラーフィルタの色(分光特性)を表しており、Rは赤フィルタ、Gは緑フィルタ、Bは青フィルタである。1つの画素部11を構成する2つのPD401a,401bには、同じ色のカラーフィルタが割り当てられている。なお、図2には、いわゆるベイヤー配列によりカラーフィルタを配置した例を示しているが、カラーフィルタの配置は、これに限定されるものではない。また、瞳の分割方向としては左右には限定されず上下であったり、2分割以上に分割するようにしたりしてもよい。
【0025】
次に、撮像光学系(撮像レンズ)の射出瞳から出る光束と撮像素子106の画素部11との関係について、図4を用いて説明する。画素部11は、PD401a,401bと、PD401a,401bの上に配置されたカラーフィルタ201及びマイクロレンズ202とを含む。この画素部11に、撮像光学系(撮像レンズ)の射出瞳203を通過した光束が、撮像光学系の光軸204を中心として入射する場合を想定する。撮像光学系(撮像レンズ)の射出瞳203のうち互いに異なる瞳領域(一部領域)205,206を通過する光束に着目すると、これらのうち瞳領域205を通過した光束は、マイクロレンズ202を介して、副画素aのPD401aにより受光される。一方、瞳領域206を通過した光束は、マイクロレンズ202を介して、副画素bのPD401bにより受光される。
【0026】
このように、副画素a,bは、それぞれ、撮像レンズの射出瞳203の別々の領域(互いに異なる領域)を通過した光を受光している。このため、副画素aの出力信号であるA信号と副画素bの出力信号であるB信号とを比較することにより、位相差方式の焦点検出が可能となる。
【0027】
次に、撮像素子106の副画素a,bから得られる像信号波形について、図5を用いて説明する。図5(a)は、合焦状態から外れているとき(非合焦状態)に副画素a,bから得られる像信号波形の一例を示すグラフである。図5(b)は、合焦状態(略合焦状態)のときに副画素a,bから得られる像信号波形の一例を示すグラフである。図5(a)及び図5(b)において、縦軸は信号出力を示し、横軸は位置(画素水平位置)を示している。
【0028】
合焦状態から外れている場合(非合焦状態の場合)、図5(a)に示すように、副画素a,bから得られる像信号波形(A信号、B信号)は互いに一致せず、大きくずれた状態となる。非合焦状態から合焦状態に近づくと、図5(b)に示すように、副画素a,bの互いの像信号波形のずれは小さくなる。そして、合焦状態において、これらの像信号波形は互いに重なる。このようにして、副画素a,bから得られる像信号波形のずれ(ズレ量)を検出することで焦点のズレ量(デフォーカス量)を検出することができ、この情報を利用することによって撮像光学系の焦点調節を行うことができる。
【0029】
次に、本実施形態による撮像装置100における撮像素子106の構成例について、具体的に説明する。
【0030】
撮像素子106は、図2に示すように、画素部11を含む第1の基板10と、信号処理部21を含む第2の基板20とを積層した積層型の構成を有している。図6は画素部11の配置と信号処理部21の平面上の位置関係を表した図である。白で示した正方形が第1の基板10に設けられた一つの画素部11を示しており、添えられている文字は各画素部11に設けられたカラーフィルタの色を示している。また、画素部11の背面に配置され、灰色で示した矩形が第2の基板20に設けられた一つの信号処理部21を示している。
【0031】
図6に示すように、画素部11および信号処理部21は各基板内において行方向および列方向に周期的に複数個が配列され画素アレイおよび回路アレイを形成している。そして、第1の基板10における画素部11の有する面積は第2の基板20における信号処理部21の有する面積よりも小さい。そのため、点線で示した所定の個数の画素部11を画素ブロック12とし、それぞれの画素ブロック12に対応して1つの信号処理部21が配置されている。本実施形態において4行×12列の画素部11を一つの画素ブロック12としているが、これは一例であって異なる画素数または配列を画素ブロック12としてもよい。また、各画素ブロック12に対応する信号処理部21は、必ずしも位置的に対応する(例えば、画素部11の真下に位置する)必要はない。画素部11と信号処理部21は離間して配置してもよい。
【0032】
画素部11のそれぞれは、図7に示すように、PD401a,401b、転送トランジスタ402a,402b、リセットトランジスタ405、増幅トランジスタ404、選択トランジスタ406を有している。PD401aのアノードは接地電圧線に接続され、PD401aのカソードは転送トランジスタ402aのソースに接続されている。PD401bのアノードは接地電圧線に接続され、PD401bのカソードは転送トランジスタ402bのソースに接続されている。転送トランジスタ402aのドレイン及び転送トランジスタ402bのドレインは、リセットトランジスタ405のソース及び増幅トランジスタ404のゲートに接続されている。転送トランジスタ402a,402bのドレイン、リセットトランジスタ405のソース及び増幅トランジスタ404のゲートの接続ノードは、フローティングディフュージョン部(以下、「FD部」と表記する)403を構成する。リセットトランジスタ405のドレイン及び増幅トランジスタ404のドレインは、電源電圧線(電圧Vdd)に接続されている。増幅トランジスタ404のソースは、選択トランジスタ406のドレインに接続されている。
【0033】
副画素a,bのPD401a,401bは、入射した光信号(光学像)を光電変換し、露光量に応じた電荷を蓄積する。転送トランジスタ402a,402bは、Highレベルの信号PTXA、PTXBに応じて、PD401a,401bに蓄積されている電荷をFD部403に転送する。FD部403は、PD401a,401bから転送された電荷を、その寄生容量により電荷の量に応じた電圧に変換し、増幅トランジスタ404のゲートに印加する。リセットトランジスタ405は、FD部403をリセットするためのスイッチ回路であり、Highレベルの信号PRESに応じて、FD部403をリセットする。PD401a,401bの電荷をリセットする場合には、信号PRESと信号PTXA、PTXBとを同時にHighレベルとし、転送トランジスタ402a,402b及びリセットトランジスタ405をオンにする。そして、FD部403を経由して、PD401a,401bのリセットを行う。選択トランジスタ406は、Highレベルの信号PSELに応じて、増幅トランジスタ404で電圧に変換された画素信号を、画素部11(画素)の出力ノードvoutに出力する。
【0034】
第1の基板10の画素アレイの各行には、行方向に延在して、不図示の駆動信号線がそれぞれ配置されている。駆動信号線は、第1の基板10または第2の基板20に設けられた垂直走査回路に接続されている。駆動信号線には、垂直走査回路から所定のタイミングで、画素部11の画素読み出し回路を駆動するための所定の駆動信号が出力される。具体的には、それぞれの駆動信号線は、上述の信号PTXA、信号PTXB、信号PRES、信号PSELを、行方向に並ぶ複数の画素部11に供給するための複数(例えば4本)の信号線を含む。各信号線は、同じ行に属する複数の画素部11に共通の信号線を成している。
【0035】
図8を用いて撮像素子106における各画素部11から信号を読み出すための読み出し回路に関して説明する。図8は撮像素子106の読み出し回路に関する等価回路を示している。図8では、図6に示した画素部11のうち、奇数列に配置された画素部11のみを示している。そして、第1の基板10において画素部11の各列に対し、4本の信号線803aを有している。信号線803aは接続部801を介して第2の基板20における電流源802を有する803bと接続する。各画素部11から出力される信号は信号線803aおよび信号線803bを経由して第1の基板10から第2の基板20へ読み出される。なお、以下では信号線803aおよび信号線803bを区別なく表記する場合には、単に信号線803と表記する。また、画素部11の各列に対して4本の信号線803を有するが、それぞれの信号線をcol_xN(x:画素部11の列番号、N:A乃至D)で表す。具体的には1行目の画素部11はcol_xAに接続されている。また、同様に2~4行目の画素部11は、順に信号線col_xB~col_xDに接続されている。信号線803は、他の列においても、1列目の画素部11と同じように配されている。なお、本実施形態において画素部11の各列に対して4本の信号線803を有する構成としたが、これに限られない。より高速に読み出すためにはさらに多くの信号線803を設けることが好ましい。ただし、信号線の数は2の倍数または4の倍数で構成することが好ましい。また、図8には一つの画素ブロック12のみしか記載していないが、画素アレイには複数の画素ブロックが行列状で配置されている。つまり、信号線803は他の画素ブロックの画素部11と共有されている。
【0036】
各信号線803は、第2の基板20に設けられた信号処理部21と接続している。本実施形態の撮像素子106は、図6で示したように、複数の画素部11を含む画素ブロック12に対して一つの信号処理部21が設けられている。したがって、信号処理部21には複数の信号線803が接続されることとなる。信号処理部21はマルチプレクサ回路804(以下、MPX回路と表記する)を有し、当該MPX回路804の入力に複数の信号線803が接続される。さらに、信号処理部21は、ADC回路805を有し、当該ADC回路805はMPX回路804の出力と接続されている。複数の信号線803とADC回路805の間にMPX回路804を設けることによって、信号処理部21は1つのADC回路805において時分割で複数の信号を高速で処理することが可能となる。なお、後の他の実施形態で詳細に説明するが、本実施形態においてADC回路805は逐次比較型のAD変換形式を採用している。本方式を用いることによって、ADC回路805の高速でかつ低消費電力化を実現可能となる。また、本実施形態において、MPX回路804は、複数の信号線803の中からADC回路805に接続する信号線を選択するための選択部に相当する。
【0037】
本実施形態において信号処理部21には2つのMPX回路804a、804bを有し、それぞれに対してADC回路805a、805bが対応している。MPX回路804aにはRのカラーフィルタを有する画素に接続されたcol_xAとcol_xCからの信号を受け取り可能に構成される。また、MPX回路804bにはGのカラーフィルタを有する画素に接続されたcol_xBとcol_xDからの信号を受け取り可能に構成される。そして、MPX回路804aの出力はADC回路805aに接続され、MPX回路804bの出力はADC回路805bに接続される。それぞれのADC回路805は独立にADC機能を動作可能である。なお、本実施形態の信号処理部21には2つのMPX回路とADC回路を有する構成としたが、これに限られず、1つのみ有する構成としてもよいし、3つ以上を有する構成としてもよい。
【0038】
また、信号線803とMPX回路804は直接接続される構成としているが、間に不図示のサンプルホールド回路を設け、画素部11から読みだした信号を一時的に保持可能な構成としてもよい。
【0039】
また、本実施形態のADC回路805は、それぞれ一括してまたは個別で省電力動作(スタンバイ動作)を行うことが可能である。当該省電力動作を制御するために、第2の基板20においてはPSAVE制御部806が設けられている。PSAVE制御部806からの制御信号に応じて各ADC回路805は省電力動作を開始または終了する。なお、省電力動作の一例としてADC回路805に供給されている電源またはクロックの供給を停止する動作がある。なお、PSAVE制御部806は信号処理部21内に設けられてもよいし、行単位または列単位等の領域単位で設けるようにしてもよい。
【0040】
なお、図8においては奇数列に設けられた画素部11のみしか示していないが偶数列に配置された画素部11においても同様の回路構成を有しているものとする。
【0041】
図9は、撮像素子106の通常読み出し動作を示した図である。図9での動作は、画素部11から読み出す信号を加算せずに順次読み出しを行う。この通常読み出し動作は主に高精細な静止画を取得する場合に用いられる。図9においては、焦点検出用の信号を出力せず、撮像用の信号のみを出力する場合について説明する。つまり、画素部11は、複数のPDのうちの一部のみのPDの信号に基づく第1の信号の出力は行わず、複数のPDの信号に基づく第2の信号のみの出力を行う。
【0042】
図9の信号PRESは、不図示の制御線を介して垂直走査回路からリセットトランジスタ405のゲートに供給される信号を示している。同じく、信号PSELは、制御線を介して垂直走査回路からN行目の画素部11の選択トランジスタ406のゲートに供給される信号を示している。なお、信号PSELについては、出力される画素部11の行位置を末尾に合わせて示している。つまり、信号PSEL(1)は、1行目の画素部11に出力される信号PSELであることを示している。信号PTXAは、制御線を介して垂直走査回路から転送トランジスタ402aのゲートに供給される信号を示している。信号PTXBは、制御線を介して垂直走査回路から転送トランジスタ402bのゲートに供給される信号を示している。なお、信号PSELは各行に対応する信号として説明したが、各行に対して複数の信号PSELを供給できる構成としてもよい。この構成によって周期的に列方向においても、いずれの画素の信号を出力するかを選択することが可能となる。
【0043】
図9の信号PSAVEは、PSAVE制御部806から各ADC回路805へ供給される信号を示している。Highレベルに相当する信号をADC回路805に入力することで、入力されたADC回路805は省電力動作を開始する。また、Lowレベルに相当する信号をADC回路805に入力することで通常の動作を行う。なお、本実施形態では説明の簡略化のため、信号PSAVEを単一の信号として説明するが、これに限られるものではない。例えば、画素アレイ内の領域ごとに、またはADC回路805ごとに信号PSAVEを個別に供給可能の構成とすることで、領域ごとに省電力動作の制御が可能となる。
【0044】
図9では、MPX回路804a、ADC回路805aに関わる動作を示している。このMPX回路804a、ADC回路805aには、図8で示したように、画素ブロック12の配列においてRのカラーフィルタを備える1行目および3行目であって、1~12列のうちの奇数列に位置する画素部11の信号が入力される。したがって、図9では、1行目、3行目であって、1~12列のうちの奇数列に位置する画素部11の動作に関わる動作を示している。
【0045】
また、図9では、MPX回路804aが、ADC回路805aに信号を出力する列としてどの列を選択しているかを、信号線の名称Col_xNで示している。このxNの表記を説明する。xは画素部11の列番号を示している。また、Nは、1列の画素部11に対応して配される4本の信号線803のいずれかを示している。
【0046】
時刻t1において、垂直走査回路は、1行目および3行目の画素部11に出力する信号PRESをHighレベルとしている。これにより、1行目の画素部11のリセットトランジスタ405がオンしている。よって、FD部403は、電源電圧Vddに対応する電位にリセットされている。また、時刻t1において垂直走査回路は、信号PSEL(1)をHighレベルとしている。これにより、1行目の画素部11の選択トランジスタ406がオンする。よって、図8に示した電流源802が供給する電流が、1行目の画素部11の選択トランジスタ406を介して増幅トランジスタ404に供給される。これにより、電源電圧Vdd、増幅トランジスタ404、電流源802によるソースフォロワ回路が形成される。つまり、増幅トランジスタ404は、FD部403の電位に対応する信号を、選択トランジスタ406を介して信号線803に出力するソースフォロワ動作を行う。本実施形態において、時刻t1以降の期間はN信号用読み出し期間に相当する。
【0047】
時刻t2に、垂直走査回路は、1行目の画素部11に出力する信号PRESをLowレベルとする。これにより、1行目の画素部11のリセットトランジスタ405がオフする。よって、FD部403のリセットが解除される。増幅トランジスタ404は、リセットが解除されたFD部403の電位に基づく信号を、図8に示した対応する信号線803に出力する。この信号を、N信号(ノイズ信号)と表記する。これにより、各列の信号線803には、画素部11からN信号が出力される。これにより、1~12列のうち奇数列の画素部11に対応するN信号が同期間にMPX回路804aに入力されることとなる。
【0048】
時刻t2以降、MPX回路804aは、TG113から供給される信号MPXによって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805aに接続する。
【0049】
ADC回路805aは、MPX回路804aから出力される、1行目の画素部11に対応する1列目の信号線803のN信号をデジタル信号にAD変換する。その後、順次、1~12列のうちの奇数列の1行目の画素部11に対応する信号線803aに出力されているN信号をデジタル信号にAD変換する。各N信号はMPX回路804aに既に入力されているために、MPX回路804aの出力を切り替えるだけで高速なAD変換が可能となる。本実施形態において、時刻t2以降の期間はN信号用AD変換期間に相当する。
【0050】
時刻t3に、垂直走査回路は、3行目の画素部11に入力する信号PRESをLowレベルとする。これにより、3行目の画素部11のリセットトランジスタ405がオフする。よって、FD部403のリセットが解除される。増幅トランジスタ404は、リセットが解除されたFD部403の電位に基づく信号であるN信号を、図8に示した信号線803に出力する。これにより、各列の信号線803には、3行目の画素部11からN信号が出力されている。これにより、1~12列のうち奇数列の画素部11に対応するN信号が同期間にMPX回路804aに入力されることとなる。
【0051】
時刻t3以降、MPX回路804aは、TG113から供給される信号MPXによって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805aに接続する。
【0052】
ADC回路805aは、MPX回路804aから出力される、3行目の画素部11に対応する1列目の信号線803のN信号をデジタル信号にAD変換する。その後、順次、1~12列のうちの奇数列の画素部11に対応する信号線803に出力されているN信号をデジタル信号にAD変換する。各N信号はMPX回路804aに既に入力されているために、MPX回路804aの出力を切り替えるだけで高速なAD変換が可能となる。本実施形態において、時刻t3以降の期間はN信号用AD変換期間に相当する。
【0053】
また、時刻t3に、垂直走査回路は、1行目の画素部11に出力する信号PTXA、PTXBをHighレベルとする。これにより、PD401a、401bが蓄積した電荷(本実施形態では電子である)が、転送トランジスタ402a、402bを介してFD部403に転送される。FD部403では、PD401a、401bのそれぞれの電荷が加算される。これにより、FD部403は、PD401a、401bのそれぞれの電荷を加算した電荷に対応する電位となる。仮に、PD401aのみの電荷によるFD部403の電位に基づいて増幅トランジスタ404が出力する信号をA信号とする。また、仮に、PD401bのみの電荷によるFD部403の電位に基づいて増幅トランジスタ404が出力する信号をB信号とする。この表記に従うと、PD401a、401bのそれぞれの電荷を加算した電荷に対応するFD部403の電位に基づいて増幅トランジスタ404が出力する信号はA信号とB信号を加算したA+B信号とみなすことができる。各列の信号線803には、1行目の画素部11のA+B信号が出力されている。これにより、1~12列のうち奇数列の画素部11に対応するA+B信号が、同期間にMPX回路804aに入力されることとなる。A+B信号は、複数のPDが生成した信号に基づく第2の信号である。第2の信号は、撮像用の信号として用いることができる。本実施形態において、時刻t3以降の期間はA+B信号用読み出し期間に相当する。
【0054】
時刻t4以降、MPX回路804aは、TG113から供給される信号MPXによって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805aに接続する。
【0055】
ADC回路805aは、MPX回路804aから出力される、1行目の画素部11に対応する1列目の信号線803のA+B信号をデジタル信号にAD変換する。その後、順次、1~12列のうちの奇数列の画素部11に対応する信号線803に出力されているA+B信号をデジタル信号にAD変換する。各A+B信号はMPX回路804aに既に入力されているために、MPX回路804aの出力を切り替えるだけで高速なAD変換が可能となる。本実施形態において、時刻t4以降の期間はA+B信号用AD変換期間に相当する。
【0056】
時刻t4に、垂直走査回路は、3行目の画素部11に出力する信号PTXA、PTXBをHighレベルとする。これにより、各列の信号線803には、3行目の画素部11のA+B信号が出力されている。これにより、1~12列のうち奇数列の画素部11に対応するA+B信号が、同期間にMPX回路804aに入力されることとなる。本実施形態において、時刻t4以降の期間はA+B信号用読み出し期間に相当する。
【0057】
時刻t5以降、MPX回路804aは、TG113から供給される信号MPXによって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805aに接続する。
【0058】
ADC回路805aは、MPX回路804aから出力される、3行目の画素部11に対応する1列目の信号線803のA+B信号をデジタル信号にAD変換する。その後、順次、1~12列のうちの奇数列の画素部11に対応する信号線803に出力されているA+B信号をデジタル信号にAD変換する。各A+B信号はMPX回路804aに既に入力されているために、MPX回路804aの出力を切り替えるだけで高速なAD変換が可能となる。本実施形態において、時刻t5以降の期間はA+B信号用AD変換期間に相当する。
【0059】
そして、これらの動作をGのカラーフィルタを備える2行目および4行目に対しても並列的に行う。さらに、偶数列に位置する画素部11に対しても同様に行いる。各画素ブロック12に対して並列および順次実行することによって1画面分の画像信号を取得することが可能となる。また、A信号またはB信号を取得したい場合には、A+B信号を読み出すタイミングで信号PTXAまたは信号PTXBのいずれかを制御しないようにすればよい。また、他の実施形態で詳細に説明するが、読み出し順序としてはN信号を読み出したのちでA+B信号を読み出す前に読み出すことが好ましい。
【0060】
ここで、本実施形態において特徴的な効果の一つに関して説明する。
【0061】
図9に示した動作では、以下のように、複数の動作を並行して行っている。
(1)1行目の画素部11に対応するN信号のAD変換と、3行目の画素部11に対応するN信号の読み出しとの並行動作
(2)3行目の画素部11に対応するN信号のAD変換と、1行目の画素部11に対応するA+B信号の読み出しとの並行動作
(3)1行目の画素部11に対応するA+B信号のAD変換と、3行目の画素部11に対応するA+B信号の読み出しとの並行動作
【0062】
この並行動作により、ADC805aが1度のAD変換を終えてから、次のAD変換を行うまでの待機期間を短縮することができる。これにより、全ての画素部11が出力する信号のAD変換に要する期間を短縮することができる。よって、撮像装置100全体における高フレームレート化を進展させることができる。
【0063】
なお、図9において各N信号用読み出し期間およびA+B信号用読み出し期間を、同一のMPX回路804に接続された接続線803において同時期に制御している例を示したが、この動作に限られない。ADC変換回路805にて各信号のAD変換を行う期間と同時期に、当該ADC回路805と接続可能な他の信号線803に対して読み出し動作を開始する点が重要な特徴である。つまり、各信号線803に対する読み出しタイミングや、読み出しタイミングとAD変換のタイミングは、撮像条件(ISO感度やフレームレート)や撮像素子106の特性にあわて適宜変更するほうが好ましい。例えば、時刻t2および時刻t4以降の各AD変換期間において順次各信号のAD変換が行われるが、1列目と他の列に対応するAD変換のタイミングはそれぞれ異なる。そして、読み出し期間の終了は一律である必要はなくAD変換のタイミングまでに終了していればよい。そのため、図9においては、各列の読み出し期間の終了を時刻t2および時刻t4において一括して行っているが、列ごとにAD変換のタイミングに合わせてずらして後ろ倒ししてもよい。より詳細には、1列目に対して3列目の読み出し期間の終了タイミングは、1列目のAD変換の終了直前に設定される。そして、他の列の読み出し期間の終了タイミングも同様に直前のAD変換の終了前にずらすことが可能である。このようなタイミングで動作させることで、信号読み出し直後にAD変換を行うことができ、さらにAD変換を開始するまでの余分な時間を短縮できる。
【0064】
また、先に読み出し期間の終了に関して説明したが、開始においても同様である。特に、読み出し期間の終了タイミングが変化する場合には、各列の読み出し期間の長さが略同一となるように、読み出し期間の開始タイミングもそれに合わせて変化させることが好ましい。さらに、図9においては、例えば時刻t1および時刻t3において、一律に読み出し期間を開始しているが、各列のAD変換を行う期間に対応する信号MPX(Col_xN)が立ち下がった時点まで、前倒しが可能である。つまり、全列のAD変換の終了を待つ必要はなく、それぞれの列に対するAD変換期間が終了したタイミングで、次の信号の読み出しを開始することが可能である。これにより、さらなるフレームレートの向上が可能である。そして、複数の信号線803に対する読み出し期間を一律とせずに、ずらすことによって、電流源802に対する負荷も低減できる。つまり、対応する画素部11に対して、異なるタイミングで読み出し動作を個別に実行するために、信号PRES並びに信号PTXAおよび信号PTXB等は各行に対して複数本の配線が必要となる。これにより制御も複雑となるが、一方で撮像素子106に対して供給するピーク消費電流を低減するという効果を得ることができ、全体として消費電力低減を実現できる。なお、信号線803ごとに、適切なタイミングにずらすことが好ましいが、回路が複雑になりすぎる場合は所定の本数の信号線803を一単位としてタイミングをずらすようにしてもよい。
【0065】
次に、本実施形態による撮像装置100における撮像素子106の特徴的な読み出し動作について、図10を用いて説明する。図10は撮像素子106の加算読み出し動作を示した図である。図10での動作は、画素部11から読み出す信号をAD変換前に加算しつつ順次読み出しを行う。この加算読み出し動作は主に動画を取得する場合に用いられる。図10においては、焦点検出用の信号を出力せず、撮像用の信号のみを出力する場合について説明する。なお、図10において表示している信号線は図9と同一である。さらに、通常読み出し動作と共通する動作に関しては、その説明を省略する。
【0066】
時刻t2に、垂直走査回路は、1行目の画素部11に出力する信号PRESをLowレベルとする。これにより、各列の信号線803には、画素部11からN信号が出力される。これにより、1~12列のうち奇数列の画素部11に対応するN信号が同期間にMPX回路804aに入力されることとなる。
【0067】
時刻t2以降、MPX回路804aは、TG113から供給される信号MPXによって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805aに接続する。なお、加算読み出し動作においては、通常読み出し動作とは異なり、ADC回路805aに対して複数の信号線803が同時に接続される。この動作により、MPX回路804aの出力は、同時に接続された信号線803に出力されている信号同士が加算平均された信号とほぼ等価になる。これにより信号線803の間で信号加算を行うことができる。本実施形態においては1列目と3列目のように同色で隣接する2列を加算するために、対応する信号線803を同時にADC回路805aに接続する。これによって、必要なAD変換回数が通常読み出し動作の半分となる。そして、全体としては通常読み出し動作の半分の時間でAD変換を終了することが可能な状態となる。なお、本実施形態において信号線803およびMPX回路804は画素部11からの信号を加算するための加算回路に相当する。
【0068】
さらに、時刻t2以降でAD変換が終了したタイミングで、各ADC回路805に出力する信号PSAVEをHighレベルとする。これにより、ADC回路805は省電力動作に切り替わる。そして時刻t3に、おいてLowレベルとすることで、省電力動作を終了し次の信号にAD変換が可能となる。
【0069】
また、図10において各行または各画素ブロックのAD変換が終了したタイミングであって、水平ブランキング期間に相当するタイミングで信号PSAVE信号をHighレベルとしている。これによって、さらなる省電力化が可能となる。なお、各ADC回路805はそれぞれ独立に動作するため、必ずしも撮像素子106全体で一括して省電力動作を実行する必要はない。各ADC回路805の動作に合わせて適切に省電力動作を実行することが好ましい。
【0070】
このようにADC回路805の前段に設けられるMPX回路804を利用して信号加算を行うことによって、AD変換に係る時間を短縮することが可能となる。そして、短縮した時間においてADC回路805を省電力動作させることによって、フレームレートを維持したままで撮像素子106全体の省電力化を実現することが可能となる。なお、本実施形態において、信号加算数は2列分としたが、3列以上を加算するようにしてもよい。加算数を増やすことによって、AD変換時間をさらに短縮することが可能となり、さらに省電力化することが可能となる。さらには、フレームレートの向上も実現できる。
【0071】
また、信号線803とMPX回路804との間にサンプルホールド回路を設ける場合には、信号加算する際にMPX回路804に複数の信号線803を同時接続する必要はない。例えば、サンプルホールド回路において信号を保持している容量(コンデンサ等)同士を接続するスイッチ回路等をさらに設けることによって信号加算を実現することができる。また、容量同士を接続することによる信号加算方式と、MPX回路804に複数の信号線803を同時接続する加算方式とを組み合わせて加算読み出し動作を行うようにしてもよい。
【0072】
なお、本実施形態においては、同色の信号を加算する動作を示したが、異色の信号を加算するようにしてもよい。画像信号の生成以外のAF用や露出算出用の信号として利用することができる。
【0073】
また、各タイミングチャートにおいては読み出しのタイミングのみが記載されているが、読み出しタイミングの前には画素部11における各PD401のリセット動作を行う。画面全体として同一の蓄積期間とするために、リセット動作における各画素部11に対する走査タイミングも本実施形態で説明した読み出しタイミングと合わせて行われることとなる。
【0074】
(第2の実施形態)
第1の実施形態においては、MPX回路804に接続している複数の信号線803を同時にADC回路805に接続することによって列方向の信号加算を実現する例を示した。本実施形態においては、第1の実施形態と異なる信号線803とMPX回路804の接続例を示し、行方向においても信号加算を行う動作を示す。
【0075】
図11を用いて、本実施形態における撮像素子106における各画素部11から信号を読み出すための読み出し回路に関して説明する。図11は第1の実施形態における図8に相当し、撮像素子106の読み出し回路に関する等価回路を示している。図8と同じ構成要素に関しては、同一の符号を付し、その説明は省略する。
【0076】
図11において各画素部11から出力される信号は信号線803を経由して読み出される。画素部11の各列に対して4本の信号線803を有している。それぞれの信号線をcol_xN(x:画素部11の列番号、N:A乃至D)で表す。信号線803は、他の列においても、1列目の画素部11と同じように配されている。なお、図11における第1の実施形態における回路との差異点は、信号線803とMPX回路804の接続形態である。具体的には、本実施形態において画素部11の各列に対して4本の信号線803を有する構成としたが、これに限られない。より高速に読み出すためにはさらに多くの信号線803を設けることが好ましい。ただし、信号線の数は2の倍数または4の倍数、あるいは信号加算する信号数の倍数で構成することが好ましい。
【0077】
図11において、MPX回路804およびADC回路805には、Rのカラーフィルタを備える、1行目および3行目であって、1~12列のうちの奇数列に位置する画素部11の信号が入力される。さらに、Gのカラーフィルタを備える、2行目および4行目であって、1~12列のうちの奇数列に位置する画素部11の信号が入力される。図11では説明に必要な奇数列のみを図示し、簡略化のためその他の奇数列および偶数列は省略している。
【0078】
図12は、第2の実施形態において撮像素子106の加算読み出し動作を示した図である。図12での動作は、画素部11から読み出す信号をAD変換前に加算しつつ順次読み出しを行う。この加算読み出し動作は主に動画を取得する場合に用いられる。図12においては、焦点検出用の信号を出力せず、撮像用の信号のみを出力する場合について説明する。なお、図12において表示している信号線は図10と同一であり、MPX回路804に入力される信号のみが異なる。さらに、第1の実施形態で示した動作と共通する動作に関しては、その説明を省略する。
【0079】
時刻t2に、垂直走査回路は、1行目の画素部11に出力する信号PRESと3行目の画素部11に出力する信号PRESとをLowレベルとする。これにより、各列の信号線803には、画素部11からN信号が出力される。これにより、1~12列のうち1行目と3行目であって奇数列の画素部11に対応するN信号がMPX回路804に入力されることとなる。
【0080】
時刻t2以降、MPX回路804は、TG113から供給される信号MPXによって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805に接続する。なお、本実施形態の加算読み出し動作においては、ADC回路805に対して複数の信号線803が同時に接続される。具体的には、1行目の画素部11に対応するCol_xAと3行目の画素部11に対応するCol_xCが同時に接続される。この動作により、MPX回路804の出力は、同時に接続された信号線803に出力されている信号同士が加算平均され、行方向に信号加算が実現できる。本実施形態においては1行目と3行目のように同色で隣接する2行を加算するために、対応する信号線803を同時にADC回路805に接続する必要がある。これによって、1回のAD変換で2行分のAD変換に相当する信号が得られ、通常読み出し動作の半分の時間でAD変換を終了することが可能となる。
【0081】
さらに、時刻t2以降でAD変換が終了したタイミングで、各ADC回路805に出力する信号PSAVEをHighレベルとする。これにより、ADC回路805は省電力動作に切り替わる。そして時刻t3の直前で、Lowレベルとすることで、省電力動作を終了し次の信号にAD変換が可能となる。
【0082】
なお、本実施形態においては行方向の加算のみを行う動作を例示したが、第1の実施形態で示したように列方向の加算読み出し動作を組み合わせることによって、行方向と列方向の両方の加算を同時に実現することも可能となる。
【0083】
このようにADC回路805の前に設けられるMPX回路804に対して加算対象となる列または行に対応する画素部11から接続可能とすることによって、通常読み出し動作および加算読み出し動作の両方を実現できる。さらに、AD変換時間が短縮した時間においてADC回路805を省電力動作させることによって、フレームレートを維持したままで撮像素子106全体の省電力化を実現することが可能となる。なお、本実施形態において、信号加算数は2行分としたが、3行以上を加算するようにしてもよい。また、列方向の加算と組み合わせてもよく、その場合において、列方向の加算数と行方向の加算数は必ずしも同一でなくてもよい。
【0084】
また、図6において所定の個数の画素部11を含む画素ブロック12に対して1つの信号処理部21が配置されている例を示したが、画素ブロック12に含まれる画素部11同士は必ずしも隣接している必要はない。例えば、各同色の画素を加算した後の色重心(サンプリング周期)を考慮した場合には、図13において実線で示す画素部11から成るブロックを画素ブロック12として、各画素部11からの信号線803を一つのMPX回路804に接続するようにしてもよい。図13に示す画素ブロックを採用することで、列方向に3画素分の信号を加算する場合、列方向において加算後の色重心をそろえることが可能になる。また、垂直方向にも同様の配置とすることによって、垂直方向も色重心をそろえることも可能である。
【0085】
(第3の実施形態)
第1の実施形態および第2の実施形態においては、MPX回路804において信号加算を行ってAD変換時間を短縮し、その間にADC回路805を省電力動作させる制御に関して説明した。本実施形態においては、MPX回路804において信号加算を行う点は共通として、加算読み出し動作時に使用しないADC回路805に対する省電力動作の制御に関して説明する。
【0086】
図14を用いて、本実施形態における撮像素子106における各画素部11から信号を読み出すための読み出し回路に関して説明する。図14は第1の実施形態における図8に相当し、撮像素子106の読み出し回路に関する等価回路を示している。図8と同じ構成要素に関しては、同一の符号を付す。
【0087】
図14において各画素部11から出力される信号は信号線803を経由して読み出される。画素部11の各列に対して4本の信号線803を有している。それぞれの信号線をcol_xN(x:画素部11の列番号、N:A乃至D)で表す。信号線803は、他の列においても、1列目の画素部11と同じように配されている。なお、図14における第1の実施形態および第2の実施形態における回路における差異点は、信号処理部21の構成に加わったMPX回路1404と、PSAVE制御部1406である。
【0088】
図14において、MPX回路804aには、Rのカラーフィルタを備える、1行目および3行目であって、1~12列のうちの奇数列に位置する画素部11の信号が入力される。また、MPX回路804bには、Gのカラーフィルタを備える、2行目および4行目であって、1~12列のうちの奇数列に位置する画素部11の信号が入力される。そして、MPX回路1404には、MPX回路804aの出力とMPX回路804bの出力が入力される。MPX回路1404の出力は制御信号である信号MPX2に基づいて制御され、MPX回路804aの出力またはMPX回路804bの出力のいずれかをADC回路805aに出力するかを切り替える動作を行う。具体的には、信号MPX2がLowレベルの場合にはMPX回路804aの出力を出力し、Highレベルの場合にはMPX回路804bの出力を出力する。本動作によって、MPX回路804aの出力およびMPX回路804bの出力をADC回路805aの一つでAD変換することが可能となる。
【0089】
また、ADC回路805bには、MPX回路804bの出力が入力され、MPX回路804bの出力をAD変換する。しかし、上記のようにMPX回路804aの出力およびMPX回路804bの出力をADC回路805aの一つでAD変換する場合には、ADC回路805bを動作させる必要がない。
【0090】
また、本実施形態のADC回路805は、それぞれ個別で省電力動作を行うことが可能である。当該省電力動作を制御するために、第2の基板20においてはPSAVE制御部1406が設けられている。PSAVE制御部1406からの個別の制御信号(PSAVE1およびPSAVE2)に応じてADC回路805aおよびADC回路805bはそれぞれ省電力動作を開始または終了する。したがって、ADC回路805aのみでAD変換動作を行う場合にはADC回路805bに対してのみ信号PSAVE2を用いて省電力動作を行うようにすることが可能である。
【0091】
図15は、第3の実施形態において撮像素子106の加算読み出し動作を示した図である。図15での動作は、画素部11から読み出す信号をAD変換前に加算しつつ順次読み出しを行う。この加算読み出し動作は主に動画を取得する場合に用いられる。図15においては、焦点検出用の信号を出力せず、撮像用の信号のみを出力する場合について説明する。なお、図15において表示している信号線は図10等に対してMPX回路1404を制御するための信号MPX2と、PSAVE制御部1406からの信号PSAVE1、信号PSAVE2が追加されている。さらに、第1の実施形態および第2の実施形態で示した動作と共通する動作に関しては、その説明を省略する。
【0092】
時刻t2に、垂直走査回路は、1行目および2行目の画素部11に出力する信号PRESをLowレベルとする。これにより、各列の信号線803には、画素部11からN信号が出力される。これにより、1~12列のうち1行目および2行目であって奇数列の画素部11に対応するN信号がMPX回路804aおよびMPX回路804bに入力されることとなる。
【0093】
時刻t2以降、MPX回路804は、TG113から供給される信号MPXおよび信号MPX2によって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805aに接続する。なお、本実施形態の加算読み出し動作においては、ADC回路805aに対して複数の信号線803が同時に接続される。具体的には、1行目であって1列目の画素部11に対応するCol_1Aと3列目の画素部11に対応するCol_3AがMPX回路804aに同時に接続される。この動作により、MPX回路804aの出力は、同時に接続された信号線803に出力されている信号同士が加算平均された信号となり、列方向に信号加算が実現できる。そして、同タイミングで信号MPX2はLowレベルに制御され、MPX回路1404の出力としてMPX回路804aの出力がADC回路805aに入力される。
【0094】
さらに、時刻t2以降で1列目と3列目のAD変換が終了したタイミングで、2行目であって1列目の画素部11に対応するCol_1Bと3列目の画素部11に対応するCol_3BがMPX回路804bに同時に接続される。この動作により、MPX回路804bの出力は、同時に接続された信号線803に出力されている信号同士が加算平均された信号となり、列方向に信号加算が実現できる。そして、同タイミングで信号MPX2はHighレベルに制御され、MPX回路1404の出力としてMPX回路804bの出力がADC回路805aに入力される。
【0095】
そして、上記動作を繰り返して加算読み出し動作を行うことで、通常読み出し動作における1行分の時間で2行分のAD変換動作を終了することが可能となる。つまり、通常読み出し動作では2つ必要だったADC回路805が、一つのADC回路805で画素ブロック12全体を読み出すためには十分となる。したがって、不要となったADC回路805bに対しては、信号PSAVE2をHighレベルに制御し、加算読み出し動作中は常に省電力動作を行うことができ、大きく消費電力を低減することが可能となる。
【0096】
なお、本実施形態においても第2の実施形態と同様にADC回路805aにおけるAD変換動作が終了した時点で信号PSAVEをHighレベルとすることで、さらに省電力化を図ることができる。
【0097】
このように信号処理部21に複数のMPX回路を設けることにより、加算読み出し動作において、動作させる必要のないADC回路をもうけることができる。そして、当該ADC回路を省電力動作させることによって、フレームレートを維持したままで撮像素子106全体の省電力化を実現することが可能となる。なお、本実施形態において、信号加算数は2列分としたが、3列以上を加算するようにしてもよい。また、行方向の加算と組み合わせてもよく、その場合において、列方向の加算数と行方向の加算数は必ずしも同一でなくてもよい。
【0098】
なお、本実施形態において複数の信号線803の信号を加算することで、AD変換時間を短縮したが、間引き動作を組み合わせることでも同様にAD変換時間を短縮することが可能である。例えば、実施形態において3列目、7列目、11列目の信号線803を接続させず、1列目、5列目、9列目の信号の信号線803のみを図15に示す所定の各タイミングで読み出すことも可能である。
【0099】
さらに、間引き読み出しを行う場合には、信号線803とMPX回路804との接続を工夫することで、MPX回路1404を省略することも可能である。一例として間引かれる対象の画素部11(例えば、3列目、7列目、11列目の画素部11)からの信号線803をMPX回路804bに接続する。そして、読み出す対象の画素部11(例えば、1列目、5列目、9列目の画素部11)からの信号線803をMPX回路804aに接続する。このような接続を行うことによって、間引き読み出し動作時はMPX回路804bおよびADC回路805bを省電力化することによって、第3の実施形態と同様の効果を得ることが可能となる。
【0100】
なお、第1乃至第3の実施形態において、画素ブロック12の端に位置する画素部11(例えば1列目)より信号を読み出しているが、信号読み出しの順番はこれに限られない。例えば、逆の順番で読み出してもよいし、1つおきに読み出してもよい。
【0101】
(第4の実施形態)
第1の実施形態乃至第3の実施形態において、MPX回路804において信号加算等を行いつつ、読み出し期間においてAD変換動作を行っていないタイミングでADC回路805の省電力動作を制御する例を示した。しかし、撮像素子106を用いた撮像装置100の動作においては、ADC回路805に対して省電力動作を設定可能なタイミングは他にも存在する。
【0102】
図16は、撮像装置100において1枚の画像を撮像する際のタイミングを示している。信号VDは垂直同期信号であり、TG113から撮像素子106に供給される。また、信号VDはDFE108やDSP109等の他の構成要素にも供給され、撮像装置100全体の動作タイミングの同期をとる役割を担っている。なお、信号VDの周期は動画を取得するためのフレームレートに対応し、本実施形態においては1/120秒とする。内部HDは水平同期信号であり、TG113から供給される信号VDに同期して撮像素子106内の回路によって生成される内部信号である。撮像素子106の動作は内部HDによって、タイミングが規定され、例えば画素部11のリセット動作や読み出を動作が制御される。撮像素子106は1HD期間中に所定の行数に対応する画素部11からの信号を出力する。なお、本実施形態において撮像素子106が1フレーム分の画像信号を出力するのに要する時間(読み出し期間)は1/180秒とする。
【0103】
図16に示す通り、1枚の画像を取得するために必要な読み出し期間は1/180秒とすると、フレームレートに対しては十分早いために、余剰時間はブランキング期間となる。ブランキング期間中は、信号の読み出しおよびAD変換動作は行われない。そのため、本期間中は省電力動作が可能となる。図16に示す通り、ブランキング期間中に信号PSAVEをHighレベルとすることで、省電力動作が達成できる。
【0104】
また、滑らかな動画を取得するためにはフレームレートが一定である必要がある。フレームレートを可変せずに一定とした場合、ブランキング期間は撮像素子106から読み出される信号量に依存する。例えば図17に示すように、所定のフレームレート(例えば60fps)の動画を撮像している最中に静止画を取得するような場合を想定する。動画に必要な画素数が800万画素とした場合に、静止画に用いられる画素数が4倍の3200万画素であるとする。そうすると必然的に動画撮像に対して静止画撮像時のブランキング期間は短くなる。このような場合には、図17に示すように動画撮像時のブランキング期間のみ省電力動作を実行し、静止画撮像時には行わないようにすることが好ましい。連続して撮像する動画に対して静止画の撮像は単発的に行われるため、静止画撮像の際に省電力動作を実行しなくても撮像素子106全体としては省電力化を図ることが可能である。
【0105】
また、ブランキング期間と同様に信号の読み出しおよびAD変換動作が行われない期間としては蓄積期間がある。図18(a)に示すように撮像素子106は、画素部11をリセットしたのちに、所定の蓄積期間の間露光し、その後読み出し期間において信号が読みだされる。蓄積期間は被写体の明るさに基づいてユーザ自身または自動で決定され、その期間は信号VDまたは内部HDによって規定される。本実施形態の撮像素子106は当該蓄積期間においても省電力動作は設定可能である。
【0106】
なお、図18(b)で示すように蓄積期間が短い場合(例えば1/1000秒程度)には省電力動作を設定できる期間が短く、省電力動作からの復帰の影響も考慮して省電力動作の設定は行わないように制御する。一例としては1/8秒乃至1秒以上の蓄積期間が設定された場合に蓄積期間中において省電力動作を設定することが好ましい。
【0107】
(第5の実施形態)
第4の実施形態において、撮像素子106が用いられる撮像装置100における撮像動作においてADC回路805の省電力動作を実行するタイミングに関して説明した。本実施形態においては、撮像素子106の回路アレイにおいて領域を区分して省電力動作を実行する動作に関して詳細に説明する。
【0108】
図19は撮像素子106の第2の基板20に形成された回路アレイを示している、回路アレイの各要素は信号処理部21を表しており、全体として水平方向にn個、垂直方向にm個の信号処理部21が配置されている。図19(a)は通常の撮像状態を示しており、画面全体を使用して画像を取得するため、すべての回路アレイを使用して信号の読み出しを行う。そのため、すべての信号処理部21は通常動作に設定される。一方で、図19(b)はクリップ撮像状態(水平i~k列、垂直h~j行のみを使用する撮像)を示しており、画面の中央部からのみを使用して画像を取得するため、周辺部の回路アレイは使用しない。そのため、周辺部の信号処理部21はクリップ撮像状態の間は省電力動作に設定される。
【0109】
図20および図21を用いて本実施形態における領域ごとに省電力動作を実行するための回路構成を説明する。図20は信号PSAVEの供給線の配線レイアウトを示す図である。本実施形態の信号PSAVEは、各信号処理部21に対して水平制御用のPSAVE_H(n)(n:列番号)と垂直制御用のPSAVE_V(m)(m:行番号)によって供給される。PSAVE_H(n)とPSAVE_V(m)は不図示のドライバ回路によって接続され、TG113からのタイミング信号等によって制御される。
【0110】
図21を用いて撮像素子106における各画素部11から信号を読み出すための読み出し回路に関して説明する。図21は第5の実施形態における撮像素子106の読み出し回路に関する等価回路を示している。図21は第1の実施形態における図8に相当する。図8と同じ構成要素に関しては、同一の符号を付す。
【0111】
図21において各画素部11から出力される信号は信号線803を経由して読み出される。画素部11の各列に対して4本の信号線803を有している。図21における第1の実施形態における回路との差異点は、PSAVE制御部2106である。PSAVE制御部2106には図20を用いて説明したPSAVE_H(n)とPSAVE_V(m)が入力される。そして、PSAVE制御部2106はAND回路を含み、PSAVE_H(n)とPSAVE_V(m)のいずれかからHighレベルの信号が供給された場合にADC回路805を省電力動作に制御する。このようにPSAVE_H(n)とPSAVE_V(m)を用いることで、回路アレイ内の任意の信号処理部21に対して省電力動作の制御が可能となる。なお、回路アレイ内の任意の領域でより簡易に省電力動作の制御を可能とするために、信号処理部21には不図示のラッチ回路を設けることが好ましい。これはPSAVE_H(n)とPSAVE_V(m)の両方からHighレベルとなり省電力動作に制御されたことをラッチに記憶し、そしてラッチがリセットされるまではその状態を保持することが可能となる。これによって、省電力動作に制御したい信号処理部21に対応するPSAVE_H(n)とPSAVE_V(m)に常にHighレベルを供給する必要がなくなり、より高い自由度で領域選択が可能となる。一例としては画素アレイ中に複数領域で省電力動作を制御することが可能となる。なお、より高い自由度で省電力動作を制御する場合には、PSAVE_H(n)またはPSAVE_V(m)の配線数を増やすことで対応できる。
【0112】
(第6の実施形態)
図22は、撮像素子106の通常読み出し動作に加え焦点検出用の信号読み出し動作を示した図である。図22での動作は、画素部11から読み出す信号を加算せずに順次読み出しを行う。図22においては、焦点検出用の信号と撮像用の信号を出力する場合について説明する。つまり、画素部11は、複数のPDのうちの一部のみのPDの信号に基づく第1の信号の出力を行い、さらに複数のPDの信号に基づく第2の信号の出力を行う。なお、図22において表示している信号線は図9と同一である。さらに、第1の実施形態で示した動作と共通する動作に関しては、その説明を省略する。
【0113】
時刻t3に、垂直走査回路は、1行目の画素部11に出力する信号PTXAのみをHighレベルとする。これにより、PD401aが蓄積した電荷が、転送トランジスタ402aを介してFD部403に転送される。これにより、FD部403は、PD401aに対応する電位となる。そして、PD401aのみの電荷によるFD部403の電位に基づいて増幅トランジスタ404がA信号を出力する。各列の信号線803には、1行目の画素部11のA信号が出力されている。これにより、1~12列のうち奇数列の画素部11に対応するA信号が同期間にMPX回路804aに入力されることとなる。本実施形態において、時刻t3以降の期間はA信号用読み出し期間に相当する。
【0114】
時刻t4以降、MPX回路804aは、TG113から供給される信号MPXによって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805aに接続する。
【0115】
ADC回路805aは、MPX回路804aから出力される、1行目の画素部11に対応する1列目の信号線803のA信号をデジタル信号にAD変換する。その後、順次、1~12列のうちの奇数列の画素部11に対応する信号線803に出力されているA信号をデジタル信号にAD変換する。各A信号はMPX回路804aに既に入力されているために、MPX回路804aの出力を切り替えるだけで高速なAD変換が可能となる。本実施形態において、時刻t4以降の期間はA信号用AD変換期間に相当する。
【0116】
時刻t4に、垂直走査回路は、3行目の画素部11に出力する信号PTXAのみをHighレベルとする。これにより、PD401aが蓄積した電荷が、転送トランジスタ402aを介してFD部403に転送される。これにより、FD部403は、PD401aに対応する電位となる。そして、PD401aのみの電荷によるFD部403の電位に基づいて増幅トランジスタ404がA信号を出力する。各列の信号線803には、3行目の画素部11のA信号が出力されている。これにより、1~12列のうち奇数列の画素部11に対応するA信号が同期間にMPX回路804aに入力されることとなる。本実施形態において、時刻t4以降の期間はA信号用読み出し期間に相当する。
【0117】
時刻t5以降、MPX回路804aは、TG113から供給される信号MPXによって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805aに接続する。
【0118】
ADC回路805aは、MPX回路804aから出力される、3行目の画素部11に対応する1列目の信号線803のA信号をデジタル信号にAD変換する。その後、順次、1~12列のうちの奇数列の画素部11に対応する信号線803に出力されているA信号をデジタル信号にAD変換する。本実施形態において、時刻t5以降の期間はA信号用AD変換期間に相当する。
【0119】
また、時刻t5に、垂直走査回路は、1行目の画素部11に出力する信号PTXA、PTXBをHighレベルとする。これにより、PD401a、401bが蓄積した電荷(本実施形態では電子である)が、転送トランジスタ402a、402bを介してFD部403に転送される。FD部403では、PD401a、401bのそれぞれの電荷が加算される。これにより、FD部403は、時刻t3で転送されたPD401aの電荷に加え、時刻t5におけるPD401a、401bのそれぞれの電荷を加算した電荷に対応する電位となる。各列の信号線803には、1行目の画素部11のA+B信号が出力されている。これにより、1~12列のうち奇数列の画素部11に対応するA+B信号が同期間にMPX回路804aに入力されることとなる。本実施形態において、時刻t5以降の期間はA+B信号用読み出し期間に相当する。
【0120】
時刻t6以降、MPX回路804aは、TG113から供給される信号MPXによって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805aに接続する。
【0121】
ADC回路805aは、MPX回路804aから出力される、1行目の画素部11に対応する1列目の信号線803のA+B信号をデジタル信号にAD変換する。その後、順次、1~12列のうちの奇数列の画素部11に対応する信号線803に出力されているA+B信号をデジタル信号にAD変換する。本実施形態において、時刻t6以降の期間はA+B信号用AD変換期間に相当する。
【0122】
また、時刻t6に、垂直走査回路は、3行目の画素部11に出力する信号PTXA、PTXBをHighレベルとする。これにより、PD401a、401bが蓄積した電荷(本実施形態では電子である)が、転送トランジスタ402a、402bを介してFD部403に転送される。FD部403では、PD401a、401bのそれぞれの電荷が加算される。これにより、FD部403は、時刻t4で転送されたPD401aの電荷に加え、時刻t6におけるPD401a、401bのそれぞれの電荷を加算した電荷に対応する電位となる。各列の信号線803には、3行目の画素部11のA+B信号が出力されている。これにより、1~12列のうち奇数列の画素部11に対応するA+B信号が同期間にMPX回路804aに入力されることとなる。本実施形態において、時刻t6以降の期間はA+B信号用読み出し期間に相当する。
【0123】
時刻t7以降、MPX回路804aは、TG113から供給される信号MPXによって、1~12列のうち奇数列の画素部11に対応する信号線803を、順次ADC回路805aに接続する。
【0124】
ADC回路805aは、MPX回路804aから出力される、3行目の画素部11に対応する1列目の信号線803のA+B信号をデジタル信号にAD変換する。その後、順次、1~12列のうちの奇数列の画素部11に対応する信号線803に出力されているA+B信号をデジタル信号にAD変換する。本実施形態において、時刻t7以降の期間はA+B信号用AD変換期間に相当する。
【0125】
このように、A+B信号を読み出す前にA信号を読み出すことで、焦点検出用の信号と画像用信号の両方を読み出すことが可能となる。なお、焦点検出に用いるB信号は、A信号とA+B信号を読み出したのちに両者を減算することで算出する。
【0126】
(第7の実施形態)
第1の実施形態乃至第3の実施形態において撮像素子106内部の構成に関して例示したが、画素部11から高速に信号を読み出すために、複数の回路を並列に配列し、それぞれの回路で同時読み出し動作が行われることとなる。一方で一眼レフに代表される撮像装置に用いられる撮像素子は対角長で数センチメートルのサイズとなる。そのため撮像素子内部の基準電圧レベル等の面内バラつきは無視できない。また、製造バラつきや回路の配線長の非対称性から並列に配列された回路ごとに出力バラつきが生じることがある。本実施形態においては、当該バラつきを補正する方法に関して説明する。なお、撮像素子106における読み出し回路に関しては、図8に示した第1の実施形態の読み出し回路を前提として説明する。なお、補正の例としてはオフセット補正およびゲイン補正があげられる。補正パラメータとしては事前にROM119等に記憶させておいた値を用いてもよいし、信号を読み出す直前または直後にリアルタイムに生成した値を用いて行ってもよい。
【0127】
図23は一つの信号処理部21とそれに対応する画素ブロック12を示している。当該画素ブロック12は図8に示す通り、Rのカラーフィルタを有する画素部11が配置される1行目、3行目と、Gのカラーフィルタを有する画素部11が配置される2行目と4行目では異なるMPX回路804およびADC回路805を経由して読み出される。したがって、図23にPで示した1行目、3行目と、Qで示した2行目、4行目とでは異なる補正値を用いて補正することが望ましい。これは、周期的な回路では共通の回路バラつきが発生すると考えられるためであり、周期的に同一の補正値を用いることで、補正に用いるパラメータ数を低減することができ、もって処理負荷の低減および消費電力化を達成することができる。
【0128】
図24は第1の基板10における画素アレイおよびそれに対応する補正パラメータを示している。図24(a)に示すように画素アレイ内には水平方向にn個、垂直方向にm個の画素ブロック12を備えている。本実施形態の撮像素子106は垂直方向に隣接する画素ブロック12で、MPX回路およびADC回路を共通化する構成とする。この構成において、は回路を共通化している二つの画素ブロック12を一つの単位として、対応する補正パラメータを持つことが好ましい。図24(b)は各単位に対応する補正パラメータを示している。一つの矩形が一つの補正パラメータを表しており、それぞれの補正パラメータには図23で説明したように行ごとにPとQで示した補正パラメータが含まれる。
【0129】
なお、図23では行単位で異なる補正パラメータを備える例を示したが、これに限られるものではない。図8に示すように一つの列には複数本(図8においては4本)の信号線803が設けられている。そのため、それぞれの信号線803に対応して補正パラメータを備えることも有効である。図25は4本の信号線をA~Dとして、それぞれの信号線に対応する補正パラメータを表している。図24を用いて説明したように、ADC回路を共通化している単位でも補正パラメータを備えるとして図25に示すように垂直方向に異なるパラメータを有している。
【0130】
以上、撮像素子106を構成する回路周期に合わせて補正パラメータを備える例を示したが、補正パラメータは画素ブロックごとに記憶せずに関数形式記憶するようにしてもよい。また、回路の周期性が加算読み出し動作等によって変化する場合には動作モードに応じて補正パラメータを切り替えることが好ましい。その他、ISO感度、露光時間等の撮像条件に応じて変更してもよい。なお。本実施形態においては、回路周期に合わせて補正パラメータを備えて補正する例を示したが、回路周期ごとに複数の補正を個別に行うようにしてもよい。
【0131】
(第8の実施形態)
図26は、撮像素子106のADC回路805の等価回路図である。ADC回路805は入力端子IN及び出力端子OUTを有し、入力端子INから入力されたアナログ信号Sin(MPX回路804の出力)をデジタル信号Soutに変換して出力端子OUTから出力する。このアナログ信号Sinは、第1の実施形態で説明した、N信号とA+B信号(S信号)の一方あるいは両方とすることができる。ADC回路805はMPX回路804の出力を5ビットの分解能でデジタル信号Soutに変換する。
【0132】
ADC回路805はアナログ信号Sinとの比較に用いられる比較信号を生成する生成回路810を更に有する。生成回路810はバイナリウェイトの容量値を有する複数の容量素子cp0~cp4と、容量素子cp0~cp4に接続された複数のスイッチsw0~sw4とを有する。複数のスイッチsw0~sw4によって、容量素子cp0~cp4のうちの1つ以上を選択するスイッチ回路が構成される。バイナリウェイトとは、公比2の等比数列をなす重み(容量値)の集合のことである。図26の例では、容量素子cp0~cp4は順に、1C、2C、4C、8C、16Cの容量値を有する。容量素子cp0~cp4の一方の電極は生成回路810の供給端子SPLに接続され、他方の電極はそれぞれスイッチsw0~sw4に接続される。スイッチsw0~sw4はそれぞれ、一端が容量素子cp0~cp4に接続され、他端が端子Aと端子Bとの間をトグルする。端子Aには接地電位GNDが供給され、端子Bには基準電圧VRFが供給される。基準電圧VRFはADC805の外部から供給される定電圧であり、接地電位GNDよりも大きな値である。スイッチsw0が端子Aにトグルすると、容量素子cp0に接地電位GNDが供給され、スイッチsw0が端子Bにトグルすると、容量素子cp0に基準電圧VRFが供給される。他のスイッチsw1~sw4についても同様である。スイッチsw0~sw4が切り替わることによって、供給端子SPLと基準電圧VRFとの間に接続される容量素子の合成容量値が変化し、その結果として供給端子SPLから出力される比較信号Vcmpの値が変化する。
【0133】
生成回路810の供給端子SPLには更に、ADC回路805の外部からのランプ信号Vrmpが容量素子cp5を介して供給される。容量素子cp5はランプ信号Vrmpの大きさを調整するための容量素子であり、1Cの容量値を有する。すなわち、容量素子cp5の容量値は、バイナリウェイトの容量値を有する容量素子群cp0~cp4の最小の容量値と等しい。ランプ信号Vrmpの値が変化すると供給端子SPLから出力される比較信号Vcmpの値も変化する。
【0134】
供給端子SPLと基準電圧VRFとの間に接続される容量素子の集合と、ランプ信号Vrmpの値とを組み合わせることによって、比較信号Vcmpは接地電位GND以上、基準電圧VRF以下の任意の値を取りうる。
【0135】
ADC回路805は比較器815を更に有する。比較器815はアナログ信号Sinの値と比較信号Vcmpの値とを比較して、比較結果に応じた信号を出力する。比較器815の非反転端子には容量素子cp6を介してアナログ信号Sinが供給され、比較器815の反転端子には生成回路810の供給端子SPLから比較信号Vcmpが供給される。それにより、アナログ信号Sinの値が比較信号Vcmpの値以上の場合にHighレベルが出力され、アナログ信号Sinの値が比較信号Vcmpの値未満の場合にLowレベルが出力される。この例ではアナログ信号Sinの値と比較信号Vcmpの値が等しい場合にHighレベルを出力しているが、Lowレベルを出力してもよい。容量素子cp6はアナログ信号Sinの値を比較信号Vcmpとの比較が可能な範囲に調整する。本実施形態では、説明を簡単にするために、アナログ信号Sinの値は接地電位GND以上、基準電圧VRF以下であり、アナログ信号Sinと同じ大きさの信号が比較器815の非反転端子に供給される場合を扱う。
【0136】
図26の例ではアナログ信号Sinを比較器815の非反転端子に供給し、比較信号Vcmpを比較器815の反転端子に供給するが、アナログ信号Sinの値と比較信号Vcmpの値との大小関係を判定できれば他の構成も取りうる。例えば、アナログ信号Sinと比較信号Vcmpとの差分を比較器815の非反転端子に供給し、接地電位GNDを比較器815の反転端子に供給してもよい。
【0137】
ADC回路805はスイッチsw5、sw6を更に有する。これらのスイッチsw5、sw6が導通状態になると、比較器815の非反転端子、反転端子に接地電位GNDが供給され、比較器815がリセットされる。
【0138】
ADC回路805は、制御回路820を更に備える。制御回路820には比較器815から比較結果が供給され、制御回路820はこの比較結果に基づいてデジタル信号Soutを生成し、出力端子OUTから出力する。制御回路820はまた、各スイッチsw0~sw6に制御信号を送信してその状態を切り替える。
【0139】
図27において、sw0~sw6は制御回路820からスイッチsw0~sw6に供給される制御信号の値を示す。スイッチsw0~sw4は、供給される制御信号がHighレベルである場合に端子Bへトグルし、制御信号がLowレベルである場合に端子Aへトグルする。スイッチsw5、sw6は、供給される制御信号がHighレベルである場合に導通状態となり、制御信号がLowレベルである場合に非導通状態となる。図27の下側にはアナログ信号Sin及び比較信号Vcmpが示される。図27では、アナログ信号Sinの値が2進数で00110に相当する場合を例として扱う。
【0140】
続いて、ADC回路805のAD変換動作を時系列に沿って説明する。制御回路820は準備期間において、スイッチsw0~sw4に供給される制御信号をLowレベルにし、スイッチsw5、sw6に供給される制御信号をHighレベルにする。これにより、比較器815の非反転端子及び反転端子が接地電位GNDにリセットされるとともに、比較信号Vcmpの値が接地電位GNDに等しくなる。その後、制御回路820はスイッチsw5、sw6に供給される制御信号をLowレベルにする。以降の動作において、比較器815の非反転端子にはアナログ信号Sinが供給され続ける。
【0141】
次に、逐次比較期間が始まると、制御回路820はスイッチsw4に供給される制御信号をHighレベルに変更する。これにより、スイッチsw4は端子Bにトグルし、バイナリウェイトの中で1番目に大きな容量値を有するキャパシタcp4を介して生成回路810の供給端子SPLに基準電圧VRFが印加される。その結果、比較信号VcmpがVRF/2だけ増加し、比較信号Vcmpの値はVRF/2に等しくなる。制御回路820は、比較器815からの比較結果に基づいて、アナログ信号Sinの値が比較信号Vcmpの値(VRF/2)よりも小さいと判定し、スイッチsw4に供給される制御信号をLowレベルに戻す。それにより、比較信号Vcmpの値は接地電位GNDに戻る。この比較結果は、デジタル信号Soutの値のMSB(LSBを1ビット目とした場合に5ビット目)が0であることを意味する。
【0142】
次に、制御回路820はスイッチsw3に供給される制御信号をHighレベルに変更する。これにより、バイナリウェイトの中で2番目に大きな容量値を有するキャパシタcp3を介して生成回路810の供給端子SPLに基準電圧VRFが印加される。その結果、比較信号VcmpがVRF/4だけ増加し、比較信号Vcmpの値はVRF/4に等しくなる。制御回路820は、比較器815からの比較結果に基づいて、アナログ信号Sinの値が比較信号Vcmpの値(VRF/4)よりも小さいと判定し、スイッチsw3に供給される制御信号をLowレベルに戻す。それにより、比較信号Vcmpの値は接地電位GNDに戻る。この比較結果は、デジタル信号Soutの値の4ビット目が0であることを意味する。
【0143】
次に、制御回路820はスイッチsw2に供給される制御信号をHighレベルに変更する。これにより、バイナリウェイトの中で3番目に大きな容量値を有するキャパシタcp2を介して生成回路810の供給端子SPLに基準電圧VRFが印加される。その結果、比較信号VcmpがVRF/8だけ増加し、比較信号Vcmpの値はVRF/8に等しくなる。制御回路820は、比較器815からの比較結果に基づいて、アナログ信号Sinの値が比較信号Vcmpの値(VRF/8)よりも大きいと判定し、スイッチsw2に供給される制御信号をHighレベルのままにする。それにより、比較信号Vcmpの値はVRF/8に維持される。この比較結果は、デジタル信号Soutの値の3ビット目が1であることを意味する。
【0144】
次に、制御回路820はスイッチsw1に供給される制御信号をHighレベルに変更する。これにより、バイナリウェイトの中で4番目に大きな容量値を有するキャパシタcp1と、キャパシタcp2とを介して生成回路810の供給端子SPLに基準電圧VRFが印加される。その結果、比較信号VcmpがVRF/16だけ増加し、比較信号Vcmpの値はVRF*3/16に等しくなる。なお、本明細書で用いる「*」は乗算を意味している。制御回路820は、比較器815からの比較結果に基づいて、アナログ信号Sinの値が比較信号Vcmpの値(VRF*3/16)よりも大きいと判定し、スイッチsw1に供給される制御信号をHighレベルのままにする。それにより、比較信号Vcmpの値はVRF*3/16に維持される。この比較結果は、デジタル信号Soutの値の2ビット目が1であることを意味する。
【0145】
最後に、制御回路820はスイッチsw0に供給される制御信号をHighレベルに変更する。これにより、バイナリウェイトの中で5番目に大きな容量値を有するキャパシタcp0と、cp1、cp2とを介して生成回路810の供給端子SPLに基準電圧VRFが印加される。その結果、比較信号VcmpがVRF/32だけ増加し、比較信号Vcmpの値はVRF*7/32に等しくなる。制御回路820は、比較器815からの比較結果に基づいて、アナログ信号Sinの値が比較信号Vcmpの値(VRF*7/32)よりも小さいと判定し、スイッチsw0に供給される制御信号をLowレベルに戻す。それにより、比較信号Vcmpの値はVRF*3/16に戻る。この比較結果は、デジタル信号Soutの値の1ビット目が0であることを意味する。
【0146】
以上の逐次比較により、制御回路820はアナログ信号に対応するデジタル信号Soutが00110であると決定する。
【0147】
このようにして、ADC回路805は、入力されるアナログ信号に対応するデジタル信号を生成するAD変換を行うことができる。
【0148】
なお、他のAD変換形式として逐次比較型のADC回路を用いた例を説明した。ADC回路805は、この逐次比較型のADC回路に限定されるものでは無い。例えば、他のADC回路として、ランプ信号比較型、デルタシグマ型、パイプライン型、フラッシュ型等の種々のADC回路を用いることができる。
【0149】
(第9の実施形態)
本実施形態において、図2に示した撮像素子106の内部構成の詳細に関して説明する。図28は撮像素子106の内部構成を示す機能ブロック図である。撮像素子106は図2で示したように第1の基板10と第2の基板20による積層構造を有する積層型イメージセンサである。本実施形態の撮像素子106は少なくとも水平方向に約8000画素、垂直方向に6000画素の有効画素を有しており、第1の基板10および第2の基板20は垂直方向の寸法に対して、水平方向の寸法が長い特徴を有する。
【0150】
第1の基板10には、複数の画素部11を含む画素アレイと各画素に対して駆動信号(信号PSEL、信号PTXA、信号PTXB、信号PRES)等を供給するための画素駆動部13が配置されている。画素駆動部13には行単位、列単位、画素ブロック12単位などを順次選択する走査回路と各駆動信号を生成するためのドライバ回路等を含む。なお、画素アレイ内には入射光を受光する有効画素に加え、黒基準を算出するために遮光された遮光画素およびダミー画素をも含む。遮光画素は主に画素アレイの周辺部分に配置され、例えば垂直方向に120画素、水平方向に180画素程度が配置されている。また、ダミー画素は光電変換部を有さない画素で、回路のオフセット除去用の補正値を生成するための信号を出力する。なお、画素駆動部13は画素アレイを挟むように左右に配置してもよい。これにより各駆動信号のドライブ能力の向上等の効果を得ることができる
第2の基板20には、複数の信号処理部21を含む回路アレイと、撮像素子106の各ブロックに電力を供給するための電源22を含む。電源22は電力の供給先を制御する電力制御部を含み、いずれのブロックに対して電力を供給するかを制御することができる。また、第2の基板20には各信号処理部21に含まれるADC回路805に対して基準電圧を供給するための基準電圧生成部23と、各ブロックにクロックを供給するためのPLL回路24を備える。さらには、第1の基板10に配置された画素駆動部13に対して制御信号を供給する垂直走査回路25を備える。
【0151】
各信号処理部21は内部TG26からの制御信号によって制御される。制御信号にはMPX回路804に供給するための信号MPXやPSAVE制御部806に供給するための信号PSAVE等が含まれる。そして、各信号処理部21を順次駆動するための出力制御信号を入力し、ADC回路805でAD変換したデジタル信号を出力するように駆動する回路駆動部27aと回路駆動部27bが設けられている。回路駆動部27aと回路駆動部27bは回路アレイを左右から挟むように水平方向に配置されている。回路駆動部27aおよび回路駆動部27bと同様に回路アレイの左右にはそれぞれシリアライザ28aとシリアライザ28bが配置される。本実施形態の撮像素子106は信号読み出しの高速化を複数のADC回路805を並列で動作させることで実現している。そのため、各ADC回路805からは同時期に並行して信号が出力されることとなる。シリアライザ28aおよびシリアライザ28bはマルチプレクサ回路を含み、これら並列信号を後段の転送部29aおよび転送部29bが転送可能なように順次シリアル信号に変換する機能を有する。転送部29aおよび転送部29bは差動信号対を転送するための信号線対を1laneとして、少なくともそれぞれ24laneの信号線対を有している。伝送方式としては、例えばLVDS方式、SLVS方式、SPI方式等があるが、これらに限定されるものではなく、例えば無線での通信方式を採用してもよい。なお、実施形態において、画素駆動部13は回路駆動部27a、シリアライザ28aの配置と重なってしまうために第1の基板20に設ける構成としたが、配置次第で第2の基板に設ける構成としてもよい。例えば、回路駆動部27a、シリアライザ28a等を回路アレイの左右のいずれか一方にのみ配置することで、画素駆動部13も第2の基板に配置することが可能となる。また、回路駆動部27aと回路駆動部27bは回路アレイを上下から挟むように垂直方向に配置してもよい。このような配置とすることで、回路アレイを水平方向に走査する場合には効率的に配線が可能となる。
【0152】
図29を用いて本実施形態の撮像素子106における、第1の基板に設けられた画素部11と信号処理部21の接続形態に関して説明する。なお、図29において各画素部11に添えた数字は座標(列X、行Y)による位置を表しており、各信号処理部21に添えた数字は接続される画素部11の列Xの番号を表している。
【0153】
本実施形態においても図8と同様に画素部11から出力されるアナログ信号は信号線803aおよび803bを経由して対応する各信号処理部21に入力される。画素部11と信号処理部21は図29に示したように、信号線803は撮像素子106の垂直方向に配置され、それぞれ画素アレイ上の列に対応している。そして、一つの列で共有された信号線803に対して一つの信号処理部21に接続されている。つまり、信号処理部21は同一列に配置された画素部11の信号を処理することとなる。また、図29における信号線803は12本の信号線を束ねたものであり、そのため同時期に12行分の画素部11からの信号を1つの信号処理部21に入力することができる。つまり、本実施形態においては一例として、12行×1列の画素部11が一つの画素ブロック12に相当する。なお、信号線803は12本以上であってもよく、本数を増やすことで同時に処理可能な画素数を向上させることができる。なお、信号線803に含まれる配線数は回路や画素部11の対称性より4の倍数であることが好ましい。そのため、画素ブロック12に含まれる画素部11の数は16行や24行とすることが好ましい。これは列方向においても同様で、画素ブロック12を列方向に拡張する場合には2列や4列とすることが好ましい。また、信号処理部21は第2の基板20上に垂直方向に40個、水平方向に200個以上が配置され回路アレイを構成している。垂直方向に配置される信号処理部21の個数も4の倍数であることが好ましく、水平方向の個数は水平画素数に応じて決定することが好ましい。なお、図の簡略化のために省略したが各画素部11のそれぞれには図3と同様のカラーフィルタ配列を有しており、座標(0,0)の位置に配置された画素部11はRのカラーフィルタを有している。また、図29においては説明の簡略化のために信号線803を信号線803aと信号線803bの二つに分割して示したが、第1の基板10と第2の基板20は積層されているため、どちらかの信号線のみがあれば画素部11と信号処理部21は接続可能である。
【0154】
図30は第2の基板20において信号処理部21より後段の回路ブロックの構成を示した図である。なお、説明の簡略化のため、回路駆動部27b、シリアライザ28b、転送部29bは省略してある。これらを組み合わせた場合の動作に関しては後に詳細に説明する。各信号処理部21でAD変換されたデジタル信号は、信号処理部21内の所定のバッファにて一時的に保持される。その後、出力信号線807を介して順次シリアライザ28aに読み出される。出力信号線807は撮像素子106の水平方向に配置され、それぞれ回路アレイ上の行に対応している。回路アレイ上の各信号処理部21は各行で出力信号線807を共有している。そして、各信号処理部21からの読み出しは回路駆動部27aからの出力制御信号によって制御され、出力制御された信号処理部21からの出力信号が出力信号線807に出力される。共有した出力信号線807を時分割で用いることによって、必要な配線数を低減することが可能となる。本実施形態において、出力信号線807は24bitのデジタル信号を並行して高速に転送するために24本の配線を含んでいる。なお、出力信号線807上での信号転送の高速化は撮像素子106全体の高速化に影響するため、100~300MHzと高速な駆動周波数で駆動する。なお、本駆動周波数はこれに限定されるわけではなく、さらに高速でもよいし、必要なフレームレートに合わせて可変する構成としてもよい。
【0155】
出力信号線807経由で並行して読み出されたデジタル信号はシリアライザ28aに入力され、シリアル信号に変換される。シリアライザ28aにはマルチプレクサ回路を有しており、同時期に入力された各信号を順次シリアル信号に変換することとなる。
【0156】
転送部29aは、差動信号対を出力するための差動アンプ回路を備え、シリアライザ28aにて変換されたシリアル信号を取得し、当該差動アンプ回路より所定の伝送方式によりシリアル信号を外部に出力する。転送部29aは作動信号対を転送するための信号線対を1laneとして、少なくとも24laneの信号線対を有している。本実施形態において、撮像素子106が有する信号線対は転送部29aおよび転送部29bの分を合わせて48laneとなる。これは、回路アレイにおいて信号処理部21が垂直方向に配置される数、言い換えれば、シリアライザ28aおよびシリアライザ28bに接続される出力信号線807の本数に対応する。信号処理部21から出力される信号を転送部29aおよび転送部29bから効率よく転送を行うためには、信号線対のlane数は信号処理部21が垂直方向に配置される数と同数か、共通な約数または倍数を有する数であることが望ましい。このような構成にすることによって、不要なデータを送信する期間や待ち時間を低減することが可能となる。なお、本実施形態において転送部が備える差動アンプ回路はデジタル信号を外部へ転送るための出力部に相当する。
【0157】
なお、本実施形態においては、回路アレイにおける各行に配置された信号線807はシリアライザ28aにはすべて接続され、シリアライザ28bには回路アレイにおける偶数行(X=1,3,5,・・・)に配置された信号線807のみが接続される。このような構成とすることで、奇数行は転送部29aから出力し、偶数行は転送部29bから出力するという48laneのすべてを使用する出力モードと、すべての行を転送部29aから出力するという24laneのみを使用する出力モードを選択できる。これは撮像素子106からの信号を受け取るDFE108またはDSP109の処理能力または、撮像動作として許容される電力に応じて設定することが好ましい。なお、回路規模を抑えるために奇数行に配置された信号線807はシリアライザ28aにのみ接続する構成を示したが、シリアライザ28bにも接続する構成としてもよい。このように構成することによって、設定可能な出力モードの種類を増やすことができる。例えば、回路アレイにおける複数行単位(4行あるいは8行)ごとに転送部29aおよび29bへの接続を切り替えることも可能である。また、複数の駆動モードで動作させる場合には、駆動モードごとに使用するlane数を切り替えることも可能となる。
【0158】
図31乃至33を用いて本実施形態における信号読み出し動作に関して詳細に説明する。図31は列番号X=0に対応する信号処理部21からの出力信号のタイミングを示した図であって、代表的に図29に示した画素ブロック12に対応する出力信号のタイミングを示している。上段には1つの画素ブロック12に対応する12個の画素部11からの信号読み出しタイミングを示している。それぞれの画素に対して、信号PTXAおよび信号PTXBを制御する転送期間と、画素部11からのアナログ信号を信号線803に読み出す読み出し期間と、AD変換回路805におけるAD変換期間を示している。先の実施形態にて詳述したように、画素ブロック12に含まれる画素部11から出力されるアナログ信号は同時期に信号処理部21のMPX回路804に入力され、ADC回路805によって順次AD変換される。本実施形態においては、転送の効率化のために、ADC回路805におけるAD変換動作に合わせて順次転送および読み出しを行うように各期間が設定されている。具体的には、A+B信号用AD変換期間に次のN信号用読み出し期間が、N信号用AD変換期間に次のA+B信号用読み出し期間が時間的に重なるように設定されている。このように各期間を重ね合わせることで、各画素部11より効率よく信号を読み出すことが可能となる。信号処理部21においてAD変換されたのちのデジタル信号は、バッファ等に一時的に保持され、回路駆動部27aまたは回路駆動部27bからの出力制御信号に基づいて後段に出力される。
【0159】
下段には信号処理部21から出力されるデジタル信号の出力タイミングを示している。本実施形態においては、出力制御信号がLowレベルとなる立下りエッジを検出することで、信号処理部21は一つの出力信号を出力信号線807に出力する。図31においては一つの画素部11から出力に基づくデジタル信号を一つの枠で示し、枠内に付された数字は画素アレイにおける画素部11の座標に相当する。本実施形態のデジタル信号は14bitであるが、デジタル信号同士の加算等の演算処理を行う場合も考慮して出力信号線807は24bitの信号を転送可能となっている。なお、出力信号線807が転送可能な信号長は24bitではく、各信号処理部21からの信号の転送の速度に応じて選択される。すなわち、出力信号線807上の駆動周波数の設定によっては17bit程度が転送可能に構成すればよい。
【0160】
出力制御信号は回路駆動部27aまたは回路駆動部27bからの信号処理部21のAD変換動作と対応して信号処理部21に供給される。本実施形態においては所定の画素ブロック12のAD変換が終了してから次の画素ブロック12のAD変換が開始されるまでを1周期として、当該1周期の間にバッファに保持した1つの画素ブロック12に対応する信号を出力するように制御される。
【0161】
図32は出力信号線807経由でシリアライザ28aに供給される出力信号のタイミングを示している。各出力信号線807の上に示した枠は図31と同様に一つのデジタル信号を示し、枠内に付された数字は画素アレイにおける画素部11の座標に相当する。なお、シリアライザ28aには画素アレイの奇数列に配置された画素部11からの信号が入力され、シリアライザ28bに偶数列に配置された画素部11からの信号が入力される。図32においては説明の簡略化ためシリアライザ28bおよび偶数列の信号を省略している。
【0162】
図31に示したように、出力信号は出力制御信号がLowレベルとなる立下りエッジを検出することで出力される。一方、図30で示したように、回路アレイ上の各信号処理部21は各行で出力信号線807を共有している。そのため、信号出力線807を共有している信号処理部21からは同時に出力信号を出力することができない。そのため、図32に示すように出力信号線807を共有する信号処理部21に対して順次出力制御信号を供給し、時分割に出力を行う。より詳細には、図32に示したように、まず1行目の信号を順次出力する。この際に回路アレイ上の同一列に含まれる信号処理部21には同一のタイミングで出力制御信号を供給する。一例として、最も左側に位置する列に対して出力制御信号を供給した後に、順次列ごとに供給を行い、画素アレイにおける1行目に対応する出力信号を出力する。そして、回路アレイ上のすべての信号処理部21に出力制御信号を供給したのちに、再度左側に位置する列に対して出力制御信号を供給する。これによって画素ブロック上の2行目に相当する出力信号が出力される。本動作を12回繰り返すことによって、一つの画素ブロック12に対応する12行分の出力信号を出力することとなる。さらに本動作を他の画素ブロック12に対しても行うことで、1フレーム分の画像信号を得ることができる。なお、出力制御信号を供給する始めまたは終わりの列を切り替えることによって、信号を読み出す範囲を制御することも可能である。
【0163】
なお、図31で示したように、一つの信号処理部21に供給される出力制御信号の間隔はAD変換を行う期間に対応している。また回路アレイ上には行方向に200個以上の信号処理部21が配置されていることから、一つの信号処理部21に出力制御信号を供給する間隔内で200個以上の出力信号を出力信号線807に出力して読み出す必要がある。したがって、出力信号線807における動作周波数は100~300MHzと、画素部11から信号を信号処理部21に転送する速度と比較して高速な周波数で駆動することとなる。
【0164】
本実施形態において、撮像素子106は各画素部11のカラーフィルタはベイヤー配列によって配列されていることから、シリアライザ29aおよびシリアライザ29bには、同一のタイミングで同色のカラーフィルタに対応する信号が入力されることとなる。
【0165】
図33(a)は転送部29aから出力される信号の順序を示し、図33(b)は転送部29bから出力される信号の順序を示している。一つの画素部11からの出力に基づくデジタル信号を一つの六角形の枠で示し、各矢印の先頭に記載している信号から順に出力される。なお、枠内に付された数字は画素アレイにおける画素部11の座標に相当する。また、画素部11からの出力に基づくデジタル信号の他にも同期信号、ヘッダ信号、フッダ信号、誤り訂正信号等も所定のタイミングで出力する。
【0166】
転送部29aおよび転送部29bはそれぞれ24laneの信号線対を有し、6laneを1単位(lリンク)として一つのデジタル信号の転送を行う。例えば、18bitのデジタル信号を3bitずつ各lane振り分けて転送する。なお、本実施例のように1リンクを6laneとせずに他のlane数として5Laneとしてもよいし、7Laneとしてもよい。ただし、1リンクに含まれるLane数は全lane数の約数である必要がある。また、1laneで1つのデジタル信号の転送を行うようにしてもよい。また、出力するデジタル信号のbit数が1リンク内のLane数で割り切れない場合には、データを転送しないLaneを設けてもよいし、次のデジタル信号の一部を送信するようにしてもよい。これにより電力低減および転送の効率化を図ることができる。
【0167】
本実施形態において、画素部11から信号処理部21へのアナログ信号の転送を行う信号線803を垂直方向に配置し、信号処理部21からシリアライザ28aおよびシリアライザ28bへのデジタル信号の転送を行う出力信号線807を水平方向に配置した。言い換えれば、本実施形態の撮像素子106において、外部へ信号を出力する転送部29aおよび転送部29bは、撮像素子106の水平方向(左右方向)に配置されている。さらに、画素部11を駆動するための画素駆動部13並びに、回路駆動部27aおよび回路駆動部27bは画素アレイおよび回路アレイのそれぞれに対して左右方向に配置されている。言い換えれば、画素部11および信号処理21を駆動するための駆動制御線は水平方向に配置されている。
【0168】
従来の画素アレイの列ごとにAD変換回路を有するCMOSセンサ等においては、画素から読み出されるアナログ信号を列ごとに共通の垂直信号線によって転送し、垂直方向(上下方向)に配置されたAD変換回路でデジタル信号に変換する。そして、同様に上下方向に設けられた転送部からデジタル信号を出力する。このような構成は、行単位で順次読み出しおよび出力を行う場合には好適である。なぜなら、列ごとに設けられているAD変換回路配置は画素の並びと対応が取れているため、AD変換回路から水平方向(列ごと)に順次信号を出力するだけで、画素部11の並びと同一の並びで、対応するデジタル信号を得ることができる。つまり、受信した後段のプロセッサー側で信号の並び替え等が不要となり、並び替え用の処理時間やメモリ等が不要となる。
【0169】
一方で、本実施形態に示した積層構造を有する撮像素子106は、第1の基板10に配置された画素アレイからの信号を第2の基板20に配置された回路アレイで処理している。この時、画素アレイ内の画素部11の位置と回路アレイ内の信号処理部21の位置関係は必ずしも一致しない。具体的には、図29に示したように、画素アレイ内で水平方向に配置された40列分の画素部11に対応する信号処理部21は回路アレイ内で上下方向に配置されている。このように配置した結果として、従来のCMOSセンサと同様に転送部を上下方向に設けた場合には、画素の並びと同一の並びで、対応するデジタル信号を得ることが困難となる。つまり、通常のタイミングでは40列ごとに信号を出力することとなり、受信する後段のプロセッサー側で信号の並び替え等が必要となるか、さらに高速の動作が必要となり電力の増加や転送効率が低下を招くこととなる。そのため、並列でAD変換動作を行い、高速化を実現するという本発明の効果が低減することとなる。
【0170】
したがって、本実施形態で示したように複数のアナログ信号に対して同時にAD変換を可能とした構成において、アナログ信号を読み出す信号線803に対して、デジタル信号を出力するための出力信号線807を異なる方向に(例えば、直交して)配置することが効果的だといえる。なお、本実施形態において、信号線803(第1の信号線)が配置されている垂直方向は第1の方向に、出力信号線807(第2の信号線)が配置されている方向は第2の方向に相当する。
【0171】
(変形例1)
図30において、回路アレイ上の各信号処理部21において各行で出力信号線807を共有する例を示したが、各行に対して複数の出力信号線を共有する構成としてもよい。図34は本変形例において、第2の基板20において信号処理部21より後段の回路ブロックの構成を示した図である。なお、説明の簡略化のため、回路駆動部27b、シリアライザ28b、転送部29bは省略してある。出力信号線809aおよび出力信号線809bは撮像素子106の水平方向に配置され、それぞれ回路アレイの行に対応している。回路アレイ上の各信号処理部21は各行で出力信号線809aおよび出力信号線809bを共有している。より詳細には、回路アレイ上で奇数列に配置された信号処理部21は出力信号線809aに、偶数列に配置された信号処理部21は出力信号線809bに接続されている。共有した出力信号線は時分割で用いられるため、本数が増えることによって単位時間内に出力できるデータ量を増加することが可能となる。そのため、各出力信号線上での信号転送における駆動周波数を低下することもできる。なお、本変形例の効果として駆動周波数の低減に限定されるわけではなく、駆動周波数を高速に維持することでフレームレートの向上も期待できる。
【0172】
なお、回路アレイ上の各行の信号処理部21は複数の出力信号線のいずれかに対して接続する構成としたが、スイッチ等を用いて複数の出力信号線に接続可能な構成としてもよい。いずれの出力信号線に接続するかは回路駆動部27aまたは回路駆動部27bによって制御される。また、本変形例では回路アレイ上の各行に複数の出力信号線を有する構成としたが、出力信号線に含まれる複数の配線を振り分けるようにしても同様の効果を得ることができる。一例として、各出力信号線が転送可能な24bitを12bitずつに分け、回路アレイ上で奇数列に配置された信号処理部21は上位の12bitの配線に、偶数列に配置された信号処理部21は下位の12bitの配線に接続するようにしてもよい。この場合にフレームレートが低下する場合には、転送する駆動周波数を増加させることで、全体としてフレームレートを維持することも可能となる。
【0173】
図35は出力信号線809aおよび出力信号線809b経由でシリアライザ28aに供給される出力信号のタイミングを示している。シリアライザ28aには画素アレイの奇数列に配置された画素部11からの信号が入力され、シリアライザ28bに偶数列に配置された画素部11からの信号が入力される。図35においては説明の簡略化ためシリアライザ28bを省略している。
【0174】
図35に示したように、に示すように出力信号線809aおよび出力信号線809bを共有する信号処理部21に対して順次出力制御信号を供給し、出力を行う。より詳細には、図35に示したように、まず1行目の信号を順次出力する。この際に回路アレイ上の隣接2列に含まれる信号処理部21には同一のタイミングで出力制御信号を供給する。一例として、最も左側に位置する列に対して出力制御信号を供給した後に、順次列ごとに供給を行い、画素アレイにおける1行目に対応する出力信号を出力する。そして、回路アレイ上のすべての信号処理部21に出力制御信号を供給したのちに、再度左側に位置する列に対して出力制御信号を供給する。これによって画素ブロック上の2行目に相当する出力信号が出力される。本動作を行うことによって、行ごとに複数の信号を転送可能となり、半分の時間で信号読み出しを完了することが可能となる。なお、図33で示した転送部29aおよび転送部29bからの信号出力と同様のタイミングを実現するために、不図示のラインメモリを用意することが好ましい。
【0175】
(変形例2)
図30において、回路アレイ上の各信号処理部21において各行で出力信号線807を共有する例を示した。さらに、回路アレイにおける奇数行および偶数行に対応して配置された信号線807が交互にシリアライザ28aおよびシリアライザ28bにそれぞれ接続する構成を示した。だたし、信号処理部21の配置および、各シリアライザへの接続はこの構成に限定されるものではない。本変形例においては、他の信号処理部21の配置および、各シリアライザへの接続例を示す。
【0176】
図36は本変形例における第2の基板20において信号処理部21より後段の回路ブロックの構成を示した図である。なお、説明の簡略化のため、各回路駆動部と、各転送部は省略してある。各信号処理部21でAD変換されたデジタル信号は、信号処理部21内の所定のバッファにて一時的に保持される。そして、対応する出力信号線807経由で読み出される。本変形例においては、図36に示すように信号処理部21は、回路アレイ上に列方向には40列ごとに配置されているが、行方向に対しては列番号Xの順に並んで配置されない。具体的には、8列(X=8)刻みで配置される。これにより行方向において5個の信号処理部21を信号処理ブロックとして8個の信号処理ブロックが形成される。それぞれの信号処理ブロックは図36に示したように、転送部29aおよび転送部29bにおける6laneを1単位としたリンクに対応している。1つのリンクは各転送部において出力回路を共有しており、例えばリンクごとに1つの誤り訂正回路を共有している。誤り訂正回路は誤り訂正符号ECC(Error Correction Code)を出力信号に付与する動作を行う。撮像素子106からの信号を受け取るDFE108またはDSP109は、誤り符号回路が付与したECCを取得することで、出力信号を正常に受信できたか否かを判定することが可能となる。
【0177】
なお、本変形例では1つの信号処理ブロックに含まれる信号処理部21の数を5個としたが、これに限定されるものではない。信号処理ブロックに含まれる信号処理部21の数は使用可能なlane数と対応しており、lane数が24の場合には、信号処理ブロックに含まれる信号処理部21の数は10個とすることが好ましい。このように、信号処理ブロックに含まれる信号処理部21の数は使用可能なlane数と対応させることによって、画素部11の並びと同一の並びで、対応するデジタル信号を得ることができる。つまり、受信した後段のプロセッサー側で信号の並び替え等が不要となり、並び替え用の処理時間やメモリ等が不要となる。なお、Lane数を48と24を切り替える場合には、シリアライザ28aにおいてマルチプレクサを追加する必要がある。
【0178】
以上のように、本変形例に示すように回路アレイにおける奇数行および偶数行に対応して配置された信号線807が交互にシリアライザ28aおよびシリアライザ28bにそれぞれ接続する必要ない。例えば、後段の各転送部における共通回路の構成を考慮して、複数行を信号処理ブロックとして、信号処理ブロックごとに各シリアライザへ接続する構成としてもよい。
【0179】
なお、本実施形態においては、画素アレイにおいて水平方向に8000画素、垂直方向に6000画素の有効画素を有する例を示したが、取得する画像信号のアスペクトによってはすべての画素部11からの信号を得る必要はない。例えば、動画撮像に用いられる16:9のアスペクト比においては垂直方向には約4000画素分の画素があれば十分であり、残りの1000画素に相当する画素部11からの信号は読み出す必要がない。このような場合には、読み出す必要がない画素部11(あるいは画素ブロック12)および対応する信号処理部21に対して省電力動作を行うことが好ましい。これは、静止画に用いられる3:2のアスペクト比の場合にも同様である。
【0180】
(第10の実施形態)
各実施形態で説明した撮像素子106および撮像装置100は様々なアプリケーションに適用可能である。例えば、撮像素子106は可視光以外にも赤外光、紫外光、X線等の光のセンシングに用いることが可能である。また、撮像装置100はデジタルカメラに代表されるが他にも、スマートフォン等のカメラ付携帯電話、監視カメラ、ゲーム機器等にも適用可能である。さらに、内視鏡や血管撮像を行う医療機器や、肌や頭皮を観察する美容機器、スポーツやアクション動画を撮像するためのビデオカメラに適用できる。そして、交通監視やドライブレコーダー等の交通目的カメラ、天体観測や検体観察等の学術用途カメラ、カメラ付き家電製品、マシンビジョン等にも適用可能である。特にマシンビジョンとして、工場等におけるロボットには限られず、農業や漁業での活用も可能である。
【0181】
また、上記実施形態に示した撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図1に示した構成に限定されるものではない。また、撮像装置の各部の回路構成も、各図に示した構成に限定されるものではない。
【0182】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0183】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0184】
10 第1の基板
11 画素部
12 画素ブロック
20 第2の基板
21 信号処理部
100 撮像装置
106 撮像素子
803 信号線
804 MPX回路
805 ADC回路
806 PSAVE制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36