(58)【調査した分野】(Int.Cl.,DB名)
前記制御部は、前記第1画素群に含まれる第1画素が有する第1光電変換部の電荷蓄積時間と、前記第2画素群に含まれる第2画素が有する第2光電変換部の電荷蓄積時間とを異ならせる請求項1から4のいずれか1項に記載の撮像素子。
前記制御部は、前記第1画素群に含まれる複数の第1画素がそれぞれ有する第1光電変換部の電荷蓄積時間と、前記第2画素群に含まれる複数の第2画素がそれぞれ有する第2光電変換部の電荷蓄積時間とを異ならせる請求項1から5のいずれか1項に記載の撮像素子。
前記制御部は、前記第1画素群に含まれる複数の前記第1画素がそれぞれ有する第1転送部と、前記第2画素群に含まれる複数の前記第2画素がそれぞれ有する第2転送部とを制御する請求項7または8に記載の撮像素子。
前記制御部は、前記第1画素群に含まれる前記第1画素が有する第1転送部を同時に制御し、前記第2画素群に含まれる前記第2画素が有する第2転送部を同時に制御する請求項7から12のいずれか1項に記載の撮像素子。
前記制御部は、前記第1画素群に含まれる複数の前記第1画素がそれぞれ有する前記第1光電変換部から前記第1蓄積部へ電荷を同時にそれぞれ転送し、前記第2画素群に含まれる複数の前記第2画素がそれぞれ有する前記第2光電変換部から前記第2蓄積部へ電荷を同時にそれぞれ転送する請求項7から13のいずれか1項に記載の撮像素子。
前記処理部は、前記第1画素の出力部から出力されたアナログ信号および前記第2画素の出力部から出力されたアナログ信号をデジタル信号に変換するA/D変換部を有する請求項18に記載の撮像素子。
前記処理部は、前記第1画素群から出力された信号を処理する第1処理部と、前記第2画素群から出力された信号を処理する第2処理部とを有する請求項18または19に記載の撮像素子。
前記第1画素群と前記第2画素群とが配置されるチップと、前記第1処理部と前記第2処理部とが配置されるチップとが積層される請求項20または21に記載の撮像素子。
前記記憶部は、前記第1画素群から出力された信号を処理する第1処理部で処理された信号を記憶する第1記憶部と、前記第2画素群から出力された信号を処理する第2処理部で処理された信号を記憶する第2記憶とを有する請求項24に記載の撮像素子。
【発明を実施するための形態】
【0008】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0009】
図1は、本実施形態に係る裏面照射型の撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する撮像チップと113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
【0010】
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面右方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、
図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0011】
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層は、配線層108の裏面側に配されている。PD層106は、二次元的に配された複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。
【0012】
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が一つの画素を形成する。
【0013】
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
【0014】
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0015】
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
【0016】
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
【0017】
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ109は、例えば後述する一つの出力配線に対して一つ程度設ければ良い。したがって、バンプ109の大きさは、PD104のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けても良い。
【0018】
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられて良い。
【0019】
図2は、撮像チップ113の画素配列と単位グループ131を説明する図である。特に、撮像チップ113を裏面側から観察した様子を示す。画素領域には2000万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する4画素×4画素の16画素が一つのグループを形成する。図の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。
【0020】
画素領域の部分拡大図に示すように、単位グループ131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素Gb、Grは、カラーフィルタ102として緑色フィルタを有し、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタ102として青色フィルタを有し、青色波長帯の光を受光し、赤色画素Rは、カラーフィルタ102として赤色フィルタを有し、赤色波長帯の光を受光する。
【0021】
図3は、画素150の等価回路図を示す。上記複数の画素150の各々は、上記PD104、転送トランジスタ152、リセットトランジスタ154、増幅トランジスタ156および選択トランジスタ158を有する。これらのトランジスタの少なくとも一部は
図1のトランジスタ105に対応する。さらに、画素150には、リセットトランジスタ154のオン信号が供給されるリセット配線300、転送トランジスタ152のオン信号が供給される転送配線302、電源Vddから電力の供給を受ける電源配線304、選択トランジスタ158のオン信号が供給される選択配線306、および、画素信号を出力する出力配線308が配される。以下、各トランジスタをnチャンネル型FETを例として説明するが、トランジスタの種類はこれに限られない。
【0022】
転送トランジスタ152のソース、ゲート、ドレインはそれぞれ、PD104の一端、転送配線302、増幅トランジスタ156のゲートに接続される。また、リセットトランジスタ154のドレインは電源配線304に接続され、ソースは増幅トランジスタ156のゲートに接続される。増幅トランジスタ156のドレインは電源配線304に接続され、ソースは選択トランジスタ158のドレインに接続される。選択トランジスタ158のゲートは選択配線306に接続され、ソースは出力配線308に接続されている。負荷電流源309は、出力配線308に電流を供給する。すなわち、選択トランジスタ158に対する出力配線308は、ソースフォロアにより形成される。なお、負荷電流源309は、撮像チップ113側に設けても良いし、信号処理チップ111側に設けても良い。
【0023】
図4は、単位グループ131における上記画素150の接続関係を示す回路図である。なお、図面を見やすくする目的で各トランジスタの参照番号を省略したが、
図4の各画素の各トランジスタは、
図3の画素150における対応する位置に配された各トランジスタと同じ構成および機能を有する。
【0024】
図4に示す単位グループ131内で、同じ色のカラーフィルタ102を有する画素150が画素群を形成する。カラーフィルタ102が
図2に示すようにRGBの三種類であることに対応して、画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の8画素がG画素群を形成する。同様に、画素R1、R2、R3、R4の4画素がR画素群を形成し、画素B1、B2、B3、B4の4画素がB画素群を形成する。すなわち、カラーフィルタ102を透過する波長領域毎に画素群が形成される。
【0025】
ここで、各画素群に含まれる複数の画素間で転送トランジスタのゲートが共通に接続されている。これにより、転送トランジスタのゲートが画素群に属する画素で一斉に、かつ、画素群間で独立して制御される。
【0026】
図4に示す例において、G画素群に含まれる画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の転送トランジスタのゲートは共通のG転送配線310に接続されている。同様に、R画素群の画素R1、R2、R3、R4の転送トランジスタのゲートは共通のR転送配線312に接続され、B画素群の画素B1、B2、B3、B4の転送トランジスタのゲートは共通のB転送配線314に接続されている。
【0027】
また、各画素群に含まれる複数の画素間で選択トランジスタのソースが共通に接続されている。G画素群の画素Gb1、Gb2、Gb3、Gb4、Gr1、Gr2、Gr3、Gr4の選択トランジスタのソースは共通のG出力配線320に接続されている。同様に、R画素群の画素R1、R2、R3、R4の選択トランジスタのソースは共通のR出力配線322に接続され、B画素群の画素B1、B2、B3、B4の選択トランジスタのソースは共通のB出力配線324に接続されている。
【0028】
G出力配線320には負荷電流源311が接続される。同様に、R出力配線322には負荷電流源313が接続されるとともに、B出力配線324には負荷電流源315が接続される。なお、リセット配線326および電源配線316は単位グループ131で共通である。また、選択配線318は、各画素に一対一に16本配され、対応する選択トランジスタのゲートに接続されている。
【0029】
このように、一の単位グループ131に対して複数の出力配線が設けられることになる。しかし、撮像チップ113は裏面照射型なので、PD104に入射する光量を減らすことなく、撮像チップ113の配線107の層数を増やして、面方向の大きさを大きくすることなく配線を引き回すことができる。
【0030】
図5は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置500は、撮影光学系としての撮影レンズ520を備え、撮影レンズ520は、光軸OAに沿って入射する被写体光束を撮像素子100へ導く。撮影レンズ520は、撮像装置500に対して着脱できる交換式レンズであっても構わない。撮像装置500は、撮像素子100、システム制御部501、駆動部502、測光部503、ワークメモリ504、記録部505、および表示部506を主に備える。
【0031】
撮影レンズ520は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、
図5では瞳近傍に配置された仮想的な1枚のレンズで代表して表している。駆動部502は、システム制御部501からの指示に従って撮像素子100のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。この意味において駆動部502は、撮像素子100に対して電荷蓄積を実行させて画素信号を出力させる撮像素子制御部の機能を担うと言える。駆動部502は、撮像素子100と組み合わされて撮像ユニットを形成する。駆動部502を形成する制御回路は、チップ化されて、撮像素子100に積層されても良い。
【0032】
撮像素子100は、画素信号をシステム制御部501の画像処理部511へ引き渡す。画像処理部511は、ワークメモリ504をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、JPEGファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部505に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部506に表示される。
【0033】
測光部503は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部503は、例えば100万画素程度のAEセンサを含む。システム制御部501の演算部512は、測光部503の出力を受けてシーンの領域ごとの輝度を算出する。演算部512は、算出した輝度分布に従ってシャッタ速度、絞り値、ISO感度を決定する。なお、上記AEセンサに用いられる画素を撮像素子100内に設けてもよく、この場合には当該撮像素子100とは別個の測光部503を設けなくてもよい。
【0034】
図6は、撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131のG画素群の8個の画素Gb1等を順番に選択して、それぞれの画素信号をG出力配線320等へ出力させる。
【0035】
マルチプレクサ411を介して出力された画素信号は、G出力配線320を介して、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、G出力配線321を介してデマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。
【0036】
同様にマルチプレクサ421は、単位グループ131のR画素群の4個の画素R1等を順番に選択して、それぞれの画素信号をR出力配線322へ出力させる。信号処理回路422は、R出力配線322に出力された画素信号に対してCDSおよびA/D変換を行う。A/D変換された画素信号は、R出力配線323を介してデマルチプレクサ423に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。
【0037】
同様にマルチプレクサ431は、単位グループ131のB画素群の4個の画素B1等を順番に選択して、それぞれの画素信号をB出力配線324へ出力させる。信号処理回路432は、B出力配線324に出力された画素信号に対してCDSおよびA/D変換を行う。A/D変換された画素信号は、B出力配線325を介してデマルチプレクサ433に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。
【0038】
マルチプレクサ411、421、431はそれぞれ、撮像チップ113上で、
図3の選択トランジスタ158と選択配線306により形成される。信号処理回路412、422、432は、信号処理チップ111に形成される。なお、
図6の例においては、G画素群、R画素群およびB画素群に対応して三つの信号処理回路412、422、432が設けられている。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。
【0039】
単位グループ131内のG画素群、R画素群およびB画素群に対応してG出力配線320、321、R出力配線322、323およびB出力配線324、325が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これらの配線はバンプ109を用いたチップ間の電気的接続とすることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0040】
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられても良いし、メモリチップ112に設けられても良い。なお、図では1グループ分の接続を示すが、実際にはこれらがグループごとに存在して、並列で動作する。ただし、演算回路415はグループごとに存在しなくても良く、例えば、一つの演算回路415がそれぞれのグループに対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理しても良い。
【0041】
図7は、
図4の各画素群の動作のタイミングチャートを示す。駆動部502は、時刻t0においてリセット配線326を介して当該単位グループ131の各画素Gb1等のリセットトランジスタをオンにする。これにより、各画素Gb1等の増幅トランジスタのゲートの電荷が破棄され、ゲートの電位がリセットされる。さらに駆動部502は、各画素Gb1等のリセットトランジスタをオンの状態に保って、時刻t1からt2までG転送配線310を介してG画素群に属する各画素Gb1等の転送トランジスタをオンにする。これにより、G画素群に属する各画素Gb1等のPDに蓄積されていた電荷が破棄される。
【0042】
同様に、駆動部502は、時刻t1からt2までR転送配線312およびB転送配線314を介してR画素群の各画素R1等の転送トランジスタおよびB画素群の各画素B1等のトランジスタをオンにする。これにより、R画素群の各画素R1等およびB画素群の各画素B1等のPDに蓄積されていた電荷が破棄される。その後、駆動部502は時刻t3においてリセット配線326を介して当該単位グループ131の各画素Gb1等のリセットトランジスタをオフにする。
【0043】
上記時刻t2から予め定められた蓄積時間後の時刻t4において、駆動部502はG転送配線310を介してG画素群に属する各画素Gb1等の転送トランジスタをオンにし、その後の時刻t6でオフにする。これにより、G画素群に属する各画素Gb1等おいて時刻t2からt4までの間にPDに蓄積されていた電荷が、転送トランジスタを介して増幅トランジスタのゲートに一斉に転送される。これにより、駆動部502は、G画素群に属する各画素Gb1の電荷の蓄積時間を一括して制御することができる。なお当該蓄積時間は例えば露光時間と同一である。
【0044】
図7に示す例においては、G画素群と同様に時刻t4からt6までにおいて、駆動部502はR転送配線312を介してR画素群の各画素R1等の転送トランジスタをオンにする。これにより、R画素群の各画素R1等において時刻t2からt4までの間にPDに蓄積されていた電荷が、転送トランジスタを介して増幅トランジスタのゲートに一斉に転送される。
【0045】
また、
図7に示す例においては、時刻t4よりも後の時刻t5から、予め定められた時間後の時刻t7までにおいて、駆動部502はB転送配線314を介してB画素群の各画素B1等の転送トランジスタをオンにする。これにより、B画素群の各画素B1等において時刻t2からt5までの間にPDに蓄積されていた電荷が、転送トランジスタを介して増幅トランジスタのゲートに一斉に転送される。
【0046】
これにより、駆動部502は、B画素群の各画素B1等の電荷の蓄積時間を、G画素群の各画素Gr1等とは異なる蓄積時間に、一括して制御することができる。また、特定の画像群に対して露光時間とは異なる蓄積時間で電荷を蓄積させることもできる。いずれの画素群にいずれの蓄積時間を設定するかは、本撮影の前に仮撮影をしたときの画素群に対応する画像情報ごとの出力から判断してもよい。例えば一の画像情報に基づく画像が他の画像情報に基づく画像よりも暗いとシステム制御部501が判断した場合に、システム制御部501は、当該一の画像情報に対応する画素群に対して駆動部502により蓄積時間を他の画素群よりも長くしてもよい。
【0047】
上記時刻t7よりも後の時刻t8において、駆動部502は選択配線Gr1を介してG画素群の画素Gr1の選択トランジスタをオンにする。これにより、転送トランジスタにより転送された電荷に応じた画素信号が増幅トランジスタで生成されて、当該画素信号が選択トランジスタを介してG出力配線320に出力される。時刻t8よりも後の時刻t9において、駆動部502は選択配線Gr2を介してG画素群の画素Gr2の選択トランジスタをオンにすることにより、同様に、画素Gr2の画素信号が選択トランジスタを介してG出力配線320に出力される。このように、駆動部502は、G画素群の各画素Gr1等の選択配線Gr1等を介して選択トランジスタを順次、オンにすることにより、G画素群の各画素Gr1等の画素信号を一のG出力配線320に順次、出力させる。
【0048】
上記時刻t8、t9等に同期して、駆動部502は、選択配線R1等を介してR画素群の画素R1等の選択トランジスタを順次、オンにすることにより、R画素群の各画素R1等の画素信号を一のR出力配線322に順次、出力させる。同様に、上記時刻t8、t9等に同期して、駆動部502は、選択配線B1等を介してR画素群の画素B1等の選択トランジスタを順次、オンにすることにより、B画素群の各画素B1等の画素信号を一のB出力配線324に順次、出力させる。
【0049】
以上により、単位グループ131に含まれる各画素の画素信号が、各画素群の出力配線から出力される。なお、画素群内で画素信号を出力する画素の順序は予め定められて、駆動部502にハードウェアとして組み込まれるか、ソフトウェアとして記憶されていることが好ましい。
【0050】
以上、本実施形態によれば、各画像情報に対応した各画素群に属する各画素の電荷の蓄積時間を一括して制御することができる。よって、それぞれの画像情報に適した蓄積時間で電荷を蓄積することができる。例えば、RGBのいずれかに偏った被写体を撮像する場合に、強い色に対応する画素群と弱い色に対応する画素群とで蓄積時間を異ならせることにより、色ごとのダイナミックレンジを広くすることができる。また、画素群間で独立して各画素の画素信号を読み出すことができる。
【0051】
図8は、他の単位グループ132の例および各画素の接続関係を示す。なお、
図8では図を見やすくする目的で、転送配線および出力配線を示したが各画素の他の構成を省略して四角で示した。
【0052】
図8に示す例において、撮像素子100の画素配列は、
図2における緑色画素Gbに代えて、白色画素Wが配されている。白色画素Wには、対応するカラーフィルタ102が設けられていないか、または、赤色、緑色および青色を透過する無色のフィルタが設けられる。これにより、緑色画素Gb、青色画素B、赤色画素Rおよび白色画素Wには、互いに異なる画像情報の一例である色情報に対応する入射光が入射する。
【0053】
単位グループ132はそれぞれ、4×4の16画素を有する。なお、各々の単位グループ132に含まれる画素の数はこれに限られないことは、
図4の例と同様である。
【0054】
単位グループ132内で、同じ色のカラーフィルタ102を有する画素150が画素群を形成する。カラーフィルタ102がRGBWの四種類であることに対応して、画素G1、G2、G3、G4の4画素がG画素群を形成する。同様に、画素R1、R2、R3、R4の4画素がR画素群を形成し、画素B1、B2、B3、B4の4画素がB画素群を形成する。さらに、画素W1、W2、W3、W4の4画素がW画素群を形成する。すなわち、カラーフィルタ102を透過する波長領域毎に画素群が形成される。
【0055】
ここで、各画素群に含まれる複数の画素間で転送トランジスタのゲートが共通に接続されている。これにより、駆動部502は、転送トランジスタのゲートを画素群内で一斉に、かつ、画素群間で独立して制御する。
【0056】
G画素群に含まれる画素G1、G2、G3、G4の転送トランジスタのゲートは共通のG転送配線330に接続されている。同様に、R画素群の画素R1、R2、R3、R4の転送トランジスタのゲートは共通のR転送配線332に接続され、B画素群の画素B1、B2、B3、B4の転送トランジスタのゲートは共通のB転送配線334に接続されている。さらに、W画素群の画素W1、W2、W3、W4の転送トランジスタのゲートは共通のW転送配線336に接続されている。
【0057】
また、各画素群に含まれる複数の画素間で選択トランジスタの出力側が共通に接続されている。G画素群の画素G1、G2、G3、G4の選択トランジスタの出力側は共通のG出力配線340に接続されている。同様に、R画素群の画素R1、R2、R3、R4の選択トランジスタの出力側は共通のR出力配線342に接続され、B画素群の画素B1、B2、B3、B4の選択トランジスタのソースは共通のB出力配線344に接続されている。さらに、W画素群の画素W1、W2、W3、W4の選択トランジスタの出力側は共通のW出力配線346に接続されている。
【0058】
なお、
図4の例と同様に、リセット配線および電源配線は単位グループ132で共通である。また、選択配線は、各画素に一対一に16本配され、対応する選択トランジスタのゲートに接続されている。さらに、出力配線には
図4の例と同様に、それぞれ負荷電流源が接続される。
【0059】
これにより、駆動部502は、各画素群に属する各画素の電荷の蓄積時間を一括して制御することができる。また、特定の画像群に対して他の画素群とは異なる蓄積時間で電荷を蓄積させることができる。例えば、W画素群のカラーフィルタは無色なので、G画素群等よりも光量が大きい場合がある。よって、W画素群の各画素の電荷の蓄積時間をG画素群等の各画素の電荷の蓄積時間よりも短くすることで、W画素群とG画素群等とでそれぞれ適切な露光を得ることができる。
【0060】
図9は、裏面照射型の他の撮像素子160の断面図である。撮像素子160において、
図1の撮像素子100と同一の構成については同一の参照番号を付して説明を省略する。
【0061】
図9の撮像素子160は、パッシベーション膜103とカラーフィルタ102との間に、開口マスク162を有する。開口マスク162は例えばアルミニウム膜により形成される。
【0062】
開口マスク162は、各PD104に対応して開口164、165、166を有し、当該開口部分以外は入射光を遮断する。これにより、開口マスク162は、開口位置に応じて結像光学系における光束の一部を透過する。
図9に示す例において図示されている4つの画素のうち最も−X側に配されている画素に対応する開口164はPD104に対して−X側に変位している。一方、4つの画素のうち最も−X側から3番目の画素に対応する開口166はPD104に対して+X側に変位している。これらにより結像光学系における射出瞳の−Xおよび+Xに変位した光束を入射させて、位相差AFの情報を取得することができる。
【0063】
これら開口がPD104に対して変位した画素を視差画素と呼ぶことがある。一方、開口165は、PD104に対して変位していない。視差画素に対しては白色のカラーフィルタ102が配される。この画素を視差なし画素と呼ぶことがある。視差なし画素に対してはRGBいずれかのカラーフィルタ102が配される。
【0064】
図10は、撮像素子160に対応した単位グループ167、168の例および各画素の接続関係を示す。なお、
図10では図を見やすくする目的で、
図8と同様に、転送配線および出力配線を示したが、各画素の他の構成を省略して四角で示した。
【0065】
図10に示す例において、撮像素子160の画素配列は、4×4の画素について
図4における緑色画素Gr1、Gr2に代えて、視差画素Lt1、Rt1が配されている。視差画素Lt1は
図9における開口164が設けられた画素に対応し、視差画素Rt1は
図9における開口166が設けられた画素に対応する。また、当該4×4の16画素が単位グループ167を形成する。
【0066】
単位グループ167内で、同じ色のカラーフィルタ102を有する画素150が画素群を形成する。カラーフィルタ102がRGBの三種類であることに対応して、
図4と同様にG画素群、R画素群およびB画素群が形成される。G画素群、R画素群およびB画素群の構成および作用については
図4と同様であるので説明を省略する。ただし、単位グループ167においては、
図4における緑色画素Gr1、Gr2に代えて視差画素Lt1、Rt1が配されていることに対応して、G画素群は6画素で形成される。なお、単位グループ168については、単位グループ167とは別個のG転送配線370、R転送配線372、B転送配線374、G出力配線380、R出力配線382、B出力配線384が設けられるが、その接続関係は単位グループ167と同様である。
【0067】
さらに、開口位置ごとにも画素群が形成される。この場合に、複数の単位グループ167、168をまたいで、画素群が形成される。
図10の例においては、開口位置が変位している視差画素Lt1、Lt2、Rt1、Rt2の4画素が視差画素群を形成する。
【0068】
視差画素群に含まれる視差画素Lt1、Lt2、Rt1、Rt2の転送トランジスタのゲートは共通の視差転送配線356に接続されている。また、視差画素群の画素Lt1、Lt2、Rt1、Rt2の選択トランジスタの出力側は共通の視差出力配線366に接続されている。
【0069】
これにより、駆動部502は、各画素群に属する各画素の電荷の蓄積時間を一括して制御することができる。また、特定の画像群に対して他の画素群とは異なる蓄積時間で電荷を蓄積させることができる。さらに、出力配線には
図4の例と同様に、それぞれ負荷電流源が接続される。
【0070】
例えば、撮像装置500においてレリーズボタンが半押しされたときには、視差画素群の各画素Lt1等を駆動して位相差AFの情報を取得するとともに、この時点で他の画素群の各画素Gr1等を駆動しない。一方、撮像装置500においてレリーズボタンが全押しされたときには、G画素群、R画素群およびB画素群の各画素Gr1等を駆動してRGBの画像の情報を取得するとともに、視差画素群の各画素Lt1等を駆動しない。これにより、レリーズボタンが半押しの状態では位相差AFの情報に適した蓄積時間で電荷を蓄積させることができるとともに、少ない画素で画像処理をすることにより短時間で位相差AFの情報を得ることができる。一方、レリーズボタンが全押しの状態では高解像度を保ちつつ、RGBの画像の情報に適した蓄積時間で電荷を蓄積することができる。
【0071】
なお、
図10においては二つの単位グループ167、168をまたいで視差画素群が形成されたが、単位グループ内の視差画素で、または、三以上の単位グループをまたいで視差画素群を形成してもよい。さらに、開口位置の変位方向ごとに視差画素群を形成してもよい。すなわち、−X側に開口が変位した複数の画素Lt1、Lt2等による視差画素群と、+X側に開口が変位した複数の画素Rt1、Rt2等による視差画素群とを形成してもよい。
【0072】
また、
図4または
図8の配列において、各画素が変位した開口を有していてもよい。この場合に、色毎かつ開口位置の変位方向毎に画素群を形成してもよい。さらに、
図10の視差画素に代えてまたはこれに加えて、変位していない開口を有しかつカラーフィルタ102を設けないまたは無色のカラーフィルタ102の画素をAE画素として単位グループ167、168内に配してもよい。この場合にも、複数のAE画素がAE画素群を形成することにより、駆動部502はAE画素群に属する各画素の電荷の蓄積時間を一括して制御する。これにより、画像情報としての露光情報を得るのに適した蓄積時間を設定し、例えばレリーズボタンが半押しのとき等に他の画像群とは独立して画素情報を読み出すことができる。
【0073】
図11は、他の画素170の等価回路を示す。
図11において
図3の画素150と同じ構成については同じ参照番号を付して説明を省略する。なお、出力配線308には
図4の例と同様に、負荷電流源が接続されるが図示を省略した。
【0074】
画素170は、転送配線302と転送トランジスタ152のゲートとの間に行選択トランジスタ171および列選択トランジスタ172が設けられている。行選択トランジスタ171のゲートは行選択配線391に接続されており、列選択トランジスタ172のゲートは列選択配線392に接続されている。当該行選択配線391には例えば少なくとも単位グループ131内における当該画素170とX方向(すなわち行方向)に並んだ画素の行選択トランジスタのゲートが共通に配されている。同様に、当該列選択配線392には例えば少なくとも単位グループ131内における当該画素170とY方向(すなわち列方向)に並んだ画素の列選択トランジスタのゲートが共通に配されている。
【0075】
上記構成によれば、行選択配線391と列選択配線392とにオン信号が付加された場合に当該配線で特定される画素170の転送トランジスタ152をオンにすることができる。これにより、画素単位で転送トランジスタのオンオフを制御することができる。
【0076】
さらに、画素170は、画素150の一個の選択トランジスタ158に代えて、行選択トランジスタ174および列選択トランジスタ175が設けられている。行選択トランジスタ174のゲートは行選択配線394に接続されており、列選択トランジスタ175のゲートは列選択配線395に接続されている。当該行選択配線394には例えば少なくとも単位グループ131内における当該画素170とX方向(すなわち行方向)に並んだ画素の行選択トランジスタのゲートが共通に配されている。同様に、当該列選択配線395には例えば少なくとも単位グループ131内における当該画素170とY方向(すなわち列方向)に並んだ画素の列選択トランジスタのゲートが共通に配されている。
【0077】
上記構成によれば、行選択配線394と列選択配線395とにオン信号が付加された場合に当該配線で特定される画素170の画素信号を出力配線308に出力することができる。これにより、画素150のように選択トランジスタ158と一対一に対応した選択配線318よりも、配線数を減らすことができる。
【0078】
なお、転送トランジスタ152に対する行選択配線391および列選択配線392と、出力配線308に対する行選択配線394および列選択配線395とは組で用いられなくてよい。いずれか一方に対して画素150の構成を用いてよい。また、転送と出力を同時に行うことがない場合には、行選択配線391、394を一本にして転送と出力とで共通に用いるとともに、列選択配線392、395も一本にして転送と出力とで共通に用いてもよい。
【0079】
上記実施形態にはいずれも、リセット配線326および電源配線316は単位グループ131で共通である。これに加えて、リセット配線326および電源配線316は複数の単位グループ131間で共通であってもよい。また、これに代えて、リセット配線326を画素群ごとに共通とし、画素群間では別個の配線としてもよい。さらに、リセット配線326を画素ごとに別個の配線とし、画素170における転送トランジスタ152の制御と同様にリセットトランジスタ154を制御してもよい。
【0080】
以上、本実施形態によれば、単位グループ131内または単位グループ131間において、同一の画像情報に対応する複数の画素を画素群として電荷蓄積時間および読み出しを制御する。よって、それぞれの画像情報に適した電荷蓄積時間および読み出しタイミングを設定することができる。
【0081】
図12は他の撮像素子600の単位グループ602を模式的に示す。
図13は単位グループ602内の画素ユニット603の回路図を示す。
【0082】
撮像素子600の単位グループ602は、
図2と同様にベイヤー配列で画素が二次元的に配列されている。行選択線は画素2行に一つずつ設けられおり、各行選択線に2行分の画素が共通に接続されている。出力配線604は画素2列に一つずつ設けられており、各出力配線604に2列分の画素が共通に接続されている。出力配線604のそれぞれは、撮像チップ113と信号処理チップ111とを電気的に接続するバンプ606を介してCDS回路608に一対一に接続されている。
【0083】
単位グループ602に含まれる複数の出力配線604のそれぞれに一対一に接続された複数のCDS回路608の出力はマルチプレクサ610に入力される。さらにマルチプレクサ610からの出力はA/D変換回路612に入力され、A/D変換回路612の出力は画素メモリ414に接続される。
【0084】
また、ベイヤー配列における一単位が画素ユニット603を形成している。すなわち、画素ユニット603は4画素Gb、Gr、B、Rを有する。
【0085】
電源配線Vdd、リセット配線は、単位グループ131に含まれる画素全体で共通に接続されている。また、Gb転送配線は、単位グループ131のうち画素Gbで共通に接続されている。同様に、Gr転送配線は単位グループ131のうち画素Grで共通に接続され、B転送配線は単位グループ131のうち画素Bで共通に接続され、R転送配線は単位グループ131のうち画素Rで共通に接続されている。さらに、リセット配線および各転送配線は複数の単位グループ131間では別個に設けられる。
【0086】
画素ユニット603の画素Gb、Gr、B、Rはリセットトランジスタ620、増幅トランジスタ622、選択トランジスタ624を共有している。また、画素Gb1は転送トランジスタ626、628を有する。同様に、画素Grは転送トランジスタ630、632を有し、画素Bは転送トランジスタ634、636を有し、画素Rは転送トランジスタ638、640を有する。
【0087】
各画素に注目した場合には、当該画素とリセットトランジスタ620、増幅トランジスタ622および選択トランジスタ624の接続関係は、
図3と同じである。一方、転送トランジスタ626等は
図3と接続関係が異なる。画素Gbの転送トランジスタ626のゲート、ドレイン、ソースはそれぞれ、Gb転送配線、行選択線1、転送トランジスタ628のゲートに接続される。また、転送トランジスタ628のソース、ドレインはそれぞれ、画素GbのPDの一端、増幅トランジスタ622のゲートに接続される。画素Gr、B、Rの接続関係も同様である。
【0088】
図12および
図13に示す形態において、各画素の画像信号は下記の通りに読み出される。なお、説明を簡単にするためにリセット動作の説明を省く。
【0089】
行選択線のいずれか、例えば行選択線1がオンされる。その状態でいずれかの転送配線、例えばGb転送配線がオンされる。これにより、画素Gbの転送トランジスタ626、628が両方オンになり、画素Gbの電荷が増幅トランジスタ622のゲートに転送される。ここで、行選択線1がオン状態なので、選択トランジスタ624もオンになっており、増幅トランジスタ622のゲートに転送された電荷に応じて増幅された画素信号が出力配線604から出力される。
【0090】
行選択線1は単位グループ602内の画素2行に対して共通であり、Gb転送配線は単位グループ602内の画素Gbに対して共通なので、単位グループ602の1行分の画素Gbの画素信号が、それぞれ対応する出力配線604に同時に出力される。ここで、出力配線604には一対一にCDS回路608が配されているので、それぞれの画素信号はノイズが除かれた状態で個々のCDS回路608に一時的に保持される。
【0091】
マルチプレクサ610は当該CDS回路608に保持された画素信号を順次読出し、A/D変換回路612に引き渡す。A/D変換回路612は当該画素信号を順次デジタル化して画素メモリ414に書き込む。これにより、単位グループ602の1行分の画素Gbの画素信号のそれぞれが、他の画素信号の影響を受けることなく画素メモリ414に格納される。
【0092】
次に、行選択線1がオンされた状態で、Gr転送配線がオンされることにより、単位グループ602の1行分の画素Grの画素信号のそれぞれが、他の画素信号の影響を受けることなく順次読み出される。同様に、行選択線1がオンされた状態でB転送配線がオンされることにより、単位グループ602の1行分の画素Bの画素信号のそれぞれが読み出されて画素メモリ414に格納され、行選択線1がオンされた状態でR転送配線がオンされることにより、単位グループ602の1行分の画素Rの画素信号のそれぞれが読み出されて画素メモリ414に格納される。以上により、単位グループ602の2行分の画素の画素信号が読み出される。
【0093】
次に行選択線2をオンにして上記手順を繰り返すことにより単位グループ602の次の2行分の画素の画素信号が読み出される。すべての行選択線に対して上記手順を繰り返すことにより、単位グループ602内のすべての画素の画素信号が読み出される。
【0094】
図12および
図13に示す形態によれば、各単位グループ602について行選択線を画素2行に対して一つ設ければよいので、配線の引き回しが容易になる。また、各単位グループ602について出力配線を画素2列に対して一つ設ければよいので、配線の引き回しが容易になる。
【0095】
図14はさらに他の撮像素子650の単位グループ652を模式的に示す。
図15は単位グループ652内の画素ユニット653の回路図を示す。
図14および
図15において、
図12および
図13と同一の構成および機能については、同一の参照番号を付して説明を省略する。
【0096】
単位グループ652には、列選択線が画素2列に一つずつ設けられおり、各列選択線に2列分の画素が共通に接続されている。列選択線は、画素ユニット653の各転送トランジスタ626、630、634、638のドレインに接続されている。
【0097】
各出力配線604はバンプ606を介して信号処理チップ111に配され、単位グループ652に対応して一つ設けられたマルチプレクサ610に入力される。マルチプレクサ610の出力はA/D変換回路614に入力される。A/D変換回路614は、画素信号をデジタル化する回路に加え、デジタル的にCDSを実行する回路も有する。A/D変換回路614でデジタル化されてCDSが実行された出力が画素メモリ414に格納される。
【0098】
図14および
図15の形態において、各画素の画像信号は下記の通りに読み出される。なお、説明を簡単にするためにリセット動作の説明を省く。
【0099】
行選択線のいずれか、例えば行選択線1がオンされる。その状態でいずれかの転送線路、例えばGb転送配線がオンされる。その状態でさらに、列選択線のいずれか、例えば列選択線1がオンされる。これにより、単位グループ652の内の一つの画素ユニット653の画素Gbの転送トランジスタ626、628が両方オンになり、画素Gbの電荷が増幅トランジスタ622のゲートに転送される。ここで、行選択線1がオン状態なので、選択トランジスタ624もオンになっており、増幅トランジスタ622のゲートに転送された電荷に応じて増幅された画素信号が、当該画素ユニット653に対応した出力配線604から出力される。さらに、行選択線1およびGb転送配線をオン状態に保って、列選択線のオン状態を順次切り替えることにより、それぞれの出力配線604から、1行分の画素Gbの画素信号が順次出力される。
【0100】
列選択線の切り替えに同期してマルチプレクサ610が各出力配線604からの入力を切り替えることにより、画素Gbからの画素信号が一画素分ずつA/D変換回路614に入力される。単位グループ652の1行分の画素Gbの画素信号のそれぞれが、他の画素信号の影響を受けることなく読み出されて画素メモリ414に格納される。
【0101】
次に、行選択線1およびGr転送配線がオンされた状態で、列選択線のオン状態を順次切り替えることにより、それぞれの出力配線604から、1行分の画素Grの画素信号が順次出力される。同様に、行選択線1およびB転送配線がオンされた状態で列選択線のオン状態を順次切り替えることにより、それぞれの出力配線604から1行分の画素Bの画素信号が順次出力され、行選択線1およびR転送配線がオンされた状態で列選択線のオン状態を順次切り替えることにより、それぞれの出力配線604から1行分の画素Rの画素信号が順次出力される。以上により、単位グループ652の2行分の画素の画素信号が読み出される。
【0102】
次に行選択線2をオンにして上記手順を繰り返すことにより単位グループ652の次の2行分の画素の画素信号が読み出される。すべての行選択線に対して上記手順を繰り返すことにより、単位グループ652内のすべての画素の画素信号が読み出される。
【0103】
図14および
図15に示す形態においても、各単位グループ652について行選択線を画素2行に対して一つ設ければよいので、配線の引き回しが容易になる。また、各単位グループ652について出力配線を画素2列に対して一つ設ければよいので、配線の引き回しが容易になる。また、CDS回路を信号処理チップ111の側に設けることができる。
【0104】
図16はさらに他の撮像素子654の単位グループ655を模式的に示す。
図17は単位グループ655内の画素ユニット656の回路図を示す。
図16および
図17において、
図14および
図15と同一の構成および機能については、同一の参照番号を付して説明を省略する。
【0105】
単位グループ655において、複数の出力配線604は単位グループ652に対応して一つ設けられたバンプ606に共通して接続されている。当該バンプ606はA/D変換回路614の入力側に接続されている。また、画素ユニット656の出力配線604には、列選択線とゲートが接続された選択トランジスタ642が設けられている。
【0106】
図16および
図17の形態において、各画素の画像信号は下記の通りに読み出される。なお、説明を簡単にするためにリセット動作の説明を省く。
【0107】
行選択線のいずれか、例えば行選択線1がオンされる。その状態でいずれかの転送線路、例えばGb転送配線がオンされる。その状態でさらに、列選択線のいずれか、例えば列選択線1がオンされる。これにより、単位グループ655の内の一つの画素ユニット656の画素Gbの転送トランジスタ626、628が両方オンになり、画素Gbの電荷が増幅トランジスタ622のゲートに転送される。ここで、行選択線1がオン状態なので、選択トランジスタ624もオンになっており、増幅トランジスタ622のゲートに転送された電荷に応じて増幅された画素信号が、当該画素ユニット653に対応した出力配線604から出力される。
【0108】
さらに、行選択線1およびGb転送配線をオン状態に保って、列選択線のオン状態を順次切り替えることにより、それぞれの出力配線604から、1行分の画素Gbの画素信号が順次出力される。よって、画素Gbからの画素信号が1画素分ずつバンプ606を介してA/D変換回路614に入力される。この場合に、各画素ユニット656には選択トランジスタ642が配されているので、列選択線で選択されていない画素ユニット656の画素Gbからの出力が遮断される。よって、単位グループ655の1行分の画素Gbの画素信号のそれぞれが、他の画素信号の影響を受けることなく読み出されて画素メモリ414に格納される。
【0109】
次に、行選択線1およびGr転送配線がオンされた状態で、列選択線のオン状態を順次切り替えることにより、それぞれの出力配線604から、1行分の画素Grの画素信号が順次出力される。同様に、行選択線1およびB転送配線がオンされた状態で列選択線のオン状態を順次切り替えることにより、それぞれの出力配線604から1行分の画素Bの画素信号が順次出力され、行選択線1およびR転送配線がオンされた状態で列選択線のオン状態を順次切り替えることにより、それぞれの出力配線604から1行分の画素Rの画素信号が順次出力される。
【0110】
以上により、単位グループ655の2行分の画素の画素信号が読み出される。次に行選択線2をオンにして上記手順を繰り返すことにより単位グループ655の次の2行分の画素の画素信号が読み出される。すべての行選択線に対して上記手順を繰り返すことにより、単位グループ655内のすべての画素の画素信号が読み出される。
【0111】
図16および
図17に示す形態においても、各単位グループ655について行選択線を画素2行に対して一つ設ければよいので、配線の引き回しが容易になる。また、各単位グループ655について出力配線を画素2列に対して一つ設ければよいので、配線の引き回しが容易になる。また、CDS回路を信号処理チップ111の側に設けることができる。さらに、マルチプレクサを設けなくてもよいので信号処理チップ111の側の配線を簡略化することができる。
【0112】
図12から
図17に示す形態において、A/D変換回路612、614は単位グループ602、652、655に対して一対一に設けられたが、A/D変換回路612、614の個数はこれに限られない。各単位グループ602、652、655に対して複数のA/D変換回路612、614が設けられてもよい。この場合には、各単位グループ602、652、655の複数の出力配線604がそれぞれ複数のA/D変換回路612、614のいずれかに振り分けられるように配線されて入力される。
【0113】
また、画素ユニットが4画素からなり、行選択配線は画素2行ごとに配され、出力配線は画素3列ごとに配されているが、これに限られない。例えば、画素ユニットがm行n列からなる場合に、単位グループに対して、行選択配線をm行ごとに一つずつ、出力配線をn列ごとに一つずつ設けるとともに、m×n個の別個の転送配線を設けてもよい。なお、各転送配線は画素グループ内で共通であってよい。
【0114】
上記実施形態に係る撮像装置500は静止画を撮像するのに用いられてもよいし、動画を撮像するのに用いられてもよい。動画を撮像する場合に、画素群ごとの蓄積時間を時間的に変化させてもよい。例えば、シーンが切り替わる前後で画素群ごとの蓄積時間を動的に変えてもよい。この場合に、直前の画像を基に静止画の場合と同じように蓄積時間を変化させてもよい。また、直前の数秒間の画像に基づいて、例えばそれらの時間平均に基づいて、蓄積時間を変化させてもよい。また、撮影の流れと蓄積時間との関係を予め登録したデータベースを用いて、撮影の流れによって蓄積時間を変化させてもよい。
【0115】
また、上記実施形態では、撮像チップ113、信号処理チップ111およびメモリチップ112は積層されているが、これらが積層されていなくてもよい。すなわち、一のチップ上に、これらの機能が設けられていてもよい。
【0116】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【0117】
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。