(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-15
(45)【発行日】2022-09-27
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 5/378 20110101AFI20220916BHJP
H04N 5/341 20110101ALI20220916BHJP
H04N 5/374 20110101ALI20220916BHJP
【ＦＩ】
H04N5/378
H04N5/341
H04N5/374
【請求項の数】
13
(21)【出願番号】P 2020021383
(22)【出願日】2020-02-12
(62)【分割の表示】P 2017198053の分割
【原出願日】2013-08-21
(65)【公開番号】P2020099082
(43)【公開日】2020-06-25
【審査請求日】2020-02-12
【審判番号】
【審判請求日】2021-09-07
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】綱井 史郎
【合議体】
【審判長】畑中 高行
【審判官】渡辺 努
【審判官】新井 寛
(56)【参考文献】
【文献】特開２０１２－８０４９０（ＪＰ，Ａ）
【文献】特開２００４－３６３８６９（ＪＰ，Ａ）
【文献】特開２００８－８５５５２（ＪＰ，Ａ）
【文献】特開２０１３－１６１９４５（ＪＰ，Ａ）
【文献】特開２０１３－３１０６０（ＪＰ，Ａ）
【文献】国際公開第２０１３／４１９２４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
H04N5/225-5/378
(57)【特許請求の範囲】
【請求項1】
行方向と列方向とにおいて並んで配置される複数の画素を有する単位ブロックが前記行方向と前記列方向とにおいてそれぞれ配置される撮像素子と、前記複数の単位ブロックのうち、少なくとも前記列方向において隣りに並んで配置される第１単位ブロックおよび第２単位ブロックそれぞれにおいて、前記行方向に配置される画素ごとに前記列方向に向かって順次信号を読み出すための駆動部と、
前記列方向において互いに隣り合って配置される、前記第１単位ブロックの第１画素と前記第２単位ブロックの第２画素とからそれぞれ読み出される信号の相関を示す評価値を算出する相関算出部と、
前記相関算出部で算出された前記評価値により、前記第１単位ブロックの画素と前記第２単位ブロックの画素とからそれぞれ読み出される信号のうち、いずれか一方の信号に対して前記相関が大きくなるように補正する補正部と、
を備える撮像装置。
【請求項2】
請求項１に記載の撮像装置において、前記撮像素子は、前記第１単位ブロックが有する前記画素から信号を読み出すための第１行制御部と、前記第２単位ブロックが有する前記画素から信号を読み出すための第２行制御部と、を有する撮像装置。
【請求項3】
請求項２に記載の撮像装置において、前記第１行制御部は、前記第１単位ブロックの前記画素に駆動信号を出力し、
前記第２行制御部は、前記第２単位ブロックの前記画素に駆動信号を出力する撮像装置。
【請求項4】
請求項２または請求項３に記載の撮像装置において、前記撮像素子は、前記複数の単位ブロックが配置される半導体基板を有する撮像チップと、前記第１行制御部と前記第２行制御部とが配置される半導体基板を有する信号処理チップと、を有する撮像装置。
【請求項5】
請求項４に記載の撮像装置において、
前記撮像チップは、前記信号処理チップにより積層される撮像装置。
【請求項6】
請求項４または請求項５に記載の撮像装置において、
前記撮像素子は、前記第１単位ブロックの前記画素からの信号を伝送する第１伝送路と、
前記第２単位ブロックの前記画素からの信号を伝送する第２伝送路と、を有し、
前記第１伝送路は、前記第１単位ブロックにおいて前記列方向において並んで配置される複数の前記画素に接続され、
前記第２伝送路は、前記第２単位ブロックにおいて前記列方向において並んで配置される複数の前記画素に接続される撮像装置。
【請求項7】
請求項６に記載の撮像装置において、
前記撮像素子は、前記第１伝送路に接続され、前記第１単位ブロックの前記画素から読み出された信号をデジタル信号に変換する第１変換部と、前記第２伝送路に接続され、前記第２単位ブロックの前記画素から読み出された信号をデジタル信号に変換する第２変換部と、を有する撮像装置。
【請求項8】
請求項７に記載の撮像装置において、
前記第１変換部と前記第２変換部は、前記信号処理チップが有する半導体基板に配置される撮像装置。
【請求項9】
請求項１に記載の撮像装置において、前記撮像素子は、前記第１単位ブロックの前記画素からの信号を伝送する第１伝送路と、
前記第２単位ブロックの前記画素からの信号を伝送する第２伝送路と、を有し、
前記第１伝送路は、前記第１単位ブロックにおいて前記列方向において並んで配置される複数の前記画素に接続され、
前記第２伝送路は、前記第２単位ブロックにおいて前記列方向において並んで配置される複数の前記画素に接続される撮像装置。
【請求項10】
請求項９に記載の撮像装置において、前記撮像素子は、前記第１伝送路に接続され、前記第１単位ブロックの前記画素から読み出された信号をデジタル信号に変換する第１変換部と、前記第２伝送路に接続され、前記第２単位ブロックの前記画素から読み出された信号をデジタル信号に変換する第２変換部と、を有する撮像装置。
【請求項11】
請求項１０に記載の撮像装置において、
前記撮像素子は、前記複数の単位ブロックが配置される半導体基板を有する撮像チップと、前記第１変換部と前記第２変換部とが配置される半導体基板を有する信号処理チップと、を有する撮像装置。
【請求項12】
請求項１１に記載の撮像装置において、
前記撮像チップは、前記信号処理チップにより積層される撮像装置。
【請求項13】
請求項１から請求項１２のいずれか一項に記載の撮像装置において、前記第１画素は、前記第１単位ブロックが有する前記複数の画素のうち、前記第１単位ブロックにおいて最後に読み出される、前記行方向において並んで配置される画素に含まれ、
前記第２画素は、前記第２単位ブロックが有する前記画素のうち、前記第２単位ブロックにおいて最初に読み出される前記行方向において並んで配置される前記複数の画素に含まれる撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
行列状に配された複数の画素を有する撮像素子について、いわゆるローリングシャッタ方式が知られている。当該ローリングシャッタ方式では、同一行の画素が選択されて画素信号が蓄積および読み出される動作が、行ごとに順次繰り返される。さらにローリングシャッタ方式に代えて、グローバルシャッタを用いることで、動体を撮像した場合に生じるローリング歪みを防ぐことが知られている（例えば、特許文献１参照）。
特許文献１ 再公表２０１０／０２３９０３
特許文献１ 再公表２０１０／０２３９０３
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、グローバルシャッタは配線のレイアウト等が複雑になる、という課題があった。
【課題を解決するための手段】
【0004】
本発明の第１の態様においては、撮像装置であって、行方向と列方向とにおいて並んで配置される複数の画素を有する単位ブロックが行方向と列方向とにおいてそれぞれ配置される撮像素子と、複数の単位ブロックのうち、少なくとも列方向において隣りに並んで配置される第１単位ブロックおよび第２単位ブロックそれぞれにおいて、行方向に配置される画素ごとに列方向に向かって順次信号を読み出すための駆動部と、列方向において互いに隣り合って配置される、第１単位ブロックの第１画素と第２単位ブロックの第２画素とからそれぞれ読み出される信号の相関を示す評価値を算出する相関算出部と、相関算出部で算出された評価値により、第１単位ブロックの画素と第２単位ブロックの画素とからそれぞれ読み出される信号のうち、いずれか一方の信号に対して相関が大きくなるように補正する補正部と、を備える。
【0005】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0006】
【図1】本実施形態に係る裏面照射型の撮像素子の断面図である。
【図2】撮像チップの画素配列と単位ブロックを説明する図である。
【図3】画素に対応する回路図である。
【図4】単位ブロックおよびその周辺回路並びにそれらの接続関係の概略を示す。
【図5】本実施形態に係る撮像装置の構成を示すブロック図である。
【図6】駆動部の具体的構成を示すブロック図である。
【図7】演算回路の機能ブロックを示す。
【図8】単位ブロックの各行の電荷蓄積、読み出し等の動作のタイミングチャートを示す。
【図9】撮像素子に入射する被写体像の一例を示す。
【図10】補正前の撮像画像を示す。
【図11】演算回路の動作を示すフローチャートである。
【図12】補正後の撮像画像を示す。
【発明を実施するための形態】
【0007】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0008】
図１は、本実施形態に係る裏面照射型の撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップと１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
【0009】
なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面右方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0010】
撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配された複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
【0011】
ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。
【0012】
カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
【0013】
配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0014】
配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【0015】
同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【0016】
なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの出力配線に対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。
【0017】
信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。
【0018】
図２は、撮像チップ１１３の画素配列と単位ブロック１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像チップ１１３は、２０００万個以上もの画素がマトリックス状に配列された撮像部を有する。図２の例において、隣接する４画素×４画素の１６画素が一つの単位ブロック１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位ブロック１３１を形成する概念を示す。
【0019】
撮像部の部分拡大図に示すように、単位ブロック１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタ１０２として緑色フィルタを有し、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタ１０２として青色フィルタを有し、青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタ１０２として赤色フィルタを有し、赤色波長帯の光を受光する。
【0020】
図２においては、説明の簡略化を目的として、単位ブロック１３１が４画素×４画素の１６画素からなる例を説明した。行数および列数に特に制限はないが、撮像部の画素全体が２０００万画素程度ある場合に、例えば６４行３２列等である。また、撮像部に含まれる単位ブロック１３１の行の個数および列の個数の制限はないが、例えば４８行１１４列配される。
【0021】
図３は、画素１５０に対応する回路図である。図３において、代表的に点線で囲む矩形が、１つの画素１５０に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。
【0022】
ＰＤ１０４は、転送トランジスタ１５４に接続される。転送トランジスタ１５４のゲートは、転送パルスが供給される配線Ｔｘ＿ｊに接続される。添え字ｊは、単位ブロック１３１内の行番号を識別する、単位ブロック１３１内の通し番号である。
【0023】
転送トランジスタ１５４のドレインは、リセットトランジスタ１５２のソースに接続される。これにより、転送トランジスタ１５４のドレインとリセットトランジスタ１５２のソース間にいわゆるＦＤ（フローティングディフュージョン）１５６が形成される。リセットトランジスタ１５２のドレインは電源電圧が供給される配線Ｖｄｄに接続され、そのゲートはリセットパルスが供給される配線Ｒｓｔ＿ｊに接続される。
【0024】
ＦＤ１５６の一端はさらに、増幅トランジスタ１６２のゲートに接続される。増幅トランジスタ１６２のドレインは電源電圧が供給される配線Ｖｄｄに接続される。増幅トランジスタ１６２のソースは、対応する選択トランジスタ１６４のドレインに接続される。選択トランジスタ１６４のゲートは、選択パルスが供給される配線Ｓｅｌ＿ｊに接続される。
【0025】
選択トランジスタ１６４のソースは、列伝送路１７０に接続される。負荷電流源１６６は、列伝送路１７０に電流を供給する。すなわち、選択トランジスタ１６４に対する列伝送路１７０は、ソースフォロアにより形成される。
【0026】
【0027】
配線Ｒｓｔ＿ｌ（ただし、ｌは１からＬの整数）は、行制御部２００に接続されていると共に、単位ブロック１３１内におけるｌ行目のＰ個の画素１５０に共通に接続されている。同様に、配線Ｔｘ＿ｌ、配線Ｓｅｌ＿ｌも行制御部２００に接続されていると共に、単位ブロック１３１内におけるｌ行目のＰ個の画素１５０に共通に接続されている。
【0028】
行制御部２００は、行選択部、垂直走査回路等と呼ばれることもある。行制御部２００は、単位ブロック１３１ごとに設けられている。行制御部２００は信号処理チップ１１１側に設けられてもよい。
【0029】
列伝送路１７０は、同一列の画素１５０ごとに設けられている。これら列伝送路１７０＿ｐ（ただし、ｐは１からＰの整数）は、単位ブロック１３１内におけるｐ列目のＬ個の画素１５０に共通に接続されている。これにより、列伝送路１７０は単位ブロック１３１内の同一列の画素１５０で共有され、当該列に含まれる画素１５０からの信号を伝送する。
【0030】
これら列伝送路１７０＿ｐは撮像チップ１１３側から、バンプ１０９を介して、信号処理チップ１１１側に設けられた周辺回路１３３へ接続されている。周辺回路１３３は単位ブロック１３１ごとに設けられており、積層方向から見て撮像チップ１１３における単位ブロック１３１に重なるように配されている。
【0031】
周辺回路１３３は、列伝送路１７０＿ｐごとに直列に接続されたＣＤＳ回路２０２およびＡ／Ｄ変換回路２０４を有する。図４に示す例において、単位ブロック１３１あたり、ＣＤＳ回路２０２とＡ／Ｄ変換回路２０４との組がＰ個設けられている。ＣＤＳ回路２０２は、画素信号からノイズを除去する。Ａ／Ｄ変換回路２０４は、ＣＤＳ回路２０２でノイズが除去された画素信号をデジタル信号に変換する。
【0032】
周辺回路１３３はさらに、上記Ｐ個のＡ／Ｄ変換回路２０４の出力側に配されたシフトレジスタ２０６を有する。図４の例において、単位ブロック１３１ごとにシフトレジスタ２０６が一つ配される。シフトレジスタ２０６の出力は、列バスライン１７２を介して画素メモリ４１４に接続される。シフトレジスタ２０６は、水平走査回路、マルチプレクサ等と呼ばれることもある。
【0033】
図５は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像素子１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、および表示部５０６を主に備える。
【0034】
撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図５では瞳近傍に配置された仮想的な１枚のレンズで代表して表している。駆動部５０２は、システム制御部５０１からの指示に従って撮像素子１００の電荷蓄積制御、画素信号の読み出し制御等を実行する。
【0035】
撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。
【0036】
測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。なお、上記ＡＥセンサに用いられる画素を撮像素子１００内に設けてもよく、この場合には当該撮像素子１００とは別個の測光部５０３を設けなくてもよい。
【0037】
図６は、駆動部５０２の具体的構成を示すブロック図である。駆動部５０２は、分担化された制御機能としてのセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４、画素メモリ４１４、演算回路４１５と、これらの各制御部を統括制御する駆動制御部４２０とを含む。駆動部５０２は、さらに、駆動制御部４２０と撮像装置５００本体のシステム制御部５０１と間のＩ／Ｆ回路４１８を含む。
【0038】
駆動制御部４２０は、タイミングメモリ４３０を参照して、システム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。タイミングメモリ４３０は、フラッシュＲＡＭ等により形成される。
【0039】
センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、各単位ブロック１３１の行制御部２００へリセットパルスおよび転送パルスを送出することにより、対象画素の電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を列伝送路１７０へ出力させる。
【0040】
ブロック制御部４４２は、撮像チップ１１３へ送出する、制御対象となる単位ブロック１３１を特定する特定パルスの送出を実行する。各画素が配線Ｔｘ＿ｊ等を介して受ける転送パルス等は、センサ制御部４４１が送出する各パルスとブロック制御部４４２が送出する特定パルスの論理積となる。このように、各領域を互いに独立したブロックとして制御することができる。なお、複数の単位ブロック１３１で同期したパルスを用いる場合、および、複数の単位ブロック１３１にまたがった動作を行う場合には、ブロック制御部４４２は、これら複数の単位ブロックのそれぞれを特定する特定パルスを同時に送出する。
【0041】
同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の単位ブロック１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。また、信号制御部４４４は、ＣＤＳ回路２０２、Ａ／Ｄ変換回路２０４、シフトレジスタ２０６に対するタイミング制御を担う。
【0042】
演算回路４１５は、画素メモリ４１４に格納された画素信号に基づいて、ＡＥ評価値等を演算する。演算回路４１５は、当該演算結果を駆動制御部４２０に出力する。
【0043】
画素メモリ４１４は、撮像部の画素１５０からの画素信号を格納できるメモリ空間を有し、各画素から読み出しされてデジタル化されたそれぞれの画素信号を格納する。画素メモリ４１４は、各単位ブロック１３１に対応して設けられることが好ましい。
【0044】
画素メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。
【0045】
データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。
【0046】
このように構成することにより、画像処理部５１１は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。なお、駆動部５０２、図４の行制御部２００および周辺回路１３３が、複数の単位ブロック１３１にまたがって、撮像部に含まれる画素１５０の画素信号を順次読み出す読出部として機能する。
【0047】
図７は、演算回路４１５の機能ブロックを示す。演算回路４１５は、上記した各機能に加えて、相関算出部４７２と、補正部４７４とを有する。相関算出部４７２は、画素メモリ４１４から画素信号を読み出し、同一列で隣接する単位ブロック１３１の境界の行同士で、画素信号の相関を算出する。補正部４７４は、相関算出部４７２により算出された相関に基づいて、同一列で隣接する単位ブロック１３１における画素信号を補正し、画素メモリ４１４に書き込む。
【0048】
図８は、単位ブロック１３１Ａ等の各行の電荷蓄積、読み出し等の動作のタイミングチャートを示す。各単位ブロック内では、同一行の画素１５０が選択されて画素信号が蓄積および読み出される動作が、行ごとに順次繰り返される、いわゆるローリングシャッタ方式で動作する。
【0049】
駆動部５０２は、行制御部２００を介して１行目の画素１５０に対する配線Ｒｓｔ＿１およびＴｘ＿１に駆動信号を与えることにより、１行目の画素１５０の電荷蓄積を開始する。さらに、 駆動部５０２は、蓄積期間後に、行制御部２００を介して１行目の画素１５０に対する配線Ｓｅｌ＿１に駆動信号を与えることにより、１行目の画素１５０の画素信号の読み出しを開始する。読み出し期間は、１行目の各画素１５０から画素信号が読み出されて、ＣＤＳ回路２０２およびＡ／Ｄ変換回路２０４で処理されてシフトレジスタ２０６から順次、画素メモリ４１４に書き込まれるまでの時間を含む。
【0050】
同様に、２行目の画素１５０に対する配線Ｒｓｔ＿２、Ｔｘ＿２およびＳｅｌ＿２に駆動信号が与えられて、蓄積および読出が行われる。２行目の画素１５０に対する蓄積期間の長さは１行目の画素１５０と同じであるが、時間的には、ほぼ読出期間分だけ遅れている。３行目以降、Ｌ行目まで、配線Ｒｓｔ＿ｌ、Ｔｘ＿ｌおよびＳｅｌ＿ｌに駆動信号が与えられて、順次、蓄積および読出が行われる。
【0051】
複数の単位ブロック１３１Ａ、１３１Ｂのいずれに対しても、選択される行の順序は同じである。図８の例であれば、いずれに対しても、－Ｙ側の行から＋Ｙ側の行に向けて一行ずつ選択される。さらに、複数の単位ブロック１３１Ａ、１３１Ｂの間で、同一行の蓄積および読出のタイミングは同期している。ただし、 複数の単位ブロック１３１Ａ、１３１Ｂの間で、同一行の蓄積および読出の少なくとも一方のタイミングが同期していなくてもよい。
【0052】
図９は、撮像素子１００に入射する被写体像３００の一例を示す。なお、説明のため撮像素子１００に入射する直前の像光を、＋Ｚ側から見て描いている。
【0053】
図９に示す例においては、被写体像３００には、Ｘ方向に移動するＹ方向に長い２つの動体像３０２、３０６、および、静止しているＹ方向に長い１つの静止体像３０４が含まれている。さらに、動体像３０２の方が動体像３０６よりも早く移動している。
【0054】
図１０は、補正前の撮像画像を示す。なお、説明のため撮像画像として出力、表示等される向きで示している。また、図９の被写体像３００が４つの単位ブロック１３１Ａ、１３１Ｂ、１３１Ｃ、１３１Ｄに入射したとして説明する。
【0055】
図１０の単位ブロック１３１Ａ、１３１Ｂに示すように、動体像３０２は、当該単位ブロック内において、斜め方向に歪んでいる。この歪みは、Ａ／Ｄ変換時間分だけ行毎に撮像時間が異なる為に、動体像３０２は移動方向である＋Ｘ方向にずれる。このずれはローリング歪みと呼ばれる。同様に、単位ブロック１３１Ｄにおいても、動体像３０６が＋Ｘ方向に歪んでいる。ただし、動体像３０６の速度が動体像３０２の速度よりも小さいことに対応して、歪みの量も小さい。一方、単位ブロック１３１Ｃ、１３１Ｄに示すように、静止体像３０４は歪んでいない。
【0056】
さらに、同一列で隣接する単位ブロック１３１Ａ、１３１Ｂにおける境界の行の画素に注目する。すなわち、単位ブロック１３１Ａの１０行目および単位ブロック１３１Ｂの１行目に注目する。これらの２つの行は、蓄積期間のタイミングが最も離れている。これを反映して、一体として＋Ｘ方向に移動する動体像３０２に対応する画素の位置が、これら二つの行の間で異なる列位置にずれている。一方、単位ブロック１３１Ｃの１０行目と単位ブロック１３１Ｄの１行目とで、静止体像３０４に対応する画素の列位置はれていない。
【0057】
【0058】
相関算出部４７２は、同一列で隣接する単位ブロック１３１Ａ、１３１Ｂ等における境界の行の画素信号を画素メモリ４１４から読み出す（Ｓ１００）。例えば単位ブロック１３１Ａ、１３１Ｂの組であれば、単位ブロック１３１Ａの１０行目の画素信号と単位ブロック１３１Ｂの１行目と画素信号が読み出される。
【0059】
相関算出部４７２は、境界の行の相関を算出する（Ｓ１０２）。相関の大きさは、一列の画素信号の一致度であるともいえる。相関を評価する評価値の一例として、相関算出部４７２は、単位ブロック１３１Ａの１０行目および単位ブロック１３１Ｂの１行目における、同一列の画素の画素信号の差分を２乗してそれらの和をとった残差２乗和を算出する。なお、残差２乗和が小さいほど相関が大きいという関係にある。以下、評価値として残差２乗和を用いる例で説明する。
【0060】
相関算出部４７２は、残差２乗和が閾値より大きいか否かを判断する（Ｓ１０４）。残差２乗和の大きさが閾値以下である場合に（Ｓ１０４：Ｎｏ）、同一列で隣接する当該単位ブロック１３１Ａ、１３１Ｂ等における当該フローチャートを終了する。
【0061】
残差２乗和の大きさが閾値より小さい場合には、例えば、図１０に示すように、単位ブロック１３１Ｃ側の１０行目は、単位ブロック１３１Ｄの１行目よりも時間的に後から蓄積および読出が行われたにも関わらず、列位置のずれが小さいと推測される。よって、同一列で隣接する単位ブロック１３１Ｃ、１３１Ｄにおける、時間的に後から蓄積および読出が行われた１０行目を有している単位ブロック１３１Ｃには、ローリング歪がない、または、あっても小さいと推測される。従って、単位ブロック１３１Ｃに対しては一旦、図１１の補正の対象から除外される。ただし、同一列で隣接した単位ブロック１３１Ａからの影響により補正が行われて補正ブロック１３２Ｃとなることがある。
【0062】
一方、残差２乗和の大きさが閾値より大きい場合に（Ｓ１０４：Ｙｅｓ）、相関算出部４７２は、単位ブロック１３１Ａの１０行目および単位ブロック１３１Ｂの１行目において、一方を他方に対して行方向に１画素分ずらして（Ｓ１０６）、すなわち１列ずれた画素同士について、残差２乗和を算出する（Ｓ１０８）。相関算出部４７２は、列の画素数ｐになるまで、さらに一画素分ずらして残差２乗和を算出する上記ステップＳ１０６およびＳ１０８を繰り返す（Ｓ１１０：Ｎｏ）。この場合に＋Ｘ方向と－Ｘ方向のそれぞれに画素をずらす。
【0063】
相関算出部４７２は、ｐ画素分ずらした後に（Ｓ１１０：Ｙｅｓ）、補正に用いる画素数を特定する（１１２）。この場合に、相関算出部４７２は、上記ステップＳ１０６からＳ１１０を繰り返して算出された複数の残差２乗和のうち、最も小さい残差２乗和となったときの画素ずれ数を補正に用いる画素数とする。最も小さい残差２乗和が複数ある場合には、画素ずれ数のより小さい画素数とすることが好ましい。
【0064】
図１０に示す例において、単位ブロック１３１Ａの１０行目を単位ブロック１３１Ｂの１行目に対して、４画素分だけ－Ｘ方向にずらすと、残差２乗和が最も小さくなる。よって、相関算出部４７２は、補正に用いる画素数として「４」を特定する。
【0065】
補正部４７４は、上記ステップＳ１１２で特定された画素数を用いて、単位ブロック１３１Ａの画素信号を補正する（Ｓ１１４）。ここで、同一列で隣接する単位ブロック１３１Ａ、１３１Ｂのうち、時間的に後から蓄積および読出が行われた１０行目を有している単位ブロック１３１Ａの画素信号が補正される。この場合に、補正部４７４は、単位ブロック１３１Ａ内において、１行目に対して１０行目が４画素分ずれるように、すなわち４列ずれるように、ずれ分を各行に均等に割り振る。図１０の例において、隣接する２行を一組として、隣接する組同士に対して１画素のずれが割り振られる。
【0066】
図１２に示すように、補正部４７４は、単位ブロック１３１Ａの中央にある５、６行目を他の単位ブロック１３１Ｂ等に対して固定して、他の行の画素の画素信号を、列位置をずらした画素の画素信号に置き換えて補正ブロック１３２Ａを生成する。同様に、単位ブロック１３１Ａ、１３２Ｄの各行の列位置をずらして補正ブロック１３２Ｂ、１３２Ｄを生成する。
【0067】
補正部４７４はさらに、同一行で隣接する単位ブロック１３１Ａ、１３１Ｃの境界の画素信号を補正する。図１２に示すように、同一行で隣接する単位ブロック１３１Ａ、１３１Ｃを補正して補正ブロック１３２Ａ、１３２Ｃを生成すると、それらの境界に、空白画素１４０の領域および互いの画素が重複する重複画素１４２の領域が生じる。補正部４７４は、空白画素１４０の領域に対してその周辺からの画素信号を割り付ける。さらに、補正部４７４は、重複画素１４２に対してそれぞれの画素の画素信号の平均値を割り付ける。
【0068】
以上により、補正ブロック１３２Ａ等が生成される。ここで、補正ブロック１３２Ｃは、単位ブロック１３１Ｃに対するステップＳ１０４の相関の判定により画素の置き換えはされないが、隣接する補正ブロック１３２Ａからの補正の影響を受けて、その境界が補正されている。補正部４７４は、補正ブロック１３２Ａ等の画素信号を画素メモリ４１４に出力して（Ｓ１１６）、本フローチャートを終了する。以上により、簡便な構成でローリング歪みを低減することができる。
【0069】
なお、上記ステップＳ１０２において、同一列で隣接する単位ブロック１３１Ａ、１３１Ｂ等における境界の行の相関を算出するのに代えて、同一単位ブロック１３１Ａ内における最初の行と最後の行の相関を算出してもよい。ステップＳ１０２、１０８のそれぞれにおいて、画素信号が輝度及び色の信号を有している場合に、輝度信号を用いて相関を算出してもよい。これに代えて、同一色の画素、例えば緑色の画素について相関を算出してもよい。相関の評価値として、残差２乗和に代えて、差の絶対値の和を用いてもよい。また、上記ステップＳ１１０でｐ画素分の繰り返しをすることに代えて、残差２乗和を算出することに比較して、極小値が現れたら繰り返しを停止する、いわゆる山登り方式を用いてもよい。
【0070】
単位ブロック１３１がベイヤー配列等のカラーフィルタを有している場合に、上記図１１の動作は補間処理をする前に実行されることが好ましい。Ａ／Ｄ変換された画素信号がＪＰＥＧ等の予め定められたフォーマット形式に変換された撮像画像として出力される場合に、上記図１１の動作はＡ／Ｄ変換後であって、当該フォーマット形式に変換する前に実行されることが好ましい。また、少なくとも上記相関算出部４７２および補正部４７４は、信号処理チップ１１１内に設けられることが好ましい。
【0071】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0072】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0073】
１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ ＰＤ、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１３１ 単位ブロック、１３２ 補正ブロック、１３３ 周辺回路、１４０ 空白画素、１４２ 重複画素、１５０ 画素、１５２ リセットトランジスタ、１５４ 転送トランジスタ、１５６ ＦＤ、１６２ 増幅トランジスタ、１６４ 選択トランジスタ、１６６ 負荷電流源、１７０ 列伝送路、１７２ 列バスライン、２００ 行制御部、２０２ ＣＤＳ回路、２０４ Ａ／Ｄ変換回路、２０６ シフトレジスタ、３００ 被写体像、３０２ 動体像、３０４ 静止体像、３０６ 動体像、４１４ 画素メモリ、４１５ 演算回路、４１８ Ｉ／Ｆ回路、４２０ 駆動制御部、４３０ タイミングメモリ、４４１ センサ制御部、４４２ ブロック制御部、４４３ 同期制御部、４４４ 信号制御部、４７２ 相関算出部、４７４ 補正部、５００ 撮像装置、５２０ 撮影レンズ、５０１ システム制御部、５０２ 駆動部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５１１ 画像処理部、５１２ 演算部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】