特許 6816416 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6816416

(24)【登録日】2020年12月28日

(45)【発行日】2021年1月20日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/357 20110101AFI20210107BHJP

   H04N 5/232 20060101ALI20210107BHJP

【ＦＩ】

   H04N5/357

   H04N5/232 290

【請求項の数】16

【全頁数】14

(21)【出願番号】特願2016-173752(P2016-173752)

(22)【出願日】2016年9月6日

(65)【公開番号】特開2018-42060(P2018-42060A)

(43)【公開日】2018年3月15日

【審査請求日】2019年7月9日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100090169

【弁理士】

【氏名又は名称】松浦 孝

(74)【代理人】

【識別番号】100124497

【弁理士】

【氏名又は名称】小倉 洋樹

(72)【発明者】

【氏名】木村 吉孝

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２００７−２６６７６０（ＪＰ，Ａ）

【文献】 特開２０１６−０７６８９５（ＪＰ，Ａ）

【文献】 特開２０１４−１１６９１４（ＪＰ，Ａ）

【文献】 特開２００６−０３３３０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０−５／３７８

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

複数の画素を有する撮像素子と、
画素に蓄積された電荷を、その電荷蓄積画素の画素回路を介して、水平ラインに沿って順次読み出す電荷読み出し手段と、
画素の画素回路から、ノイズ信号を読み出すノイズ読み出し手段とを備え、
前記ノイズ読み出し手段が、前記電荷読み出し手段による電荷読み出しと並行して、電荷読み出し対象の水平ラインとは異なる水平ラインのノイズ取得対象画素の画素回路から、ノイズ信号を読み出すことを特徴とする撮像装置。

【請求項2】

前記ノイズ読み出し手段が、電荷読み出し対象画素と異なる水平ラインの画素の画素回路から、水平ラインに沿って順次ノイズ信号を読み出すことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記電荷読み出し手段が、水平ライン毎に蓄積電荷を読み出すことを特徴とする請求項１又は２に記載の撮像装置。

【請求項4】

前記ノイズ読み出し手段が、電荷読み出し対象画素に隣接する画素の画素回路から、ノイズ信号を読み出すことを特徴とする請求項１乃至３のいずれかに記載の撮像装置。

【請求項5】

電荷もしくはノイズ信号を読み出す複数の初期信号処理手段を有し、
前記複数の初期信号処理手段のうち有効画素領域の同じ縁側にあって互いに異なる信号処理手段が、電荷とノイズ信号とをそれぞれ読み出すことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。

【請求項6】

前記複数の初期信号処理手段のうち互いに隣り合う信号処理手段が、電荷とノイズ信号とをそれぞれ読み出すことを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記撮像素子に設けられたカラーフィルタアレイの色ごとに前記複数の信号処理手段が設けられていることを特徴とする請求項５又は６に記載の撮像装置。

【請求項8】

複数の画素を有する撮像素子と、
画素に蓄積された電荷を、その電荷蓄積画素の画素回路を介して、水平ラインに沿って順次読み出す電荷読み出し手段と、
画素の画素回路から、ノイズ信号を読み出すノイズ読み出し手段とを備え、
前記ノイズ読み出し手段が、前記電荷読み出し手段による電荷読み出しと並行して、電荷読み出し終了した水平ラインの画素回路から、水平ラインに沿って順次ノイズ信号を読み出すことを特徴とする撮像装置。

【請求項9】

前記ノイズ読み出し手段が、電荷読み出しと同時に読み出されたノイズ信号に対し、電荷読み出し画素の画素位置に合わせる位置合わせシフト補正を行うことを特徴とする請求項８に記載の撮像装置。

【請求項10】

手振れ補正機構をさらに備え、
前記ノイズ読み出し手段が、ノイズ信号読み出し開始までの遅延期間中における前記手振れ補正機構に対する駆動信号をメモリに記憶し、電荷読み出し終了後、前記メモリに記憶された駆動信号を用いて前記手振れ補正機構を動作させ、ノイズ信号を読み出すことを特徴とする請求項８又は９に記載の撮像装置。

【請求項11】

撮影時、手振れ補正処理が有効であるか否かを判断する第１判断手段をさらに備え、
前記ノイズ読み出し手段が、手振れ補正処理が有効である場合、ノイズ信号を読み出すことを特徴とする請求項１乃至１０のいずれかに記載の撮像装置。

【請求項12】

撮影時、設定された感度が所定値以上であるか否かを判断する第２判断手段をさらに備え、
前記ノイズ読み出し手段が、感度が所定値以上である場合、ノイズ信号を読み出すことを特徴とする請求項１乃至１１のいずれかに記載の撮像装置。

【請求項13】

前記ノイズ読み出し手段が、蓄積電荷を読み出さずに画素回路から信号を出力させることを特徴とする請求項１乃至１２のいずれかに記載の撮像装置。

【請求項14】

読み出された電荷の画素信号からノイズ信号を減算する補正処理手段をさらに備えたことを特徴とする請求項１乃至１３のいずれかに記載の撮像装置。

【請求項15】

前記補正処理手段が、ノイズ信号に対して画素欠陥補正を行ってから減算することを特徴とする請求項１４に記載の撮像装置。

【請求項16】

複数の画素を有する撮像素子と、
撮像素子に設けられた複数の画素に蓄積された電荷を、前記画素の画素回路を介して、水平ラインに沿って順次読み出し、
前記画素の画素回路から、ノイズ信号を読み出す方法であって、
電荷読み出しと並行して、電荷読み出し対象の水平ラインとは異なる水平ラインのノイズ取得対象画素の画素回路から、ノイズ信号を読み出すことを特徴とする撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関し、特に、撮像素子から読み出される画素信号に対するノイズ除去処理に関する。

【背景技術】

【0002】

デジタルカメラなどの撮像装置では、モータ、コイルなどを備えるオートフォーカス機構や手振れ補正機構がノイズ源となり、画素信号が撮像素子から読み出されるときにノイズが重畳される。例えば、手振れ補正機構のボイスコイルに電流が流れることで磁界変動が生じ、撮影画像に筋状のノイズが生じる。

【0003】

このようなノイズを除去するため、本撮影時に手振れ補正機構などの駆動信号（デューティー比）をメモリに記憶し、記憶した駆動信号に基づいて手振れ補正機構などを駆動させながら暗露光撮影を続けて行う。本撮影時に読み出された画素信号から暗露光撮影によって得られるノイズ信号を減算することによって、ノイズを除去する（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−１１６９１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１のようにノイズ源となる機構の駆動信号を本撮影時に記憶し、その後暗露光撮影を行ってノイズを再現する場合、本撮影中に生じた電源揺らぎなどは再現することができない。また、機構の制約により本撮影時と暗露光撮影時に同じ駆動を行なえない状況も生じる。例えば、撮像装置の姿勢が本撮影時の暗露光撮影時で変化すると、像ブレ補正機構などは重力変化によって同等の駆動を行なえない。

【0006】

したがって、画素信号を読み出す際に生じる、電源揺らぎなども含めたノイズ成分を、正確に抽出することが求められる。

【課題を解決するための手段】

【0007】

本発明の撮像装置は、複数の画素を有する撮像素子と、所定の画素に蓄積された電荷を、その電荷蓄積画素の画素回路を介して読み出す電荷読み出し手段と、所定の画素の画素回路から、ノイズ信号を読み出すノイズ読み出し手段とを備え、ノイズ読み出し手段が、電荷読み出し手段による電荷読み出しと並行して、ノイズ取得対象画素の画素回路から、ノイズ信号を読み出す。複数の画素は、例えば光電変換画素、光電変換機能をもたないダミー画素などを含み、光電変換画素に蓄積された電荷を読み出すことが可能である。ノイズ取得対象画素としては、光電変換画素、あるいは、光電変換機能をもたないダミー画素であってもよい。例えばノイズ読み出し手段は、蓄積電荷を読み出さずに画素回路から信号を出力させる。

【0008】

ノイズ読み出し手段は、電荷読み出し対象画素と異なる画素の画素回路から、ノイズ信号を読み出すことが可能であり、例えば、電荷読み出し手段が水平ライン毎に蓄積電荷を読み出す場合、ノイズ読み出し手段は、電荷読み出し対象ラインとは異なるラインに沿って、ノイズ信号を読み出せばよい。特に、ノイズ読み出し手段は、電荷読み出し対象画素に隣接する画素の画素回路からノイズ信号を読み出すのがよく、隣接するラインに沿ってノイズ信号を読み出すことが可能である。

【0009】

例えば、電荷もしくはノイズ信号を読み出す複数の信号処理手段を有する場合、複数の初期信号処理手段のうち、有効画素領域の同じ縁側にあって互いに異なる信号処理手段が、電荷とノイズ信号とをそれぞれ処理することが可能である。特に、互いに隣り合う信号処理手段が処理すればよい。例えば、撮像素子に設けられたカラーフィルタアレイの色ごとに複数の信号処理手段が設けられている。

【0010】

一方、ノイズ読み出し手段は、電荷読み出し済み画素の画素回路から、ノイズ信号を読み出すことも可能である。例えば、電荷読み出し手段は、水平ライン毎に蓄積電荷を読み出し、ノイズ読み出し手段が、電荷読み出し終了した水平ラインから順にノイズ信号を読み出し、ノイズ読み出し手段が、電荷読み出しと同時に読み出されたノイズ信号に対し、電荷読み出し画素の画素位置に合わせる位置合わせシフト補正を行う。

【0011】

撮像装置は手振れ補正機構を設けることが可能であり、ノイズ読み出し手段は、ノイズ信号読み出し開始までの遅延期間中における手振れ補正機構に対する駆動信号をメモリに記憶し、電荷読み出し終了後、メモリに記憶された駆動信号を用いて手振れ補正機構を動作させ、ノイズ信号を読み出すことができる。

【0012】

撮影時、手振れ補正処理が有効であるか否かを判断する第１判断手段をさらに備えることも可能であり、ノイズ読み出し手段は、手振れ補正処理が有効である場合、ノイズ信号を読み出せばよい。また、撮影時、設定された感度が所定値以上であるか否かを判断する第２判断手段を備えることも可能であり、ノイズ読み出し手段は、感度が所定値以上である場合、ノイズ信号を読み出せばよい。

【0013】

さらに、読み出された電荷の画素信号からノイズ信号を減算する補正処理手段をさらに備えることが可能である。この場合、補正処理手段は、ノイズ信号に対して画素欠陥補正を行ってから減算してもよい。

【0014】

本発明の他の態様における撮像方法は、撮像素子に設けられた複数の画素に蓄積された電荷を、画素の画素回路を介して読み出す電荷読み出し、画素の画素回路から、ノイズ信号を読み出す方法であって、電荷読み出しと並行して、ノイズ取得対象画素の画素回路から、ノイズ信号を読み出す。

【発明の効果】

【0015】

本発明によれば、撮像装置において、画素信号読み出し時に生じるノイズを、正確に抽出することができる。

【図面の簡単な説明】

【0016】

【図1】実施形態であるデジタルカメラのブロック図である。

【図2】ＣＩＳを含むイメージセンサユニットの構成を示した図である。

【図3】画素回路の構成を示した図である。

【図4】画素信号およびノイズ信号読み出しのタイミングチャートを示した図である。

【図5】１フレーム読み出し期間に渡る画素信号読み出し処理のタイミングチャートである。

【図6】水平同期信号ＨＤの周期に従った画素信号およびノイズ信号のタイミングチャートである。

【図7】第２の実施形態における垂直同期信号ＶＤに従う画素信号およびノイズ信号読み出し処理のタイミングチャートである。

【図8】ノイズデータの位置合わせ補正を示した図である。

【図9】第２の実施形態における撮影シーケンスのフローチャートである。

【発明を実施するための形態】

【0017】

以下では、図面を参照して本実施形態であるデジタルカメラについて説明する。

【0018】

図１は、第１の実施形態であるデジタルカメラのブロック図である。

【0019】

デジタルカメラ１００は、画像処理部１１４を有するＤＳＰ１１０、イメージセンサ１２１を備えたイメージセンサユニット１２１Ａ、ノイズ源となるＳＲ（Ｓｈａｋｅ Ｒｅｄｕｃｔｉｏｎ）ブロック１２２、ジャイロセンサ１２３、メモリ１２４、記録媒体１２５、操作部材１２６、表示部を成すモニタ１２７、及びノイズ源となる撮影レンズ１３０などを備えている。ここでのイメージセンサ１２１は、ＣＭＯＳ型イメージセンサ（以下、ＣＩＳという）によって構成されている。

【0020】

撮影レンズ１３０は、レンズ１３１とレンズ駆動モータ１３２とを備え、着脱自在となるようにデジタルカメラ１００に取り付けられる。撮影レンズ１３０はＣＩＳ１２１に被写体像を結像させる。レンズ駆動モータ１３２は、コイル又は磁性体を備え、動作時に電気的なノイズを発生する。

【0021】

ＣＩＳ１２１は、垂直方向（列方向）及び水平方向（行方向）に並べられた複数の画素を備える。画素は光電変換素子を備え、撮影レンズ１３０により結ばれた被写体像を画素が受光して電荷に変換し蓄積する。蓄積された電荷は、１フレーム分の画素信号としてＤＳＰ１１０に出力される。

【0022】

ＤＳＰ１１０は、手振れ補正機構であるＳＲブロック１２２を制御するＳＲ制御部１１１、イメージセンサユニット１２１Ａを制御するＣＩＳ制御部１１２、レンズ駆動モータ１３２を制御するモータ制御部１１３、及び画像処理部１１４を備える。

【0023】

画像処理部１１４は、ＣＩＳ１２１から画像信号を受信し、メモリ１２４を一時記憶領域として使用しながら画像処理を行って画像又は画像ファイルを生成する。画像はモニタ１２７に表示され、画像ファイルは記録媒体１２５に記憶される。記憶媒体は、デジタルカメラ１００に対して着脱自在となるように設けられる、例えばＳＤカードである。

【0024】

モータ制御部１１３は、画像処理部１１４から画像を受信し、画像のコントラストなどに基づいて被写体像の合焦状態を判断する。そして、合焦状態に応じてレンズ駆動信号をレンズ駆動モータ１３２に送信して駆動する。レンズ駆動モータ１３２を駆動するとき、モータ制御部１１３は画像処理部１１４にもレンズ駆動信号を送信する。

【0025】

ジャイロセンサ１２３は、デジタルカメラ１００に加えられた振動、すなわち角速度を検知してＳＲ制御部１１１に送信する。ＳＲ制御部１１１は、ＣＩＳ１２１が露光を行っているとき、角速度に応じて、デジタルカメラ１００に対する振動（手振れ）を打ち消すのに必要な駆動量を算出する。そして駆動量をＳＲ駆動信号としてＳＲブロック１２２及び画像処理部１１４に送信する。

【0026】

ＳＲブロック１２２は、ボイスコイルモータ１２２ａを備える。ＳＲ制御部１１１から駆動量を受信したＳＲブロック１２２は、駆動量に応じてボイスコイルモータ１２２ａに通電し、ボイスコイルモータ１２２ａが生じた力を利用してＣＩＳ１２１を移動させる。これにより、デジタルカメラ１００に加えられた振動（手振れ）を打ち消すようにＣＩＳ１２１が移動する。

【0027】

ボイスコイルモータ１２２ａは磁性体とコイルを備え、コイルに流す電流の方向（向き）と大きさとを変えることにより力を発生する。またボイスコイルモータ１２２ａは、コイルに流す電流を調整してＣＩＳ１２１の位置を固定する。コイルに通電する電流が変化したとき、ボイスコイルモータ１２２ａは電気的なノイズを発生する。

【0028】

ＣＩＳ制御部１１２は、イメージセンサユニット１２１Ａに読み出し信号（駆動信号）を出力し、ＣＩＳ１２１の蓄積電荷が読み出し信号に応じてＣＩＳ１２１から出力される。このとき、画素信号（以下、画素データともいう）の読み出しと同時に、ＳＲブロック１２２、レンズ駆動モータ１３２の動作に起因するノイズが含まれる信号（以下、ノイズ信号あるいはノイズデータという）を、同じ１フレーム読み出し期間内に行う。

【0029】

図２は、ＣＩＳ１２１を含むイメージセンサユニット１２１Ａの構成を示した図である。

【0030】

ＣＩＳ１２１の受光面上には、ここではＲ，Ｇｒ，Ｇｂ，Ｂのカラーフィルタをベイヤー配列させたカラーフィルタアレイが設けられており、Ｒ，ＧｒとＧｂ、Ｇｒがそれぞれ水平ラインに沿って隣接し、Ｒ，ＢとＧｒ，Ｇｂがそれぞれ斜め方向に隣接したブロックが繰り返される。

【0031】

有効画素領域１２１Ｓの周辺には、各色に応じたカラムＡ／Ｄ変換回路（以下、カラムＡＤＣ回路という）１４１、１４２、１４３、１４４が設けられている。ここでは、ここでは１水平ライン分の画素数に応じてカラムＡＤＣ回路１４１〜１４４が有効画素領域１２１Ｓの上下周辺に設けられており、有効画素領域１２１Ｓの上側にカラムＡＤＣ回路１４１、１４２、下側にカラムＡＤＣ回路１４３、１４４を設けている。

【0032】

図２のようなカラーフィルタの構成の場合、有効画素領域１２１Ｓ上側のカラムＡＤＣ回路１４１、カラムＡＤＣ回路１４２は、カラーフィルタＲに応じた画素（以下、Ｒ画素）、カラーフィルタＢに応じた画素（以下、Ｂ画素）から読み出される画素信号（電荷）に対し、それぞれＡ／Ｄ変換処理を行う。下側のカラムＡＤＣ回路１４３、カラムＡＤＣ回路１４４は、カラーフィルタＧｂに応じた画素（以下、Ｇｂ画素）、カラーフィルタＧｒに応じた画素（以下、Ｇｒ画素）から読み出される画素信号に対し、それぞれＡ／Ｄ変換処理を行う。このようにＲ，Ｇｒ，Ｇｂ，Ｂの各色に応じてカラムＡＤＣ回路を設けているため、２ライン分の画素信号を同時タイミングで読み出してＡ／Ｄ変換処理することが可能である。

【0033】

なお、カラムＡＤＣ回路の構成については、有効画素領域１２１Ｓの上下にそれぞれ１つずつ、あるいは４つずつカラムＡＤＣ回路を設けてもよく、また、有効画素領域１２１Ｓの上下いずれか一方だけにカラムＡＤＣ回路を設けることも可能である。さらに、上下以外の有効画素領域１２１Ｓの周辺に設けることも可能である。

【0034】

図３は、画素回路の構成を示した図である。図４は、画素信号およびノイズ信号読み出しのタイミングチャートを示した図である。図３、４を用いて、画素信号およびノイズ信号の同時読み出しについて説明する。以下では、Ｒ画素を含む水平ラインの画素信号を画素データとして読み出す一方、Ｂ画素を含む水平ラインからノイズ信号を読み出す場合について説明する。

【0035】

Ｒ画素の画素回路１２１Ｒは、フォトダイオードＰＤ、トランスファゲートＴＧ、リセットゲートＲＧ、フローティングディフュージョンＦＤ、増幅回路ＡＭＰ、および読み出しラインを選択する選択スイッチＳＥＬを備える。Ｂ画素の画素回路１２１Ｂも、同様の画素回路の構成になっている。カラムＡＤＣ回路１４１、１４２には、相関二重サンプリング／ホールド回路１５０が設けられている。尚、カラムＡＤＣにはシングルスロープ型ＡＤＣなど知られている。

【0036】

画素信号を読み出す場合、まず初めに、リセット信号により（リセットゲートがＯＮ状態になることにより）、フローティングディフュージョンＦＤがリセットされる。そしてリセット解除後、選択スイッチＳＥＬがＯＮ状態になることによって、リセット信号が第１サンプルホールド（ＳＨ）信号線によって保持される。

【0037】

フォトダイオードＰＤに蓄積された電荷は、転送信号線を通じてトランスファゲートＴＧがＯＮ状態になると、フローティングディフュージョンＦＤに転送される。そして、トランスファゲートＴＧがＯＦＦに切り替えられた後選択スイッチＳＥＬがＯＮ状態になることにより、第２ＳＨ信号線が電荷（画素信号）を保持する。

【0038】

第２ＳＨ信号線の画素信号から第１ＳＨ信号線のリセット信号を減算することで、リセットノイズを除去した画素信号がイメージセンサユニット１２１Ａから読み出される。すなわち、撮影画像を構成する電荷情報を含んだ画素データが読み出される。

【0039】

一方、Ｂ画素に対しては、同様にリセット信号が第１ＳＨ信号線に保持される。しかしながら、転送信号線はＯＦＦ状態を維持したまま、すなわちＴＧがＯＦＦ状態のまま選択スイッチＳＥＬがＯＮ状態となり、リセット信号が第２ＳＨ線に保持される。そして第１ＳＨ信号線のリセット信号から第２ＳＨ信号線のリセット信号を減算した信号を、ノイズ信号（ノイズデータ）として読み出す。すなわち、電荷情報を持たないダークデータが、画素回路１２１Ｂから読み出される。

【0040】

図４に示すように、Ｒ画素、Ｂ画素ともに、第１ＳＨ線、第２ＳＨ線で保持されている信号が同じタイミングで読み出される。したがって、Ｒ画素の画素信号読出し期間内において電圧変動、磁界変化による揺らぎなどが発生すると、Ｒ画素の画素信号およびＢ画素の画素回路から出力されるノイズ信号に対して同様なノイズが生じる。

【0041】

Ｇｂ画素、Ｇｒ画素についても、同様の画素回路が構成されており、Ｇｒ画素から画素信号が読み出される一方、Ｇｂ画素の画素回路からノイズ信号が読み出される。図２に示したｎ行目の水平ラインから画素信号が読み出され、ｎ＋１行目の水平ラインからノイズ信号が読み出されると、次に、ｎ＋１行目のＧｂ、Ｂ画素の水平ラインに従って画素信号が読み出され、ｎ＋２行目のＧｒ、Ｒ画素の水平ラインに従ってノイズ信号が読み出される。このような画素信号、ノイズ信号の同時で並列的な読み出しが１フレーム分の画像データ取得するまで行われる。

【0042】

図５は、１フレーム読み出し期間に渡る画素信号読み出し処理のタイミングチャートである。ここではローリングシャッタ方式によって画素信号を読み出しているが、グローバルシャッタ方式を適用してもよい。

【0043】

ＣＩＳ１２１では、垂直同期信号ＶＤに従って１フレーム分の画素信号が読み出される。ローリングシャッタ方式に従い、画像上から下に向けてラインごとに画素信号が順次読み出されていく。このとき、上下に配置されたカラムＡＤＣ回路によって読み出されていく。一方、上述したようにデジタルカメラ１００は手振れ補正機構であるＳＲブロック１２２を備えて、像ブレ補正機能がＯＮ状態で撮影が行われると、露光期間中および画素信号読み出し期間に渡って、像ブレ補正・位置保持処理を実行する。

【0044】

ＳＲブロック１２２にはボイスコイル、磁石、ホール素子などが設けられており、画素信号読出し期間、すなわちカラムＡＤＣ回路の動作期間中にボイスコイルに電流が流れると、ＣＩＳ１２１の周辺では磁界変動が発生し、磁気かぶり変化によって撮影画像に筋状のノイズを発生させる。尚、磁界変動はライン上で磁界ムラがある場合、必ずしも筋状ノイズになるとは限らず、ライン上の部分的なノイズとして発生する場合もある。カラムＡＤＣ回路の動作期間中に電源変動が生じた場合にも、同様の筋状ノイズを発生させる。電源変動としては、ライン上に大きな電荷読み出し画素を含む場合に筋引きノイズが発生することも知られている。

【0045】

本実施形態では、画素信号の読み出し期間と並行してノイズ信号を読み出し、同じ１フレーム読み出し期間に渡って同時タイミングで画素信号あるいはノイズ信号がラインごとに順次読み出される。そのため、時系列的なノイズ変動がどちらの読み出し期間も一致する。

【0046】

画素信号読み出し時と同じ磁界変動、電源変動に基づくノイズ信号が取得されることで、撮影画像に生じる筋状のノイズと同等のノイズがノイズ信号に重畳されているとみなせる。よって、画素データからノイズデータを減算することで、筋状ノイズのない補正された画素信号を得ることができる。このノイズ減算処理（補正処理）は、ここではイメージセンサユニット１２１Ａに設けられた初期回路（図示せず）内で行われ、補正された画素データがＤＳＰ１１０へ送られても良いし、画素信号とノイズ信号を同時にＤＳＰ１１０へ出力してＤＳＰ１１０で減算しても良い。尚、画素信号と異なる画素を用いてノイズデータを取得する場合、画素欠陥出力が異なるため、例えば画素欠陥補正を行ってから減算するなど考慮しても良い。

【0047】

図６は、水平同期信号ＨＤの周期に従った画素信号およびノイズ信号のタイミングチャートである。ここでは、Ｒ画素、Ｇｒ画素が隣接して並ぶｎ行目の水平ラインからの画素信号およびノイズ信号の読み出しについて説明する。図６では、画素データをＥＸＰ、ノイズデータをＤＡＲＫで示している。

【0048】

水平同期信号ＨＤｎの期間では、カラムＡＤＣ回路１４１、１４２によってＲ画素、Ｇｒ画素が隣接して並ぶｎ行目の水平ラインの画素信号が読み出されると同時に、Ｂ画素、Ｇｂ画素が隣接して並ぶｎ＋１行目の水平ラインに対してノイズ信号が読み出される。そして、水平同期信号ＨＤｎ＋１において、画素データからノイズデータを減算した補正画素データが、Ａ／Ｄ変換されて出力される。Ｇｂ画素、Ｇｒ画素についても、画素信号およびノイズ信号が水平同期信号ＨＤｎによって同時に読み出され、ＨＤｎ＋１期間において補正画素データが取得される。水平同期信号ＨＤｎ＋１、水平同期信号ＨＤｎ＋２においても、同様に補正画素データが取得される。

【0049】

異なる水平ラインにあって互いに隣接する画素Ｒと画素Ｂ、あるいは画素Ｇｂと画素Ｇｒとに基づいて補正画素データを取得することにより、ＣＩＳ１２１の感度不均一などに起因するシェーディング（明度ムラ）の影響が同程度となり、適切にノイズを除去することができる。

【0050】

また、隣接するカラムＡＤＣ回路１４１、１４２およびカラムＡＤＣ回路１４３、１４４において、それぞれ画素信号とノイズ信号とを同時に読み出すことにより、同じくシェーディングの影響を低減することができる。さらに、磁束破りのとき、ノイズ源とカラムＡＤＣ回路との距離によってノイズ量が相違するが、隣接するカラムＡＤＣ回路同士で画素信号とノイズ信号を読み出すことで、正確なノイズ成分を取得することができる。

【0051】

なお、隣接するカラムＡＤＣ回路１４１、１４２の間でオフセット成分やゲイン特性に差がある場合、それを加味した減算を行ってもよい。また、間引き読み出しを行う場合にも、間引き間隔で隣接する画素が並ぶ水平ラインに沿ってノイズデータを取得してもよいし、画素信号として用いる間引き行ではない行を用いてノイズデータを取得してもよい。

【0052】

ｎ行目の水平ラインに対してｎ−１行面、ｎ＋２行目の水平ラインからノイズデータを取得してもよい。あるいは、ｎ行目の水平ラインに対してｎ＋１行目の水平ラインからノイズデータを取得すると、次にｎ＋１行目の水平ラインに対してｎ行目の水平ラインからノイズデータを取得するなど交互に入れ替えてもよい。また、ノイズデータは有効画素を用いず周辺に配置したダミー画素を用いてもよい。例えば、光電変換機能をもたないダミー画素の画素回路からノイズデータを取得することが可能である。

【0053】

このように本実施形態によれば、Ｒ，Ｇｂ，Ｇｒ，Ｂのカラーフィルタを配列させたＣＭＯＳ型イメージセンサであるＣＩＳ１２１と手振れ補正機構であるＳＲブロック１２２とを備えたデジタルカメラ１００において、ＣＩＳ１２１の有効画素領域の上下傍に、各カラーフィルタに応じたカラムＡＤＣ回路１４１、１４２、１４３、１４４を設ける。水平ラインごとに蓄積電荷（画素信号）を読み出すとき、隣接する水平ラインの画素回路から蓄積電荷を含まないノイズ信号を並行して読み出す。同一フレーム読み出し期間内に画素信号およびノイズ信号を読み出すため、迅速にノイズ低減処理を行うことができる。また、同時刻のノイズ成分が画素信号、ノイズ信号に重畳されるため、適正にノイズ成分を除去することができる。

【0054】

次に、図７〜９を用いて、第２の実施形態であるデジタルカメラについて説明する。第２の実施形態では、画素信号を読み出した水平ラインに対してノイズ信号を順次読み出していく。また、手振れ補正機能ＯＮ／ＯＦＦ、設定された感度に応じてノイズ信号読み出しを行うか否かを判断する。

【0055】

図７は、第２の実施形態における垂直同期信号ＶＤに従う画素信号およびノイズ信号読み出し処理のタイミングチャートである。ここでは、ローリングシャッタ方式を採用しているが、グローバルシャッタ方式を適用してもよい。

【0056】

第２の実施形態では、蓄積電荷の読み出しが終了した水平ラインの順でノイズ信号を読み出す。すなわち、最上位の水平ラインから最下位ラインの順で、ノイズ信号を読み出す。画素信号読み出し終了に続けてノイズ信号を読み出すことにより、ノイズ信号の一部だけ同時刻でノイズデータを取得することになる。電荷読み出し終了後できるだけ速やかにノイズ信号を読み出すようにしても遅延期間ＤＴが生じ、遅延期間ＤＴでは同時刻のノイズ成分が取得されない。また、１フレーム分の画素データとしては、画像上下方向にシフトした水平ラインの位置にノイズ成分が重畳されている。

【0057】

本実施形態では、遅延期間ＤＴにおけるＳＲブロック１２２への駆動信号（パルス）をメモリ１２４などに記録し、すべての画素データ読み出し完了後、ＳＲブロック１２２を記録した駆動信号で動作させることで、遅延期間ＤＴのノイズ成分を再現させる。一方、ノイズ成分のシフトについては、次に説明するノイズデータの位置合わせ補正を行う。なお、第２の実施形態では、画像処理部１１４においてノイズ除去処理が行われる。

【0058】

図８は、ノイズデータの位置合わせ補正を示した図である。

【0059】

図８では、画素データに対し、ノイズデータが１行分遅れて読み出されているのを示している。例えば、時刻ｔ＋１において、ｎ＋１行目の画素データ（Ｇｂ、Ｂ）が並ぶ水平ラインからの画素信号読み出しタイミングでは、ｎ行目のＲ，Ｇｒ画素が並ぶ水平ラインに沿ってノイズ信号が読み出される。

【0060】

同時刻タイミングのノイズデータを画素データから減算するため、ここでは画素位置に合合わせたノイズデータの位置合わせ補正を行う。すなわち、１行分シフトしたノイズ信号によってノイズ減算処理を行う。ただし、上述したように互いに隣接するカラムＡＤＣ回路１４１、カラムＡＤＣ回路１４２のＲ画素、Ｂ画素間で画素信号、ノイズ信号を読み出してノイズ減算処理を行うことが好ましいため、Ｂ画素、Ｇｂ画素が交互に入れ替わっている。Ｇｒ画素とＲ画素についても同じである。図８では、左上隅のＲ画素の画素データに対し、位置合わせによって、Ｂ画素のノイズデータが対応していることを示している。

【0061】

このような位置合わせ後のノイズデータによる１フレーム分のノイズ画像データを生成し、画素データによる撮影画像データからノイズ画像データを減算することで、磁気かぶりなどで生じる筋状ノイズを低減することができる。このとき、メモリ１２４に記憶された駆動信号でＳＲブロック１２２を動作させたときのノイズデータも加えられる。なお、位置合わせ補正の仕方は、カラムＡＤＣ回路の配置などによって異なる。また、有効画素領域に起因するノイズ成分については、別途位置合わせ用の１フレーム分のノイズデータを作成するのが良い。

【0062】

図９は、第２の実施形態における撮影シーケンスのフローチャートである。レリーズボタンが全押しされると処理が開始される。

【0063】

電荷蓄積が開始されてから設定された露光時間が経過すると、電荷読み出しが開始される（Ｓ１０１〜Ｓ１０３）。ここでは、１ラインごとに蓄積電荷がフローティングディフュージョンＦＤを経由して読み出される。

【0064】

ステップＳ１０４では、手振れ補正機能がＯＮ状態か否か判断される。手振れ補正機能がＯＦＦ状態の場合、筋状ノイズを発生させるボイスコイルなどが動作していないため、ノイズ低減処理は行われず、電荷読み出しが完了すると終了する（Ｓ１１２）。また、設定された撮影感度（ＩＳＯ感度など）が所定感度以上であるか否かが判断される（Ｓ１０５）。感度が高い場合筋状ノイズが目立ため、感度の値に応じてノイズ減算処理を実行するか否かを判断する。設定感度が所定値より小さい場合、ノイズ低減処理は実行されない（Ｓ１１２）。

【0065】

手振れ補正機能がＯＮ状態で設定感度が所定値以上である場合、ノイズ信号読み出しが開始されるまで、ＳＲブロック１２２に対する駆動信号がメモリ１２４に記憶される（Ｓ１０６、Ｓ１０７）。遅延期間が経過すると画素信号読み出し終了した水平ラインからノイズ信号が終了ライン順に読み出される（Ｓ１０８）。蓄積電荷読み出しが完了すると、メモリに記憶された駆動信号に基づいてＳＲブロック１２２を駆動させ、遅延期間分のノイズデータを取得する（Ｓ１０９〜Ｓ１１０）。１フレーム分のノイズデータが取得されると（Ｓ１１１）、処理が終了する。

【0066】

カラーフィルタアレイについては、Ｒ，Ｇｂ，Ｇｒ，Ｂ以外のカラーフィルタを配列させた構成も可能である。また、ＣＭＯＳ型イメージセンサ以外の撮像素子を適用してもよい。

【符号の説明】

【0067】

１００ デジタルカメラ
１１０ ＤＳＰ
１１２ ＣＩＳ制御部（電荷読み出し手段、ノイズ読み出し手段）
１２１ ＣＩＳ（撮像素子）
１２１Ａ イメージセンサユニット
１２２ ＳＲブロック
１２４ 画像処理部（補正手段）
１４１ カラムＡＤＣ回路（信号処理手段）
１４２ カラムＡＤＣ回路（信号処理手段）
１４３ カラムＡＤＣ回路（信号処理手段）
１４４ カラムＡＤＣ回路（信号処理手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】