特許 6433276 撮像装置及びその制御方法、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6433276

(24)【登録日】2018年11月16日

(45)【発行日】2018年12月5日

(54)【発明の名称】撮像装置及びその制御方法、プログラム、記憶媒体

(51)【国際特許分類】

   H04N 5/378 20110101AFI20181126BHJP

   H04N 5/357 20110101ALI20181126BHJP

【ＦＩ】

   H04N5/378

   H04N5/357

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2014-249195(P2014-249195)

(22)【出願日】2014年12月9日

(65)【公開番号】特開2016-111615(P2016-111615A)

(43)【公開日】2016年6月20日

【審査請求日】2017年12月4日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】小布施 武範

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２０１３−２２９８５３（ＪＰ，Ａ）

【文献】 特開２０１２−１４７１６３（ＪＰ，Ａ）

【文献】 特開２０１１−２１１５３５（ＪＰ，Ａ）

【文献】 特開２０１４−２２０６６３（ＪＰ，Ａ）

【文献】 特開２０１３−２５１６７７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０−５／３７８

(57)【特許請求の範囲】

【請求項1】

有効画素領域と、
前記有効画素領域の外側に設けられたダミー画素領域と、
前記画素の信号を、第１のランプ信号または第１のランプ信号より傾きの大きい第２のランプ信号と比較することによりＡ／Ｄ変換を行うＡ／Ｄ変換器と、
前記第１のランプ信号との比較によりＡ／Ｄ変換した第１の変換信号または前記第２のランプ信号との比較によりＡ／Ｄ変換した第２の変換信号に、前記画素に入射する光量に応じて変化する前記第１の変換信号と前記第２の変換信号が連続するように補正を加える補正手段と、
ダミー画素を読み出す期間に前記Ａ／Ｄ変換器に基準信号を入力し、Ａ／Ｄ変換した信号に基づいて、前記補正のための補正値を算出する算出手段と、
前記Ａ／Ｄ変換器に前記基準信号を入力する期間をフレームごとに変え、前記算出手段にフレームごとに前記補正値を算出させる制御手段と、
を備えることを特徴とする撮像装置。

【請求項2】

前記補正値は、前記第１の変換信号または前記第２の変換信号に加えるゲイン及びオフセットの値であることを特徴とする請求項１に記載の撮像装置。

【請求項3】

奇数フレームについて前記算出手段で算出された前記補正値と、偶数フレームについて前記算出手段で算出された前記補正値を平均した値を前記補正手段による補正に用いることを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記制御手段は、前記Ａ／Ｄ変換器に電圧の異なる２つの基準信号を入力することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記Ａ／Ｄ変換器は、前記２つの基準信号それぞれを前記第１のランプ信号及び前記第２のランプ信号と比較することによりＡ／Ｄ変換し、前記算出手段は、該Ａ／Ｄ変換して得られた信号に基づいて、前記補正値を算出することを特徴とする請求項４に記載の撮像装置。

【請求項6】

有効画素領域と、前記有効画素領域の外側に設けられたダミー画素領域と、前記画素の信号を、第１のランプ信号または第１のランプ信号より傾きの大きい第２のランプ信号と比較することによりＡ／Ｄ変換を行うＡ／Ｄ変換器とを備える撮像装置を制御する方法であって、
前記第１のランプ信号との比較によりＡ／Ｄ変換した第１の変換信号または前記第２のランプ信号との比較によりＡ／Ｄ変換した第２の変換信号に、前記画素に入射する光量に応じて変化する前記第１の変換信号と前記第２の変換信号が連続するように補正を加える補正工程と、
ダミー画素を読み出す期間に前記Ａ／Ｄ変換器に基準信号を入力し、Ａ／Ｄ変換した信号に基づいて、前記補正のための補正値を算出する算出工程と、
前記Ａ／Ｄ変換器に前記基準信号を入力する期間をフレームごとに変え、前記算出工程にフレームごとに前記補正値を算出させる制御工程と、
を有することを特徴とする撮像装置の制御方法。

【請求項7】

請求項６に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

【請求項8】

請求項６に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及びその制御方法に関するものである。

【背景技術】

【0002】

近年、テレビジョンの規格は、フルハイビジョンと呼ばれる水平１９２０画素、垂直１０８０画素（以下、１９２０×１０８０のように表す）の画素数から、４Ｋ２Ｋと呼ばれる３８４０×２１６０画素というＨＤの４倍の画素数を持つものに変わってきている。また、４Ｋ２Ｋよりもさらに次の世代として、８Ｋ４Ｋもしくはスーパーハイビジョンと呼ばれる規格もあり、７６８０×４３２０画素もの画素数を持つ。画素数の増加と合わせて、フレームレートも増加の一途を辿っている。このような変化に伴い、テレビジョン映像を撮影する撮像装置においても、記録できる映像の高画素化及び高フレームレート化が要求されている。

【0003】

この要求を満足するためには、光を電気信号に変換する撮像素子においても、映像信号の読出し時間を高速化することが重要な課題の一つであり、特に撮像素子が有するＡ／Ｄ変換器の高速化が求められている。

【0004】

特許文献１では、アナログ信号を所定の電圧と比較する比較部を備え、異なる階調精度の参照電圧を選択し、階調を減らすことなく、Ａ／Ｄ変換にかかる時間を短縮している。また、特許文献２では、撮像素子のＡ／Ｄ変換時における非直線性ばらつきを補正している。具体的には、撮像素子に備えられたダミー画素に２つの基準電圧を入力し、それを複数回繰り返してＡ／Ｄ変換して読出すことで、ダミー画素の増加を抑えつつ、非直線性を補正する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−２５１６７７号公報

【特許文献2】特開２０１２−１４７１６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献２のようなダミー画素にＡ／Ｄ変換器の補正に使用する基準電圧を入力し、そのＡ／Ｄ変換の結果を参照して補正係数の演算を行うような撮像装置の場合、次のような問題がある。即ち、１フレームの画素内に電源電圧等の一次元に近いシェーディングなどが存在すると、補正すべき値が１フレーム内で変動してしまい、例えば、１フレームの前に補正係数を演算しても正確な補正が難しい。ダミー画素は、物理的に有効画素範囲内に配置することができず、またダミー画素信号の読出し期間を有効画素信号読出し期間に内包することもできない。そのため、従来では、１フレームの画素内に一次元に近いシェーディングなどが存在すると、有効画素信号を補正するための正しい補正係数を求めることが困難であった。

【0007】

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像素子の画素面内に一次元的なシェーディングがある場合でも、有効画素に対して適切な補正係数を算出できるようにすることである。

【課題を解決するための手段】

【0008】

本発明に係わる撮像装置は、有効画素領域と、前記有効画素領域の外側に設けられたダミー画素領域と、前記画素の信号を、第１のランプ信号または第１のランプ信号より傾きの大きい第２のランプ信号と比較することによりＡ／Ｄ変換を行うＡ／Ｄ変換器と、前記第１のランプ信号との比較によりＡ／Ｄ変換した第１の変換信号または前記第２のランプ信号との比較によりＡ／Ｄ変換した第２の変換信号に、前記画素に入射する光量に応じて変化する前記第１の変換信号と前記第２の変換信号が連続するように補正を加える補正手段と、ダミー画素を読み出す期間に前記Ａ／Ｄ変換器に基準信号を入力し、Ａ／Ｄ変換した信号に基づいて、前記補正のための補正値を算出する算出手段と、前記Ａ／Ｄ変換器に前記基準信号を入力する期間をフレームごとに変え、前記算出手段にフレームごとに前記補正値を算出させる制御手段と、を備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、撮像素子の画素面内に一次元的なシェーディングがある場合でも、有効画素信号に対して適切な補正係数を算出することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図。

【図2】第１の実施形態の撮像素子における比較部の構成及び動作タイミングを示す図。

【図3】複数スロープによるＡ／Ｄ変換の動作を示す図。

【図4】複数スロープによるＡ／Ｄ変換結果の補正に関する図。

【図5】撮像素子の画素部を示す図。

【図6A】ダミー画素のＡ／Ｄ変換の動作を示す図。

【図6B】ダミー画素のＡ／Ｄ変換の動作を示す図。

【図7】複数スロープによるＡ／Ｄ変換結果の補正に関する図。

【図8】１フレーム内でオフセット性のシェーディングが発生する様子を示す図。

【図9】補正値取得のタイミングを示す図。

【図10】複数スロープによるＡ／Ｄ変換結果の補正動作を示すフローチャート。

【図11】補正値取得のタイミングを示す図。

【図12】補正値取得のタイミングを示す図。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

【0012】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。図１において、撮像素子１は、並列型Ａ／Ｄ変換器（並列型ＡＤＣ）を実装したＣＭＯＳ型のイメージセンサである。画像処理ＬＳＩ２は、撮像素子１が出力する画像データに対し、ホワイトバランス処理や、ガンマ処理などの現像処理を行い、処理した画像データを記録媒体に記録する。また、画像処理ＬＳＩ２はＣＰＵを内蔵しており、このＣＰＵにより、撮像装置の動作モードに応じて撮像素子と通信（例えばシリアル通信）し、撮像素子１の制御を行う。

【0013】

撮像素子１は、画素部１１０、垂直走査回路１２０、列ＡＭＰ１３０、ランプ回路１４０、列Ａ／Ｄ変換器（列ＡＤＣ）１５０、水平転送回路１６０、信号処理回路１７０、外部出力回路１８０、コントローラ回路３００を備える。

【0014】

コントローラ回路３００は画像処理ＬＳＩ２とのＩ／Ｆ部であり、シリアル通信などを用いて画像処理ＬＳＩ２のＣＰＵとの通信を行い、撮像素子１全体を制御する。画素部１１０には、入射光量に応じて光電変換し、蓄積した電荷を電圧として出力する光電変換素子（フォトダイオード）が行列状に複数配置されている。光電変換素子の各々の表面には、カラーフィルタとマイクロレンズが実装されている。このカラーフィルタとして、Ｒ(赤)，Ｇ(緑)，Ｂ(青)の３色の原色カラーフィルタを用いることで、いわゆるＲＧＢ原色のベイヤー配列の周期構造をとっている。

【0015】

タイミング制御部１００は、撮像素子１の各ブロックに動作クロック（ＣＬＫ）やタイミング信号を供給し、その動作を制御する。垂直走査回路１２０は、画素部１１０に２次元に配置された光電変換素子が蓄積した画素信号を、１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、映像信号は１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。

【0016】

列アンプ１３０は、画素部１１０から読みだされた画素信号を電気的に増幅するために用いられる。列アンプ１３０で画素信号の信号レベルを増幅することにより、ランプ回路１４０や列ＡＤＣ１５０から出るノイズレベルに対する画素信号の信号レベルを相対的に大きくし、等価的にＳＮを改善する。ただし、画素部１１０から出るノイズに対し、ランプ回路１４０や列ＡＤＣ１５０が出すノイズが十分小さい回路構造においては、列アンプ１３０は必ずしも必須ではない。

【0017】

定電圧入力回路４００は、列アンプ１３０に入力される前の段階で、画素部１１０から画素信号が出力される信号出力線に所定の定電圧を与える。本実施形態では定電圧入力回路と記載するが、ある一定電圧で信号をクリップするようなクリップ回路などに応用できる回路でも良い。ランプ回路１４０は、時間方向に一定のスロープ（傾き）を持つランプ形状電圧信号（ランプ信号）を発生する信号発生器である。

【0018】

列ＡＤＣ１５０は、デュアルスロープ型のＡ／Ｄ変換器である。なお、詳細な動作は後述する。ＡＤ変換された１行分の画像データは、端の画素から水平転送回路１６０により順次読み出される。

【0019】

水平転送回路１６０の出力は信号処理回路１７０に入力される。信号処理回路１７０はデジタル的に信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加えるほかに、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。また、画素部１１０に、意図的に遮光した画素領域を設け、その出力を利用したデジタルの黒レベルクランプ動作を行っても良い。

【0020】

信号処理回路１７０の出力は、外部出力回路１８０に渡される。外部出力回路１８０はシリアライザー機能を有し、信号処理回路１７０から出力される多ビットのパラレル信号をシリアル信号に変換する。また、このシリアル信号を、例えばＬＶＤＳ信号等に変換し、外部デバイス(この場合、画像処理ＬＳＩ２)に対し画像情報として出力する。 次に、本実施形態における撮像素子１の列ＡＤＣ１５０を用いたＡ／Ｄ変換について、図２（ａ）を用いて説明する。

【0021】

列ＡＤＣ１５０は、内部に比較部１５１とカウンタ・ラッチ回路１５２を有している。比較部１５１は、列アンプ１３０により増幅された画素信号ＶＡＭＰと、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰとを比較し、比較結果を出力する。カウンタ・ラッチ回路１５２は、カウントをリセットしてから、比較部１５１の出力が反転するまでの期間、すなわち、画素信号の信号レベルとランプ信号の信号レベルが一致するまでカウント動作を行い、信号レベルが一致したときのカウント値を保持する。この動作により、列アンプ１３０からの読み出し信号レベルに比例したカウント値を得られるため、このカウント値がＡ／Ｄ変換結果となり、デジタルデータ（変換信号）として出力される。

【0022】

図２（ｂ）は、ランプ回路１４０から出力されるランプ信号ＶＲＡＭＰのスロープ（傾き）を変えたときの様子を示した図である。スロープを変えることで、比較部の出力が反転するタイミングが変化し、カウント時間が変わることで、Ａ／Ｄ変換されたデジタル信号のゲインを変えることができる。

【0023】

図３は、横軸を時間としたときの列ＡＤＣ１５０の動作タイミング図である。この図を用いて、列アンプ１３０の出力信号のレベルに応じて、ランプ信号ＶＲＡＭＰのスロープを変える動作について説明する。

【0024】

一般的に、単位画素から出力される画素信号のＡ／Ｄ変換においては、まずＮ信号（ノイズ信号）の読出し及びＡ／Ｄ変換を行い、そのあとにＳ信号（ノイズ信号＋光信号）の読出し及びＡ／Ｄ変換を行う。この２つの信号について、信号処理回路１７０でＳ信号−Ｎ信号の演算を行い、ノイズ成分を打ち消すことで、Ｓ／Ｎの良い信号を取得することができる。

【0025】

まず、Ｎ信号のＡ／Ｄ変換期間において、第１のランプ信号でＮ信号のカウント動作を行う。Ｎ信号はＳ信号よりも小さいため、傾きの小さい第１のランプ信号を用いてカウント動作を行う。

【0026】

次に、画素部１１０に蓄積された電荷に応じたＳ信号を読出し、点線で示す列アンプ１３０の出力がＳ信号のレベルになった後、ランプ回路１４０はレベル判定期間にある一定レベルのランプ信号を比較部１５１に出力し、Ｓ信号のレベルと比較する。カウンタ・ラッチ回路１５２はその結果を受け、Ｓ信号がその一定レベル（Ｓ信号判定レベル）よりも大きいか小さいかを判断する。Ｓ信号が一定のレベルよりも小さい場合は、Ｎ信号と同じ第１のランプ信号でＡ／Ｄ変換を行い、デジタル信号を得る。Ｓ信号が一定のレベルよりも大きい場合は、第１のランプ信号よりもスロープがα倍である第２のランプ信号を使用して、Ｓ信号のＡ／Ｄ変換を行い、デジタル信号を得る。このように、信号レベルの大きさによりランプ信号のスロープを変えることにより、Ａ／Ｄ変換時のカウンタのカウント時間が最適化されて短くなり、結果として撮像素子からの信号読み出し時間を短縮することができる。これがデュアルスロープ型のＡ／Ｄ変換器の利点である。

【0027】

図４は、画素部１１０への入射光量（すなわち列アンプ１３０の出力信号レベル）に対するＡ／Ｄ変換後のデジタル値を示している。図４の横軸が画素部１１０への入射光量（列アンプ１３０の出力信号レベル）、縦軸がＡ／Ｄ変換後のデジタル値である。図４の実線は、比較部１５１及びカウンタ・ラッチ回路１５２でＡ／Ｄ変換され、水平転送回路１６０を経て、信号処理回路１７０に入力されるデジタル値を表している。Ｓ信号判定レベルよりも小さい信号は第１のランプ信号を用いてＡ／Ｄ変換され、Ｓ信号判定レベルよりも大きい信号は第２のランプ信号を用いてＡ／Ｄ変換されている。そのため、その前後で光量に対するＡ／Ｄ変換値の整合が取れていないことになる。

【0028】

そこで、例えば信号処理回路１７０において、Ｓ信号判定レベルよりも大きい信号に対しては、第１のランプ信号と第２のランプ信号の傾きの比αを乗算し、さらにオフセットβを加算する。これにより、入射光量とＡ／Ｄ変換値の関係がＳ信号判定レベルの前後で一次的に連続するように補正される。この補正が行われない状態で、有効画素の映像を出力すると、Ｓ信号判定レベル前後の輝度で段差がある違和感のある映像となってしまう。上記のようにデュアルスロープ型のＡ／Ｄ変換器では、撮像素子からの信号読み出し時間を短縮できる利点があるが、一方でこのような補正を行うことが必要となる。この補正値は、撮像素子の温度、撮像素子の駆動タイミングもしくは駆動設定(列アンプ１３０のゲイン、電源設定などの動作状態)によって変化が生じるため、定期的な補正値の取得が必要である。

【0029】

次に、上記した補正値である傾きの比αと加算するオフセット量βを算出する例について説明する。この補正値を算出する動作を、以降、補正値取得動作と記載する。

【0030】

図５は、画素部１１０の画素構成を示した図である。図５に示すように、最も上部にダミー画素領域（補正値算出領域）を配置し、次にオプティカルブラック領域、実際の映像信号を読み出すための有効画素領域の順で配置されている。本実施形態では、有効画素領域の外側に配置されたダミー画素領域を、傾きの比αとオフセット量βからなる補正値を算出するために使用する。

【0031】

ダミー画素は、フォトダイオードを持たず、図１に示した列アンプ１３０の入力である列信号線に接続されている。ダミー画素の信号を読み出す時間に、定電圧入力回路４００から固定電圧（基準信号）を入力し、列アンプ１３０から比較部１５１に入力される電圧をある固定電圧（本実施形態では、Ｖ１，Ｖ２、Ｖ２＞Ｖ１）になるように制御する。

【0032】

図６Ａ、図６Ｂにダミー画素出力信号のＡ／Ｄ変換の流れを示す。図６Ａ（ａ）では、固定電圧Ｖ１をＡ／Ｄ変換する。図３とは異なり、Ｎ信号のＡ／Ｄ変換期間は設ける必要がない。図６Ａ（ａ）では、レベル判定期間のランプ信号ＶＲＡＭＰのレベルを最大値まで上げて、常に固定電圧Ｖ１がＳ信号判定レベルを下回るようにして、常に傾きの小さい第１のランプ信号ＶＲＡＭＰを用いて固定電圧Ｖ１のＡ／Ｄ変換を行うようにする。Ａ／Ｄ変換した結果をＶ１Ｌとする。

【0033】

続いて図６Ａ（ｂ）では、レベル判定期間のランプ信号ＶＲＡＭＰを最小値とし、常に固定電圧Ｖ１がＳ信号判定レベルを上回るようにして、常に傾きの大きい第２のランプ信号ＶＲＡＭＰを用いて固定電圧Ｖ１のＡ／Ｄ変換を行うようにする。Ａ／Ｄ変換した結果をＶ１Ｈとする。図６Ｂ（ｃ）、図６Ｂ（ｄ）では、固定電圧をＶ１よりも大きいＶ２に変え、図６Ａ（ａ）、図６Ａ（ｂ）と同様にＡ／Ｄ変換を行う。この結果はＶ２Ｌ、Ｖ２Ｈとする。

【0034】

これらの固定電圧Ｖ１とＶ２に対するＡ／Ｄ変換後のデジタル値は、横軸に入射光量（列アンプ１３０の出力信号レベル）、縦軸にＡ／Ｄ変換値をとると、図７のように表わされる。図７は、Ｓ信号判定レベルよりも小さい部分を拡大したものである。固定電圧Ｖ１，Ｖ２に対する第１のランプ信号と第２のランプ信号によるＡ／Ｄ変換値を縦軸にとると図７の様になる。

【0035】

図７に示す４点（Ｖ１Ｌ，Ｖ２Ｌ，Ｖ１Ｈ，Ｖ２Ｈ）の座標から傾きの比αと、オフセット量βを求めることができる。例えば、傾きの比αは、次の式で求められる。

【0036】

α＝（Ｖ２Ｌ−Ｖ１Ｌ）／（Ｖ２Ｈ−Ｖ１Ｈ）
傾きの比αを求めた上で、２本の直線がＳ信号判定レベルで交わるように、オフセット量βを決めることができる。以降、これら傾きの比αとオフセットの補正値βを、単に補正値と記載する。上記の算出は、撮像素子内部で行っても良いし、画像処理ＬＳＩで行っても良い。

【0037】

ここで、上記の異なるスロープを持つ２つのランプ信号によるＡ／Ｄ変換の補正を行う必要がある撮像素子で上記の補正値を算出する場合に、１フレームの画素内に一次元に近いシェーディングなどが存在する場合の対処方法について説明する。具体的には、撮像素子の消費電力が、垂直同期信号ＶＤ内で変化する場合、１フレーム内で電源電圧の変動によるオフセット性のシェーディングが発生することがある。

【0038】

図８は、垂直同期信号ＶＤの１垂直同期期間（１ＶＤ）内に画素信号読出し期間および消費電力削減を行う省電期間がある撮像素子の動作遷移を表している。図８の横軸は時間軸であり、垂直同期信号ＶＤを出力するタイミングを示している。画素信号読出し期間は、撮像素子内のほぼすべての回路が動作している状態なので、消費電力が高く、電源電圧が低くなりやすい。画素信号の読出しが終了したら、読出しに係る回路の電源を落とし、消費電力を削減する。画素信号読出し期間の消費電力が大きい場合、省電期間との切り替わりで電源電圧が変動しやすい。

【0039】

電源電圧が変動すると、画素読出し回路がその影響を受け、撮像素子から出力される映像にオフセット性のシェーディングが発生することがある。そのため、画素信号の読出しの始め（映像における画面上部）と終わり（映像における画面下部）で上述した複数のランプ信号のＡ／Ｄ変換に係る補正値、特にオフセット量βの補正係数が変化してしまう。

【0040】

そこで本実施形態では、撮像素子の読出し方法を図９のように変更する。図９では、横軸は時間であり、垂直同期信号ＶＤを出力するタイミングを示している。また、縦軸は垂直方向の読出しラインであり、それぞれのラインの画素信号を読出すタイミングを示している。

【0041】

奇数フレーム（Ｎ＝２ｎ−１：ｎは自然数）では、ダミー画素信号読出し及び補正値を算出する補正値取得動作を有効画素信号読出し期間より先に実行し、取得した補正値を出力する。偶数フレーム（Ｎ＝２ｎ：ｎは自然数）では、補正値取得動作を有効画素読出し期間より後に実行し、取得した補正値を出力する。奇数フレームと偶数フレームについてそれぞれ算出した補正値を平均して、次フレームから有効画素信号の補正に適用する。

【0042】

このようなダミー画素信号を用いた補正値の算出及び算出した補正値を用いた補正動作を図１０のフローチャートを用いて説明する。ここで、β_＊は＊番目のフレームで求めた補正値βを表す。

【0043】

ステップＳ１で、撮像素子から映像信号の出力を開始する。フレーム数をＮとして、Ｎ＝１とする。ステップＳ２では、そのフレーム数Ｎが奇数番目のフレームであるのか偶数番目のフレームであるのかを判定する。奇数フレームであれば、ステップＳ３で有効画素信号読出し前に補正値取得期間を設定し、その期間で補正値を取得する。

【0044】

ステップＳ４でフレーム数Ｎ（＝２ｎ−１）が１番目である場合（ｎ＝１）、そのフレームで求めた補正値を次フレームの有効画素信号の補正に適用する（ステップＳ５）。ステップＳ４でフレーム数Ｎが１番目ではない奇数番目である場合、ステップＳ６で、そのフレームで求めた補正値β_２ｎ−１と、直前の偶数フレームで求めた補正値β_２ｎ−２の平均値を算出する。そして、算出した平均値を次フレームの補正値として適用する。

【0045】

ステップＳ２で、偶数フレームであれば、奇数フレームと同様に、ステップＳ７、ステップＳ８で補正値β_２ｎを求め、直前の奇数フレームで求めた補正値β_２ｎ−１との平均値を算出する。そして、算出した平均値を次フレームの補正値として適用する。ステップＳ９では、映像信号出力の終了であるか否かを判断し、終了であればこのフローを終了し、終了でなければ、ステップＳ１０でＮ＝Ｎ＋１としてステップＳ２に戻る。

【0046】

以上説明したような手法により、異なるスロープを持つ複数のランプ信号によるＡ／Ｄ変換の補正を行う必要がある撮像素子で、映像に一次元的なシェーディングがある場合でも、その有効映像期間に適する補正値を演算して求めることができる。

【0047】

なお、本実施形態では２つのスロープを持つランプ信号について記載したが、これは複数のスロープについても同様の扱いができるため、スロープの数は２つに限定されるものではない。また、補正値の取得方法や演算方法などは本実施形態の手法に限定されるものではない。また、奇数フレームと偶数フレームで求めた補正値を平均化しているが、加重平均することや、時定数を持って算出するなど、計算方法は本実施形態の方法に限定されるものではない。奇数フレームと偶数フレームで、補正値取得動作を行う順番を入れ替えることもできる。

【0048】

（第２の実施形態）
第１の実施形態では、ダミー画素信号の読出し期間を最小限に抑えるため、１ＶＤ（１垂直同期期間）にダミー画素信号を１回のみ読み出す構成について説明した。これに限らず、１ＶＤにダミー画素信号の読出しを複数回行い、ダミー画素読出し期間毎に補正値を取得するようにしても良い。

【0049】

本実施形態では、撮像素子の読出し方法を図１１のように変更する。図１１では、横軸が時間軸であり、垂直同期信号ＶＤを出力するタイミングを示している。また、縦軸は垂直方向の読出しラインであり、それぞれのラインの画素信号を読出すタイミングを示している。

【0050】

本実施形態では、各フレームで、ダミー画素信号の読出し及び補正値を算出する補正値取得動作を有効画素信号読出し期間の前後で行い、補正値を取得する。有効画素信号読出し期間の前後で取得した補正値を平均して、次フレームの有効画素信号の補正に適用する。

【0051】

このような補正値の算出動作であれば、１フレーム内で補正値の演算を完結することができるが、１フレーム（１ＶＤ）にダミー画素信号を２回以上読み出す期間があるため、第１の実施形態に比べ、撮像素子の駆動時間が長くなる。また、１フレーム内で複数回の補正値算出を行うことから、撮像素子及び画像処理ＬＳＩの回路規模が大きくなる。一方、各フレームで有効画素を読み出すタイミングが変わらないため、有効画素に係るシェーディングの影響がフレームごとに変わらないという長所がある。

【0052】

（第３の実施形態）
第２の実施形態で、回路規模の増大を防ぐために、１フレーム（１ＶＤ）に補正値の取得動作は１回のみとし、ダミー画素信号の読出しを２回行う手法でも良い。

【0053】

本実施形態では、撮像素子の読出し方法を図１２のように変更する。図１２では、横軸時間軸であり、垂直同期信号ＶＤを出力するタイミングを示している。また、縦軸は垂直方向の読出しラインであり、それぞれのラインの画素信号を読出すタイミングを示している。

【0054】

本実施形態では、各フレームで、ダミー画素信号の読出しを有効画素信号読出し期間の前後で行うが、補正値の取得動作を各フレームで１回のみとし、奇数フレームと偶数フレームで補正値の取得動作を伴うダミー画素信号の読出し期間を変更する。奇数フレーム（Ｎ＝２ｎ−１：ｎは自然数）では、補正値取得動作を有効画素信号読出し期間より先のダミー画素信号読出し期間に行い、補正値を出力する。偶数フレーム（Ｎ＝２ｎ：ｎは自然数）では、補正値の取得動作を有効画素信号読出し期間より後のダミー画素信号読出し期間に行い、補正値を出力する。実際に撮像素子にセットする補正値は、上記の奇数フレームと偶数フレームのそれぞれについて算出した補正値を平均して、次フレームから撮像素子に適用する。

【0055】

この動作であれば、複数回補正値を算出するための撮像素子及び画像処理ＬＳＩの回路規模の増大を防ぎつつ、補正値の取得及び、各フレームで有効画素信号を読み出すタイミングが変わらないため、有効画素信号に係るシェーディングの影響がフレームごとに変わらないという長所がある。

【0056】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0057】

１：撮像素子、２：画像処理ＬＳＩ、１００：タイミング制御部、１１０：画素部、１２０：垂直走査回路、１３０：列アンプ、１４０：ランプ回路、１５０：列ＡＤＣ、１５１：比較部、１５２：カウンタ・ラッチ回路、１６０：水平転送回路、３００：コントローラ回路、４００：定電圧入力回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】