特許 5944546 固体撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5944546

(24)【登録日】2016年6月3日

(45)【発行日】2016年7月5日

(54)【発明の名称】固体撮像装置

(51)【国際特許分類】

   H04N 5/372 20110101AFI20160621BHJP

   H04N 5/347 20110101ALI20160621BHJP

【ＦＩ】

   H04N5/335 720

   H04N5/335 470

【請求項の数】4

【全頁数】22

(21)【出願番号】特願2015-44386(P2015-44386)

(22)【出願日】2015年3月6日

(62)【分割の表示】特願2011-95038(P2011-95038)の分割

【原出願日】2011年4月21日

(65)【公開番号】特開2015-146593(P2015-146593A)

(43)【公開日】2015年8月13日

【審査請求日】2015年3月6日

(31)【優先権主張番号】特願2010-100916(P2010-100916)

(32)【優先日】2010年4月26日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(72)【発明者】

【氏名】小坂 大樹

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開２００１−３５２４８３（ＪＰ，Ａ）

【文献】 特開平０７−１２３３７２（ＪＰ，Ａ）

【文献】 特開平０３−１３３２８９（ＪＰ，Ａ）

【文献】 特開２００１−２７５０６０（ＪＰ，Ａ）

【文献】 特開２０００−０６９４１８（ＪＰ，Ａ）

【文献】 特開平０７−０７４９９６（ＪＰ，Ａ）

【文献】 特開平０５−１０３３０５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３７２

Ｈ０４Ｎ ５／３４７

Ｈ０４Ｎ ７／０１

Ｈ０４Ｎ １１／２０

(57)【特許請求の範囲】

【請求項1】

飛越走査用ＩＴ−ＣＣＤまたは飛越走査用ＦＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、
垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて飛越走査の映像信号として前記ＣＣＤから読み出し、
該読み出した飛越走査の映像信号の走査線の配置位相と第二の順次走査の映像信号の走査線の配置位相を奇数フィールドにて発生する位相関係と偶数フィールドにて発生する位相関係が上下対称となるような配置位相に設計しておくことで奇数フィールドに現れる変換フィルタと偶数フィールドに現れる変換フィルタに対称性を持たせ、また変換する走査線の重心変化による複数の変換位相が奇数フィールドと偶数フィールドを合わせて対称性の有る位相に設計することで、単独で現れ対称性の無い特異点を排除し垂直周波数特性が近似する数種類の係数の走査線の加算平均を実現し、
該走査線変換により第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力する手段とを備え、
映像フレーム毎の合成の差異によるフリッカの発生と走査線ライン毎の変換垂直周波数特性の差異によるモアレの発生を低減することを特徴とする固体撮像装置の駆動方法。

【請求項2】

飛越走査用ＩＴ−ＣＣＤまたは飛越走査用ＦＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、
垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて飛越走査の映像信号として前記ＣＣＤから読み出し、
該読み出した飛越走査の映像信号の走査線の配置位相と第二の順次走査の映像信号の走査線の配置位相を奇数フィールドにて発生する位相関係と偶数フィールドにて発生する位相関係が上下対称となるような配置位相に設計しておくことで奇数フィールドに現れる変換フィルタと偶数フィールドに現れる変換フィルタに対称性を持たせ、また変換する走査線の重心変化による複数の変換位相が奇数フィールドと偶数フィールドを合わせて対称性の有る位相に設計し、且つ単独で現れ対称性の無い特異点の位相が必要な場合は変換前後の位相が一致する特異点が選ばれるよう位相設計することで変換前走査線２つの中点に変換後走査線が来る位相を排除し、変換前後の位相が一致する特異点でも変換前の複数走査線からのフィルタを用いることで、垂直周波数特性が近似する数種類の係数の走査線の加算平均を実現し、
該走査線変換により第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力する手段とを備え、
映像フレーム毎の合成の差異によるフリッカの発生と走査線ライン毎の変換垂直周波数特性の差異によるモアレの発生を低減することを特徴とする固体撮像装置の駆動方法。

【請求項3】

飛越走査用ＩＴ−ＣＣＤまたは飛越走査用ＦＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、
垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて飛越走査の映像信号として前記ＣＣＤから読み出し、
該読み出した飛越走査の映像信号の走査線の配置位相と第二の順次走査の映像信号の走査線の配置位相を奇数フィールドにて発生する位相関係と偶数フィールドにて発生する位相関係が上下対称となるような配置位相に設計しておくことで奇数フィールドに現れる変換フィルタと偶数フィールドに現れる変換フィルタに対称性を持たせ、また変換する走査線の重心変化による複数の変換位相が奇数フィールドと偶数フィールドを合わせて対称性の有る位相に設計することで、単独で現れ対称性の無い特異点を排除し垂直周波数特性が近似する数種類の係数の走査線の加算平均を実現し、
該走査線変換により第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力する手段とを備え、
映像フレーム毎の合成の差異によるフリッカの発生と走査線ライン毎の変換垂直周波数特性の差異によるモアレの発生を低減することを特徴とする固体撮像装置。

【請求項4】

飛越走査用ＩＴ−ＣＣＤまたは飛越走査用ＦＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、
垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて飛越走査の映像信号として前記ＣＣＤから読み出し、
該読み出した飛越走査の映像信号の走査線の配置位相と第二の順次走査の映像信号の走査線の配置位相を奇数フィールドにて発生する位相関係と偶数フィールドにて発生する位相関係が上下対称となるような配置位相に設計しておくことで奇数フィールドに現れる変換フィルタと偶数フィールドに現れる変換フィルタに対称性を持たせ、また変換する走査線の重心変化による複数の変換位相が奇数フィールドと偶数フィールドを合わせて対称性の有る位相に設計し、尚且つ単独で現れ対称性の無い特異点の位相が必要な場合は変換前後の位相が一致する特異点が選ばれるよう位相設計することで変換前走査線２つの中点に変換後走査線が来る位相を排除し、変換前後の位相が一致する特異点でも変換前の複数走査線からのフィルタを用いることで、垂直周波数特性が近似する数種類の係数の走査線の加算平均を実現し、
該走査線変換により第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力する手段とを備え、
映像フレーム毎の合成の差異によるフリッカの発生と走査線ライン毎の変換垂直周波数特性の差異によるモアレの発生を低減することを特徴とする固体撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、固体撮像素子を有する撮像装置に関するものである。

【背景技術】

【0002】

シリコン製撮像素子は、基板（Substrate以下Sub）電圧（以下V-sub）等の電極電圧を可変することで、フォトダイオード（Photo-Diode以下ＰＤ）の飽和特性が可変する。Sub等のオーバーフロードレイン（Over-flow Drain以下ＯＤ）に正のパルス電圧を印可する事によりＰＤ電荷を掃き捨てる。電荷転送型撮像素子（Charge Coupled Device以下ＣＣＤと略す）の中でもＦＩＴ(Frame Interline Transfer)−ＣＣＤやＩＴ(Interline Transfer)−ＣＣＤでは、基盤（Sub）がＯＤとなり、縦型ＯＤと呼ばれる。（非特許文献１参照）

【0003】

図５Ｂは、従来の撮像装置５０１の構成を示すブロック図である。図５Ｂの撮像部５０３は、ＩＴ−ＣＣＤと、タイミング発生（Timing Generator：以下ＴＧ）とＯＤ掃き捨てと読み出しとを内蔵の垂直転送駆動部と、雑音を除去するＣＤＳ（Correlated Double Sampling）と、暗電流補正と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）と、デジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）と、水平転送のＴＧと、電圧変換のリセットのＴＧと、ＣＤＳのＴＧと、暗電流補正のＴＧと、ＡＧＣのＴＧと、ＡＤＣのＴＧと、オンチップカラーフィルタ付きＣＣＤが一つまたは色分解光学系とＣＣＤを３つからなる。 前出の複数のＴＧは各機能に分散している場合や統合された１つのＴＧの場合など様々な形態が考えられるが、タイミング制御する対象は示す通りの機能であり、水平周期で繰り返すパルスと垂直周期で繰り返すパルスに大別される。 前出の各機能の一部または全てを統合してＡＦＥ（Analog Front End）と呼ばれるＩＣが用いられる場合もあるが、実現する機能に差異はない。 レンズ５０２で焦点を結んだ入射光は撮像部５０３で映像信号となり、走査線数変換や色倍率収差補正機能内蔵の映像信号処理部５０５で信号処理され、映像信号となる。撮像部５０３と映像信号処理部５０５とはＣＰＵ（Central Processing Unit）５０４で制御される（特許文献１参照）。

【0004】

撮像部５０３にはＴＧ５０６が含まれる。図８Ｂに従来の撮像装置の撮像部に含まれるＴＧのブロック図の一例を示す。 クロックカウンタ８０１は水平入力サンプルを行うクロックをカウントしており水平カウンタ値を出力する。比較器８０２は水平入力サンプルの最大値と水平カウンタ値を比較して一致した場合に水平リセット・垂直カウントアップ信号を出力する。クロックカウンタ８０１は比較器８０２の水平リセット・垂直カウントアップ信号でリセットされることで水平周期のカウントを繰り返す。 ラインカウンタ８０３は水平リセット・垂直カウントアップ信号の有るクロックでカウントアップしており垂直カウンタ値を出力する。比較器８０４は垂直ラインの最大値と垂直カウンタ値を比較して一致した場合に垂直最大ラインフラグ信号を出力する。ＡＮＤ回路８０５は垂直最大ラインフラグ信号と水平リセット・垂直カウントアップ信号のＡＮＤをとり垂直リセット信号を出力する。ラインカウンタ８０３はＡＮＤ回路８０５の垂直リセット信号でリセットされることで垂直周期のカウントを繰り返す。 水平パルス生成回路８０６は水平カウンタ値に応じてＣＣＤが必要な各種の水平パルスを生成する。水平パルスには水平転送パルス、電圧変換のリセットパルス、ＣＤＳパルス、暗電流補正クランプパルス、ＡＧＣ部クランプパルス、ＡＤＣ水平同期パルスなど、水平周期で繰り返すパルスが該当する。 垂直パルス生成回路８０７は垂直カウンタ値と水平カウンタ値に応じて、ＣＣＤが必要な垂直パルスを生成する。垂直パルスにはＯＤ掃き捨てパルス、読み出しパルス、垂直転送パルスなど、垂直周期で繰り返し水平のパルス変化位相を持つパルスが該当する。 映像信号処理部５０５には走査線数変換などを処理するための変換フィルタ５０７を含んでいる。変換フィルタには水平方向と垂直方向にサンプリング点を変換するための変換係数を入力と出力の相対位相関係に応じて繰り返す必要が有り、複数の変換係数を持つ。図９Ｂに従来の撮像装置の映像信号処理部に含まれる０度位相を基準にした変換係数の概念を示す。

【0005】

水平サンプル変換フィルタ９０１はクロック毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して、座標に対応する変換係数の値を乗算し、合算することで、出力サンプルの位相中心に相当する画素情報を生成する。 水平変換係数の位相９０２は水平サンプル変換フィルタ９０１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４によって設定されたレジ補正の値に応じた位相用の変換係数の組を水平サンプル変換フィルタ９０１に与える。変換係数の数値内容例は別項として、ここでは方式の着眼点に関わる変換係数の組として持つ位相の種類について説明する。 水平変換係数の位相９０２の内部に有る複数の変換係数の組を、入力画素の座標９０３と出力サンプルの位相中心９０４と入力画素単位での白黒に対する相対応答９０５の組合せで模式的に示した。まず水平変換係数の位相９０２は入力画素の座標９０３と出力サンプルの位相中心９０４が合致する０度位相の変換係数の組９１０を持つ。他にレジ補正とサンプリング（垂直では走査線）変換に用いる入力画素の座標９０３と出力サンプルの位相中心９０４が異なる変換係数の組が用意されているが、それらの変換係数の組はサンプリング（垂直では走査線）変換で入出力の位相が変化する時に０度位相から順次現れる位相として用意される。ここでは960画素を1280画素に変換する場合や、1440画素を1920画素に変換する場合など、利用頻度が高く説明しやすい入出力３対４の変換を例にしている。０度位相から９０度毎に４種類の位相が必要で、９０度位相の変換係数の組９１１、１８０度位相の変換係数の組９１２、２７０度位相の変換係数の組９１３が用意されている。 水平サンプル変換フィルタ９０１における入出力３：４変換の相関図９０６に、水平変換係数の位相９０２の持つ変換係数の組を出力クロック毎に４種類繰り返して変換できることを示す。この繰り返しに、白黒に対する相対応答の振幅が最大となる０度位相と、振幅が全く無く平滑化されてしまう１８０度位相が共に存在するため、モアレ（垂直でフリッカ・ジッタ）などを引き起こし易く映像品質を落とし、これらの不具合改善にフィルタの変換特性を近似させるには、最も振幅の無い１８０度位相に近付ける必要が有り、振幅が最大となる０度位相の利点も活かせず、解像度の低下を招く。

【0006】

垂直走査線変換フィルタ９２１は走査線毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して座標に対応する変換係数の値を乗算したのち合算することで出力走査線の位相中心に相当する画素情報を生成する。 垂直変換係数の位相９２２は垂直走査線変換フィルタ９２１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４に設定されたレジ補正の値に応じた位相用の変換係数の組を垂直走査線変換フィルタ９２１に与える。水平と垂直の方向性の違いのみで、係数の切り替えがクロック毎か、走査線毎かの違いなので詳しい説明は割愛する。 尚、インターレースでフィールド毎のフィルタ係数が逆転し、同じ空間座標に０度位相と１８０度位相が交互に表れる事が、モアレをフリッカやエッジのジッタにしている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−２０６０３０

【非特許文献】

【0008】

【非特許文献1】MW39781AEパナソニック(株)CCDエリアイメージセンサ

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明の目的は、従来よりジッタが低減された走査線変換した映像を出力することにある。

【課題を解決するための手段】

【0010】

本発明は、上記課題を解決するため、飛越走査用ＩＴ−ＣＣＤまたは飛越走査用ＦＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を固定として、フィールド最終の水平周期の半周期の転送を停止させて、第一の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した第一の順次走査の映像信号の複数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力することと、垂直画素加算して、第三の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した第三の順次走査の映像信号を３以上の自然数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力することと、垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて飛越走査の映像信号として前記ＣＣＤから読み出し、該飛越走査の映像信号の走査線の配置位相と第二の順次走査の映像信号の走査線の配置位相の相関に合わせて特異点を減らし垂直周波数特性が近似する数種類の係数の走査線の加算平均により走査線変換して第二の順次走査の映像信号に変換して、第二の順次走査の映像信号を出力すること 、との少なくともいずれかを行うことを特徴とする固体撮像装置である。

【0011】

また、有効走査線数１０８０本の飛越走査用ＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を固定として、フィールド最終の水平周期の半周期の転送を停止させて、有効走査線数５４０本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した有効走査線数５４０本の映像信号を３対４に走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、フィールド最終の水平周期の半周期の垂直転送と、フィールド最終の水平周期の半周期の水平転送と、すくなくとも1回の水平遮光画素のクランプとの、すくなくともいずれかを停止させること、を特徴とする固体撮像装置である。

【0012】

また、開口画素の走査線数１０８４本以上の飛越走査用ＩＴ−ＣＣＤの信号電荷を垂直画素加算して映像信号として読み出す撮像装置において、垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて、奇数フィールド有効走査線数５４２本と偶数フィールド有効走査線数５４３本の順次走査の映像信号として前記ＣＣＤから読み出し、読み出した奇数フィールド有効走査線数５４２本の映像信号を２走査線の加算平均により走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、読み出した偶数フィールド有効走査線数５４３本の映像信号を３走査線の加算平均により走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、垂直画素加算する垂直画素の対を奇数フィールドと偶数フィールドと切り替えて、飛越走査の映像信号として前記ＣＣＤから読み出し、読み出した飛越走査の映像信号を、飛越走査の映像信号の１０８４本以上の走査線の配置位相と順次走査の７
２０本の走査線の配置位相の相関に合わせて特異点を減らし垂直周波数特性が近似する４走査線の加算平均と３走査線の加算平均との組み合わせにより走査線変換して有効走査線数７２０本の順次走査の映像信号に変換して、７２０本の順次走査の映像信号を出力することと、との少なくとも一方を行うことを特徴とする固体撮像装置である。

【発明の効果】

【0013】

本発明によれば、従来よりジッタが低減された走査線変換した映像を出力することができる。

【図面の簡単な説明】

【0014】

【図1A】本発明の１実施例の撮像装置の動作を示すタイミングチャート

【図1B】本発明の１実施例の撮像装置の動作を示すタイミングチャート

【図2】本発明の１実施例の撮像装置の垂直画素加算動作を示す模式図

【図3】本発明の他の１実施例の撮像装置の動作を示すタイミングチャート

【図4】本発明の他の１実施例の撮像装置の走査線加算動作を示す模式図

【図5A】本発明の撮像装置の構成を示すブロック図

【図5B】従来の撮像装置の構成を示すブロック図

【図6A】本発明の他の１実施例の撮像装置の奇数フィールドの走査線加算動作を示す模式図

【図6B】本発明の他の１実施例の撮像装置の偶数フィールドの走査線加算動作を示す模式図

【図7A】本発明の他の１実施例の撮像装置の奇数フィールドの走査線加算動作を示す模式図

【図7B】本発明の他の１実施例の撮像装置の偶数フィールドの走査線加算動作を示す模式図

【図8A】本発明の撮像装置の撮像部に含まれるＴＧのブロック図

【図8B】従来の撮像装置の撮像部に含まれるＴＧのブロック図

【図9A】本発明における撮像装置の映像信号処理部に含まれるより多くの対象位相を持つ変換係数の概念

【図9B】従来の撮像装置の映像信号処理部に含まれる０度位相を基準にした変換係数の概念

【発明を実施するための形態】

【0015】

図５Ａは本発明における撮像装置のブロック図である。図５Ａの撮像部５０３ａは、ＩＴ−ＣＣＤと、タイミング発生（Timing Generator：以下ＴＧ）とＯＤ掃き捨てと読み出しとを内蔵の垂直転送駆動部と、雑音を除去するＣＤＳ（Correlated Double Sampling）と、暗電流補正と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）と、デジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）と、水平転送のＴＧと、電圧変換のリセットのＴＧと、ＣＤＳのＴＧと、暗電流補正のＴＧと、ＡＧＣのＴＧと、ＡＤＣのＴＧと、オンチップカラーフィルタ付きＣＣＤが一つまたは色分解光学系とＣＣＤを３つからなる。前出の複数のＴＧは各機能に分散している場合や統合された１つのＴＧの場合など様々な形態が考えられるが、タイミング制御する対象は示す通りの機能であり、水平周期で繰り返すパルスと垂直周期で繰り返すパルスに大別される。前出の各機能の一部または全てを統合してＡＦＥ（Analog Front End）と呼ばれるＩＣが用いられる場合もあるが、実現する機能に差異はない。レンズ５０２で焦点を結んだ入射光は撮像部５０３ａで映像信号となり、走査線数変換や色倍率収差補正機能内蔵の映像信号処理部５０５ａで信号処理され、映像信号となる。撮像部５０３ａと映像信号処理部５０５ａとはＣＰＵ（Central Processing Unit）５０４で制御される（特許文献１参照）。

【0016】

撮像部５０３ａにはＴＧ５０６ａが含まれる。図８Ａに本発明の撮像装置の撮像部に含まれるＴＧのブロック図の一例を示す。 クロックカウンタ８０１は水平入力サンプルを行うクロックをカウントしており水平カウンタ値を出力する。比較器８０２は水平入力サンプルの最大値と水平カウンタ値を比較して一致した場合に水平リセット・垂直カウントアップ信号を出力する。 ＣＰＵ５０４で切り上げ動作制御信号８１０ａを有効に設定すると、比較器８１２ａと比較器８１４ａの比較判定機能が有効になる。比較器８１２ａは水平切り上げ位相と水平カウンタ値を比較一致した場合に水平切り上げ用のリセットを出力するが、通常はＡＮＤ回路８１５ａによって消去される。比較器８１４ａからハーフ切り上げ用動作切り替え信号が出力されている時のみＡＮＤ回路８１５ａは比較器８１２ａの出力を通過させ、ハーフ切り上げ用リセットを出力する。 クロックカウンタ８０１は、比較器８０２の水平リセット・垂直カウントアップ信号か、ＡＮＤ回路８１５ａのハーフ切り上げ用リセットが有るとき、ＯＲ回路８１６ａの出力でリセットされ、水平周期のカウントを繰り返す。ＡＮＤ回路８１５ａのハーフ切り上げ用リセットによるリセットの時のみ水平半周期となり、それ以外は水平周期である。 ラインカウンタ８０３は水平リセット・垂直カウントアップ信号の有るクロックでＯＲ回路８１６ａの出力をもってカウントアップしており垂直カウンタ値を出力する。比較器８０４は垂直ラインの最大値と垂直カウンタ値を比較して一致した場合に垂直最大ラインフラグ信号を出力する。ＡＮＤ回路８０５は垂直最大ラインフラグ信号と水平リセット・垂直カウントアップ信号のＡＮＤをとり垂直リセット信号を出力する。ＯＲ回路８１７ａはＡＮＤ回路８０５の垂直リセット信号を有効に通過させる。ラインカウンタ８０３はＡＮＤ回路８０５の垂直リセット信号でリセットされることで垂直周期のカウントを繰り返す。

【0017】

比較器８１４ａは切り上げ動作制御信号８１０ａが有効のとき、垂直切り上げラインと垂直カウンタ値を比較し、一致している時はハーフ切り上げ用動作切り替え信号を出している。前出の比較器８１２ａから水平切り上げ用のリセットが出力されるクロック位相で、前出のＡＮＤ回路８１５ａからハーフ切り上げ用リセットを出力できる条件を与える。ＡＮＤ回路８１５ａからハーフ切り上げ用リセットが出力された場合は、ＯＲ回路８１７ａを有効に通過して、ラインカウンタ８０３はハーフ切り上げでリセットされ、垂直半周期のカウントを繰り返す。切り上げ動作制御信号８１０ａが有効のときには比較器８０４の垂直最大ラインフラグ信号が出力されることは無い。

【0018】

水平パルス生成回路８０６ａは水平カウンタ値に応じてＣＣＤが必要な各種の水平パルスを生成する。水平パルスには水平転送パルス、電圧変換のリセットパルス、ＣＤＳパルス、暗電流補正クランプパルス、ＡＧＣ部クランプパルス、ＡＤＣ水平同期パルスなど、水平周期で繰り返すパルスが該当する。 ハーフ切り上げのために変化させる必要が有るパルスは、比較器８１４ａからハーフ切り上げ用動作切り替え信号によって、生成するパルスを切り替えるよう水平パルス生成回路８０６ａに位相比較とゲート回路を持っている。 垂直パルス生成回路８０７ａは垂直カウンタ値と水平カウンタ値に応じて、ＣＣＤが必要な垂直パルスを生成する。垂直パルスにはＯＤ掃き捨てパルス、読み出しパルス、垂直転送パルスなど、垂直周期で繰り返し水平のパルス変化位相を持つパルスが該当する。 ハーフ切り上げのために変化させる必要が有るパルスは、比較器８１４ａからハーフ切り上げ用動作切り替え信号によって、生成するパルスを切り替えるよう水平パルス生成回路８０７ａに位相比較とゲート回路を持っている。 本発明の撮像装置の撮像部に含まれるＴＧには、クロックカウンタ８０１とラインカウンタ８０３に対して、所定の切り上げ位置でリセットを追加できるハーフ切り上げ用リセットを接続していることと、切り上げ動作制御信号８１０ａによる切り上げ動作機能の有効・無効制御を行うことと、比較器８１４ａが出力するハーフ切り上げ用動作切り替え信号をゲート信号として、水平パルス生成回路８０６ａと垂直パルス生成回路８０７ａがハーフ切り上げ用のパルス出力に動作を切り替えることに特徴が有る。

【0019】

映像信号処理部５０５ａには走査線数変換などを処理するための変換フィルタ５０７ａを含んでいる。変換フィルタには水平方向と垂直方向にサンプリング点を変換するための変換係数を入力と出力の相対位相関係に応じて繰り返す必要が有り、複数の変換係数を持つ。図９Ａに本発明における撮像装置の映像信号処理部に含まれるより多くの対称位相を持つ変換係数の概念を示す。 水平サンプル変換フィルタ９０１はクロック毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して座標に対応する変換係数の値を乗算したのち合算することで出力サンプルの位相中心に相当する画素情報を生成する。 水平変換係数の位相９０２ａは水平サンプル変換フィルタ９０１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４によって設定されたレジ補正の値に応じた位相用の変換係数の組を水平サンプル変換フィルタ９０１に与える。変換係数の数値内容例は別項として、ここでは方式の着眼点に関わる変換係数の組として持つ位相の種類について説明する。 水平変換係数の位相９０２ａの内部に有る複数の変換係数の組を、入力画素の座標９０３と出力サンプルの位相中心９０４と入力画素単位での白黒に対する相対応答９０５の組合せで模式的に示した。 水平変換係数の位相９０２ａが複数持つ変換係数の組は、入力画素の座標９０３と出力サンプルの位相中心９０４が合致する０度位相に対して、出来る限り多くの変換係数の組が左右対称（垂直では上下対象）になるよう、レジ補正とサンプリング（垂直では走査線）変換に用いる入力画素の座標９０３と出力サンプルの位相中心９０４が異なる変換係数の組が用意されている。ここでは540有効走査線を720有効走査線に変換する場合など、利用頻度が高く説明しやすい入出力３対４の変換を例にしている。変換係数の組はサンプリング（垂直では走査線）変換で入出力の位相が変化する時に順次現れる位相として４５度位相から９０度毎に４種類の位相が必要である。

【0020】

−４５度位相の変換係数の組９１１ａと４５度位相の変換係数の組９１２ａ、−１３５度位相の変換係数の組９１０ａと１３５度位相の変換係数の組９１３ａがそれぞれ左右対称になっている。前述の従来例図９Ｂでは９０位相の変換係数の組９１１と２７０度位相の変換係数の組９１３が左右対称であるが、０度位相の変換係数の組９１０と１８０度位相の変換係数の組９１２は異なることを確認できる。 複数持つ変換係数の組が偶数の場合、出来る限り多くの変換係数の組が左右対称（垂直では上下対象）になるよう用意すれば、０度位相と１８０度位相が自ずと除外されるので、最もモアレを起こす変換係数の組を避ける事ができる。 複数持つ変換係数の組が奇数の場合、出来る限り多くの変換係数の組が左右対称（垂直では上下対象）になるよう用意し、対称の無い特異点に０度位相を含むこととすれば、１８０度位相が自ずと除外されるので、白黒に対する相対応答に振幅が全く無く平滑化されてしまう変換係数の組を避ける事ができる。

【0021】

水平サンプル変換フィルタ９０１における入出力３：４変換の相関図９０６ａに、水平変換係数の位相９０２の持つ変換係数の組を出力クロック毎に４種類繰り返して変換できることを示す。この繰り返しで左右対称の相似形となる組が多数存在するので、白黒に対する相対応答の振幅を近似させやすく、モアレを最も抑えた構成にできる。 垂直走査線変換フィルタ９２１は走査線毎に変換係数を変更できるＦＩＲフィルタであり、一定範囲にある複数の入力画素に対して座標に対応する変換係数の値を乗算したのち合算することで出力走査線の位相中心に相当する画素情報を生成する。 垂直変換係数の位相９２２ａは垂直走査線変換フィルタ９２１にフィルタ計算に用いる変換係数を与えている。内部には変換係数の組を複数持ち、ＣＰＵ５０４によって設定されたレジ補正の値に応じた位相用の変換係数の組を垂直走査線変換フィルタ９２１に与える。水平と垂直の方向性の違いのみで、係数の切り替えがクロック毎か、走査線毎かの違いなので詳しい説明は割愛する。 尚、インターレースでフィールド毎のフィルタ係数が逆転しフリッカやエッジのジッタの発生することに関しても、元となるモアレを低減できているので最も抑えた構成にできる。

【実施例1】

【0022】

以下、本発明の１実施例の撮像装置の動作を示す
タイミングチャートの図１Ａと、本発明の１実施例の撮像装置の垂直画素加算動作を示す模式図の図２とを用いて、本発明の１実施例を説明する。 合わせて本発明の別の実施例の撮像装置の動作を示すタイミングチャート図１Ｂで、図１Ａとは別の手段について相違点を説明する。

【0023】

本発明の一実施例の撮像装置の動作を示すタイミングチャートの図１Ａにおいて、Ｖ１−Ｖ４は、ＩＴ−ＣＣＤにおける垂直転送路Ｖ１−Ｖ４の読み出し垂直転送との動作を表したものである。具体的には、ＰＤからＶ１とＶ３への電荷の読み出しと、Ｖ２を用いた垂直画素加算と、Ｖ１−Ｖ４を一組とした垂直転送動作を示している。ここでは奇数フィールド映像の垂直画素加算を例に取って説明しているので、図１Ａには奇数フィールド映像の垂直画素加算しか存在していない。あるいは全てが同じ型の垂直画素加算であればＶ２の代わりにＶ４で垂直画素加算を行う偶数フィールド映像の垂直画素加算で構成することも出来て、タイミング上に奇数フィールド映像の垂直画素加算が存在しないことになる。奇数か偶数のどちらかに統一されて、毎回同じ垂直画素加算が行われるものである。

【0024】

０．５Ｈは水平半周期期間であり、図１Ａにおいてフィールド毎に１回存在する。 同様に図１Ｂにも０．５Ｈは水平半周期期間であり、フィールド毎に１回存在する。

【0025】

図１Ａにおいて、Ｈ２は、ＩＴ−ＣＣＤにおける水平転送路Ｈ１−Ｈ２の動作を表したもので、図１ＡのＨ２と逆極性のＨ１と、図１ＡのＨ２とを対とした水平転送動作を行うタイミングを示している。 図１Ａにおいて、０．５Ｈは水平半周期転送停止期間でもあり、図１において、フィールド毎に１回存在する。 図１Ｂでは、０．５Ｈは水平半周期転送切り上げ期間としている。

【0026】

図１Ａにおいて、Ｈ Ｃｌｕｍｐは、ＩＴ−ＣＣＤの水平遮光画素（Ｈ−ＯＢ）の暗電流による映像信号をクランプして黒の基準とするパルスである。 図１Ａにおいて、ＣＬ−ＢＬは、Ｈ−ＯＢの暗電流による映像信号をクランプしない期間である。 図１Ｂにおいて、Ｖ Ｃｌｕｍｐは、ＩＴ−ＣＣＤの垂直遮光画素（Ｖ−ＯＢ）の暗電流による映像信号をクランプして黒の基準とするパルスである。フィールド毎の垂直遮光画素で黒基準を保持できるシステムの場合は、図１のＣＬ−ＢＬを用いる代わりに図１ＢのＶ Ｃｌｕｍｐを用いる方法を取っても良い。 このＶ Ｃｌｕｍｐは０．５Ｈとは異なる水平周期に設定するため、図１のＣＬ−ＢＬに相当する映像信号をクランプしない期間とすることは同様である。

【0027】

図１Ａにおいて、０．５Ｈの水平半周期転送停止期間に転送を停止しているため、水平周期に合わせてクランプしてしまうと、オプティカルブラックでは無い部分を後段で黒として処理してしまい映像レベルの異常を引き起こすことになり、この防止のために０．５Ｈと同等のＣＬ−ＢＬのクランプ停止期間を用意する。

【0028】

撮像素子の特性によっては、０．５Ｈの水平半周期転送停止期間の次のタイミングのＨ−ＯＢは、他のＨ−ＯＢと異なる出力レベルになる可能性が有り、撮像素子の特性によっては、ＣＬ−ＢＬのクランプ停止期間は水平半周期ではなく、水平１．５周期とする場合も有る。 ０．５Ｈの水平半周期転送停止期間の次のタイミングのＨ−ＯＢの出力レベル他のＨ−ＯＢとが異なる可能性として考えられる要因は、０．５Ｈの水平半周期期間と次のタイミングの通常水平周期で垂直転送を２度行ったことにより、ＣＣＤ水平転送路でオプティカルブラックの加算が行われレベル変動する可能性が有る。

【0029】

本発明の方式では、従来と同様な映像信号処理を行うためには、ＣＬ−ＢＬのクランプ停止期間という概念を用いて、映像の黒レベルが変動しない条件で駆動する事が重要であり、その幅が水平半周期か、水平１．５周期かは、撮像素子を利用して撮像装置などを設計する段階で決めることとなる。出力から削除される部分の映像の黒レベル変動を無視できる映像信号処理ならＣＬ−ＢＬのクランプ停止期間は不要になる。

【0030】

Ｈ−Ｃｏｕｎｔｅｒは水平走査線カウンタを表し、駆動パルスを生成するＴＧの内部で動作しているものである。本発明の方式の動作中は、カウンタ値０からカウンタ値５６２までの範囲で動作しており、カウンタ値５６２をもって水平半周期を生成した後にカウンタ値０に戻している。カウンタ値４の時に、Ｖ１−Ｖ４に読み出しと奇数フィールド映像の垂直画素加算のタイミングを出力させる。毎フレームにおいてカウンタ値４で奇数フィールド映像の垂直画素加算のタイミングを用意するため、露光時間はフレーム周期の５６２．５ラインと等しく均一となる。この例で奇数フィールド映像の垂直画素加算のタイミングとＨ−Ｃｏｕｎｔｅｒの関係は、通常の飛び越し走査で奇数フィールド映像の垂直画素加算のタイミングを与える水平走査線より２ライン早くしている。

【0031】

図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部には垂直方向に変換フィルタを持つことが多いが、背景技術の特許文献１に示されるように別の用途で有効に機能するので、図１の走査線変換無映像では走査線変換を行う前の映像出力タイミングを別の用途で垂直方向に変換フィルタを通した場合に出力となるフィルタ中心の、映像出力タイミングを示している。フィールド１回はフレーム１回に等価であり、上部ブランキング１８ラインと映像有効走査線５４０ラインと下部ブランキング４．５ラインの５６２．５ラインでフレーム１回を構成している。通常の跳び越し動作での奇数型フィールドの５６３ライン構成、上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング３ラインより２ライン早く、偶数型フィールドの５６２ライン構成、上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング２ラインより２．５ライン早い位置に映像出力している。 図１Ａにおける映像Ａ２の走査線変換後の映像出力タイミングと、図３における映像Ｂ２の走査線変換後の映像出力タイミングは、同じ映像出力タイミングである。そして、図３における映像Ｂ１が通常の跳び越し動作に相当する。そのため、図１Ａと図３の両図を比べる事で、映像Ａ１と通常の跳び越し動作のタイミングの差を確認できる。

【0032】

図１Ａの走査線変換後映像は、走査線変換を行った後の映像出力タイミングである。フィールド１回はフレーム１回に等価であり、上部ブランキング２５ラインと映像有効走査線７２０ラインと下部ブランキング５ラインの７５０ラインでフレーム１回を構成している。図１Ａの走査線変換無映像のタイミングとは、映像有効走査線の位置が走査線変換無の０．７５ライン、走査線変換後の１ライン分のタイミング差であり、フレームメモリなどを用いず最短のタイミングで、毎フレーム同じ位置で走査線変換を行えている。

【0033】

図２は本発明の１実施例の撮像装置の垂直画素加算動作を示す模式図である。 図２の（ａ）はＨＤＴＶ撮像素子の開口画素の１０８８の水平走査線の画素配列の光学位置を表している。図２の（ａ）にはａ−１からａ１０８２までの１０８４ラインの垂直画素範囲を示しており、ここから１０８４ラインに相当する垂直画素範囲が、垂直画素加算で有効走査線５４２本の順次走査映像になり、図２の（ｃ）の走査線変換で図２の（ｄ）の走査線変換後の有効走査線７２０本の順次走査映像になる。 図２の（ｂ）は本発明の垂直画素加算で有効走査線５４２本の順次走査映像を表している。図１の本発明の一実施例の撮像装置の動作を示すタイミングチャートにおいて奇数フィールド映像の垂直画素加算タイミングを用いているので、奇数のラインをｎとしてｎ＋１ラインと垂直画素加算し、例えば、ａ３＋ａ４と垂直画素加算した有効走査線５４０本の順次走査映像となっている。

【0034】

図２の（ｃ）は走査線変換を表している。図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部に相当し垂直方向に変換フィルタを持つ。ここでは説明のために簡略化しており、変換フィルタ係数の４／５、３／５、２／５、１／５を走査線変換座標に合わせて切り替えている。 図２の（ｄ）は走査線変換後の有効走査線７２０本の順次走査映像であり、（３／５）＊（ａ３＋ａ４）＋（２／５）＊（ａ５＋ａ６）の係数の加算でｄ３を算出している。ｄ３は常に同一に算出され、毎フレーム同じ撮像素子の水平走査線の画素配列の光学位置が出力され、フレーム毎の合成の差異によるジッタが発生しないことを表している。

【実施例2】

【0035】

以下、本発明の他の１実施例の撮像装置の動作を示すタイミングチャートの図３と、本発明の他の１実施例の撮像装置の垂直画素加算動作を示す模式図の図４とを用いて、本発明の他の１実施例を説明する。 本発明の一実施例の撮像装置の動作を示すタイミングチャートの図３において、Ｖ１−Ｖ４は、ＩＴ−ＣＣＤにおける垂直転送路Ｖ１−Ｖ４の読み出し垂直転送との動作を表したものである。具体的には、ＰＤからＶ１とＶ３への電荷の読み出しと、Ｖ２を用いた奇数フィールド映像の垂直画素加算と、Ｖ４を用いた偶数フィールド映像の垂直画素加算と、Ｖ１−Ｖ４を一組とした垂直転送動作を示している。 図３において、奇数フィールドと偶数フィールドとでは期間が１Ｈ異なる。

【0036】

図３において、Ｈ２は、ＩＴ−ＣＣＤにおける水平転送路Ｈ１−Ｈ２の動作を表したもので、図３のＨ２と逆極性のＨ１と、図３のＨ２とを対とした水平転送動作を行うタイミングを示している。 図３において、Ｈ Ｃｌｕｍｐは、ＩＴ−ＣＣＤの水平遮光画素（Ｈ−ＯＢ）の暗電流による映像信号をクランプして黒の基準とするパルスである。

【0037】

Ｈ−Ｃｏｕｎｔｅｒは水平走査線カウンタを表し、駆動パルスを生成するＴＧの内部で動作しているものである。本発明の方式の動作中は、カウンタ値０からカウンタ値１１２４までの範囲で動作しており、カウンタ値１１２４の後にカウンタ値０に戻している。カウンタ値６と５６８の時に、Ｖ１−Ｖ４に読み出しと垂直画素加算のタイミングを出力させる。カウンタ値６と５６８の時に読み出しと垂直画素加算のタイミングを用意するため、撮像素子の水平走査線の画素配列の光学位置が水平走査線分ずれる。 この例で垂直画素加算のタイミングとＨ−Ｃｏｕｎｔｅｒの関係は、通常の飛び越し走査で動作している。尚、次に述べる変換フィルタを利用できるよう考慮したタイミングであり、撮像素子の持つタイミングチャートとは異なっている。

【0038】

図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部には垂直方向に変換フィルタを持つことが多いが、背景技術の特許文献１に示されるように別の用途で有効に機能するので、図３の走査線変換無映像では走査線変換を行う前の映像出力タイミングを別の用途で垂直方向に変換フィルタを通した場合に出力となるフィルタ中心の、映像出力タイミングを示している。奇数型フィールドは上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング３ラインの５６３ライン構成、偶数型フィールドは上部ブランキング２０ラインと映像有効走査線５４０ラインと下部ブランキング２ラインの５６２ライン構成で、フレーム１回は奇数型フィールドと偶数型フィールドのフィールド２回で構成された通常の飛び越し走査の出力となっている。

【0039】

図３の走査線変換後映像は、は走査線変換を行った後の映像出力タイミングである。図３の走査線変換無映像のタイミングとは、映像有効走査線の位置が、奇数型フィールドの場合は走査線変換無の１．２５ライン、走査線変換後の１．６６ライン分の早く、偶数型フィールドの場合は走査線変換無の１．７５ライン、走査線変換後の２．３３ライン分の早いタイミング差であり、フレームメモリを用いずに走査線変換無映像と走査線変換後映像の共用を行うには、走査線変換後映像で変換フィルタに利用するライン数を減らす必要が有る。

【0040】

図４は本発明の他の１実施例の撮像装置の垂直画素加算動作を示す模式図である。 図４の（ａ）はＨＤＴＶ撮像素子の開口
画素の１０８８の水平走査線の画素配列の光学位置を表している。図４の（ａ）にはａ−２（ｋ１）からａ１０８５（ｋ３）までの１０８８ラインの開口画素の垂直画素範囲を示しており、ここから、図４の（ｂ）の奇数フィールド映像の垂直画素加算で有効走査線５４２本の走査映像になり、図４の（ｃ）の偶数フィールド映像の垂直画素加算で有効走査線５４３本の走査映像になり、図４の（ｄ）の走査線変換で図２の（ｅ）と（ｇ）と（ｈ）との走査線変換後の有効走査線７２０本の順次走査映像になる。 図４の（ｂ）は奇数フィールド映像の垂直画素加算タイミングを用いているので、奇数のラインをｎとしてｎ＋１ラインと垂直画素加算し、例えば、ａ３＋ａ４と垂直画素加算した有効走査線５４２本の順次走査映像となっている。 それに対し、図４の（ｃ）は偶数フィールド映像との垂直画素加算タイミングを用いているので、偶数のラインをｎとしてｎ＋１ラインと垂直画素加算し、例えば、ａ２＋ａ３と垂直画素加算した有効走査線５４３本の順次走査映像となっている。

【0041】

図４の（ｄ）は走査線変換を表している。図５の撮像装置のブロック図で５の映像信号処理部に存在する走査線変換部に相当し垂直方向に変換フィルタを持つ。ここでは説明のために簡略化しており、変換フィルタ係数の４／５、３／５、２／５、１／５を走査線変換座標に合わせて切り替えている。 図４の（ｅ）と（ｇ）と（ｈ）とは走査線変換後の有効走査線７２０本の順次走査映像である。（３／５）＊（ａ３＋ａ４）＋（２／５）＊（ａ５＋ａ６）の係数の加算平均でｅ３を算出し、（４／５）＊（ａ４＋ａ５）＋（１／５）＊（ａ２＋ａ３）の係数の加算平均でｇ３を算出し、(5/20)*(a2+a3)+(3/5)*(a4+a5)+(3/20)*(a6+a7)の係数の加算平均でｈ３を算出している。

【0042】

図４の（ｇ）は、奇数フィールドと偶数フィールドと異なる撮像素子の水平走査線の画素配列の光学位置が出力され、奇数フィールドと偶数フィールドとの差異によるジッタが発生することを表している。 それに対し、図４の（ｈ）は、偶数フィールド映像との垂直画素加算の順次走査映像の３走査線からの加算平均により、奇数フィールドに近似する撮像素子の水平走査線の画素配列の光学位置が出力され、奇数フィールドと偶数フィールドとの差異によるジッタが発生しないことを表している。

【0043】

図４の（ｈ）を生成する方法には、撮像素子の水平走査線の画素配列の光学位置を近似したことで上下のジッタを軽減することができるが、偶数フィールド映像のために専用の変換フィルタが追加され、利用ライン幅も１ライン広くする必要が有った。走査線変換の前後におけるライン配置位相の相関に相似関係が見出せる場合は、奇数フィールドに用いる走査線変換用のフィルタを、ライン配置位相の相関に合わせて順序を変えて偶数フィールド用に用いることで、図４の（ｈ）と同等以上の効果を得ることができる。図６を用いて相似関係を活かした走査線変換と、図７を用いてフィールドの相似関係のみを活かした走査線変換を説明する。

【0044】

図６は本発明の他の１実施例の撮像装置の垂直画素加算動作における垂直位相関係を表した模式図である。図６の（ａ）は撮像素子の画素配置を示しており、図４の（ａ）に相当する。

【0045】

図６の（ｂ）は飛越走査における奇数フィールドの走査線を示しており、図４Ａの（ｂ）に相当し、奇数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｂ３はａ３とａ４を合成したものであり、垂直位相関係を同一にして記している。

【0046】

図６の（ｃ）は飛越走査における偶数フィールドの走査線を示しており、図４の（ｃ）に相当し、偶数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｃ４はａ４とａ５を合成したものであり、垂直位相関係を同一にして記している。

【0047】

図６の（ｅ）は奇数フィールドの飛越走査から変換された順次走査映像の走査線を示し、図６の（ｇ）は偶数フィールドの飛越走査から変換された順次走査映像の走査線を示しており、それぞれ図４の（ｅ）と図４の（ｇ）に相当する。この順次走査画像は図６の（ｅ）と図６の（ｇ）が、走査線変換前の飛越走査画像のフィールド毎に、繰り返し交互に現れるものとなるため、垂直位相関係を同一にして記している。

【0048】

図６の（ｋ）は奇数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｂ１の重心であるｂ１＋０／８の位相から、上下等間隔に１／８位相ずつ位相を用意すると８点の位相が考えられるが、分子が奇数になる−３／８、−１／８、＋１／８、＋３／８の４点の位相に対して変換フィルタが用意され、他の４点の位相である−２／８、＋０／８、＋２／８、＋４／８は利用しない。 変換位相４点を重心の＋０／８をあえて外して用意するのは、同時に利用する位相の中に＋４／８すなわち２つのライン重心から中点となる１／２位相が含まれないようにする工夫と、準備する変換フィルタに最大限の対照性を持たせて種類を減らし各変換フィルタの周波数特性を合わせやすくするためである。１／２位相が含まれないようにする理由については図７に別の一実施例を示して後述する。 図６の（ｋ）’は順次走査の重心となる奇数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、−１／８、−３／８、＋３／８、＋１／８が繰り返し現れ、この４点しか存在していないことが図示されている。

【0049】

図６の（ｐ）は奇数フィールドから２ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。ｅ３は図６の（ｋ）’で走査線変換前から＋３／８の垂直位相に相当し、ｂ３＊（３／５）＋ｂ５＊（２／５）の変換フィルタを用いて、画素配置のａ３とａ４が３／５、ａ５とａ６が２／５の比率で影響することになる。図６の（ｐ）の走査線変換フィルタの計算式を見ると、走査線変換前から＋３／８の垂直位相にあたるｅ３に用いる変換フィルタと、走査線変換前から−３／８の垂直位相にあたるｅ６に用いる変換フィルタは係数の（３／５）と（２／５）が上下対照になっており、同じ周波数特性のフィルタとなる。同様に走査線変換前から＋１／８の垂直位相にあたるｅ４に用いる変換フィルタと、走査線変換前から−１／８の垂直位相にあたるｅ５に用いる変換フィルタは係数の（４／５）と（１／５）が上下対照になっており、同じ周波数特性のフィルタとなる。つまり４つの垂直位相に対して２種類の周波数特性のフィルタのみで構成できる。図６の（ｅ）では異なる特性のフィルタが走査線のライン毎に切り替わるので、フィルタの周波数特性を最大限合わせておかなければ映像出力にモアレを引き起こす。本方式では変換フィルタの種類を減らすために垂直位相の対照性に着目し、変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減する。周波数特性の近似に関しては、偶数フィールドの説明に合わせｅ３とｇ３の関係で後述する。

【0050】

図６の（ｐ）’は奇数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。走査線変換フィルタの周波数特性を向上するには、計算に用いる変換前の走査線のライン数と係数の分解能を増やす。ライン数を増やすことで、変換フィルタの係数の中には０になって実質使われないラインやマイナスの値となるものが有る。図６の（ｐ）’の走査線変換フィルタでは、走査線変換前から＋１／８の垂直位相にあたるｅ４に用いる変換フィルタと、走査線変換前から−１／８の垂直位相にあたるｅ５に用いる変換フィルタに係数が０／１６で０になって実質使われないラインが存在している。＋１／８の垂直位相と−１／８の垂直位相は走査線変換前の重心＋０／８の垂直位相に近く、重心に来るラインと上下の３ライン、＋３／８の垂直位相と−３／８の垂直位相は上下に２ラインずつで４ラインを用いて走査線変換している。図６の（ｐ）の走査線変換フィルタと図６の（ｐ）’の走査線変換フィルタは説明用に簡略化したもので、実際には係数の分解能を増やした上で、フラットな周波数特性を持たせるために６〜５ライン程度や、周波数高域を維持するには１０ライン程度を用いて走査線変換を行うことがある。垂直位相に対する変換フィルタの対象性は図６の（ｐ）を用いての説明と変わらない。 図６の（ｍ）は偶数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｃ２の重心であるｃ２＋０／８の位相から、上下等間隔に１／８位相ずつ位相を用意すると８点の位相が考えられるが、分子が奇数になる−３／８、−１／８、＋１／８、＋３／８の４点の位相に対して変換フィルタが用意され、他の４点の位相である−２／８、＋０／８、＋２／８、＋４／８は利用しない。 図６の（ｍ）’は順次走査の重心となる偶数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、＋３／８、＋１／８、−１／８、−３／８が繰り返し現れ、この４点しか存在していないことが図示されている。

【0051】

図６の（ｑ）は偶数フィールドから２ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。ｇ３は図６の（ｍ）’で走査線変換前から−１／８の垂直位相に相当し、ｃ２＊（１／５）＋ｃ４＊（４／５）の変換フィルタを用いて、画素配置のａ２とａ３が１／５、ａ４とａ５が４／５の比率で影響することになる。図６の（ｑ）の偶数フィールドからの走査線変換フィルタの計算式を、図６の（ｐ）の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の−１／８、−３／８、＋３／８、＋１／８に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの２種類４位相のフィルタと共用できることが示されている。

【0052】

図６の（ｑ）’は偶数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。図６の（ｑ）’の偶数フィールドからの走査線変換フィルタの計算式を、図６の（ｐ）’の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の−１／８、−３／８、＋３／８、＋１／８に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの２種類４位相のフィルタと共用できることが示されている。 図６の（ｅ）の奇数フィールドの飛越走査から変換された順次走査映像の走査線におけるｅ３は、図６の（ｇ）は偶数フィールドの飛越走査から変換された順次走査映像の走査線のｇ３と同じ走査線にあたり、飛越走査側のフィールド毎に順次走査側にｅ３とｇ３が交互に現れる。

【0053】

図６の（ｐ）の奇数フィールドからの走査線変換フィルタの対応画素はｅ３に対してａ４とａ５を中心にａ３からａ６(まで)を用いているが、図６の（ｑ）の偶数フィールドからの走査線変換フィルタの対応画素はｇ３に対してａ４とａ５の比率が大きいものの上側のａ２とａ３を用いて下側に広がりは無い。このため図６の（ｐ）の奇数フィールドからの走査線変換フィルタと図６の（ｑ）の偶数フィールドからの走査線変換フィルタには上下のジッタが存在し順次走査映像にフリッカが残る。 図６の（ｐ）’の奇数フィールドからの走査線変換フィルタの対応画素はｅ３に対してａ４とａ５を中心にａ１からａ８を用いており、図６の（ｑ）’の偶数フィールドからの走査線変換フィルタの対応画素はｇ３に対してａ４とａ５を中心にａ２からａ７を用いており、上下に広がる裾野に差異は有るものの、利用範囲の形状がより近似している。このため図６の（ｐ）’の奇数フィールドからの走査線変換フィルタと図６の（ｑ）’の偶数フィールドからの走査線変換フィルタでは順次走査映像のフリッカが軽減される。複数有る走査線変換フィルタで利用する画素配置と合成比率の形状を近似させることは周波数特性を近似させると言い換えることができる。

【0054】

本方式では垂直位相の対照性と、フィールド毎に利用できる変換フィルタの共通性に着目し、変換フィルタ
の種類を減らし、変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減するとともに、飛越走査のフィールド毎の順次走査映像のフリッカを軽減する。 尚、同時に利用する変換フィルタが４点だとしても、別の理由で変換位相を８点準備する場合、本方式では対照性と周波数特性の近似を重視するため、８点の周波数特性を合わせるには１６分割の位相を想定して分子が奇数となる位相を用いる。これは周波数特性が悪く最も避けるべき＋８／１６垂直位相と、他の位相と同時に使うには周波数特性が良いため出来れば避ける＋０／１６垂直位相を外すためである。 更に走査線変換の整数比によっては同時に利用する変換フィルタの位相が奇数になる場合が想定されるが、本方式では対照性と周波数特性の近似を重視するため、＋０垂直位相を含む奇数の点を用い、＋０垂直位相の上下に対照性を持たせるとともに、周波数特性が悪く最も避けるべき＋１／２垂直位相を外す。

【0055】

図７は本発明の他の１実施例の撮像装置の垂直画素加算動作における垂直位相関係を表した模式図である。図７の（ａ）は撮像素子の画素配置を示しており、図６の（ａ）や図４の（ａ）に相当する。 図７の（ｂ）は飛越走査における奇数フィールドの走査線を示しており、図６Ａや図４Ａに相当し、奇数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｂ３はａ３とａ４を合成したものであり、垂直位相関係を同一にして記している。 図７の（ｃ）は飛越走査における偶数フィールドの走査線を示しており、図６Ｂや図４Ａに相当し、偶数のｎライン目にｎ＋１ライン目を加算合成するため、例えばｃ４はａ４とａ５を合成したものであり、垂直位相関係を同一にして記している。

【0056】

図７の（ｅ）’は奇数フィールドの飛越走査から変換された順次走査映像の走査線を示し、ｂ１の垂直位相の重心とｅ１の垂直位相の重心が等しくなる垂直位相関係になることを示し、図７の（ｇ）’は偶数フィールドの飛越走査から変換された順次走査映像の走査線を示しており、それぞれ図４Ｂの（ｅ）と図４Ｃの（ｇ）に相当する。この順次走査画像は図７の（ｅ）’と図７の（ｇ）’が、走査線変換前の飛越走査画像のフィールド毎に、繰り返し交互に現れるものとなるため、垂直位相関係を同一にして記している。

【0057】

図７の（ｋ）”は奇数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｂ１の重心であるｂ１＋０／４の位相から、上下等間隔に１／４位相ずつの位相である−１／４、＋０／４、＋１／４、＋２／４に対して変換フィルタが用意されている。 利用する位相の中に＋２／４すなわち２つのライン重心から中点となる１／２位相が含まれている。 図７の（ｋ）”’は順次走査の重心となる奇数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、＋０／４、−１／４、＋２／４、＋１／４が繰り返し現れ、この４点しか存在していないことが図示されている。

【0058】

図７の（ｐ）”は奇数フィールドから２ラインを用いた良好でない走査線変換フィルタと対応画素の影響比率を示している。ｅ３は図７の（ｋ）”’で走査線変換前から＋２／４の垂直位相に相当し、ｂ３＊（１／２）＋ｂ５＊（１／２）の変換フィルタを用いて、画素配置のａ３とａ４とａ５とａ６が平均した比率で影響することになり、ｂ３とｂ５が白と黒でも平均した灰色としてしか扱えない周波数特性が最悪となる垂直位相である。ｅ５は走査線変換前から＋０／４の垂直位相すなわち走査線変換前後で重心が等しい位相に相当し、２ラインのみを用いて変換フィルタを構成した場合はｂ７が比率の全てを占めて影響することになり、ｂ７が白なら白、黒なら黒となる周波数特性が最良となる垂直位相だが、他の３点との違いが大きくなる。図７の（ｐ）”の走査線変換フィルタの計算式を見ると、走査線変換前から＋２／４の垂直位相すなわち２つのライン重心から中点となる１／２位相にあたるｅ３に用いる変換フィルタと対照となるものは存在せず、唯一の特異点である。同様に走査線変換前から＋０／４の垂直位相すなわち走査線変換前後で重心が等しい位相にあたるｅ５に用いる変換フィルタと対照となるものは存在せず、唯一の特異点である。走査線変換前から＋１／４の垂直位相にあたるｅ４に用いる変換フィルタと、走査線変換前から−１／４の垂直位相にあたるｅ６に用いる変換フィルタは係数の（３／４）と（１／４）が上下対照になっており、同じ周波数特性のフィルタとなる。４つの垂直位相に対して３種類の周波数特性のフィルタで構成しており、図６の場合より共通性や対照性に欠ける。 図７の（ｅ）’では異なる特性のフィルタが走査線のライン毎に切り替わるので、フィルタの周波数特性を最大限合わせておかなければ映像出力にモアレを引き起こす。この実施例では変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減する。そのため図７の（ｐ）”は良好ではない変換フィルタとして採用すべきではない。周波数特性の近似に関しては、偶数フィールドの説明に合わせｅ３とｇ３の関係で後述する。

【0059】

図７の（ｐ）”’は奇数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。走査線変換フィルタの周波数特性を向上するには、計算に用いる変換前の走査線のライン数と係数の分解能を増やす。ライン数を増やすことで、変換フィルタの係数の中には０になって実質使われないラインやマイナスの値となるものが有る。図７の（ｐ）”’の走査線変換フィルタでは、走査線変換前と重心が等しい＋０／４の垂直位相にあたるｅ５に用いる変換フィルタに係数が０／１６で０になって実質使われないラインが存在している。走査線変換前の重心＋０／４の垂直位相のみ、重心に来るラインと上下の３ライン、他の３つの垂直位相は上下に２ラインずつで４ラインを用いて走査線変換している。＋２／４の垂直位相と＋０／４の垂直位相がそれぞれ唯一の特異点であることと、−１／４の垂直位相と＋１／４の垂直位相が上下対照で３種類の変換フィルタになる点は図７の（ｐ）”と同様である。 周波数特性を近似させるためには、最悪の＋２／４の垂直位相が存在するため、＋０／４の垂直位相は元々有る最良の周波数特性を殺して３ラインを平均するような変換フィルタとする必要が有り、位相の特性は活かせない。 図７の（ｐ）”の走査線変換フィルタと図７の（ｐ）”’の走査線変換フィルタは説明用に簡略化したものである。

【0060】

図７の（ｍ）”は偶数フィールドからの走査線変換の垂直位相を示している。走査線変換の位相として４点の位相を用いる例を示しており、ｃ２の重心であるｃ２＋０／４の位相から、上下等間隔に１／４位相ずつの位相である−１／４、＋０／４、＋１／４、＋２／４に対して変換フィルタが用意されている。 図７の（ｍ）”’は順次走査の重心となる偶数フィールドからの走査線変換の垂直位相を示している。順次走査の重心となる垂直位相には、＋２／４、＋１／４、＋０／４、−１／４が繰り返し現れ、この４点しか存在していないことが図示されている。

【0061】

図７の（ｑ）”は偶数フィールドから２ラインを用いた良好でない走査線変換フィルタと対応画素の影響比率を示している。ｇ３は図７の（ｍ）”’で走査線変換前から＋０／４の垂直位相すなわち走査線変換前後で重心が等しい位相に相当し、２ラインのみを用いて変換フィルタを構成した場合はｃ４が比率の全てを占めて影響することになり、ｃ４が白なら白、黒なら黒となる周波数特性が最良となる垂直位相だが、他の３点との違いが大きくなる。ｇ５は図７の（ｍ）”’で走査線変換前から＋２／４の垂直位相に相当し、ｃ６＊（１／２）＋ｃ８＊（１／２）の変換フィルタを用いて、画素配置のａ６とａ７とａ８とａ９が平均した比率で影響することになり、ｃ６とｃ８が白と黒でも平均した灰色としてしか扱えない周波数特性が最悪となる垂直位相である。 図７の（ｑ）”の偶数フィールドからの走査線変換フィルタの計算式を、図７の（ｐ）”の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の＋０／４、−１／４、＋２／４、＋１／４に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの３種類４位相のフィルタと共用できることが示されている。

【0062】

図７の（ｑ）”’は偶数フィールドから４〜３ラインを用いた走査線変換フィルタと対応画素の影響比率を示している。図７の（ｑ）”’の偶数フィールドからの走査線変換フィルタの計算式を、図７の（ｐ）”’の奇数フィールドからの走査線変換フィルタの計算式と比べると、利用する順序が異なるが、走査線変換前の垂直位相の＋０／４、−１／４、＋２／４、＋１／４に対する変換フィルタは全く同じ構成になっており、奇数フィールドでの３種類４位相のフィルタと共用できることが示されている。

【0063】

図７の（ｅ）’の奇数フィールドの飛越走査から変換された順次走査映像の走査線におけるｅ３は、図６の（ｇ）’は偶数フィールドの飛越走査から変換された順次走査映像の走査線のｇ３と同じ走査線にあたり、飛越走査側のフィールド毎に順次走査側にｅ３とｇ３が交互に現れる。図７の（ｐ）”の良好でない走査線変換フィルタと図７の（ｑ）”の良好でない走査線変換フィルタでは、ｅ３は変換前走査線２ラインの平均値で最悪の周波数特性となり、対してｇ３は変換前走査線と等しくなり最良の周波数特性である。このｅ３とｇ３が交互に現れ順次走査映像に強烈なフリッカが起こる。ｅ５とｇ５にも同様にも強烈なフリッカが起こり、ｅ３とｅ５およびｇ３とｇ５にはそれぞれ強烈なモアレが起こる。この実施例でも複数の種類で構成される走査線変換フィルタの周波数特性を合わせることでモアレとフリッカを軽減できる。走査線変換フィルタは変換前走査線から＋０／４の垂直位相の変換フィルタと、−１／４の垂直位相と＋１／４の垂直位相で共用する対照の変換フィルタと、＋２／４の垂直位相の変換フィルタの３種類で構成されている。フリッカを低減するためには例えば図７の（ｐ）”’の４〜３ラインの走査線変換フィルタと図７の（ｑ）”’の４〜３ラインの走査線変換フィルタを用いる。３種類の変換フィルタの周波数特性を合わせるには、最悪の１／２位相の特性に他の変換フィルタの合成比率を近似させるしかなく、重心が等しい最良の垂直位相は２ライン平均に近似されてしまい特性を活かせない。図７の（ｐ）”’でｅ３は＋２／４の垂直位相の変換フィルタで２ライン平均を上下に裾野を広げて、ａ３からａ６を中心にａ１からａ８までとなり、図７の（ｑ）”’でｇ３は＋０／４の垂直位相の変換フィルタで、これを３ライン平均に近いａ２からａ７までとすることで、フィルタの形状を近似させている。

【0064】

何らかの理由で図６の方式を用いることが出来ない場合でも、この実施例のように変換フィルタの種類で異なる周波数特性を最大限近似させることでライン毎のモアレを低減するとともに、飛越走査のフィールド毎の順次走査映像のフリッカを軽減することは可能である。

【0065】

以上４相のＩＴ−ＣＣＤを３ヶと色分解光学系を用いる撮像装置について詳細に動作を説明した。 しかし、ＩＴ−ＣＣＤのＶ１−Ｖ４とＦＩＴ−ＣＣＤのＶ１Ａ−Ｖ４Ａとの垂直転送加算動作と、ＩＴ−ＣＣＤのＶ１−Ｖ４とＦＩＴ−ＣＣＤのＶ１Ｂ−Ｖ４Ｂとの水平周期で一組ごとの垂直転送動作と、ＩＴ−ＣＣＤのＨ１−Ｈ２とＦＩＴ−ＣＣＤのＨ１−Ｈ２との水平転送動作とは同様である。ＦＩＴ−ＣＣＤのＶ１Ａ−Ｖ４ＡとＶ１Ｂ−Ｖ４Ｂとの垂直帰線期間での高速転送が異なる。つまり、本発明の動作は、ＩＴ−ＣＣＤだけではなく、ＦＩＴ−ＣＣＤのも適用できる。

【0066】

また、垂直転送４相のＣＣＤにかぎらず、垂直転送６相のＣＣＤでも垂直転送８相のＣＣＤでも適用できる。さらに単一のオンチップカラーフィルタ付きＣＣＤでも白黒撮影の単一のＣＣＤでも、本発明を適用できる。

【符号の説明】

【0067】

１：撮像
装置、２：レンズ部、３：撮像部、４：ＣＰＵ、５：映像信号処理部、

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【図9A】

【図9B】