特許 5912586 画像信号処理方法及び画像信号処理回路、並びに撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5912586

(24)【登録日】2016年4月8日

(45)【発行日】2016年4月27日

(54)【発明の名称】画像信号処理方法及び画像信号処理回路、並びに撮像装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20160414BHJP

【ＦＩ】

   H04N9/07 C

【請求項の数】4

【全頁数】12

(21)【出願番号】特願2012-17054(P2012-17054)

(22)【出願日】2012年1月30日

(65)【公開番号】特開2013-157807(P2013-157807A)

(43)【公開日】2013年8月15日

【審査請求日】2014年10月23日

(73)【特許権者】

【識別番号】000131326

【氏名又は名称】株式会社シグマ

(72)【発明者】

【氏名】山崎 滋巳

【審査官】 鈴木 肇

(56)【参考文献】

【文献】 特開２００７−１７４１１７（ＪＰ，Ａ）

【文献】 特開２００１−０８６４１２（ＪＰ，Ａ）

【文献】 特開２００３−３４６１４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４ − ９／１１

Ｈ０４Ｎ ５／３０ − ５／３７８

(57)【特許請求の範囲】

【請求項1】

１画素に少なくとも３層の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理方法において、
前記積層型の画像信号を平滑化演算するデジタルローパスフィルタ演算ステップと、
前記デジタルローパスフィルタ演算ステップにて平滑化演算された画像信号に対して前記積層型の画像信号からベイヤー型の画像信号へ画像信号変換を行う画像信号変換ステップとを含み、
前記デジタルローパスフィルタは一辺３以上の奇数（Ｐｉｘｅｌ）の正方行列であることを特徴とした画像信号処理方法。

【請求項2】

１画素に少なくとも３層の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理方法において、
前記積層型の画像信号を平滑化演算するデジタルローパスフィルタ演算ステップと、
前記デジタルローパスフィルタ演算ステップにて平滑化演算された画像信号に対して前記積層型の画像信号からベイヤー型の画像信号へ画像信号変換を行う画像信号変換ステップとを含み、
前記デジタルローパスフィルタは３（Ｐｉｘｅｌ）×３（Ｐｉｘｅｌ）であることを特徴とした画像信号処理方法。

【請求項3】

請求項１又は請求項２のいずれかに記載の画像信号処理方法を用いて信号処理することを特徴とする画像信号処理回路。

【請求項4】

請求項３に記載の画像信号処理回路を備えることを特徴とする撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の受光部を有する光電変換層を複数層使用し、これら光電変換層の各受光部から各々読出した画像信号を処理する固体撮像素子の画像信号処理方法、画像信号処理回路並びに撮像装置に関する。

【背景技術】

【0002】

従来のベイヤー型固体撮像素子は、１画素に１受光部が配置されており、各受光部には、例えば赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタのうちの１つが積層され、各画素が夫々１色の光を検出する構成になっている。このため、赤色のカラーフィルタが形成された受光部には、青色光と緑色光はカラーフィルタに熱として吸収されてしまうため入射することができない。このため、カラーフィルタによる光の吸収により光利用効率が悪いという問題がある。

【0003】

他にも、赤色光の受光部における青色光の信号及び緑色光の信号は、周りの青色光、緑色光を検出する各受光部の検出した画像信号から色情報を補間して演算することで求めている。これは、青色光の受光部における赤色光の信号及び緑色光の信号、緑色光の受光部における赤色光の信号及び青色光の信号も同様に各色を検出する周りの画像信号から色情報を補間して演算することで求めている。これが偽色の原因となるという問題もある。

【0004】

この偽色の問題に対処するため、ベイヤー型固体撮像素子を用いる場合には、光学的ローパスフィルタを適用することで、輪郭など信号値の変化が大きい箇所を平滑化することで信号値の変化を小さくし、補間演算処理による偽色の発生を抑制する手法が一般的である。

【0005】

一方、これまで述べてきたベイヤー型固体撮像素子の問題を回避するために、ベイヤー型固体撮像素子とは異なる固体撮像素子が提案されている。例えば下記特許文献１では、シリコン（Ｓｉ）の光吸収係数の波長依存性を利用して、Ｓｉ基板の深さ方向に青色光用のＰＮ接合部と緑色光用のＰＮ接合部と赤色光用ＰＮ接合部とを設け、色分離を行う固体撮像素子を提案している。

【0006】

下記特許文献２では、３層の光電変換層を半導体基板の上に順に積層し、且つ、各光電変換層で発生した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）毎の信号電荷を夫々半導体基板に形成した信号読出回路に接続する縦配線を形成する固体撮像素子を提案している。

【0007】

下記特許文献１、特許文献２に記載されている積層型固体撮像素子は、赤色（Ｒ）を検出する光電変換層と、緑色（Ｇ）を検出する光電変換層と、青色（Ｂ）を検出する光電変換層を３層積層することで、同一画素で、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの色信号を同時に検出することができる。よって、ベイヤー型固体撮像素子のようにカラーフィルタに対応した色の受光部のみ光を検出して他の色の光を検出しないという事態が起こらない。これに伴い、積層型固体撮像素子では色情報を補間して演算処理をする必要がなくなる。

【0008】

それ故、補間演算処理による偽色も発生しない。また、補間演算処理をしないため、積層型固体撮像素子にはローパスフィルタが不要となる。つまり、解像感が低下しない。以上に述べてきたようにベイヤー型固体撮像素子が抱えていた偽色が発生したり解像感が低下するといった問題は、積層型固体撮像素子では起こらない。

【0009】

しかし、下記特許文献１に記載の積層型固体撮像素子のように検出したすべての画像信号に画像信号処理を行う場合、ベイヤー型固体撮像素子と積層型固体撮像素子の画素数が同じだとすると、積層型固体撮像素子は１画素で３色を検出することができるため、積層型固体撮像素子の検出する画像信号（以下、積層型の画像信号とする。）がベイヤー型固体撮像素子の検出する画像信号（以下、ベイヤー型の画像信号とする。）よりも情報量が多くなる。よって、画像信号処理に時間がかかってしまうという問題がある。

【0010】

次に、１画素に３受光部が積層配置される積層型固体撮像素子と１画素に１受光部が配置されるベイヤー型固体撮像素子では受光部の配置が異なるため、画素数が同じ撮像素子であっても積層型の画像信号とベイヤー型の画像信号では、撮像素子から送られてくる画像信号の出力順も異なる。よって、世の中に多く流通しているベイヤー型の画像信号処理回路を積層型の画像信号処理へ流用できない。そのため、積層型の画像信号用に画像信号処理回路を製作する必要があるためコストが嵩んでしまうという問題もある。

【0011】

上述の情報量の問題を解決するため、次の従来例がある。

【0012】

特許文献２には、各画素から間引き読出しを行うことで、低解像度、高画質、高フレームレートの動画像データの生成方法と既存のＲ、Ｇ、Ｂ信号用の信号読出回路が利用可能となる画像信号処理回路の発明が記載されている。

【0013】

上述の画像信号処理回路を製作するコストに関する問題を解決するため、次のような従来例がある。

【0014】

特許文献３には、非ＲＧＢベイヤーパターンを有する二次元マトリックス状の複数のピクセルを含むピクセルアレイセンサを用いて出力された信号を変換して、Ｒ、Ｇ、Ｂベイヤー信号を出力する撮像素子とそれを含むイメージ処理装置に関する発明が記載されている。

【先行技術文献】

【特許文献】

【0015】

【特許文献1】米国特許第５９６５８７５号公報

【0016】

【特許文献2】特開２００５−２６８４７９号公報

【0017】

【特許文献3】特開２０１１−６６８９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0018】

特許文献２に記載された技術を特許文献１に記載の積層型固体撮像素子に用いた場合、積層型固体撮像素子の各画素から間引き読出しを行うことで、従来の積層型の画像信号に比べると情報量は減っている。しかし、積層型の画像信号であるため、ベイヤー型の画像信号に比べると情報量も多い。

【0019】

また、特許文献２に記載された技術を特許文献１に記載の積層型固体撮像素子に用いて、積層型の画像信号の各画素から間引き読出しを行った画像信号は、ベイヤー型の画像信号でないため、世の中に多く流通しているベイヤー型の画像信号用の画像信号処理回路を用いることはできない。そのため、積層型の画像信号用に画像信号処理回路を製作する必要があるためコストが嵩んでしまうという問題が残る。

【0020】

また、特許文献３に記載された技術を特許文献１に記載の積層型固体撮像素子に適用して、積層型の画像信号をベイヤー型の画像信号に変換した場合、以下の問題がある。

【0021】

積層型の画像信号をベイヤー型の画像信号に変換して画像信号処理をした場合、画像信号処理の過程で各画素に対して周辺画素から色情報を補間演算処理する必要があり、前記補間演算処理をした際に偽色が発生してしまうという問題がある。

【0022】

そこで、前述したようにベイヤー型固体撮像素子で偽色抑制のために一般的に用いられる光学的ローパスフィルタを積層型固体撮像素子に用いると偽色を抑制することが可能となる一方、解像感が失われてしまう問題が発生する。

【0023】

さらに、光学的ローパスフィルタを用いた場合、常に一定の強弱のローパスフィルタが適用されてしまうため、偽色を抑制したい場合には、強めのフィルタを適用したり、解像感がほしい場合には、弱めのフィルタを適用する若しくはフィルタを適用しないといった選択をすることができないという問題もある。

【0024】

本発明の目的は、積層型の画像信号をベイヤー型の画像信号に変換し、画像信号処理の際に発生する偽色を抑制する画像信号処理方法と画像信号処理回路、並びに撮像装置を提供することである。

【課題を解決するための手段】

【0025】

上記目的を達成するために、本発明を実施する画像信号処理方法は、１画素に少なくとも３層の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理方法において、前記積層型の画像信号を平滑化演算するデジタルローパスフィルタ演算ステップと、前記デジタルローパスフィルタ演算ステップにて平滑化演算された画像信号に対して前記積層型の画像信号からベイヤー型の画像信号へ画像信号変換を行う画像信号変換ステップとを含み、前記デジタルローパスフィルタは一辺３以上の奇数（Ｐｉｘｅｌ）の正方行列であることを特徴とする。

【0026】

さらに本発明の実施する画像信号処理方法は、１画素に少なくとも３層の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理方法において、前記積層型の画像信号を平滑化演算するデジタルローパスフィルタ演算ステップと、前記デジタルローパスフィルタ演算ステップにて平滑化演算された画像信号に対して前記積層型の画像信号からベイヤー型の画像信号へ画像信号変換を行う画像信号変換ステップとを含み、前記デジタルローパスフィルタは３（Ｐｉｘｅｌ）×３（Ｐｉｘｅｌ）であることを特徴とする。

【0027】

さらに本発明を実施する画像信号処理回路は、上記発明に記載の画像信号処理方法を用いて信号処理することを特徴とする。

【0028】

さらに本発明を実施する撮像装置は、上記発明に記載の画像信号処理回路を備えることを特徴とする。

【発明の効果】

【0029】

本発明では、積層型の画像信号に間引き処理を行いベイヤー型の画像信号へと変換することで、画像信号のデータ量が減るため、画像信号処理に要する時間を減らすことが可能となる。

【0030】

また、本発明では、積層型の画像信号をベイヤー型の画像信号に変換することで、ベイヤー型の画像信号を処理するための画像信号処理回路を用いることが可能となる。よって、積層型の画像信号用に画像信号処理回路を製作しなくて済むため、コストを抑えることが可能となる。

【0031】

ベイヤー型の画像信号へ変換後、画像信号処理の過程でおこなう補間演算処理の際に発生する偽色を抑制するために画像信号へ適用するローパスフィルタを、本発明では、デジタルローパスフィルタとすることで、フィルタの強弱を変えた複数のフィルタを用意しておき、適用するフィルタを変更することが可能となる。その結果、偽色を抑制したい場合には、強めのフィルタを適用したり、解像感がほしい場合には、弱めのフィルタを適用する若しくはフィルタを適用しないといった選択が可能となる。

【0032】

その他にも本発明により、積層型の画像信号からベイヤー型の画像信号へ変換した後、画像信号処理の過程で行う補間演算処理した際に発生する偽色を抑制することができる。

【図面の簡単な説明】

【0033】

【図1】本発明の実施例における、画像処理方法を用いたブロック図

【図2】画像信号変換処理の概念図

【図3】本発明における画像処理方法のフローチャート

【図4】画像信号の状態を示した図

【発明を実施するための形態】

【0034】

以下、本発明の最良な実施形態について、図面を参照しながら詳細に説明する。図１は本発明にかかる画像処理方法を用いた撮像装置の概略構成を示すブロック図である。

【0035】

図１において、１００は、本実施形態における撮像装置であり、被写体を撮影し、撮影した画像データを保存する。２００は、撮像装置１００に装着可能な光学系である。本実施例において、撮像装置１００は、光学系の交換が可能な構成となっており、撮像装置１００と光学系２００とで全体としてレンズ交換式カメラシステムを構成している。

【0036】

撮像装置１００において、１０１は積層型固体撮像素子、１０２はＦＰＧＡ、１０３は第一ＳＤＲＡＭ、１０４はＣＰＵ、１０５は第二ＳＤＲＡＭ、１０６は外部記憶装置、１０７は外部表示装置である。

【0037】

光学系２００は、レンズ光学系のほか、不図示のレンズＣＰＵや絞りなどを有している。

【0038】

積層型固体撮像素子１０１は、光学系２００を通じて検出した光を画像信号に変換する、ＣＭＯＳやＣＣＤ積層型固体撮像素子である。

【0039】

ここで、画像信号について説明する。

【0040】

積層型固体撮像素子１０１の検出する画像信号を積層型の画像信号とし、ベイヤー型固体撮像素子の検出した画像信号をベイヤー型の画像信号とする。本実施例の検出した画像信号は積層型の画像信号である。この積層型の画像信号は画像信号変換部１０２２にて信号処理することで、積層型の画像信号はベイヤー型の画像信号へと変換される。

【0041】

本実施例においては、積層型固体撮像素子１０１は１画素に３層の光電変換層を積層した積層型固体撮像素子を用いているが、積層型固体撮像素子１０１の１画素に積層される光電変換層は、３層に限定したものでなく、４層、５層若しくはそれ以上としてもよい。

【0042】

ＦＰＧＡ１０２は、デジタルローパスフィルタ部１０２１と画像信号変換部１０２２が構成されているが、ＦＰＧＡ１０２の代わりにＡＳＩＣなどを中間デバイスとして用いることも可能である。

【0043】

ＣＰＵ１０４は、積層型固体撮像素子１０１が検出しＦＰＧＡ１０２で画像信号処理を適用された後のベイヤー型の画像信号に対して、例えばガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を行い、さらには、不図示のＡＥ機構やＡＦ機構等の各種デバイスの制御も行うＣＰＵである。

【0044】

第一ＳＤＲＡＭ１０３はＦＰＧＡ１０２と接続し、第二ＳＤＲＡＭ１０５はＣＰＵ１０４と接続した記憶装置である。

【0045】

外部記憶装置１０６は撮影画像を保存するためのメディアである。外部記録装置１０６としては、例えば撮像装置に着脱自在なＳＤメモリカード（登録商標）、マルチメディアカード（登録商標）、ｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光磁気ディスクなど、種々の記録媒体を用いることできる。

【0046】

外部表示装置１０７は、撮影直後の画像や外部記憶装置１０６から読み出した画像などを表示できる。また、外部表示装置１０７は、カメラの動作モードやホワイトバランス、画像のピクセル数、感度などをマニュアル設定する際の各種のメニュー画面を表示させ、ユーザの操作に応じてマニュアル設定が可能なユーザ・インタフェイス用の画面を表示する。外部表示装置１０７としては、例えば液晶や有機ＥＬなどを用いることができる。

【0047】

次に、以上の構成のうち、本発明において特徴的な構成について、説明する。

【0048】

本実施例においては、ＦＰＧＡ１０２は内部回路によって積層型固体撮像素子１０１から送られてきた画像信号にローパスフィルタをかけるデジタルローパスフィルタ部１０２１と画像信号変換部１０２２を構成している。

【0049】

デジタルローパスフィルタ部１０２１は、ローパスフィルタの一種で、偽色として現れる画像信号の高周波成分を除くためのフィルタのことである。

【0050】

画像信号変換部１０２２は、デジタルローパスフィルタ部１０２１を通過してきた積層型の画像信号を変換してベイヤー型の画像信号にする。

【0051】

本発明において、静止画を撮影する場合を例にとって考える。

【0052】

本実施例のような構成において、積層型固体撮像素子１０１において検出された画像信号はＦＰＧＡ１０２へ送られる。このとき、ＦＰＧＡ１０２が画像信号処理中でない場合には、ＦＰＧＡ１０２は画像信号を受け取るとＦＰＧＡ１０２中のデジタルローパスフィルタ部１０２１にて画像信号にローパスフィルタを適用することで画像信号の高周波成分を除去し、画像信号変換部１０２２へ画像信号を送り出す。画像信号を受け取った画像信号変換部１０２２は、積層型の画像信号をベイヤー型の画像信号へと変換を行い、ＣＰＵ１０４へ画像信号を送り出す。画像信号を受け取ったＣＰＵ１０４はガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像信号処理を施す。

【0053】

次に、連続写真撮影を行うなどでＦＰＧＡ１０２が画像信号処理中である場合には、第一ＳＤＲＡＭ１０３に保存され、ＦＰＧＡ１０２の画像信号処理が終わり次第、画像信号をＦＰＧＡ１０２へ送り出し上記信号処理を行う。

【0054】

本発明において、動画を撮影する場合を例にとって考える。

【0055】

本実施例のような構成において、積層型固体撮像素子１０１において検出された画像信号はコマ毎にＦＰＧＡ１０２へ送られる。このとき、次のコマが送られてくるまでにＦＰＧＡ１０２が画像信号処理を終了するように、フレームレートと画質を調整しておく。そのため、ＦＰＧＡ１０２の画像信号処理が間に合わないために画像信号を一時的に第一ＳＤＲＡＭに保存する必要がなくなる。よって、常に積層型固体撮像素子１０１において検出された画像信号は直接ＦＰＧＡ１０２へと送られる。ＦＰＧＡ１０２はデジタルローパスフィルタ部１０２１にて送られてきた画像信号にローパスフィルタを適用することで画像信号の高周波成分を除去し、画像信号変換部１０２２へ画像信号を送り出す。ローパスフィルタについての詳細は後述する。

【0056】

画像信号を受け取った画像信号変換部１０２２は、積層型の画像信号を従来のベイヤー型の画像信号へと変換し、ＣＰＵ１０４へ画像信号を送り出す。画像信号を受け取ったＣＰＵ１０４は画像信号処理を施す。画像信号の変換方法についての詳細は後述する。

【0057】

本発明のデジタルローパスフィルタは、ガウシアンフィルタを画像信号に適用することにより、画像信号の高周波成分が除去される。なお、本発明では予め強度を変えたガウシアンフィルタを複数用意しておき偽色を抑制したい場合や解像感を残したい場合など要望に応じて適用するフィルタを変えるとしてもよい。

【0058】

本発明のデジタルローパスフィルタには、ガウシアンフィルタの他にも、平滑化フィルタ、エッジが保存されやすく輪郭がぼけにくいメディアンフィルタやイプシロンフィルタなど一般的に知られているフィルタを用いることも可能である。

【0059】

図２を用いて、画像信号の変換について説明する。

【0060】

積層型の画像信号は、ＦＰＧＡ１０２に送られて、デジタルローパスフィルタ部１０２１を通過した後、画像信号変換部１０２２へ送られる。送られてきた画像信号は図２（ａ）のように同一画素に各受光部の検出した夫々の色の画像信号が存在する。そこで、夫々の色の画像信号の中から一つの画像信号を間引き読出しすることを各画素について行う。その結果、図２（ｂ）のようなベイヤー型の画像信号へ変換することが可能となる。

【0061】

画像信号の変換方法を具体的に述べる。変換方法としては、各画素に夫々の色の画像信号が存在するが、奇数行奇数列は赤色（Ｒ）の信号を読出し、奇数行偶数列は緑色（Ｇ）の信号を読出し、偶数行奇数列は緑色（Ｇ）の信号を読出し、偶数行偶数列は青色（Ｂ）の信号を読出す。以上に示した読出し方を、すべての画素について行うことで、ベイヤー型の画像信号へと変換することができる。

【0062】

以上の実施例においては、各画素から読出すカラーパターンとして、最も一般的なベイヤーパターンを一例として示したが、このカラーパターンに限らない。

【0063】

次に、本発明を実施した撮像装置における、撮影時の画像データの処理方法の一例について、図３のフローチャートを用いて以下に述べる。

【0064】

撮影動作が行われると、撮影された画像信号が積層型固体撮像素子１０１より順に出力される。（ステップ♯１）

【0065】

積層型の画像信号は、ＦＰＧＡ１０２へと送られる。ステップ♯２では、ＦＰＧＡ１０２が画像信号処理中か否かの判定をする。判定の結果、ＦＰＧＡ１０２が画像信号処理中でなければ、画像信号はＦＰＧＡ１０２へ送られる（ステップ♯４）。ＦＰＧＡ１０２へ送られた画像信号はデジタルローパスフィルタ部１０２１にて高周波成分が除去され、通過した画像信号は、画像信号変換部１０２２へと送られ（ステップ♯６）、画像信号の変換が行われる。その後、画像信号は、ＣＰＵ１０４に送られ（ステップ♯７）、ガンマ補正、ＹＣｂＣｒ変換、ノイズ除去などの各種画像信号処理を施される（ステップ♯８）。画像信号処理を施された画像データは、第二ＳＤＲＡＭ１０５へ送られ、一時的に保存され（ステップ♯９）、最後に、第二ＳＤＲＡＭ１０５から読出されて、外部表示装置１０７にプレビュー画像として表示され、外部記憶装置１０６に撮影画像として保存される。（ステップ♯１０）

【0066】

ステップ♯２でＦＰＧＡ１０２が画像信号処理中であるか否かを判定した結果、ＦＰＧＡ１０２が画像信号処理中であった場合には、ステップ♯３へ進み、積層型固体撮像素子１０１から送られてきた画像信号を第一ＳＤＲＡＭ１０３にて一時的に保存しておく（ステップ♯３）。一定時間経過後、再度ＦＰＧＡ１０２が画像信号処理中であるか否かの判定を行い（ステップ♯２）、判定した結果、画像信号処理が終了しており、ＦＰＧＡ１０２が画像信号処理可能であった場合、保存してある第一ＳＤＲＡＭ１０３から画像信号をＦＰＧＡ１０２へ送り（ステップ♯４）、以後、同様に画像信号処理を行う。判定した結果、再度ＦＰＧＡ１０２が画像信号処理中であれば、ステップ♯３へ進み、以後、同様の手順となる。

【0067】

以上の手順で画像信号を処理することで、積層型の画像信号を変換してベイヤー型の画像信号を作成し、画像信号処理の際に発生する偽色を抑制した画像を保存することが可能となる。

【0068】

以上の実施例においては、レンズ交換式のデジタルカメラを用いたが、レンズ交換式でないデジタルカメラに本発明を用いても問題ない。

【0069】

次に、撮像素子の前に光学的ローパスフィルタを用いるのではなく、中間デバイスにデジタルローパスフィルタ部を構成し、画像信号に平滑化演算を行う理由を述べる。

【0070】

積層型固体撮像素子１０１から送られてきた画像信号を解像感を残した画像として保存したい場合、光学的ローパスフィルタを用いたのでは常に一定の強さのローパスフィルタが画像信号へ適用されてしまい解像感を残した画像を保存することができない。

【0071】

例えば、輪郭部分が少ないなど信号値の変化が小さな被写体を撮影する場合など、偽色の発生しにくい条件での撮影では、弱めのローパスフィルタを適用することで解像感を残した画像を残すといったことはできない。

【0072】

しかし、フィルタの強弱を変更することが可能であるデジタルローパスフィルタを用いることで、偽色を抑制したい場合には、強めのフィルタを適用したり、解像感がほしい場合には、フィルタを適用しないといった選択が可能となり、解像感と偽色の抑制のバランスを考慮した撮影が可能となる。

【0073】

よって、本発明ではデジタルローパスフィルタを用いることとする。

【0074】

次に、図４を用いて、積層型固体撮像素子１０１にて検出された画像信号の処理が、ローパスフィルタを適用した後に、間引き処理を行う理由について述べる。

【0075】

ベイヤー型の画像信号へ変換する前にローパスフィルタを適用する場合、ローパスフィルタを適用する画像信号は、積層型の画像信号である図４（ａ）の状態であり、真ん中の赤色（Ｒ）に注目すると、平滑化するのに用いる赤色（Ｒ）は、真ん中の赤色（Ｒ）から四方八方夫々に最も近い８個の赤色（Ｒ）とする。それらの赤色（Ｒ）は真ん中の赤色（Ｒ）から四方八方のどちらも等しく１Ｐｉｘｅｌ隣の位置にある。よって、それら全てを覆うローパスフィルタのサイズは３（Ｐｉｘｅｌ）×３（Ｐｉｘｅｌ）となる。これは、青色（Ｂ）、緑色（Ｇ）においても同じである。

【0076】

一方、ベイヤー型の画像信号へ変換した後にデジタルローパスフィルタを適用する場合、ローパスフィルタを適用する画像信号は、ベイヤー型の画像信号である図４（ｂ）の状態であり、先程と同様に真ん中の赤色（Ｒ）を平滑化するのに用いる赤色（Ｒ）は、真ん中の赤色（Ｒ）から四方八方夫々に最も近い８個の赤色（Ｒ）とする。それらの赤色（Ｒ）は、真ん中の赤色（Ｒ）から四方八方のどちらも等しく２Ｐｉｘｅｌ離れた位置にある。よって、それら全てを覆うローパスフィルタのサイズは５（Ｐｉｘｅｌ）×５（Ｐｉｘｅｌ）となる。これは、青色（Ｂ）においても同じである。

【0077】

緑色（Ｇ）の場合にも先程と同様に真ん中の緑色（Ｇ）を平滑化するのに用いる緑色（Ｇ）は、真ん中の緑色（Ｇ）から四方八方夫々に最も近い８個の緑色（Ｇ）とする。これら全てを覆うためのローパスフィルタのサイズは５（Ｐｉｘｅｌ）×５（Ｐｉｘｅｌ）となる。５（Ｐｉｘｅｌ）×５（Ｐｉｘｅｌ）のローパスフィルタには、１２個の緑色（Ｇ）が覆われているが、３（Ｐｉｘｅｌ）×３（Ｐｉｘｅｌ）では、斜め四方の４（Ｐｉｘｅｌ）しか含まれない。上下左右の４（Ｐｉｘｅｌ）が不足するためローパスフィルタのサイズは赤色（Ｒ）、青色（Ｂ）と同じサイズとなる。

【0078】

真ん中を平滑化するのに四方八方の８個の同色を用いたのは、ベイヤー型の画像信号へ変換する前にローパスフィルタを適用する場合とベイヤー型の画像信号へ変換した後にローパスフィルタを適用する場合を比較するために同じ条件にしたためである。本発明では、これに限定するものでないことは言うまでもない。

【0079】

画像信号変換部１０２２にて画像信号を変換する前にローパスフィルタを適用する場合のフィルタの最少のサイズは３（Ｐｉｘｅｌ）×３（Ｐｉｘｅｌ）であり、画像信号変換部１０２２にて画像信号を変換した後にローパスフィルタを適用する場合の最少のサイズは、５（Ｐｉｘｅｌ）×５（Ｐｉｘｅｌ）となる。

【0080】

フィルタのサイズは、平滑化する画素と平滑化に用いる同色の画素との距離に依存する。この距離が遠ければ遠いほど、平滑化する画素の色情報と平滑化に用いる画素の色情報との差が大きい可能性が高く、平滑化処理を行うことで本来の色情報とはかけ離れたものとなる可能性が高い。結果として最終画像での解像感の喪失や色にじみとして現れる。これらのことから、平滑化する画素と平滑化に用いる同色の画素との距離は近いことが望ましく、それらを覆うフィルタのサイズも小さいことが望ましい。

【0081】

よって、画像への影響が少ない小さなサイズのフィルタを用いることができるため、画像信号変換部１０２２にてベイヤー型の画像信号へ変換する前にローパスフィルタを適用することが望ましい。

【符号の説明】

【0082】

１００ 撮像装置
１０１ 撮像素子
１０２ ＦＰＧＡ
１０２１ デジタルローパスフィルタ部
１０２２ 画像信号変換部
１０３ 第一ＳＤＲＡＭ
１０４ ＣＰＵ
１０５ 第二ＳＤＲＡＭ
１０６ 外部記憶装置
１０７ 外部表示装置
２００ 光学系

【図1】

【図2】

【図3】

【図4】