特許 7123384 画像信号処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-15

(45)【発行日】2022-08-23

(54)【発明の名称】画像信号処理装置

(51)【国際特許分類】

   H04N 5/357 20110101AFI20220816BHJP

   H04N 5/369 20110101ALI20220816BHJP

【ＦＩ】

H04N5/357

H04N5/369

【請求項の数】 3

(21)【出願番号】P 2018145026

(22)【出願日】2018-08-01

(65)【公開番号】P2020022085

(43)【公開日】2020-02-06

【審査請求日】2021-06-17

(73)【特許権者】

【識別番号】000131326

【氏名又は名称】株式会社シグマ

(72)【発明者】

【氏名】小豆澤 政史

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１１－０１５１５７（ＪＰ，Ａ）

【文献】特開２０１６－１５６９３４（ＪＰ，Ａ）

【文献】特開２００８－２５８９０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３０－５／３７８

(57)【特許請求の範囲】

【請求項1】

光学系を通過した光束を画像信号に変換する光電変換部を１画素に複数有し、
さらに前記光学系の光束の経路上に構造物を有する撮像素子から得られる画像信号を処理する画像信号処理装置において、
前記画像信号について、注目画素の画像信号を周辺の画像信号に応じて均すフィルタ部と、
前記構造物と同じ位置関係にある前記画像信号毎に前記画像信号を抜き出す抜出部と、
前記抜出部が抜き出した前記画像信号面毎に、特定画素とその周辺画素との信号差から関連性を求め、前記関連性を比較して関連度を求める比較部と、
前記比較部の算出した前記関連度に応じて、前記フィルタ部の処理を適用された画像信号と前記光電変換部が変換した前記画像信号とを混合する混合部と、
を備えたことを特徴とする画像信号処理装置。

【請求項2】

前記フィルタ部は前記構造物によって構成されるパターンを抑制する強度のローパスフィルタまたはノイズリダクションであることを特徴とする請求項１に記載の画像信号処理装置。

【請求項3】

前記混合部は、前記比較部の出力結果を均すフィルタを有することを特徴とする請求項１又は請求項２に記載の画像信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、１画素に複数の光電変換部を備えた撮像素子において、光電変換部に入射する光に対する画像信号処理装置に関するものである。

【背景技術】

【0002】

一般的なデジタルカメラやデジタルビデオカメラには、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子が用いられる。これらの撮像素子は、複数の画素から構成される。複数の画素の内、単位画素は、主にマイクロレンズと光電変換部であるフォトダイオードと配線とからなり、光電変換部は複数の光電変換素子を有することもある。

【0003】

そこで、光電変換部が複数の光電変換素子を有する場合、単位画素では、マイクロレンズと各光電変換素子との間には幾何学的な位置関係の違いが生じる。

【0004】

図１は、撮像素子を切断した断面図である。図１にあるように、図１上側の被写体側に位置するマイクロレンズを通過した光が光電変換部に至るまでの光路には、右側の光電変換部と左側の光電変換部とでは、違いが発生する。具体的には、右側の光電変換部と左側の光電変換部とでは、配線層との位置関係が変わる。そのため、入射角を有する斜光線の場合、光束の一部が配線層に遮蔽されて、光電変換部へと至らないことがある。

【0005】

光電変換部は、届いた光のみを画像信号へ変換するので、配線層に遮蔽された一部の光束は、画像信号へ変換されない。つまり、近辺に位置する同色の光電変換部において、マイクロレンズを通過したすべての光が遮蔽されることなく光電変換部に届いたものと配線層にて遮蔽されることで一部の光束が届かなかった光電変換部とでは、変換後の画像信号に差が生じる。

【0006】

その結果、近辺に位置する同色の光電変換部のうち、配線層にて遮蔽されて一部の光束が届かなかった光電変換部が変換した画像信号が減ってしまい、同色の隣接する画像信号との信号差として現れる。また、配線層に遮断される光束の量は、光電変換部へ入射する光の入射角度によっても変化するので、同色の隣接画素との信号差（比）は一定にはならない。この信号差を処理せずに画像にすると、エッジとして認識されるためノイズとして処理されず、ノイズとして現れる。

【0007】

特許文献１は、単板式の撮像素子にカラーフィルタをベイヤー配列に配置した撮像装置を用いている。この撮像素子は、微細画素化に伴って画素構造の微小な違いによって、画素毎の感度が変わるという課題を有する。さらには、この課題を有するため、そのままデモザイク処理を行うと輝度変化の少ない平坦部をエッジであると誤判定してしまうという課題を有する。これらの課題に対応する方法として、特許文献１は、画素に補正項を用いることで対処する方法を開示している。

【先行技術文献】

【特許文献】

【0008】

【文献】特許５６７２７７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１にて開示されている画像処理装置は、画素の補正に用いる補正項を周囲の画素値の距離に応じた重み付けで補正加算値を求めているため、平均的な差分データが求まる。従って、周囲に特性の異なる細部情報が含まれている場合に、補正加算値が正しく求められないために、細部情報が消えてしまったり、誤った補正加算値が加算されて細部情報が別物になってしまうという場合があるという課題を有する。

【0010】

本発明はこのような状況に鑑みてなされたものであり、配線層など撮像素子の構造によって光束の一部が遮蔽された光が入射する光電変換素子が変換した画像信号による信号差をノイズとして判別し、ノイズ成分を削減するための画像信号処理装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記課題を解決するための手段である第１の発明は、光学系を通過した光束を画像信号に変換する光電変換部を１画素に複数有し、さらに前記光学系の光束の経路上に構造物を有する撮像素子から得られる画像信号を処理する画像信号処理装置において、前記画像信号について、注目画素の画像信号を周辺の画像信号に応じて均すフィルタ部と、前記構造物と同じ位置関係にある前記画像信号毎に前記画像信号を抜き出す抜出部と、前記抜出部が抜き出した前記画像信号面毎に、特定画素とその周辺画素との信号差から関連性を求め、前記関連性を比較して関連度を求める比較部と、前記比較部の算出した前記関連度に応じて、前記フィルタ部の処理を適用された画像信号と前記光電変換部が変換した前記画像信号とを混合する混合部と、を備えたことを特徴とする画像信号処理装置。

【0012】

また、上述の課題を解決するための手段である第２の発明は、第１の発明に記載の画像信号処理方法であって、前記フィルタ部は前記構造物によって構成されるパターンを抑制する強度のローパスフィルタまたはノイズリダクションであることを特徴とする画像信号処理装置。

【0013】

また、上述の課題を解決するための手段である第３の発明は、第１の発明又は第２の発明に記載の画像信号処理方法であって、前記混合部は、前記比較部の出力結果を均すフィルタを有することを特徴とする画像信号処理装置。

【発明の効果】

【0014】

本発明によれば、配線層など撮像素子の構造によって光束の一部が遮蔽された光が入射する光電変換素子が変換した画像信号による信号差をノイズとして判別し、ノイズ成分を削減するための画像信号処理装置を提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施例に係る固体撮像素子の断面図

【図2】本発明の実施例に係る固体撮像装置の構成を示すブロック図

【図3】本発明の実施例に係るノイズリダクションを行う際のフローチャート

【図4】本発明の実施例に係る光電変換部の変換した画像信号を抜き出す概念図

【図5】本発明の実施例に係る各信号処理を適用した画像信号

【図6】本発明の実施例とは異なる固体撮像素子の断面図

【発明を実施するための形態】

【0016】

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

【0017】

本実施例において、１０は撮像装置、１００はレンズ鏡筒、１０１は固体撮像素子、１０２はＣＰＵ、１０１１はマイクロレンズ、１０１２は光電変換部、１０１３は配線層、１０２１はフィルタ部、１０２２は抜出部、１０２３は比較部、１０２４は混合部とする。

【0018】

図１は、本実施例の固体撮像素子１０１の断面図である。尚、図１は、本発明の説明を簡単にするために簡略化されている。また、図１は、上側が被写体側、下側が像面側となる。

【0019】

本願実施例にて用いる固体撮像素子１０１は、１つのマイクロレンズ１０１１の下に、被写体側から見るとマイクロレンズ１０１１に４つの光電変換部１０１２が配置されている。図１は、マイクロレンズ１０１１を２つの光電変換部１０１２が含まれる位置にて割った断面図である。

【0020】

前述したこの固体撮像素子１０１に、図１に示すような光線（ａ）と（ｂ）の入射を検討する。光線（ａ）の場合、右（図中、Ｒ）と左（図中、Ｌ）のそれぞれの光電変換部１０１２への入射する光束に違いは生じない。しかし、光線（ｂ）のように光電変換部１０１２から垂直な線に対して角度を有する光線の場合、右の光電変換部１０１２Ｒと左の光電変換部１０１２Ｌへの入射する光束に差が生じる。なぜなら、光線（ｂ）のように左側から入射する光線の場合、配線層１０１３と光電変換部１０１２の位置関係が問題となる。左側に配線層１０１３が位置する光電変換部１０１２Ｌでは、光線が配線層１０１３によって遮られてしまう。一方、右側に配線層１０１３が位置する光電変換部１０１２Ｒでは、問題なく光線が届く。光線が配線層１０１３によって遮られる光電変換部１０１２Ｌによって画像信号に変換された画像信号は、本来の画像信号とは異なったものとなる。

【0021】

次に、図２は、本実施例の固体撮像装置の構成を示す構成図である。

【0022】

レンズ鏡筒１００は、撮像装置１０に脱着可能であり、レンズ鏡筒１００のマウント部とカメラ本体のマウント部とがバヨネット機構などにより接続される。尚、カメラ本体に固定式の物でも構わない。

【0023】

固体撮像素子１０１は、マイクロレンズ１０１１と光電変換部１０１２と配線層１０１３などを含む。

【0024】

マイクロレンズ１０１１は、レンズ鏡筒１００に入射した光束を各光電変換部１０１２が受光に適するように集光するレンズである。

【0025】

光電変換部１０１２は、マイクロレンズ１０１１を通過した光束を画像信号に変換する。

【0026】

尚、本願実施例は、１画素に４つの光電変換部１０１２を有する固体撮像素子１０１を用いる。

【0027】

配線部１０１３は、光電変換部１０１２にて変換された画像信号を各光電変換部１０１２からＣＰＵ１０２など各部へ転送する。

【0028】

ＣＰＵ１０２は、光電変換部１０１２が変換し配線層１０１３を通じて転送されてきた画像信号に各々の処理を行う。

【0029】

フィルタ部１０２１は、光電変換部１０１２が変換し、配線層１０１３を通じて転送された画像信号にローパスフィルタを適用する。ローパスフィルタを適用した画像信号は、混合部１０２４へ送る。尚、特定の画像信号を周辺の画像信号に応じて均すのであれば、ノイズリダクションなどでも問題ない。

【0030】

抜出部１０２２は、光電変換部１０１２が変換し、配線層１０１３を通じて転送された画像信号から、配線層１０１３との位置関係が同じ光電変換部１０１２が変換した画像信号別に画像信号を整理する。

【0031】

比較部１０２３は、抜出部１０２２から抜き出した画像信号毎に、注目する画素とその周辺の画素とを比較して、注目する画素に対する周囲との関連性を求め、抜き出した画素毎の関連性を基に関連度を求める。具体的な比較方法は後述する。

【0032】

混合部１０２４は、比較部１０２３で求めた関連度に基づいて、光電変換部１０１２が変換した画像信号とフィルタ部１０２１にてローパスフィルタを適用した画像信号とを混合する。

【0033】

次に、本発明における画像信号処理方法について、図３のフローチャートを用いて実施例を説明する。

【0034】

ステップ＃１では、図１に示すようにレンズ鏡筒１を通過した光束は、固体撮像素子１０１へ届き、マイクロレンズ１０１１にて光電変換部１０１２へ導かれた後、画像信号へ変換される。

【0035】

ステップ＃２では、光電変換部１０１２にて光束から変換された画像信号は配線部１０１３を通じて、フィルタ部１０２１へ転送される。転送された画像信号は、ローパスフィルタを適用される。ローパスフィルタの適用された画像信号は、不図示のメモリ部へ一時的に保存する。

【0036】

ステップ＃３では、抜出部１０２２が光電変換部１０１２から配線部１０１３を通じて転送された画像信号から、光電変換部１０１２とその周辺の構造とが同じ画像信号とで抜き出し、整理する。具体的な整理方法については、後述する。

【0037】

ステップ＃４では、ステップ＃３にて抜出部１０２２が抜き出して、整理した画像信号について、比較部１０２３がそれぞれを比較する。具体的な比較方法については、後述する。

【0038】

ステップ＃５では、ステップ＃４にて比較部１０２３が求めた関連度に基づいて、光電変換部１０１２が変換した画像信号とステップ＃２にて不図示のメモリ部に保存していたフィルタ部１０２１にてローパスフィルタを適用した画像信号を混合する。

【0039】

次に、図４を用いて、ステップ＃３の抜出部１０２２の抜き出し方法とその後の画像信号の整理方法を説明する。

【0040】

図４は、光電変換部１０１２が変換した画像信号の概念図である。具体的には、図４（ａ）は、レンズ鏡筒１００を通過した光束が固体撮像素子１０１へ届き、各光電変換部１０１２にて変換された画像信号を表し、図４（ｂ）は、抜出部１０２２によって抜き出された後の画像信号である。

【0041】

図４（ａ）の光電変換部１０１２は、図中の１マス１マスである。マス周辺の枠は、構造物であり、光電変換部１０１２にて変換された画像信号を各種画像信号処理を行うためにＣＰＵ１０２へ転送するための配線層１０１３を表す。

【0042】

ここで、図４（ａ）において、本願実施例は、１画素に４つの光電変換部１０１２を有する固体撮像素子１０１を用いている。さらに、１画素周辺に配線層が巡らされている。光電変換部１０１２毎に“ＬＵ”や“ＲＤ”といった文字が入っている。これは、各光電変換部１０１２と配線層１０１３との位置関係を示している。上側と左側に配線層が位置する光電変換部１０１２には、ＬＵと表示し、下側と右側に配線層が位置する光電変換部１０１２には、ＲＤと表示する。同様に、下側と左側に配線層が位置する光電変換部１０１２には、ＬＤと表示し、上側と右側に配線層が位置する光電変換部１０１２には、ＲＵと表示する。

【0043】

どの画素も同様に各画素周りに配線層1０１３が位置する。

【0044】

この場合、１画素における光電変換部１０１２は、画素内での配置が同じであれば、配線層１０１３との位置関係も同じになる。従って、図４（ａ）の光電変換部１０１２の上記で説明した文字が同じであれば、各画素内での配線層１０１３との配置も同じとなる。

【0045】

次に図４（ｂ）について説明する。

【0046】

図４（ｂ）では、ステップ＃１にて、図４（ａ）に示すように各光電変換部１０１２が画像信号へ変換する。その後、画像信号を配線層１０１３との位置関係が同じ光電変換部１０１２毎に画像信号を抜き出したものである。光電変換部１０１２に対して、配線層１０１３が同じ位置関係にある光電変換部１０１２を集める（以下、フレームと呼ぶ）。本願実施例では、１画素に４つの光電変換部１０１２を備える固体撮像素子を用いているので、フレームはＬＵ・ＬＤ・ＲＵ・ＲＤの４パターンに分けられる。

【0047】

ステップ＃４について説明する。

【0048】

ステップ＃３にて、各光電変換部１０１２が光から変換した画像信号である図４（ａ）から抜出部１０２２が画像信号を抜き出し、整理した画像信号である図４（ｂ）の状態から注目画素を決定し、比較部１０２３が注目画素について周囲の画素と比較する。

【0049】

具体的には、図４（ａ）の左から２番目で上から２番目に位置する図中の着色された画素を注目画素として、以下に比較部１０２３の比較方法を説明する。始めに注目画素のＬＵに着目し、ＬＵを抜き出した図４（ｂ）の状態であるＬＵのフレーム内において、上方向に位置する画素のＬＵとの差を算出する。次に、注目画素と下方向に位置する画素のＬＵとの差を算出する。さらに、注目画素のそれぞれ左方向と右方向に位置する画素のＬＵとも同様に注目画素のＬＵとの差を算出する。その結果、注目画素と各方向に位置する画素との信号差を比較し、最も注目画素のＬＵと周辺画素のＬＵとの差が大きかった方向をＥａとする。

【0050】

次に、注目画素のＲＵに着目する。ＲＵを抜き出した図４（ｂ）の状態であるＲＵのフレーム内において、先ほどのＬＵと同様に、注目画素のＲＵと上方向に位置する画素のＲＵとの差を算出し、次に、注目画素と下方向に位置する画素のＲＵとの差を算出する。以後、同様に注目画素の左方向と右方向に位置する画素とＲＵ同士の差を算出し、最も注目画素のＲＵと周辺画素との差が大きかった方向をＥｂとする。

【0051】

注目画素のＬＤとＲＤも同様に上方向・下方向・左方向・右方向との差を算出し、最も注目画素と周辺画素との差が大きかった方向をそれぞれＥｃとＥｄとする。

【0052】

各フレームについて、求めた注目画素と周辺画素との差が大きかった方向であるＥａ～Ｅｄは、関連性となる。これらＥａ～Ｅｄの関連性を基にして、一致度である関連度を求める。

【0053】

上記説明した注目画素と周辺画素との関連性を求めることを注目画素を変えながら、比較部１０２３は、固体撮像素子のすべての画素について、行う。

【0054】

また、本実施例では、注目画素と周辺画素との比較を注目画素の上下左右の４方向を周辺画素として比較を行ったが、注目画素の斜め方向（図４（ｂ）の着色してある注目画素に対して、右斜め上・右斜め下・左斜め上・左斜め下）についての比較を行ってもよい。

【0055】

注目画素の斜め方向についての比較を行うことによる利点は後述する。

【0056】

また、本実施例では、注目画素と周辺画素との信号差を比較した結果、関連性として注目画素と周辺画素との差が最も大きかった方向のみをＥａ、Ｅｂ・・・としたが、方向だけでなく信号値の差である信号差も含めて保存することとしても問題ない。信号差の具体的な用い方は、後程説明する。

【0057】

以下に、ステップ＃５について説明する。

【0058】

ステップ＃５では、ステップ＃４にて比較部１０２３で求めた関連性を基にして定まった関連度に基づき、光電変換部１０１２が生成した画像信号とステップ＃２にてフィルタ部１０２１のローパスフィルタを適用した画像信号とを混合部１０２４にて混合する。

【0059】

具体的には、本実施例のステップ＃５は、ステップ＃４で求められた関連度が高かった場合、つまりＥａ＝Ｅｂ＝Ｅｃ＝Ｅｄとなった場合、ステップ＃２でローパスフィルタを適用した画像信号と光電変換部１０１２によって変換された画像信号の比率は、１００：０で混合した画像信号とする。つまり、関連度が高かった場合に、ローパスフィルタを適用した画像信号を適用する。

【0060】

ここで、関連度が高い場合に、ローパスフィルタを適用した画像信号へ置き換える理由を説明する。光電変換部１０１２によって変換された画像信号で、注目画素と周辺画素とを比較した場合に最も差が大きくなる方向が一致する場合、グラデーションである可能性が極めて高い。従って、平滑化するため本実施例ではローパスフィルタを適用した画像信号へと置き換える。

【0061】

また、関連度が低かった場合、つまりＥａ＝Ｅｂ＝Ｅｃ＝Ｅｄで無かった場合、ステップ＃２でローパスフィルタを適用した画像信号と光電変換部１０１２によって変換された画像信号の比率は、０：１００で混合した画像信号とする。つまり、関連度が低かった場合に、光電変換部１０１２によって変換された画像信号を適用する。

【0062】

なぜなら、関連度が低い場合、光電変換部１０１２によって変換された画像信号は、エッジが異なる方向にあると判断出来るため細部情報である可能性が高い。そのため、平滑化するためのローパスフィルタを適用せず、そのままの画像信号とする。

【0063】

更には、ステップ＃４にて、斜め方向についての比較を行った場合、エッジの方向がより正確に分かることから、細部情報とノイズの判別をより精度よく判別することが可能となる。

【0064】

また、ステップ＃４において求めた信号の差を用いることで、全ての方向の信号差が大きい場合、当該注目画素はエッジである可能性が高い。従って、ステップ＃５にてフィルタ部１０２１のローパスフィルタを適用した画像信号と光電変換部１０１２が変換した画像信号との混合時にローパスフィルタを適用した画像信号の割合を少なくする。全ての方向の信号差が極端に小さい場合、該当注目画素は平面の可能性が高い。従って、ステップ＃５にてフィルタ部１０２１にてローパスフィルタを適用した画像信号と光電変換部１０１２が変換した画像信号との混合時にローパスフィルタを適用した画像信号の割合を多めにする。また、各方向の信号差にバラつきがある場合、エッジが正しく認識できていない可能性があるので、ローパスフィルタを適用した画像信号の割合を少なくするといったことをしてもよい。

【0065】

尚、本願実施例では、混合部１０２４の比率を０と１００とどちらかの画像信号を採用する比率を用いたが、適宜変更してもよいことは言うまでもない。

【0066】

また、本願実施例では、１画素に４つの光電変換部１０１２を有する固体撮像素子を用いているので、各注目画素と周辺画素との差はＥａ～Ｅｄまで４つ求まる。前述した実施例では、Ｅａ～Ｅｄまですべてが揃った場合とそうでない場合で混合部１０２４での比率を変えていた。しかし、Ｅａ～Ｅｄの４つのうち３つの方向が揃った場合には、ローパスフィルタを適用した画像信号と光電変換部１０１２によって変換された画像信号の比率を７５：２５で混合した画像信号とし、２つの方向が揃った場合には、同様に５０：５０で混合した画像信号とするとしてもよい。このように１画素の有する各光電変換部１０１２の注目画素と周辺画素との差の関連度に応じて混合比を変更するようにしてもよい。

【0067】

さらに、ステップ＃４にて求めた関連度について、ローパスフィルタを適用してもよい。各画素の混合比にローパスフィルタを適用することによってフィルタ部１０２１によってローパスフィルタを適用した画像信号と光電変換部１０１２によって変換された画像信号の混合比は緩やかになることで画像信号の急激な変換を回避する。

【0068】

ローパスフィルタを用いて画像信号の混合比が緩やかになることで、解像感を残しつつノイズも消された画像となる。なぜなら、隣り合う画素について、フィルタ部１０２１によってローパスフィルタを適用した画像信号と光電変換部１０１２によって変換された画像信号の混合比が、１００と０を繰り返した場合、最終的な画像には、ノイズに似たアーティファクトとして出現するため、好ましくない

【0069】

更には、比較部１０２３にソーベルフィルタやプレヴィットフィルタを内蔵して、各フレームの画像信号に対してフィルタを適用することで、各フレームにおけるエッジの方向や強度を検出を行い、各フレームについてそれぞれエッジの方向と強度を検出し、方向及びエッジ強度に基づいて関連度を計算することも可能である。

【0070】

関連度に基づいて、これまで説明したようにフィルタ部１０２１によってローパスフィルタを適用した画像信号と光電変換部１０１２によって変換された画像信号を混合して、各画素の画像信号とする。

【0071】

また、混合部１０２４が混合に用いるためにフィルタ部１０２１で用いられたローパスフィルタは、光電変換部１０１２によって変換された画像信号に構造物要因で発生する特性を緩やかにするためのフィルタである。従って、特定の画素の信号値を周辺の画素の信号値を用いることで均すことが目的であるので、ローパスフィルタ以外にもノイズリダクションなどを用いても問題ない。

【0072】

図５の各図を説明する。図５－１と図５－２の図は、それぞれ別の箇所の画像信号であり、図５－１はグラデーション部でありノイズを低減するべき部分であり、図５－２は構造を多く持ち解像感を維持するべき被写体の例となる。尚、処理方法に対する説明は両方の図で共通する。図５（ａ）は、光電変換部１０１２が変換した画像信号を示す。図５（ｂ）は、フィルタ部１０２１にてローパスフィルタを適用した画像信号を示す。図５（ｃ）は、ステップ＃４の比較結果を示す。図５（ｄ）は、ステップ＃４の比較結果を基に光電変換部１０１２が変換した画像信号図５（ａ）とフィルタ部１０２１にてローパスフィルタを適用した画像信号図５（ｂ）とを混合部１０２４にて混合した画像信号を示す。図５（ｅ）は、光電変換部１０１２が変換した画像信号にフィルタ部１０２１とは異なり、出力画像の解像感に合うように調整したローパスフィルタを適用した画像信号となる。

【0073】

図５－１（ｂ）はノイズが少ないが図５－２（ｂ）では解像感が無い。一方、図５－２（ｅ）は解像感があるが、図５－１（ｅ）ではノイズが多くなっている。それに対し、図５－１（ｄ）はノイズが低減され、かつ図５－２（ｄ）では解像感が残っている。

【0074】

図５（ｃ）のステップ＃４の比較結果は、白色になっている画素は、関連度が高いと判断された部分、すなわち各フレームで注目画素と周辺画素の差が大きい方向が揃った場合となり、ローパスフィルタを適用した画像信号を用いる。また、黒色となっている画素は、関連度が低いと判断された部分、すなわち各フレームで注目画素と周辺画素の差が大きい方向が揃わなかった場合となり、光電変換部１０１２が変換した画像信号を用いる。その結果、図５（ｄ）の画像となる。

【0075】

本願発明のように画像信号を混合することで、出力画像である図５（ｄ）は、光電変換部１０１２が変換した画像信号にローパスフィルタを適用した画像信号である図５（ｅ）と同等の解像感を維持しつつ、ノイズが少ない画像とすることが可能となる。なぜなら、本願実施例にて説明したように、本願発明は、ステップ＃３にて抜き出した画像信号をステップ＃４にてフレーム毎に注目画素と周辺画素とを比較することで、注目画素と周辺画素との関連度に応じて、ステップ＃５での画像信号の混合を変更する。この時、関連度が高い場合、注目画素は、グラデーションである可能性が高い。従って、関連度が高い箇所の画像信号をローパスフィルタを適用した画像信号へと置き換える。また、関連度が低い場合、注目画素は、細部情報を持っていることが多いので、光電変換部１０１２が変換した画像信号を残すことが可能となる。その結果、ノイズを減らしながら解像感を維持した画像となる。

【0076】

グラデーションの場合、入射光束の変化は一定であるが、光電変換部１０１２が変換する光束が構造物の違いの影響を受ける。この場合、隣り合う構造物が異なる場合には光電変換部１０１２が変換する画号信号に差が生じてしまうためにグラデーションの関係性が崩れてしまう。一方で、同じ構造物を持つ光電変換部１０１２同士では同一の特性が得られるためにグラデーションの関係性が維持される。図５－１は、グラデーション部分を持つ被写体であるが、ステップ＃３で抜き出した画像信号から、ステップ＃４で関連性を求める事で関係性の一致する部分をグラデーション部として選択して、ステップ＃５でグラデーション部にローパスフィルタを適用した画像となる。このため、図５－１（ｄ）のノイズ量は図５－２（ｂ）に近くなる。

【0077】

方向の異なる細部情報が多い場合、入射光束は一定にならないため、光電変換部１０１２が変換する光束がどの程度構造物の影響を受けるか分からない。細かい被写体物があった場合、この部分を均してしまうと、被写体物の情報を失う事となってしまう。図５－２は、多くの細部情報を持つ被写体であるが、ステップ＃３で抜き出した画像信号から、ステップ＃４で関連性を求める事で関係性の一致しない部分を細部情報部として選択して、ステップ＃５で細部情報部にローパスフィルタを適用しない様にした画像となる。このため、図５－２（ｄ）の解像感は図５－２（ｅ）に近くなる。

【0078】

また、本願実施例の固体撮像素子１０１は、１画素に４つの光電変換部を有する固体撮像素子１０１３を使用していた。しかし、１画素に光電変換部を２つしか有しないような固体撮像素子を用いることも可能である。その場合、配線層１０１３次第であるが、本明細書に記載の実施例と同様に１画素の周りに配線層１０１３を配置すると、配線層１０１３に対する位置関係は、右側と左側の光電変換部１０１２で異なる。そうすると、ステップ＃３にて光電変換部１０１２とその周辺の構造とが同じ画像信号で抜出部１０２２が画像信号を抜き出すと、２パターンの画像信号となる。

【0079】

１画素に光電変換部１０１２を２つ有する固体撮像素子１０１を用いる場合、ステップ＃４は、２つのフレームにおいて、注目画素と周辺画素との比較を行う。ステップ＃５では、ステップ＃４の結果は、各フレームの注目画素と周辺画素との差が最も大きかった方向が一致した場合と一致しなかった場合の２パターンとなるので、一致した場合は、ローパスフィルタを適用した画像信号に置き換え、一致しなかった場合は、光電変換部１０１２の変換した画像信号とする。

【0080】

また、本願実施例では、１画素に１つのマイクロレンズ１０１１が配置され、その中に複数の光電変換部１０１２を有する固体撮像素子１０１を用いて説明してきた。しかし、図６に示すように、１つのマイクロレンズ１０１１に１つの光電変換部１０１２を有する固体撮像素子１０１であっても本願発明を適用することが可能である。この場合、隣り合う左側Ｌと右側Ｒの光電変換部１０１２は、配線層１０１３との位置関係から、入射する光線に差が生じる。これは、前述した１つのマイクロレンズ１０１１に２つの光電変換部１０１２を有する場合と同様の問題と捉えられる。

【0081】

本願発明は、光電変換部１０１２と配線層１０１３の位置関係が繰り返しとなる１つのユニットを１画素とする。従って、１画素に複数のマイクロレンズ１０１１が含まれることもある。例えば、図１と図４であれば１画素に１つのマイクロレンズ１０１１と４つの光電変換部１０１２が含まれ、図６であれば１画素に２つのマイクロレンズ１０１１と２つの光電変換部１０１２が含まれることとなる。

【符号の説明】

【0082】

１０ 撮像装置
１００ レンズ鏡筒
１０１ 固体撮像素子
１０１１ マイクロレンズ
１０１２ 光電変換部
１０１３ 配線層
１０２ ＣＰＵ
１０２１ フィルタ部
１０２２ 抜出部
１０２３ 比較部
１０２４ 混合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】