特開 2018-195961 画像処理信号方法、画像信号処理装置、撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-195961(P2018-195961A)

(43)【公開日】2018年12月6日

(54)【発明の名称】画像処理信号方法、画像信号処理装置、撮像装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20181109BHJP

   H04N 5/225 20060101ALI20181109BHJP

   H04N 5/232 20060101ALI20181109BHJP

   H04N 5/341 20110101ALI20181109BHJP

   H04N 5/369 20110101ALI20181109BHJP

【ＦＩ】

   H04N9/07 A

   H04N5/225 300

   H04N5/232 290

   H04N5/341

   H04N5/369

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】15

(21)【出願番号】特願2017-97826(P2017-97826)

(22)【出願日】2017年5月17日

(71)【出願人】

【識別番号】000131326

【氏名又は名称】株式会社シグマ

(72)【発明者】

【氏名】山崎 滋巳

【テーマコード（参考）】

5C024

5C065

5C122

【Ｆターム（参考）】

5C024AX01

5C024CX11

5C024DX01

5C024GX07

5C024GY01

5C024GY31

5C024HX28

5C024HX51

5C065BB19

5C065BB30

5C065CC01

5C065DD02

5C065DD15

5C065DD17

5C065GG13

5C065GG17

5C122DA03

5C122DA04

5C122EA12

5C122EA37

5C122EA68

5C122FC01

5C122FC02

5C122FC06

5C122FG06

5C122HA42

5C122HA88

5C122HB01

(57)【要約】

【課題】積層型の画像信号を用いながら、画像信号のデータ量を削減することで画像信号の読み出しに要する時間を削減しつつ、偽色の発生も抑制する画像信号処理方法と撮像装置を提供することができる。
【解決手段】１画素に３層以上の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理方法において、前記積層型固体撮像素子の画素毎に、２層の画像信号を読み出す画像信号読出部と、当該画素に積層された光電変換層の検出した３層以上の画像信号と前記画像信号読出部の読み出した２層の読出画像信号との差分の層の画像信号を推定する画像信号推定部と、を有し、前記画像信号推定部にて推定する推定画像信号は、前記画像信号読出部により読み出された前記２層の読出画像信号を用いて推定され、
前記画像信号読出部により読み出された前記２層の読出画像信号は、２組以上の前記光電変換層の組み合わせであることを特徴とする画像信号処理方法。
【選択図】図１

【特許請求の範囲】

【請求項1】

１画素に３層以上の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理方法において、
前記積層型固体撮像素子の画素毎に、２層の画像信号を読み出す画像信号読出部と、
当該画素に積層された光電変換層の検出した３層以上の画像信号と前記画像信号読出部の読み出した２層の読出画像信号との差分の層の画像信号を推定する画像信号推定部と、
を有し、
前記画像信号推定部にて推定する推定画像信号は、前記画像信号読出部により読み出された前記２層の読出画像信号を用いて推定され、
前記画像信号読出部により読み出された前記２層の画像信号は、２組以上の前記光電変換層の組み合わせがあることを特徴とする画像信号処理方法。

【請求項2】

前記積層型固体撮像素子は３層の光電変換層からなり、各光電変換層の検出する色は赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）であることを特徴とする請求項１に記載の画像信号処理方法。

【請求項3】

前記画像信号読出部に読み出した前記２層の読出画像信号のうち、１層の画像信号は緑色（Ｇ）の画像信号であることを特徴とする請求項１又は請求項２に記載の画像信号処理方法。

【請求項4】

前記推定画像信号は、
前記当該画素の周辺画素から前記画像信号読出部に読み出された前記２層の読出画像信号のうち、
前記推定画像信号と同色の画像信号を用いて推定されることを特徴とする請求項１乃至請求項３のいずれかに記載の画像信号処理方法。

【請求項5】

前記推定画像信号は、
前記当該画素の周辺画素より
前記当該画素から前記画像信号読出部の読み出した前記２層の読出画像信号の一方と同色の画像信号と
前記推定画像信号と同色の画像信号との
２層の画像信号の色差を画素毎に算出し、
前記色差の平均値を前記当該画素から読み出した前記２層の読出画像信号の一方と同色の画像信号に加算することで、
前記画像信号推定部は、
前記当該画素に積層された前記光電変換層が検出したが前記画像信号読出部が読み出さなかった画像信号を推定することを特徴とする請求項１乃至請求項３のいずれかに記載の画像信号処理方法。

【請求項6】

前記推定画像信号は、
前記当該画素の周辺画素より
前記当該画素から前記画像信号読出部の読み出した前記２層の読出画像信号の一方と同色の画像信号と
前記推定画像信号と同色の画像信号との
２層の画像信号の色比を画素毎に算出し、
前記色比の平均値を前記当該画素から読み出した前記２層の読出画像信号の一方に積算することで、
前記画像信号推定部は、
前記当該画素に積層された前記光電変換層が検出したが前記画像信号読出部が読み出さなかった画像信号を推定することを特徴とする請求項１乃至請求項３のいずれかに記載の画像信号処理方法。

【請求項7】

請求項１乃至請求項６のいずれかに記載の画像信号処理方法を備えたことを特徴とする撮像装置。

【請求項8】

１画素に３層以上の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理装置において、
前記積層型固体撮像素子の画素毎に、２層の画像信号を読み出す画像信号読出部と、
前記画像信号読出部において読み出された前記２層の読出画像信号をベイヤー型の画像信号へ画像信号並べ替えを行う画像信号並べ替え部と、
を有し、
前記画像信号読出部により読み出された前記２層の画像信号は、２組以上の組み合わせがあることを特徴とする画像信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の受光部を有する光電変換層を複数層使用し、これら光電変換層の各受光部から各々読み出した画像信号を処理する画像信号処理方法、画像信号処理装置及び撮像装置に関する。

【背景技術】

【0002】

昨今、高品位の動画や画像の記録の要求が高まっている。つまり、解像感を残しながら偽色の発生を抑制した画像の記録が必要となる。

【0003】

そこで、解像感を残しながら偽色を抑制した画像信号処理と撮像装置に関する発明が特許文献１、特許文献２によって開示されている。

【0004】

特許文献１は、赤色（Ｒ）を検出する光電変換層と、緑色（Ｇ）を検出する光電変換層と、青色（Ｂ）を検出する光電変換層とを３層積層することで、同一画素にて、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの色信号を同時に検出することが出来る積層型固体撮像素子が開示されている。

【0005】

特許文献２は、ベイヤー配列のカラーフィルタを有する撮像素子を介して出力されたＲ（赤色）、Ｇｒ（画素配列の一方向において前記Ｒの隣に位置する緑）、Ｇｂ（前記一方向においてＢの隣に位置する緑）、Ｂ（青色）を一単位としＲ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成し、ＧｒとＧｂの画像信号の和からＲの画像信号とＢの画像信号を減算して第一色差を生成すると共に、Ｒの画像信号とＢの画像信号との差を算出して第二色差を生成し、輝度値、第一色差及び第二色差のそれぞれ毎に偽色抑制を行い、偽色抑制された第一色差、第二色差を所定の色空間に変換して色情報を生成することにより、解像度を損なうことなく、効果的に偽色を抑制でき、高品位なカラー画像を生成できる発明が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許第５９６５８７５公報

【0007】

【特許文献2】特開２００９−２１９６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

撮像素子から読み出すデータ量が増えると読み出しに係る時間が延びる。その結果、増えたデータを処理するのに要するために消費電力の増加やローリングシャッタ現象などの課題が生じる。また、高品位の動画や画像を記録しようとすると、データ量が大きくなる。その結果、同様に撮像素子から読み出しに係る時間が延び、消費電力も増大し、ローリングシャッタ現象が発生するなどの課題を有する。

【0009】

特許文献１に記載された発明は、同一画素で、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つの色信号を同時に検出することができる。従って、解像感の低下がない。ベイヤー型固体撮像素子のようにカラーフィルタに対応した色の受光部のみ光を検出し、他の色を補間演算するということがないので、偽色の発生がない。つまり、偽色の発生がなく解像感を残した画像を得られる。一方、特許文献１に記載の積層型固体撮像素子は、１画素で３色を検出することが出来るため、画素数が同じ撮像素子の場合、積層型固体撮像素子の検出する画像信号（以下、積層型の画像信号）はベイヤー型固体撮像素子の検出する画像信号（以下、ベイヤー型の画像信号）よりも情報量が多くなる。よって、画像信号の読み出しに時間がかかる時間が増加してしまうという課題を有する。

【0010】

また、特許文献２に記載の発明は、ベイヤー型固体撮像素子を用いている。ベイヤー型固体撮像素子は、１画素に１受光部が配置されており、各受光部は赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のからフィルタのうち１つが配置され、各受光部がそれぞれ１色の光を検出する。そのため、各受光部の積層されたカラーフィルタ以外の色情報は、周辺受光部の検出した画像信号から補間して演算することで求める。このことから、偽色となってしまうという課題を有する。

【0011】

本発明は、このような状況を鑑みてなされたものであり、積層型の画像信号を用いながら、画像信号のデータ量を削減することで画像信号の読み出しに要する時間を削減しつつ、偽色の抑制もする画像信号処理方法と画像信号処理装置及び撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

上記の課題を解決するための第1の発明は、１画素に３層以上の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理方法において、前記積層型固体撮像素子の画素毎に、２層の画像信号を読み出す画像信号読出部と、当該画素に積層された光電変換層の検出した３層以上の画像信号と前記画像信号読出部の読み出した２層の読出画像信号との差分の層の画像信号を推定する画像信号推定部と、を有し、前記画像信号推定部にて推定する推定画像信号は、前記画像信号読出部により読み出された前記２層の読出画像信号を用いて推定され、
前記画像信号読出部により読み出された前記２層の読出画像信号は、２組以上の前記光電変換層の組み合わせであることを特徴とする画像信号処理方法。

【0013】

また、上記の課題を解決するための第２の発明は、第１の発明である画像信号処理方法であって、前記積層型固体撮像素子は３層の光電変換層からなり、各光電変換層の検出する色は赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）であることを特徴とする画像信号処理方法。

【0014】

上記の課題を解決するための第３の発明は、第１又は第２の発明である画像信号処理方法であって、前記画像信号読出部に読み出した前記２層の読出画像信号のうち、１層の画像信号は緑色（Ｇ）の画画像信号処理方法。

【0015】

上記の課題を解決するための第４の発明は、第１乃至第３のいずれかの発明である画像信号処理方法であって、前記推定画像信号は、前記当該画素の周辺画素から前記画像信号読出部に読み出された前記２層の読出画像信号のうち、前記推定画像信号と同色の画像信号を用いて推定されることを特徴とする画像信号処理方法。

【0016】

上記の課題を解決するための第５の発明は、第１乃至第３のいずれかの発明である画像信号処理方法であって、前記推定画像信号は、前記当該画素の周辺画素より前記当該画素から前記画像信号読出部の読み出した前記２層の読出画像信号の一方と同色の画像信号と前記推定画像信号と同色の画像信号との２層の画像信号の色差を画素毎に算出し、前記色差の平均値を前記当該画素から読み出した前記２層の読出画像信号の一方と同色の画像信号に加算することで、前記画像信号推定部は、前記当該画素に積層された前記光電変換層が検出したが前記画像信号読出部が読み出さなかった画像信号を推定することを特徴とする画像信号処理方法。

【0017】

上記の課題を解決するための第６の発明は、第１乃至第３のいずれかの発明である画像信号処理方法であって、前記推定画像信号は、前記当該画素の周辺画素より前記当該画素から前記画像信号読出部の読み出した前記２層の読出画像信号の一方と同色の画像信号と前記推定画像信号と同色の画像信号との２層の画像信号の色比を画素毎に算出し、前記色比の平均値を前記当該画素から読み出した前記２層の読出画像信号の一方に積算することで、前記画像信号推定部は、前記当該画素に積層された前記光電変換層が検出したが前記画像信号読出部が読み出さなかった画像信号を推定することを特徴とする画像信号処理方法。

【0018】

上記の課題を解決するための第７の発明は、撮像装置であって、第１乃至第６のいずれかの発明である画像信号処理方法を備えたことを特徴とする撮像装置。

【0019】

上記の課題を解決するための第８の発明は、画像信号処理装置であって、１画素に３層以上の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理装置において、前記積層型固体撮像素子の画素毎に、２層の画像信号を読み出す画像信号読出部と、前記画像信号読出部において読み出された前記２層の読出画像信号をベイヤー型の画像信号へ画像信号並べ替えを行う画像信号並べ替え部と、を有し、前記画像信号読出部により読み出された前記２層の画像信号は、２組以上の組み合わせがあることを特徴とする画像信号処理装置。

【発明の効果】

【0020】

本発明によれば、積層型の画像信号を用いながら、画像信号のデータ量を削減することで画像信号の読み出しに要する時間を削減しつつ、偽色の発生も抑制する画像信号処理方法と画像信号処理装置及び撮像装置を提供することができる。

【図面の簡単な説明】

【0021】

【図1】本発明に係る画像処理方法を適用した撮像装置の構成を示した構成図である。

【図2】本願発明の画像信号の実施例１に関するフローチャートである。

【図3】本願発明の実施例２に関するフローチャートである。

【図4】画像信号並べ替えを説明する図である

【図5】画像信号推定を説明するフローチャートである。

【図6】当該画素と周辺画素について説明する図である。

【発明を実施するための形態】

【0022】

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

【0023】

図１は本発明に係る画像処理方法を適用した撮像装置の構成を示した構成図である。

【0024】

１００は、撮像装置である。本実施形態における撮像装置１００は、デジタルカメラであり、被写体を撮影し、撮影した画像データを保存する。撮像装置１００は、光学系２００の交換が可能な構成となっている。

【0025】

１０１は、積層型固体撮像素子である。積層型固体撮像素子１０１は、光学系２００を通じて検出した光を画像信号に変換するＣＭＯＳやＣＣＤである。

【0026】

本実施例においては、積層型固体撮像素子１０１は、１画素に３層の光電変換層を積層した積層型固体撮像素子を用いている。しかし、積層型固体撮像素子１０１の１画素に積層される光電変換層は、３層に限定したものではなく、４層、５層若しくはそれ以上としてもよい。

【0027】

ここで、画像信号について説明する。

【0028】

積層型固体撮像素子の検出する画像信号を積層型の画像信号とする。ベイヤー型固体撮像素子の検出する画像信号をベイヤー型の画像信号とする。本発明の固体撮像素子は、積層型の撮像素子である。よって、積層型固体撮像素子の検出した画像信号は、積層型の画像信号である。積層型固体撮像素子１０１の検出した積層型の画像信号は、ＦＰＧＡ１０２などにて画像信号変換にて信号処理することで、積層型の画像信号からベイヤー型の画像信号へと変換することが可能である。

【0029】

１０１１は、読出制御部である。読出制御部１０１１は、積層型固体撮像素子１０１の駆動タイミングを制御するための信号を出力する。これにより画素毎の水平駆動並びに垂直駆動が制御され、各画素からの２層の画像信号が読み出される。

【0030】

１０２は、ＦＰＧＡである。ＦＰＧＡ１０２は、内部回路によって、画像信号推定部１０２１、画像信号合成部１０２２、画像信号並べ替え部１０２４を構成する。ＦＰＧＡ１０２の代わりにＡＳＩＣなどを中間デバイスとして用いることも可能である。

【0031】

１０２１は、画像信号推定部である。画像信号推定部１０２１は、各画素の読み出した２層の画像信号を用いて、不足している１層の画像信号を推定する。画像信号の推定方法は、後述する。

【0032】

１０２２は、画像信号合成部である。画像信号合成部１０２２は、読出制御部１０１１によって読み出された２層の画像信号と画像信号推定部１０２１によって推定された１層の画像信号とを１つに合成する。合成されて出来上がった画像信号は、３層の画像信号である。従って、積層型の画像信号となる。

【0033】

１０２４は、画像信号並べ替え部である。画像信号並べ替え部１０２４は、読出制御部１０１１によって読み出された２層の積層型の画像信号をベイヤー型の画像信号に変換する。

【0034】

１０３は、ＣＰＵである。ＣＰＵ１０３は、信号処理部１０３１を内部に構成する。具体的には、積層型固体撮像素子１０１が検出し、ＦＰＧＡ１０２の内部に構成する各種画像信号処理を経た画像信号に対して、信号処理部１０３１は、ガンマ補正、ノイズ等の各種画像信号処理やノイズ除去を行う。さらには、不図示のＡＥ機構やＡＦ機構などの各種デバイスの制御も行う。

【0035】

１０４は、ＳＤＲＡＭである。ＳＤＲＡＭ１０４は、ＣＰＵ１０３と接続されている。また、ＳＤＲＡＭ１０４は、ＤＳＰ１０７とも接続されている。

【0036】

１０５は、外部記憶装置である。外部記憶装置１０５は、撮影画像を保存するためのメディアである。外部記憶装置１０５の例としては、例えば撮像装置に着脱自在なＳＤメモリカード（登録商標）、マルチメディアカード（登録商標）、ｘＤピクチャカード（登録商標）、スマートメディア（登録商標）、に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光磁気ディスク等、種々の記録媒体を用いることができる。

【0037】

１０６は、外部表示装置である。外部表示装置１０６は、撮影直後の画像や外部記憶装置１０５から読み出した画像などを表示できる。また、外部表示装置１０６は、カメラの動作モードやホワイトバランス、画像の画素数、感度などマニュアル設定する際の各種のメニュー画面を表示させ、ユーザの操作に応じてマニュアル設定が可能なユーザーインタフェイス用の画面を表示する。外部表示装置１０６としては、例えば液晶や有機ＥＬなどを用いることができる。

【0038】

１０７は、ＤＳＰである。ＤＳＰ１０７は、ＳＤＲＡＭ１０４と接続され、画像信号処理などを行う。

【0039】

２００は、光学系である。光学系２００は、レンズ光学系の他、不図示のレンズＣＰＵや絞りなどを有している。

【0040】

本願発明における撮像装置の行う画像信号処理について、図２と図３を用いて各実施例について説明する。尚、図２は、本願実施例１についてのフローチャートであり、図３は、本願実施例２についてのフローチャートである。

【0041】

ステップ＃１は、読出制御部１０１１が、積層型固体撮像素子１０１より各画素から読み出す画像信号を制御する。尚、ステップ＃１の読出制御部１０１１の制御については、後段にて説明する。

【0042】

ステップ＃２は、ステップ＃１にて読出制御部１０１１の制御により積層型固体撮像素子１０１より各画素から読み出した画像信号を画像信号並べ替え部１０２４が、ベイヤー型の画像信号へ並び替える。具体的な画像信号の並べ替え方法は、後段にて説明する。

【0043】

ステップ＃４は、ステップ＃２の画像信号並べ替え部１０２４からベイヤー型の画像信号へ並べ替えた画像信号が送られる。信号処理部１０３１が、画像信号処理を行う。具体的な画像信号処理の方法は、後段にて説明する。

【0044】

ステップ＃６は、ステップ＃４にて各種画像信号処理された画像信号をＳＤＲＡＭ１０４が一時的に保存する。ＳＤＲＡＭ１０４から読み出され、外部表示装置１０６にプレビュー画像として表示され、外部記憶装置１０５に撮影画像として保存される。

【0045】

次に、実施例１のステップ＃２「画像信号並べ替え」に代わる、実施例２のステップ＃３「画像信号推定」とステップ＃５「各種信号処理」について説明する。

【0046】

ステップ＃３は、読出制御部１０１１の制御により積層型固体撮像素子１０１から送られてきた２層の画像信号より不足している１層の画像信号を画像信号推定部１０２１が推定する。推定する画像信号の画素（以下、当該画素とする）と隣接する画素のうち当該画素の不足している１層の画像信号と同じ色の画像信号を用いて、当該画素の不足している１層の画像信号を推定する。具体的な画像信号の推定方法は、後段の実施例２にて説明する。

【0047】

ステップ＃５は、ステップ＃３にて画像信号推定部１０２１にて推定された１層の画像信号と読出制御部１０１１によって読み出されていた２層の画像信号が送られ、画像信号合成部１０２２にて両信号を合成した後、画像信号処理部１０３１とＤＳＰ１０７にて各種画像信号処理が施される。

【実施例1】

【0048】

これまで説明した図２の本願発明のフローの画像信号読出＃１、画像信号並べ替え＃２、画像信号処理＃４を、それぞれ図４を用いて、より具体的に以下に説明する。

【0049】

以下に、ステップ＃１の画像信号読出について、説明する。

【0050】

ステップ＃１の読出制御部１０１１の制御は、積層型固体撮像素子１０１の各画素にて３層の画像信号の中から２層の画像信号を選択して読み出す。選択する２層の画像信号の組み合わせは、赤色（Ｒ）と緑色（Ｇ）、青色（Ｂ）と緑色（Ｇ）、赤色（Ｒ）と青色（Ｂ）の３グループある。この３グループの中から、奇数行のすべての列の画素から緑色（Ｇ）と赤色（Ｒ）、偶数行のすべての列の画素から青色（Ｂ）と緑色（Ｇ）の２層の画像信号をそれぞれ読み出すこととする。尚、緑色（Ｇ）と赤色（Ｒ）をグループ１とし、青色（Ｂ）と緑色（Ｇ）をグループ２とする。

【0051】

ステップ＃１にて、読出制御部１０１１が、全画素から２層の画像信号の読み出しを完了したので、ステップ＃２に進む。

【0052】

次に、ステップ＃２の画像信号並べ替えについて、図４を用いて説明する。尚、図４中の数字は座標を表し、座標は、（行，列）にて表記する。

【0053】

ステップ＃２は、ステップ＃１にて読出制御部１０１１により、積層型固体撮像素子１０１の各画素から読出された画像信号の配列を並べ替える。図４（ａ）は、読出制御部１０１１が積層型固体撮像素子１０１の各画素から２層の画像信号をそれぞれ読み出した状態の一部を示した図である。この２層の画像信号を画像信号並べ替え部１０２４が図４（ｂ）に示すようにベイヤー型の画像信号配列へ並べ替える。

【0054】

具体的な並べ替え方法を説明する。図４（ａ）の座標（１，１）に積層される緑色（Ｇ）と赤色（Ｒ）は、図４（ｂ）の座標（１，１）に赤色（Ｒ）、同じく座標（１，２）に緑色（Ｇ）がそれぞれ配置される。次に、図４（ａ）の座標（２，１）に積層される青色（Ｂ）と緑色（Ｇ）は、図４（ｂ）の座標（２，１）に緑色（Ｇ）、同じく座標（２，２）に青色（Ｂ）がそれぞれ配置される。同様に、図４（ａ）の座標（１，２）に積層される緑色（Ｇ）と赤色（Ｒ）は、図４（ｂ）の座標（１，３）に赤色（Ｒ）、同じく座標（１，４）に緑色（Ｇ）がそれぞれ配置され、図４（ａ）の座標（２，２）に積層される青色（Ｂ）と緑色（Ｇ）は、図４（ｂ）の座標（２，３）に緑色（Ｇ）、同じく座標（２，４）に青色（Ｂ）がそれぞれ配置される。

【0055】

以上に説明したように、積層型固体撮像素子１０１から読み出した全画素について、積層された２層の画像信号を画像信号並べ替え部１０２４がベイヤー型の画像信号へと並べ替える。並べ替えた際に、図４（ａ）の２層の画像信号では、縦×横が２（画素）×２（画素）の画像信号は、図４（ｂ）のベイヤー型の画像信号となると縦×横が２（画素）×４（画素）の画像信号となる。つまり、横長の画像信号となる。

【0056】

本実施例では、積層された２層の画像信号をベイヤー型の画像信号へ並べ替える際に、行方向へ展開した。しかし、ステップ＃１にて読出制御部１０１１が各画素から読み出す２層の画像信号を本実施例から反時計回りに９０°回転した場合と同様に、奇数列のすべての行の画素から青色（Ｂ）と緑色（Ｇ）、偶数列のすべての行の画素から緑色（Ｇ）と赤色（Ｒ）の２層の画像信号をそれぞれ読み出した後、２層の画像信号を列方向展開してベイヤー型の画像信号へ並べ替えることも可能である。

【0057】

画像信号並べ替え部１０２４が、全画素の画像信号の並べ替えが完了したので、ステップ＃４へ進む。

【0058】

尚、ベイヤー型の画像信号へ並べ替えるためには、緑色（Ｇ）・青色（Ｂ）・赤色（Ｒ）がそれぞれ２：１：１の比率である必要がある。そのため、ステップ＃１での読出制御部１０１１が読み出す画像信号のパターンは、青色（Ｂ）と緑色（Ｇ）のパターンと緑色（Ｇ）と赤色（Ｒ）のパターンの２種類の画像信号の２パターンである。

【0059】

次に、ステップ＃４について、説明する。

【0060】

ステップ＃４は、画像信号処理部１０３１がステップ＃２から送られてきた画像信号について、適した画像信号処理を行う。具体的には、ステップ＃２から送られてきた画像信号は、画像信号並べ替え部１０２４にて並べ替えられることで図４（ｂ）ベイヤー型の画像信号となる。しかし、本実施例の並べ替え後のベイヤー型の画像信号は、行方向に展開したため、横長となっている。そこで、画像信号処理１０３１は、調整処理を行うことで、縦横を調整する。また、ステップ＃２にてベイヤー型の画像信号へ並べ替える際に、本実施例とは異なり、列方向に展開した場合、縦長の画像信号となるが、横長の画像信号の場合と同様に画像信号処理部１０３１とＤＳＰ１０７はガンマ補正、ホワイトバランス補正、ノイズ除去、デモザイク処理等の各種画像信号処理をする。画像信号処理部１０３１が画像信号処理を行った後、ステップ＃６へ進む。

【実施例2】

【0061】

次に、実施例２について説明する。実施例２は、実施例１のステップ＃２「画像信号並べ替え」に変えてステップ＃３「画像信号推定」となっている。この変更に伴って、実施例１のステップ＃４「画像信号処理」の処理内容が変更になったためにステップ＃５へ変更されている。尚、ステップ＃１とステップ＃６については、実施例１と同様であるので説明を省略する。

【0062】

以下に、ステップ＃３について図５と図６を用いて説明する。

【0063】

図５は、ステップ＃３の画像信号推定のフローチャート図である。図６は、当該画素と周辺画素について説明する図である。図６の真ん中の画素を当該画素とし、図６枠（ａ）を隣接画素、同枠（ｂ）を近傍画素とする。

【0064】

ステップ＃３１は、当該画素に不足している１層の画像信号の検索範囲に当該画素と接する８画素（図６の（ａ））（以下、隣接画素）を検索画素範囲として設定する。

【0065】

ステップ＃３２は、画像信号推定部１０２１がステップ＃３１又はステップ＃３４にて設定された検索画素範囲内に、当該画素に不足している１層の画像信号（以下、不足画素信号とする）を有しているか否かを判別する。具体的には、初めてステップ＃３２へ進んだ場合、ステップ＃３１にて設定した検索画素範囲内に画像信号推定部１０２１が推定するのに用いる当該画素の隣接画素のいずれかが、不足画像信号を有しているかを判別する。つまり、当該画素から行方向と列方向のどちらも検索する。ステップ＃３４を経てからステップ＃３２へ進んだ場合、ステップ＃３４にて設定された検索画素範囲内を同様に検索し判別する。その結果、検索画素範囲内に不足画像信号を有している場合、ステップ＃３３へ進む。検索画素範囲内に不足画像信号を有していない場合、ステップ＃３４へ進む。

【0066】

ステップ＃３３は、画像信号推定部１０２１が検索画素範囲内に位置する不足画像信号を有する画素から不足画像信号を読み出す。そして読み出した画像信号を用いて、画像信号推定部１０２１は、不足画像信号を推定する。不足画像信号を推定したら、＃３５へ進む。

【0067】

ステップ＃３４は、検索画素範囲をｎ画素分広げる。ｎ＝１とすると、本ステップは、隣接画素である図６枠（ａ）から近傍画素である図６枠（ｂ）と外側へと行方向・列方向ともに１画素広げた範囲が新たな検索画素範囲となる。

【0068】

具体的には、ステップ＃３１にて不足画像信号の検索画素範囲を隣接画素である図６枠（ａ）と設定し、ステップ＃３２にて検索した結果、検索画素範囲内に不足画像信号を有さない場合、本ステップ＃３４は、検索画素範囲をｎ＝１画素広げた近傍画素である図６枠（ｂ）とする。

【0069】

ステップ＃３５は、撮像素子の全画素について、不足画像信号の推定が完了しているか判別する。完了している場合、ＲＥＴＵＲＮへ進むので、ステップ＃５へ進む。完了していない場合は、ステップ＃３２へ進む。

【0070】

ステップ＃５について、説明する。

【0071】

画像信号合成部１０２２には、ステップ＃３にて推定した１層の画像信号とステップ＃１にて当該画素から読み出した２層の画像信号とが送られてくる。推定した1層の画像信号と当該画素から読み出した２層の画像信号は、画像信号合成部１０２２が両信号を合成して、積層型の画像信号を作成する。その後、画像信号処理部１０３１とＤＳＰ１０７によって、ガンマ補正、ホワイトバランス補正、ノイズ除去等の各種画像信号処理が施される。画像信号処理を行った後、ステップ＃６へ進む。

【0072】

ステップ＃６は、実施例１と同様であるので説明は省略する。

【0073】

次に、ステップ＃３２について、図６を用いて説明する。図６の場合、真ん中の当該画素の不足画像信号は、赤色（Ｒ）となる。ステップ＃３２は、検索画素範囲に赤色（Ｒ）を有している画素があるか否かを判別する。従って、初めてステップ＃３２に進んだ場合、隣接画素のうち当該画素の上下の行の画素が赤色（Ｒ）を有するので、ステップ＃３３へ進む。

【0074】

一方、図６枠（ａ）の中のすべての画素が青色（Ｂ）と緑色（Ｇ）であった場合、つまり隣接画素の中に、不足画像信号がなかった場合、不足画像信号はないので、ステップ＃３４へ進む。

【0075】

次に、ステップ＃３３にて行っている不足画像信号の推定方法を説明する。

【0076】

具体的に実施例２は、ステップ＃１にて各画素からすでに画像信号は読み出していることから、当該画素の不足画像信号は当該画素の位置によって決まる。この時、推定する当該画素が奇数行（図６では、上から２段目と４段目が該当する。）に位置する場合、ステップ＃１にて当該画素から読み出した２層の画像信号は、グループ１の緑色（Ｇ）と赤色（Ｒ）となる。従って、不足画像信号つまり推定する画像信号は、青色（Ｂ）となる。次に、当該画素の隣接画素のうち、青色（Ｂ）の画像信号を有するのは、ステップ＃１にてグループ２の青色（Ｂ）と緑色（Ｇ）を読み出した偶数行（図６では、上から１段目と３段目と５段目が該当する。）に位置する画素となる。従って、当該画素の隣接画素のうち６画素が青色（Ｂ）の画像信号を有する。この６画素の青色（Ｂ）の画像信号の平均を当該画素の不足している青色（Ｂ）の画像信号とする。

【0077】

また、推定する当該画素が偶数行（図６では、上から１段目と３段目と５段目が該当する。）に位置する場合、ステップ＃１にて読み出した２層の画像信号は、グループ２の青色（Ｂ）と緑色（Ｇ）となる。従って、不足画像信号つまり推定する画像信号は、赤色（Ｒ）となる。以降の手順は、前述した当該画素が奇数行に位置する場合と同様となり、当該画素の隣接画素のうち、赤色（Ｒ）の画像信号を有するのは、ステップ＃１にてグループ１の緑色（Ｇ）と赤色（Ｒ）を読み出した奇数行（図６では、上から２段目と４段目が該当する。）に位置する画素となる。従って、当該画素の隣接画素のうち６画素が赤色（Ｒ）の画像信号を有する。この６画素の赤色（Ｒ）の画像信号の平均を当該画素の不足している赤色（Ｒ）の画像信号とする。

【0078】

以上、実施例２の説明を終了する。

【0079】

また、実施例２にて、上述したように不足画像信号を当該画素の周辺の画素から不足画像信号と同じ色の画像信号を基に推定する方法に、以下の方法もある。

【0080】

不足画像信号を色差を用いて推定する。以下に、具体的に説明する。

【0081】

不足画像信号が青色（Ｂ）の場合

【0082】

画像信号推定部１０２１は、ステップ＃３２では、不足画像信号である青色（Ｂ）を有する画素が検索画素範囲内に有無を判別する。判別方法の具体的な方法は、本ステップの時点で検索画素範囲内の各画素からステップ＃１にて読出制御部１０１１がどの画像信号を読み出したのか分かっている。そこで、画像信号推定部１０２１は、当該画素の不足信号が検索画素範囲内の画素に含まれているか判別することが可能となる。青色（Ｂ）を有する画素は、ステップ＃１にて青色（Ｂ）と緑色（Ｇ）を読み出した画素である。つまり、隣接画素に青色（Ｂ）と緑色（Ｇ）を有する画素の有無を判別する。隣接画素に青色（Ｂ）と緑色（Ｇ）を有する画素が含まれていた場合、ステップ＃３３へ進む。次に、隣接画素に、青色（Ｂ）と緑色（Ｇ）を有する画素がなかった場合、ステップ＃３４へ進む。

【0083】

ステップ＃３３は、画像信号推定部１０２１が各画素の青色（Ｂ）と緑色（Ｇ）から、それぞれ青色（Ｂ）−緑色（Ｇ）の色差を算出し、算出された各画素の青色（Ｂ）−緑色（Ｇ）の平均値を平均値ａとする。この平均値ａを当該画素の緑色（Ｇ）に加算することで、不足画像信号の青色（Ｂ）とする。

【0084】

他のステップは、前述した実施例２と同様である。

【0085】

次に、不足画像信号が赤色（Ｒ）とした場合

【0086】

不足画像信号が青色（Ｂ）の時と同様に、画像信号推定部１０２１は、ステップ＃３２では、検索画素範囲内である隣接画素に赤色（Ｒ）と緑色（Ｇ）を有する画素の有無を判別し、ステップ＃３３では、各画素の赤色（Ｒ）と緑色（Ｇ）から、それぞれ赤色（Ｒ）−緑色（Ｇ）の色差を算出し、算出された各画素の赤色（Ｒ）−緑色（Ｇ）の平均値を平均値ｂとし、当該画素の緑色（Ｇ）に平均値ｂを加算することで、不足画像信号の赤色（Ｒ）とする。

【0087】

また、不足画像信号が緑色（Ｇ）とした場合

【0088】

不足画像信号が青色（Ｂ）と赤色（Ｒ）の時と同様に、画像信号推定部１０２１は、ステップ＃３２では、検索画素範囲内である隣接画素に緑色（Ｇ）と青色（Ｂ）を有する画素の有無を判別し、ステップ＃３３では、各画素の緑色（Ｇ）と青色（Ｂ）から、それぞれ緑色（Ｇ）−青色（Ｂ）の色差を算出し、算出された各画素の緑色（Ｇ）−青色（Ｂ）の平均値を平均値ｃとし、当該画素の青色（Ｂ）に平均値ｃを加算することで、不足画像信号の緑色（Ｇ）とする。

【0089】

更には、不足画像信号を色比を用いて推定する。これまで説明してきた色差を用いて推定する方法とは、不足画像信号を推定する際の計算方法のみ異なる。以下に、具体的に説明する。

【0090】

不足画像信号が青色（Ｂ）の場合

【0091】

画像信号推定部１０２１は、ステップ＃３２では、色差の場合と同様に隣接画素に青色（Ｂ）と緑色（Ｇ）を有する画素の有無を判別する。
ステップ＃３３では、各画素の青色（Ｂ）と緑色（Ｇ）から、それぞれ青色（Ｂ）／緑色（Ｇ）を算出し、算出された青色（Ｂ）／緑色（Ｇ）の平均値を平均値ｄとする。この平均値ｄを当該画素の緑色（Ｇ）に積算することで、不足画像信号の青色（Ｂ）とする。

【0092】

不足画像信号が赤色（Ｒ）の場合

【0093】

画像信号推定部１０２１は、ステップ＃３２では、隣接画素に赤色（Ｒ）と緑色（Ｇ）を有する画素の有無を判別する。
ステップ＃３３では、各画素の赤色（Ｒ）と緑色（Ｇ）から、それぞれ赤色（Ｒ）／緑色（Ｇ）を算出し、算出された赤色（Ｒ）／緑色（Ｇ）の平均値を平均値ｅとする。この平均値ｅを当該画素の緑色（Ｇ）に積算することで、不足画像信号の赤色（Ｒ）とする。

【0094】

不足画像信号が緑色（Ｇ）の場合

【0095】

画像信号推定部１０２１は、ステップ＃３２では、隣接画素に青色（Ｂ）と赤色（Ｒ）を有する画素の有無を判別する。ステップ＃３３では、各画素の緑色（Ｇ）と青色（Ｂ）から、それぞれ緑色（Ｇ）／青色（Ｂ）を算出し、算出された緑色（Ｇ）／青色（Ｂ）の平均値を平均値ｆとする。この平均値ｆを当該画素の青色（Ｂ）に積算することで、不足画像信号の緑色（Ｇ）とする。

【0096】

尚、上述したように色差・色比にて不足画像信号を推定する際のステップ＃３２について、検索画素範囲を隣接画素としているが、ステップ＃３４を経てステップ＃３２へ進んだ場合、ステップ＃３４にて設定した範囲を検索することは言うまでもない。

【0097】

以上、これまで説明した実施例２では、検索画素範囲を行方向・列方向の両方向を対象に用いて画像信号推定を行っていた。しかし、列方向のみを対象としてもよい。具体的には、ステップ＃３２に不足画素信号を検索する画素範囲を当該画素から列方向のみとし、ステップ＃３４にて検索画素範囲を広げる際には列方向のみとする。

【0098】

以降のフローは、実施例２と同様となるので省略する。

【0099】

以上のことから、本願発明により、各画素より２層の画像信号を読み出すので３層の画像信号を読み出すのに比べると読み出し量を削減することができる。読み出し量を削減することで、画像信号読み出しに要する時間を削減することとなる。

【0100】

本願発明の実施例では、３層が積層された積層型固体撮像素子を用いて説明したが、本願発明は３層に限らずそれ以上の積層型固体撮像素子を用いても問題ないことは言うまでもない。また、４層以上の積層型固体撮像素子となっても読出制御部１０１１が読み出す画像信号は２つである。

【0101】

また、読出制御部１０１１が読み出す２つの画像信号のうち、１つを緑色（Ｇ）とすることで、人間の眼の視覚感度が高い緑色（Ｇ）に積層型固体撮像素子の検出した緑色（Ｇ）の画像信号を用いることとなる。その結果、各実施例にて最終的に保存された画像信号は、解像感のある画像信号となる。

【0102】

さらに、積層型固体撮像素子の検出した緑色（Ｇ）の画像信号を用いることでベイヤー型の並べ替えや画像信号推定に正確な輝度情報を用いることとなる。よって、ベイヤー型の画像信号に並べ替えても、画像信号を推定しても偽色の少ない画像信号となる。

【0103】

また、画像信号の読み出しに要する時間を削減することで画像歪みであるローリングシャッタ現象を抑制することが可能となる。

【0104】

さらには、ベイヤー型固体撮像素子の場合、各画素から１層の画像信号を読み出し、残りの２層の画像信号は読み出した１層の画像信号から推定して作り出す。一方、本願発明は、各画素から２層の画像信号を読み出し、残りの１層の画像信号を読み出した２層の画像信号から推定して作り出している。以上のことから、本願発明は、推定して作り出す画像信号の偽色の発生を抑制することが可能となる。

【0105】

その他にも本発明は、積層型の画像信号をベイヤー型の画像信号に変換することで、ベイヤー型の画像信号を処理するための画像信号処理回路を用いることが可能となる。よって、積層型の画像信号用に画像信号処理回路を製作しなくて済むため、コストを抑えることが可能となる。

【符号の説明】

【0106】

１００ 撮像装置
１０１ 積層型固体撮像素子
１０１１ 読出制御部
１０２ ＦＰＧＡ
１０２１ 画像信号推定部
１０２２ 画像信号合成部
１０２４ 画像信号並べ替え部
１０３ ＣＰＵ
１０３１ 各種信号処理部
１０４ ＳＤＲＡＭ
１０５ 外部記憶装置
１０６ 外部表示装置
１０７ ＤＳＰ
２００ 光学系

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】