特開2018-195961(P2018-195961A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社シグマの特許一覧
特開2018-195961画像処理信号方法、画像信号処理装置、撮像装置
<>
  • 特開2018195961-画像処理信号方法、画像信号処理装置、撮像装置 図000003
  • 特開2018195961-画像処理信号方法、画像信号処理装置、撮像装置 図000004
  • 特開2018195961-画像処理信号方法、画像信号処理装置、撮像装置 図000005
  • 特開2018195961-画像処理信号方法、画像信号処理装置、撮像装置 図000006
  • 特開2018195961-画像処理信号方法、画像信号処理装置、撮像装置 図000007
  • 特開2018195961-画像処理信号方法、画像信号処理装置、撮像装置 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-195961(P2018-195961A)
(43)【公開日】2018年12月6日
(54)【発明の名称】画像処理信号方法、画像信号処理装置、撮像装置
(51)【国際特許分類】
   H04N 9/07 20060101AFI20181109BHJP
   H04N 5/225 20060101ALI20181109BHJP
   H04N 5/232 20060101ALI20181109BHJP
   H04N 5/341 20110101ALI20181109BHJP
   H04N 5/369 20110101ALI20181109BHJP
【FI】
   H04N9/07 A
   H04N5/225 300
   H04N5/232 290
   H04N5/341
   H04N5/369
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】15
(21)【出願番号】特願2017-97826(P2017-97826)
(22)【出願日】2017年5月17日
(71)【出願人】
【識別番号】000131326
【氏名又は名称】株式会社シグマ
【住所又は居所】神奈川県川崎市麻生区栗木2丁目4番16号
(72)【発明者】
【氏名】山崎 滋巳
【住所又は居所】神奈川県川崎市麻生区栗木2丁目4番16号 株式会社シグマ内
【テーマコード(参考)】
5C024
5C065
5C122
【Fターム(参考)】
5C024AX01
5C024CX11
5C024DX01
5C024GX07
5C024GY01
5C024GY31
5C024HX28
5C024HX51
5C065BB19
5C065BB30
5C065CC01
5C065DD02
5C065DD15
5C065DD17
5C065GG13
5C065GG17
5C122DA03
5C122DA04
5C122EA12
5C122EA37
5C122EA68
5C122FC01
5C122FC02
5C122FC06
5C122FG06
5C122HA42
5C122HA88
5C122HB01
(57)【要約】
【課題】積層型の画像信号を用いながら、画像信号のデータ量を削減することで画像信号の読み出しに要する時間を削減しつつ、偽色の発生も抑制する画像信号処理方法と撮像装置を提供することができる。
【解決手段】1画素に3層以上の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理方法において、前記積層型固体撮像素子の画素毎に、2層の画像信号を読み出す画像信号読出部と、当該画素に積層された光電変換層の検出した3層以上の画像信号と前記画像信号読出部の読み出した2層の読出画像信号との差分の層の画像信号を推定する画像信号推定部と、を有し、前記画像信号推定部にて推定する推定画像信号は、前記画像信号読出部により読み出された前記2層の読出画像信号を用いて推定され、
前記画像信号読出部により読み出された前記2層の読出画像信号は、2組以上の前記光電変換層の組み合わせであることを特徴とする画像信号処理方法。
【選択図】図1
【特許請求の範囲】
【請求項1】
1画素に3層以上の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理方法において、
前記積層型固体撮像素子の画素毎に、2層の画像信号を読み出す画像信号読出部と、
当該画素に積層された光電変換層の検出した3層以上の画像信号と前記画像信号読出部の読み出した2層の読出画像信号との差分の層の画像信号を推定する画像信号推定部と、
を有し、
前記画像信号推定部にて推定する推定画像信号は、前記画像信号読出部により読み出された前記2層の読出画像信号を用いて推定され、
前記画像信号読出部により読み出された前記2層の画像信号は、2組以上の前記光電変換層の組み合わせがあることを特徴とする画像信号処理方法。
【請求項2】
前記積層型固体撮像素子は3層の光電変換層からなり、各光電変換層の検出する色は赤色(R)、緑色(G)、青色(B)であることを特徴とする請求項1に記載の画像信号処理方法。
【請求項3】
前記画像信号読出部に読み出した前記2層の読出画像信号のうち、1層の画像信号は緑色(G)の画像信号であることを特徴とする請求項1又は請求項2に記載の画像信号処理方法。
【請求項4】
前記推定画像信号は、
前記当該画素の周辺画素から前記画像信号読出部に読み出された前記2層の読出画像信号のうち、
前記推定画像信号と同色の画像信号を用いて推定されることを特徴とする請求項1乃至請求項3のいずれかに記載の画像信号処理方法。
【請求項5】
前記推定画像信号は、
前記当該画素の周辺画素より
前記当該画素から前記画像信号読出部の読み出した前記2層の読出画像信号の一方と同色の画像信号と
前記推定画像信号と同色の画像信号との
2層の画像信号の色差を画素毎に算出し、
前記色差の平均値を前記当該画素から読み出した前記2層の読出画像信号の一方と同色の画像信号に加算することで、
前記画像信号推定部は、
前記当該画素に積層された前記光電変換層が検出したが前記画像信号読出部が読み出さなかった画像信号を推定することを特徴とする請求項1乃至請求項3のいずれかに記載の画像信号処理方法。
【請求項6】
前記推定画像信号は、
前記当該画素の周辺画素より
前記当該画素から前記画像信号読出部の読み出した前記2層の読出画像信号の一方と同色の画像信号と
前記推定画像信号と同色の画像信号との
2層の画像信号の色比を画素毎に算出し、
前記色比の平均値を前記当該画素から読み出した前記2層の読出画像信号の一方に積算することで、
前記画像信号推定部は、
前記当該画素に積層された前記光電変換層が検出したが前記画像信号読出部が読み出さなかった画像信号を推定することを特徴とする請求項1乃至請求項3のいずれかに記載の画像信号処理方法。
【請求項7】
請求項1乃至請求項6のいずれかに記載の画像信号処理方法を備えたことを特徴とする撮像装置。
【請求項8】
1画素に3層以上の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理装置において、
前記積層型固体撮像素子の画素毎に、2層の画像信号を読み出す画像信号読出部と、
前記画像信号読出部において読み出された前記2層の読出画像信号をベイヤー型の画像信号へ画像信号並べ替えを行う画像信号並べ替え部と、
を有し、
前記画像信号読出部により読み出された前記2層の画像信号は、2組以上の組み合わせがあることを特徴とする画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の受光部を有する光電変換層を複数層使用し、これら光電変換層の各受光部から各々読み出した画像信号を処理する画像信号処理方法、画像信号処理装置及び撮像装置に関する。
【背景技術】
【0002】
昨今、高品位の動画や画像の記録の要求が高まっている。つまり、解像感を残しながら偽色の発生を抑制した画像の記録が必要となる。
【0003】
そこで、解像感を残しながら偽色を抑制した画像信号処理と撮像装置に関する発明が特許文献1、特許文献2によって開示されている。
【0004】
特許文献1は、赤色(R)を検出する光電変換層と、緑色(G)を検出する光電変換層と、青色(B)を検出する光電変換層とを3層積層することで、同一画素にて、赤色(R)、緑色(G)、青色(B)の3つの色信号を同時に検出することが出来る積層型固体撮像素子が開示されている。
【0005】
特許文献2は、ベイヤー配列のカラーフィルタを有する撮像素子を介して出力されたR(赤色)、Gr(画素配列の一方向において前記Rの隣に位置する緑)、Gb(前記一方向においてBの隣に位置する緑)、B(青色)を一単位としR、Gr、Gb、Bの画素信号の和から輝度(Y)を生成し、GrとGbの画像信号の和からRの画像信号とBの画像信号を減算して第一色差を生成すると共に、Rの画像信号とBの画像信号との差を算出して第二色差を生成し、輝度値、第一色差及び第二色差のそれぞれ毎に偽色抑制を行い、偽色抑制された第一色差、第二色差を所定の色空間に変換して色情報を生成することにより、解像度を損なうことなく、効果的に偽色を抑制でき、高品位なカラー画像を生成できる発明が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許第5965875公報
【0007】
【特許文献2】特開2009−21962号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
撮像素子から読み出すデータ量が増えると読み出しに係る時間が延びる。その結果、増えたデータを処理するのに要するために消費電力の増加やローリングシャッタ現象などの課題が生じる。また、高品位の動画や画像を記録しようとすると、データ量が大きくなる。その結果、同様に撮像素子から読み出しに係る時間が延び、消費電力も増大し、ローリングシャッタ現象が発生するなどの課題を有する。
【0009】
特許文献1に記載された発明は、同一画素で、赤色(R)、緑色(G)、青色(B)の3つの色信号を同時に検出することができる。従って、解像感の低下がない。ベイヤー型固体撮像素子のようにカラーフィルタに対応した色の受光部のみ光を検出し、他の色を補間演算するということがないので、偽色の発生がない。つまり、偽色の発生がなく解像感を残した画像を得られる。一方、特許文献1に記載の積層型固体撮像素子は、1画素で3色を検出することが出来るため、画素数が同じ撮像素子の場合、積層型固体撮像素子の検出する画像信号(以下、積層型の画像信号)はベイヤー型固体撮像素子の検出する画像信号(以下、ベイヤー型の画像信号)よりも情報量が多くなる。よって、画像信号の読み出しに時間がかかる時間が増加してしまうという課題を有する。
【0010】
また、特許文献2に記載の発明は、ベイヤー型固体撮像素子を用いている。ベイヤー型固体撮像素子は、1画素に1受光部が配置されており、各受光部は赤色(R)、緑色(G)、青色(B)のからフィルタのうち1つが配置され、各受光部がそれぞれ1色の光を検出する。そのため、各受光部の積層されたカラーフィルタ以外の色情報は、周辺受光部の検出した画像信号から補間して演算することで求める。このことから、偽色となってしまうという課題を有する。
【0011】
本発明は、このような状況を鑑みてなされたものであり、積層型の画像信号を用いながら、画像信号のデータ量を削減することで画像信号の読み出しに要する時間を削減しつつ、偽色の抑制もする画像信号処理方法と画像信号処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記の課題を解決するための第1の発明は、1画素に3層以上の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理方法において、前記積層型固体撮像素子の画素毎に、2層の画像信号を読み出す画像信号読出部と、当該画素に積層された光電変換層の検出した3層以上の画像信号と前記画像信号読出部の読み出した2層の読出画像信号との差分の層の画像信号を推定する画像信号推定部と、を有し、前記画像信号推定部にて推定する推定画像信号は、前記画像信号読出部により読み出された前記2層の読出画像信号を用いて推定され、
前記画像信号読出部により読み出された前記2層の読出画像信号は、2組以上の前記光電変換層の組み合わせであることを特徴とする画像信号処理方法。
【0013】
また、上記の課題を解決するための第2の発明は、第1の発明である画像信号処理方法であって、前記積層型固体撮像素子は3層の光電変換層からなり、各光電変換層の検出する色は赤色(R)、緑色(G)、青色(B)であることを特徴とする画像信号処理方法。
【0014】
上記の課題を解決するための第3の発明は、第1又は第2の発明である画像信号処理方法であって、前記画像信号読出部に読み出した前記2層の読出画像信号のうち、1層の画像信号は緑色(G)の画画像信号処理方法。
【0015】
上記の課題を解決するための第4の発明は、第1乃至第3のいずれかの発明である画像信号処理方法であって、前記推定画像信号は、前記当該画素の周辺画素から前記画像信号読出部に読み出された前記2層の読出画像信号のうち、前記推定画像信号と同色の画像信号を用いて推定されることを特徴とする画像信号処理方法。
【0016】
上記の課題を解決するための第5の発明は、第1乃至第3のいずれかの発明である画像信号処理方法であって、前記推定画像信号は、前記当該画素の周辺画素より前記当該画素から前記画像信号読出部の読み出した前記2層の読出画像信号の一方と同色の画像信号と前記推定画像信号と同色の画像信号との2層の画像信号の色差を画素毎に算出し、前記色差の平均値を前記当該画素から読み出した前記2層の読出画像信号の一方と同色の画像信号に加算することで、前記画像信号推定部は、前記当該画素に積層された前記光電変換層が検出したが前記画像信号読出部が読み出さなかった画像信号を推定することを特徴とする画像信号処理方法。
【0017】
上記の課題を解決するための第6の発明は、第1乃至第3のいずれかの発明である画像信号処理方法であって、前記推定画像信号は、前記当該画素の周辺画素より前記当該画素から前記画像信号読出部の読み出した前記2層の読出画像信号の一方と同色の画像信号と前記推定画像信号と同色の画像信号との2層の画像信号の色比を画素毎に算出し、前記色比の平均値を前記当該画素から読み出した前記2層の読出画像信号の一方に積算することで、前記画像信号推定部は、前記当該画素に積層された前記光電変換層が検出したが前記画像信号読出部が読み出さなかった画像信号を推定することを特徴とする画像信号処理方法。
【0018】
上記の課題を解決するための第7の発明は、撮像装置であって、第1乃至第6のいずれかの発明である画像信号処理方法を備えたことを特徴とする撮像装置。
【0019】
上記の課題を解決するための第8の発明は、画像信号処理装置であって、1画素に3層以上の光電変換層が基板の上部に積層された積層型固体撮像素子を用いて検出した積層型の画像信号を処理する画像信号処理装置において、前記積層型固体撮像素子の画素毎に、2層の画像信号を読み出す画像信号読出部と、前記画像信号読出部において読み出された前記2層の読出画像信号をベイヤー型の画像信号へ画像信号並べ替えを行う画像信号並べ替え部と、を有し、前記画像信号読出部により読み出された前記2層の画像信号は、2組以上の組み合わせがあることを特徴とする画像信号処理装置。
【発明の効果】
【0020】
本発明によれば、積層型の画像信号を用いながら、画像信号のデータ量を削減することで画像信号の読み出しに要する時間を削減しつつ、偽色の発生も抑制する画像信号処理方法と画像信号処理装置及び撮像装置を提供することができる。
【図面の簡単な説明】
【0021】
図1】本発明に係る画像処理方法を適用した撮像装置の構成を示した構成図である。
図2】本願発明の画像信号の実施例1に関するフローチャートである。
図3】本願発明の実施例2に関するフローチャートである。
図4】画像信号並べ替えを説明する図である
図5】画像信号推定を説明するフローチャートである。
図6】当該画素と周辺画素について説明する図である。
【発明を実施するための形態】
【0022】
以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。
【0023】
図1は本発明に係る画像処理方法を適用した撮像装置の構成を示した構成図である。
【0024】
100は、撮像装置である。本実施形態における撮像装置100は、デジタルカメラであり、被写体を撮影し、撮影した画像データを保存する。撮像装置100は、光学系200の交換が可能な構成となっている。
【0025】
101は、積層型固体撮像素子である。積層型固体撮像素子101は、光学系200を通じて検出した光を画像信号に変換するCMOSやCCDである。
【0026】
本実施例においては、積層型固体撮像素子101は、1画素に3層の光電変換層を積層した積層型固体撮像素子を用いている。しかし、積層型固体撮像素子101の1画素に積層される光電変換層は、3層に限定したものではなく、4層、5層若しくはそれ以上としてもよい。
【0027】
ここで、画像信号について説明する。
【0028】
積層型固体撮像素子の検出する画像信号を積層型の画像信号とする。ベイヤー型固体撮像素子の検出する画像信号をベイヤー型の画像信号とする。本発明の固体撮像素子は、積層型の撮像素子である。よって、積層型固体撮像素子の検出した画像信号は、積層型の画像信号である。積層型固体撮像素子101の検出した積層型の画像信号は、FPGA102などにて画像信号変換にて信号処理することで、積層型の画像信号からベイヤー型の画像信号へと変換することが可能である。
【0029】
1011は、読出制御部である。読出制御部1011は、積層型固体撮像素子101の駆動タイミングを制御するための信号を出力する。これにより画素毎の水平駆動並びに垂直駆動が制御され、各画素からの2層の画像信号が読み出される。
【0030】
102は、FPGAである。FPGA102は、内部回路によって、画像信号推定部1021、画像信号合成部1022、画像信号並べ替え部1024を構成する。FPGA102の代わりにASICなどを中間デバイスとして用いることも可能である。
【0031】
1021は、画像信号推定部である。画像信号推定部1021は、各画素の読み出した2層の画像信号を用いて、不足している1層の画像信号を推定する。画像信号の推定方法は、後述する。
【0032】
1022は、画像信号合成部である。画像信号合成部1022は、読出制御部1011によって読み出された2層の画像信号と画像信号推定部1021によって推定された1層の画像信号とを1つに合成する。合成されて出来上がった画像信号は、3層の画像信号である。従って、積層型の画像信号となる。
【0033】
1024は、画像信号並べ替え部である。画像信号並べ替え部1024は、読出制御部1011によって読み出された2層の積層型の画像信号をベイヤー型の画像信号に変換する。
【0034】
103は、CPUである。CPU103は、信号処理部1031を内部に構成する。具体的には、積層型固体撮像素子101が検出し、FPGA102の内部に構成する各種画像信号処理を経た画像信号に対して、信号処理部1031は、ガンマ補正、ノイズ等の各種画像信号処理やノイズ除去を行う。さらには、不図示のAE機構やAF機構などの各種デバイスの制御も行う。
【0035】
104は、SDRAMである。SDRAM104は、CPU103と接続されている。また、SDRAM104は、DSP107とも接続されている。
【0036】
105は、外部記憶装置である。外部記憶装置105は、撮影画像を保存するためのメディアである。外部記憶装置105の例としては、例えば撮像装置に着脱自在なSDメモリカード(登録商標)、マルチメディアカード(登録商標)、xDピクチャカード(登録商標)、スマートメディア(登録商標)、に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光磁気ディスク等、種々の記録媒体を用いることができる。
【0037】
106は、外部表示装置である。外部表示装置106は、撮影直後の画像や外部記憶装置105から読み出した画像などを表示できる。また、外部表示装置106は、カメラの動作モードやホワイトバランス、画像の画素数、感度などマニュアル設定する際の各種のメニュー画面を表示させ、ユーザの操作に応じてマニュアル設定が可能なユーザーインタフェイス用の画面を表示する。外部表示装置106としては、例えば液晶や有機ELなどを用いることができる。
【0038】
107は、DSPである。DSP107は、SDRAM104と接続され、画像信号処理などを行う。
【0039】
200は、光学系である。光学系200は、レンズ光学系の他、不図示のレンズCPUや絞りなどを有している。
【0040】
本願発明における撮像装置の行う画像信号処理について、図2図3を用いて各実施例について説明する。尚、図2は、本願実施例1についてのフローチャートであり、図3は、本願実施例2についてのフローチャートである。
【0041】
ステップ#1は、読出制御部1011が、積層型固体撮像素子101より各画素から読み出す画像信号を制御する。尚、ステップ#1の読出制御部1011の制御については、後段にて説明する。
【0042】
ステップ#2は、ステップ#1にて読出制御部1011の制御により積層型固体撮像素子101より各画素から読み出した画像信号を画像信号並べ替え部1024が、ベイヤー型の画像信号へ並び替える。具体的な画像信号の並べ替え方法は、後段にて説明する。
【0043】
ステップ#4は、ステップ#2の画像信号並べ替え部1024からベイヤー型の画像信号へ並べ替えた画像信号が送られる。信号処理部1031が、画像信号処理を行う。具体的な画像信号処理の方法は、後段にて説明する。
【0044】
ステップ#6は、ステップ#4にて各種画像信号処理された画像信号をSDRAM104が一時的に保存する。SDRAM104から読み出され、外部表示装置106にプレビュー画像として表示され、外部記憶装置105に撮影画像として保存される。
【0045】
次に、実施例1のステップ#2「画像信号並べ替え」に代わる、実施例2のステップ#3「画像信号推定」とステップ#5「各種信号処理」について説明する。
【0046】
ステップ#3は、読出制御部1011の制御により積層型固体撮像素子101から送られてきた2層の画像信号より不足している1層の画像信号を画像信号推定部1021が推定する。推定する画像信号の画素(以下、当該画素とする)と隣接する画素のうち当該画素の不足している1層の画像信号と同じ色の画像信号を用いて、当該画素の不足している1層の画像信号を推定する。具体的な画像信号の推定方法は、後段の実施例2にて説明する。
【0047】
ステップ#5は、ステップ#3にて画像信号推定部1021にて推定された1層の画像信号と読出制御部1011によって読み出されていた2層の画像信号が送られ、画像信号合成部1022にて両信号を合成した後、画像信号処理部1031とDSP107にて各種画像信号処理が施される。
【実施例1】
【0048】
これまで説明した図2の本願発明のフローの画像信号読出#1、画像信号並べ替え#2、画像信号処理#4を、それぞれ図4を用いて、より具体的に以下に説明する。
【0049】
以下に、ステップ#1の画像信号読出について、説明する。
【0050】
ステップ#1の読出制御部1011の制御は、積層型固体撮像素子101の各画素にて3層の画像信号の中から2層の画像信号を選択して読み出す。選択する2層の画像信号の組み合わせは、赤色(R)と緑色(G)、青色(B)と緑色(G)、赤色(R)と青色(B)の3グループある。この3グループの中から、奇数行のすべての列の画素から緑色(G)と赤色(R)、偶数行のすべての列の画素から青色(B)と緑色(G)の2層の画像信号をそれぞれ読み出すこととする。尚、緑色(G)と赤色(R)をグループ1とし、青色(B)と緑色(G)をグループ2とする。
【0051】
ステップ#1にて、読出制御部1011が、全画素から2層の画像信号の読み出しを完了したので、ステップ#2に進む。
【0052】
次に、ステップ#2の画像信号並べ替えについて、図4を用いて説明する。尚、図4中の数字は座標を表し、座標は、(行,列)にて表記する。
【0053】
ステップ#2は、ステップ#1にて読出制御部1011により、積層型固体撮像素子101の各画素から読出された画像信号の配列を並べ替える。図4(a)は、読出制御部1011が積層型固体撮像素子101の各画素から2層の画像信号をそれぞれ読み出した状態の一部を示した図である。この2層の画像信号を画像信号並べ替え部1024が図4(b)に示すようにベイヤー型の画像信号配列へ並べ替える。
【0054】
具体的な並べ替え方法を説明する。図4(a)の座標(1,1)に積層される緑色(G)と赤色(R)は、図4(b)の座標(1,1)に赤色(R)、同じく座標(1,2)に緑色(G)がそれぞれ配置される。次に、図4(a)の座標(2,1)に積層される青色(B)と緑色(G)は、図4(b)の座標(2,1)に緑色(G)、同じく座標(2,2)に青色(B)がそれぞれ配置される。同様に、図4(a)の座標(1,2)に積層される緑色(G)と赤色(R)は、図4(b)の座標(1,3)に赤色(R)、同じく座標(1,4)に緑色(G)がそれぞれ配置され、図4(a)の座標(2,2)に積層される青色(B)と緑色(G)は、図4(b)の座標(2,3)に緑色(G)、同じく座標(2,4)に青色(B)がそれぞれ配置される。
【0055】
以上に説明したように、積層型固体撮像素子101から読み出した全画素について、積層された2層の画像信号を画像信号並べ替え部1024がベイヤー型の画像信号へと並べ替える。並べ替えた際に、図4(a)の2層の画像信号では、縦×横が2(画素)×2(画素)の画像信号は、図4(b)のベイヤー型の画像信号となると縦×横が2(画素)×4(画素)の画像信号となる。つまり、横長の画像信号となる。
【0056】
本実施例では、積層された2層の画像信号をベイヤー型の画像信号へ並べ替える際に、行方向へ展開した。しかし、ステップ#1にて読出制御部1011が各画素から読み出す2層の画像信号を本実施例から反時計回りに90°回転した場合と同様に、奇数列のすべての行の画素から青色(B)と緑色(G)、偶数列のすべての行の画素から緑色(G)と赤色(R)の2層の画像信号をそれぞれ読み出した後、2層の画像信号を列方向展開してベイヤー型の画像信号へ並べ替えることも可能である。
【0057】
画像信号並べ替え部1024が、全画素の画像信号の並べ替えが完了したので、ステップ#4へ進む。
【0058】
尚、ベイヤー型の画像信号へ並べ替えるためには、緑色(G)・青色(B)・赤色(R)がそれぞれ2:1:1の比率である必要がある。そのため、ステップ#1での読出制御部1011が読み出す画像信号のパターンは、青色(B)と緑色(G)のパターンと緑色(G)と赤色(R)のパターンの2種類の画像信号の2パターンである。
【0059】
次に、ステップ#4について、説明する。
【0060】
ステップ#4は、画像信号処理部1031がステップ#2から送られてきた画像信号について、適した画像信号処理を行う。具体的には、ステップ#2から送られてきた画像信号は、画像信号並べ替え部1024にて並べ替えられることで図4(b)ベイヤー型の画像信号となる。しかし、本実施例の並べ替え後のベイヤー型の画像信号は、行方向に展開したため、横長となっている。そこで、画像信号処理1031は、調整処理を行うことで、縦横を調整する。また、ステップ#2にてベイヤー型の画像信号へ並べ替える際に、本実施例とは異なり、列方向に展開した場合、縦長の画像信号となるが、横長の画像信号の場合と同様に画像信号処理部1031とDSP107はガンマ補正、ホワイトバランス補正、ノイズ除去、デモザイク処理等の各種画像信号処理をする。画像信号処理部1031が画像信号処理を行った後、ステップ#6へ進む。
【実施例2】
【0061】
次に、実施例2について説明する。実施例2は、実施例1のステップ#2「画像信号並べ替え」に変えてステップ#3「画像信号推定」となっている。この変更に伴って、実施例1のステップ#4「画像信号処理」の処理内容が変更になったためにステップ#5へ変更されている。尚、ステップ#1とステップ#6については、実施例1と同様であるので説明を省略する。
【0062】
以下に、ステップ#3について図5図6を用いて説明する。
【0063】
図5は、ステップ#3の画像信号推定のフローチャート図である。図6は、当該画素と周辺画素について説明する図である。図6の真ん中の画素を当該画素とし、図6枠(a)を隣接画素、同枠(b)を近傍画素とする。
【0064】
ステップ#31は、当該画素に不足している1層の画像信号の検索範囲に当該画素と接する8画素(図6の(a))(以下、隣接画素)を検索画素範囲として設定する。
【0065】
ステップ#32は、画像信号推定部1021がステップ#31又はステップ#34にて設定された検索画素範囲内に、当該画素に不足している1層の画像信号(以下、不足画素信号とする)を有しているか否かを判別する。具体的には、初めてステップ#32へ進んだ場合、ステップ#31にて設定した検索画素範囲内に画像信号推定部1021が推定するのに用いる当該画素の隣接画素のいずれかが、不足画像信号を有しているかを判別する。つまり、当該画素から行方向と列方向のどちらも検索する。ステップ#34を経てからステップ#32へ進んだ場合、ステップ#34にて設定された検索画素範囲内を同様に検索し判別する。その結果、検索画素範囲内に不足画像信号を有している場合、ステップ#33へ進む。検索画素範囲内に不足画像信号を有していない場合、ステップ#34へ進む。
【0066】
ステップ#33は、画像信号推定部1021が検索画素範囲内に位置する不足画像信号を有する画素から不足画像信号を読み出す。そして読み出した画像信号を用いて、画像信号推定部1021は、不足画像信号を推定する。不足画像信号を推定したら、#35へ進む。
【0067】
ステップ#34は、検索画素範囲をn画素分広げる。n=1とすると、本ステップは、隣接画素である図6枠(a)から近傍画素である図6枠(b)と外側へと行方向・列方向ともに1画素広げた範囲が新たな検索画素範囲となる。
【0068】
具体的には、ステップ#31にて不足画像信号の検索画素範囲を隣接画素である図6枠(a)と設定し、ステップ#32にて検索した結果、検索画素範囲内に不足画像信号を有さない場合、本ステップ#34は、検索画素範囲をn=1画素広げた近傍画素である図6枠(b)とする。
【0069】
ステップ#35は、撮像素子の全画素について、不足画像信号の推定が完了しているか判別する。完了している場合、RETURNへ進むので、ステップ#5へ進む。完了していない場合は、ステップ#32へ進む。
【0070】
ステップ#5について、説明する。
【0071】
画像信号合成部1022には、ステップ#3にて推定した1層の画像信号とステップ#1にて当該画素から読み出した2層の画像信号とが送られてくる。推定した1層の画像信号と当該画素から読み出した2層の画像信号は、画像信号合成部1022が両信号を合成して、積層型の画像信号を作成する。その後、画像信号処理部1031とDSP107によって、ガンマ補正、ホワイトバランス補正、ノイズ除去等の各種画像信号処理が施される。画像信号処理を行った後、ステップ#6へ進む。
【0072】
ステップ#6は、実施例1と同様であるので説明は省略する。
【0073】
次に、ステップ#32について、図6を用いて説明する。図6の場合、真ん中の当該画素の不足画像信号は、赤色(R)となる。ステップ#32は、検索画素範囲に赤色(R)を有している画素があるか否かを判別する。従って、初めてステップ#32に進んだ場合、隣接画素のうち当該画素の上下の行の画素が赤色(R)を有するので、ステップ#33へ進む。
【0074】
一方、図6枠(a)の中のすべての画素が青色(B)と緑色(G)であった場合、つまり隣接画素の中に、不足画像信号がなかった場合、不足画像信号はないので、ステップ#34へ進む。
【0075】
次に、ステップ#33にて行っている不足画像信号の推定方法を説明する。
【0076】
具体的に実施例2は、ステップ#1にて各画素からすでに画像信号は読み出していることから、当該画素の不足画像信号は当該画素の位置によって決まる。この時、推定する当該画素が奇数行(図6では、上から2段目と4段目が該当する。)に位置する場合、ステップ#1にて当該画素から読み出した2層の画像信号は、グループ1の緑色(G)と赤色(R)となる。従って、不足画像信号つまり推定する画像信号は、青色(B)となる。次に、当該画素の隣接画素のうち、青色(B)の画像信号を有するのは、ステップ#1にてグループ2の青色(B)と緑色(G)を読み出した偶数行(図6では、上から1段目と3段目と5段目が該当する。)に位置する画素となる。従って、当該画素の隣接画素のうち6画素が青色(B)の画像信号を有する。この6画素の青色(B)の画像信号の平均を当該画素の不足している青色(B)の画像信号とする。
【0077】
また、推定する当該画素が偶数行(図6では、上から1段目と3段目と5段目が該当する。)に位置する場合、ステップ#1にて読み出した2層の画像信号は、グループ2の青色(B)と緑色(G)となる。従って、不足画像信号つまり推定する画像信号は、赤色(R)となる。以降の手順は、前述した当該画素が奇数行に位置する場合と同様となり、当該画素の隣接画素のうち、赤色(R)の画像信号を有するのは、ステップ#1にてグループ1の緑色(G)と赤色(R)を読み出した奇数行(図6では、上から2段目と4段目が該当する。)に位置する画素となる。従って、当該画素の隣接画素のうち6画素が赤色(R)の画像信号を有する。この6画素の赤色(R)の画像信号の平均を当該画素の不足している赤色(R)の画像信号とする。
【0078】
以上、実施例2の説明を終了する。
【0079】
また、実施例2にて、上述したように不足画像信号を当該画素の周辺の画素から不足画像信号と同じ色の画像信号を基に推定する方法に、以下の方法もある。
【0080】
不足画像信号を色差を用いて推定する。以下に、具体的に説明する。
【0081】
不足画像信号が青色(B)の場合
【0082】
画像信号推定部1021は、ステップ#32では、不足画像信号である青色(B)を有する画素が検索画素範囲内に有無を判別する。判別方法の具体的な方法は、本ステップの時点で検索画素範囲内の各画素からステップ#1にて読出制御部1011がどの画像信号を読み出したのか分かっている。そこで、画像信号推定部1021は、当該画素の不足信号が検索画素範囲内の画素に含まれているか判別することが可能となる。青色(B)を有する画素は、ステップ#1にて青色(B)と緑色(G)を読み出した画素である。つまり、隣接画素に青色(B)と緑色(G)を有する画素の有無を判別する。隣接画素に青色(B)と緑色(G)を有する画素が含まれていた場合、ステップ#33へ進む。次に、隣接画素に、青色(B)と緑色(G)を有する画素がなかった場合、ステップ#34へ進む。
【0083】
ステップ#33は、画像信号推定部1021が各画素の青色(B)と緑色(G)から、それぞれ青色(B)−緑色(G)の色差を算出し、算出された各画素の青色(B)−緑色(G)の平均値を平均値aとする。この平均値aを当該画素の緑色(G)に加算することで、不足画像信号の青色(B)とする。
【0084】
他のステップは、前述した実施例2と同様である。
【0085】
次に、不足画像信号が赤色(R)とした場合
【0086】
不足画像信号が青色(B)の時と同様に、画像信号推定部1021は、ステップ#32では、検索画素範囲内である隣接画素に赤色(R)と緑色(G)を有する画素の有無を判別し、ステップ#33では、各画素の赤色(R)と緑色(G)から、それぞれ赤色(R)−緑色(G)の色差を算出し、算出された各画素の赤色(R)−緑色(G)の平均値を平均値bとし、当該画素の緑色(G)に平均値bを加算することで、不足画像信号の赤色(R)とする。
【0087】
また、不足画像信号が緑色(G)とした場合
【0088】
不足画像信号が青色(B)と赤色(R)の時と同様に、画像信号推定部1021は、ステップ#32では、検索画素範囲内である隣接画素に緑色(G)と青色(B)を有する画素の有無を判別し、ステップ#33では、各画素の緑色(G)と青色(B)から、それぞれ緑色(G)−青色(B)の色差を算出し、算出された各画素の緑色(G)−青色(B)の平均値を平均値cとし、当該画素の青色(B)に平均値cを加算することで、不足画像信号の緑色(G)とする。
【0089】
更には、不足画像信号を色比を用いて推定する。これまで説明してきた色差を用いて推定する方法とは、不足画像信号を推定する際の計算方法のみ異なる。以下に、具体的に説明する。
【0090】
不足画像信号が青色(B)の場合
【0091】
画像信号推定部1021は、ステップ#32では、色差の場合と同様に隣接画素に青色(B)と緑色(G)を有する画素の有無を判別する。
ステップ#33では、各画素の青色(B)と緑色(G)から、それぞれ青色(B)/緑色(G)を算出し、算出された青色(B)/緑色(G)の平均値を平均値dとする。この平均値dを当該画素の緑色(G)に積算することで、不足画像信号の青色(B)とする。
【0092】
不足画像信号が赤色(R)の場合
【0093】
画像信号推定部1021は、ステップ#32では、隣接画素に赤色(R)と緑色(G)を有する画素の有無を判別する。
ステップ#33では、各画素の赤色(R)と緑色(G)から、それぞれ赤色(R)/緑色(G)を算出し、算出された赤色(R)/緑色(G)の平均値を平均値eとする。この平均値eを当該画素の緑色(G)に積算することで、不足画像信号の赤色(R)とする。
【0094】
不足画像信号が緑色(G)の場合
【0095】
画像信号推定部1021は、ステップ#32では、隣接画素に青色(B)と赤色(R)を有する画素の有無を判別する。ステップ#33では、各画素の緑色(G)と青色(B)から、それぞれ緑色(G)/青色(B)を算出し、算出された緑色(G)/青色(B)の平均値を平均値fとする。この平均値fを当該画素の青色(B)に積算することで、不足画像信号の緑色(G)とする。
【0096】
尚、上述したように色差・色比にて不足画像信号を推定する際のステップ#32について、検索画素範囲を隣接画素としているが、ステップ#34を経てステップ#32へ進んだ場合、ステップ#34にて設定した範囲を検索することは言うまでもない。
【0097】
以上、これまで説明した実施例2では、検索画素範囲を行方向・列方向の両方向を対象に用いて画像信号推定を行っていた。しかし、列方向のみを対象としてもよい。具体的には、ステップ#32に不足画素信号を検索する画素範囲を当該画素から列方向のみとし、ステップ#34にて検索画素範囲を広げる際には列方向のみとする。
【0098】
以降のフローは、実施例2と同様となるので省略する。
【0099】
以上のことから、本願発明により、各画素より2層の画像信号を読み出すので3層の画像信号を読み出すのに比べると読み出し量を削減することができる。読み出し量を削減することで、画像信号読み出しに要する時間を削減することとなる。
【0100】
本願発明の実施例では、3層が積層された積層型固体撮像素子を用いて説明したが、本願発明は3層に限らずそれ以上の積層型固体撮像素子を用いても問題ないことは言うまでもない。また、4層以上の積層型固体撮像素子となっても読出制御部1011が読み出す画像信号は2つである。
【0101】
また、読出制御部1011が読み出す2つの画像信号のうち、1つを緑色(G)とすることで、人間の眼の視覚感度が高い緑色(G)に積層型固体撮像素子の検出した緑色(G)の画像信号を用いることとなる。その結果、各実施例にて最終的に保存された画像信号は、解像感のある画像信号となる。
【0102】
さらに、積層型固体撮像素子の検出した緑色(G)の画像信号を用いることでベイヤー型の並べ替えや画像信号推定に正確な輝度情報を用いることとなる。よって、ベイヤー型の画像信号に並べ替えても、画像信号を推定しても偽色の少ない画像信号となる。
【0103】
また、画像信号の読み出しに要する時間を削減することで画像歪みであるローリングシャッタ現象を抑制することが可能となる。
【0104】
さらには、ベイヤー型固体撮像素子の場合、各画素から1層の画像信号を読み出し、残りの2層の画像信号は読み出した1層の画像信号から推定して作り出す。一方、本願発明は、各画素から2層の画像信号を読み出し、残りの1層の画像信号を読み出した2層の画像信号から推定して作り出している。以上のことから、本願発明は、推定して作り出す画像信号の偽色の発生を抑制することが可能となる。
【0105】
その他にも本発明は、積層型の画像信号をベイヤー型の画像信号に変換することで、ベイヤー型の画像信号を処理するための画像信号処理回路を用いることが可能となる。よって、積層型の画像信号用に画像信号処理回路を製作しなくて済むため、コストを抑えることが可能となる。
【符号の説明】
【0106】
100 撮像装置
101 積層型固体撮像素子
1011 読出制御部
102 FPGA
1021 画像信号推定部
1022 画像信号合成部
1024 画像信号並べ替え部
103 CPU
1031 各種信号処理部
104 SDRAM
105 外部記憶装置
106 外部表示装置
107 DSP
200 光学系
図1
図2
図3
図4
図5
図6