(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022122350
(43)【公開日】2022-08-23
(54)【発明の名称】撮像装置及び撮像装置の制御方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20220816BHJP
H04N 5/369 20110101ALI20220816BHJP
H04N 9/07 20060101ALI20220816BHJP
G06T 3/40 20060101ALI20220816BHJP
【ＦＩ】
H04N5/232 290
H04N5/369
H04N9/07 A
G06T3/40 740
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021019508
(22)【出願日】2021-02-10
(71)【出願人】
【識別番号】000131326
【氏名又は名称】株式会社シグマ
(72)【発明者】
【氏名】荒尾 考洋
(72)【発明者】
【氏名】上原 伊音
(72)【発明者】
【氏名】清水 悠司
(72)【発明者】
【氏名】安田 哲也
【テーマコード（参考）】
5B057
5C024
5C065
5C122
【Ｆターム（参考）】
5B057BA12
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CD06
5B057CD09
5B057CE02
5B057CE08
5B057CH20
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5C024DX01
5C024EX04
5C024EX05
5C024EX42
5C024HX01
5C065CC01
5C065DD01
5C122DA04
5C122EA38
5C122FC01
5C122FC02
5C122FH18
5C122HA82
5C122HB01
5C122HB10
(57)【要約】
【課題】画素ずらしにより高解像度化された画像データを取得する撮像装置及びその制御方法において、画素ずらしにより取得すべき画像データの枚数を少なくし、合成処理する画像データの情報量を抑える。
【解決手段】
撮影レンズと、積層構造の撮像素子と、画素ずらし機構と、画素ずらし合成処理部を備え、前記画素ずらし合成処理部は、画素ずらしにより取得された２枚の画像データを入力する画像データ入力部と、２枚の画像データをそれぞれ構成する各層の画像データをずらして配置する画像データ配置部と、ずらして配置された各層の画像データから再サンプリング処理により各層の画像データを再生成する再サンプリング部と、再生成された各層の画像データを用いて画素混合処理により１枚の画像データを生成する画素混合部と、画素混合処理により生成された１枚の画像データを出力する画像データ出力部を備える撮像装置を提供する。
【選択図】図１
【解決手段】
撮影レンズと、積層構造の撮像素子と、画素ずらし機構と、画素ずらし合成処理部を備え、前記画素ずらし合成処理部は、画素ずらしにより取得された２枚の画像データを入力する画像データ入力部と、２枚の画像データをそれぞれ構成する各層の画像データをずらして配置する画像データ配置部と、ずらして配置された各層の画像データから再サンプリング処理により各層の画像データを再生成する再サンプリング部と、再生成された各層の画像データを用いて画素混合処理により１枚の画像データを生成する画素混合部と、画素混合処理により生成された１枚の画像データを出力する画像データ出力部を備える撮像装置を提供する。
【選択図】図１
【特許請求の範囲】
【請求項1】
画素ずらしにより取得された複数枚の画像データを用いて合成処理により通常の画像データよりも高解像度化された画像データを生成する撮像装置であって、
被写体光を被写体像として結像面へ結像させる撮影レンズと、被写体像を画像信号に変換する光電変換部が積層された積層構造の撮像素子と、被写体像と前記積層構造の撮像素子との相対位置を光軸に垂直な平面上でシフトさせる画素ずらし機構と、画素ずらしにより取得された複数枚の画像データから合成処理により１枚の画像データを生成する画素ずらし合成処理部を備え、
前記画素ずらし合成処理部は、画素ずらしにより取得された２枚の画像データを入力する画像データ入力部と、２枚の画像データをそれぞれ構成する各層の画像データをずらして配置する画像データ配置部と、ずらして配置された各層の画像データから再サンプリング処理により各層の画像データを再生成する再サンプリング部と、再生成された各層の画像データを用いて画素混合処理により１枚の画像データを生成する画素混合部と、画素混合処理により生成された１枚の画像データを出力する画像データ出力部を備えることを特徴とする撮像装置。
被写体光を被写体像として結像面へ結像させる撮影レンズと、被写体像を画像信号に変換する光電変換部が積層された積層構造の撮像素子と、被写体像と前記積層構造の撮像素子との相対位置を光軸に垂直な平面上でシフトさせる画素ずらし機構と、画素ずらしにより取得された複数枚の画像データから合成処理により１枚の画像データを生成する画素ずらし合成処理部を備え、
前記画素ずらし合成処理部は、画素ずらしにより取得された２枚の画像データを入力する画像データ入力部と、２枚の画像データをそれぞれ構成する各層の画像データをずらして配置する画像データ配置部と、ずらして配置された各層の画像データから再サンプリング処理により各層の画像データを再生成する再サンプリング部と、再生成された各層の画像データを用いて画素混合処理により１枚の画像データを生成する画素混合部と、画素混合処理により生成された１枚の画像データを出力する画像データ出力部を備えることを特徴とする撮像装置。
【請求項2】
前記画素ずらし機構は、前記積層構造の撮像素子を光軸に垂直な方向へ移動させることにより、被写体像と前記積層構造の撮像素子との相対位置を光軸に垂直な平面上でシフトさせることを特徴とする請求項１に記載の撮像装置。
【請求項3】
前記画素ずらし機構は、前記撮影レンズの全部又は一部を光軸に垂直な方向へ移動させることにより、被写体像と前記積層構造の撮像素子との相対位置を光軸に垂直な平面上でシフトさせることを特徴とする請求項１に記載の撮像装置。
【請求項4】
前記画素ずらし機構は、被写体像と前記積層構造の撮像素子との相対位置を光軸に垂直な平面上でＸＹ方向に前記積層構造の撮像素子の画素ピッチの１／２だけシフトさせることを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
【請求項5】
前記画素ずらし合成処理部は、前記積層構造の撮像素子を用いて画素ずらしにより取得された２枚の画像データをそれぞれ構成する各層の画像データを輝度層と色層とに分け、
再サンプリング処理により、輝度層において通常の画像データよりも高解像度化された画像データを再生成し、色層において通常の画像データよりも低解像度化された画像データを再生成することを特徴とする請求項１乃至請求項４のいずれかに記載の撮像装置。
再サンプリング処理により、輝度層において通常の画像データよりも高解像度化された画像データを再生成し、色層において通常の画像データよりも低解像度化された画像データを再生成することを特徴とする請求項１乃至請求項４のいずれかに記載の撮像装置。
【請求項6】
前記画素ずらし合成処理部は、前記積層構造の撮像素子を用いて画素ずらしにより取得された２枚の画像データをそれぞれ構成する各層の画像データのうち最もコントラストの高い層の画像データを輝度層とし、それ以外の層の画像データを色層とすることを特徴とする請求項５に記載の撮像装置。
【請求項7】
前記画素ずらし合成処理部は、前記積層構造の撮像素子を用いて画素ずらしにより取得された２枚の画像データをそれぞれ構成する各層の画像データのうち最も信号値の高い層の画像データを輝度層とし、それ以外の層の画像データを色層とすることを特徴とする請求項５に記載の撮像装置。
【請求項8】
画素ずらしにより取得された複数枚の画像データを用いて合成処理により通常の画像データよりも高解像度化された画像データを生成する撮像装置の制御方法であって、
積層構造の撮像素子を用いて画素ずらしにより２枚の画像データを取得する画像データ取得ステップと、取得された２枚の画像データを入力する画像データ入力ステップと、入力された２枚の画像データをそれぞれ構成する各層の画像データをずらして配置する画像データ配置ステップと、再サンプリング処理によりずらして配置された各層の画像データを用いて各層の画像データを再生成する再サンプリング処理ステップと、画素混合処理により再生成された各層の画像データを用いて１枚の画像データを生成する画素混合処理ステップと、生成された１枚の画像データを出力する画像データ出力ステップを有することを特徴とする撮像装置の制御方法。
積層構造の撮像素子を用いて画素ずらしにより２枚の画像データを取得する画像データ取得ステップと、取得された２枚の画像データを入力する画像データ入力ステップと、入力された２枚の画像データをそれぞれ構成する各層の画像データをずらして配置する画像データ配置ステップと、再サンプリング処理によりずらして配置された各層の画像データを用いて各層の画像データを再生成する再サンプリング処理ステップと、画素混合処理により再生成された各層の画像データを用いて１枚の画像データを生成する画素混合処理ステップと、生成された１枚の画像データを出力する画像データ出力ステップを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子により画像データを取得する撮像装置及びその制御方法に関する。特に、光電変換部が積層された積層構造の撮像素子を採用し、画素ずらしにより高解像度化された画像データを取得する撮像装置及びその制御方法に関する。
【背景技術】
【0002】
従来、色フィルタを有する撮像素子により画像データを取得する撮像装置が普及している。色フィルタを有する撮像素子を構成する各画素において、光電変換部であるフォトダイオードの前方には赤色（Ｒ）、緑色（Ｇ）または青色（Ｂ）のいずれかの色フィルタがそれぞれ配置されている。これにより、各画素に配置された色フィルタに対応する波長成分の画素値をフォトダイオードによりそれぞれ取得することができる。そして、各画素で取得した画素値の配列を画像データとして取得し、この画像データをデモザイク処理することにより記録用の画像データを取得する。
【0003】
また、画素ずらしにより高解像度化された画像データを取得する撮像装置が知られている。画素ずらしでは、撮像素子や撮影レンズの全部または一部を光軸に垂直な平面上でシフトさせて複数枚の画像データを取得する。そして、取得した複数枚の画像データを合成処理して最終的に高解像度化された画像データを取得することができる。
【0004】
特許文献１には、画素ずらしにより取得した４枚の画像データを合成処理して画像データを取得する電子スチルカメラが開示されている。さらに、画素ずらしにより取得した８枚の画像データを合成処理してより高画質な画像データを取得することができる電子スチルカメラが開示されている。
【0005】
特許文献２には、画素ずらしにより取得した８枚の画像データを合成処理して画像データを取得する撮像装置が開示されおり、画素ずらしにより取得した画像データを合成処理する前に色収差補正を行うことでバッファメモリの容量を抑えることができる撮像装置が開示されている。
【0006】
また、複数のフォトダイオードを積層して構成することにより、垂直色分離された被写体光の波長成分に対応する各画素値を各画素においてそれぞれ直接取得することができる撮像素子が知られている。以下、このような撮像素子を積層構造の撮像素子と示す場合がある。
【0007】
特許文献３には、積層構造の撮像素子（Ｖｅｒｔｉｃａｌ ｃｏｌｏｒ ｆｉｌｔｅｒ ｓｅｎｓｏｒ ｇｒｏｕｐ ａｒｒａｙ）が開示されており、さらに積層構造の撮像素子の配線構造の複雑さを解消するために最上位層をフル解像度とし、これより下位層を低解像度とする撮像素子が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平６－２２５３１７号公報
【特許文献2】特開２０１７－４６１８６号公報
【特許文献3】米国特許第７３３９２１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、上記の特許文献等に開示された従来技術には次の課題がある。
【0010】
色フィルタを有する撮像素子において、各画素はそれぞれの色フィルタに対応する１つの画素値しか取得できない。このため、特に一般的なベイヤー式の配列パターンを採用する色フィルタを有する撮像素子を用いて画素ずらしにより高解像度化された画像データを取得するには、画素ずらしにより８枚の画像データを取得しなければならない。画素ずらしにおいて取得すべき画像データの数が多くなると、画像データを取得するための時間や、画像データに対して補正処理や合成処理等をするための時間が長くなってしまう。また、複数枚の画像データを記録するために必要なバッファメモリの容量が大きくなってしまう。
【0011】
色フィルタを有する撮像素子を用いて画素ずらしにより８枚より少ない画像データを取得して高解像度化された画像データを合成処理する場合、高解像度化された画像データの色フィルタの配列を通常の画像データと同じにすることができず、これを補うための補間処理や置換処理等が必要となってしまう。さらに、この場合には、合成処理により最終的に取得される高解像度化された画像データを高画質で取得することが難しくなる。
【0012】
一方、積層構造の撮像素子は被写体光の波長成分に対応する画素値を各画素においてそれぞれ直接取得することができる。このため、積層構造の撮像素子を用いて画素ずらしにより高解像度化された画像データを取得する場合には、画素ずらしにより取得すべき画像データの数を少なくすることができる。
【0013】
しかしながら、積層構造の撮像素子により取得された画像データの各層は被写体光の波長成分ごとに同程度の情報量の画像データをそれぞれ有しているため、積層構造の撮像素子により取得される画像データの情報量は非常に大きくなってしまう。積層構造の撮像素子を採用して画素ずらしにおいて取得された画像データの情報量が大きくなると、画像データを転送処理するための負担や合成処理を行うための負担が大きくなってしまう。
【課題を解決するための手段】
【0014】
上記の課題を解決するため、第１の発明に係る撮像装置は、画素ずらしにより取得された複数枚の画像データを用いて合成処理により通常の画像データよりも高解像度化された画像データを生成する撮像装置であって、被写体光を被写体像として結像面へ結像させる撮影レンズと、被写体像を画像信号に変換する光電変換部が積層された積層構造の撮像素子と、被写体像と前記積層構造の撮像素子との相対位置を光軸に垂直な平面上でシフトさせる画素ずらし機構と、画素ずらしにより取得された複数枚の画像データから合成処理により１枚の画像データを生成する画素ずらし合成処理部を備え、前記画素ずらし合成処理部は、画素ずらしにより取得された２枚の画像データを入力する画像データ入力部と、２枚の画像データをそれぞれ構成する各層の画像データをずらして配置する画像データ配置部と、ずらして配置された各層の画像データから再サンプリング処理により各層の画像データを再生成する再サンプリング部と、再生成された各層の画像データを用いて画素混合処理により１枚の画像データを生成する画素混合部と、画素混合処理により生成された１枚の画像データを出力する画像データ出力部を備えることを特徴とする。
【0015】
また、第２の発明に係る撮像装置は、前記画素ずらし機構は、前記積層構造の撮像素子を光軸に垂直な方向へ移動させることにより、被写体像と前記積層構造の撮像素子との相対位置を光軸に垂直な平面上でシフトさせることを特徴とする。
【0016】
また、第３の発明に係る撮像装置は、前記画素ずらし機構は、前記撮影レンズの全部又は一部を光軸に垂直な方向へ移動させることにより、被写体像と前記積層構造の撮像素子との相対位置を光軸に垂直な平面上でシフトさせることを特徴とする。
【0017】
また、第４の発明に係る撮像装置は、前記画素ずらし機構は、被写体像と前記積層構造の撮像素子との相対位置を光軸に垂直な平面上でＸＹ方向に前記積層構造の撮像素子の画素ピッチの１／２だけシフトさせることを特徴とする。
【0018】
また、第５の発明に係る撮像装置は、前記画素ずらし合成処理部は、前記積層構造の撮像素子を用いて画素ずらしにより取得された２枚の画像データをそれぞれ構成する各層の画像データを輝度層と色層とに分け、再サンプリング処理により、輝度層において通常の画像データよりも高解像度化された画像データを再生成し、色層において通常の画像データよりも低解像度化された画像データを再生成することを特徴とする。
【0019】
また、第６の発明に係る撮像装置は、前記画素ずらし合成処理部は、前記積層構造の撮像素子を用いて画素ずらしにより取得された２枚の画像データをそれぞれ構成する各層の画像データのうち最もコントラストの高い層の画像データを輝度層とし、それ以外の層の画像データを色層とすることを特徴とする。
【0020】
また、第７の発明に係る撮像装置は、前記画素ずらし合成処理部は、前記積層構造の撮像素子を用いて画素ずらしにより取得された２枚の画像データをそれぞれ構成する各層の画像データのうち最も信号値の高い層の画像データを輝度層とし、それ以外の層の画像データを色層とすることを特徴とする。
【0021】
また、第８の発明に係る撮像装置の制御方法は、画素ずらしにより取得された複数枚の画像データを用いて合成処理により通常の画像データよりも高解像度化された画像データを生成する撮像装置の制御方法であって、積層構造の撮像素子を用いて画素ずらしにより２枚の画像データを取得する画像データ取得ステップと、取得された２枚の画像データを入力する画像データ入力ステップと、入力された２枚の画像データをそれぞれ構成する各層の画像データをずらして配置する画像データ配置ステップと、再サンプリング処理によりずらして配置された各層の画像データを用いて各層の画像データを再生成する再サンプリング処理ステップと、画素混合処理により再生成された各層の画像データを用いて１枚の画像データを生成する画素混合処理ステップと、生成された１枚の画像データを出力する画像データ出力ステップを有することを特徴とする。
【発明の効果】
【0022】
本発明によれば、画素ずらしにより取得された複数枚の画像データを用いて合成処理により通常の画像データよりも高解像度化された画像データを生成する撮像装置及び撮像装置の制御方法において、被写体像を画像信号に変換する光電変換部が積層された積層構造の撮像素子を用いることにより、画素ずらしにより取得すべき画像データの枚数を少なくすることができる。
【0023】
また、積層構造の撮像素子を用いて画素ずらしにより取得された２枚の画像データをそれぞれ構成する各層の画像データを輝度層と色層とに分け、再サンプリング処理により、輝度層において通常の画像データよりも高解像度化された画像データを再生成し、色層において通常の画像データよりも低解像度化された画像データを再生成することにより、積層構造の撮像素子を用いて画素ずらしにより複数枚の画像データを取得する撮像装置及び撮像装置の制御方法であっても、合成処理する画像データの情報量を抑え、画像データの転送や画像処理にかかる負担が増大することを抑えることができる。
【図面の簡単な説明】
【0024】
【図1】本実施例の撮像装置を示すシステムブロック図である。
【図2】３層構造の撮像素子の深さ方向の構造を示す模式図である。
【図3】画素ずらしにより取得された２枚の画像データの配置方法を示す模式図である。
【図4】各層の画像データが画素ピッチＰに基づいてずらして配置された様子を示す模式図である。
【図5】輝度層の再サンプリング処理の方法について説明する模式図である。
【図6】色層の再サンプリング処理の方法について説明する模式図である。
【図7】本実施例の撮像装置の撮影動作の各ステップを示すフローチャートである。
【図8】画素ずらしによる画像データ取得の各ステップを示すフローチャートである。
【図9】画素ずらし合成処理の各ステップを示すフローチャートである。
【図10】画素混合処理の各ステップを示すフローチャートである。
【発明を実施するための形態】
【0025】
以下、本発明に係る撮像装置及び撮像装置の制御方法の実施例について図面を用いて詳細に説明する。本実施例の説明では、本発明の技術的特徴を説明するために必要な構成要素を挙げて説明する。
【0026】
（図１：撮像装置の構成要素）
図１を用いて、本実施例の撮像装置の構成要素について説明する。図１は、本実施例の撮像装置を示すシステムブロック図である。図１において、１００は撮像装置、１１０は撮影レンズ、１２０は撮像素子、１３０はシフト機構、１４０は画素ずらし合成処理部、１５０はバス、１６０はＤＲＡＭ、１７０は外部メモリを示す。
図１を用いて、本実施例の撮像装置の構成要素について説明する。図１は、本実施例の撮像装置を示すシステムブロック図である。図１において、１００は撮像装置、１１０は撮影レンズ、１２０は撮像素子、１３０はシフト機構、１４０は画素ずらし合成処理部、１５０はバス、１６０はＤＲＡＭ、１７０は外部メモリを示す。
【0027】
（図１：撮像装置の構成要素）
撮影レンズ１１０は被写体光を被写体像として結像面へ結像させる光学系である。撮像素子１２０は結像面に２次元配列された光電変換部であるフォトダイオードにより被写体像を画像信号（アナログ信号）に変換して取得する。本実施例の撮像装置１００は、撮像素子１２０に積層構造の撮像素子を採用している。積層構造の撮像素子については後述する。
撮影レンズ１１０は被写体光を被写体像として結像面へ結像させる光学系である。撮像素子１２０は結像面に２次元配列された光電変換部であるフォトダイオードにより被写体像を画像信号（アナログ信号）に変換して取得する。本実施例の撮像装置１００は、撮像素子１２０に積層構造の撮像素子を採用している。積層構造の撮像素子については後述する。
【0028】
シフト機構１３０は撮像素子１２０を光軸に垂直な方向へ移動させる。本実施例の撮像装置１００において、シフト機構１３０は被写体像と撮像素子１２０との相対位置を光軸に垂直な平面上でシフトさせる画素ずらし機構として機能する。画素ずらし機構については後述する。
【0029】
撮像素子１２０により取得された画像信号の配列は不図示のＡ／Ｄ変換部等によりデジタル信号に変換され、画像データとして取得される。画像データはバス１５０を介してＤＲＡＭ１６０へ転送され、一時的に保持される。
【0030】
本実施例の撮像装置１００において、画素ずらし機構であるシフト機構１３０により光軸に垂直な方向へ移動された撮像素子１２０は移動されたそれぞれの位置において画像データを取得する。これにより取得された複数枚の画像データはＤＲＡＭ１６０において一時的に保持される。
【0031】
ＤＲＡＭ１６０において一時的に保持された複数枚の画像データはバス１５０を介して画素ずらし合成処理部１４０へ転送される。画素ずらし合成処理部１４０は、複数枚の画像データを用いて合成処理により最終的に高解像度化された１枚の画像データを生成する。画素ずらし合成処理部１４０については後述する。
【0032】
最終的に高解像度化された１枚の画像データはバス１５０を介して外部メモリ１７０へ転送され、保存される。
【0033】
（図１：積層構造の撮像素子）
次に、積層構造の撮像素子について説明する。積層構造の撮像素子とは、光電変換部であるフォトダイオードが積層して構成された撮像素子のことをいう。特に、本実施例では、積層構造の撮像素子について、光電変換部であるフォトダイオードが深さ方向に３層に積層して構成された３層構造の撮像素子を採用している。
次に、積層構造の撮像素子について説明する。積層構造の撮像素子とは、光電変換部であるフォトダイオードが積層して構成された撮像素子のことをいう。特に、本実施例では、積層構造の撮像素子について、光電変換部であるフォトダイオードが深さ方向に３層に積層して構成された３層構造の撮像素子を採用している。
【0034】
（図２：３層構造の撮像素子）
図２は、３層構造の撮像素子について断面の構造を示す模式図である。図２Ａに示すように、３層構造の撮像素子を構成する各画素は、深さ方向に順に、青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）のフォトダイオードが積層されて構成されている。これにより、各画素において、各色に対応する画素値をそれぞれ直接取得することができる。
図２は、３層構造の撮像素子について断面の構造を示す模式図である。図２Ａに示すように、３層構造の撮像素子を構成する各画素は、深さ方向に順に、青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）のフォトダイオードが積層されて構成されている。これにより、各画素において、各色に対応する画素値をそれぞれ直接取得することができる。
【0035】
また、図２Ｂに示すように、各画素において取得された各色に対応する画素値の配列は、各色に対応する各層の画像データとして取得される。本実施例では、３層構造の撮像素子を用いて取得された各層の画像データを１組として１枚の画像データと呼ぶこととする。
【0036】
フォトダイオードの材料として用いられるシリコン等の半導体には、入射光の各波長成分ごとに透過深さによる吸収率が異なるという性質がある。この半導体の性質により、入射光の各波長成分のうち、波長の短い光成分ほどより半導体の浅い部分で吸収され、波長の長い光成分ほど半導体のより深い部分で吸収される。
【0037】
積層構造の撮像素子は、この半導体の性質を利用したものであり、シリコン等からなるフォトダイオードを積層して構成することにより、入射光を各波長成分ごとに垂直色分離することができる。これにより、積層構造の撮像素子では、各画素において各色に対応する画素値をそれぞれ直接取得することができる。したがって、積層構造の撮像素子では、色フィルタ付き撮像素子と比較して、フォトダイオードの上方に入射光を色分離するための色フィルタを配置する必要がなく、画像データの取得において偽色の発生要因となるデモザイク処理を必要としない。
【0038】
本実施例の撮像装置１００は、撮像素子１２０に積層構造の撮像素子を用いることにより、画素ずらしにより取得すべき画像データの枚数を少なくすることができる。
【0039】
色フィルタ付き撮像素子には、各色に対応する画素値を取得するための色フィルタが各画素ごとに配置されている。各画素ごとに配置された色フィルタは、例えばベイヤー配列のように色フィルタ付き撮像素子の平面上で規則的に２次元配列されている。
【0040】
色フィルタ付き撮像素子を用いて画像データを取得する場合、まず、各画素ごとに各色に対応する画素値がそれぞれ取得され、各画素の画素値は配列として取得される。そして、この各画素の画素値の配列に対してデモザイク処理を行うことにより画像データを生成する。
【0041】
色フィルタ付き撮像素子を用いて画素ずらしにより複数枚の画像データを取得する場合にも同様に、デモザイク処理を前提とした画素値の配列を構成する必要がある。しかしながら、デモザイク処理を前提とした画素値の配列を複数枚の画像データにより構成するには多くの枚数の画像データを取得しなければならない。
【0042】
これに対して、積層構造の撮像素子は、各画素ごとに各色に対応する画素値をそれぞれ直接取得することができる。積層構造の撮像素子を用いて画素ずらしにより複数枚の画像データを取得する場合には、色フィルタ付き撮像素子を用いる場合とは異なり、デモザイク処理を前提とした画素値の配列を構成する必要がない。
【0043】
したがって、積層構造の撮像素子を用いて画素ずらしにより複数枚の画像データを取得する場合には、画素ずらしにより取得すべき画像データの枚数を少なくすることができ、少なくとも２枚の画像データを取得するだけで、これらに対して合成処理を行うことにより通常の画像データよりも高解像度化された画像データを生成することができる。
【0044】
特に、本実施例の撮像装置１００は、３層構造の撮像素子を用いて画素ずらしにより２枚の画像データを取得し、これらに対して合成処理を行うことにより通常の画像データよりも高解像度化された画像データを生成する。
【0045】
（図１：画素ずらし機構）
次に、画素ずらし機構について説明する。本実施例では、撮像素子１２０を光軸に垂直な平面上でシフトさせるシフト機構１３０を画素ずらし機構として採用している。シフト機構１３０により被写体像と撮像素子１２０との相対位置を光軸に垂直な平面上でシフトさせることができる。シフト機構１３０の駆動手段は、たとえばボイスコイルモータ等である。
次に、画素ずらし機構について説明する。本実施例では、撮像素子１２０を光軸に垂直な平面上でシフトさせるシフト機構１３０を画素ずらし機構として採用している。シフト機構１３０により被写体像と撮像素子１２０との相対位置を光軸に垂直な平面上でシフトさせることができる。シフト機構１３０の駆動手段は、たとえばボイスコイルモータ等である。
【0046】
シフト機構１３０は、撮像素子１２０を光軸に垂直な平面上でシフトさせ、目標位置への正確な位置制御をすることができる。目標位置は撮像素子１２０の画素ピッチＰに基づいて決定される。撮像素子１２０はシフト機構１３０により複数の目標位置へ位置制御され、それぞれの目標位置において画像データを取得する。
【0047】
なお、撮像素子１２０の画素ピッチＰは、撮像素子１２０において等間隔に２次元配列された各画素のＸＹ方向の間隔をそれぞれＰＸ及びＰＹとすることにより設定される。本実施例では、特にＸＹ方向の画素ピッチＰを（ＰＸ，ＰＹ）と表す。ＸＹ方向の画素ピッチＰについて、ＰＸ及びＰＹが互いに異なる間隔としても構わない。
【0048】
また、画素ずらし機構に撮影レンズの全部または一部を光軸に垂直な平面上でシフトさせるシフト機構を採用してもよい。撮影レンズの全部または一部を光軸に垂直な平面上でシフトさせることによっても、被写体像と撮像素子１２０との相対位置を光軸に垂直な平面上でシフトさせることができる。
【0049】
（図１：画素ずらし合成処理部）
次に、画素ずらし合成処理部１４０について説明する。図１の画素ずらし合成処理部１４０において、１４１は画像データ入力部、１４２は画像データ配置部、１４３は再サンプリング部、１４４は画素混合部、１４５は画像データ出力部を示す。
次に、画素ずらし合成処理部１４０について説明する。図１の画素ずらし合成処理部１４０において、１４１は画像データ入力部、１４２は画像データ配置部、１４３は再サンプリング部、１４４は画素混合部、１４５は画像データ出力部を示す。
【0050】
画像データ入力部１４１は画素ずらしにより取得され一時的に保持された複数枚の画像データをＤＲＡＭ１６０から画素ずらし合成処理部１４０へ入力する。本実施例では、２枚の画像データをＤＲＡＭ１６０から画素ずらし合成処理部１４０へ入力する。
【0051】
画像データ配置部１４２は入力された複数枚の画像データを画素ピッチＰに基づいてずらして配置する。本実施例では、撮像素子１２０に３層構造の撮像素子を採用し、１枚の画像データについて各層の画像データを取得する。そのため、画像データ配置部１４２は入力された複数枚の画像データについて各層の画像データをずらして配置する。画像データ配置部１４２による入力された複数枚の画像データの配置方法については後述する。
【0052】
再サンプリング部１４３はずらして配置された各層の画像データから高解像度化または低解像度化された各層の画像データを再サンプリング処理により再生成する。再サンプリング部１４３による再サンプリング処理については後述する。
【0053】
画素混合部１４４は再サンプリング処理により再生成された各層の画像データを用いて画素混合処理により記録用の画像データを生成する。画素混合部１４４による画素混合処理については後述する。
【0054】
画像データ出力部１４５は画素混合処理により生成された記録用の画像データを出力する。出力された記録用の画像データは、外部メモリ１７０に記録されたり、画像圧縮のために不図示の画像圧縮部へ転送されたり、その他の後工程の画像処理を行う不図示の画像処理部へ転送されたりされる。
【0055】
（図３：複数枚の画像データの配置方法）
次に、画像データ配置部１４２による入力された複数枚の画像データの配置方法について説明する。
次に、画像データ配置部１４２による入力された複数枚の画像データの配置方法について説明する。
【0056】
本実施例の撮像装置１００は、撮像素子１２０に３層構造の撮像素子を採用し、画素ずらしにより２枚の画像データを取得する。画像データ配置部１４２は、２枚の画像データをそれぞれ構成する各層の画像データを画素ピッチＰに基づいてずらして配置する。
【0057】
図３は、画像データ配置部１４２による画素ずらしにより取得された２枚の画像データの配置方法を示す模式図である。図３において、画像データＡ及び画像データＢは画素ずらしにより取得された２枚の画像データのそれぞれを示す。
【0058】
３層構造の撮像素子により取得された１枚の画像データは、Ｂ層（青色）、Ｇ層（緑色）、Ｒ層（赤色）の画像データから構成される。すなわち、図３において、画像データＡは、Ｂ層の画像データＡＢ、Ｇ層の画像データＡＧ及びＲ層の画像データＡＲから構成されている。また、画像データＢは、Ｂ層の画像データＢＢ、Ｇ層の画像データＢＧ、Ｒ層の画像データＢＲから構成されている。
【0059】
図３に示すように、画像データ配置部１４２は、画像データＡ及び画像データＢのそれぞれを構成する各層の画像データをずらして配置する。このとき、画像データ配置部１４２は、各画素の画素位置が互いに重ならないように画像データＡ及び画像データＢのそれぞれを構成する各層の画像データを画素ピッチＰに基づいてずらして配置する。
【0060】
図４は、画像データＡ及び画像データＢのそれぞれを構成する各層の画像データが画素ピッチＰに基づいてずらして配置された様子を示す模式図である。図４は、画像データＡ及び画像データＢの各層の画像データのうち１つの層の画像データについて示したものであり、その他の層の画像データについても図４と同様となる。図４の模式図は、平面上に２次元配列された各層の画像データを構成する各画素の中心位置により模式的に表されている。すなわち、図４において、各画素の中心位置の配列は各層の画像データを構成する各画素の配列を示している。
【0061】
図４に示すように、画像データＡ及び画像データＢのそれぞれを構成する各層の画像データは、各層の画像データを構成する各画素の中心位置が互いに重ならないように画素ピッチＰに基づいてずらして配置される。本実施例では、画素ピッチＰの１／２だけずらして配置される。すなわち、各層においてＸＹ方向において画素ピッチＰの１／２である（１／２ＰＸ，１／２ＰＹ）だけずらして配置される。各層におけるずらし量は、本実施例に限られず、画素ピッチＰの非整数倍とすることにより、各画素の画素中心が互いに重なることなく画像データＡ及び画像データＢのそれぞれを構成する各層の画像データをずらして配置することができる。
【0062】
画像データＡ及び画像データＢのそれぞれを構成する各層の画像データが各画素の中心位置が互いに重なるようにずらして配置されてしまうと、各層の画像データを構成する各画素の画素値が単に足し合わされてしまうこととなる。この場合、高解像度化された画像データを再サンプリング処理により再生成することができなくなってしまう。
【0063】
（図１：再サンプリング処理）
次に、再サンプリング処理について説明する。本実施例において、再サンプリング処理とは、ずらして配置された各層の画像データにおいて新たに画素位置を定義し、新たに定義された画素位置において補間演算により画素値を算出することにより各層の画像データを再生成することをいう。
次に、再サンプリング処理について説明する。本実施例において、再サンプリング処理とは、ずらして配置された各層の画像データにおいて新たに画素位置を定義し、新たに定義された画素位置において補間演算により画素値を算出することにより各層の画像データを再生成することをいう。
【0064】
本実施例では、撮像素子１２０に３層構造の撮像素子を採用し、画素ずらしにより２枚の画像データを取得する。そして、取得された２枚の画像データをそれぞれ構成する各層の画像データをずらして配置した各層の画像データから再サンプリング処理により各層の画像データを再生成する。その際、ずらして配置された各層の画像データは１枚の画像データを構成する各層の画像データの２倍の情報量を有しているため、理論的にはずらして配置された各層の画像データから最大２倍に高解像度化された各層の画像データを再生成することができる。
【0065】
ここで、本実施例において、撮像素子１２０に積層構造の撮像素子（３層構造の撮像素子）を採用し、画素ずらしにより複数枚（２枚）の画像データを取得することにより生じる課題について説明する。
【0066】
積層構造の撮像素子の構造において、被写体像を画像信号に変換する光電変換部は積層して配置されている。そのため、積層構造の撮像素子により取得される１枚の画像データは積層して配置された光電変換部に対応する各層の画像データから構成される。また、各層の画像データの解像度はそれぞれ色フィルタ付き撮像素子により取得される１枚の画像データの解像度と同等である。したがって、積層構造の撮像素子により取得される画像データの情報量は、色フィルタ付き撮像素子により取得される画像データの情報量と比較して非常に多くなる。
【0067】
また、積層構造の撮像素子を採用し、画素ずらしにより複数枚の画像データを取得する場合、取り扱う画像データの情報量はさらに多くなってしまう。
【0068】
取り扱う画像データの情報量が多くなると、画像データを転送するための負担や後工程で画像データを画像処理するための負担が増大してしまう。また、画像データを一時的に保持するためのバッファメモリの容量を大きくしなければならないという問題が生じる。
【0069】
本実施例では、積層構造の撮像素子を採用し、画素ずらしにより取得した複数枚の画像データをそれぞれ構成する各層の画像データを輝度層と色層とに分け、各層で異なる解像度の画像データを再サンプリング処理により再生成することにより画像データの情報量が大きくなることを抑えた。
【0070】
人間の視覚特性は色情報に比べて輝度情報に敏感であるため、画像データを構成する画像信号のうち輝度信号は色信号に比べて人間の解像感に与える影響が大きい。本実施例では、再サンプリング処理において、各層の画像データを輝度層と色層とに分け、輝度層で再生成される画像データの情報量を増大する一方で、色層で再生成されるの画像データの情報量を削減し、画像データの解像感を維持しつつ、画像データの情報量を抑えることとした。
【0071】
次に、再サンプリング処理においてずらして配置された各層の画像データを輝度層と色層とに分ける方法について説明する。本実施例では、３層構造の撮像素子を採用し、画素ずらしにより取得した２枚の画像データを構成する各層の画像データをずらして配置し、各層の画像データのうち、１つの層を輝度層とし、他の層を色層とする。特に、本実施例では、各層の画像データのうち、Ｂ層を輝度層とし、Ｇ層及びＲ層を色層とする。各層の画像データを輝度層と色層とに分ける方法は、本実施例の方法に限られない。
【0072】
また、本実施例の方法のようにあらかじめ各層の画像データについて輝度層と色層とに分けておくのではなく、取得された各層の画像データを評価することにより分けることとしてもよい。たとえば、各層の画像データのうち、最もコントラストの高い画像データが取得された１つの層を輝度層とし、他の層を色層としてもよい。また、たとえば、各層の画像データのうち、最も信号値の高い画像データが取得された１つの層を輝度層とし、他の層を色層としてもよい。
【0073】
本実施例では、画像データの情報量を抑えるために、輝度層と色層とに分けた各層の画像データの再サンプリング処理において、輝度情報を得る輝度層では通常の各層の画像データよりも高解像度化された画像データを再生成し、色情報を得る色層では通常の各層の画像データよりも低解像度化された画像データを再生成する。
【0074】
輝度層及び色層で再サンプリング処理により再生成される各層の画像データの解像度は、再サンプリング処理により再生成される各層の画像データの画素ピッチＰ’により決定される。画素ピッチＰ’は、通常の各層の画像データの画素ピッチＰ（撮像素子１２０の画素ピッチＰ）に基づいて決定される。
【0075】
再生成される画像データの画素ピッチＰ’が、通常の各層の画像データの画素ピッチＰよりも小さい場合には高解像度化された画像データが再生成され、大きい場合には低解像度化された画像データが再生成される。
【0076】
本実施例では、再サンプリング処理により再生成される画像データの画素ピッチＰ’を、輝度層で画素ピッチＰの１／√２倍とし、色層で画素ピッチＰの２／√２倍としている。これにより、輝度層では通常の各層の画像データよりも２倍に高解像度化された画像データが再生成され、色層では通常の各層の画像データよりも１／２倍に低解像度化された画像データが再生成される。
【0077】
本実施例では、ずらして配置された各層の画像データについて、輝度層と色層とにおいて再サンプリング処理により再生成される画像データの解像度を異ならせることにより、積層構造の撮像素子を採用しながらも画素ずらしにより高解像度化された画像データを取得する場合の画像データ全体の情報量を抑えることができる。
【0078】
特に、本実施例では、輝度層で再生成される画像データの解像度を高くして情報量を多くする一方で、色層で再生成される画像データの解像度を低くして情報量を少なくすることにより、輝度層と色層の画像データを合わせた画像データ全体の情報量を抑えることができる。
【0079】
次に、輝度層と色層において、各層の画像データを再サンプリング処理により再生成する方法について説明する。
【0080】
まず、ずらして配置された各層の画像データにおいて、再サンプリング処理により再生成される画像データの各画素の画素位置を新たに定義する。各画素の画素位置は通常の各層の画像データの画素ピッチＰに基づいて新たに定義される。
【0081】
次に、新たに定義された各画素の画素位置における画素値の算出に用いられる周辺画素を決定する。周辺画素は、ずらして配置された各層の画像データにおいて、新たに定義された各画素の画素位置から所定の距離にある画素を含むように決定される。
【0082】
次に、新たに定義された各画素の画素位置において、決定された周辺画素を用いて画素値を算出する。画素値の算出は、決定された周辺画素の画素値を用いた補間演算により行われる。補間演算の方法には、バイキュービック法、バイリニア法などの従来の方法を適宜採用すればよい。
【0083】
そして、新たに定義された各画素の画素位置のすべてにおいて算出された画素値の画像信号配列を、各層の画像データとして再生成する。
【0084】
次に、輝度層および色層の再サンプリング処理の方法について説明する。
【0085】
（図５：輝度層の再サンプリング処理の方法）
図５を用いて、輝度層の再サンプリング処理の方法について説明する。図５は、３層構造の撮像素子を採用し、画素ずらしにより取得された２枚の画像データ（画像データＡおよび画像データＢ）をそれぞれ構成する輝度層の画像データをずらして配置し、ずらして配置された輝度層の画像データから再サンプリング処理により通常の各層の画像データよりも高解像度化された画像データを再生成することを示す模式図である。
図５を用いて、輝度層の再サンプリング処理の方法について説明する。図５は、３層構造の撮像素子を採用し、画素ずらしにより取得された２枚の画像データ（画像データＡおよび画像データＢ）をそれぞれ構成する輝度層の画像データをずらして配置し、ずらして配置された輝度層の画像データから再サンプリング処理により通常の各層の画像データよりも高解像度化された画像データを再生成することを示す模式図である。
【0086】
まず、図５Ａに示すように、ずらして配置された輝度層の画像データにおいて、再サンプリング処理により再生成される画像データの各画素の画素位置を新たに定義する。
【0087】
輝度層において新たに定義される画素位置は通常の各層の画像データの画素ピッチＰに基づいて決定される。輝度層において通常の各層の画像データよりも高解像度化された画像データを再生成するため、輝度層において再サンプリング処理により再生成される画像データの画素ピッチＰ’Ｌを、Ｐ’Ｌ＜Ｐとなるように設定する。本実施例では、輝度層において２倍に高解像度化された画像データを再生成するため、Ｐ’Ｌ＝１／√２Ｐとなるように設定する。
【0088】
図５Ａに示すように、ずらして配置された輝度層の画像データの範囲内において画素ピッチＰ’Ｌに基づいて各画素の画素位置を新たに定義する。輝度層においてずらして配置された画像データの最も左上の画素の中心位置を原点（０，０）とし、この原点（０，０）を起点として、ＸＹ方向に画素ピッチＰ’Ｌ（１／√２ＰＸ，１／√２ＰＹ）に基づいて画素位置を新たに定義する。これにより、再サンプリング処理により再生成される輝度層の画像データを構成する各画素の画素位置が新たに定義される。
【0089】
輝度層において、新たに画素位置が定義された各画素からなる画像データのＸＹ方向の画素数は、それぞれ通常の各層の画像データのそれに対して√２倍となる。また、解像度は、アスペクト比を通常の各層の画像データと同じとしたまま、２倍に高解像度化される。なお、画像データを構成するＸＹ方向の画素数は実際には整数でなければならないため、ＸＹ方向の画素数はそれぞれ整数となるように端数を切り捨てた画素数に適宜置き換えられる必要がある。
【0090】
次に、図５Ｂに示すように、輝度層において、新たに定義された各画素の画素位置における画素値の算出に用いる周辺画素を決定する。
【0091】
周辺画素は、新たに定義された各画素の画素位置について、ずらして配置された輝度層の画像データを構成する画素のうち、所定の距離にある画素を含むようにそれぞれ決定される。
【0092】
本実施例では、輝度層における新たに定義された各画素の画素位置についての周辺画素を次式により決定する。次式においてｋを任意に設定して周辺画素を一つ以上含むように輝度層における周辺画素の範囲を定義することにより、新たに定義された画素位置からの所定の距離を調節することができる。なお、周辺画素を決定する方法は次式に限定されない。
｜ｘ－ｘ’｜＋｜ｙ－ｙ’｜＜ｋ（ｋは任意の正の数）
（ｘ，ｙ）：新たに定義された画素位置の座標
（ｘ’，ｙ’）：周辺画素の画素位置の座標
｜ｘ－ｘ’｜＋｜ｙ－ｙ’｜＜ｋ（ｋは任意の正の数）
（ｘ，ｙ）：新たに定義された画素位置の座標
（ｘ’，ｙ’）：周辺画素の画素位置の座標
【0093】
次に、輝度層の新たに定義された各画素の画素位置について、周辺画素を用いて画素値を算出する。
【0094】
新たに定義された各画素の画素位置における画素値は、周辺画素の画素値を用いて補間演算により算出される。補間演算の方法には、バイキュービック法、バイリニア法などの従来の補間演算の方法を適宜採用すればよい。新たに定義された各画素に画素位置すべてにおいて画素値を算出することにより、輝度層において高解像度化された画像データを再生成することができる。
【0095】
（図６：色層の再サンプリング処理の方法）
図６を用いて、色層の再サンプリング処理の方法について説明する。図６は、３層構造の撮像素子を採用し、画素ずらしにより取得された２枚の画像データ（画像データＡおよび画像データＢ）をそれぞれ構成する色層の画像データをずらして配置し、ずらして配置された色層の画像データから再サンプリング処理により通常の各層の画像データよりも低解像度化された画像データを再生成することを示す模式図である。
図６を用いて、色層の再サンプリング処理の方法について説明する。図６は、３層構造の撮像素子を採用し、画素ずらしにより取得された２枚の画像データ（画像データＡおよび画像データＢ）をそれぞれ構成する色層の画像データをずらして配置し、ずらして配置された色層の画像データから再サンプリング処理により通常の各層の画像データよりも低解像度化された画像データを再生成することを示す模式図である。
【0096】
まず、図６Ａに示すように、ずらして配置された色層の画像データにおいて、再サンプリング処理により再生成される画像データの各画素の画素位置を新たに定義する。
【0097】
色層において新たに定義される画素位置は通常の各層の画像データの画素ピッチＰに基づいて決定される。色層において通常の各層の画像データよりも低解像度化された画像データを再生成するため、色層において再サンプリング処理により再生成される画像データの画素ピッチＰ’Ｃを、Ｐ’Ｃ＞Ｐとなるように設定する。本実施例では、色層において１／２倍に低解像度化された画像データを再生成するため、Ｐ’Ｃ＝２／√２Ｐとなるように設定する。
【0098】
図６Ａに示すように、ずらして配置された色層の画像データの範囲内において画素ピッチＰ’Ｃに基づいて各画素の画素位置を新たに定義する。色層においてずらして配置された画像データの最も左上の画素の中心位置を原点（０，０）とし、この原点（０，０）からＸＹ方向に画素ピッチＰ（ＰＸ，ＰＹ）の１／２√２だけ移動した画素位置（１／２√２ＰＸ，１／２√２ＰＹ）を起点として、ＸＹ方向に画素ピッチＰ’Ｃ（２／√２ＰＸ，２／√２ＰＹ）に基づいて画素位置を新たに定義する。これにより、再サンプリング処理により再生成される色層の画像データを構成する各画素の画素位置が新たに定義される。
【0099】
また、図６Ｂに示すように、色層において新たに定義される各画素の画素位置は、輝度層において新たに定義される各画素の画素位置４つに対して１つが定義されることとなる。すなわち、色層で再生成される画像データの解像度は、輝度層で再生成される画像データの１／４倍となる。
【0100】
色層において、新たに画素位置が定義された各画素からなる画像データのＸＹ方向の画素数は、それぞれ通常の各層の画像データのそれに対して１／√２倍となる。また、解像度は、アスペクト比を通常の各層の画像データと同じとしたまま、１／２倍に低解像度化される。なお、画像データを構成するＸＹ方向の画素数は実際には整数でなければならないため、ＸＹ方向の画素数はそれぞれ整数となるように端数を切り捨てた画素数に適宜置き換えられる必要がある。
【0101】
次に、図６Ｃに示すように、色層において、新たに定義された各画素の画素位置における画素値の算出に用いる周辺画素を決定する。
【0102】
周辺画素は、新たに定義された各画素の画素位置について、ずらして配置された色層の画像データを構成する画素のうち、所定の距離にある画素を含むようにそれぞれ決定される。
【0103】
本実施例では、色層において新たに定義された各画素の画素位置の画素ピッチＰ’Ｃは、輝度層において新たに定義された各画素の画素位置の画素ピッチＰ’Ｌに比べて大きいため、色層の周辺画素には新たに定義された各画素の画素位置からより離れた距離にある画素をも含めることとしている。
【0104】
本実施例では、色層における新たに定義された各画素の画素位置についての周辺画素を次式により決定する。次式において２ｋを任意に設定して周辺画素を一つ以上含むように色層における周辺画素の範囲を定義することにより、新たに定義された画素位置からの所定の距離を調節することができる。なお、周辺画素を決定する方法は次式に限定されない。
｜ｘ－ｘ’｜＋｜ｙ－ｙ’｜＜２ｋ（ｋは任意の正の数）
（ｘ，ｙ）：新たに定義された画素位置の座標
（ｘ’，ｙ’）：周辺画素の画素位置の座標
｜ｘ－ｘ’｜＋｜ｙ－ｙ’｜＜２ｋ（ｋは任意の正の数）
（ｘ，ｙ）：新たに定義された画素位置の座標
（ｘ’，ｙ’）：周辺画素の画素位置の座標
【0105】
次に、色層の新たに定義された各画素の画素位置について、周辺画素を用いて画素値を算出する。
【0106】
新たに定義された各画素の画素位置における画素値は、周辺画素の画素値を用いて補間演算により算出される。補間演算の方法には、バイキュービック法、バイリニア法などの従来の補間演算の方法を適宜採用すればよい。新たに定義された各画素に画素位置すべてにおいて画素値を算出することにより、色層において低解像度化された画像データを再生成することができる。
【0107】
（図１：画素混合処理）
次に、画素混合部１４４による画素混合処理について説明する。
次に、画素混合部１４４による画素混合処理について説明する。
【0108】
画素混合処理では、再サンプリング処理により再生成された輝度層の画像データと色層の画像データとを合成して最終的に通常の各層の画像データよりも高解像度化された画像データを生成する。
【0109】
本実施例において、画素混合処理とは、再サンプリング処理により再生成された解像度のそれぞれ異なる各層の画像データを用いて、各層の画像データについてノイズリダクション処理および色分離処理を行い、解像度を整合させて合成することにより、最終的に高解像度化された画像データを生成する画像信号処理のことをいう。
【0110】
図７から図１０を用いて、本実施例の撮像装置１００の制御方法について説明する。以下では、本実施例の撮像装置１００の制御方法における撮影動作について説明する。さらに、種々ある撮影動作のうち、特に画素ずらしにより最終的に高解像度化された画像データを生成する撮影動作に限定して説明する。
【0111】
【0112】
まず、Ｓ００１において、撮像装置１００の制御部はレリーズスイッチがＯＮにされたかどうかを検出する。レリーズスイッチがＯＮにされない場合にはＳ００１に戻り、再びレリーズスイッチがＯＮにされたかどうかを検出する。レリーズスイッチがＯＮにされた場合には続いて合焦動作を行う。
【0113】
次に、Ｓ００２において、撮像装置１００の制御部は合焦動作を行う。撮像装置１００の制御部は、コントラスト検出方式や位相差検出方式などにより検出された合焦評価値に基づいて、撮影レンズ１１０に含まれるフォーカスレンズ群を被写体に合焦するように駆動させる。
【0114】
次に、Ｓ００３において、撮像装置１００の制御部は画素ずらしにより２枚の画像データを取得する。画素ずらしは、撮像装置１００の制御部が撮像素子１２０（３層構造の撮像素子）をシフト機構１３０により光軸に垂直な平面内でシフトさせることにより行う。撮像素子１２０は、画素ずらしによりシフトされた第１の位置と第２の位置の２ポジションにおいてそれぞれ１枚の画像データを取得する。本実施例において、第１の位置を原点の位置（０，０）とし、第２の位置を原点の位置（０，０）からＸＹ方向に画素ピッチＰ（ＰＸ，ＰＹ）の１／２だけずれた位置（１／２ＰＸ，１／２ＰＹ）とする。Ｓ００３の画素ずらしによる画像データ取得の各ステップについては後述する。
【0115】
次に、Ｓ００４において、画素ずらし合成処理部１４０は画素ずらしにより第１の位置および第２の位置で取得された２枚の画像データを用いて画素ずらし合成処理を行う。ここで、取得された２枚の画像データは、３層構造の撮像素子により取得されており、各層（Ｂ層、Ｇ層及びＲ層）の画像データからそれぞれ構成されている。画素ずらし合成処理は、再サンプリング処理によりずらして配置された各層の画像データから通常の各層の画像データよりも高解像度化または低解像度化された画像データを再生成し、画素混合処理により再生成された各層の画像データを用いて最終的に高解像度化された画像データを生成することにより行う。Ｓ００４の画素ずらし合成処理の各ステップについては後述する。
【0116】
次に、Ｓ００５において、最終的に生成された高解像度化された画像データを記録する。最終的に生成された高解像度化された画像データは、保存のために外部メモリ１７０に記録されたり、他の画像処理のために撮像素子内部の一時メモリに記録されたりする。
【0117】
【0118】
まず、Ｓ３０１において、撮像装置１００の制御部は画素ずらしにより撮像素子１２０を第１の位置である原点の位置（０，０）へ移動させる。次に、Ｓ３０２において、撮像素子１２０を第１の位置において露光させて第１の画像データを取得し、Ｓ３０３において、取得した第１の画像データをＤＲＡＭ１６０に一時的に保持する。
【0119】
続いて、Ｓ３０４において、撮像装置１００の制御部は画素ずらしにより撮像素子１２０を第２の位置である原点の位置（０，０）からＸＹ方向に画素ピッチＰ（ＰＸ，ＰＹ）の１／２だけずれた位置（１／２ＰＸ，１／２ＰＹ）へ移動させる。次に、Ｓ３０５において、撮像素子１２０を第２の位置において露光させて第２の画像データを取得し、Ｓ３０６において、取得した第２の画像データをＤＲＡＭ１６０に一時的に保持する。このとき、ＤＲＡＭ１６０には画素ずらしにより取得された２枚の画像データが記録されていることなる。
【0120】
本実施例では、画素ずらしによる画像データ取得において、各ポジションで取得する画像データを構成する各画素がそれぞれ互いに重ならないようにするため、撮像素子１２０を各ポジションで相対的に画素ピッチＰ（ＰＸ，ＰＹ）の１／２だけずらした位置へ移動させている。
【0121】
【0122】
まず、Ｓ４０１において、画素ずらし合成処理部１４０は、画像データ入力部１４１によりＤＲＡＭ１６０に記録されている２枚の画像データを入力する。
【0123】
次に、Ｓ４０２において、画素ずらし合成処理部１４０は、２枚の画像データをそれぞれ構成する各層の画像データを輝度層と色層とに分ける。本実施例では、あらかじめＢ層の画像データを輝度層とし、Ｇ層及びＲ層の画像データを色層とする。
【0124】
次に、Ｓ４０３において、画素ずらし合成処理部１４０は、画像データ配置部１４２により２枚の画像データをそれぞれ構成する輝度層および色層の画像データをそれぞれずらして配置する。このとき、画像データ配置部１４２は各層の画像データを画素ずらしと同様に相対的に画素ピッチＰ（ＰＸ，ＰＹ）の１／２だけずらして配置する。
【0125】
次に、Ｓ４０４において、画素ずらし合成処理部１４０は、輝度層および色層において、それぞれずらして配置された各層の画像データから、再サンプリング部１４３により通常の各層の画像データとは解像度の異なる各層の画像データを再生成する。このとき、輝度層において通常の各層の画像データよりも高解像度化された画像データが再生成され、色層において通常の画像データよりも低解像度化された画像データが再生成される。
【0126】
次に、Ｓ４０５において、画素ずらし合成処理部１４０は、再生成された輝度層又は色層の画像データを用いて画素混合部１４４により最終的に高解像度化された画像データを生成する。Ｓ４０５の画素混合処理の各ステップについては後述する。
【0127】
【0128】
以下の説明において、輝度層及び色層の画像データから構成される１枚の画像データについて、各層の画像データの解像度の比率を用いて表すこととする。また、各層の画像データの解像度の比率は、Ｒ層、Ｇ層、Ｂ層の順に表すこととする。
【0129】
本実施例において、画素ずらし合成処理部１４０は、１枚の画像データを構成する各層の画像データについて、Ｂ層を輝度層、Ｇ層及びＲ層を色層としてあらかじめ分けている。そして、再サンプリング処理により再生成された輝度層と色層との画像データの解像度の比率は４：１である。
【0130】
したがって、たとえば、再サンプリング処理により再生成された輝度層および色層の画像データから構成される１枚の画像データは、各層の画像データの解像度の比率を用いて、１１４画像データと表すことができる。また、たとえば、１１４画像データから色層であるＲ層及びＧ層の画像データを削除した１枚の画像データを、００４画像データと表すことができる。
【0131】
まず、Ｓ５０１において、画素ずらし合成処理部１４０は、画素混合部１４４により再サンプリング処理により再生成された１１４画像データから１１１画像データ及び００４画像データを生成する。
【0132】
ここで、１１１画像データは、１１４画像データのＲ層及びＧ層の画像データと、１１４画像データの隣接する４画素１組の画素値を合算したＢ層の画像データとから構成される画像データである。また、００４画像データは、１１４画像データからＲ層及びＧ層の画像データを削除して、１１４画像データのＢ層の画像データのみから構成される画像データである。
【0133】
次に、Ｓ５０２において、Ｓ５０１で生成された１１１画像データから、さらに、１１１画像データ及び００１画像データを生成する。
【0134】
ここで、００１画像データは、１１１画像データからＲ層及びＧ層の画像データを削除して、１１１画像データのＢ層の画像データのみから構成される画像データである。
【0135】
次に、Ｓ５０３において、Ｓ５０２で生成された１１１画像データに対してノイズリダクション処理や色分離処理を行い、さらに、Ｓ５０４において、処理後の１１１画像データに対してアップサンプリング処理を行い、４４４画像データを生成する。
【0136】
Ｓ５０４において生成された４４４画像データを構成する各層の画像データは、それぞれ通常の各層の画像データに対して２倍に高解像度化された画像データに相当する。
【0137】
他方、Ｓ５０５において、Ｓ５０１で生成された００４画像データに対してノイズリダクション処理を行う。また、Ｓ５０６において、Ｓ５０２で生成された００１画像データに対してアップサンプリング処理を行い、００４画像データを生成する。
【0138】
そして、Ｓ５０７において、Ｓ５０５で処理された００４画像データとＳ５０６で生成された００４画像データとの差分を算出して差分画像データを生成する。
【0139】
最後に、Ｓ５０８において、Ｓ５０４で生成された４４４画像データに対してＳ５０７で生成された差分画像データを反映させ、最終的に通常の各層の画像データに対して２倍に高解像度化された各層の画像データから構成される４４４画像データを生成する。
【0140】
本実施例の画素混合処理では、再サンプリング処理により再生成された輝度層及び色層の画像データから構成される１１４画像データから、一度、１１１画像データ及び００４画像データを生成する。そして、１１１画像データからは、ノイズリダクション処理等及びアップサンプリング処理を行うことにより４４４画像データを生成し、００４画像データからは、ノイズリダクション処理を行いつつもアップサンプリング処理を行わずに００４画像データを生成している。さらに、４４４画像データに対して差分画像データとした００４画像データを反映させることにより、最終的に通常の各層の画像データに対して２倍に高解像度化された各層の画像データから構成される４４４画像データを生成している。これにより、ノイズリダクション処理等を行った後にアップサンプリング処理を行うことで発生する画像データの色付きの問題を防止することができる。
【0141】
以上の説明のとおり、本発明によれば、画素ずらしにより高解像度化された画像データを取得する撮像装置及び撮像装置の制御方法において、積層構造の撮像素子を採用することにより、画素ずらしにより取得すべき複数枚の画像データの数を少なくすることができる。また、これにより複数枚の画像データのデータ転送や画像処理の負担を抑え、複数枚の画像データを一時的に保持するバッファメモリの容量を抑えることができる。
【0142】
また、積層構造の撮像素子を採用し、画素ずらしにより取得された複数枚の画像データをそれぞれ構成する各層の画像データの再サンプリング処理において、各層の画像データを輝度層と色層とに分け、輝度層と色層とにおいて再生成される画像データの解像度を異ならせることにより、画像データ全体の情報量を抑えることができる。
【符号の説明】
【0143】
１００ 撮像装置
１１０ 撮影レンズ
１２０ 撮像素子
１３０ シフト機構
１４０ 画素ずらし合成処理部
１４１ 画像データ入力部
１４２ 画像データ配置部
１４３ 再サンプリング部
１４４ 画素混合部
１４５ 画像データ出力部
１５０ バス
１６０ ＤＲＡＭ
１７０ 外部メモリ
１１０ 撮影レンズ
１２０ 撮像素子
１３０ シフト機構
１４０ 画素ずらし合成処理部
１４１ 画像データ入力部
１４２ 画像データ配置部
１４３ 再サンプリング部
１４４ 画素混合部
１４５ 画像データ出力部
１５０ バス
１６０ ＤＲＡＭ
１７０ 外部メモリ
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10】