特許 6036799 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6036799

(24)【登録日】2016年11月11日

(45)【発行日】2016年11月30日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20161121BHJP

   H04N 5/225 20060101ALI20161121BHJP

   H04N 5/232 20060101ALI20161121BHJP

   H04N 5/369 20110101ALI20161121BHJP

   H04N 5/343 20110101ALI20161121BHJP

【ＦＩ】

   G06T1/00 420A

   H04N5/225 D

   H04N5/232 Z

   H04N5/335 690

   H04N5/335 430

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2014-262947(P2014-262947)

(22)【出願日】2014年12月25日

(62)【分割の表示】特願2010-127825(P2010-127825)の分割

【原出願日】2010年6月3日

(65)【公開番号】特開2015-64909(P2015-64909A)

(43)【公開日】2015年4月9日

【審査請求日】2015年1月26日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100078189

【弁理士】

【氏名又は名称】渡辺 隆男

(72)【発明者】

【氏名】岩根 透

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００７−００４４７１（ＪＰ，Ａ）

【文献】 特開２００３−２８３９０７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２２５ − ５／３７８

(57)【特許請求の範囲】

【請求項1】

複数のマイクロレンズ毎に複数設けられた受光部の出力データから被写体の任意の面の画像を生成する画像生成部と、
前記複数のマイクロレンズのうちの第１のマイクロレンズの光軸上の受光部以外の受光部のうちの、前記被写体の第１領域からの光が入射する、前記任意の面の位置に関わらず使用される受光部と、前記複数のマイクロレンズのうちの第２のマイクロレンズの受光部のうちの、前記被写体の第１領域からの光が入射する、前記任意の面の位置が変わると変更される受光部とから出力された出力データから、前記第１領域に対応する前記画像の画素を前記画像生成部に生成させる制御部と
を備える画像処理装置。

【請求項2】

請求項１記載の画像処理装置において、
前記制御部は、前記被写体の第２領域からの光が入射する、前記第１のマイクロレンズの光軸上の受光部と、前記複数のマイクロレンズのうちの第３のマイクロレンズの受光部のうちの前記被写体の第２領域からの光が入射する、前記任意の面の位置が変わると変更される受光部とから出力された出力データから、前記第２領域に対応する前記画像の画素を前記画像生成部に生成させて、前記複数のマイクロレンズの数よりも多い画素の数の前記画像を生成させる画像処理装置。

【請求項3】

請求項１記載の画像処理装置において、
前記第２のマイクロレンズは、前記第１のマイクロレンズ近傍のマイクロレンズである画像処理装置。

【請求項4】

請求項２記載の画像処理装置において、
前記第２のマイクロレンズおよび前記第３のマイクロレンズは、前記第１のマイクロレンズ近傍のマイクロレンズである画像処理装置。

【請求項5】

請求項１または３記載の画像処理装置において、
前記画像生成部は、前記被写体の任意の面の画像として、前記被写体を撮像する光学系の任意の焦点面での前記被写体の画像を生成する画像処理装置。

【請求項6】

請求項２または４記載の画像処理装置において、
前記画像生成部は、前記被写体の任意の面の画像として、前記被写体を撮像する光学系の任意の焦点面での前記被写体の画像を生成する画像処理装置。

【請求項7】

請求項１から６のいずれか一項に記載の画像処理装置において、
前記受光部からの出力データは記憶媒体に記憶されていて、前記制御部は前記記憶媒体から前記出力データを読み出す画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関する。

【背景技術】

【0002】

従来から、１つのマイクロレンズに対応して複数の撮像画素を備え、１回の撮影により取得された画像データを撮影後に合成して、任意の焦点位置の画像を生成する撮像装置が知られている（たとえば、特許文献１、２、および非特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−４４７１号公報

【特許文献2】ＵＳ２００７／０２５２０４７号公報

【非特許文献】

【0004】

【非特許文献1】Light Field Photography with a Handheld Plenoptic camera, Stanford tech report CTSR2005-02

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、生成された画像はマイクロレンズの配列数と同じ解像度となり、生成される画像の解像度は撮像画素の配列密度よりも大幅に低下するという問題がある。さらには、合成画像を生成する際の演算処理が非常に煩瑣となるという問題がある。

【課題を解決するための手段】

【0006】

請求項１に記載の画像処理装置は、複数のマイクロレンズ毎に複数設けられた受光部の出力データから被写体の任意の面の画像を生成する画像生成部と、前記複数のマイクロレンズのうちの第１のマイクロレンズの光軸上の受光部以外の受光部のうちの、前記被写体の第１領域からの光が入射する、前記任意の面の位置に関わらず使用される受光部と、前記複数のマイクロレンズのうちの第２のマイクロレンズの受光部のうちの、前記被写体の第１領域からの光が入射する、前記任意の面の位置が変わると変更される受光部とから出力された出力データから、前記第１領域に対応する前記画像の画素を前記画像生成部に生成させる制御部とを備える。

【発明の効果】

【0007】

本発明によれば、任意の結像面ごとに複数の結像領域のそれぞれの合成画像データを生成するための光電変換素子の位置を特定するテーブルを作成し、テーブルに基づいて合成画像データを生成するので、解像度の高い合成画像データを高速に生成できる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態によるデジタルカメラの構成を説明する図である

【図2】マイクロレンズと撮像素子との配置の一例を示す図

【図3】実施の形態におけるマイクロレンズと基点画素との位置関係を説明する図

【図4】合成画像の生成原理を説明する図

【図5】合成画像を生成するための積算領域と撮像画素との関係を示す図

【図6】基点信号に積算するための画像信号を出力する撮像画素の位置関係の一例を示す図

【図7】輪帯とマイクロレンズとの関係の一例を示す図

【図8】基点画素がマイクロレンズの擬似光軸から偏芯している場合の積算領域を示す図

【図9】変形例におけるマイクロレンズの形状と基点画素とを説明する図

【発明を実施するための形態】

【0009】

本実施の形態のデジタルカメラは、マイクロレンズアレイを介して撮影することにより取得された画像信号が奥行き情報等の波面情報を有することを利用して、数値処理によってユーザが所望する被写界深度と焦点位置とを有する画像データを生成する。撮影レンズを介して入射した被写体光束は、マイクロレンズアレイの近傍に結像する。このとき、被写体の位置に応じて光束が結像する位置は撮影レンズの光軸方向に異なるものとなり、さらに被写体が三次元物体であれば被写体光束は同一平面上には結像しない。本実施の形態のデジタルカメラは、ユーザが所望する光軸方向の結像位置に結像する被写体の像を再現した画像を生成する。

【0010】

さらに、本実施の形態のデジタルカメラは、上記の画像として、マイクロレンズアレイに含まれるマイクロレンズの数よりも大きな解像度を有する合成画像を生成可能に構成されている。すなわち、１つのマイクロレンズに対応して、合成画像の各画素となる画像信号を出力する撮像画素（基点画素）が複数個設けられている。そして、デジタルカメラは、ユーザの選択に応じた焦点位置の合成画像となるように、基点画素から出力された画像信号に対して周辺に配置された撮像画素から出力された画像信号を加算して、合成画像の１画素分の結像領域に相当する合成画像信号を生成し、焦点位置を可変可能な合成画像を作成する。以下、詳細に説明する。

【0011】

図１は、実施の形態によるデジタルカメラの構成を示す図である。デジタルカメラ１は、撮影レンズＬ１を有する交換レンズ２が着脱可能に構成されている。デジタルカメラ１は、撮像ユニット１００，制御回路１０１，Ａ／Ｄ変換回路１０２，メモリ１０３，操作部１０８，表示器１０９，ＬＣＤ駆動回路１１０およびメモリカードインタフェース１１１を備える。撮像ユニット１００は、多数のマイクロレンズ１２０が二次元状に配列されたマイクロレンズアレイ１２および撮像素子１３を備える。なお、以下の説明においては、Ｚ軸を撮影レンズＬ１の光軸に平行となるように設定され、Ｚ軸と直交する平面内でＸ軸とＹ軸とが互いに直交する方向に設定されているものとする。

【0012】

撮影レンズＬ１は、複数の光学レンズ群から構成され、被写体からの光束をその焦点面近傍に結像する。なお、図１では撮影レンズＬ１を説明の都合上１枚のレンズで代表して表している。撮影レンズＬ１の焦点面近傍に、マイクロレンズアレイ１２と撮像素子１３とが順に配置される。撮像素子１３は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子１３は、撮像面上に結像されている被写体像を撮像し、制御回路１０１により制御されて被写体像に応じた光電変換信号（画像信号）をＡ／Ｄ変換回路１０２へ出力する。なお、撮像ユニット１００の詳細については説明を後述する。

【0013】

Ａ／Ｄ変換回路１０２は、撮像素子１３が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路１０１は、ＣＰＵやメモリその他の周辺回路によって構成される。制御回路１０１は、制御プログラムに基づいて、デジタルカメラ１を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ１の各部に対する制御信号を送出して、撮影動作を制御する。また、制御回路１０１は、後述するように絞り値入力ボタン１０８ａの操作に応じて操作部１０８から入力した操作信号に基づいて、ユーザにより選択された合成画像の絞り値を決定する。制御回路１０１は、後述するように焦点位置入力ボタン１０８ｂの操作に応じて操作部１０８から入力した操作信号に基づいて合成画像の焦点位置を決定する。

【0014】

制御回路１０１は、テーブル生成部１０５、画像積算部１０６および画像正規化部１０７を機能的に備える。テーブル生成部１０５は、絞り値入力ボタン１０８ａの操作に応じて決定された合成画像の絞り値を用いて合成画素所属テーブルを作成する。画像積算部１０６は、焦点位置入力ボタン１０８ｂの操作に応じて決定された合成画像の焦点位置と、テーブル生成部１０５で作成された合成画素所属テーブルとを用いて、画像信号から合成画像データを生成する。画像正規化部１０７は、後述するように画像積算部１０６で生成された合成画像データに対応する合成画像の縦横比（水平方向と垂直方向の比）が１：１となるように補正する。なお、テーブル作成部１０５，画像積算部１０６および画像正規化部１０７については詳細を後述する。

【0015】

メモリ１０３は、Ａ／Ｄ変換回路１０２によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性記憶媒体である。メモリカードインタフェース１１１は、メモリカード１１１ａが着脱可能なインタフェースである。メモリカードインタフェース１１１は、制御回路１０１の制御に応じて、画像データをメモリカード１１１ａに書き込んだり、メモリカード１１１ａに記録されている画像データを読み出すインタフェース回路である。メモリカード１１１ａはコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。

【0016】

ＬＣＤ駆動回路１１０は、制御回路１０１の命令に基づいて表示器１０９を駆動する回路である。表示器１０９は、たとえば液晶等により構成され、再生モードにおいてメモリカード１１１ａに記録されている画像データに基づいて制御回路１０１で作成された表示データの表示を行う。また、表示器１０９には、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。

【0017】

操作部１０８は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路１０１へ出力する。操作部１０８は、絞り値入力ボタン１０８ａ，焦点位置入力ボタン１０８ｂ，電源ボタン，レリーズボタン，その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。絞り値入力ボタン１０８ａは合成画像の絞り値Ｆを入力する際にユーザにより操作される。ユーザにより絞り値入力ボタン１０８ａが操作され絞り値Ｆが選択されると、操作部１０８は操作信号を制御回路１０１へ出力する。焦点位置入力ボタン１０８ｂは合成画像の焦点位置ｙを入力する際にユーザにより操作される。ユーザにより焦点位置入力ボタン１０８ｂが操作され焦点位置ｙが選択されると、操作部１０８は操作信号を制御回路１０１へ出力する。

【0018】

次に、撮像ユニット１００の構成について詳細に説明する。撮像ユニット１００は、上述したようにマイクロレンズアレイ１２と撮像素子１３とを有する。マイクロレンズアレイ１２は、二次元状に配列された複数のマイクロレンズ１２０により構成される。撮像素子１３には、上記の各マイクロレンズ１２０を通過した光を受光する画素配列１３０が、マイクロレンズ１２０に対応した配置パターンで配置されている。各々の画素配列１３０は、二次元状に配列された複数の光電変換素子１３１（以下、撮像画素１３１と呼ぶ）により構成される。

【0019】

図２（ａ）にマイクロレンズアレイ１２に配列されるマイクロレンズ１２０のＸＹ平面での平面図を示す。図２（ａ）に示すように、マイクロレンズアレイ１２は、ＸＹ平面上で、たとえば六角形に形成された複数のマイクロレンズ１２０がハニカム配列されている。なお、図２（ａ）はマイクロレンズアレイ１２に設けられた複数のマイクロレンズ１２０のうちの一部のマイクロレンズ１２０を示す。図２（ｂ）は、撮影レンズＬ１の光軸方向（Ｚ軸方向）における、撮影レンズＬ１とマイクロレンズアレイ１２と撮像素子１３との位置関係を説明する図である。図２（ｂ）に示すように、撮像素子１３はマイクロレンズ１２０の焦点距離ｆだけ離れた位置に配置される。すなわち、複数の撮像画素１３１を有する画素配列１３０は、各画素配列１３０のそれぞれに対応するマイクロレンズ１２０の焦点距離ｆだけ離れた位置に設けられている。なお、図２（ｂ）においては、マイクロレンズアレイ１２に設けられた複数のマイクロレンズ１２０と、撮像素子１３に設けられた複数の画素配列１３０および複数の撮像画素１３１の一部を示す。

【0020】

上述した構成を有する撮像素子１３から出力された画像信号を用いて、画像積算部１０６は合成画像データを作成する。画像積算部１０６は、あるマイクロレンズ１２０に対応して設けられた画素配列１３０に含まれる撮像画素１３１のうち、所定の撮像画素１３１（以後、基点画素１３２（図３）と呼ぶ）から出力される画像信号（以後、基点信号と呼ぶ）と、基点画素１３２に対応するマイクロレンズ１２０および近傍に設けられたマイクロレンズ１２０に対応する画素配列１３０に含まれる撮像画素１３１から出力された画像信号とを合成する。その結果、画像積算部１０６は、１画素に相当する合成画像信号を生成する。画像積算部１０６は、各マイクロレンズ１２０に対応する基点画素の全てに対して上記の処理を行い、生成されたそれぞれの合成画像信号を加算して合成画像データを生成する。

【0021】

画像積算部１０６は、上述したように合成画像信号を生成する際に、テーブル作成部１０５により作成された合成画素所属テーブルを参照する。合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素１３１が、どのマイクロレンズ１２０に対応する画素配列１３０のどの位置に配置されているかを示している。以下、画像積算部１０６が、撮像画素１３１から出力された画像信号を用いて合成画像信号を生成する処理と、テーブル作成部１０５が合成画像所属テーブルを作成する処理について説明する。

【0022】

図３に各マイクロレンズ１２０、すなわち各画素配列１３０に対応して設けられる基点画素を示す。図３においても、複数のマイクロレンズ１２０のうちの一部のマイクロレンズ１２０を示す。図３に示すように、本実施の形態においては、１つのマイクロレンズ１２０に対して、たとえば４個の基点画素１３２ａ〜１３２ｄが設けられている。基点画素１３２の個数を複数にすることにより、焦点位置が可変にできない領域を減ずることができる。すなわち、基点画素１３２が１個の場合は上記の領域の大きさは±２ｆ（ｆはマイクロレンズ１２０の焦点距離）であるが、基点画素１３２を複数にすることにより上記の領域の大きさを最少で±ｆにすることができる。さらには、基点画素１３２の個数を増やすことにより、合成画像データの画素数を増やすことができる。したがって、図３に示す場合では、合成画像データの画素数はマイクロレンズアレイ１２に配列されたマイクロレンズ１２０の個数の４倍となる。

【0023】

図３では、基点画素１３２ａはマイクロレンズ１２０の擬似光軸に対応して配置される。なお、本実施の形態では、擬似光軸を、撮影レンズＬ１の瞳から入射する光束の中心と、マイクロレンズ１２０の主面との交点として説明する。図３においては、マイクロレンズ１２０の幾何学的中心と擬似光軸とが一致している場合を示している。基点画素１３２ｂ，１３２ｃは隣接するマイクロレンズ１２０の近傍付近に配置され、基点画素１３２ｄは隣接するマイクロレンズ１２０との境界線上に対応して配置される。また、以下の説明では、基点画素１３２に対応するマイクロレンズ１２０を基点マイクロレンズ１２１と呼ぶこととする。

【0024】

−合成画像信号の生成−
まず、図４（ａ）に示す被写体の像がマイクロレンズ１２０の頂点に結像する場合、すなわち焦点面Ｓがマイクロレンズ１２０の頂点に存在する場合の合成画像の生成原理について説明する。この場合の被写体からの光束は、マイクロレンズ１２０に対応して設けられた画素配列１３０の撮像画素１３１に入射する。画像積算部１０６は、図４（ａ）に示す撮像画素１３１のうち斜線を施した撮像画素１３１から出力された画像信号を積算することにより、合成画像データの１画素に相当する合成画像信号を生成する。画像積算部１０６は、この処理を全てのマイクロレンズ１２０に対応する画素配列１３０について行うことにより、合成画像データを生成する。

【0025】

次に、ある焦点面（結像面）に結像した被写体の像について合成画像信号を生成する場合の原理を説明する。図４（ｂ）に示すように、焦点面Ｓがマイクロレンズ１２０の頂点から離れた位置に存在する場合、被写体からの光束は異なる複数のマイクロレンズ１２０に入射する。このため、画像積算部１０６は、合成画像信号を生成するために、基点マイクロレンズ１２１の近傍に配置されたマイクロレンズ１２０に対応して配置された撮像画素１３１からの画像信号をも用いる必要がある。本実施の形態においては、１つの基点マイクロレンズ１２１に対して複数の基点画素１３２が設定されている、すなわちマイクロレンズ１２０の擬似光軸に対応する位置とは異なる位置にも基点画素１３２が設けられている。

【0026】

画像積算部１０６は、合成画像の絞り値に応じて決定される積算領域に含まれる撮像画素１３１から出力される画像信号を全て積算することにより合成画像データにおける１画素（合成画像の結像領域）に相当する合成画像信号を生成する。なお、積算領域は直径をＤとする円で表される。積算領域の直径Ｄは、絞り値入力ボタン１０８ａの操作に応じて決定された絞り値（合成画像データの絞り値）Ｆと、マイクロレンズ１２０の焦点距離ｆとを用いて以下の式（１）により表される。
Ｄ＝ｆ／Ｆ ・・・（１）

【0027】

図５は、積算領域Ｒｓと撮像画素１３１との関係を示す。上述したように、画像積算部１０６は、円形領域として表された積算領域Ｒｓに被覆される全ての撮像画素１３１から出力された画像信号を積算する。図５においては、積算される画像信号を出力する撮像画素１３１に斜線を付して示している。マイクロレンズ１２０は、マイクロレンズアレイ１２を構成するレンズの１つなので、マイクロレンズ１２０の配列により許容される各マイクロレンズ１２０の直径よりも積算領域Ｒｓを大きくすることはできない。したがって、合成画像データで許容される最大の絞り値Ｆｍａｘは、以下の式（２）で表される。なお、式（２）において「ｓ」は撮像画素１３１の一辺の大きさを示す。また、合成画像データにおける最小の絞り値Ｆｍｉｎはマイクロレンズ１２０のＦ値となる。
Ｆｍａｘ＝ｆ／ｓ ・・・（２）

【0028】

画像積算部１０６によって、基点画素１３２を含む画素配列１３０から出力された画像信号が積算された合成画像信号、すなわち積算値は以下の式（３）で表される。なお、式（３）においては、Ｐは撮像画素１３１から出力される画像信号の出力値を示す。また、式（３）の「ｉ」は合成画像の絞り値Ｆのときに積算領域Ｒｓに被覆される撮像画素１３１を示し、「０」は基点画素１３２が含まれる画素配列１３０に対応して配置されるマイクロレンズ１２０であること、すなわち基点マイクロレンズ１２１であることを表している。

・・・（３）

【0029】

上述したように、画像積算部１０６は、基点マイクロレンズ１２１の近傍に設けられたマイクロレンズ１２０に対応する画素配列１３０に含まれる撮像画素１３１から出力される画像信号も用いて積算を行う。すなわち、画像積算部１０６は、合成画像の絞り値Ｆよって決まる積算領域Ｒｓに被覆される撮像画素１３１の集合Ｆ{ｉ}に含まれる全ての撮像画素１３１であって、基点マイクロレンズ１２１を含む近傍のマイクロレンズ１２０に対応して配置された撮像画素１３１からの画素信号の出力値を積算する。この場合、出力値Ｐは以下の式（４）で表される。なお、式（４）の「ｔ」は、基点マイクロレンズ１２１を含む近傍のマイクロレンズ１２０を表す。

・・・（４）

【0030】

図６は、画像積算部１０６によって１つの合成画像信号を生成する際に用いられた画像信号を出力した撮像画素１３１と、基点マイクロレンズ１２１および近傍に隣接するマイクロレンズ１２０ａ〜１２０ｆとの関係を示す。なお、図６では、基点画素１３２ａから出力された基点信号に対して合成画像信号を生成した場合を示す。図６に示す基点マイクロレンズ１２１と隣接するマイクロレンズ１２０ａ〜１２０ｆに分散する各撮像画素１３１を集めると、図５に示す合成画像の絞り値Ｆにより規定される領域、すなわち積算領域Ｒｓで被覆される複数の撮像画素１３１を構成することになる。

【0031】

画像積算部１０６が上述した処理を行って画像信号を積算する際には、基点信号に加える画像信号を出力する撮像画素１３１が何れのマイクロレンズ１２０に対応する画素配列１３０のどの位置に配置されているかが重要となる。そのため、式（３）、（４）において「ｉ」で示される撮像画素１３１がどのマイクロレンズ１２０ａ〜１２０ｆに対応して設けられているか、すなわち撮像画素１３１の分散を示すテーブルが合成画素所属テーブルとして所定の格納領域に格納されている。そして、画像積算部１０６は合成画像信号を生成する際にこの合成画素所属テーブルを参照する。なお、合成画素所属テーブルは以下の式（５）で表されるものとする。
ｔ＝Ｔ_ｄ（ｉ） ・・・（５）

【0032】

−合成画素所属テーブルの作成処理−
画像積算部１０６は、画像信号を積算する際には、合成画素所属テーブルを参照する。上述したように、この合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素１３１が、基点マイクロレンズ１２１および近傍に設けられたマイクロレンズ１２０に対応する画素配列１３０のどの位置に配置されているかを特定する。

【0033】

テーブル生成部１０５は、合成画像の焦点位置ｙと合成画像の絞り値Ｆ（被写界深度）とが決定されると、基点信号に合成するための画像信号を出力する撮像画素１３１についての合成画素所属テーブルを作成する。上述したように、何れのマイクロレンズ１２０に対応する何れの撮像画素１３１からの画像信号が基点信号に積算されるかは、合成画像の焦点位置により決定される。

【0034】

図６（ａ）は、合成画像の焦点位置（焦点面）ｙがマイクロレンズアレイ１２に対して被写体側に存在する場合を示している。また、図６（ｂ）は、合成画像の焦点位置（焦点面）ｙがマイクロレンズアレイ１２に対して撮像素子１３側に存在する場合を示している。図６（ａ）および図６（ｂ）に示すように、マイクロレンズ１２０ａに対応する撮像画素１３１に関して、焦点面の位置に応じて基点信号に積算される画像信号を出力する撮像画素１３１の配置が異なっている。他のマイクロレンズ１２０ｂ〜１２０ｆおよび基点マイクロレンズ１２１についても同様に異なっている。

【0035】

テーブル作成部１０５は、基点マイクロレンズ１２１に複数の基点画素１３２が存在する場合（たとえば図３の基点画素１３２ａ〜１３２ｄ）には、それぞれの基点画素１３２に対して合成画素所属テーブルを作成する。ただし、複数の基点画素１３２が基点マイクロレンズ１２１の擬似光軸に対して対称（シンメトリック）であれば、画像積算部１０６はある基点画素１３２の合成画素所属テーブルを他の基点画素１３２の合成画素所属テーブルとして利用できる。たとえば、画像積算部１０６は、図３の基点画素１３２ｂの合成画素所属テーブルを基点マイクロレンズ１２１の擬似光軸に対して対称な基点画素１３２ｄの合成画素所属テーブルとして利用できる。

【0036】

以下、テーブル作成部１０５による合成画素所属テーブルの作成処理について詳細に説明する。以下の説明においては、代表して、基点マイクロレンズ１２１の擬似光軸に対応して配置された基点画素１３２ａの合成画素所属テーブルの作成処理について行う。合成画像の焦点面がマイクロレンズアレイ１２から距離ｙの位置に存在する、すなわち焦点距離がｙであるとする。さらに、基点マイクロレンズ１２１からｎ番目のマイクロレンズ１２０の擬似光軸を通過する光束は、以下の式（６）で示すように、基点マイクロレンズ１２１の擬似光軸から距離ｘの位置に入射する。なお、「ｄ」は各マイクロレンズ１２０の配列ピッチを示す。
ｘ＝ｆｎｄ／ｙ ・・・（６）

【0037】

撮像画素１３１が対応するマイクロレンズ１２０により結像される光束を受光することを考慮すると、合成画像の焦点位置ｙからの被写体からの光のうち撮像素子１３の撮像面において各マイクロレンズ１２０により照射される光の幅ｌは、以下の式（７）により表される。
ｌ＝ｆｄ／ｙ ・・・（７）

【0038】

上記の光の幅ｌは、撮像素子１３の二次元平面上においては、幅ｌの輪状の領域（以後、輪帯と呼ぶ）で表わされる。したがって、基点マイクロレンズ１２１からｎ番目の位置に配置されたマイクロレンズ１２０において、合成画像の絞り値Ｆにより規定された光束はこの輪帯ｌで示される領域内に入射する。式（７）に示すように、合成画像の焦点位置ｙが大きくなるほど輪帯ｌの幅は小さくなる。

【0039】

本実施の形態においては、それぞれのマイクロレンズ１２０のｘｙ平面における形状は図３に示すように六角形であり、マイクロレンズアレイ１２上にハニカム配列されている。図７に、ある合成画像の絞り値Ｆに対応する積算領域Ｒｓのうち、ｎ＝１の場合の輪帯ｌ１およびｎ＝２の場合の輪帯ｌ２を示す。図７に示すように、ｎ＝１の場合の輪帯ｌ１は基点マイクロレンズ１２１およびマイクロレンズ１２０ａ〜１２０ｆにより区分されそれぞれ部分領域Ｒｐａ〜Ｒｐｇを形成する。すなわち、各部分領域Ｒｐａ〜Ｒｐｇはそれぞれ異なるマイクロレンズ１２０により被覆されている。したがって、画像積算部１０６は、輪帯ｌ１の各部分領域Ｒｐａ〜Ｒｐｇに含まれる撮像画素１３１からの画像信号の出力値Ｐi,sを算出する。そして、画像積算部１０６は、同様にして、積算領域Ｒｓ、すなわちすべての輪帯ｌについて積算すればよいことになる。

【0040】

基点マイクロレンズ１２１および各マイクロレンズ１２０ａ〜１２０ｆに関して、隣接するマイクロレンズ１２０の関係は基本的に同様である。したがって、テーブル作成部１０５は、輪帯ｌ１を構成している部分領域Ｒｐａ〜Ｒｐｇのそれぞれに含まれる各撮像画素１３１について、ある撮像画素１３１がいずれの部分領域Ｒｐに属するかを決定する。

【0041】

基点画素１３２ａに対して、積算される画像信号を出力する撮像画素１３１が含まれる積算領域Ｒｓの径を（Ｄ＝ｆ／Ｆ）とする。また、各マイクロレンズ１２０のｘ軸方向（水平方向）の配列ピッチｄ、換言すると六角形形状の各マイクロレンズ１２０のそれぞれに内接する円の径を、積算領域Ｒｓの径の最大値Ｄｍａｘに等しいものとする。さらに、合成画像の焦点位置（焦点距離）をマイクロレンズ１２０の仮想屈曲面を基準としてｙとする。この場合に、マイクロレンズアレイ１２における各マイクロレンズ１２０の配列ピッチｄを投射倍率であるｆ／ｙ倍して積算領域Ｒｓ上に投影すると、各マイクロレンズ１２０によって輪帯ｌが分割された部分領域Ｒｐのそれぞれに相当する。テーブル作成部１０５は、部分領域Ｒｐに含まれる撮像画素１３１の位置と、部分領域Ｒｐに対応するマイクロレンズ１２０とを対応付けして、基点画素１３２ａの合成画素所属テーブルとして作成する。テーブル作成部１０５は、他の基点画素１３２ｂ〜１３２ｄについても同様にして合成画素所属テーブルを作成する。なお、部分領域Ｒｐに対応するマイクロレンズ１２０の位置は、基点マイクロレンズ１２１の位置を基準とした相対位置として特定される。

【0042】

なお、テーブル作成部１０５は、基点画素１３２が基点マイクロレンズ１２１の擬似光軸上に配置されていない場合、すなわち基点画素１３２ｂ〜１３２ｄについても同様にして合成画素所属テーブルを作成する。たとえば２つのマイクロレンズ１２０の境界線上に配置された基点画素１３２ｃのように基点マイクロレンズ１２１の擬似光軸から偏芯している場合について説明する。この場合、テーブル作成部１０５は、図８に示すように、基点マイクロレンズ１２１の擬似光軸から偏芯した基点画素１３２ｃを中心として、マイクロレンズ１２０の配列ピッチｄを投射倍率で拡大または縮小して、積算領域Ｒｓ上に投影する。

【0043】

なお、マイクロレンズ１２０と撮像画素１３１との位置関係、すなわちマイクロレンズ１２０の大きさ（配置間隔）と撮像画素１３１の配列ピッチとが比例関係であることが望ましい。図３に示すように、マイクロレンズ１２０の内部が撮像画素１３１の配列ピッチの整数倍となるように撮像画素１３１の配列ピッチを決定すると、テーブル作成部１０５は、マイクロレンズ１２０ごとに同一の演算を繰り返すことにより合成画素所属テーブルを作成することができる。

【0044】

以上で説明したデジタルカメラ１の動作を説明する。ユーザによるレリーズスイッチの操作に応じて操作部１０８から操作信号が出力されると、制御回路１０１は撮像素子１３に被写体像の撮像を開始させ、画像信号を出力させる。撮像素子１３から出力された画像信号はＡ／Ｄ変換回路１０２によりデジタルの画像信号に変換されてメモリ１０３に格納される。画像積算部１０６は、このメモリ１０３に格納された画像信号を用いて合成画像データを生成する。

【0045】

ユーザによる絞り値入力ボタン１０８ａおよび焦点位置入力ボタン１０８ｂの操作に応じて制御回路１０１が合成画像の絞り値Ｆおよび焦点位置ｙを決定すると、テーブル作成部１０５は、上述したように合成画素所属テーブルを作成する。合成画像の絞り値Ｆにより積算領域Ｒｓが決まるので、テーブル作成部１０５は、決定された合成画像の焦点位置ｙに基づいて投射倍率を算出し、積算領域Ｒｓの部分領域Ｒｐを決定する。そして、テーブル作成部１０５は、決定した部分領域Ｒｐに含まれる撮像画素１３１に基づいて合成画素所属テーブルを作成して、所定の格納領域に格納する。

【0046】

画像積算部１０６は、格納された合成画素所属テーブルを用いて、メモリ１０３に格納された画像信号に対して合成画像データの生成処理を行う。このとき、画像積算部１０６は、各マイクロレンズ１２０に対応する画素配列１３０ごとに合成画像信号を生成して合成画像データの生成処理を行ってもよいし、基点画素１３２の配列順序に従って合成画像信号を生成して合成画像データを生成してもよい。

【0047】

画像積算部１０６は、各マイクロレンズ１２０の中から基点マイクロレンズ１２１を選択して、基点マイクロレンズ１２１の擬似光軸を中心として積算領域Ｒｓを決定する。上述したように、本実施の形態では、擬似光軸を、撮影レンズＬ１の瞳から入射する光束の中心と、マイクロレンズ１２０の主面との交点としている。通常、マイクロレンズアレイ１２の周辺部、すなわち被写体象の像高が高い位置に対応して配置されるマイクロレンズ１２０ほど、擬似光軸はマイクロレンズ１２０の幾何学上の中心からずれる。したがって、撮影レンズＬ１の瞳位置が固定されている場合には、撮像素子１３の各撮像画素１３１とマイクロレンズ１２０の擬似光軸とが比例関係となるようにマイクロレンズ１２０を設計しておくことが好ましい。

【0048】

撮像画素１３１とマイクロレンズ１２０の擬似光軸とが比例関係にない場合には、テーブル作成部１０５は擬似光軸を基準としてマイクロレンズ１２０ごとに撮像画素１３１の位置を内挿して正規化を行って、合成画素所属テーブルを作成する。正規化の手法としては、たとえば公知のバイキュービック法やニアレストネイバー法などを用いる。

【0049】

合成画素所属テーブルは、上述したように正規化された撮像画素１３１の位置に基づいてテーブル作成部１０５により作成されている。したがって、画像積算部１０６は、この合成画素所属テーブルを参照して、合成画像の絞り値Ｆで決定される積算領域Ｒｓ内の撮像画素１３１から出力された画像信号を積算して合成画像データを生成する。画像積算部１０６により合成画像データが生成されると、画像正規化部１０７は合成画像データに対して正規化処理を施す。画像積算部１０６により生成された合成画像データのピッチは、マイクロレンズ１２０の配列と撮像画素１３１の配列との比例関係に基づいて決定されているので、合成画像データの水平方向と垂直方向の画素ピッチが異なる。図３に示すようにマイクロレンズ１２０が六角形形状を有するハニカム配列であり、各画素配列１３０に４つの基点画素１３２を含む場合には、水平方向と垂直方向の比が以下の式（８）ようになる。

…（８）

【0050】

したがって、画像正規化部１０７は、垂直方向または水平方向に対して、たとえば公知のニアレストネイバー法やバイキュービック法等を用いて内挿演算を行って正規化を行う。その結果、画像正規化部１０７により、合成画像データの水平方向と垂直方向の比が１：１に変換される。

【0051】

以上で説明した実施の形態によるデジタルカメラ１によれば、以下の作用効果が得られる。
（１）複数のマイクロレンズ１２０を撮影レンズＬ１の焦点面近傍に二次元状に配置し、撮像素子１３には撮影レンズＬ１を通過した被写体からの光束をマイクロレンズ１２０を介して受光して画像信号を出力する複数の撮像画素１３１を含む画素配列１３０が、マイクロレンズ１２０のそれぞれに対応して二次元状に配置される。画像積算部１０６は、撮影レンズＬ１の任意の焦点位置、すなわち結像面における複数の結像領域に対応する合成画像信号を生成するために、結像領域ごとに合成画像信号の生成に使用される画像信号を出力する撮像画素１３１の位置を特定する合成画素所属テーブルに基づいて、撮像画素１３１から出力された画像信号を合成する。そして、テーブル作成部１０５は、任意の焦点位置ごとに合成画素所属テーブルを作成する。

【0052】

従来の技術では、ある焦点面における合成画像データを生成する場合に、マイクロレンズ１２０の中心位置に対応する座標を通過した光束に対応して出力された画像信号を合成して、合成画像データの１画素に相当する合成画像信号を生成していた。すなわち、合成画像データの画素数、すなわち解像度がマイクロレンズ１２０の配列数と等しいものとなっていた。１つのマイクロレンズ１２０の直径が撮像画素１３１の１０画素分に相当する、すなわち１つのマイクロレンズ１２０に対応して１０×１０画素の撮像画素１３１が配列されているものと仮定する。この場合、合成画像データの画素数がマイクロレンズ１２０の配列数と等しいために、画像密度が１／１００となる。すなわち、撮像素子１３が１０００万画素の撮像画素１３１を有していたとしても、生成される合成画像データは１０万画素となる。

【0053】

これに対して、本実施の形態のデジタルカメラ１は、合成画像データの１画素に相当する合成画像信号を生成するための基点画素１３２を、１つのマイクロレンズ１２０に対して４つ設けている。その結果、従来の技術によるデジタルカメラで生成される合成画像データと比べて解像度を増加させる、すなわちマイクロレンズ１２０の配列数よりも解像度を増やすことができるので、合成画像の画質が向上される。

【0054】

さらには、テーブル作成部１０５が基点画素１３２からの基点信号に合成する画像信号を出力する撮像画素１３１の位置を示す合成画素所属テーブルを作成している。すなわち、従来の技術のようにフーリエ変換を用いた複雑な演算を用いることなく合成画像データを生成できる。その結果、特にマイクロレンズ１２０のｘｙ平面上での形状が矩形配列ではなく（たとえばハニカム配列）、フーリエ変換による演算が煩瑣となる場合であっても、処理負荷を低減し合成画像を高速に生成できる。また、テーブル作成部１０５は、合成画像の焦点位置ｙが決定されるごとに合成画素所属テーブルを作成するので、複数の合成画像の焦点位置ｙと複数の基点画素１３２とのそれぞれに対応した膨大な数のテーブルを予め記憶させておく必要がないので、メモリ容量を確保することができる。

【0055】

（２）複数の基点画素１３２のそれぞれの配置間隔は、複数のマイクロレンズ１２０のそれぞれの配置間隔と比例関係を有するようにした。すなわち、マイクロレンズ１２０の大きさが撮像画素１３１の配列ピッチの整数倍となるように撮像画素１３１の配列ピッチを決定した。この結果、画像積算部１０６は、複数のうちのあるマイクロレンズ１２０に対応する基点画素１３２に対して行った合成画像生成処理と同一の処理を、他のマイクロレンズ１２０に対応する基点画素１３２に対して行うことにより合成画像データを生成できる。したがって、合成画像生成処理に要する負荷を軽くして、合成画像データを高速に生成できる。

【0056】

（３）テーブル作成部１０５は、複数の基点画素１３２ａ〜１３２ｄのそれぞれに対して合成画素所属テーブルを作成する。この合成画素所属テーブルでは、基点画素１３２に対応する撮像画素１３１が配置された位置は、マイクロレンズ１２０の擬似光軸を基準として正規化されている。そして、合成画素所属テーブルは、撮像画素１３１が配置された位置に対応するマイクロレンズ１２０が配置された位置を基点マイクロレンズ１２１を基準として相対的に指定している。したがって、画像積算部１０６は、基点画素１３２からの基点画像信号に合成する画像信号を出力する撮像画素１３１を、合成画素所属テーブルを参照して選択できるので、合成画像データ生成処理の高速化を実現できる。

【0057】

（４）テーブル作成部１０５によって作成される合成画素所属テーブルは、基点画素１３２を基点とした領域であって、マイクロレンズ１２０の焦点距離ｆを合成画像の絞り値Ｆで除した値を直径Ｄ（＝ｆ／Ｆ）とする積算領域Ｒｓに含まれる撮像画素１３１が配置された位置が、複数のマイクロレンズ１２０のうちのいずれのマイクロレンズ１２０に対応しているかを示している。したがって、画像積算部１０６は、基点画素１３２からの基点信号に合成する画像信号、すなわち合成画像の絞り値Ｆに対応する画像信号を、合成画素所属テーブルを参照して選択できるので、合成画像データ生成処理の高速化を実現できる。

【0058】

（５）画像正規化部１０７は、画像積算部１０６により生成された合成画像データを正規化し、水平方向と垂直方向との比率を１に変換するようにした。したがって、マイクロレンズ１２０のｘｙ平面上での形状が矩形ではない場合であっても、水平方向と垂直方向との比率が合致した合成画像データを生成して、合成画像の画質低下を防止できる。

【0059】

以上で説明した実施の形態のデジタルカメラ１を、以下のように変形できる。
（１）１つのマイクロレンズ１２０に対応する４個の基点画素１３２ａ〜１３２ｄが、マイクロレンズ１２０の擬似光軸から偏芯した位置に配置されるものでもよい。図９（ａ）にこの場合の基点画素１３２の配置例を示す。この場合、基点画素１３２ａ〜１３２ｄは、マイクロレンズ１２０の擬似光軸に対して互いに対称（シンメトリック）となる位置に配置されている。基点画素１３２が図９（ａ）に示すように配置されている場合、画像積算部１０６は、１つの基点画素１３２に対応する合成画素所属テーブルを他の３つの基点画素１３２に対応する合成画素所属テーブルとして使用できる。たとえば、画像積算部１０６は、基点画素１３２ａに対応する合成画素所属テーブルを６０度ずつ回転させることにより基点画素１３２ｂ、１３２ｃ、１３２ｄのそれぞれに対応する合成画素所属テーブルとして使用すればよい。すなわち、テーブル作成部１０５は、１つのマイクロレンズ１２０について１つの合成画素所属テーブルを作成すればよい。

【0060】

（２）マイクロレンズ１２０のｘｙ平面における形状が六角形のハニカム構造であるものに代えて、たとえば正方形のような矩形形状でもよい。図９（ｂ）にこの場合のマイクロレンズ１２０と基点画素１３２の配置例を示す。この場合についても、テーブル作成部１０５は、実施の形態と同様の手法により４つの基点画素１３２ａ〜１３２ｄに対応する合成画素所属テーブルを作成し、画像積算部１０６は合成画素所属テーブルを参照しながら合成画像データを生成する。ただし、マイクロレンズ１２０がハニカム構造を有する場合とは異なり、合成画像データの水平方向と垂直方向の比率が１であるので、画像正規化部１０７による処理を行う必要はない。

【0061】

（３）本実施の形態では、４つの基点画素１３２について合成画素所属テーブルを作成するものとしたが、ｎ個（ｎは１以上の整数）であってもよい。たとえば、基点マイクロレンズ１２０に対応する画素配列１３０に１６個の基点画素１３２が含まれる場合、すなわちマイクロレンズ１２０の配列に対して１６倍の解像度の合成画像データを生成する場合には、テーブル生成部１０５は１６種類の合成画素所属テーブルを作成すればよい。なお、基点マイクロレンズ１２１に対応する基点画素１３２の数が１個の場合には、合成画像データの解像度はマイクロレンズ１２０の配列数と等しくなる。

【0062】

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

【符号の説明】

【0063】

１２…マイクロレンズアレイ、 １２０…マイクロレンズ、
１２１…基点マイクロレンズ、 １３…撮像素子、
１３０…画素配列、 １３１…撮像画素、
１３２…基点画素、 １０１…制御回路、
１０５…テーブル作成部、 １０６…画像積算部、
１０７…画像正規化部、 １０８…操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】