特許 6123341 画像処理装置、撮像装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6123341

(24)【登録日】2017年4月14日

(45)【発行日】2017年5月10日

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170424BHJP

   H04N 5/243 20060101ALI20170424BHJP

   H04N 5/225 20060101ALI20170424BHJP

   G06T 3/00 20060101ALI20170424BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/243

   H04N5/225 Z

   G06T3/00

【請求項の数】9

【全頁数】21

(21)【出願番号】特願2013-30046(P2013-30046)

(22)【出願日】2013年2月19日

(65)【公開番号】特開2014-160912(P2014-160912A)

(43)【公開日】2014年9月4日

【審査請求日】2016年1月28日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】山本 量平

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２００７−２１５０７３（ＪＰ，Ａ）

【文献】 特開２００８−１８２６９２（ＪＰ，Ａ）

【文献】 特開２０１２−０３４３４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成手段と、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定手段が特定した画素の何れにも対応しない画素を有する前記サブ画像のデータ量を削減する削減手段と、
を備える、
ことを特徴とする画像処理装置。

【請求項2】

前記削減手段は、前記合成比率が０である、又は、前記合成比率が前記所定の比率未満である画素を有する前記サブ画像の前記データ量を削減することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記削減手段により前記データ量が削減された前記複数のライトフィールド画像を記憶する記憶手段を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記削減手段は、前記特定手段が特定した画素の何れにも対応しない画素を有する前記サブ画像について、前記サブ画像の画素の前記画素値を特定の値に変更し、変更後のサブ画像を含むライトフィールド画像を圧縮するものであり、
前記記憶手段は、圧縮された前記ライトフィールド画像を複数記憶することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記削減手段は、前記サブ画像を構成する全ての画素が、前記特定手段が特定した画素の何れにも対応しない画素である場合に、前記サブ画像を構成する全ての画素の前記画素値を前記特定の値に変更することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記削減手段は、前記複数のライトフィールド画像それぞれが含む何れかの前記サブ画像において、所定の閾値以上の面積を持つ領域を構成する全ての画素が、前記特定手段が特定した画素の何れにも対応しない画素である場合、前記領域を削除して前記データ量を削減することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。

【請求項7】

被写体からの光を捉えるメインレンズと、前記メインレンズが捉えた光をさらに捉える複数の視点にそれぞれ対応する複数のマイクロレンズと、を用いて、それぞれ異なる前記視点から前記被写体を撮影した複数のサブ画像を含むライトフィールド画像を撮影する撮影手段と、
前記撮影手段により露出を変えて撮影した複数の前記ライトフィールド画像をそれぞれ再構成して複数の再構成画像を生成する生成手段と、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定手段が特定した画素の何れにも対応しない画素を有する前記サブ画像のデータ量を削減する削減手段と、
を備える、
ことを特徴とする撮像装置。

【請求項8】

それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成ステップと、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定ステップと、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定ステップと、
前記ライトフィールド画像において、前記特定ステップで特定した画素の何れにも対応しない画素を有する前記サブ画像のデータ量を削減する削減ステップと、
を含む、
ことを特徴とする画像処理方法。

【請求項9】

コンピュータを、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成手段、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段、
前記ライトフィールド画像において、前記特定手段が特定した画素の何れにも対応しない画素を有する前記サブ画像のデータ量を削減する削減手段、
として機能させる、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、様々なデジタルカメラが知られている。
例えば、撮影後にユーザがピント及び被写界深度を変更できるライトフィールドカメラが知られている。このライトフィールドカメラに関連する技術として、特許文献１には、複数のサブ画像を含むライトフィールド画像から、任意の焦点距離における被写体の画像を再構成する技術が開示されている。

【0003】

一方、白とびや黒つぶれがないハイダイナミックレンジ（High Dynamic Range :HDR)画像が得られるＨＤＲカメラが知られている。このＨＤＲカメラに関連する技術として、特許文献２には、露出を変えて高速連写した複数の画像を適正な合成比率で合成することによりＨＤＲ画像を得る技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２００８−５１５１１０号公報

【特許文献2】特開２０１２−０３４３４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上述したライトフィールドカメラにて露出を変えて高速連写した複数のライトフィールド画像からそれぞれ再構成した複数の再構成画像を合成することでＨＤＲ画像を得ることができる。このＨＤＲ画像のピント及び被写界深度の調整を可能にするには、複数のライトフィールド画像を記憶しておく必要がある。このため、記憶するデータ量が大きくなるという問題があった。

【0006】

そこで、この発明は、上記問題に鑑みてなされたものであって、複数のライトフィールド画像を記憶する場合のデータ量を抑える装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するため、本発明の画像処理装置の一態様は、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成手段と、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定手段が特定した画素の何れにも対応しない画素を有する前記サブ画像のデータ量を削減する削減手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明の撮像装置の一態様は、
被写体からの光を捉えるメインレンズと、前記メインレンズが捉えた光をさらに捉える複数の視点にそれぞれ対応する複数のマイクロレンズと、を用いて、それぞれ異なる前記視点から前記被写体を撮影した複数のサブ画像を含むライトフィールド画像を撮影する撮影手段と、
前記撮影手段により露出を変えて撮影した複数の前記ライトフィールド画像をそれぞれ再構成して複数の再構成画像を生成する生成手段と、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定手段が特定した画素の何れにも対応しない画素を有する前記サブ画像のデータ量を削減する削減手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明の画像処理方法の一態様は、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成ステップと、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定ステップと、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定ステップと、
前記ライトフィールド画像において、前記特定ステップで特定した画素の何れにも対応しない画素を有する前記サブ画像のデータ量を削減する削減ステップと、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明のプログラムの一態様は、
コンピュータを、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した複数の再構成画像を、露出が異なる複数の前記ライトフィールド画像から生成する生成手段、
前記複数の再構成画像の合成比率を、前記複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段、
前記複数の再構成画像を構成する画素のうちの、前記合成比率が所定の比率以上である画素を特定する特定手段、
前記ライトフィールド画像において、前記特定手段が特定した画素の何れにも対応しない画素を有する前記サブ画像のデータ量を削減する削減手段、
として機能させる、
ことを特徴とする。

【発明の効果】

【0008】

本発明によれば、複数のライトフィールド画像を記憶する場合のデータ量を抑えることができる。

【図面の簡単な説明】

【0009】

【図1】この発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。

【図2】図１に示したデジタルカメラの光学系の構成例を示す模式図である。

【図3】ライトフィールド画像の概念図である。

【図4】ライトフィールド画像と再構成画像の一例を示す写真である。

【図5】デジタルカメラの機能構成を示すブロック図である。

【図6】実施形態に係る再構成処理の流れの一例を示すフローチャートである。

【図7】部分画像定義テーブルの一例を示す図である。

【図8】配置間隔テーブルの一例を示す図である。

【図9】ライトフィールド画像から再構成画像を生成する処理の概要を示す図である。

【図10】画素対応テーブルの一例を示す図である。

【図11】再構成画像の合成を説明するための図であり、（a）は露出の異なる再構成画像を、（ｂ）は判定用画像を、（ｃ）はＨＤＲ画像を、それぞれ示す。

【図12】合成比率設定グラフの一例を示す図である。

【図13】合成比率対応テーブルの一例を示す図である。

【図14】実施形態に係るデータ量削減処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、この発明の実施形態を図面に基づいて説明する。
まず、図１を参照しながらデジタルカメラ１００のハードウェア構成について説明する。図１に示すように、デジタルカメラ１００は、撮影部１１０と画像処理部１２０と操作部１３０と表示部１４０とを備える撮像装置である。
撮影部１１０は、メインレンズ１１１とマイクロレンズアレイ１１２と撮像素子１１３とを備える。この撮影部１１０の詳細については後述する。
次に、画像処理部１２０は、ＣＰＵ（Central Processing Unit）１２１とＲＯＭ（Read Only Memory）１２２とＲＡＭ（Random Access Memory）１２３とＳＤ（Secure Digital Memory Card）１２４とを備える。

【0011】

このうち、ＣＰＵ１２１は、画像処理部１２０及びデジタルカメラ１００を制御する中央演算装置である。
ＲＯＭ１２２は、ＣＰＵ１２１が実行するプログラムを格納している不揮発性メモリである。
ＲＡＭ１２３は、ＣＰＵ１２１が実行するプログラムを一時的に展開し、ＣＰＵ１２１が各種処理を行う際の作業領域として使用する揮発性メモリである。

【0012】

ＳＤ１２４は、各種画像のデータ、各種テーブル及び各種設定情報を記憶する記憶手段である。各種画像のデータとしては、例えば後述するライトフィールド画像のデータ及びＨＤＲ画像のデータなどである。また、各種テーブルとしては、例えば後述する部分画像定義テーブル、配置間隔テーブル及び合成比率設定グラフなどである。また、各種設定情報としては、例えばメインレンズ１１１の焦点距離ｆ_ＭＬ、絞り（Ｆ値）及びマイクロレンズアレイ１１２と撮像素子１１３との位置情報などである。

【0013】

次に、操作部１３０は、撮影部１１０による撮影処理のトリガとなるシャッターキー及びデジタルカメラ１００の電源を入れるための電源スイッチなど複数のスイッチを備える。
表示部１４０は、液晶ディスプレイ又は有機ＥＬ（Electroluminescence）ディスプレイなどの表示手段である。この表示部１４０は、ＳＤ１２４に記憶された各種画像のデータに基づいて、その各種画像を表示する。

【0014】

ここで、図２を参照しながら、デジタルカメラ１００の撮影部１１０の詳細について説明する。図２に示すように、デジタルカメラの光学系においては、被写体ＯＢから見て、メインレンズ１１１と、マイクロレンズアレイ１１２と、撮像素子１１３と、がその順番で配置されている。
メインレンズ１１１は、一又は複数の凸レンズ、凹レンズ又は非球面レンズなどから構成される。このメインレンズ１１１は、被写体ＯＢ上の点から射出された光束を集光して結像面ＭＡに結像させる。

【0015】

マイクロレンズアレイ１１２は、平面状に格子状に配置されたＮ×Ｍ個（Ｎ及びＭは２以上の任意の整数値）のマイクロレンズ１１２−１乃至１１２−Ｎ×Ｍから構成される。図３には、縦一列（Ｍ個）のマイクロレンズが図示されている。なお、各マイクロレンズ１１２−ｉ（ｉは、１乃至Ｎ×Ｍの範囲内の整数値）は、同じ大きさの径をもち、マイクロレンズアレイ１１２に同じ間隔で格子状に配列されている。
このマイクロレンズ１１２−ｉは、被写体ＯＢからメインレンズ１１１を介して入射されてくる光束を入射方向毎に集光して、撮像素子１１３上にサブ画像として結像させる。

【0016】

撮像素子１１３は、各マイクロレンズ１１２−ｉにより結像された複数のサブ画像を含むライトフィールド画像（Light Field Image :LFI）を生成するイメージセンサである。
このライトフィールド画像は、被写体ＯＢを同時に複数の視点から見た複数のサブ画像を含む。このライトフィールド画像の概念図を図３に示す。この図３は、ブロック状の被写体ＯＢを撮影したライトフィールド画像の一例である。
このライトフィールド画像は、格子状に配置されたＮ×Ｍ個のマイクロレンズ１１２−ｉのそれぞれに対応するサブ画像（Ｓ_１１〜Ｓ_ＭＮ）から構成される。例えば、左上のサブ画像Ｓ_１１は、被写体ＯＢを左上から撮影した画像に相当し、右下のサブ画像Ｓ_ＭＮは、被写体ＯＢを右下から撮影した画像に相当する。

【0017】

このライトフィールド画像の写真の一例を図４（a）に示す。ライトフィールド画像は、被写体ＯＢを同時に複数の視点から見た複数のサブ画像を含むので、デジタルカメラ１００の画像処理部１２０が各サブ画像を適切に合成することで、メインレンズ１１１から所定の距離だけ前方に離れた面に焦点を合わせた画像を再構成することができる（図４（ｂ））。ライトフィールド画像から図４（ｂ）に示すような再構成画像（Reconstructed Image :RI）を生成する処理である再構成処理については後述する。
なお、この実施形態では各サブ画像はグレースケール画像であり、サブ画像を構成する各画素は画素値を持つ。

【0018】

ここで、ＣＰＵ１２１は、ＲＯＭ１２２内の各種プログラムを読み出し、ＲＡＭ１２３に展開した後、その各種プログラムに従って画像処理部１２０を制御することで、図５に示すような各部の機能を発揮することができる。機能としては、図５に示すように、再構成部１５０、ＨＤＲ合成部１６０、特定部１７０、削減部１８０及び保存部１９０を備える。なお、各部の機能の実行主体はＣＰＵ１２１であるが、説明の便宜上、各部の機能を実行主体として説明する。

【0019】

まず、再構成部１５０は、それぞれ異なる視点から被写体ＯＢを撮影した複数のサブ画像を含むライトフィールド画像から再構成画像を生成する生成手段である。
具体的には、再構成部１５０は、ライトフィールド画像に含まれる各サブ画像の画像ズレ係数に基づいて、各サブ画像から部分画像を切り取る際の大きさと、再構成面に部分画像を配置する際の配置間隔と、を特定する。ここで、サブ画像から部分画像を切り取るとは、部分領域の境界を決定した上でサブ画像の画像データを全て残したままサブ画像から部分画像を抽出することをいう。

【0020】

次に、その特定した大きさの部分画像を配置間隔に従って再構成面に順次配置して再構成画像を生成する。なお、再構成面とは、再構成が可能な再構成距離範囲内のうち、所定の再構成距離における仮想的な面である。この再構成距離範囲は、メインレンズ１１１などの光学系の性能等により定まるものである。この再構成距離範囲は、具体的には、サブ画像間の被写体の画素ずれ（視差）が最も大きくなるメインレンズ１１１から最も近い距離と、視差が最も小さくなるメインレンズ１１１から最も遠い距離と、の間の範囲となる。この実施形態においては、一例として、再構成が可能な再構成距離範囲はメインレンズ１１１の手前２０ｃｍから１０ｍの範囲内であり、所定の再構成距離は２ｍであるものとする。以下、再構成処理について図６のフローチャートを参照しながら詳述する。

【0021】

再構成部１５０は、撮像素子１１３により生成されたライトフィールド画像を取得してＲＡＭ１２３の所定領域に設定されたバッファメモリに一時的に保存すると図６の再構成処理を開始する。
まず、再構成部１５０は、ｋ１をカウンタ変数として、ライトフィールド画像のｋ１番目のサブ画像に注目する（ステップＳ１１）。次に、再構成部１５０は、ステップＳ１１で注目したサブ画像である注目サブ画像の画像ズレ係数を算出する（ステップＳ１２）。具体的には、再構成部１５０は、注目サブ画像に写る被写体が、その注目サブ画像を中心とした所定範囲の周囲のサブ画像においてどの程度ずれて映っているかを示す係数である画像ズレ係数を算出する。画像ズレ係数は、例えば以下の方法で算出する。

【0022】

注目サブ画像の中心の所定領域（例えば、中心の１０×１０の画素の領域）を中心領域とし、その中心領域に対応する部分が右隣（無い場合は、左隣）のサブ画像のどこにあるのかを求める。具体的には、右隣の中心の１０×１０の画素の領域を算出対象領域とする。そして、中心領域と算出対象領域の各画素値の差分絶対値和をとる。次に、右に１画素ずらした算出対象領域について同様に差分絶対値和をとる。これを起こりうる画素ずれ（視差）の範囲について繰り返す。得られた差分絶対値和が最小である算出対象領域が中心領域と対応する領域である。また、その最小の差分絶対値和が得られた画素ずれの数を画像ズレ係数とする。

【0023】

次に、再構成部１５０は、部分画像の大きさを特定する（ステップＳ１３）。具体的には、再構成部１５０は、ＳＤ１２４に記憶された図７に示す部分画像定義テーブルを参照して、算出した画像ズレ係数と対応する部分画像の大きさを特定する。例えば、画像ズレ係数が８画素である場合、部分画像の大きさは注目サブ画像の中心６×６画素の領域である。なお、この部分画像定義テーブルは、予めＳＤ１２４に記憶されているものとする。また、この部分画像定義テーブルの部分画像の大きさは、画像ズレ係数が大きい程大きくなる。これは画像ズレ係数が大きいと被写体ＯＢの位置がサブ画像間で大きくずれていることを意味し、隣接するサブ画像の部分画像を繋げて再構成画像を生成するにあたって情報の抜けを作らないためには部分画像の大きさが大きい方が好ましいからである。一方で、画像ズレ係数が小さい画像については部分画像を小さくして、隣同士のサブ画像間に現れる情報の重複が、再構成画像上に過度に現れないようにしている。

【0024】

次に、再構成部１５０は、配置間隔を特定する（ステップＳ１４）。具体的には、再構成部１５０は、再構成距離と画像ズレ係数とメインレンズ１１１の焦点距離と配置間隔とを対応付けた図８に示す配置間隔テーブルを参照して、部分画像の配置間隔を特定する。この配置間隔テーブルでは、予め実験により求められた好適な配置間隔が設定されている。また、この配置間隔テーブルは、予めＳＤ１２４に記憶されているものとする。再構成部１５０は、例えば再構成距離が２ｍ、算出した画像ズレ係数が３画素、設定情報であるメインレンズ１１１の焦点距離が５ｍである場合、配置間隔として２画素を特定する。

【0025】

次に、再構成部１５０は、部分画像を再構成面に重ね合わせ配置する（ステップＳ１５）。具体的には、再構成部１５０は、特定した大きさの部分画像を注目サブ画像から切り出して、その切り出した部分画像を配置間隔に従って再構成面に配置する。この際、部分画像の一辺の大きさは配置間隔よりも大きいので、再構成面に配置した部分画像同士には重なりが生ずる。重なった部分については、画素の画素値を加算平均して再構成画像の画素値とする。

【0026】

次に、再構成部１５０は、全サブ画像処理済か否か判断し（ステップＳ１６）、処理済でない場合（ステップＳ１６；Ｎｏ）、カウンタをインクリメントして（ステップＳ１７）、全サブ画像を処理するまでステップＳ１１乃至Ｓ１５の処理を繰り返す。再構成部１５０は、全サブ画像が処理済であると判断すると（ステップＳ１６；Ｙｅｓ）、生成した再構成画像をＳＤ１２４に記憶して処理を終了する。また、再構成部１５０は、ＲＡＭ１２３に一時的に記憶しているライトフィールド画像を消去する。

【0027】

ここで、図９を参照しながらライトフィールド画像から再構成画像を生成する処理の概要について説明する。なお、説明の便宜上、特定した部分画像の大きさの一辺が配置間隔の２倍である場合を例にとって説明する。なお、この例では再構成面の端の部分を除いて、部分画像が４枚ずつ重なる。
まず、再構成部１５０は、ライトフィールド画像の左上のサブ画像Ｓ_１１をサブ画像として注目する（ステップＳ１１）。そして、再構成部１５０は、ステップＳ１２乃至Ｓ１４の処理の後、注目サブ画像Ｓ_１１から部分画像ＰＩ_１１を切り出し、その切り出した部分画像ＰＩ_１１を再構成面の左上に配置する（ステップＳ１５）。

【0028】

ステップＳ１１に戻って、再構成部１５０は、次に右隣のサブ画像Ｓ_１２に注目する（ステップＳ１１）。再構成部１５０は、注目サブ画像Ｓ_１２から部分画像ＰＩ_１２を切り出して、その切り出した部分画像ＰＩ_１２を先ほど再構成面に配置した部分画像ＰＩ_１１の右隣に配置する（ステップＳ１５）。切り出した部分画像ＰＩ_１２の一辺が配置間隔の２倍であるので、水平方向に重なりをもって配置される。再構成部１５０は、同様に、サブ画像Ｓ_１２の右隣のサブ画像Ｓ_１３から部分画像ＰＩ_１３を切り出し、水平方向に重なりをもって配置する（図９（ａ）参照）。

【0029】

再構成部１５０は、この処理をライトフィールド画像の右端まで繰り返す。再構成部１５０は、右端のサブ画像Ｓ_１Ｎの処理が済んだら、ライトフィールド画像の左端に戻る。そして、再構成部１５０は、上から２段目のサブ画像Ｓ_２１に注目し（ステップＳ１１）、注目したサブ画像Ｓ_２１から切り出した部分画像ＰＩ_２１を最初に再構成面に配置した部分画像Ｐ_１１の下側に配置する（ステップＳ１５）。再構成部１５０は、切り出した部分画像ＰＩ_２１の一辺が配置間隔の２倍であるので垂直方向に重なりをもって配置する（図９（ｂ）参照）。

【0030】

再構成部１５０は、２段目の全てのサブ画像Ｓ_２１〜Ｓ_２Ｎの処理が済んだら、ライトフィールド画像の次の段のサブ画像を処理する。再構成部１５０は、ライトフィールド画像の右下のサブ画像Ｓ_ＭＮまで処理すると（ステップＳ１６；Ｙｅｓ）、生成した再構成画像をＳＤ１２４に記憶して再構成処理を終了する。

【0031】

なお、再構成部１５０は、図６乃至９を参照して説明した再構成処理の後、後述するデータ削減処理用に、生成した再構成画像を構成する各画素を示す座標と、サブ画像を構成する各画素を示す座標と、を対応付けた図１０に示す画素対応テーブルを作成してＳＤ１２４に記憶する。
この画素対応テーブルにおいて再構成画像の各画素の座標は、再構成面の左上を座標原点（０，０）とし、水平方向をｘ座標、垂直方向をｙ座標で表したものである。また、サブ画像の各画素の座標は、ライトフィールド画像を構成する左上のサブ画像Ｓ_１１から右下のサブ画像Ｓ_ＭＮの各画素の座標のうち、再構成画像の各画素の座標と対応する座標を示している。例えば、再構成画像の画素の座標（０，０）と対応するのは、ライトフィールド画像を構成する左上のサブ画像Ｓ_１１の画素の座標（ｘ_１，ｙ_１）である。一方、再構成画像の画素の座標（１，１）と対応するのは、Ｓ_１１（ｘ_３，ｙ_３）、Ｓ_１２（ｘ_２，ｙ_２）、Ｓ_２１（ｘ_１，ｙ_１）及びＳ_２２（ｘ_１，ｙ_１）である。このことは、座標（１，１）の再構成画像の画素は、Ｓ_１１、Ｓ_１２、Ｓ_２１及びＳ_２２の各座標における部分画像の画素が重ね合っていることを示す。

【0032】

図５に戻って、ＨＤＲ合成部１６０は、再構成部１５０によって露出が異なる複数のライトフィールド画像から生成した複数の再構成画像を、画素毎に所定の合成比率を用いて合成する合成手段である。
具体的には、ＨＤＲ合成部１６０は、露出を変えて高速３連写した３枚のライトフィールド画像から再構成部１５０により再構成された３枚の再構成画像をＳＤ１２４から取得する。次に、ＨＤＲ合成部１６０は、取得した３枚の再構成画像を画素毎に所定の合成比率を用いて合成しＨＤＲ画像を生成し、ＳＤ１２４に記憶する。以下、ＨＤＲ画像を生成するためのＨＤＲ合成処理について図１１を参照しながら詳述する。

【0033】

まず、ＨＤＲ合成部１６０は、再構成部１５０により再構成された３枚の再構成画像（図１１（a）参照）をＳＤ１２４から取得する。図１１（a）に示す３枚の再構成画像は左から順に、露出アンダーのライトフィールド画像から再構成された再構成画像（以下、「露出アンダー再構成画像」という）、適正露出のライトフィールド画像から再構成された再構成画像（以下、「適正露出再構成画像」という）、露出オーバーのライトフィールド画像から再構成された再構成画像（以下、「露出オーバー再構成画像」という）である。なお、露出アンダーは適正露出未満の露出を意味し、露出オーバーは適正露出を超える露出を意味する。図示するように、露出アンダー再構成画像は適正露出未満の露出であるため画像全体に渡って暗く、露出オーバー再構成画像は適正露出を超える露出であるため画像全体に渡って明るい。

【0034】

次に、ＨＤＲ合成部１６０は、露出アンダー再構成画像と適正露出再構成画像と露出オーバー再構成画像とを構成する各画素の画素値を平均化し、平均化後の画像を平滑化して判定用画像を作成する（図１１（ｂ））。これにより３枚の再構成画像の画素値（０：黒〜２５５：白）が平均化されるので明るさが平均化されるとともに、平滑化によりランダムなノイズが除去された判定用画像が得られる。なお、平滑化は公知の手法により（例えば、平均化後の画像に対してεフィルタをかけることにより）行うことができる。

【0035】

次に、ＨＤＲ合成部１６０は、ＳＤ１２４に記憶された図１２に示す合成比率設定グラフを参照して、判定用画像の画素値に基づいて画素毎に露出アンダー用合成比率Ｒｕ、適正露出用合成比率Ｒｍ、及び露出オーバー用合成比率Ｒｏをそれぞれ決定する。なお、判定用画像の各画素の画素値は、上述したように３枚の再構成画像の各画素の画素値が平均化されて平滑化されたものである。このため、判定用画像の各画素の画素値に基づいて定まるＲｕ、Ｒｍ及びＲｏそれぞれの合成比率は、３枚の再構成画像の各画素の画素値に応じて定まるともいえる。すなわち、ＨＤＲ合成部１６０は、複数の再構成画像の合成比率を、その複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段ともいえる。
図１２に示した合成比率設定グラフは、判定用画像の画素値が低い場合（暗い場合）、明るい露出オーバー再構成画像の画素の合成比率が高くなるようにＲｏが高く設定されている。一方、合成比率設定グラフは、判定用画像の画素値が高い場合（明るい場合）、暗い露出アンダー再構成画像の画素の合成比率が高くなるようにＲｕが高く設定されている。

【0036】

例えば、判定用画像の画素値が高い場合（図１１（ｂ）の判定用画像の右上を注目画素とするような場合）、合成比率設定グラフに基づいてＲｕ、Ｒｍ及びＲｏの合成比率がそれぞれ概ね７０％、３０％及び０％となる。
ここで、適正露出再構成画像の注目画素の画素値を「ＲＩｍ」とし、露出アンダー再構成画像の注目画素の画素値を「ＲＩｕ」とし、露出オーバー再構成画像の注目画素の画素値を「ＲＩｏ」とする。この場合、ＨＤＲ画像の画素の画素値を「ＨＤＲｍｉｘ」とすると、ＨＤＲｍｉｘは次の（１）の式で表される。
ＨＤＲｍｉｘ＝Ｒｕ×ＲＩｕ＋Ｒｍ×ＲＩｍ＋Ｒｏ×ＲＩｏ・・・・（１）

【0037】

ＨＤＲ合成部１６０は、露出アンダー再構成画像、適正露出再構成画像及び露出オーバー再構成画像それぞれの同一座標の画素を注目画素に設定し、その注目画素と同一座標にある判定用画像の画素の画素値に基づいてＲｕ、Ｒｍ、Ｒｏをそれぞれ決定する。そして、ＨＤＲ合成部１６０は、上記（１）の式に基づいてＨＤＲ画像の画素の画素値であるＨＤＲｍｉｘを算出する。ＨＤＲ合成部１６０は、露出アンダー再構成画像、適正露出再構成画像及び露出オーバー再構成画像の画素全てについてＨＤＲｍｉｘを算出して、図１１（ｃ）に示すＨＤＲ画像を生成し、ＳＤ１２４に記憶する。

【0038】

なお、ＨＤＲ画像、露出アンダー再構成画像、適正露出再構成画像及び露出オーバー再構成画像それぞれの各画素を示す座標位置は同じである。ＨＤＲ合成部１６０は、後述するデータ量削減処理用に、ＨＤＲ画像の各画素を示す座標と合成比率Ｒｕ、Ｒｍ及びＲｏとを対応付けた図１３に示す合成比率対応テーブルを作成してＳＤ１２４に記憶する。
この合成比率対応テーブルにおいてＨＤＲ画像の各画素の座標は、ＨＤＲ画像の左上を座標原点（０，０）とし、水平方向をｘ座標、垂直方向をｙ座標で表したものである。また、合成比率は、ＨＤＲ画像の各画素を示す座標と同じ座標位置にある露出アンダー再構成画像、適正露出再構成画像及び露出オーバー再構成画像それぞれの各画素をどれだけの合成比率（Ｒｕ、Ｒｍ及びＲｏ）で合成したかを示している。図中に示すＡ乃至Ｉは、図１２の合成比率設定グラフに基づいて決定した各合成比率を示している。

【0039】

図５に戻って、特定部１７０は、複数の再構成画像を構成する画素のうち、ＨＤＲ合成部１６０により決定した合成比率が０よりも大きい画素を特定する特定手段である。
具体的には、特定部１７０は、図１３の合成比率対応テーブルを参照して、露出アンダー再構成画像、適正露出再構成画像及び露出オーバー再構成画像それぞれについて合成比率が０よりも大きい画素を複数特定する。これは、ＨＤＲ画像と各再構成画像とは各画素を示す座標位置が同じであるため、図１３の合成比率対応テーブルを参照すればＨＤＲ画像の画素の座標から各再構成画像の合成比率が０よりも大きい画素を特定できるからである。なお、特定部１７０の具体的な特定方法については後述する。

【0040】

次に、削減部１８０は、特定部１７０により特定した複数の画素（合成比率が０よりも大きい複数の画素）と何れにも対応しない画素を含むサブ画像のデータ量を削減する削減手段である。
具体的には、削減部１８０は、特定部１７０により特定した複数の画素と何れにも対応しない画素を含むサブ画像について、そのサブ画像の画素の画素値を特定の値に変更し、その変更後のサブ画像を含むライトフィールド画像を圧縮してデータ量を削減する。なお、削減部１８０による具体的なデータ量の削減方法については後述する。

【0041】

次に、保存部１９０は、削減部１８０によりデータ量が削減された複数のライトフィールド画像をＳＤ１２４に保存する手段である。
以上、図１乃至図１１を参照しながら説明したデジタルカメラ１００の一つの特徴的な点は、ＨＤＲ画像の生成にあたり合成に用いなかった合成比率が０の再構成画像の画素と対応する画素を含むサブ画像のデータ量を削減してライトフィールド画像をＳＤ１２４に保存する点である。そこで、以下この点に関連するデータ量削減処理について、図１４のフローチャートを参照しながら説明する。

【0042】

なお、この図１４のフローチャートは、ＣＰＵ１２１が、ＲＯＭ１２２に記憶された各種プログラムを実行して図５に示した各部の機能を発揮することにより実施する。また、この図１４のフローチャートの処理開始にあたって、ＣＰＵ１２１は各ライトフィールド画像のサブ画像の画素の座標には、予め合成に用いないことを示すフラグ０を設定する初期設定処理を実行する。
ＣＰＵ１２１は、露出を変えて高速３連写して得られた３枚のライトフィールド画像（ＬＦＩ）を撮像素子１１３から取得してＲＡＭ１２３の所定領域に設定されたバッファメモリに一時的に保存するとデータ量削減処理を開始する。

【0043】

まず、ＣＰＵ１２１は、露出の異なる３枚のライトフィールド画像をそれぞれ再構成して３枚の再構成画像を取得する（ステップＳ２１）。具体的には、ＣＰＵ１２１は、所定の再構成距離（この実施形態においては２ｍ）において図６に示した再構成処理をライトフィールド画像それぞれに行って再構成画像を３枚取得する。また、ＣＰＵ１２１は、図１０の画素対応テーブルを作成してＳＤ１２４に記憶する。

【0044】

次に、ＣＰＵ１２１は、３枚の再構成画像をＨＤＲ合成してＨＤＲ画像を取得する（ステップＳ２２）。具体的には、ＣＰＵ１２１は、図１１を参照しながら説明したＨＤＲ合成処理を行って、３枚の再構成画像を画素毎に所定の合成比率を用いて合成してＨＤＲ画像を取得する。また、ＣＰＵ１２１は、図１３の合成比率対応テーブルを作成してＳＤ１２４に記憶する。

【0045】

次に、ＣＰＵ１２１は、ｋ２をカウンタ変数として、ＨＤＲ画像のｋ２番目の画素に注目する（ステップＳ２３）。次に、ＣＰＵ１２１は、ｋ３をカウンタ変数として、注目画素の座標と対応するサブ画像の画素の座標をｋ３番目のライトフィールド画像について特定する（ステップＳ２４）。具体的には、ＣＰＵ１２１は、ＨＤＲ画像の注目画素の座標がＨＤＲ（Ｘ，Ｙ）であった場合、座標ＨＤＲ（Ｘ，Ｙ）と３枚の再構成画像の座標は同一であることを利用してサブ画像の画素の座標を特定する。

【0046】

まず、ＣＰＵ１２１は、３枚の再構成画像の中から１枚を選択する。そして、ＣＰＵ１２１は、選択した再構成画像の生成元となったライトフィールド画像（ｋ３＝１）において、ＨＤＲ（Ｘ，Ｙ）と対応するサブ画像の画素の座標を、図１０の画素対応テーブルを参照して特定する。例えば、選択した露出オーバー再構成画像の画素の座標ＨＤＲ（Ｘ，Ｙ）が（１，１）の場合、４つのサブ画像Ｓ_１１、Ｓ_１２、Ｓ_２１及びＳ_２２から切り出した部分画像の重ね合わせであり、４つのサブ画像の座標はそれぞれＳ_１１（ｘ_３，ｙ_３）、Ｓ_１２（ｘ_２，ｙ_２）、Ｓ_２１（ｘ_１，ｙ_１）及びＳ_２２（ｘ_１，ｙ_１）である。
ここで、説明の便宜上、座標ＨＤＲ（Ｘ，Ｙ）と対応する４つのサブ画像の座標をそれぞれＳｂ１（ｘ，ｙ）、Ｓｂ２（ｘ＋α，ｙ）、Ｓｂ３（ｘ，ｙ＋α）及びＳｂ４（ｘ＋α，ｙ＋α）として説明する。サブ画像Ｓｂ１乃至Ｓｂ４は、再構成画像の座標ＨＤＲ（Ｘ，Ｙ）位置にある画素と対応する画素を含むサブ画像である。また、サブ画像Ｓｂ２乃至Ｓｂ４の各座標は、座標ＨＤＲ（Ｘ，Ｙ）と対応するサブ画像Ｓｂ１の座標（ｘ，ｙ）を基準として、その基準座標（ｘ，ｙ）からどれだけずれているかを係数αを用いて表している。ここで、αは再構成距離によって変化する係数である。この実施形態では、再構成距離は２ｍであるので、Ｓｂ１を基準とした場合に再構成距離２ｍで生じる画素ずれ（視差）分がαとなる。

【0047】

次に、ＣＰＵ１２１は、注目画素の合成比率のうち、ｋ３番目のライトフィールド画像から生成した再構成画像の合成比率が０か否か判断する（ステップＳ２５）。具体的には、ＣＰＵ１２１は、図１３の合成比率対応テーブルを参照してＨＤＲ画像の注目画素の座標ＨＤＲ（Ｘ，Ｙ）と対応する合成比率Ｒｕ、Ｒｍ及びＲｏを特定する。次に、ＣＰＵ１２１は、注目画素の合成比率Ｒｕ、Ｒｍ及びＲｏのうち、１番目（ｋ３＝１）のライトフィールド画像から生成した再構成画像の合成比率が０か否か判断する。例えば、１番目のライトフィールド画像が露出オーバーのライトフィールド画像である場合、露出オーバー再構成画像の合成比率Ｒｏを参照して、注目画素におけるＲｏの合成比率が０か否か判断する。

【0048】

次に、ＣＰＵ１２１は、注目画素の合成比率のうち、ｋ３番目のライトフィールド画像から生成した再構成画像の合成比率が０でない（合成に用いる）場合（ステップＳ２５；Ｎｏ）、ステップＳ２４で特定したｋ３番目のライトフィールド画像のサブ画像の画素の座標にフラグ１をたてる（ステップＳ２６）。すなわち、合成に用いないことを示すフラグ０がたっているサブ画像の画素の座標をフラグ１に上書きする。ここでは、ＣＰＵ１２１は、例えば露出オーバー再構成画像の合成比率Ｒｏが０でない場合、ステップＳ２４で特定した４つのサブ画像の画素の座標Ｓｂ１（ｘ，ｙ）、Ｓｂ２（ｘ＋α，ｙ）、Ｓｂ３（ｘ，ｙ＋α）及びＳｂ４（ｘ＋α，ｙ＋α）それぞれにフラグ１をたてる。

【0049】

一方で、ＣＰＵ１２１は、注目画素の合成比率のうち、ｋ３番目のライトフィールド画像から生成した再構成画像の合成比率が０である（合成に用いない）場合（ステップＳ２５；Ｙｅｓ）、ステップＳ２７に進む。

【0050】

次に、ＣＰＵ１２１は、全ライトフィールド画像のサブ画像の座標を特定済か否かについて判断する（ステップＳ２７）。ここで、ＣＰＵ１２１は、全ライトフィールド画像のサブ画像の座標を特定済でない場合（ステップＳ２７；Ｎｏ）、残りのライトフィールド画像についてステップＳ２４乃至Ｓ２６の処理を行うために、カウンタｋ３をインクリメントして（ステップＳ２８）、ステップＳ２４に戻る。上述の例の場合、１番目のライトフィールド画像は露出オーバーのライトフィールド画像であったため、２番目のライトフィールド画像は適正露出又は露出アンダーのライトフィールド画像から選択される。

【0051】

全てのライトフィールド画像についてステップＳ２４乃至Ｓ２６の処理を終了すると、ＣＰＵ１２１は、全ライトフィールド画像のサブ画像の座標を特定済であるとして（ステップＳ２７；Ｙｅｓ）、ＨＤＲ画像の全画素が注目済か否か判断する（ステップＳ２９）。ＣＰＵ１２１は、ＨＤＲ画像の全画素が注目済でない場合（ステップＳ２９；Ｎｏ）、カウンタｋ２をインクリメントして（ステップＳ３０）、ステップＳ２３に戻り、ＨＤＲ画像の全画素が注目済となるまでステップＳ２３乃至Ｓ２７の処理を繰り返す。

【0052】

次に、ＣＰＵ１２１は、ＨＤＲ画像の全画素を注目済であると判断すると（ステップＳ２９；Ｙｅｓ）、ＨＤＲ画像の全画素の座標とそれぞれ対応するサブ画像の画素の座標のうち、合成に用いる画素の座標について全てフラグ１がたったものとして（フラグが０のままのサブ画像の画素については、ＨＤＲ合成に用いられることがないものとして）、ステップＳ３１に進む。ステップＳ３１では、ＣＰＵ１２１は、各ライトフィールド画像に含まれるサブ画像の中から、サブ画像内の画素の座標のフラグが全て０の（フラグ１がたてられなかった）サブ画像を特定する。次に、ＣＰＵ１２１は、その特定したサブ画像内の画素値を全て０に設定する（ステップＳ３２）。

【0053】

このステップＳ３１及びＳ３２の処理では、ＣＰＵ１２１は、各ライトフィールド画像それぞれに含まれる複数のサブ画像のうち、ＨＤＲ合成に用いないサブ画像を全て特定し、その特定したサブ画像内の画素値を全て特定の画素値である０に変更するようにしている。

【0054】

次に、ＣＰＵ１２１は、各ライトフィールド画像を圧縮保存する。具体的には、ＣＰＵ１２１は、画素値を全て０に変更したサブ画像を含むライトフィールド画像を複数圧縮してＳＤ１２４に保存する（ステップＳ３３）。例えば、ビットマップ形式で記憶する場合はＬＺＨ等のランレングス圧縮を実行する。また、ＪＰＥＧの符号化形式で記憶する場合でも、ＤＣＴ係数を量子化した後の係数圧縮にラングレンス符号化（２次元ハフマン符号化）を用いているので、サブ画像の画素値を０にしておけば符号化後のデータ量を削減することができる。これにより、ＳＤ１２４は、データ量が削減された複数のライトフィールド画像を記憶することになる。なお、ＣＰＵ１２１は、各ライトフィールド画像を圧縮保存した後、ＲＡＭ１２３に一時的に記憶している各ライトフィールド画像を削除する。

【0055】

また、図１４においてＣＰＵ１２１が実施した各処理のうち、ステップＳ２１は再構成部１５０の機能に、ステップＳ２２はＨＤＲ合成部１６０の機能に、ステップＳ２３乃至Ｓ３０は特定部１７０の機能に、ステップＳ３１及びＳ３２は削減部１８０の機能に、ステップＳ３３は保存部１９０の機能に、それぞれ対応する。

【0056】

以上、図１４の処理では、デジタルカメラ１００は、再構成部１５０、ＨＤＲ合成部１６０、特定部１７０、削減部１８０及び保存部１９０の機能を備えることにより、ＨＤＲ合成に用いる再構成画像の画素を複数特定して、その特定した複数の画素と何れにも対応しない画素（合成に用いられない画素）がサブ画像を構成する全ての画素である場合に、サブ画像全ての画素値を特定の画素値である０に変更する。その後、そのサブ画像を含むライトフィールド画像を複数圧縮保存する。このことにより、圧縮効率を高めることができるので、ＨＤＲ画像用に複数のライトフィールド画像をＳＤ１２４に記憶する場合であってもデータ量を抑えることができる。

【0057】

なお、圧縮効率が高まるのは、例えばビットマップ形式のライトフィールド画像をＺＩＰ又はＬＨＡ形式のライトフィールド画像に可逆圧縮する際には一般的に、ランレングス圧縮が用いられるので画素値が全て０のサブ画像については圧縮により大きくデータ量を削減できるからである。また、例えばビットマップ形式のライトフィールド画像をＪＰＥＧ形式のライトフィールド画像に非可逆圧縮する場合には、少なくとも一部のサブ画像について画素値を全て０とすることでライトフィールド画像の高周波成分を低減できるので、画質を確保しながら圧縮率を上げることができる。さらに、少なくとも画素値を０としたサブ画像を含むブロックで、量子化率を低く設定してもよい。これにより、画素値が全て０のサブ画像については圧縮により大きくデータ量を削減できるので、圧縮効率が高まる。

【0058】

また、ユーザは、図１４の処理の後、ＳＤ１２４に記憶された各ライトフィールド画像に基づいて、再構成距離を変化させたＨＤＲ画像を得ることができる。この場合、ＣＰＵ１２１は、ユーザの設定した再構成距離で再構成画像を生成して（例えば、再構成距離１．５ｍの場合、メインレンズ１１１から１．５ｍの距離にピントを合わせた再構成画像を生成して）ＨＤＲ合成を行うが、このＨＤＲ合成の際の各画素の合成比率は再構成距離２ｍの場合と同じ合成比率を用いる。これは、合成比率は各再構成画像を平均化して平滑化した判定用画像の明るさに応じて変化するが、この明るさは再構成距離を変化させても（例えば２ｍから１．５ｍにしても）極端に変化することはないからである。このため、ユーザが後からピント調整を行う場合であっても、所定の再構成距離において１度図１４の処理を行っておけば足り、予め全ての再構成距離に渡って図１４の処理を繰り返し行っておく必要がないので計算量を大幅に削減することができる。ただし、予め全ての再構成距離に渡って図１４の処理を繰り返し行ってもよく、例えば再構成距離範囲内において所定間隔で所定回数図１４の処理を行って、再構成距離が変化した場合に用いる合成比率の精度をあげてもよい。

【0059】

以上で実施形態の説明を終了するが、デジタルカメラ１００の具体的な構成や図１４に示した処理の内容等が上述の実施形態で説明したものに限られないことはもちろんである。
例えば、上述した実施形態では、図１のＣＰＵ１２１が画像処理部１２０及びデジタルカメラ１００を制御したが、デジタルカメラ１００に別途ＣＰＵを設けてもよい。この場合、画像処理部１２０のＣＰＵ１２１は、画像処理部１２０の制御に特化し、表示部１４０への表示制御や操作部１３０の操作検知等は行わない。

【0060】

また、画像処理部１２０のＳＤ１２４に代えて、他のリムーバブルな記録媒体（例えば、ＣＤ、ＤＶＤ等）を用いてもよい。この場合、このリムーバルな記録媒体に上述した各種画像のデータが記録される。

【0061】

また、図５に示した再構成部１５０が行う図６の再構成処理において、サブ画像間の被写体ＯＢの画素ずれに基づいて、メインレンズ１１１から被写体ＯＢまでの距離推定を行って、その推定した距離と再構成距離との差分に応じて被写体ＯＢにボケを付加した再構成画像を生成するようにしてもよい。なお、被写体ＯＢまでの距離推定は、画素ずれとメインレンズ１１１からの距離とを対応付けたテーブルを用いて行う。例えば、このテーブルを用いて画素ずれの値が示す被写体の距離を画素毎に推定する。そして、推定した被写体の距離と再構成距離との差が大きいほど、強いガウシアンフィルタによりボケ付加を行えばよい。このとき、画素値に適用するフィルタを合成比率にも適用し、フィルタ後の合成比率を用いてステップＳ２５〜Ｓ２６の処理を行うことで、フィルタを適用した場合のＨＤＲ画像を生成する場合に参照される画素の座標にフラグ１を立てることが出来る。

【0062】

また、この実施形態において行う再構成処理は、図６に示した再構成処理に限られない。すなわち、再構成画像の各画素の座標とライトフィールド画像のサブ画像の各画素の座標を対応付けることができる再構成処理であれば、図６の部分画像を重ね合わせて再構成画像を生成する手法でなくてもよい。例えば別の手法として、特許文献１の光線追跡の手法を用いて再構成画像を生成してもよい。

【0063】

また、図５に示したＨＤＲ合成部１６０が行うＨＤＲ合成処理は、再構成画像の各画素の座標と合成比率とを対応付けることができる手法であれば別の手法でもよい。例えば、トーンマッピングによる合成又は細部強調やトーン圧縮による露出合成により合成してもよい。さらに、この実施形態においては、露出が異なる複数のライトフィールド画像からそれぞれ生成した再構成画像をＨＤＲ合成する場合を例にとって説明したが、合成はＨＤＲ合成に限られない。例えば、透明度が異なる複数のライトフィールド画像からそれぞれ生成した再構成画像を合成してもよい。この場合は、図１４のステップＳ２２の再構成処理において、複数の再構成画像から目的に応じた合成画像を生成し、この合成画像を用いてステップＳ２２以下の処理を実行すればよい。
また、図１４の処理では、ステップＳ２５及びＳ２６において、ＨＤＲ画像の注目画素の合成比率が０より大きい（合成に用いる）の場合、注目画素の座標と対応するサブ画像の画素の座標にフラグ１をたてるようにしたが、これに限られない。例えば、合成比率が所定の比率以上（例えば５％以上）の再構成画像の画素について、上記同様にフラグをたてるようにしてもよい。

【0064】

また、図１４の処理では、ステップＳ２６において、注目画素と対応するサブ画像の画素の座標にフラグをたてるようにしたが、これに限られない。例えば、特定したサブ画像の画素の座標が、Ｓｂ１（ｘ，ｙ）、Ｓｂ２（ｘ＋α，ｙ）、Ｓｂ３（ｘ，ｙ＋α）及びＳｂ４（ｘ＋α，ｙ＋α）である場合、αを再構成距離の変化に応じて起こりうる画素ずれ（視差）の範囲分変化させて、その変化させたαによって決定される座標全てにフラグをたてるようにしてもよい。このことにより、ユーザが後から再構成距離を変化させた場合であっても、合成処理にあたり必要な画素が抜けてしまう事態を防ぐことができる。

【0065】

また、図１４に示したデータ量削減処理では、ステップＳ２４乃至Ｓ２７において、ＨＤＲ画像の注目画素の座標と対応するサブ画像の座標をライトフィールド画像毎にそれぞれ別々に特定してフラグをたてる処理を行ったが、別の手法でもよい。例えば、注目画素の座標と対応するサブ画像の座標は各ライトフィールド画像において同じであるため、１つのライトフィールド画像のサブ画像の座標を特定した後、合成比率に応じてそれぞれのライトフィールド画像のサブ画像の座標にフラグをたてる処理を同時に行ってもよい。このことにより、ステップＳ２７及びＳ２８の処理を省略できるのでデータ量削減処理の計算量を抑えることができる。

【0066】

また、図１４の処理では、ステップＳ３１及びＳ３２において、各ライトフィールド画像に含まれるサブ画像の中から、サブ画像内の画素の座標のフラグが全て０のサブ画像（フラグ１をたてなかったサブ画像）を特定し、その特定したサブ画像内の画素値を全て０に設定した。言い換えると、サブ画像内の画素の座標に一つでもフラグ１をたてるとサブ画像の各画素の画素値の値を変えない。これは、所定の再構成距離において合成に用いる画素がサブ画像内で１つだけである場合に、全ての画素値を特定の値に変更してしまうと、異なる再構成距離において合成に用いる他の画素の画素値まで変更されてしまうからである。すなわち、たとえサブ画素内で合成に用いる画素が１つだけであってもサブ画像内全ての画素値を変更しないことで、再構成距離が変わった場合に用いるおそれがある他の画素の画素値を確保しておくことができる。
ただし、上述したサブ画像内の画素の座標のフラグが全て０でなくても画素値を変更してもよい。例えば、サブ画像内のある領域に含まれる画素の座標のフラグが全て０であれば、その領域の画素値を全て０にしてもよい。その領域については高圧縮が期待できるからである。また、画素値０を別の特定の画素値にしてもよい。同じ画素値が連続すればサブ画像の圧縮率が高まるからである。

【0067】

また、この実施形態では、ライトフィールド画像のデータ量を削減する手法として、サブ画像内の画素値を特定の画素値に変更して連続する同じ画素値にして、圧縮率を高めた上で圧縮することによりデータ量を削減したが、別の手法でもよい。例えば、サブ画像内の画素の座標のフラグが全て０又は所定の合成比率未満のサブ画像についてはサブ画像のデータを削除して、ライトフィールド画像のデータ量を削減してもよい。
あるいは、サブ画像内の所定の閾値以上の面積を持つ領域に含まれる画素の座標のフラグが全て０又は所定の合成比率未満であれば、その領域を削除してライトフィールド画像のデータ量を削減してもよい。また、ライトフィールド画像においてサブ画像を構成しない領域は合成に用いることがないので、この領域を削除してもよい。これらのことは、ライトフィールド画像において、所定の閾値以上の面積を持つ領域を構成する全ての画素が合成に用いられない場合、その領域を削除してデータ量を削減することを意味する。

【0068】

また、この実施形態では、各種画像がグレースケール画像であることを前提に説明したが、各種画像はカラー画像でもよい。この場合、例えばＲＧＢ又はＹＵＶ等の任意の色空間を用いることができる。

【0069】

また、この発明の画像処理部１２０の各処理（再構成処理、ＨＤＲ合成処理及びデータ量削減処理）は、通常のＰＣ等のコンピュータによっても実施することができる。
具体的には、上記実施形態では、各処理に係る機能を発揮するためのプログラムが、ＲＯＭ１２２に予め記憶されているものとして説明した。しかし、図５の各部の機能を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ及びＭＯ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の各部の機能を発揮することができるコンピュータを構成してもよい。
また、プログラムをインターネット等の通信ネットワーク上のサーバ装置が有するディスク装置等に格納しておき、例えば、コンピュータがダウンロード等することができるようにしてもよい。

【0070】

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態をとることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、特許請求の範囲に記載された発明とその均等の範囲に含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。

【0071】

（付記１）
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数の前記ライトフィールド画像から複数生成する生成手段と、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減手段と、
前記削減手段により前記データ量が削減された複数のライトフィールド画像を記憶する記憶手段と、を備えたことを特徴とする画像処理装置。

【0072】

（付記２）
前記削減手段は、前記特定した画素と何れにも対応しない画素を、前記所定条件を満たす画素とすることを特徴とする付記１に記載の画像処理装置。

【0073】

（付記３）
前記削減手段は、前記所定条件を満たす画素を含むサブ画像について、該サブ画像の画素の画素値を特定の値に変更し、該変更後のサブ画像を含むライトフィールド画像を圧縮するものであり、
前記記憶手段は、前記圧縮されたライトフィールド画像を複数記憶することを特徴とする付記１又は２に記載の画像処理装置。

【0074】

（付記４）
前記削減手段は、前記サブ画像を構成する全ての画素が前記所定条件を満たす画素である場合に、該サブ画素を構成する全ての画素の画素値を特定の画素値に変更することを特徴とする付記３に記載の画像処理装置。

【0075】

（付記５）
前記削減手段は、前記複数のライトフィールド画像それぞれが含む何れかのサブ画像において、所定の閾値以上の面積を持つ領域を構成する全ての画素が前記所定条件を満たす画素である場合、該領域を削除してデータ量を削減することを特徴とする付記１又は２に記載の画像処理装置。

【0076】

（付記６）
被写体からの光りを捉えるメインレンズと、該メインレンズが捉えた光りをさらに捉える複数の視点にそれぞれ対応する複数のマイクロレンズと、を用いて、それぞれ異なる視点から前記被写体を撮影した複数のサブ画像を含むライトフィールド画像を撮影する撮影手段と、
前記撮影手段により露出を変えて撮影した複数の前記ライトフィールド画像をそれぞれ再構成して複数の再構成画像を生成する生成手段と、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段と、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定手段と、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減手段と、
前記削減手段により前記データ量が削減された複数のライトフィールド画像を記憶する記憶手段と、を備えたことを特徴とする撮像装置。

【0077】

（付記７）
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数の前記ライトフィールド画像から複数生成する生成ステップと、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定ステップと、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定ステップと、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減ステップと、
前記削減ステップにより前記データ量が削減された複数のライトフィールド画像を記憶する記憶ステップと、を含むことを特徴とする画像処理方法。

【0078】

（付記８）
コンピュータを、
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を再構成した再構成画像を、露出が異なる複数の前記ライトフィールド画像から複数生成する生成手段、
前記複数の再構成画像の合成比率を、該複数の再構成画像において対応する各画素の画素値に応じて画素毎に決定する決定手段、
前記複数の再構成画像を構成する画素のうち、前記合成比率が所定の比率以上である画素を特定する特定手段、
前記ライトフィールド画像において、前記特定した画素との関係が所定条件を満たす画素を含むサブ画像のデータ量を削減する削減手段、
前記削減手段により前記データ量が削減された複数のライトフィールド画像を記憶する記憶手段、として機能させるためのプログラム。

【符号の説明】

【0079】

１００…デジタルカメラ、１１０…撮影部、１１１…メインレンズ、１１２…マイクロレンズアレイ、１１３…撮像素子、１２０…画像処理部、１２１…ＣＰＵ、ＲＯＭ…１２２、ＲＡＭ…１２３、ＳＤ…１２４、１３０…操作部、１４０…表示部、１５０…再構成部、１６０…ＨＤＲ合成部、１７０…特定部、１８０…削減部、１９０…保存部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】