特許 5942428 再構成画像生成装置、再構成画像生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5942428

(24)【登録日】2016年6月3日

(45)【発行日】2016年6月29日

(54)【発明の名称】再構成画像生成装置、再構成画像生成方法、及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160616BHJP

【ＦＩ】

   G06T1/00 500B

【請求項の数】11

【全頁数】31

(21)【出願番号】特願2011-290174(P2011-290174)

(22)【出願日】2011年12月28日

(65)【公開番号】特開2013-140450(P2013-140450A)

(43)【公開日】2013年7月18日

【審査請求日】2014年12月17日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】長坂 知明

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００７−００４４７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ５／５０

(57)【特許請求の範囲】

【請求項1】

被写体からの光線を捉えるメインレンズと前記メインレンズが捉えた前記光線をさらに捉える複数の視点のそれぞれに対応する複数のサブレンズとを用いて、前記被写体を異なる前記視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得するライトフィールド画像取得部と、
前記ライトフィールド画像から再構成した前記被写体の画像である再構成画像の原型画像を定義する原型画像定義部と、
前記原型画像定義部が定義した前記原型画像を構成する画素である原型画素と、前記サブ画像に対応する前記サブレンズと、の対応の強さを示す係数である画像重みを定義する画像重み定義部と、
前記複数のサブ画像を構成するサブ画像画素から、前記原型画像定義部が定義した前記原型画像を構成する前記原型画素に対応する画素である対応画素を抽出する対応画素抽出部と、
前記対応画素抽出部が抽出した前記対応画素の画素値と、前記対応画素の属する前記サブ画像に対応する前記サブレンズに応じて前記画像重み定義部が定義した前記画像重みと、に基づいて前記再構成画像の再構成画素の画素値を求め、前記再構成画像を生成する再構成画像生成部と、
を有し、
前記被写体からの前記光線が前記メインレンズを通過して前記複数のサブレンズ上に投影される領域をメインレンズブラー領域とすると、前記画像重みは、前記各サブレンズ上で前記メインレンズブラー領域が占める比率で定義される、
ことを特徴とする再構成画像生成装置。

【請求項2】

前記ライトフィールド画像を取得した撮影パラメータを取得する撮影パラメータ取得部をさらに有し、
前記画像重み定義部は、
前記原型画像定義部が定義した前記原型画像を構成する画素である前記原型画像と、前記サブ画像に対応する前記サブレンズと、の対応の強さを示す係数である前記画像重みを定義したテーブルである、前記撮影パラメータ取得部が取得した前記撮影パラメータに応じるメインテーブルを取得するメインテーブル取得部を有し、
前記再構成画像生成部は、
前記再構成画素の画素値を、前記対応画素抽出部が抽出した前記対応画素の画素値と、前記メインテーブル取得部が取得した前記メインテーブルが定義する前記対応画素の属する前記サブ画像に対応する前記サブレンズに応じた前記画像重みと、に基づいて求めることにより、前記再構成画像を生成する、
ことを特徴とする請求項１に記載の再構成画像生成装置。

【請求項3】

前記撮影パラメータは、前記メインレンズの焦点距離を少なくとも含む、
ことを特徴とする請求項２に記載の再構成画像生成装置。

【請求項4】

前記再構成画像を含む面と前記メインレンズとの距離を示す情報を含む再構成設定を取得する再構成設定取得部をさらに有し、
前記メインテーブル取得部は、前記撮影パラメータ取得部が取得した前記撮影パラメータと前記再構成設定取得部が取得した前記再構成設定とに応じる前記メインテーブルを取得する、
ことを特徴とする請求項２又は３に記載の再構成画像生成装置。

【請求項5】

前記撮影パラメータ取得部が取得した前記撮影パラメータと、前記再構成設定取得部が取得した前記再構成設定と、予め記憶されている前記メインレンズと前記サブレンズとの相対位置と、から前記再構成画素に対応する前記被写体の部分から発された前記光線が前記サブレンズに到達する点であるサブレンズ到達点を取得するサブレンズ到達点取得部をさらに備え、
前記メインテーブル取得部が取得する前記メインテーブルは、前記サブレンズ到達点取得部が取得した前記サブレンズ到達点から所定距離以上遠い位置にある前記サブレンズに対応する前記サブ画像の前記画像重みが小さい、
ことを特徴とする請求項４に記載の再構成画像生成装置。

【請求項6】

前記再構成設定取得部が取得した前記再構成設定に含まれる前記再構成画像を含む面と前記メインレンズとの距離が小さいほど、前記メインテーブル取得部が取得する前記メインテーブルの前記画像重みに係る前記所定距離が大きくなる、
ことを特徴とする請求項５に記載の再構成画像生成装置。

【請求項7】

前記撮影パラメータ取得部が取得した撮影パラメータに含まれる前記メインレンズの焦点距離が小さいほど、前記メインテーブル取得部が取得する前記メインテーブルの前記画像重みに係る前記所定距離が大きくなる、
ことを特徴とする請求項５又は６に記載の再構成画像生成装置。

【請求項8】

前記撮影パラメータ取得部が取得する前記撮影パラメータは、前記メインレンズの有効径をさらに含み、
前記撮影パラメータ取得部が取得した前記撮影パラメータに含まれる前記メインレンズの前記有効径が大きいほど、前記メインテーブル取得部が取得する前記メインテーブルの前記画像重みに係る前記所定距離が大きくなる、
ことを特徴とする請求項５乃至７の何れか１項に記載の再構成画像生成装置。

【請求項9】

前記原型画像定義部が定義した前記原型画像を構成する画素である前記原型画素と、前記サブ画像の一つである注目サブ画像に含まれるサブ画素の少なくとも一つと、の対応の強さを示す係数である画素重みを定義したテーブルである、前記撮影パラメータ取得部が取得した前記撮影パラメータに応じるサブテーブルを取得するサブテーブル取得部をさらに有し、
前記再構成画像生成部は、前記再構成画素の画素値を、前記対応画素抽出部が抽出した前記対応画素の画素値と、前記メインテーブル取得部が取得した前記メインテーブルが定義する前記対応画素の属する前記サブ画像に対応する前記サブレンズに応じた前記画像重みと、前記サブテーブル取得部が取得した前記サブテーブルが定義する前記対応画素に応じた前記画素重みと、に基づいて決定する、
ことを特徴とする請求項２乃至８の何れか１項に記載の再構成画像生成装置。

【請求項10】

被写体からの光線を捉えるメインレンズと前記メインレンズが捉えた前記光線をさらに捉える複数の視点のそれぞれに対応する複数のサブレンズとを用いて、前記被写体を異なる前記視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得する工程と、
前記ライトフィールド画像から再構成した前記被写体の画像である再構成画像の原型画像を定義する工程と、
定義した前記原型画像を構成する画素である原型画素と、前記サブ画像に対応する前記サブレンズと、の対応の強さを示す係数である画像重みを定義する工程と、
前記複数のサブ画像を構成するサブ画像画素から、定義した前記原型画像を構成する前記原型画素に対応する画素である対応画素を抽出する工程と、
抽出した前記対応画素の画素値と、前記対応画素の属する前記サブ画像に対応する前記サブレンズに応じて定義した前記画像重みと、に基づいて前記再構成画像の再構成画素の画素値を求め、前記再構成画像を生成する工程と、
を含み、
前記被写体からの前記光線が前記メインレンズを通過して前記複数のサブレンズ上に投影される領域をメインレンズブラー領域とすると、前記画像重みは、前記各サブレンズ上で前記メインレンズブラー領域が占める比率で定義される、
ことを特徴とする再構成画像生成方法。

【請求項11】

コンピュータに、
被写体からの光線を捉えるメインレンズと前記メインレンズが捉えた前記光線をさらに捉える複数の視点のそれぞれに対応する複数のサブレンズとを用いて、前記被写体を異なる前記視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得する処理、
前記ライトフィールド画像から再構成した前記被写体の画像である再構成画像の原型画像を定義する処理、
定義した前記原型画像を構成する画素である原型画素と、前記サブ画像に対応する前記サブレンズと、の対応の強さを示す係数である画像重みを定義する処理、
前記複数のサブ画像を構成するサブ画像画素から、定義した前記原型画像を構成する前記原型画素に対応する画素である対応画素を抽出する処理、
抽出した前記対応画素の画素値と、前記対応画素の属する前記サブ画像に対応する前記サブレンズに応じて定義した前記画像重みと、に基づいて前記再構成画像の再構成画素の画素値を求め、前記再構成画像を生成する処理、
を実行させ、
前記被写体からの前記光線が前記メインレンズを通過して前記複数のサブレンズ上に投影される領域をメインレンズブラー領域とすると、前記画像重みは、前記各サブレンズ上で前記メインレンズブラー領域が占める比率で定義される、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、再構成画像生成装置、再構成画像生成方法、及びプログラムに関する。

【背景技術】

【0002】

異なる視点から撮影した被写体の画像を取得することにより、被写体からカメラのレンズに侵入する全ての光線の向きと光量を取得する技術が知られている。

【0003】

このような技術に関連して、特許文献１は被写体を撮影した複数の画像を取得して、該複数の画像から焦点距離・被写界深度等を変化させた被写体の画像を再構成する技術を開示している。特許文献１の技術では、撮影した画像に含まれる画素（対応画素）のサブ集合を加算することにより、再構成画像の画素（再構成画素）の画素値を決定する。また、特許文献１は対応画素の画素値を重み付け加算して再構成画素の画素値を決定することに言及している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２００８−５１５１１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術を用いて、高い精度で再構成した再構成画像を生成するためには、再構成画素とこれに対応する対応画素それぞれに対応する重みを定めなくてはならない。しかし特許文献１は、重みの値を求める具体的な方法を開示していない。また、再構成画素と対応画素との対応を光線追跡により定め、その経路及び所他の条件に基づき重みを算出するとしても、それぞれの画素について逐一重みを算出しなければならず、計算量が膨大になってしまうという問題点があった。

【0006】

本発明は上記事情に鑑みてなされたもので、被写体を撮影した複数の画像から高い精度で再構成した再構成画像を生成するにあたって、必要計算量が少なくてすむ再構成画像生成装置、再構成画像生成方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明に係る再構成画像生成装置の一様態は、
被写体からの光線を捉えるメインレンズと前記メインレンズが捉えた前記光線をさらに捉える複数の視点のそれぞれに対応する複数のサブレンズとを用いて、前記被写体を異なる前記視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得するライトフィールド画像取得部と、
前記ライトフィールド画像から再構成した前記被写体の画像である再構成画像の原型画像を定義する原型画像定義部と、
前記原型画像定義部が定義した前記原型画像を構成する画素である原型画素と、前記サブ画像に対応する前記サブレンズと、の対応の強さを示す係数である画像重みを定義する画像重み定義部と、
前記複数のサブ画像を構成するサブ画像画素から、前記原型画像定義部が定義した前記原型画像を構成する前記原型画素に対応する画素である対応画素を抽出する対応画素抽出部と、
前記対応画素抽出部が抽出した前記対応画素の画素値と、前記対応画素の属する前記サブ画像に対応する前記サブレンズに応じて前記画像重み定義部が定義した前記画像重みと、に基づいて前記再構成画像の再構成画素の画素値を求め、前記再構成画像を生成する再構成画像生成部と、
を有し、
前記被写体からの前記光線が前記メインレンズを通過して前記複数のサブレンズ上に投影される領域をメインレンズブラー領域とすると、前記画像重みは、前記各サブレンズ上で前記メインレンズブラー領域が占める比率で定義される、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る再構成画像生成方法の一様態は、
被写体からの光線を捉えるメインレンズと前記メインレンズが捉えた前記光線をさらに捉える複数の視点のそれぞれに対応する複数のサブレンズとを用いて、前記被写体を異なる前記視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得する工程と、
前記ライトフィールド画像から再構成した前記被写体の画像である再構成画像の原型画像を定義する工程と、
定義した前記原型画像を構成する画素である原型画素と、前記サブ画像に対応する前記サブレンズと、の対応の強さを示す係数である画像重みを定義する工程と、
前記複数のサブ画像を構成するサブ画像画素から、定義した前記原型画像を構成する前記原型画素に対応する画素である対応画素を抽出する工程と、
抽出した前記対応画素の画素値と、前記対応画素の属する前記サブ画像に対応する前記サブレンズに応じて定義した前記画像重みと、に基づいて前記再構成画像の再構成画素の画素値を求め、前記再構成画像を生成する工程と、
を含み、
前記被写体からの前記光線が前記メインレンズを通過して前記複数のサブレンズ上に投影される領域をメインレンズブラー領域とすると、前記画像重みは、前記各サブレンズ上で前記メインレンズブラー領域が占める比率で定義される、
ことを特徴とする。
また、上記目的を達成するため、本発明に係るプログラムの一様態は、
コンピュータに、
被写体からの光線を捉えるメインレンズと前記メインレンズが捉えた前記光線をさらに捉える複数の視点のそれぞれに対応する複数のサブレンズとを用いて、前記被写体を異なる前記視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得する処理、
前記ライトフィールド画像から再構成した前記被写体の画像である再構成画像の原型画像を定義する処理、
定義した前記原型画像を構成する画素である原型画素と、前記サブ画像に対応する前記サブレンズと、の対応の強さを示す係数である画像重みを定義する処理、
前記複数のサブ画像を構成するサブ画像画素から、定義した前記原型画像を構成する前記原型画素に対応する画素である対応画素を抽出する処理、
抽出した前記対応画素の画素値と、前記対応画素の属する前記サブ画像に対応する前記サブレンズに応じて定義した前記画像重みと、に基づいて前記再構成画像の再構成画素の画素値を求め、前記再構成画像を生成する処理、
を実行させ、
前記被写体からの前記光線が前記メインレンズを通過して前記複数のサブレンズ上に投影される領域をメインレンズブラー領域とすると、前記画像重みは、前記各サブレンズ上で前記メインレンズブラー領域が占める比率で定義される、
ことを特徴とする。

【発明の効果】

【0008】

本発明によれば、被写体を撮影した複数の画像から高い精度で再構成した再構成画像を生成するにあたって、必要計算量を低減することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態１に係るデジタルカメラの構成を示す図である。

【図2】実施形態１に係るデジタルカメラの光学形成の構成を示す図である。

【図3】実施形態１に係るライトフィールド画像の例を示す図であり、（ａ）はライトフィールド画像の概念図を、（ｂ）はライトフィールド画像と再構成画像の例を示す。

【図4】実施形態１に係る画像再構成装置の（ａ）物理的構成と（ｂ）機能的構成を示す図である。

【図5】実施形態１に係るデジタルカメラの光学系と光学像の例を示す図である。

【図6】実施形態１に係るメインレンズブラーについて説明するための図であり、（ａ）はサブレンズアレイ上に投影されたメインレンズブラーを、（ｂ）はサブレンズ上のメインレンズブラーの中心座標を示す。

【図7】実施形態１に係るＭＬＢテーブルの例を示す図であり、（ａ）はＭＬＢテーブルに含まれるＭＬＢインデックステーブルを、（ｂ）はＭＬＢテーブルに含まれるＭＬＢ重みテーブルを示す。

【図8】実施形態１に係る画像出力処理を示すフローチャートである。

【図9】実施形態１に係る画像再構成処理を示すフローチャートである。

【図10】実施形態１に係る画素値加算処理を示すフローチャートである。

【図11】本発明の実施形態２に係るデジタルカメラの構成を示す図である。

【図12】実施形態２に係るデジタルカメラの光学系と光学像の例を示す図である。

【図13】実施形態２に係る画像再構成装置の機能的構成を示す図である。

【図14】実施形態２に係るサブレンズブラーについて説明するための図であり、（ａ）は撮像面上に投影されたサブレンズブラーを、（ｂ）は撮像素子上のサブレンズブラーの中心座標を示す。

【図15】実施形態２に係るＳＬＢテーブルの例を示す図であり、（ａ）はＳＬＢテーブルに含まれるＳＬＢインデックステーブルを、（ｂ）はＳＬＢテーブルに含まれるＳＬＢ重みテーブルを示す。

【図16】実施形態２に係る画素値加算処理を示すフローチャートである。

【図17】本発明のその他の実施形態に係るデジタルカメラの光学系の構成を示す図である。

【図18】（ａ）はその他の実施形態に係るＭＬＢインデックステーブルの例を示す図であり、（ｂ）はＳＬＢインデックステーブルを示す図である。

【発明を実施するための形態】

【0010】

以下、本発明を実施するための形態に係るデジタルカメラ及び再構成画像生成装置（画像再構成装置）を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。

【0011】

（実施形態１）
実施形態１に係る画像再構成装置３０は、図１に示すデジタルカメラ１に搭載されている。デジタルカメラ１は、被写体を撮影して複数のサブ画像からなるライトフィールド画像を得て、任意の再構成画像を生成する機能を備える。画像再構成装置３０は、このうち複数のサブ画像からなるライトフィールド画像から再構成画像を生成する機能を担当する。

【0012】

デジタルカメラ１は、図１に示すように、撮像部１０と、画像再構成装置３０を含む情報処理部２０と、記憶部４０と、インターフェース部（Ｉ／Ｆ部）５０と、から構成される。デジタルカメラ１は、このような構成により、外部からの光線情報を取得して、光線情報を表す画像を表示する。

【0013】

撮像部１０は、光学装置１１０と、イメージセンサ１２０と、から構成され、撮像動作を行う。

【0014】

光学装置１１０は、図２に示すように、シャッタ１１１と、メインレンズＭＬと、サブレンズアレイＳＬＡ（マイクロレンズアレイ）と、から構成され、外部からの光線をメインレンズＭＬによって捉え、サブレンズアレイＳＬＡを構成する各サブレンズＳＬの光学中心を視点として得られる光学像をイメージセンサ１２０に投影する。なお、本実施形態ではメインレンズＭＬは単焦点レンズであり、その焦点距離ｆ_ＭＬは固定であるとする。

【0015】

イメージセンサ１２０は、光学装置１１０が投影した光学像を電気信号に変換して情報処理部２０に伝達するもので、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｌｌｙ Ｍａｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、撮像素子が生成した電気信号を情報処理部２０に伝達する伝達部と、から構成される。

【0016】

シャッタ１１１は、イメージセンサ１２０への外部光の入射と遮蔽を制御する。
メインレンズＭＬは、一又は複数の凸レンズ、凹レンズ、非球面レンズ等から構成され、撮影時の被写体ＯＢの光を光学像としてメインレンズＭＬとサブレンズアレイＳＬＡとの間の仮想的な結像面ＭＩＰ上に結像させる。なお、撮影時の被写体ＯＢは一個の物体に限られず、図２に示すようにメインレンズＭＬからそれぞれ異なる距離だけ離れた複数の構成物であってよい。

【0017】

サブレンズアレイＳＬＡは、平面上に格子状に配置されたＭ×Ｎ個のサブレンズ（マイクロレンズ）ＳＬから構成される。サブレンズアレイＳＬＡは、メインレンズＭＬが結像面ＭＩＰ上に結像させた光学像を、それぞれのサブレンズＳＬの光学中心を視点として観測した光学像として、イメージセンサ１２０を構成するイメージセンサの撮像面ＩＥ上に結像する。メインレンズＭＬが成す平面と撮像面ＩＥが成す平面とから構成される空間をライトフィールドと呼ぶ。

【0018】

メインレンズＭＬについて、最大径ＬＤと、有効径ＥＤと、が定義できる。最大径ＬＤは、メインレンズＭＬの物理的な直径である。一方、有効径ＥＤはメインレンズＭＬのうち撮影に使用できる領域の直径である。メインレンズＭＬのうち、有効径ＥＤの外部は、メインレンズＭＬに貼り付けられた各種フィルタやメインレンズＭＬ周辺の物理構造によってメインレンズに入出力する光線が遮られるため、画像を撮影・再構成するために有効でない領域（非有効領域）である。
有効径ＥＤは、上記フィルタ等の物理構造によって光線が遮られる部位を工場出荷時に測定することで定義できる。

【0019】

図２の例では、被写体ＯＢのある部分ＰＯＢからの光線がメインレンズＭＬの有効径ＥＤをなす部分（有効部）を通過し、複数のサブレンズＳＬ上に投影されている。このように、被写体ＯＢの部分ＰＯＢから発された光が、メインレンズＭＬの有効部を通過してサブレンズアレイＳＬＡ上に投影される領域を、部分ＰＯＢのメインレンズブラーＭＬＢと呼ぶ。

【0020】

メインレンズＭＬは鏡胴の内部に納められている。鏡胴はメインレンズＭＬの光学中心で被写体側（外側鏡胴）と、結像面ＭＩＰ側（内側鏡胴）とに分かれる。図２では、外側鏡胴の長さをＬｏｌｂ、内側鏡胴の長さをＬｉｌｂとしている。また、メインレンズＭＬの光学中心からメインレンズの結像面ＭＩＰまでの距離をｂ１、結像面ＭＩＰからサブレンズアレイＳＬＡがなす面までの距離をａ２、サブレンズアレイＳＬＡからイメージセンサの撮像面ＩＥの距離をｃ２とする。

【0021】

撮像部１０は、上記構成により、ライトフィールドを通過する全ての光線の情報を含んだライトフィールド画像（ＬＦＩ）を撮影する。
ブロック状の被写体ＯＢを撮影したＬＦＩの一例を図３（ａ）に示す。
このＬＦＩは、格子状に配置されたＭ×Ｎ個のサブレンズＳＬ（マイクロレンズ）のそれぞれに対応する画像（サブ画像Ｓ、Ｓ_１１〜Ｓ_ＭＮ）から構成されている。例えば、左上のサブ画像Ｓ_１１は、被写体ＯＢを左上から撮影した画像に相当し、右下のサブ画像Ｓ_ＭＮは被写体ＯＢを右下から撮影した画像に相当する。

【0022】

第ｉ行のサブ画像（横の一列のサブ画像）Ｓ_ｉ１〜Ｓ_ｉＮは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡの第ｉ行の横に並んだサブレンズＳＬで結像したステレオ画像に相当する。同様に、第ｊ列のサブ画像（縦の一列のサブ画像）Ｓ_１ｊ〜Ｓ_Ｍｊは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡ（マイクロレンズアレイ）の第ｊ列の縦に並んだサブレンズＳＬで撮影したステレオ画像に相当する。
デジタルカメラ１は、図３（ｂ）に示すように、ＬＦＩから本画像として被写体を再構成した再構成画像（ＲＩ）を生成する。
なお、本実施形態では各サブ画像Ｓはグレースケール画像であり、サブ画像を構成する各画素は画素値（スカラー値）を持つ。

【0023】

図１に示す情報処理部２０は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、内部バスと、Ｉ／Ｏポートと、から構成され、画像処理部２１０、画像再構成装置３０、撮像制御部２２０、として機能する。

【0024】

画像処理部２１０は、イメージセンサ１２０から電気信号を取得し、取得した電気信号を記憶部４０の撮像設定記憶部４１０が記憶する撮像設定情報に基づいて画像データに変換する。画像処理部２１０は、画像データと、撮像設定情報に所定の情報を加えた撮影設定情報と、を画像再構成装置３０に伝達する。

【0025】

撮像設定記憶部４１０が記憶する撮像設定情報については後述する。

【0026】

画像再構成装置３０は、画像処理部２１０から伝達されたＬＦＩを用いて再構成画像を生成する。画像再構成装置３０が再構成画像を生成する処理については後述する。
画像再構成装置３０は、生成した再構成画像を記憶部４０の画像記憶部４２０に記憶する。

【0027】

撮像制御部２２０は、記憶部４０の撮像設定記憶部４１０に記憶された撮像設定情報に基づいて撮像部１０を制御し、撮像部１０を用いて被写体ＯＢを撮影する。

【0028】

記憶部４０は、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部２０の作業領域として用いられる。
外部記憶装置は、後述する処理を情報処理部２０に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部２０の指示に従って主記憶装置に伝達する。また、情報処理部２０の指示に従って、情報処理部２０の処理に基づく情報とインターフェース部５０から伝達された情報とを記憶する。

【0029】

記憶部４０は、機能的には、撮像設定記憶部４１０と、画像記憶部４２０と、から構成される。

【0030】

撮像設定記憶部４１０は、撮像設定情報を記憶する。撮像設定情報は、撮像時に変化しうる撮像パラメータとしてメインレンズＭＬとサブレンズアレイＳＬＡとの距離、メインレンズの焦点距離ｆ_ＭＬ、露光時間を特定する情報、Ｆ値、シャッタ速度、等を含む。
撮像設定記憶部４１０は、撮像パラメータを撮像制御部２２０に伝達する。
また、撮像設定記憶部４１０は、撮像部１０の撮像設定情報を画像処理部２１０に伝達する。

【0031】

画像記憶部４２０は、画像再構成装置３０が再構成した画像を記憶する。画像記憶部４２０は、インターフェース部５０のＩ／Ｏ部５１０と表示部５２０とに、記憶した画像を伝達する。

【0032】

インターフェース部（図ではＩ／Ｆ部と記述する）５０は、デジタルカメラ１とその使用者（ユーザ）あるいは外部装置とのインターフェースに係る構成であり、Ｉ／Ｏ部５１０と、表示部５２０と、操作部５３０と、から構成される。

【0033】

Ｉ／Ｏ部（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ部）５１０は、物理的にはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやビデオ出力端子と、入出力制御部と、から構成される。Ｉ／Ｏ部５１０は記憶部４０に記憶された情報を外部のコンピュータに出力し、外部から伝達された情報を記憶部４０に伝達する。

【0034】

表示部５２０は、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等から構成され、撮像設定記憶部４１０に記憶される撮像パラメータを入力するための画面や、デジタルカメラ１を操作するための画面を表示する。また、表示部５２０は、画像記憶部４２０に記憶された画像を表示する。

【0035】

操作部５３０は、例えばデジタルカメラ１に備えられた各種ボタンや表示部５２０に備えられたタッチパネルと、各種ボタンやタッチパネルに行われた操作の情報を検出して記憶部４０と情報処理部２０とに伝達する伝達部を含み、ユーザ操作の情報を記憶部４０や情報処理部２０に伝達する。

【0036】

デジタルカメラ１は、図３（ｂ）に示すように、ＬＦＩを撮影し、ＬＦＩから再構成した再構成画像ＲＩを生成して出力する。

【0037】

次に、画像再構成装置３０の構成について、図４を参照して説明する。
画像再構成装置３０は、図４（ａ）に示すように情報処理部３１ａと、主記憶部３２と、外部記憶部３３と、操作部３４と、表示部３５と、入出力部３６と、内部バス３７と、から構成される。

【0038】

情報処理部３１ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）から構成される。

【0039】

主記憶部３２は、記憶部４０の主記憶装置と同様の物理構成を持つ。外部記憶部３３は、記憶部４０の外部記憶装置と同様の物理構成を持ち、プログラム３８を記憶している。操作部３４は、操作部５３０と同様の物理構成を持つ。表示部３５は、表示部５２０と同様の物理構成を持つ。入出力部３６は、Ｉ/Ｏ部５１０と同様の物理構成を持つ。内部バス３７は、情報処理部３１ａと、主記憶部３２と、外部記憶部３３と、操作部３４と、表示部３５と、入出力部３６と、を接続する。

【0040】

情報処理部３１ａと、主記憶部３２と、外部記憶部３３と、操作部３４と、表示部３５と、入出力部３６と、内部バス３７と、はデジタルカメラ１の情報処理部２０の内部回路と、記憶部４０と、インターフェース部５０と、によって実現される機能ブロックであってもよい。

【0041】

画像再構成装置３０は、外部記憶部３３に記憶されたプログラム３８及びデータを主記憶部３２にコピーして、情報処理部３１ａが、主記憶部３２を使用してプログラム３８を実行することにより、後述する画像を再構成するための処理を実行する。

【0042】

画像再構成装置３０は、上記のような物理構成により、図４（ｂ）に示すように、Ｉ／Ｏ部３００と、記憶部３１０と、情報処理部３２０と、として機能する。

【0043】

Ｉ／Ｏ部３００は、ユーザの操作を受け付ける操作部３０１０と、画像処理部２１０から、ＬＦＩを取得する画像取得部３０３０と、そのＬＦＩを取得したときの撮影設定情報を取得する撮影設定取得部３０２０と、ＬＦＩから再構成した画像を出力する出力部３０４０と、から構成される。
撮影設定情報は、撮像設定情報に含まれる撮像パラメータ（メインレンズＭＬとサブレンズアレイＳＬＡとの距離、メインレンズの焦点距離ｆ_ＭＬ、露光時間を特定する情報、Ｆ値、シャッタ速度）に加え、既存値としてメインレンズの有効径ＥＤと、サブレンズアレイＳＬＡを構成する各サブレンズＳＬの位置情報と、サブレンズアレイＳＬＡとイメージセンサ１２０の撮像面ＩＥとの距離とを含む。また、メインレンズＭＬからサブレンズアレイＳＬＡまでの距離ｃ１、サブレンズアレイＳＬＡから撮像素子の表面（撮像面ＩＥ）までの距離ｃ２、各サブレンズの径、各撮像素子のサブレンズに対する相対位置、等の情報を含む。

【0044】

記憶部３１０は、再構成設定記憶部３１１０と、ＭＬＢテーブル記憶部３１２０と、再構成画像記憶部３１３０と、から構成される。

【0045】

再構成設定記憶部３１１０は、操作部３０１０を用いてユーザが入力する、画像を再構成するための再構成設定情報を記憶する。再構成設定情報は、再構成処理の具体的内容を示す情報と再構成パラメータとから構成される。
ここでは、ＬＦＩをリフォーカスした画像を再構成する場合について説明する。このとき、再構成設定情報はリフォーカスする旨の情報と、新たな画像のフォーカス点とメインレンズＭＬとの距離を特定する情報と、を含む。

【0046】

ＭＬＢテーブル記憶部３１２０は、画像を再構成するに当たって、サブレンズＳＬ毎に適応される重みＷ_ＭＬを指定するテーブルであるＭＬＢテーブルを記憶する。ＭＬＢテーブル記憶部３１２０が記憶するＭＬＢテーブルについては後述する。

【0047】

再構成画像記憶部３１３０は、生成途中の再構成画像を一時記憶する作業領域であり、また情報処理部３２０が生成した再構成画像を記憶する。

【0048】

情報処理部３２０は、再構成設定記憶部３１１０に記憶された再構成設定に合致する再構成画像を、画像取得部３０３０が取得したＬＦＩと、撮影設定取得部３０２０が取得した撮影設定情報と、ＭＬＢテーブル記憶部３１２０が記憶するＭＬＢテーブルと、を用いて生成する。情報処理部３２０はこのような処理を実行するために、原型定義部３２１０と、注目再構成画素選択部３２２０と、到達点取得部３２３０と、ＭＬＢ重みテーブル取得部３２４０と、サブレンズ選択部３２５０と、対応画素特定部３２６０と、画素値加算部３２７０と、を含む。

【0049】

情報処理部３２０を構成する各部の機能と、情報処理部３２０が実行する画像再構成処理の概要を、図４（ｂ）及び図５を参照して説明する。
ここでは、メインレンズＭＬから距離ａ１だけ離れた位置に画像をリフォーカスする場合を例にとって説明する。

【0050】

情報処理部３２０の原型定義部３２１０は、再構成画像上の仮想的な被写体ＯＢとして、メインレンズＭＬから距離ａ１だけ離れたメインレンズＭＬの光軸に垂直な平面（再構成面ＲＦ）に設定する。そして、被写体ＯＢに対応する画像のひな型（原型）を、再構成設定記憶部３１１０が記憶する再構成設定が指定する解像度に合わせて定義する。原型の中心は光軸ＯＡであるとする。
再構成画像の原型とは、全ての画素値が０（又は未設定）の画像である。

【0051】

次に、注目再構成画素選択部３２２０が、再構成画像を構成する画素（再構成画素）のうち、注目再構成画素（被写体ＯＢの注目部位Ｐに対応）を順次選択する。

【0052】

さらに、到達点取得部３２３０が注目部位Ｐからの主光線がサブレンズアレイＳＬＡに到達する部位（メインレンズブラー中心ＭＬＢＣ）を取得する。この処理は、被写体からレンズを通って光線がどのように投影されるか求める既知の任意の処理であって良いが、ここでは後述する方法を用いる。

【0053】

次に、ＭＬＢ重みテーブル取得部３２４０がＭＬＢテーブル記憶部３１２０から、撮影設定情報及びメインレンズブラー中心ＭＬＢＣの位置に対応するＭＬＢ重みテーブルを取得する。
ここで、メインレンズブラー中心ＭＬＢＣを取得する処理とＭＬＢテーブル記憶部３１２０が記憶するＭＬＢテーブルの概要を図６及び図７を参照して説明する。

【0054】

まず、サブレンズアレイＳＬＡ上に投影されたメインレンズブラーＭＬＢの例を図６（ａ）を参照して説明する。注目部位Ｐから発せられた主光線がメインレンズＭＬを通じてサブレンズアレイＳＬＡに達する部位を、図６（ａ）及び図５で黒丸（●）を用いて示している。この部位をサブレンズ到達点又はメインレンズブラー中心ＭＬＢＣと呼ぶ。メインレンズブラーＭＬＢは、メインレンズＭＬの光軸とサブレンズアレイＳＬＡとが垂直に交わる場合には、メインレンズブラー中心ＭＬＢＣを中心とする、直径がメインレンズブラー径ＤＭＬＢの円に近似できる。メインレンズブラーＭＬＢは、図６（ａ）及び図２において網掛けで示した領域である。

【0055】

メインレンズブラー径ＤＭＬＢは、図５を参照すればわかるように、三角形の相似関係により下記式（１）で求めることが出来る。
ＤＭＬＢ＝ＥＤ・ａ２／ｂ１…（１）
ここで有効径ＥＤは既知の数値である。未知の数値ａ２とｂ１は次のように算出する。
ｂ１は既知の数値ａ１及びｆ_ＭＬを用い、次の式（２）から算出することが出来る。

【0056】

【数1】

【0057】

また、ａ２は既知の数値ｃ１から、式（２）を用いて算出したｂ１を減算することで求めることができる。
すなわち、メインレンズブラー径ＤＭＬＢは、再構成設定が示す再構成面ＲＦとメインレンズＭＬとの距離ａ１と、撮影設定情報が示す有効径ＥＤと、メインレンズとサブレンズアレイとの距離ｃ１と、メインレンズの焦点距離ｆ_ＭＬによって定まる数である。

【0058】

到達点取得部３２３０は、メインレンズブラー中心ＭＬＢＣの位置（どのサブレンズＳＬ上にあるか、そのサブレンズＳＬ上のどの位置にあるか）を求める。
その具体的な処理については後述する。

【0059】

メインレンズブラー中心ＭＬＢＣを含むサブレンズＳＬをサブレンズＳＬ（０，０）とする。サブレンズＳＬ（０，０）を中心に座標系を定義し、Ｙ軸をＹ_ＭＬ、Ｘ軸をＸ_ＭＬ、とする（図６（ａ））。
そして、サブレンズＳＬ（０，０）を中心に、Ｙ軸方向にｙ_ｍｌＸ軸方向にｘ_ｍｌ個だけ移動したサブレンズＳＬをサブレンズＳＬ（ｘ_ｍｌ，ｙ_ｍｌ）とする。

【0060】

サブレンズＳＬ（０，０）を拡大し、部分領域ＳＡＳＬに分割した例を図６（ｂ）に示す。図６（ｂ）の例では、横軸をｉ_ＭＬ、縦軸をｊ_ＭＬとして、左上を原点として５×５の方形に分割している。各部分領域ＳＡＳＬを、ＳＡＳＬ（ｉ_ＭＬ，ｊ_ＭＬ）とあらわすとすると、図６（ｂ）でメインレンズブラー中心ＭＬＢＣが存在する領域（中心領域ＣＡ）は、部分領域ＳＡＳＬ（２，３）である。このとき（２，３）を中心領域ＣＡの座標（中心座標ＣＰ）と表現する。

【0061】

中心座標ＣＰとメインレンズブラー径ＤＭＬＢが定まると、各サブレンズＳＬ（ｘ_ｍｌ，ｙ_ｍｌ）上でメインレンズブラーＭＬＢが占める面積が定まる。注目部位Ｐから発せられた光は、メインレンズブラーＭＬＢ上にほぼ均等に投影されると近似できる。そのため、メインレンズブラーＭＬＢがあるサブレンズＳＬ上に占める面積は、対応する注目部位Ｐから発せられた光がそのサブレンズ上にどの程度到達するか、その光の総和に対応すると近似することが出来る。
そこで、本実施形態ではそのサブレンズＳＬに占めるメインレンズブラーＭＬＢの面積を、各サブレンズＳＬと注目部位Ｐとの対応の強さを示す係数（重みＷ_ＭＬ）として定義する。重みＷ_ＭＬ（サブ画像重み）は、サブレンズＳＬに対応するサブ画像と、注目部位に対応する再構成画素と、の対応の強さに相当する。各サブレンズＳＬが略同一の面積を持つ場合、重みＷ_ＭＬはサブレンズ上でメインレンズブラーが占める割合（０から１までの実数）として定義できる。以下、重みＷ_ＭＬは０から１までの実数であるとして説明する。
なお、各サブレンズが異なる面積を持つ場合は、各レンズの位置情報から、そのサブレンズ上でメインレンズブラーＭＬＢが占める面積を重みＷ_ＭＬとすればよい。

【0062】

再構成面ＲＦからメインレンズ中心までの距離ａ１が、距離ｂ１や距離ａ２と比べて十分に大きい場合は、注目部位Ｐの位置（メインレンズＭＬの光軸からの距離ｘ）に関わらず、メインレンズブラーＭＬＢの形状はメインレンズブラー中心ＭＬＢＣから見て変化しないものとみなせる。即ち、各サブレンズＳＬに対応する重みＷ_ＭＬはメインレンズブラー中心ＭＬＢＣを含むサブレンズＳＬの絶対的な位置に関わらず、中心座標ＣＰを含むサブレンズからの相対位置によって定まると近似できる。
そこで、本実施形態では再構成面への距離ａ１を示すインデックスであるパラメータａと、中心座標ＣＰ（ｉ_ＭＬ，ｊ_ＭＬ）と、に対応するメインレンズブラーの重みＷ_ＭＬのセットを定義したテーブル（ＭＬＢテーブル）を定義し、ＭＬＢテーブル記憶部３１２０に予め記憶する。

【0063】

パラメータａは、距離ａ１（再構成面ＲＦとメインレンズの中心との距離）の所定の範囲を示すインデックスである。例えば、パラメータａは０から７までの整数であり、パラメータａが７であることは、距離ａ１が無限大〜１００ｍでの距離に、０であることは距離ａ１が１〜１０ｍまでの距離であるとして設定する。パラメータａと距離ａ１の対応は、実験によって求められ、予め再構成設定記憶部３１１０に記憶されている。あるいは、ユーザが任意に指定可能な数値であっても良い。

【0064】

ＭＬＢテーブルは、図７に示すようにＭＬＢインデックステーブルと、ＭＬＢ重みテーブルと、から構成される。ＭＬＢインデックステーブル（図７（ａ））は、中心座標ＣＰ（ｉ_ＭＬ，ｊ_ＭＬ）及びパラメータａと、これに対応するＭＬ重みリストを示すインデックスと、を対応付けて記憶するテーブルである。
図７（ａ）の例では、パラメータａが１〜ＮａのＮａ個の値を取り、中心座標ＣＰが（０，０）〜（４，４）の何れかである場合のそれぞれの場合に対応するＭＬＢ重みテーブルを示すインデックス（インデックス＃０１〜インデックス＃ＮａＮ）を対応付けて記憶している。

【0065】

ＭＬＢ重みテーブルは、そのインデックスが対応するパラメータａの値と、中心座標ＣＰと、について定義できる重みＷ_ＭＬを、考慮すべき相対位置にあるサブレンズＳＬのそれぞれについて対応付けて記憶している。
図７（ｂ）の例では、ＭＬＢ重みテーブルは、考慮すべき相対位置にあるサブレンズＳＬ、即ち中心となるサブレンズ（０，０）との相対位置が（＋Ｘ_ｍｌＭａｘ，＋Ｙ_ｍｌＭａｘ）〜（−Ｘ_ｍｌＭａｘ，−Ｙ_ｍｌＭａｘ）（ここでは（−６，−６）〜（６，６））であるそれぞれのサブレンズＳＬ（ｘ_ＭＬ，ｙ_ＭＬ）について重みＷ_ＭＬを登録したテーブルである。なお、Ｘ_ｍｌＭａｘ及びＹ_ｍｌＭａｘは予め実験により定められた自然数であり、最大ズームに対応する焦点距離で、設定上可能な最も近い被写体を撮影した場合、すなわち最もメインレンズブラー径が大きくなる場合にメインレンズブラーが覆うサブレンズの数に対応する。

【0066】

図７の例では、対象となる中心座標ＣＰが（２，３）であり、再構成設定が示す距離ａ１が、パラメータａ＝５に対応する場合、使用されるＭＬＢ重みテーブルのインデックスは＃ｋである。

【0067】

ＭＬＢテーブルでは、メインレンズブラー中心ＭＬＢＣから所定の範囲（メインレンズブラー径ＤＭＬＢに完全に収まる範囲）にあるサブレンズＳＬについて重みＷ_ＭＬの最大値（ここでは１）が対応づけられる。また、所定の範囲外の位置（メインレンズブラー径ＤＭＬＢに完全に外れる位置）にあるサブレンズＳＬについて重みＷ_ＭＬの最小値（ここでは０）が対応付けられる。中間の位置にあるサブレンズについては、中間の値が定義される。このとき、中心座標ＣＰがそのサブレンズよりである場合に、よりメインレンズブラーＭＬＢが占める部分が大きくなるので、より大きい中間値が対応付けられる。
また、再構成面との距離ａ１が近いほど、メインレンズブラー径ＤＭＬＢが大きくなるので、より遠いサブレンズＳＬについて大きい重みＷ_ＭＬが得られる。なお、焦点距離ｆ_ＭＬが小さい場合、あるいはメインレンズＭＬの有効径ＥＤが大きい場合にもメインレンズブラー径ＤＭＬＢが大きくなるので、その他の条件が同じ場合はより遠いサブレンズＳＬに大きい重みＷ_ＭＬが対応づけされる。

【0068】

ＭＬＢ重みテーブル取得部３２４０は、距離ａ１に合致するパラメータａと、到達点取得部３２３０が算出した中心座標ＣＰ（ｉ_ＭＬ，ｊ_ＭＬ）と、に合致するＭＬＢ重みテーブルのインデックスをＭＬＢインデックステーブルから取得する。そして、そのインデックスが示すＭＬＢ重みテーブルをＭＬＢテーブル記憶部３１２０から取得する。

【0069】

そして、サブレンズ選択部３２５０がサブレンズＳＬ（＋Ｘ_ｍｌＭａｘ，＋Ｙ_ｍｌＭａｘ）〜（−Ｘ_ｍｌＭａｘ，−Ｙ_ｍｌＭａｘ）までのうち一つを注目サブレンズとして選択する。

【0070】

そして、対応画素特定部３２６０が、注目部位Ｐから注目サブレンズを通って撮像面ＩＥ上に到達する部位（ＬＦＩ上の対応画素に対応）を特定する。この処理は、既知の任意の光線追跡方法を用いて実行されて良いが、ここでは後述する方法を用いるとする。

【0071】

サブレンズ選択部３２５０と対応画素特定部３２６０とは、サブレンズＳＬ（＋Ｘ_ｍｌＭａｘ，＋Ｙ_ｍｌＭａｘ）〜（−Ｘ_ｍｌＭａｘ，−Ｙ_ｍｌＭａｘ）を順次注目サブレンズとし、それらのＬＦＩ上の対応画素と、ＭＬＢ重みテーブルが定義するそのサブレンズに対応する重みＷ_ＭＬを抽出する。

【0072】

サブレンズＳＬ（＋Ｘ_ｍｌＭａｘ，＋Ｙ_ｍｌＭａｘ）〜（−Ｘ_ｍｌＭａｘ，−Ｙ_ｍｌＭａｘ）の全てについて対応画素を抽出し終えると、画素値加算部３２７０が各サブレンズの対応画素の画素値と、各サブレンズに対応する重みＷ_ＭＬと、乗算して加算平均し、注目部位Ｐに対応する再構成画素の画素値とする。

【0073】

画素値加算部３２７０は、注目再構成画素の画素値を決定すると、その画素値を一旦再構成画素記憶部３１３０に記憶する。そして、注目再構成画素選択部３２２０から画素値加算部３２７０が全ての再構成画素を順次注目再構成画素として画素値を決定し、再構成画像を生成する。

【0074】

次に、デジタルカメラ１及び画像再構成装置３０が実行する処理について、フローチャート（図８〜図１０）を参照して説明する。
ユーザが撮像部１０を用いて被写体ＯＢを撮影すると、デジタルカメラ１は図８に示す画像出力処理を開始する。

【0075】

画像出力処理では、まずデジタルカメラ１の画像処理部２１０が撮像部１０から情報を受け取り、ＬＦＩを生成する。画像処理部２１０は取得したＬＦＩを画像再構成装置３０の画像取得部３０３０に伝達する。こうして、画像取得部３０３０はＬＦＩを取得する（ステップＳ１０１）。

【0076】

画像処理部２１０はさらに撮像設定記憶部４１０から、そのライトフィールド画像を撮影した撮像設定情報（焦点距離ｆ_ＭＬを含む）を取得する。画像処理部２１０は、取得した撮像設定情報に撮像部１０の物理構成等の情報を加えて撮影設定情報として、画像再構成装置３０の撮影設定取得部３０２０に伝達する。こうして、撮影設定取得部３０２０は撮影設定情報を取得する（ステップＳ１０２）。

【0077】

次に、画像再構成装置３０が図９に示す画像再構成処理を開始する（ステップＳ１０３）。画像再構成処理では、まず原型定義部３２１０が再構成設定記憶部３１１０に記憶されている再構成画像の生成に用いるパラメータを取得する（ステップＳ２０１）。ここでは、再構成画像のメインレンズＭＬからの再構成面ＲＦとの距離ａ１、及び再構成画像の画素数および各画素が対応する部位（メインレンズの光軸と再構成面ＲＦ上の交点である再構成中心との相対位置）、及びリフォーカスした再構成画像を生成することを指示する情報、等が再構成設定に含まれる。

【0078】

次に、再構成設定に基づいて、原型定義部３２１０がメインレンズＭＬの光学中心から距離ａ１だけ離れた位置にある再構成面ＲＦ上に再構成画像の原型（再構成画素の画素値がすべて０の画像）を定義する（ステップＳ２０２）。

【0079】

次に、カウンタ変数をｉとして、注目再構成画素選択部３２２０がｉ番目の再構成画素（図５の注目部位Ｐに対応）に注目する（ステップＳ２０３）。

【0080】

そして、到達点取得部３２３０が、注目再構成画素からメインレンズＭＬの光学中心を通ってサブレンズアレイＳＬＡに到達する点（メインレンズブラー中心ＭＬＢＣ）の位置を特定する（ステップＳ２０４）。

【0081】

具体的には、メインレンズブラー中心ＭＬＢＣは、再構成面ＲＦと光軸との交点（再構成中心）と注目部位Ｐとのｘ軸方向の距離をｘとし、メインレンズＭＬの光軸とメインレンズブラー中心ＭＬＢＣのｘ軸方向の距離ｄ２を次の式（３）により算出する。
ｄ２＝ｘ・ｃ１／ａ１…（３）
ｙ軸についても同様に計算できる。このようにして、注目部位Ｐの位置からマイクロレンズブラー中心ＭＬＢＣの位置を特定する。

【0082】

次に、メインレンズブラー中心ＭＬＢＣがどのサブレンズ上にあるかを求める。またそのサブレンズＳＬ上のどこにあるかを、中心座標ＣＰ（ｉ_ＭＬ，ｊ_ＭＬ）として、撮影設定情報が示す各サブレンズの位置及び大きさの情報から求める。

【0083】

そして、ＭＬＢ重みテーブル取得部３２４０が、ＭＬＢテーブル記憶部３１２０に記憶されたＭＬＢインデックステーブルが示す、中心座標ＣＰ（ｉ_ＭＬ，ｊ_ＭＬ）と、再構成設定が示す距離ａ１に対応するパラメータａと、に合致するＭＬＢ重みテーブルを取得する（ステップＳ２０５）。

【0084】

そして、サブレンズ選択部３２５０から画素値加算部３２７０が、ＭＬＢ重みテーブルを用いて注目再構成画素の画素値を決定する処理（画素値加算処理、ここでは画素値加算処理１）を実行する（ステップＳ２０６）。

【0085】

ステップＳ２０６で実行される画素値加算処理（画素値加算処理１）を、図１０を参照して説明する。画素値加算処理１では、まずサブレンズ選択部３２５０が、メインレンズブラーＭＬＢを含むサブレンズＳＬ（ＭＬＢ重みテーブルの重みが０でないサブレンズ）を注目再構成画素に対応するサブレンズ（対応サブレンズ）として抽出する（ステップＳ３０１）。

【0086】

次に、サブレンズ選択部３２５０が、ｊをカウンタ変数として抽出したサブレンズのうちｊ番目の対応サブレンズを注目サブレンズとして選択する（ステップＳ３０２）。

【0087】

そして、メインレンズブラー中心ＭＬＢＣを含むレンズを（０，０）としたときのとの注目サブレンズの相対位置（Ｘ_ＭＬ，Ｙ_ＭＬ）に対して定義された重みＷ_ＭＬをＭＬＢ重みテーブルから取得する（ステップＳ３０３）。

【0088】

次に、対応画素特定部３２６０が、注目サブレンズに対応するサブ画像を構成する画素のうち、注目再構成画素に対応する画素（対応サブ画素、到達点ＰＥに対応する画素）を抽出し、その画素値を取得する（ステップＳ３０４）。

【0089】

具体的には、到達点ＰＥを以下の手順で算出する。
被写体距離ａ１と、距離ｂ１を以下の式（４）に用いて、注目部位ＰがメインレンズＭＬを通して結像する点（結像点ＰＦ）と光軸ＯＡとの距離ｘ’を算出する
ｘ’＝ｘ・ｂ１／ａ１…（４）
さらに、光軸ＯＡからｊ番目のサブレンズＳＬの主点までの距離ｄ、上記の式（４）を用いて算出された距離ｘ’、サブレンズアレイＳＬＡから撮像面ＩＥまでの距離ｃ２、及び結像面ＭＩＰからサブレンズアレイＳＬＡまでの距離ａ２を以下の式（５）に用いて、到達点ＰＥと光軸ＯＡとの距離ｘ’’を算出する。

【0090】

【数2】

【0091】

Ｙ軸方向にも同様に計算し、到達点ＰＥの位置を特定する。そして、撮像設定情報が示す撮像素子の位置情報を用いて、到達点ＰＥに位置する対応サブ画素を特定し、その画素値を取得する。なお、ここでは想定される再構成面との距離ａ１のいずれに対しても、対応サブ画素は一画素乃至一画素と同一視できるようにサブレンズアレイＳＬＡと撮像面ＩＥとの位置を調節しているものとする。

【0092】

次に、ステップＳ３０１で抽出した全対応サブレンズについて、対応サブ画素を抽出する処理が実行済みか判別する（ステップＳ３０５）。
未処理のサブレンズＳＬが存在すると判別すると（ステップＳ３０５；ＮＯ）、カウンタ変数ｊをインクリメントし（ステップＳ３０６）、次のサブレンズを注目サブレンズとしてステップＳ３０２から処理を繰り返す。

【0093】

一方、全ての対応サブレンズについて対応サブ画素を抽出したと判別すると（ステップＳ３０５；ＹＥＳ）、画素値加算部３２７０が、各対応サブ画素の値と、その対応サブ画素に応じた対応サブレンズに定義された重みＷ_ＭＬとを用いて重み加算平均値を算出して、注目再構成画素の画素値とする（ステップＳ３０７）。
そして、画素値加算処理１は終了する。

【0094】

図９に戻って、画素値加算処理によって注目再構成画素の画素値が決定すると、次に全ての再構成画素について画素値を決定する処理が実行されたか判別する（ステップＳ２０７）。
全ての再構成画素について画素値が決定されていないと判別すると（ステップＳ２０７；ＮＯ）、カウンタ変数ｉをインクリメントし（ステップＳ２０８）、次の注目再構成画素についてステップＳ２０２から処理を繰り返す。
一方、全ての再構成画素について画素値を決定したと判別すると（ステップＳ２０７；ＹＥＳ）、出力部３０４０が再構成画素を画像記憶部４２０に出力して（ステップＳ２０９）画像再構成処理は終了する。

【0095】

図８に戻って、画像再構成処理（ステップＳ１０３）で再構成画像の生成が終わると、デジタルカメラ１は画像記憶部４２０に記憶された再構成画像を表示部５２０に出力する（ステップＳ１０４）。あるいは、Ｉ／Ｏ部５１０を用いて外部装置に出力しても良い。
そして、デジタルカメラ１及び画像再構成装置３０は画像出力処理を終了する。

【0096】

以上説明したとおり、本実施形態の画像再構成装置３０によれば、撮影時の設定（撮影パラメータ）に応じたＭＬＢ重みテーブルを用いて再構成画像を生成する。そのため、少ない計算量で高い精度で再構成した、画質の高い再構成画像を生成できる。

【0097】

このとき、複数のＭＬＢ重みテーブルからメインレンズの焦点距離に応じたテーブルを用いて画素値を決定するので、撮影時のメインレンズの焦点距離を反映した精度の高い再構成画像を少ない計算量で生成できる。

【0098】

また、再構成面とメインレンズとの距離に応じたパラメータａに応じたＭＬＢ重みテーブルを用いて画素値を決定するので、再構成面の位置に合致する重みにより精度の高い再構成画像を少ない計算量で生成できる。

【0099】

さらに、中心座標ＣＰ（メインレンズ中心ＭＬＢＣに対応）に応じたＭＬＢ重みテーブルを用いて画素値を加算平均する。そのため、再構成画素のそれぞれから発した光が、サブレンズに到達した位置に応じたより精度の高い再構成画像を少ない計算量で生成できる。

【0100】

これらのパラメータに対応するＭＬＢ重みテーブルを用いて再構成画像を生成するので、再構成画素からの光がどのサブレンズにどの程度到達しているか、その大きさに応じた重みを用いて対応サブ画素を重み付き加算して再構成画素の画素値を決定できる。そのため、メインレンズの位置・焦点距離・サブレンズの位置・到達点・等の多くのパラメータに応じた重みを少ない計算量で求めることができる。この重みを用いることで精度の高い再構成画像を少ない計算量で生成できる。

【0101】

なお、このＭＬＢ重みテーブルでは、中心座標ＣＰから所定の距離（メインレンズブラー径に対応、メイン距離）以上遠い位置にあるサブレンズに対しては小さい重みを定義している。メインレンズブラー径は再構成面までの距離が小さくなれば、また、メインレンズの焦点距離が小さくなれば大きくなる。一方、メインレンズの有効径が大きくなれば大きくなる。このため、再構成面までの距離又はメインレンズの焦点距離の何れかが小さくなれば、あるいは有効径が大きくなれば、メインテーブル径が小さくなるようにＭＬＢ重みテーブルは設定されている。このようなＭＬＢ重みテーブルを用いることにより、メインレンズブラー径に応じた重みを用いて生成した精度の高い再構成画像を、少ない計算量で生成できる。

【0102】

また、本実施形態のデジタルカメラ１によれば、画像再構成装置３０を用いて画像を再構成するため、ライトフィールド画像を撮影し、そのライトフィールド画像から精密な再構成画素を、少ない計算量で生成して表示・記録できる。

【0103】

（実施形態２）
次に、本発明の実施形態２に係る画像再構成装置３１について説明する。画像再構成装置３１は、図１１に示すデジタルカメラ２に含まれる。
デジタルカメラ２は、実施形態１に係るデジタルカメラ１と比べて、撮像部が図１２に示す構成を持つ撮像部１１であること、及び画像再構成処理を画像再構成装置３１が担う点が異なる。

【0104】

撮像部１１の光学装置１１３は、図１２に示すように、注目部位Ｐからの光をサブレンズアレイＳＬＡがイメージセンサ１２０の撮像面ＩＥとは異なる平面（サブレンズ結像面ＳＩＰ）に結像させることを特徴とする。このため、一つの注目部位Ｐについて、各サブレンズを通過して撮像面ＩＥに到達する領域（サブレンズブラーＳＬＢ、図１２の白の楕円）は、一つの画素内に収まらない場合がある。そこで、サブレンズブラーＳＬＢに含まれる各画素について重み付け加算を実行するためのテーブル（ＳＬＢテーブル）を用いて注目再構成画素の画素値を決定する。

【0105】

画像再構成装置３１の物理構成は実施形態１にかかる画像再構成装置３０と同様である。

【0106】

画像再構成装置３１は、図１３に示すように、Ｉ／Ｏ部３００と記憶部３１１と情報処理部３２１として機能する。
Ｉ／Ｏ部３００は、実施形態１にかかる画像再構成装置３０のＩ／Ｏ部３００と同様である。ただし、撮影設定取得部３０２０が取得する撮影設定情報は、各サブレンズの径（サブレンズ径ＤＳＬ）と、サブレンズアレイＳＬＡと撮像面ＩＥとの距離ｃ２と、各サブレンズの焦点距離ｆ_ＳＢと、を示す情報をさらに含む。サブレンズＳＬの焦点距離ｆ_ＳＢは全て共通であり、デジタルカメラ２に固有の不変値とする。

【0107】

記憶部３１１は、実施形態１にかかる画像再構成装置３０の記憶部３１０に対し、さらにＳＬＢテーブル記憶部３１４０を含む。
ＳＬＢテーブル記憶部３１４０は、サブレンズに対応する対応画素に適用される重みＷ_ＳＬを定義するテーブルであるＳＬＢテーブルを記憶する。ＳＬＢテーブルについては後述する。

【0108】

情報処理部３２１は、再構成設定記憶部３１１０に記憶された再構成設定に合致する再構成画像を、画像取得部３０３０が取得したＬＦＩと、撮影設定取得部３０２０が取得した撮影設定情報と、ＭＬＢテーブル記憶部３１２０が記憶するＭＬＢテーブルと、ＳＬＢテーブル記憶部３１４０が記憶するＳＬＢテーブルと、を用いて生成する。情報処理部３２１はこのような処理を実行するために、原型定義部３２１０と、注目再構成画素選択部３２２０と、到達点取得部３２３０と、ＭＬＢ重みテーブル取得部３２４０と、サブレンズ選択部３２５０と、撮像面到達点取得部３２８０と、ＳＬＢ重みテーブル取得部３２９０と、対応画素特定部３２６１と、画素値加算部３２７１と、を含む。

【0109】

原型定義部３２１０からサブレンズ選択部３２５０の機能は、実施形態１にかかる情報処理部３２０の同名の部位と同一である。

【0110】

撮像面到達点取得部３２８０は、注目部位Ｐからの主光線が注目サブレンズを通って撮像面ＩＥに到達する到達点ＰＥを、前述した式（５）を用いて取得する。そして、到達点ＰＥが、撮像素子上のどの位置にあるかを示す座標（ｉ_ＳＬ，ｊ_ＳＬ）を、撮像設定情報に含まれる撮像素子の位置情報から特定する。

【0111】

そして、ＳＬＢ重みテーブル取得部３２９０が、ＳＬＢテーブル記憶部３１４０が記憶するＳＬＢテーブルを参照し、再構成設定が示す距離ａ１に対応するパラメータａと、座標（ｉ_ｓＬ，ｊ_ｓＬ）と、に合致するＳＬＢ重みテーブルを取得する。

【0112】

ここで、サブレンズブラーＳＬＢと、座標（ｉ_ＳＬ，ｊ_ＳＬ）と、ＳＬＢテーブル記憶部３１４０が記憶するＳＬＢテーブルについて、図１４及び図１５を参照して説明する。

【0113】

まず、撮像面ＩＥ上に投影されたサブレンズブラーＳＬＢの例を図１４（ａ）を参照して説明する。注目部位Ｐから発せられた主光線がメインレンズＭＬと注目サブレンズを通じて撮像面ＩＥに達する部位を、図１４（ａ）で黒丸（●）を用いて示している。この部位を到達点ＰＥあるいはサブレンズブラー中心ＳＬＢＣと呼ぶ。サブレンズブラーＳＬＢは、サブレンズブラー中心ＳＬＢＣを中心とする、直径がサブレンズブラー径ＤＳＬＢの円に近似できる。

【0114】

サブレンズブラー中心ＳＬＢＣを含む撮像素子をＰＳ（０，０）とする。ＰＳ（０，０）を中心に座標系を定義し、Ｙ軸をＹ_ＳＬ、Ｘ軸をＸ_ＳＬ、とする。
そして、ＰＳ（０，０）を中心に、Ｙ軸方向にｙ_ＳｌＸ軸方向にｘ_Ｓｌ個だけ移動した撮像素子ＰＳをＰＳ（ｘ_ｓｌ，ｙ_ｓｌ）とする。

【0115】

サブレンズブラー径は、次のように定義することが出来る。
まず既知の数値を変数とする下記式（６）を用いて、サブレンズアレイＳＬＡとサブレンズ結像面ＳＩＰとの距離ｂ２を求める。
ｂ２＝ａ２・ｆ_ＳＢ／（ａ２−ｆ_ＳＢ）…（６）

【0116】

そして、求めたｂ２と、既知の数値である距離ｃ２と、から下記式（７）を用いてサブレンズ結像面ＳＩＰと撮像面ＩＥとの距離ｃ３を求める。
ｃ３＝ｃ２−ｃ３…（７）

【0117】

さらに、式（６）で求めた距離ｂ２と、式（７）で用いた距離ｃ３と、撮像設定情報が示す対応サブレンズの径（サブレンズ径ＤＳＬ）と、から式（８）を用いてサブレンズブラー径ＤＳＬＢを算出する。
ＤＳＬＢ＝ＤＳＬ・ｃ３／ｂ２…（８）

【0118】

すなわち、サブレンズブラー径ＤＳＬＢは、再構成設定が示す再構成面ＲＦとメインレンズＭＬとの距離ａ１と、メインレンズの焦点距離ｆ_ＭＬと、サブレンズの焦点距離ｆ_ＳＢ等によって定まる数である。

【0119】

撮像素子ＰＳ（０，０）を拡大し、部分領域ＳＡＰＳに分割した様子を図１４（ｂ）に示す。図１４（ｂ）の例では、撮像素子ＰＳを、横軸をｉ_ＳＬ、縦軸をｊ_ＳＬとして、左上を原点として５×５の方形に分割している。各部分領域ＳＡＰＳを、ＳＡＰＳ（ｉ_ＳＬ，ｊ_ＳＬ）とあらわすとすると、図１４（ｂ）でサブレンズブラー中心ＳＬＢＣ（到達点ＰＥに対応）が存在する領域（到達領域ＥＡ）は、ＳＡＰＳ（２，１）である。このとき（２，１）を到達領域ＥＡの座標（到達座標ＥＰ）と表現する。

【0120】

到達座標ＥＰとサブレンズブラー径ＤＳＬＢが定まると、各撮像素子ＰＳ（ｘ_ｓｌ，ｙ_ｓｌ）上でサブレンズブラーＳＬＢが占める面積が定まる。本実施形態では注目部位Ｐから発せられた光は、サブレンズブラーＳＬＢ上に均等に投影されると近似する。そのため、サブレンズブラーＳＬＢがある撮像素子ＰＳ上に占める面積は、対応する注目部位Ｐから発せられた光がその撮像素子上にどの程度到達するか、その光の総和に対応すると仮定することが出来る。

【0121】

そこで、本実施形態では、撮像素子ＰＳに占めるサブレンズブラーＳＬＢの面積を、各撮像素子ＰＳ（及びその撮像素子に対応するサブ画素）と、注目部位Ｐと、の対応の強さを示す係数（重みＷ_ＳＬ）とする。重みＷ_ＳＬは、撮像素子ＰＳに対応する再構成画素と、注目部位に対応する対応画素と、の対応の強さ（サブ画素重み）に相当する。各撮像素子ＰＳが略同一の面積を持つ場合、重みＷ_ＳＬは撮像素子ＰＳ上でサブレンズブラーＳＬＢが占める割合（０から１までの実数）として定義できる。以下、重みＷ_ＳＬは０から１までの実数であるとして説明する。

【0122】

再構成面への距離ａ１を示すインデックスであるパラメータａと、到達座標ＥＰ（ｉ_ｓＬ，ｊ_ｓＬ）と、に対応するサブレンズブラーの重みＷ_ＳＬのセットを定義したテーブル（ＳＬＢテーブル）を定義し、ＳＬＢテーブル記憶部３１４０に予め記憶する。

【0123】

ＳＬＢテーブルは、図１５に示すようにＳＬＢインデックステーブルと、ＳＬＢ重みテーブルと、から構成される。ＳＬＢインデックステーブル（図１５（ａ））は、到達座標ＥＰ（ｉ_ｓＬ，ｊ_ｓＬ）と、パラメータａと、に対応するＳＬ重みリストを示すインデックスを定義するテーブルである。
図１５（ａ）の例では、ＳＬＢインデックステーブルはパラメータａが１〜ＮａのＮａ個の値を取り、到達座標ＥＰが（０，０）〜（４，４）の何れかである場合のそれぞれの場合に対応するＳＬＢ重みテーブルを示すインデックス（インデックス＃０１〜インデックス＃ＮａＮ）を対応付けて記憶している。

【0124】

ＳＬＢ重みテーブルは、そのインデックスが対応するパラメータａの値と、到達座標ＥＰと、に基づいて定まる重みＷ_ＳＬを、考慮すべき相対位置にある撮像素子ＰＳ（すなわち、これに対応するサブ画素）のそれぞれについて対応付けて記憶している。

【0125】

図１５（ｂ）の例では、ＳＬＢ重みテーブルは、考慮すべき相対位置にあるサブ画素、即ち到達座標ＥＰが位置する画素（到達画素）との相対位置が（＋Ｘ_ｓｌＭａｘ，＋Ｙ_ｓｌＭａｘ）〜（−Ｘ_ｓｌＭａｘ，−Ｙ_ｓｌＭａｘ）（ここでは（−４，−４）〜（４，４））であるそれぞれのサブ画素（Ｘ_ＳＬ，Ｙ_ＳＬ）について登録したテーブルである。なお、Ｘ_ｓｌＭａｘ及びＹ_ｓｌＭａｘは予め実験により定められた自然数であり、設定上最もサブレンズブラー径が大きくなる場合にサブレンズブラーが覆う撮像素子ＰＳの数に対応する。

【0126】

ＳＬＢ重みテーブル取得部３２９０は、距離ａ１に合致するパラメータａと、撮像面到達点取得部３２８０が算出した到達座標ＥＰ（ｉ_ＳＬ，ｊ_ＳＬ）と、に合致するＳＬＢ重みテーブルのインデックスをＳＬＢインデックステーブルから取得する。そして、そのインデックスが示すＳＬＢ重みテーブルをＳＬＢテーブル記憶部３１４０から取得する。

【0127】

対応画素特定部３２６１は、ＳＬＢ重みテーブル取得部３２９０が取得したＳＬＢ重みテーブルで定義されたサブ画素を全て抽出し、重みＷ_ＳＬと対応付けて一時記憶する。

【0128】

ＳＬＢテーブルでは、到達点ＰＥから所定の範囲（サブレンズブラー径ＤＳＬＢに完全に収まる範囲）にある撮像素子ＰＳについて重みＷ_ＳＬの最大値（ここでは１）が対応づけられる。また、所定の範囲外の位置（サブレンズブラー径ＤＳＬＢから完全に外れる位置）にある撮像素子ＰＳについて重みＷ_ＳＬの最小値（ここでは０）が対応付けられる。中間の位置にある撮像素子ＰＳについては、中間の値が定義される。このとき、到達位置がよりその撮像素子ＰＳよりである場合に、よりサブレンズブラーＳＬＢが占める部分が大きくなるので、より大きい中間値が対応付けられる。
また、再構成面との距離ａ１が小さいほど、メインレンズブラー径ＤＭＬＢが大きくなるので、より遠いサブレンズＳＬについて大きい重みＷ_ＳＬが得られる。なお、焦点距離ｆ_ＭＬが大きい場合にもサブレンズブラー径ＤＳＬＢが大きくなるので、その他の条件が同じ場合はより遠い撮像素子ＰＳに大きい重みＷ_ＳＬが対応づけされる。

【0129】

サブレンズ選択部３２５０から対応画素特定部３２６１は、全ての対応サブレンズを順次注目サブレンズとして、注目部位Ｐに対応する全てのサブ画素について、画素値と、重みＷ_ＭＬと、重みＷ_ＳＬと、を対応付ける。

【0130】

そして、画素値加算部３２７１が、注目部位Ｐに対応する再構成画素の画素値を、上記処理で抽出した画素値を重みＷ_ＭＬと重みＷ_ＳＬとを用いて重み付き加算平均して定める。

【0131】

次に、デジタルカメラ２及び画像再構成装置３１が実行する処理について、フローチャート（図１６）を参照して説明する。

【0132】

デジタルカメラ２及び画像再構成装置３１は、実施形態１と同様に図８に示す画像出力処理及び図９に示す画像再構成処理を実行する。

【0133】

画像再構成装置３１は、画像再構成処理のステップＳ２０６で、画素値加算処理として図１６に示す画素値加算処理２を実行する。

【0134】

画素値加算処理２では、まずステップＳ４０１〜ステップＳ４０３を、図１０に示す画素値加算処理１のステップＳ３０１〜ステップＳ３０３までと同様に実行する。

【0135】

次に、撮像面到達点取得部３２８０が、式（５）を用いて到達点ＰＥの位置を取得する（ステップＳ４０４）。

【0136】

そして、ＳＬＢ重みテーブル取得部３２９０が到達座標ＥＰ（ｉ_ＳＬ，ｊ_ＳＬ）と、再構成設定が示す距離ａ１に対応するパラメータａに合致するＳＬＢ重みテーブルを取得する（ステップＳ４０５）。

【0137】

そして、対応画素特定部３２６１が、ＳＬＢ重みテーブルで定義された対応画素（対応する重みＷ_ＳＬが０でない画素）の画素値と、その重みＷ_ＳＬを取得する（ステップＳ４０６）。

【0138】

次に、ステップＳ４０１で抽出した全対応サブレンズについて、対応画素の画素値とその重みを取得する処理が実行済みか判別する（ステップＳ４０７）。
未処理のサブレンズＳＬが存在すると判別すると（ステップＳ４０７；ＮＯ）、カウンタ変数ｊをインクリメントし（ステップＳ４０８）、次のサブレンズを注目サブレンズとしてステップＳ４０２から処理を繰り返す。

【0139】

一方、全ての対応サブレンズについて対応サブ画素を抽出したと判別すると（ステップＳ４０７；ＹＥＳ）、画素値加算部３２７１が、各対応サブ画素の値を、その対応サブ画素に応じた対応サブレンズに定義された重みＷ_ＭＬと、各サブ画素に対応する重みＷ_ＳＬと、を用いて重み加算平均値を算出して、注目再構成画素の画素値とする（ステップＳ４０９）。

【0140】

以上説明したとおり、本実施形態の画像再構成装置３１によれば、メインレンズブラーだけでなく、サブレンズブラーも考慮して再構成画素を構成するため、サブメンズ結像面が撮像素子と離れている場合でも精度の高い再構成画像を生成することが出来る。また、テーブルを用いてサブレンズブラーを考慮した重みを算出するため、サブレンズブラーを考慮した高画質の再構成画像を生成するための必要計算量が少なくて済む。

【0141】

（変形例）
本発明は、上記実施形態に限定されず、さまざまな変形が可能である。
たとえば、上記実施形態１乃至２では、メインレンズの焦点距離ｆ_ＭＬ及びメインレンズの有効径ＥＤは変化しなかった。しかし、本発明はこれに限らず、焦点距離ｆ_ＭＬ及び有効径ＥＤの何れか、あるいは両方が可変してもよい。
このような場合の光学装置１１０の構成例を図１７に示す。図１７の光学装置１１０は、ユーザが絞り１１２を操作することにより有効径ＥＤを変化させることが出来る。

【0142】

図１８（ａ）に、メインレンズの焦点距離ｆ_ＭＬ及びメインレンズの有効径ＥＤの双方が可変する場合のＭＬＢインデックステーブルを示す。Ｗ_ＭＬは有効径ＥＤ及び焦点距離ｆ_ＭＬに依存して変化するため、ＭＬＢインデックステーブルは（ｉ_ＭＬ，ｊ_ＭＬ）、パラメータａに加えて、パラメータＥＤ（有効径ＥＤの所定の範囲にそれぞれ対応する自然数）、及びパラメータ＃ｆ_ＭＬの（焦点距離ｆ_ＭＬの所定の範囲にそれぞれ対応する自然数）それぞれが変化した場合に対応するＭＬＢ重みテーブルのインデックスを登録している。

【0143】

一方、重みＷ_ＳＬは焦点距離ｆ_ＭＬに依存して変化するが、メインレンズの有効径ＥＤが変化する場合でも一定である。そのため、ＳＬＢインデックステーブルは、図１８（ｂ）に示すように、パラメータＥＤを含まない。
このような構成によれば、メインレンズがズームレンズである場合、あるいは絞りを持つ場合でも、撮影時の焦点距離や絞りを考慮して再構成画像を生成することができる。そのため、焦点距離や絞りが変化した場合でも再構成画像の精度が低下しない。

【0144】

なお、上記実施例では、重みＷ_ＭＬ及び重みＷ_ＳＬは任意の数であるとしたが、Ｗ_ＭＬ及びＷ_ＳＬは、０又は１の何れかの値をとるとしてもよい。この場合、例えばメインレンズブラーがサブレンズ上でしめる面積が所定の閾値以上（例えばサブレンズの面積の半分以上）であるばあいに重みを１とし、そうでない場合に０とする、とすることができる。重みＷ_ＳＬについても同様に定義できる。このような構成によれば、再構成画像の生成のための計算量を減少させることが出来る。

【0145】

また、上記実施例では画素値を算出するにあたって、対応画素の画素値を重みを用いて加算平均した。しかし、重みＷ_ＭＬや重みＷ_ＳＬを用いて画素値を算出する方法はこれに限らず、対応画素について得られた重みが大きくなればその画素の画素値が算出する画素の画素値に大きく影響を与えるような任意の方法で画素値を求めることが出来る。

【0146】

また、ＭＬＢテーブルは、上記説明で例示した構成に限られない。ＭＬＢテーブルでは、中心座標ＣＰから近い位置にあるサブレンズＳＬについて大きい重みＷ_ＭＬが対応づけられ、遠い位置にあるサブレンズＳＬについて小さい重みＷ_ＭＬが対応付けられる。また、再構成面との距離ａ１が近いほど、メインレンズブラー径ＤＭＬＢが大きくなるので、より遠いサブレンズＳＬについて大きい重みＷ_ＭＬが得られる。また、焦点距離ｆ_ＭＬが小さい場合、あるいはメインレンズＭＬの有効径ＥＤが大きい場合、にはその他の条件が同じ場合は、より遠いサブレンズＳＬに大きい重みＷ_ＭＬが対応づけされることが望まれる。
ＭＬＢテーブルは、このような条件で重み係数とサブレンズＳＬとを対応付けた任意のテーブルで代替可能である。

【0147】

さらに、ＳＬＢテーブルも、上記説明で例示した構成に限られない。ＳＬＢテーブルでは、到達座標ＥＰから近い位置（所定範囲）にある撮像素子ＰＳについて大きい重みＷ_ＳＬが対応づけられ、遠い位置にある撮像素子ＰＳについて小さい重みＷ_ＳＬが対応付けられる。また、再構成面との距離ａ１が遠いほど、サブレンズブラー径ＤＳＬＢが大きくなるので、より遠いサブレンズＳＬについて大きい重みＷ_ＳＬが得られる。なお、焦点距離ｆ_ＭＬが大きい場合にはその他の条件が同じ場合は、より遠い撮像素子ＰＳに大きい重みＷ_ＳＬが対応づけされる。
ＳＬＢテーブルは、このような条件で重み係数と撮像素子ＰＳとを対応付けた任意のテーブルで代替可能である。

【0148】

また、上記実施例では、画像をグレースケール画像であるとして説明したが、本発明の処理対象となる画像はグレースケール画像に限らない。例えば、画像は各画素にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、の三つの画素値が定義されたＲＧＢ画像であってよい。この場合、画素値をＲＧＢのベクトル値として同様に処理する。また、Ｒ、Ｇ、Ｂ、の各値をそれぞれ独立したグレースケール画像として、それぞれ上記処理を行っても良い。この構成によれば、カラー画像であるライトフィールド画像からカラー画像である再構成画像を生成できる。

【0149】

その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。

【0150】

情報処理部３１ａ、主記憶部３２、外部記憶部３３、などから構成される画像再構成のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、前記コンピュータプログラムをコンピュータにインストールし、画像再構成のための処理を行う中心となる部分を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に前記コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで画像正構成装置を構成してもよい。

【0151】

画像再構成装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

【0152】

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

【0153】

また、ＭＬＢテーブルまたはＳＬＢテーブルの何れかまたは両方を外部装置に保存し、通信装置を通じてインデックス（パラメータａ等）を送信して外部装置からＭＬＢ重みテーブルを取得する構成も可能である。

【0154】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

【0155】

（付記１）
被写体を異なる視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得するライトフィールド画像取得部と、
前記ライトフィールド画像を取得した撮影パラメータを取得する撮影パラメータ取得部と、
前記ライトフィールド画像から再構成した被写体の画像である再構成画像のひな形を定義するひな形定義部と、
前記ひな形定義部が定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の少なくとも一つと、の対応の強さを示す係数である画像重みを定義したテーブルである、前記撮影パラメータ取得部が取得した撮影パラメータに応じるメインテーブルを取得するメインテーブル取得部と、
前記複数のサブ画像を構成するサブ画像画素から、前記ひな形定義部が定義した再構成画像を構成する再構成画素に対応する画素である対応画素を抽出する対応画素抽出部と、
前記再構成画素の画素値を、前記対応画素抽出部が抽出した対応画素の画素値と、前記メインテーブル取得部が取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、に基づいて求めることにより、前記再構成画像を生成する再構成画像生成部と、
を有することを特徴とする再構成画像生成装置。

【0156】

（付記２）
前記ライトフィールド画像は、前記被写体からの光線を捉えるメインレンズと、前記メインレンズが捉えた光線をさらに捉える前記複数の視点のそれぞれに対応する複数のサブレンズと、を用いて撮影され、
前記撮影パラメータは、前記メインレンズの焦点距離を少なくとも含む、
ことを特徴とする付記１に記載の再構成画像生成装置。

【0157】

（付記３）
前記再構成画像を含む面と前記メインレンズとの距離を示す情報を含む再構成設定を取得する再構成設定取得部をさらに有し、
前記メインテーブル取得部は、前記撮影パラメータ取得部が取得した撮影パラメータと前記再構成設定取得部が取得した再構成設定に応じるメインテーブルを取得する、
ことを特徴とする付記２に記載の再構成画像生成装置。

【0158】

（付記４）
前記撮影パラメータ取得部が取得した撮影パラメータと前記再構成設定取得部が取得した再構成設定と、予め記憶されている前記メインレンズと前記サブレンズとの相対位置と、から前記再構成画素に対応する被写体の部分から発された光線が前記サブレンズに到達する点であるサブレンズ到達点を取得するサブレンズ到達点取得部をさらに備え、
前記メインテーブル取得部が取得するメインテーブルは、前記サブレンズ到達点取得部が取得したサブレンズ到達点から所定距離以上遠い位置にある前記サブレンズに対応するサブ画像の前記画像重みが小さい、
ことを特徴とする付記３に記載の再構成画像生成装置。

【0159】

（付記５）
前記再構成設定取得部が取得した再構成設定に含まれる前記再構成画像を含む面と前記メインレンズとの距離が小さいほど、前記メインテーブル取得部が取得するメインテーブルの画像重みに係る所定距離が大きくなる、
ことを特徴とする付記４に記載の再構成画像生成装置。

【0160】

（付記６）
前記撮影パラメータ取得部が取得した撮影パラメータに含まれる前記メインレンズの焦点距離が小さいほど、前記メインテーブル取得部が取得するメインテーブルの画像重みに係る所定距離が大きくなる、
ことを特徴とする付記４又は５に記載の再構成画像生成装置。

【0161】

（付記７）
前記撮影パラメータ取得部が取得する撮影パラメータは、前記メインレンズの有効径をさらに含み、
前記撮影パラメータ取得部が取得した撮影パラメータに含まれる前記メインレンズの有効径が大きいほど、前記メインテーブル取得部が取得するメインテーブルの画像重みに係る所定距離が大きくなる、
ことを特徴とする付記４乃至６の何れか１つに記載の再構成画像生成装置。

【0162】

（付記８）
前記ひな形定義部が定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の一つである注目サブ画像に含まれるサブ画素の少なくとも一つと、の対応の強さを示す係数である画素重みを定義したテーブルである、前記撮影パラメータ取得部が取得した撮影パラメータに応じるサブテーブルを取得するサブテーブル取得部をさらに有し、
前記再構成画像生成部は、前記再構成画素の画素値を、前記対応画素抽出部が抽出した対応画素の画素値と、前記メインテーブル取得部が取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、前記サブテーブル取得部が取得したサブテーブルが定義する当該再構成画素と当該対応画素とに対応する画素重みに基づいて決定する、
ことを特徴とする付記１乃至７の何れか１つに記載の再構成画像生成装置。

【0163】

（付記９）
被写体を異なる視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得する工程と、
前記ライトフィールド画像を取得した撮影パラメータを取得する工程と、
前記ライトフィールド画像から再構成した被写体の画像である再構成画像のひな形を定義する工程と、
前記定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の少なくとも一つと、の対応の強さを示す係数である画像重みを定義したテーブルである、前記取得した撮影パラメータに応じるメインテーブルを取得する工程と、
前記複数のサブ画像を構成するサブ画像画素から、前記定義した再構成画像を構成する再構成画素に対応する画素である対応画素を抽出する工程と、
前記再構成画素の画素値を、前記抽出した対応画素の画素値と、前記取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、に基づいて求めることにより、前記再構成画像を生成する工程と、
を含むことを特徴とする再構成画像生成方法。

【0164】

（付記１０）
コンピュータに、
被写体を異なる視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得する処理、
前記ライトフィールド画像を取得した撮影パラメータを取得する処理、
前記ライトフィールド画像から再構成した被写体の画像である再構成画像のひな形を定義する処理、
前記定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の少なくとも一つと、の対応の強さを示す係数である画像重みを定義したテーブルである、前記取得した撮影パラメータに応じるメインテーブルを取得する処理、
前記複数のサブ画像を構成するサブ画像画素から、前記定義した再構成画像を構成する再構成画素に対応する画素である対応画素を抽出する処理、
前記再構成画素の画素値を、前記抽出した対応画素の画素値と、前記取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、に基づいて求めることにより、前記再構成画像を生成する処理、
を実行させることを特徴とするプログラム。

【符号の説明】

【0165】

１…デジタルカメラ、１０…撮像部、１１…撮像部、１１０…光学装置、１１１…シャッタ、１１２…絞り、１１３…光学装置、１２０…イメージセンサ、２０…情報処理部、３０…画像再構成装置、３１…画像再構成装置、３１ａ…情報処理部、３２…主記憶部、３３…外部記憶部、３４…操作部、３５…表示部、３６…入出力部、３７…内部バス、３８…プログラム、２１０…画像処理部、２２０…撮像制御部、３００…Ｉ／Ｏ部、３０１０…操作部、３０２０…撮影設定取得部、３０３０…画像取得部、３０４０…出力部、３１０…記憶部、３１１…記憶部、３１１０…再構成設定記憶部、３１２０…ＭＬＢテーブル記憶部、３１３０…再構成画像記憶部、３１４０…ＳＬＢテーブル記憶部、３２０…情報処理部、３２１…情報処理部、３２１０…原型定義部、３２２０…注目再構成画素選択部、３２３０…到達点取得部、３２４０…ＭＬＢ重みテーブル取得部、３２５０…サブレンズ選択部、３２６０…対応画素特定部、３２６１…対応画素特定部、３２７０…画素値加算部、３２７１…画素値加算部、３２８０…撮像面到達点取得部、３２９０…ＳＬＢ重みテーブル取得部、４０…記憶部、４１０…撮像設定記憶部、４２０…画像記憶部、５０…インターフェース部（Ｉ／Ｆ部）、５１０…Ｉ／Ｏ部、５２０…表示部、５３０…操作部、ＬＦＩ…ライトフィールド画像、ＯＡ…光軸、ＯＢ…被写体、ＰＯＢ…被写体の部分、Ｐ…注目部位、ＰＳ…撮像素子、ＭＬ…メインレンズ、ＰＦ…結像点、ＭＩＰ…メインレンズ結像面、ＳＩＰ…サブレンズ結像面、ＰＥ…到達点、ＥＰ…到達座標、ＩＥ…撮像面、ＳＬＡ…サブレンズアレイ、ＳＬ…サブレンズ、ＳＬ１、ＳＬ５…サブレンズ、ＭＬＢ…メインレンズブラー、ＭＬＢＣ…メインレンズブラー中心、ＳＬＢ…サブレンズブラー、Ｓ_１１〜Ｓ_ＭＮ…サブ画像、ＲＩ…再構成画像、ＲＦ…再構成面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】