特許 6221452 画像処理装置、画像表示装置、及び撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6221452

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】画像処理装置、画像表示装置、及び撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171023BHJP

【ＦＩ】

   H04N5/232 933

   H04N5/232 160

【請求項の数】5

【全頁数】22

(21)【出願番号】特願2013-151462(P2013-151462)

(22)【出願日】2013年7月22日

(65)【公開番号】特開2015-23486(P2015-23486A)

(43)【公開日】2015年2月2日

【審査請求日】2016年6月22日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100072718

【弁理士】

【氏名又は名称】古谷 史旺

(74)【代理人】

【識別番号】100151002

【弁理士】

【氏名又は名称】大橋 剛之

(74)【代理人】

【識別番号】100201673

【弁理士】

【氏名又は名称】河田 良夫

(72)【発明者】

【氏名】菅 彰信

(72)【発明者】

【氏名】曽宮 翔

(72)【発明者】

【氏名】内山 貴之

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 国際公開第２０１４／１２９１２７（ＷＯ，Ａ１）

【文献】 特開２０１３−００９２７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、
前記撮影画像をモニタへ表示する表示制御手段と、
前記モニタに対するユーザのタッチ操作と、前記タッチ操作に連続したスライド操作とからなる一連の操作に応じて、前記モニタへ表示された撮影画像の少なくとも２つの撮影条件を調整する調整手段と、
を備え、
前記タッチ操作は、前記撮影画像の撮影距離を調整するための操作であり、
前記スライド操作は、前記撮影画像の視点を調整するための操作である
ことを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記一連の操作は、
ピンチイン操作又はピンチアウト操作である
ことを特徴とする画像処理装置。

【請求項3】

撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、
前記撮影画像をモニタへ表示する表示制御手段と、
前記モニタに対するユーザのタッチ操作と、前記タッチ操作に連続したスライド操作とからなる一連の操作に応じて、前記モニタへ表示された撮影画像の少なくとも２つの撮影条件を調整する調整手段と、
を備え、
前記タッチ操作は、前記撮影画像の撮影距離を調整するための操作であり、
前記スライド操作は、前記撮影画像の絞り値を調整するための操作であり、
前記調整手段は、前記モニタに対して前記タッチ操作がなされた位置から離れる方向、または前記モニタに対して前記タッチ操作がなされた位置に近づく方向に前記スライド操作がなされることにより前記撮影画像の絞り値を調整する
ことを特徴とする画像処理装置。

【請求項4】

請求項１〜請求項３の何れか一項に記載の画像処理装置と、
前記撮影画像を表示する前記モニタと、
を備えたことを特徴とする画像表示装置。

【請求項5】

前記撮影画像を取得する撮像手段と、
請求項４に記載の画像表示装置と、
を備えたことを特徴とする撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影条件の後設定が可能な撮影画像を処理する画像処理装置、画像表示装置、及び撮像装置に関する。

【背景技術】

【0002】

近年、撮影条件の後設定が可能な撮影画像を取得するカメラが注目されつつある。このようなカメラとして有名なのが、ライトフィールドカメラ（特許文献１）、フォーカスブラケット撮影可能なカメラ（特許文献２）、カメラアレイ（特許文献３）などである。

【0003】

ライトフィールドカメラ（特許文献１）によると、撮影距離（被写界における合焦面の距離）、絞り値、視点を後設定することが可能であり、フォーカスブラケット撮影可能なカメラ（特許文献２）によると、撮影距離を後設定することが可能であり、カメラアレイ（特許文献３）によると、撮影距離、視点（又は絞り値）を後設定することが可能である。

【0004】

また、特許文献２には、撮影距離の異なる複数の撮影画像をスライドショー表示する技術等が開示されており、特許文献３には、ユーザの所望する被写体に合焦した撮影画像（リフォーカス画像）を合成する技術等が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許公報第７９３６３９２号明細書

【特許文献2】特開２０１０−１６６５１９号公報

【特許文献3】特開２０１１−２２７９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、撮影条件の後設定をユーザが自在に行うには、依然として改善の余地があった。

【0007】

そこで本発明は、撮影条件の後設定に関するユーザ操作性を更に向上させることを目的とする。

【課題を解決するための手段】

【0008】

本発明の画像処理装置の一例は、撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、前記撮影画像をモニタへ表示する表示制御手段と、前記モニタに対するユーザのタッチ操作と、前記タッチ操作に連続したスライド操作とからなる一連の操作に応じて、前記モニタへ表示された撮影画像の少なくとも２つの撮影条件を調整する調整手段と、を備え、前記タッチ操作は、前記撮影画像の撮影距離を調整するための操作であり、前記スライド操作は、前記撮影画像の視点を調整するための操作である。

【0009】

本発明の画像処理装置の別の例は、撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、前記撮影画像をモニタへ表示する表示制御手段と、前記モニタに対するユーザのタッチ操作と、前記タッチ操作に連続したスライド操作とからなる一連の操作に応じて、前記モニタへ表示された撮影画像の少なくとも２つの撮影条件を調整する調整手段と、を備え、前記タッチ操作は、前記撮影画像の撮影距離を調整するための操作であり、前記スライド操作は、前記撮影画像の絞り値を調整するための操作であり、前記調整手段は、前記モニタに対して前記タッチ操作がなされた位置から離れる方向、または前記モニタに対して前記タッチ操作がなされた位置に近づく方向に前記スライド操作がなされることにより前記撮影画像の絞り値を調整する。

【0011】

本発明の画像表示装置の一例は、本発明の画像処理装置の何れかの例と、前記撮影画像を表示する前記モニタとを備える。

【0012】

本発明の撮像装置の一例は、前記撮影画像を取得する撮像手段と、本発明の画像表示装置の一例とを備える。

【発明の効果】

【0013】

本発明によれば、撮影条件の後設定に関するユーザ操作性を更に向上させることができる。

【図面の簡単な説明】

【0014】

【図1】ライトフィールドカメラを説明する図である。

【図2】画像ファイルの構成例である。

【図3】第１実施形態を説明する図である。

【図4】第２実施形態を説明する図である。

【図5】第３実施形態を説明する図である。

【図6】閉曲線を描くための操作のバリエーションである。

【図7】第５実施形態を説明する図である。

【図8】第５実施形態の変形例を説明する図である。

【発明を実施するための形態】

【0015】

以下、本発明の第１実施形態としてライトフィールドカメラを説明する。

【0016】

図１（Ａ）は、ライトフィールドカメラ１０の構成例であり、図１（Ｂ）は、ライトフィールドカメラ１を背面から見た様子の一例である。

【0017】

図１（Ａ）に示すとおりライトフィールドカメラ１０には、撮像部１１、画像処理部１５、カメラ制御部１６、システム制御部１７、記録インタフェース１８、表示部１９、操作部材２０などが備えられる。このうち撮像部１１には、撮影レンズ１２、マイクロレンズアレイ１３、撮像素子１４などが備えられ、記録インタフェース１８には記憶媒体であるカードメモリ２１が装着される。

【0018】

撮影レンズ１２は、被写界からの光束を結像する結像レンズである。この撮影レンズ１２の実際の撮影条件は調節可能であってもよいが、ここでは簡単のため不変と仮定する。また、撮影レンズ１２は、仕様の異なる他の撮影レンズとの間で交換可能であってもよいが、ここでは簡単のため、撮影条件が不変の撮影レンズ１２がライトフィールドカメラ１０に常時装着されていると仮定する。

【0019】

なお、撮影レンズ１２の実際の撮影条件には、撮影レンズ１２の実際の撮影距離（撮影レンズ１２に関してマイクロレンズアレイ１３と共役な面までの距離）と、撮影レンズ１２の実際の絞り値と、撮影レンズ１２の実際の画角との少なくとも一つが含まれる。

【0020】

因みに、撮影レンズ１２の実際の撮影距離が変化すると、後設定可能な撮影距離の範囲（リフォーカス範囲）が変化し、撮影レンズ１２の実際の絞り値が変化すると、後設定可能な絞り値の範囲が変化し、撮影レンズ１２の実際の画角が変化すると、後設定可能な視点の範囲が変化するものの、何れの範囲も実際の撮影距離及び実際の絞り値及び実際の画角から一義的に決まる。

【0021】

マイクロレンズアレイ１３は、撮影レンズ１２の結像面近傍の面に複数のマイクロレンズを二次元状に配列してなる。

【0022】

撮像素子１４は、マイクロレンズアレイ１３に属する個々のマイクロレンズの後側に複数の受光素子（画素）を二次元状に配列してなる。なお、個々のマイクロレンズの後側に位置する画素群（部分撮像素子１４ａ）の画素配列パターンは、個々のマイクロレンズの間で共通である。

【0023】

ここで、或る１つのマイクロレンズの後側に位置する部分撮像素子１４ａに着目すると、この部分撮像素子１４ａの各画素座標ａ、ｂ、ｃ、ｄ、ｅへ個別に入射する各光束の間では、撮影レンズ１２の射出瞳における通過領域が互いに異なる。このことは、全ての部分撮像素子１４ａについて同様に当てはまる。

【0024】

よって、部分撮像素子１４ａ上で１方向に並ぶ画素座標を順にａ、ｂ、ｃ、ｄ、ｅとおき、複数の部分撮像素子１４ａの間で画素座標の共通する画素同士で１枚ずつ画像を生成したならば、画素座標ａから生成される画像Ｉａと、画素座標ｂから生成される画像Ｉｂと、画素座標ｃから生成される画像Ｉｃと、画素座標ｄから生成される画像Ｉｄと、画素座標ｅから生成される画像Ｉｅとの関係は、被写界を互いに異なる視点から撮影した５枚の視差画像の関係と同じになる。よって、以下では画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅを「視差画像」と称す。

【0025】

なお、部分撮像素子１４ａの実際の画素配列方向は、１方向ではなく２方向に亘っており、部分撮像素子１４ａの実際の画素数は、「５」よりも十分に大きいが、以下の説明では簡単のため、１方向に並ぶ５つの画素座標ａ、ｂ、ｃ、ｄ、ｅのみからなると仮定する。

【0026】

画像処理部１５は、撮像素子１４が生成したライトフィールド画像（一連の視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅからなる）を取り込み、そのライトフィールド画像を不図示のバッファメモリへ一時的に保管する。また、画像処理部１５は、システム制御部１７からの指示に応じて、バッファメモリ上のライトフィールド画像へ各種の画像処理を施す。

【0027】

例えば、画像処理部１５は、ライトフィールド画像を構成する５枚の視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅを互いに位置ずらししてから重み付け合成することにより、撮影条件（撮影距離、絞り値、視点）の設定された１枚の撮影画像を作成する。以下、撮影条件の後設定された撮影画像を「リフォーカス画像」と称す。

【0028】

なお、リフォーカス画像の撮影距離は、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの位置ずらし量によって決まる。例えば、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの位置ずらし量が「ゼロ」であるときには、リフォーカス画像の撮影距離は、撮影レンズ１２に関してマイクロレンズアレイ１３と共役な面と同じ距離となり、位置ずらし量が「ゼロ」以外の値であるときには、リフォーカス画像の撮影距離は、撮影レンズ１２に関してマイクロレンズアレイ１３と非共役な面と同じ距離となる。

【0029】

また、リフォーカス画像の絞り値は、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比によって決まる。例えば、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「０：０：１：０：０」であるときには、リフォーカス画像の絞り値は最大となり、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「１：１：１：１：１」であるときには、リフォーカス画像の絞り値は最小となる。

【0030】

また、リフォーカス画像の視点も、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比によって決まる。例えば、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「１：０：０：０：０」であるときには、リフォーカス画像の視点は一方の端点となり、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「０：０：０：０：１」であるときには、リフォーカス画像の視点は他方の端点となる。

【0031】

なお、以上の撮像部１１の構成には、公知の何れかのライトフィールドカメラの構成が適用可能であり、以上の画像処理部１５の動作には、公知の何れかのライトフィールドカメラの動作が適用可能である。公知のライトフィールドカメラとしては、例えば、特開２０１１−２１７４１１号公報、米国特許公報第７９３６３９２号明細書、特開２０１１−２５９２１８号公報に開示されたもの等が挙げられる。

【0032】

カメラ制御部１６は、撮像部１１を駆動する機構と、その機構を制御する回路とを備えている。このカメラ制御部１６は、システム制御部１７からの指示に応じて撮像素子１４を駆動し、ライトフィールド画像を取得する。

【0033】

カードメモリ２１は、撮像部１１が取得したライトフィールド画像の画像ファイル（後述）や、他のライトフィールドカメラで取得されたライトフィールド画像の画像ファイルなどを多数に亘って記憶することのできる記憶媒体である。

【0034】

記録インタフェース１８は、ライトフィールドカメラ１０に装着されたカードメモリ２１とシステム制御部１７との間のインタフェースをとる。この記録インタフェース１８は、システム制御部１７からの指示に従い、ライトフィールド画像の画像ファイルをカードメモリ２１へ書き込んだり、ライトフィールド画像の画像ファイルをカードメモリ２１から読み込んだりする。

【0035】

表示部１９は、マルチタッチパネルで構成され、少なくとも、液晶カラーモニタなどのモニタと、そのモニタに対するユーザ操作を検出するマルチタッチセンサとを備える。このうち、マルチタッチセンサは、１本の手指を使用したユーザ操作（タッチ（触る）、スライド（なぞる）、タップ（叩く）、ダブルタップ（２連続で叩く）など）の他に、２本以上の手指を同時に使用したユーザ操作（ピンチ（挟む）、ピンチイン（狭める）、ピンチアウト（拡げる）など）を検出することが可能である。このような表示部１９は、システム制御部１７からの指示に従い各種の画像を表示すると共に、その画像に対するユーザ操作の内容を検出してシステム制御部１７へ送信する。

【0036】

操作部材２０は、不図示の電源釦の他に、図１（Ｂ）に示したレリーズ釦２０ａ、再生釦２０ｂ、十字釦２０ｃなどの各種の入力スイッチを備える。ユーザは、この操作部材２０を介して撮影指示やモード切り換え指示などの各種の指示をシステム制御部１７へ入力する。なお、本実施形態ではタッチパネルで構成された表示部１９が使用されるので、電源釦以外の操作部材２０については省略することも可能である。

【0037】

システム制御部１７は、不図示のＲＯＭ、ＲＡＭ、ＣＰＵなどを備えたコンピュータである。ＣＰＵは、ＲＯＭに格納されたプログラムを実行することによりライトフィールドカメラ１０の各部を制御し、ライトフィールドカメラ１０を撮影モードや再生モードなどの各種のモードで動作させる。なお、ＲＡＭは、ＣＰＵの動作中に必要となったデータを一時的に格納するメモリである。

【0038】

因みに、ライトフィールドカメラ１０が撮影モードにあるとき、システム制御部１７は、ユーザからの撮影指示に応じて撮像部１１を駆動してライトフィールド画像を取得すると、そのライトフィールド画像の画像ファイルを作成してカードメモリ２１へ保存する。

【0039】

また、ライトフィールドカメラ１０が再生モードにあるとき、システム制御部１８は、カードメモリ２１上の画像ファイルをサムネイル表示したり、カードメモリ２１上の画像ファイルを再生表示したりする。

【0040】

図２は、画像ファイルの構成例である。図２に示すとおりこの画像ファイルは、ライトフィールド画像を格納した領域と、そのライトフィールド画像の付随情報を格納した領域とを有する。付随情報には、例えば、被写体情報、サムネイル画像、履歴情報などが含まれる。

【0041】

先ず、被写体情報は、ライトフィールド画像に写っている１又は複数の被写体の各々を説明する情報であり、各被写体の被写体情報には、その被写体の属性情報と、その被写体の存在エリアを示すエリア情報と、その被写体の被写体距離を示す距離情報とが含まれる。

【0042】

このうち、属性情報には、被写体の種類を示す被写体種類情報（ヒト、建物、樹木、山、海、…）と、同種の被写体を互いに区別するための被写体名情報（Ａさん、Ｂさん、建物１、建物２、樹木１、樹木２、…）とが含まれる。

【0043】

次に、サムネイル画像は、ライトフィールド画像から作成されたリフォーカス画像のサイズ縮小版である。ここでは、撮影条件（撮影距離、絞り値、視点の組み合わせ）の異なる複数のサムネイル画像が画像ファイルに格納されていると仮定する。複数のサムネイル画像の中には、パンフォーカス画像のサムネイル画像のサムネイル画像（＝被写界深度が最大、つまり絞り値が最大であるリフォーカス画像のサムネイル画像）も含まれる。

【0044】

次に、履歴情報は、画像ファイルの再生時又はサムネイル表示時に採用された撮影条件の履歴を示しており、少なくとも最近に採用された撮影条件（前回の撮影条件）の情報を含む。

【0045】

なお、以上の付随情報のうち、被写体情報及びサムネイル画像は、画像ファイルが作成されるタイミング又は必要なタイミングで、画像処理部１５がライトフィールド画像から抽出したものである。或いは、画像ファイルが作成されたタイミング又は必要なタイミングで、別のライトフィールドカメラ又はパーソナルコンピュータがライトフィールド画像から抽出したものである。

【0046】

また、以上の付随情報のうち、履歴情報は、画像ファイルがサムネイル表示又は再生表示されたタイミングで、システム制御部１７が書き込んだものである。或いは、画像ファイルがサムネイル表示又は再生表示されたタイミングで、別のライトフィールドカメラ又はパーソナルコンピュータが書き込んだものである。

【0047】

因みに、ライトフィールド画像から被写体のエリア情報及び属性情報を抽出するためには、テンプレートマッチングなどの公知の被写体抽出処理をライトフィールド画像に施せばよい。但し、全ての被写体のエリア情報及び属性情報を抽出するためには、そのライトフィールド画像から撮影距離の異なる複数のリフォーカス画像を作成すると共に、それら複数のリフォーカス画像の各々に対して被写体抽出処理を施す必要がある。或いは、そのライトフィールド画像からパンフォーカス画像を作成すると共に、そのパンフォーカス画像に対して被写体抽出処理を施す必要がある。なお、パンフォーカス画像は、被写界深度が最大（絞り値が最大）のリフォーカス画像に相当する。また、ライトフィールド画像から被写体の距離情報を抽出するためには、ライトフィールド画像を構成する少なくとも２枚の視差画像に対して、その被写体の座標に応じた距離算出処理を施す必要がある。

【0048】

なお、以上の説明では、各画像ファイルの付随情報の格納先を各画像ファイルとしたが、各画像ファイルの付随情報の一部又は全部の格納先を、各画像ファイルを管理するデータベースとしてもよい。このデータベースでは、各画像ファイルの付随情報は、各画像ファイルのファイル名に対応づけられる。このデータベースの保管先は、例えば、カードメモリ２１である。

【0049】

以下、再生モードにおけるライトフィールドカメラ１０の動作を説明する。

【0050】

再生モードの開始当初、システム制御部１７は、カードメモリ２１に格納中の複数の画像ファイルを参照し、それら複数の画像ファイルの各々のサムネイル画像を表示部１９に並べて表示する（サムネイル表示）。このとき、個々の画像ファイルのサムネイル画像としては、前回の撮影条件と同じ撮影条件を有したサムネイル画像が選ばれる。但し、履歴情報を有しない画像ファイルのサムネイル画像としては、デフォルトの撮影条件を有したサムネイル画像が選ばれる。また、必要なサムネイル画像が見つからない場合は、このタイミングで作成される。

【0051】

この表示部１９上でユーザが所望のサムネイル画像をタップすると、システム制御部１７は、そのサムネイル画像に対応した画像ファイルの再生表示を行う。具体的に、システム制御部１７は、その画像ファイルのリフォーカス画像を画像処理部１５に合成させ、合成されたリフォーカス画像を、例えば図３（Ａ）に示すように表示部１９の全面に表示する。このリフォーカス画像の撮影条件も、前回の撮影条件と同じに設定される。但し、履歴情報を有しない画像ファイルのリフォーカス画像は、デフォルトの撮影条件に設定される。

【0052】

因みに、図３（Ａ）に示したリフォーカス画像の撮影距離は比較的短く、絞り値も比較的小さい。このため、リフォーカス画像に写っている５つの被写体（ヒト、建物、自動車、樹木）の各々はボケている。

【0053】

次に、図３（Ｂ）に示すとおり、このリフォーカス画像上をユーザが１本の指でタッチする（触れる）と、システム制御部１７は、タッチポイントに位置する被写体（自動車）の被写体距離を参照し、表示中のリフォーカス画像の撮影距離を、その被写体距離と同じに設定する。これによって、表示中のリフォーカス画像は、その被写体（自動車）に合焦し、そのリフォーカス画像の撮影距離以外の撮影条件は、維持される。

【0054】

なお、表示中のリフォーカス画像の撮影距離を切り換えるために、システム制御部１７は次のとおり動作する。すなわち、先ずシステム制御部１７は、表示中のリフォーカス画像に対応する画像ファイルからライトフィールド画像を読み出す。次にシステム制御部１７は、読み出したライトフィールド画像に基づき所望の撮影距離のリフォーカス画像を合成するよう画像処理部１５に指示を与える。次にシステム制御部１７は、画像処理部１５が合成したリフォーカス画像を、表示中のリフォーカス画像の代わりに表示する。

【0055】

続いて、ユーザがタッチした指を離さずにそのまま任意の方向へスライドさせると、システム制御部１７は、そのスライド量に応じて表示中のリフォーカス画像の絞り値を変化させ、絞り値以外の撮影条件を維持する。

【0056】

このとき、システム制御部１７は、図３（Ｃ）に示すとおり最初にタッチされたポイントから離れる方向に指がスライドすると、リフォーカス画像の絞り値を大きくする。図３（Ｃ）の例では、リフォーカス画像の被写界深度が深くなり、自動車のピントだけでなく自動車より遠方に位置する建物のピントも合った様子を示した。

【0057】

さらに、システム制御部１７は、図３（Ｄ）に示すとおり最初にタッチされたポイントに近づく方向に指がスライドすると、リフォーカス画像の絞り値を小さくする。図３（Ｄ）の例では、リフォーカス画像の被写界深度が再び浅くなり、自動車より遠方に位置する建物が再びボケた様子を示した。

【0058】

したがって、本実施形態のユーザは、リフォーカス画像の撮影距離及び絞り値の調整を、「タッチ・アンド・スライド」というワンアクション操作で直感的に行うことができる。

【0059】

その後、ユーザの手指がモニタから離れると、システム制御部１７は、その時点におけるリフォーカス画像の撮影条件を、対応する画像ファイルの履歴情報に書き込む。これによって、画像ファイルの履歴情報が更新される。

【0060】

その後、表示中のリフォーカス画像の保存指示がユーザから入力されると、システム制御部１７は、そのリフォーカス画像の画像ファイルを新たに作成し、その画像ファイルをカードメモリ２１へ書き込む。なお、この画像ファイルには、リフォーカス画像の作成元となったライトフィールド画像の画像ファイル情報（ファイル名など）が書き込まれることが望ましい。

【0061】

［第１実施形態の変形例］
なお、第１実施形態では、指のスライド方向が最初のタッチポイントから離れる方向であるときに絞り値を大きくし、指のスライド方向が最初のタッチポイントから近づく方向であるときに絞り値を小さくしたが、指のスライド方向が最初のタッチポイントから離れる方向であるときに絞り値を小さくし、指のスライド方向が最初のタッチポイントから近づく方向であるときに絞り値を大きくしてもよい。

【0062】

また、第１実施形態では、指のスライド方向が最初のタッチポイントから離れる方向であるときに絞り値を大きくし、指のスライド方向が最初のタッチポイントから近づく方向であるときに絞り値を小さくしたが、指のスライド方向が所定方向であるときに絞り値を大きくし、指のスライド方向が反対方向であるときに絞り値を小さくしてもよい。

【0063】

また、第１実施形態では、最初に表示されるリフォーカス画像の撮影条件を、基本的には前回の撮影条件と同じに設定したが、前回の撮影条件に拘わらずデフォルトの撮影条件（例えば絞り値最小）に設定してもよい。

【0064】

また、第１実施形態では、タッチポイントに位置する被写体にリフォーカス画像を合焦させたが、そのタッチポイントにリフォーカス画像を合焦させてもよい。

【0065】

但し、その場合、被写界中の各ポイントの距離情報がライトフィールド画像の画像ファイルに予め書き込まれていることが望ましい。そうでなければ、ライトフィールド画像から必要なポイントの距離情報を抽出する必要がある。

【0066】

因みに、被写界中の或るポイントの距離情報を算出するためには、例えば、ライトフィールド画像を構成する少なくとも２枚の視差画像に対して、そのポイントの位置に応じた距離算出処理を施せばよい。

【0067】

また、第１実施形態では、ユーザの最初のタッチポイントが明確となるように、そのポイントに対して所定のマーク（ドットマーク、十字マーク、×マークなど）を表示してもよい。

【0068】

また、第１実施形態では、リフォーカス画像上で被写界深度内に位置する物体（合焦した物体）と被写界深度外に位置する物体（ボケた物体）とを区別するために、被写界深度内に位置する物体の表示色（輝度又は彩度）と、被写界深度外に位置する物体の表示色（輝度又は再度）との間に差異を設けてもよい。

【0069】

或いは、被写界深度内に位置する被写体（合焦した被写体）と被写界深度外に位置する被写体（ボケた被写体）とを区別するために、被写界深度内に位置する被写体と、被写界深度外に位置する被写体との少なくとも一方に対して両者を区別するためのマークを付与してもよい。例えば、被写界深度内に位置する被写体に矩形枠マークを付与し、被写界深度外に位置する被写体に矩形枠マークを付与しないこととしてもよい。

【0070】

また、第１実施形態では、ワンアクションで調整可能な撮影条件を、撮影距離と絞り値との組み合わせとしたが、撮影距離と視点との組み合わせ、又は、絞り値と視点との組み合わせとしてもよい。

【0071】

［第２実施形態］
以下、本発明の第２実施形態としてライトフィールドカメラを説明する。

【0072】

ここでは、第１実施形態との相違点のみを説明する。相違点は、撮影距離及び絞り値を調整するためのユーザの初期操作を「１ポイントタッチ」ではなく「２ポイントタッチ」とした点にある。

【0073】

ここでは、図４（Ａ）に示すようなリフォーカス画像が表示部１９の全面に表示されていると仮定する。このリフォーカス画像は、図３（Ａ）に示したものと同じである。

【0074】

図４（Ｂ）に示すとおり、このリフォーカス画像上をユーザが２本の指でタッチ（ピンチ）すると、システム制御部１７は、タッチされた２つのポイントの中点に位置する被写体（自動車）の被写体距離を参照し、表示中のリフォーカス画像の撮影距離を、その被写体距離と同じに設定する。これによって、表示中のリフォーカス画像は、その被写体（自動車）に合焦し、そのリフォーカス画像の撮影距離以外の撮影条件は、維持される。

【0075】

続いて、ユーザがタッチした２本の指を離さずに２つのタッチポイントの間隔を拡縮させると、システム制御部１７は、その拡縮量に応じて表示中のリフォーカス画像の絞り値を変化させ、絞り値以外の撮影条件を維持する。

【0076】

このとき、システム制御部１７は、図４（Ｃ）に示すとおり２つのタッチポイントの間隔が広がると、リフォーカス画像の絞り値を大きくする。図４（Ｃ）の例では、リフォーカス画像の被写界深度が深くなり、自動車のピントだけでなく自動車より遠方に位置する建物のピントも合った様子を示した。

【0077】

また、システム制御部１７は、図４（Ｄ）に示すとおり２つのタッチポイントの間隔が狭まると、リフォーカス画像の絞り値を小さくする。図４（Ｄ）の例では、リフォーカス画像の被写界深度が再び浅くなり、自動車より遠方に位置する建物が再びボケた様子を示した。

【0078】

したがって、本実施形態のユーザは、リフォーカス画像の撮影距離及び絞り値の調整を、「ピンチアウト」又は「ピンチイン」というワンアクション操作で直感的に行うことができる。

【0079】

［第２実施形態の変形例］
なお、第２実施形態では、撮影距離及び絞り値を調整するための初期操作として「２ポイントタッチ」を採用したが、「３以上の複数ポイントタッチ」を採用してもよい。

【0080】

その場合、例えば、システム制御部１７は、複数のタッチポイントの中心を、ユーザの指定したポイントとみなせばよい。

【0081】

或いは、システム制御部１７は、複数のタッチポイントの座標に所定の演算処理をして割り出された点（重心など）を、ユーザの指定したポイントとみなせばよい。

【0082】

また、第２実施形態では、２つのタッチポイントの間隔が拡大したときに絞り値を大きくし、２つのタッチポイントの間隔が縮小したときに絞り値を小さくしたが、２つのタッチポイントの間隔が拡大したときに絞り値を小さくし、２つのタッチポイントの間隔が縮小したときに絞り値を大きくしてもよい。

【0083】

また、第２実施形態では、２つのタッチポイントの中点に位置する被写体にリフォーカス画像を合焦させたが、その中点にリフォーカス画像を合焦させてもよい。

【0084】

また、第２実施形態では、ユーザが最初に指定したポイントが明確となるように、２つのタッチポイントの中点に対して所定のマーク（ドットマーク、十字マーク、×マークなど）を表示してもよい。

【0085】

その他、第２実施形態も第１実施形態と同様に変形することができる。

【0086】

［第３実施形態］
以下、本発明の第３実施形態としてライトフィールドカメラを説明する。

【0087】

ここでは、第１実施形態との相違点のみを説明する。相違点は、ライトフィールドカメラ１０にエリア確認モードが搭載された点にある。

【0088】

このエリア確認モードは、再生モードの途中で必要に応じてユーザが呼び出すことのできるモード、或いは、再生モードの代わりにライトフィールドカメラ１０に搭載されるモードである。

【0089】

ここでは、エリア確認モードの開始当初、図５（Ａ）に示すようなリフォーカス画像が表示部１９の全面に表示されていたと仮定する。このリフォーカス画像は、図３（Ａ）に示したものと同じである。

【0090】

また、エリア確認モードの開始当初、不図示のバッファメモリには、表示中のリフォーカス画像に対応するパンフォーカス画像（図５（Ａ’））が保管されている。

【0091】

このパンフォーカス画像（図５（Ａ’））は、リフォーカス画像（図５（Ａ））の作成元となったライトフィールド画像から画像処理部１５が合成したものである。このパンフォーカス画像では、ほぼ全ての被写体（ヒト、自動車、樹木、建物）のピントが合っている。このパンフォーカス画像（図５（Ａ’））の視点は、リフォーカス画像（図５（Ａ））の視点と同じである。

【0092】

なお、このパンフォーカス画像の保管先は、不図示のバッファメモリではなくリフォーカス画像の画像ファイルであってもよいが、パンフォーカス画像が保管されていれば、パンフォーカス画像をエリア確認モード中に繰り返し使用することが可能である。

【0093】

さて、図５（Ａ）に示すとおり、リフォーカス画像上をユーザが１本の指でタップ（叩く）すると、システム制御部１７は、図５（Ｂ）に点線で示すとおり、タップポイントに位置する被写体（樹木）の外接長方形エリアを、ユーザの指定エリアとみなす。

【0094】

続いて、システム制御部１７は、パンフォーカス画像（図５（Ａ’））のうち指定エリアに対応するエリアの画像（合焦部分画像）を参照し（図５（Ｂ’））、その合焦部分画像を、図５（Ｃ）に示すとおりリフォーカス画像の指定エリア上に重畳表示する。これによって、リフォーカス画像の指定エリアのみが合焦画像に切り換わる。

【0095】

続いて、重畳表示された合焦部分画像に対してユーザがピンチアウト操作を行うと、システム制御部１７は、図５（Ｄ）に示すとおり合焦部分画像の表示サイズを拡大する。

【0096】

また、重畳表示された合焦部分画像に対してユーザがピンチイン操作を行うと、システム表示部１７は、合焦部分画像の表示サイズを縮小する。

【0097】

したがって、本実施形態のユーザは、リフォーカス画像上の非指定エリアの撮影条件を維持したまま、指定エリアのみを１回のタップ操作で合焦させることができる。

【0098】

また、本実施形態のユーザは、合焦部分画像に対してピンチアウト又はピンチイン操作を行うだけで、合焦部分画像の表示サイズを調整することができる。

【0099】

また、本実施形態では、各被写体にピントの合ったパンフォーカス画像を予め用意しておくので、合焦部分画像の表示に関する演算負荷は低く抑えられ、ユーザの待ち時間も短く抑えられる。このため、指定エリアの切り換え（つまりエリア指定の繰り返し）もスムーズに行うことができる。

【0100】

また、本実施形態では、合焦部分画像の表示サイズの調整が可能なので、ユーザは、必要に応じて指定エリアを詳細確認することもできる。

【0101】

［第３実施形態の変形例］
なお、第３実施形態では、最初に表示されるリフォーカス画像の撮影条件を、基本的には前回の撮影条件と同じに設定したが、前回の撮影条件に拘わらずデフォルトの撮影条件（例えば絞り値最小）に設定してもよい。

【0102】

また、第３実施形態では、指定エリアの形状を、被写体の外接長方形としたが、被写体の外接楕円形にしてもよいし、被写体の輪郭形状と同じにしてもよい。

【0103】

また、第３実施形態では、ユーザに任意の被写体を指定させるために、その被写体をタップさせたが、他のユーザ操作、例えば、「被写体を囲う閉曲線を描く操作」、「被写体に掛かる閉曲線を描く操作」などを適用することもできる。なお、ユーザが閉曲線を描くための操作としては、例えば、図６（Ａ）〜（Ｅ）の何れかの操作が適用可能である。

【0104】

また、第３実施形態では、ユーザに任意の被写体を指定させ、その被写体の輪郭から一義的に決まるエリアを指定エリアとしたが、ユーザに任意の閉曲線を描かせ、その閉曲線内のエリアをそのまま指定エリアとしてもよい。なお、ユーザが閉曲線を描く操作としては、例えば、図６（Ａ）〜（Ｅ）の何れかの操作が適用可能である。

【0105】

或いは、第３実施形態では、ユーザに任意のポイントをタップさせ、そのタップポイントから一義的に決まる、所定サイズかつ所定形状のエリアを、指定エリアとしてもよい。

【0106】

また、第３実施形態では、合焦部分画像を作成するために、各被写体にピントの合ったパンフォーカス画像を利用したが、指定エリア（又は指定エリアの被写体）にのみピントの合ったリフォーカス画像を利用してもよい。但し、その場合は、指定エリアが切り換わる度にリフォーカス画像を合成するか、或いは、互いに異なる被写体にピントの合った複数のリフォーカス画像を予め用意しておく必要がある。

【0107】

また、第３実施形態では、合焦部分画像の表示後、その合焦部分画像の表示倍率をユーザに調整させたが、表示倍率の代わりに、或いは、表示倍率に加えて、合焦部分画像の絞り値及び視点の少なくとも一方をユーザに調整させてもよい。

【0108】

また、第３実施形態では、合焦部分画像の表示倍率又は絞り値又は視点を調節するためのユーザ操作は、表示部１９に対する特定操作（例えば第１実施形態又は第２実施形態で説明した何れかのユーザ操作）であってもよいし、操作部材２０に対する特定操作であってもよい。

【0109】

例えば、エリアを指定するためのユーザ操作を１ポイント又は２ポイントのタッチ操作とし、合焦部分画像の表示倍率又は絞り値又は視点を調整するためのユーザ操作を、そのタッチ操作に連続したスライド操作としてもよい。この場合、エリアの指定と合焦部分画像の調整とをワンアクションで行うことが可能となる。

【0110】

また、第３実施形態では、合焦部分画像の表示前に、指定エリアのサイズをユーザに調整させてもよい。エリアのサイズ調整のためのユーザ操作としては、表示部１９に対する特定操作であってもよいし、操作部材２０に対する特定操作であってもよい。

【0111】

例えば、エリアを指定するためのユーザ操作を１ポイント又は２ポイントのタッチ操作とし、指定エリアのサイズ調整のためのユーザ操作を、そのタッチ操作に連続したスライド操作としてもよい。この場合、エリアの指定とエリアのサイズ調整とをワンアクションで行うことが可能となる。

【0112】

因みに、以下に説明する第４実施形態は、エリアの指定とエリアのサイズ調整とをワンアクションで行うものである。

【0113】

［第４実施形態］
以下、本発明の第４実施形態としてライトフィールドカメラを説明する。

【0114】

ここでは、第３実施形態との相違点のみを説明する。相違点は、合焦部分画像の表示前に指定エリアのサイズ調整が可能であって、しかも、エリアの指定とエリアのサイズ調整とがワンアクション操作で行われる点、具体的には「ピンチイン」又は「ピンチアウト」により行われる点にある。

【0115】

本実施形態のシステム制御部１７は、リフォーカス画像上をユーザが２本の指でタッチすると、それら２つのタッチポイントの中点に位置する被写体の外接長方形エリアを、ユーザの指定エリアとみなす。

【0116】

続いて、ユーザがタッチした２本の指を離さずに２つのタッチポイントの間隔を拡縮させると、システム制御部１７は、その拡縮量に応じて指定エリアのサイズを変化させる。

【0117】

このとき、システム制御部１７は、２つのタッチポイントの間隔が広がると、指定エリアのサイズを大きくし、２つのタッチポイントの間隔が狭まると、指定エリアのサイズを小さくする。

【0118】

その後、ユーザがタッチした２本の指を表示部１９から離すと、合焦部分画像の重畳表示（第３実施形態を参照）が開始される。

【0119】

したがって、本実施形態のユーザは、エリアの指定及びエリアのサイズ調整を、「ピンチアウト」又は「ピンチイン」というワンアクション操作で行うことができる。

【0120】

［第４実施形態の変形例］
なお、第４実施形態では、エリアの指定及びエリアのサイズ調整を行うための初期操作として「２ポイントタッチ」を採用したが、「３以上の複数ポイントタッチ」を採用してもよい。

【0121】

その場合、例えば、システム制御部１７は、複数のタッチポイントの中心に位置する被写体の外接長方形エリアを、指定エリアとみなせばよい。

【0122】

或いは、システム制御部１７は、複数のタッチポイントの座標に所定の演算処理をして割り出された点（重心など）に位置する被写体の外接長方形エリアを、指定エリアとみなせばよい。

【0123】

或いは、システム制御部１７は、複数のタッチポイントから一義的に決まる長方形エリアを、指定エリアとしてもよい。

【0124】

その他、最初に表示されるリフォーカス画像の撮影条件、指定エリアの形状、合焦部分画像の元となるリフォーカス画像の種類、合焦部分画像の調整パラメータ、合焦部分画像のユーザ操作などは、第４実施形態も第３実施形態と同様に変形することが可能である。

【0125】

［第５実施形態］
以下、本発明の第５実施形態としてライトフィールドカメラを説明する。

【0126】

ここでは、第１実施形態との相違点のみを説明する。相違点は、サムネイル表示の詳細を調整可能とした点にある。

【0127】

サムネイル表示の開始当初、システム制御部１７は、カードメモリ２１に格納中の複数の画像ファイルを参照し、それら複数の画像ファイルの各々のサムネイル画像を表示部１９に並べて表示する。このとき、個々の画像ファイルのサムネイル画像としては、前回の撮影条件と同じ撮影条件を有したサムネイル画像が選ばれる。但し、履歴情報を有しない画像ファイルのサムネイル画像としては、デフォルトの撮影条件を有したサムネイル画像が選ばれる。

【0128】

この表示部１９上でユーザが所望のサムネイル画像をタップすると、システム制御部１７は、そのサムネイル画像に対応した画像ファイルの再生表示を行う。具体的に、システム制御部１７は、その画像ファイルのリフォーカス画像を画像処理部１５に合成させ、合成されたリフォーカス画像を、例えば図７（Ａ）に示すように表示部１９の比較的広いエリアに表示する。このリフォーカス画像の撮影条件も、前回の撮影条件と同じに設定される。但し、履歴情報を有しない画像ファイルのリフォーカス画像は、デフォルトの撮影条件に設定される。

【0129】

なお、表示部１９に並べて表示できる画像の枚数は限られているので、ここでは、リフォーカス画像の画像ファイルとファイル作成日時（撮影日時）の近い画像ファイルが優先的にサムネイル表示の対象に選ばれたと仮定する。この場合、表示中のリフォーカス画像と表示中の複数のサムネイル画像との間では、撮影日時が近接するので、互いに共通の被写体を含んでいる可能性が高い。

【0130】

次に、図７（Ｂ）に示すとおり、このリフォーカス画像上をユーザが１本の指でタッチする（触れる）と、システム制御部１７は、そのタッチポイントに位置する被写体（Ａさん）の被写体距離を参照し、表示中のリフォーカス画像の撮影距離を、参照した被写体距離と同じに設定する。

【0131】

それと同時に、システム制御部１７は、表示中のサムネイル画像の中で同じ被写体（Ａさん）の写っているサムネイル画像を見出し、そのサムネイル画像における被写体（Ａさん）の被写体距離を参照すると、そのサムネイル画像の撮影距離を、参照した被写体距離と同じに設定する。

【0132】

これによって、同じ被写体（Ａさん）の写っているリフォーカス画像及びサムネイル画像は、一括して被写体（Ａさん）に合焦し、それらリフォーカス画像及びサムネイル画像の撮影距離以外の撮影条件は、維持される。

【0133】

なお、表示中のリフォーカス画像の撮影距離を切り換える方法は、第１実施形態で説明したとおりである。また、表示中のサムネイル画像の撮影距離を切り換える方法は、次のとおりである。すなわち、システム制御部１７は、サムネイル画像に対応する画像ファイルから、所望の撮影距離を有したサムネイル画像を読み出し、読み出したサムネイル画像を、表示中のサムネイル画像の代わりに表示する。

【0134】

その後、ユーザの指がリフォーカス画像から離れると、システム制御部１７は、撮影条件の変更されたリフォーカス画像及びサムネイル画像の履歴情報を、更新する。

【0135】

図７（Ａ）の例では、表示中の３つのサムネイル画像の各々にＡさんが写っていたので、図７（Ｂ）に示すとおりＡさんがタッチされると、リフォーカス画像及び３つのサムネイル画像の各々は、一括してＡさんに合焦し、リフォーカス画像及び３つのサムネイル画像の各々の履歴情報は、一括して更新される。

【0136】

また、図７（Ａ）の例では、左のサムネイル画像及び中央のサムネイル画像に建物１が写っていたので、図７（Ｃ）に示すとおり建物１がタッチされると、リフォーカス画像及び左のサムネイル画像及び中央のサムネイル画像は、一括して建物１に合焦し、リフォーカス画像及び左のサムネイル画像及び中央のサムネイル画像の各々の履歴情報は、一括して更新される。

【0137】

ここで、本実施形態のシステム制御部１７は、表示中のサムネイル画像の中に、ユーザの指定した被写体（建物１）を含まないサムネイル画像が仮に存在した場合には、そのサムネイル画像の表示を取り止めるべく、そのサムネイル画像と撮影日時が近く、かつ、ユーザの指定した被写体（建物１）を含んだ画像ファイルをカードメモリ２１から検索し、検出した画像ファイルのサムネイル画像を、取り止めの対象となったサムネイル画像の代わりに表示部１９へ表示する。このときシステム制御部１７は、新たに表示するサムネイル画像の撮影距離を、その被写体（建物１）の被写体距離に一致させる。

【0138】

よって、本実施形態では、図７（Ｃ）に示すとおり建物１がタッチされると、建物１の写っていなかった右のサムネイル画像の代わりに、建物１の写った別のサムネイル画像が自動的に読み出されて表示される（図７（Ｃ）の右下を参照。）。

【0139】

したがって、本実施形態のユーザは、１枚のリフォーカス画像上で被写体を指定するだけで、表示中の複数の画像（リフォーカス画像及びサムネイル画像）の各々を同じ被写体に一括で合焦させることができる。

【0140】

また、本実施形態のユーザは、１枚のリフォーカス画像上で被写体を指定するだけで、その被写体を含んだ他の画像（サムネイル画像）をカードメモリ２１から呼び出すこともできる。つまり、本実施形態のユーザは、任意の被写体を検索キーとして、カードメモリ２１から画像ファイルの検索を行うこともできる。

【0141】

［第５実施形態の変形例］
なお、第５実施形態では、表示中の画像群の中に、ユーザの指定した被写体を含まない画像があった場合には、その画像の表示を取り止めたが、その画像の表示を継続してもよい。その場合、その画像の撮影条件は、ユーザの指定内容に拘らず維持される。

【0142】

また、第５実施形態では、表示中の画像群の中に、ユーザの指定した被写体を含まない画像があった場合には、その画像の表示を取り止めたが、取りやめる代わりに、その画像の表示を抑制してもよい。その画像の表示を抑制するには、例えば、その画像の輝度、その画像の彩度のうち少なくとも一方を低めに設定すればよい。

【0143】

また、第５実施形態では、表示中の各画像をユーザの指定した被写体に一括で合焦させたが、表示中の各画像の撮影距離を、ユーザの指定した被写体の被写体距離と同じに一括で設定してもよい（図８（Ａ）参照）。

【0144】

図８（Ａ）に示したのは、各画像の撮影距離を、ユーザの指定した被写体の被写体距離と同じに設定した場合の例である。右のサムネイル画像及び中央のサムネイル画像の各々には、ユーザの指定した被写体（Ａさん）と同じ被写体（Ａさん）が含まれているが、それらサムネイル画像における被写体（Ａさん）の被写体距離は、リフォーカス画像における被写体（Ａさん）の被写体距離とは異なるため、それらサムネイル画像では被写体（Ａさん）はボケたままである。

【0145】

また、第５実施形態では、複数の画像間で一括調整可能なパラメータを撮影距離のみとしたが、絞り値、視点などの他の撮影条件としてもよいし、被写体の色、被写体のサイズ、付随情報の内容などの他種パラメータを、一括調整可能なパラメータに加えてもよい。

【0146】

例えば、第５実施形態では、複数の画像間で一括調整可能なパラメータを、被写界深度としてもよい。被写界深度は、撮影距離と絞り値との組み合わせで決まるパラメータである。

【0147】

よって、例えば、図８（Ｂ）に示すとおり、ユーザが１枚の画像上で距離の異なる２つの被写体を指定すると、一方の被写体の被写体距離から他方の被写体の被写体距離までの距離範囲が合焦する（被写界深度内に収まる）ように、各画像の撮影距離及び絞り値を一括調整してもよい。

【0148】

また、第５実施形態において、ユーザが１枚の画像に対して施すべき編集内容（一括調整されるパラメータと一括調整に必要なユーザ操作との組み合わせ）としては、第１実施形態、第２実施形態、第３実施形態、第４実施形態で説明した何れかの編集内容を採用してもよい。

【0149】

また、第５実施形態では、ユーザの編集対象となる画像を、他のサムネイル画像よりも大きく表示されたリフォーカス画像としたが、他のサムネイル画像よりも大きく表示されたサムネイル画像としてよい。

【0150】

また、第５実施形態では、ユーザの編集対象となる画像を、他の画像よりも大きなサイズで表示させたが、ユーザの編集対象となる画像と、他の画像とを同じサイズで表示させてもよいことは言うまでもない。

【0151】

また、第５実施形態では、一括調整の対象となる画像群を、表示部１９に表示中の画像群としたが、カードメモリ２１内の全ての画像群としてもよいし、特定フォルダ内の全ての画像群としてもよい。また、一括調整の対象となる画像群の保管先（フォルダ名など）を、ユーザに予め指定させてもよい。

【0152】

また、第５実施形態では、表示部１９に対する画像群の表示方法をサムネイル表示（同時に表示）としたが、スライドショー表示（順次に表示）としてもよい。

【0153】

その場合、ユーザは、スライドショー表示前に画像群の一括調整を行ってもよく、スライドショー表示中に画像群の一括調整を行ってもよい。また、スライドショー表示中における複数のタイミングの各々で一括調整を行ってもよい。

【0154】

因みに、画像群をスライドショー表示させる際に、ユーザの指定した被写体を含まない画像を表示対象から外したならば、ユーザの指定した被写体の画像のみを選択的にスライドショー表示できるので、効果的である。

【0155】

［各実施形態の変形例］
なお、上述した各実施形態では、後設定可能な撮影条件として、撮影距離、絞り、視点の３つを説明したが、後設定可能な撮影条件に、「合焦面の姿勢又は形状」、すなわち「リフォーカス画像内の撮影距離の分布」を加えてもよい。

【0156】

また、第１実施形態のライトフィールドカメラ１０の機能と、第２実施形態のライトフィールドカメラ１０の機能と、第３実施形態のライトフィールドカメラ１０の機能と、第４実施形態のライトフィールドカメラ１０の機能と、第５実施形態のライトフィールドカメラ１０の機能とを併せ持ったライトフィールドカメラを構成してもよい。

【0157】

また、上述した各実施形態では、ライトフィールドカメラ１０を説明したが、撮影条件の後設定が可能な撮影画像を取得できる他のカメラ、例えば、フォーカスブラケット撮影可能なカメラ、カメラアレイなどにも本発明は適用が可能である。

【0158】

また、上述した各実施形態では、撮像機能とモニタ機能との双方を搭載した装置を説明したが、撮像機能とモニタ機能との少なくとも一方を搭載しない装置にも本発明は適用が可能である。例えば、ディジタルフォトフレーム、タブレットＰＣ、スマートフォン、デスクトップ型ＰＣ、ノートＰＣなどにも本発明は適用が可能である。

【0159】

また、コンピュータ実行可能なプログラム又はそれを記憶した記憶媒体に対して上述した何れかの実施形態の装置の少なくとも一部の機能を付与してもよい。

【0160】

［第１実施形態又は第２実施形態の作用効果］
以上、第１実施形態又は第２実施形態の画像処理装置（画像処理部１５、システム制御部１７、記録インタフェース１８）は、撮影条件（撮影距離、絞り値、視点）の後設定が可能な撮影画像（ライトフィールド画像）を読み込む読み込み手段（システム制御部１７、記録インタフェース１８）と、前記撮影画像（リフォーカス画像）をモニタへ表示する表示制御手段（システム制御部１７）と、前記モニタに対するユーザのタッチ操作と、前記タッチ操作に連続したスライド操作とからなる一連の操作に応じて、前記モニタへ表示された撮影画像（リフォーカス画像）の少なくとも２つの撮影条件を調整する調整手段（システム制御部１７、画像処理部１５）とを備える。

【0161】

したがって、前記ユーザは、前記撮影画像（リフォーカス画像）の少なくとも２つの撮影条件の調整を、ワンアクションで行うことができる。

【0162】

なお、前記タッチ操作は、前記撮影画像（リフォーカス画像）の撮影距離を調整するための操作であり、前記スライド操作は、前記撮影画像（リフォーカス画像）の絞り値を調整するための操作である。

【0163】

よって、前記ユーザは、前記撮影画像（リフォーカス画像）の撮影距離及び絞り値の調整を、ワンアクションで行うことができる。

【0164】

また、前記一連の操作は、ピンチイン操作又はピンチアウト操作である。

【0165】

よって、前記ユーザは、前記撮影画像（リフォーカス画像）の撮影距離及び絞り値の調整を、直感的に行うことができる。

【0166】

［第３実施形態又は第４実施形態の作用効果］
以上、第３実施形態又は第４実施形態の画像処理装置（画像処理部１５、システム制御部１７、記録インタフェース１）は、撮影条件（撮影距離、絞り値、視点）の後設定が可能な撮影画像（ライトフィールド画像）を読み込む読み込み手段（システム制御部１７、記録インタフェース１８）と、前記撮影画像（リフォーカス画像）をモニタへ表示する表示制御手段（システム制御部１７）と、前記撮影画像（リフォーカス画像）における所望の領域に対する撮影条件の調整指示をユーザが入力すると、前記撮影画像（リフォーカス画像）のうち前記領域のみの撮影条件を調整する調整手段（システム制御部１７、画像処理部１５）とを備える。

【0167】

したがって、前記ユーザは、前記撮影画像（リフォーカス画像）上の前記領域（指定領域）以外の領域（非指定領域）の撮影条件を維持したまま、前記指定領域の撮影条件を調整することができる。

【0168】

また、前記調整指示は、前記指定領域の撮影距離、前記指定領域の絞り値、前記指定領域の視点のうち少なくとも１つを調整するための指示である。

【0169】

よって、前記ユーザは、前記撮影画像（リフォーカス画像）上の前記領域（指定領域）以外の領域（非指定領域）の撮影距離、絞り値、視点を維持したまま、前記指定領域の撮影距離、絞り値、視点を調整することができる。

【0170】

また、前記調整手段（システム制御部１７、画像処理部１５）は、被写界深度が最大である前記撮影画像（パンフォーカス画像）を予め用意し、前記撮影画像（パンフォーカス画像）から前記指定領域に該当する部分画像（合焦部分画像）を切り出すと共に、前記撮影画像（リフォーカス画像）の前記指定領域上に前記部分画像（合焦部分画像）を重畳表示する。

【0171】

したがって、前記調整手段（画像処理部１５）の演算負荷は低く抑えられ、前記ユーザの待ち時間も短く抑えられる。このため、前記指定領域の切り換えもスムーズに行われる。

【0172】

また、前記調整手段（システム制御部１７、画像処理部１５）は、前記部分画像（合焦部分画像）の表示サイズ、絞り値、視点の少なくとも１つを必要に応じて調整する。

【0173】

したがって、前記ユーザは、必要に応じて前記指定領域を詳細に確認することができる。

【0174】

［第５実施形態の作用効果］
以上、第５実施形態の画像処理装置（画像処理部１５、システム制御部１７、記録インタフェース１８）は、撮影条件（撮影距離、絞り値、視点）の後設定が可能な撮影画像を読み込む読み込み手段（システム制御部１７、記録インタフェース１８）と、撮影タイミングの異なる複数の前記撮影画像（リフォーカス画像及びサムネイル画像）を同時又は順次にモニタへ表示する表示制御手段（システム制御部１７）と、前記複数の撮影画像（リフォーカス画像及びサムネイル画像）の中の１枚に対する撮影条件の調整指示をユーザが入力すると、前記複数の撮影画像（リフォーカス画像及びサムネイル画像）の全部の撮影条件を一括で調整する調整手段（システム制御部１７、画像処理部１５）とを備える。

【0175】

したがって、前記ユーザは、前記１枚の画像の撮影条件を調整するだけで、前記複数の撮影画像の全部の撮影条件を一括調整することができる。

【0176】

また、前記調整指示は、前記撮影画像の撮影距離を調整するための指示である。

【0177】

したがって、前記ユーザは、前記複数の撮影画像の全部の撮影距離を一括調整することができる。

【0178】

また、前記調整指示は、前記撮影画像の合焦先被写体を指定するための指示である。

【0179】

したがって、前記ユーザは、前記複数の撮影画像の全部を同じ被写体に一括して合焦させることができる。

【0180】

また、前記調整手段（システム制御部１７、画像処理部１５）は、前記複数の撮影画像の中に前記被写体を含まない撮影画像があった場合には、前記撮影画像の表示を取り止め又は抑制する。

【0181】

したがって、前記ユーザは、前記被写体を含む撮影画像と前記被写体を含まない撮影画像とを簡単に区別することができる。

【0182】

また、前記表示制御手段は、複数の前記撮影画像をサムネイル表示すると共に、前記調整の内容を前記サムネイル表示に反映させる。

【0183】

したがって、前記ユーザは、複数の前記撮影画像及び前記調整の内容を一覧することができる。

【0184】

前記表示制御手段は、複数の前記撮影画像をスライドショー表示すると共に、前記調整の内容を前記スライドショー表示に反映させる。

【0185】

したがって、前記ユーザは、複数の前記撮影画像及び前記調整の内容を順次に確認することができる。

【符号の説明】

【0186】

１１…撮像部、１５…画像処理部、１６…カメラ制御部、１７…システム制御部、１８…記録インタフェース、１９…表示部、２０…操作部材、１２…撮影レンズ、１３…マイクロレンズアレイ、１４…撮像素子、１０…カードメモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】