特許 6626257 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6626257

(24)【登録日】2019年12月6日

(45)【発行日】2019年12月25日

(54)【発明の名称】画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体

(51)【国際特許分類】

   H04N 5/225 20060101AFI20191216BHJP

   H04N 5/232 20060101ALI20191216BHJP

   H04N 5/93 20060101ALI20191216BHJP

   G03B 15/00 20060101ALI20191216BHJP

【ＦＩ】

   H04N5/225 410

   H04N5/232 930

   H04N5/93

   G03B15/00 B

【請求項の数】11

【全頁数】14

(21)【出願番号】特願2015-41775(P2015-41775)

(22)【出願日】2015年3月3日

(65)【公開番号】特開2016-163235(P2016-163235A)

(43)【公開日】2016年9月5日

【審査請求日】2018年2月5日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】上田 瞳

【審査官】 村山 絢子

(56)【参考文献】

【文献】 特開２０１４−１５０５０６（ＪＰ，Ａ）

【文献】 特開２００４−１２０１６５（ＪＰ，Ａ）

【文献】 特開２００８−１２４９６３（ＪＰ，Ａ）

【文献】 特開２０１４−２２０５９８（ＪＰ，Ａ）

【文献】 特開２０１４−３４０４（ＪＰ，Ａ）

【文献】 特開２００６−９４２８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ５／７６−５／９５６

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

Ｈ０４Ｎ ７／１８

Ｇ０３Ｂ １５／００−１５／１６

(57)【特許請求の範囲】

【請求項1】

光線空間に対応する情報を含むライトフィールドデータを含んだ第１の画像ファイルと、前記ライトフィールドデータを含まない第２の画像ファイルとを取得する取得手段と、
前記第１の画像ファイルに含まれる第１の画像データと、前記第２の画像ファイルに含まれる第２の画像データとを共に表示手段に表示する表示制御手段と、を有し、
前記表示制御手段は、前記取得手段により取得された複数の画像ファイル内のデータに所定の複数の画像データが含まれるかをそれぞれ判定することで、前記複数の画像ファイルのそれぞれが前記ライトフィールドデータを含む前記第１の画像ファイルであるか否かを判定し、判定結果に基づいて前記第１の画像データと前記第２の画像データとを異なる表示形態で前記表示手段に表示させることを特徴とする画像表示装置。

【請求項2】

前記表示制御手段は、前記取得手段により取得された画像ファイルが前記所定の複数の画像データとしての複数のＲＡＷ形式の視点画像データを有するか否かを判定することで、前記第１の画像ファイルであるか否かを判定することを特徴とする請求項１に記載の画像表示装置。

【請求項3】

前記ライトフィールドデータから視点が異なる複数の画像を生成する生成手段をさらに備え、前記表示制御手段は、前記視点が異なる複数の画像を前記表示手段に交代して表示させることにより、前記画像ファイルが再構成可能な画像ファイルであることをユーザに報知することを特徴とする請求項１に記載の画像表示装置。

【請求項4】

前記第１の画像ファイルは、異なる視差を有する複数の画像データと、該異なる視差を有する複数の画像データを合成した合成画像データとを含むことを特徴とする請求項１に記載の画像表示装置。

【請求項5】

前記第１の画像ファイルは、異なる視差を有する複数の画像データのうちの１つの画像データと、前記異なる視差を有する複数の画像データを合成した合成画像データとを含むことを特徴とする請求項１に記載の画像表示装置。

【請求項6】

前記第１の画像ファイルを、逆変換可能な画像ファイルとして記憶する記憶手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像表示装置。

【請求項7】

前記取得手段は、１つのマイクロレンズにつき複数の光電変換素子を有する単位画素が行列状に配置された撮像素子を含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像表示装置。

【請求項8】

請求項１乃至７のいずれか１項に記載の画像表示装置と、
１つのマイクロレンズにつき複数の光電変換素子を有する単位画素が行列状に配置された撮像素子と、
を備えることを特徴とする撮像装置。

【請求項9】

光線空間に対応する情報を含むライトフィールドデータを含んだ第１の画像ファイルと、前記ライトフィールドデータを含まない第２の画像ファイルとを取得する取得工程と、
前記第１の画像ファイルに含まれる第１の画像データと、前記第２の画像ファイルに含まれる第２の画像データとを共に表示手段に表示する表示制御工程と、を有し、
前記表示制御工程では、前記取得工程において取得された複数の画像ファイル内のデータに所定の複数の画像データが含まれるかをそれぞれ判定することで、前記複数の画像ファイルのそれぞれが前記ライトフィールドデータを含む前記第１の画像ファイルであるか否かを判定し、判定結果に基づいて前記第１の画像データと前記第２の画像データとを異なる表示形態で前記表示手段に表示させることを特徴とする画像表示方法。

【請求項10】

請求項９に記載の画像表示方法の各工程をコンピュータに実行させるためのプログラム。

【請求項11】

請求項９に記載の画像表示方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、再構成可能な画像データを表示する技術に関するものである。

【背景技術】

【0002】

これまで、カメラのピント調整を誤って撮像した場合は、ピント調整をやり直して再撮像する必要があった。また、奥行きの異なる複数の被写体に対してそれぞれにピントが合った画像を得たい場合には、被写体毎にピントを合わせた撮像を複数回行い、それらにより得られた複数枚の画像を合成する必要があった。しかし、近年、光学系に新たな光学素子を追加することで多視点からの画像を取得し、後で画像処理によってピント位置を調節すること（リフォーカス）が可能なライトフィールドフォトグラフィという技術が発展してきている。

【0003】

この技術を用いれば、撮像後にピント調整を行えるため、撮像時のピント調整の失敗を画像処理で補うことができるという利点がある。さらに、画像処理方法を変えることで画像中の任意の被写体にピントを合わせた複数の画像を一枚の撮像画像から得ることができ、撮像回数を減らすことができるという利点もある。
ライトフィールドフォトグラフィでは、複数視点の撮像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド）を計算する。そして、得られたライトフィールドの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定することで、前述したリフォーカスも可能となる。

【0004】

ライトフィールドを取得するための撮像装置としてはメインレンズの後ろにマイクロレンズアレイを置いたＰｌｅｎｏｐｔｉｃ Ｃａｍｅｒａや、小型のカメラを並べたカメラアレイが知られている。いずれも被写体を異なる方向から撮像した複数視点の画像データを一回の撮像で得ることができる。すなわち、ライトフィールドフォトグラフィとは、複数視点の画像データから仮想の光学条件下での仮想センサの取得する画像を計算することと言い換えることもできる。なお、以下では、この仮想のセンサが取得する画像を計算する処理を「再構成処理」と呼び、「再構成処理」でも特にピントの位置を変更する処理を「リフォーカス処理」と呼ぶこととする。リフォーカス処理としては、取得した複数視点の画像データを仮想センサ上に射影変換し加算して平均化する方法が知られている（特許文献１参照）。
ピント位置を変更しながらリフォーカス処理された画像（以下、リフォーカス画像）を表示する方法としては、例えば、特許文献１や特許文献２に開示された方法がある。特許文献１の方法では、リフォーカス画像が表示される画面において、被写体がピント位置の調整が可能な範囲に含まれているか否かをユーザーに示す方法が開示されている。また、特許文献２の方法では、リフォーカス画像が表示される画面において、ピント位置を合わせたい被写体を、その画面を通じてユーザーが指示し、同被写体にピント位置が調整されたリフォーカス画像を表示する方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１４−１５８２５８号公報

【特許文献2】米国特許公開第２００８／０１３１０１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述の特許文献１及び２に開示された従来技術では、ピントを合わせたい被写体を指示しないとその被写体がリフォーカス可能な被写体かどうかが分からない。カメラ内で画像を表示する際には、リフォーカス不可能な静止画、リフォーカス可能な静止画、動画、その他のデータ等様々なデータがある。そして、特にリフォーカス可能な静止画、リフォーカス不可能な静止画については、同様に静止画として表示されるため区別がつかない。

【0007】

本発明は上述した課題に鑑みてなされたものであり、その目的は、画像を再構成可能な画像ファイルから表示用画像データを生成する場合に、その画像ファイルが再構成可能なファイルであることを分かりやすく表示できるようにすることである。

【課題を解決するための手段】

【0008】

本発明に係わる画像表示装置は、光線空間に対応する情報を含むライトフィールドデータを含んだ第１の画像ファイルと、前記ライトフィールドデータを含まない第２の画像ファイルとを取得する取得手段と、前記第１の画像ファイルに含まれる第１の画像データと、前記第２の画像ファイルに含まれる第２の画像データとを共に表示手段に表示する表示制御手段と、を有し、前記表示制御手段は、前記取得手段により取得された複数の画像ファイル内のデータに所定の複数の画像データが含まれるかをそれぞれ判定することで、前記複数の画像ファイルのそれぞれが前記ライトフィールドデータを含む前記第１の画像ファイルであるか否かを判定し、判定結果に基づいて前記第１の画像データと前記第２の画像データとを異なる表示形態で前記表示手段に表示させることを特徴とする。

【発明の効果】

【0009】

本発明によれば、画像を再構成可能な画像ファイルから表示用画像データを生成する場合に、その画像ファイルが再構成可能なファイルであることを分かりやすく表示することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の画像表示装置の実施形態であるデジタルカメラのブロック図。

【図2】撮像素子の画素アレイを概略的に示す図。

【図3】一般的なＤＣＦ画像ファイルの構造を示した図。

【図4】本発明の実施形態が対象とする画像ファイル構造を模式的に示す図。

【図5】第１の実施形態における画像ファイルの再生処理のフローチャート。

【図6】画像ファイルデータの表示形態を示す図。

【図7】第１の実施形態におけるリフォーカス表示処理を示すフローチャート。

【図8】第１の実施形態における表示方法について示す図。

【図9】第２の実施形態におけるリフォーカス表示処理を示すフローチャート。

【図10】第２の実施形態における表示方法について示す図。

【図11】第３の実施形態におけるリフォーカス表示処理を示すフローチャート。

【図12】第３の実施形態における表示方法について示す図。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。まず、図１乃至図４を参照して、本発明の各実施形態に共通する構成について説明する。

【0012】

図１は、本発明の画像表示装置の実施形態であるデジタルカメラ１００（撮像装置）の構成を示すブロック図である。図１において、１０１は被写体の光学像を撮像素子１０５に結像させるレンズ部で、レンズ駆動装置１０２によってズーム制御、フォーカス制御、絞り制御などが行われる。１０３はメカニカルシャッタでシャッタ駆動装置１０４によって駆動される。１０５はレンズ部１０１で結像された被写体像を光電変換して画像信号として取り込むための撮像素子、１０６は撮像素子１０５から出力される画像信号に各種の補正、所定の画素補間処理や色変換処理を行う撮像信号処理回路である。

【0013】

１０７は撮像素子１０５、撮像信号処理回路１０６に、各種タイミング信号を出力するタイミング発生回路、１０９は各種演算と撮像装置全体を制御する全体制御・演算部である。１０８は画像情報を表示するためのデータを保存するメモリであると共に画像データを一時的に記憶するためのメモリ、１１０は記録媒体に記録または読み出しを行うための記録媒体制御インターフェース部（Ｉ／Ｆ部）である。１１１は画像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記録媒体、１１２はユーザがデジタルカメラに対して操作を行うための外部インターフェース部（外部Ｉ／Ｆ部）である。

【0014】

１１５は記憶した画像データを所定の画像圧縮方法（例えば、適応離散コサイン変換（ＡＤＣＴ）等）に従って例えばＪＰＥＧデータに圧縮し、圧縮された画像データをメモリ部１０８に書き込む機能、及びメモリ部１０８から読み出した画像データを伸長し、伸長した画像データをメモリ部１０８に書き込む機能を有する圧縮伸長回路である。

【0015】

１１６は各種情報や撮影画像を表示する表示部で、１１７は表示部１１６を制御するための表示制御回路である。表示制御回路１１７では、後述する平面画像として画像データを表示するための表示制御や、立体画像として画像データを表示するための表示制御を行う。１１３は画像合成回路であり、後述する撮像素子が生成する左目用画像の信号と右目用画像の信号を合成する。１１４は視差マップ生成回路であり、左目用画像と右目用画像を用いて、視差マップを生成する。

【0016】

図２は、撮像素子１０５の画素の配置を示す図である。ここでは、説明を分かりやすくするために、縦４画素×横８画素の範囲を抜き出して示しているが、実際の撮像素子は、もっと多数の画素が同様の行列状に配置されて構成されている。図２に示すように、撮像素子１０５の各単位画素（例えば２０１〜２０４…）には、１つのマイクロレンズとそれぞれ２つの光電変換素子であるフォトダイオード（２０１Ｌ，２０１Ｒ〜２０４Ｌ，２０４Ｒ…）が配置されている。そして、それぞれの単位画素において、視点の異なる画像信号を取得できるように構成されている。即ち、図２に示す撮像素子１０５は、ライトフィールドデータを取得することができる。

【0017】

次に、上記のように構成される撮像装置における撮影時の動作について説明する。外部Ｉ／Ｆ部１１２にある図示しないレリーズボタンが押されると、撮像素子からのデータを元に焦点検出演算を行い、焦点検出結果に基づいて被写体のデフォーカス量を全体制御・演算部１０９で演算する。その後、レンズ駆動装置１０２によりレンズ部を駆動して合焦か否かを判断し、合焦していないと判断した場合は、再びレンズ部を駆動し焦点検出を行う。焦点検出演算は、撮像素子からのデータで求める以外にも、図示しない焦点検出の専用装置で行ってもよい。そして、合焦が確認された後に撮影動作が開始される。撮影動作が終了すると、撮像素子１０５から出力された画像信号は撮像信号処理回路１０６で画像処理され、全体制御・演算部１０９によりメモリ部１０８に書き込まれる。

【0018】

撮像素子１０５からは、フォトダイオード（ＰＤ）からの全ての画像信号が出力される。図２を例とすると、例えば、２０１Ｌ、２０１Ｒ、２０２Ｌ、２０２Ｒ、２０３Ｌ、２０３Ｒ、２０４Ｌ、２０４Ｒ、…とＰＤからの画像信号が順番に、そして全てのＰＤの画像信号が出力される。撮像信号処理回路１０６では、撮像素子１０５から読み出された画像データを左目用画像データと右目用画像データに分けて画像処理を行う。左目用画像とは図２における２０１Ｌ、２０２Ｌ、２０３Ｌ、２０４Ｌ、…という左ＰＤの出力のみを選択的に処理した画像となる。また、右目用画像は、図２における２０１Ｒ、２０２Ｒ、２０３Ｒ、２０４Ｒ、…という右ＰＤの出力のみを選択的に処理した画像となる。左目用画像も右目用画像も別々にメモリ部１０８に保持される。

【0019】

メモリ部１０８に蓄積された左目用画像と右目用画像は、画像合成回路１１３により、合成画像（主画像）が生成される。生成された合成画像と左目用画像又は右目用画像はメモリ部１０８に蓄積される。画像合成回路１１３によって実行される画像処理は左目用画像と右目用画像の画素毎の加算平均値を求める処理である。撮像素子１０５から読み出された画像データが、左目用画像と右目用画像とで被写体の形状が異なっていても、画像合成回路による処理によって、被写体の形状が補間されて、正しい形状の画像データが生成される。

【0020】

次に、視差マップ生成回路１１４では視差マップが生成され、求められた視差マップはメモリ部１０８に蓄積される。視差マップ生成回路１１４では、左目用画像と右目用画像を用いて、視差マップを生成し、視差量を求める。左目用画像（２０１Ｌ）と右目用画像（２０１Ｒ）に含まれる被写体を検知し、被写体のシフト量を求めることで、視差量を検出することが可能となる。メモリ部１０８には、左目用画像データ、右目用画像データ、画像合成回路１１３によって生成された合成画像データ、視差マップ生成回路１１４によって生成された視差マップが蓄積される。

【0021】

全体制御・演算部１０９の制御により記録媒体制御Ｉ／Ｆ部１１０を通り、合成画像データと右目用画像データもしくは左目用画像データが半導体メモリ等の着脱可能な記録媒体１１１に記録される。また、外部Ｉ／Ｆ部１１２を通り直接コンピュータ等に入力して画像の加工を行ってもよい。

【0022】

図３は一般的なＤＣＦ画像ファイルの構造を示した図である。ＤＣＦ画像ファイル３００は現在最も多くのデジタルカメラで出力可能であり、ＤＣＦヘッダ部３０１、サムネイル画像部３０２、ＪＰＥＧ画像部３０３で構成されている。ＤＣＦヘッダ部３０１はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報にはＪＰＥＧ画像部３０３に格納されている画像データに関する撮影情報やパラメータなどのメタ情報Ａ（３０４）が含まれると共に、サムネイル画像までのオフセット値Ｂ（３０５）、ＪＰＥＧ画像までのオフセットＣ（３０６）が含まれる。このオフセット値Ｂ、Ｃにより各画像データの開始位置が特定されることになる。サムネイル画像部３０２は、表示部１１６に複数枚の画像のインデックス表示を行う際などに使用するために、ＪＰＥＧ画像部３０３に格納されているＪＰＥＧ画像などを間引いてリサイズしたサムネイル画像を格納する領域である。ＪＰＥＧ画像部３０３は、撮像信号処理回路１０６で画像処理した後、圧縮伸張回路１１５で圧縮して得られたＪＰＥＧ画像を格納する領域であり、一般の多くのアプリケーションで扱うことが可能なデータである。

【0023】

図４に本実施形態に対応する左目用画像データ、右目用画像データ（光線空間に対応する情報を含む再構成可能な画像データ）を含むＤＣＦ画像ファイルを生成した場合の左右目用画像立体画像ファイルの構造の一例を示す。左右目用画像立体画像ファイル４００のＤＣＦ画像データ部４０１は、ＤＣＦヘッダ部４０３、合成サムネイル画像部４０４、合成ＪＰＥＧ画像部４０５で構成されている。ＤＣＦヘッダ部４０３はＤＣＦヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、合成ＪＰＥＧ画像部４０５に格納される画像データに関連する撮影情報やパラメータなどのメタデータＡ（４０８）が含まれると共に、合成（主画像）サムネイル画像部までのオフセットＢ（４０９）、合成（主画像）ＪＰＥＧ画像部までのオフセットＣ（４１０）、及び主画像部（ＲＡＷ)までのオフセットＤ（４１１）、右目用画像部（ＲＡＷ)までのオフセットＥ（４１２）が含まれる。このオフセット値Ｂ、Ｃ、Ｄ、Ｅにより各画像データの開始位置が特定されることになる。合成サムネイル画像部４０４は、画像表示部４１２に複数枚の画像のインデックス表示を行う際などに利用するために、合成ＪＰＥＧ画像部４０５に格納されている合成ＪＰＥＧ画像などを間引いてリサイズした合成サムネイル画像を格納する領域である。合成ＪＰＥＧ画像部４０５は、撮像素子１０５からの画像データを撮像信号処理回路１０６で処理した後、圧縮伸張部１１５で圧縮して得た合成ＪＰＥＧ画像を格納する領域である。この画像データは一般の多くのアプリケーションで扱うことが可能なデータであり、本実施形態においては、右目用画像と左目用画像を画像合成回路１１３によって合成したＪＰＥＧ画像が格納される。左右の画像を合成することで合成ＪＰＥＧ画像４０５は平面画像として正常に再生できる画像になる。合成ＲＡＷ画像部４０６は、右目用画像と左目用画像を画像合成回路１１３によって合成したＲＡＷ画像が格納される。右目ＲＡＷ画像部は、右目用画像のＲＡＷデータが格納される。本実施形態では、この合成ＲＡＷ画像データと右目ＲＡＷ画像データとから左目ＲＡＷ画像データをメタデータを用いて作成することを可能とする。合成画像、右目用画像、左目用画像すべてのデータを保存するのではなく、合成画像データと右目用画像データ（または左目用画像データ）をＲＡＷ形式（逆変換可能な形式）で保存することで後の加工が容易になり利便性が向上する。

【0024】

（第１の実施形態）
以下、上記のように構成される撮像装置における画像ファイルの再生処理について、図５を参照して説明する。

【0025】

ステップＳ５０１では、外部Ｉ／Ｆ部１１２にある図示しない画像再生ボタンが押され、画像再生開始が指示されたか否かを判断する。画像再生開始が指示されなかったならばそのままこの処理を終了する。画像再生開始が指示されたならば、ステップＳ５０２で記録媒体１１１内に表示可能な画像ファイルがあるかどうかの判断を行う。もし、表示可能な画像ファイルがあると判断されたならば、ステップＳ５０３で記録媒体１１１から、記録媒体制御Ｉ／Ｆ部１１０を介して、画像ファイルをメモリ部１０８に読み出す、画像ファイル読み込み処理を行う。次にステップＳ５０４で拡張子の解析を行い、ステップＳ５０５で動画データか静止画データかの判断を行う。もし、動画データではないと判断されたらステップＳ５０６に進む。

【0026】

ステップＳ５０６では、ステップＳ５０３でメモリ部１０８に読み込んだデータの解析を行う、画像ファイル解析処理を行う。このファイル解析処理では、図４で説明したＤＣＦ画像ファイル構造を解析することで、それぞれの画像データにアクセスを可能にする。次に、ステップＳ５０７では、ステップＳ５０６で解析した結果から、画像ファイルが後で画像処理によりピントの位置を変更できるリフォーカス可能な画像ファイルであるか否かの判断を行う。ここで、リフォーカス可能な画像ファイルの判断とは、複数の視点用の画像、それらの合成画像を用意することが出来る画像ファイルかの判断を行うことである。そして、本実施形態では図４で説明した合成画像データと右目用画像データが記録された画像ファイル構造で記録されたリフォーカス画像であることを判断する。ここで、リフォーカス可能な画像と判断されたならばステップＳ５０８に進む。

【0027】

ステップＳ５０８では、リフォーカス可能な画像データから、図７を用いて後述するようなリフォーカス用の再生処理を行う。そして、ステップＳ５１０に進み、ステップＳ５０５で動画ファイルと判断された画像データやステップＳ５０７でリフォーカス不可能画像と判断された画像データの表示データと共に表示処理を行う。なお、ステップＳ５０５で動画像データと判断された場合は、ステップＳ５０９に進み、動画像から表示用の画像を作成し、ステップＳ５１０に進む。

【0028】

ステップＳ５１１では、次のファイルがあると判断された場合には、ステップＳ５０２に戻り再生処理を続ける。ステップＳ５１１で次のファイルがないと判断された場合には表示処理を終了する。

【0029】

本実施形態においては、上記のような画像ファイルの再生処理を行うことにより、リフォーカスに対応した画像ファイルを他のファイルと区別して再生処理し、ユーザにリフォーカス可能な画像ファイルである旨を報知することが可能となる。

【0030】

次に、図６を用いて再生の形態について説明する。表示形態６０１は、表示部１１６に複数枚の画像を同時に表示する形態を示している。この場合、図４で示すリフォーカス可能な画像データ、リフォーカス不可能な画像データ、動画データが同じ大きさで表示され、インデックス表示される。表示形態６０２は、画像データのみの再生を行う場合の形態を示している。表示形態６０３は、画像の情報を画像データと共に再生する形態を示している。

【0031】

次に、図６で示すような表示形態においてリフォーカス画像を表示する処理について、図５のステップＳ５０８の詳細を示す図７を参照して説明する。まず、ステップＳ７０１では、表示したい画像がリフォーカス可能な画像データかどうかを判断する。リフォーカス可能な画像データであった場合には、ステップＳ７０２に進む。リフォーカス可能な画像データでなければ、この処理を終了する。

【0032】

ステップＳ７０２では、画像ファイルの解析を行い、ステップＳ７０３において、表示形態を選択する。解析したリフォーカス可能な画像データについて、インデックス表示と判断した場合（６０１の表示形態の場合）、ステップＳ７０５に進み、図４に示す画像データ構造の中の合成サムネイル画像部４０４からデータを取得する。インデックス表示ではないと判断した場合（６０２、および６０３の表示形態の場合）には、ステップＳ７０４に進み、合成ＪＰＥＧ画像部４０５からデータを取得する。

【0033】

ステップＳ７０６では、ステップＳ７０４またはステップＳ７０５で取得した画像データから表示データを作成する表示データ作成処理を行う。この表示データ作成処理は、圧縮伸張回路１１５で伸張したデータを表示制御回路１１７により表示部１１６に表示するためのデータ作成処理である。なお、ステップＳ７０６では、作成した表示データを表示部１１６に表示する処理も行う。

【0034】

次に、ステップＳ７０７において、メモリ部１０８に保存されているリフォーカス用表示情報を取得する。リフォーカス用表示情報とは、その画像データがリフォーカス可能なデータであるか否かを示すために表示する情報である。次に、ステップＳ７０６において表示された画像データと共にリフォーカス用表示情報を表示してリフォーカス可能な画像データであることを示す。図８は、画像データとともにリフォーカス用表示情報を示した例を示している。

【0035】

以上説明したように、この第１の実施形態では、リフォーカス可能な画像データの合成データとカメラ内に保存したリフォーカスデータであることを示す情報の表示により、リフォーカス可能な画像データであることをユーザーに示すことが可能となる。

【0036】

なお、上記の実施形態では、図２に示す撮像素子から得られた左目用画像データと右目用画像データを用いてリフォーカス処理を行う場合について説明した。しかし、これらの左目用画像データと右目用画像データは視差を有するデータであることから、これらを用いて例えば、左眼用画像データと右目用画像データの合成比率を制御して左目から右目までの視点の異なる画像を生成することができる。また、公知の技術によって立体画像を生成、表示することもできる。これらの処理やリフォーカス処理を合わせて再構成処理と称する場合もある。そのため、図７のステップＳ７０９においては、画像データとともに再構成可能な画像データであることを表示してもよい。すなわち、表示の際に視点を順に異ならせた画像データを順次表示していったり、３Ｄ画像を表示することなどが考えられる。

【0037】

（第２の実施形態）
次に、図９、図１０を用いて、図５のステップＳ５０８におけるリフォーカス用表示処理の第２の実施形態について説明する。

【0038】

まず、ステップＳ９０１では、表示したい画像がリフォーカス可能な画像データであるかどうかを判断する。リフォーカス可能な画像データであった場合には、ステップＳ９０２に進む。リフォーカス可能な画像データでなければこの処理を終了する。

【0039】

ステップＳ９０２では、データ解析を行い、リフォーカス可能な画像データから図４に示す画像データ構造内の合成ＲＡＷ画像データと右目ＲＡＷ画像データを取り出す。ステップＳ９０３において画像合成回路１１３が備える画像分解機能により、合成ＲＡＷ画像データから右目ＲＡＷ画像データを抜き出し、左目ＲＡＷ画像データを生成する。次に、ステップＳ９０４、Ｓ９０５において、圧縮伸張回路１１５によって右目ＲＡＷ画像データと左目ＲＡＷ画像データから表示用の右目ＪＰＥＧ画像データと左目ＪＰＥＧ画像データを生成する。

【0040】

ステップＳ９０７〜Ｓ９１０のＬＯＯＰ動作において、右目ＪＰＥＧ画像と左目ＪＰＥＧ画像を、表示制御回路１１７を介して表示部１１６に交互に再生させる。具体的には、ステップＳ９０７において右目用画像データ（図１０の１００２）を表示部１１６に表示させる。その後、一定時間経過後ステップＳ９０８において表示の切り替え動作を行い、ステップＳ９０９において左目用画像データ（図１０の１００１）を表示部１１６に表示させる。ステップＳ９１０で連続再生を終了するか否かの判断を行い、継続する場合には、ステップＳ９０７に戻り、再び右目用画像データを表示して再生を継続する。図６に示すリフォーカス画像のそれぞれの表示形態において、図１０に示すように右目用画像データ（１００２）と左目用画像データ（１００１）を交互に表示させる。これにより、表示されているデータがリフォーカス可能な画像データであることをユーザに示すことが可能となるとともに、リフォーカスが可能な被写体距離の範囲も同時に示すことが可能となる。

【0041】

以上説明したように、本実施形態のリフォーカス用表示処理では、それぞれの片目の画像データを再生することにより、両目の視差画像を交互に再生してリフォーカス可能な画像データであることをユーザに示すことが可能となる。また、リフォーカスが可能な被写体距離の範囲も同時に示すことが可能となる。

【0042】

なお、本実施形態においても、図２に示す撮像素子から得られた左目用画像データと右目用画像データを用いてリフォーカス処理を行う場合について説明した。しかし、これらの左目用画像データと右目用画像データは視差を有するデータであることから、これらを用いて視点の異なる画像や立体画像を生成することもできる。そのため、図９のステップＳ９０７〜Ｓ９１０においては、視点の異なる画像や、立体画像を交互に表示するようにしてもよい。

【0043】

（第３の実施形態）
次に、図１１、図１２を用いて、図５のステップＳ５０８におけるリフォーカス用表示処理の第３の実施形態について説明する。

【0044】

まず、ステップＳ１１０１では、表示したい画像がリフォーカス可能な画像データであるかどうかを判断する。リフォーカス可能な画像データであった場合には、ステップＳ１１０２に進む。リフォーカス可能な画像データでなければこの処理を終了する。

【0045】

ステップＳ１１０２では、データ解析を行いリフォーカス可能な画像データから図４に示す画像データ構造内の合成ＲＡＷ画像データと右目ＲＡＷ画像データを取り出す。ステップＳ１１０３において画像合成回路１１３が備える画像分解機能により、合成ＲＡＷ画像データから右目ＲＡＷ画像データを抜き出し、左目ＲＡＷ画像データを生成する。次に、ステップＳ１１０４、Ｓ１１０５において、圧縮伸張回路１１５によって右目ＲＡＷ画像データと左目ＲＡＷ画像データから表示用の右目ＪＰＥＧ画像データと左目ＪＰＥＧ画像データを生成する。ステップＳ１１０６において、図４に示す画像データ構造内の合成ＪＰＥＧ画像データを取得する。これで表示したいデータが揃う。

【0046】

ステップＳ１１０８〜Ｓ１１１３のＬＯＯＰ動作において、右目ＪＰＥＧ画像（図１２の１２０３）、合成ＪＰＥＧ画像データ（図１２の１２０２）、左目ＪＰＥＧ画像データ（図１２の１２０１）を、表示制御回路１１７を介して表示部１１６に連続で切り替えて再生させる。具体的には、ステップＳ１１０８において右目用画像データを表示部１１６に表示させる。その後、一定時間経過後ステップＳ１１０９において表示の切り替え動作を行い、ステップＳ１１１０において合成画像データを表示部１１６に表示させる。さらに、一定時間経過後ステップＳ１１１１において表示の切り替えを行い、ステップＳ１１１２において左目用画像データを表示部１１６に表示する。

【0047】

ステップＳ１１１３で連続再生を終了するか否かの判断を行い、継続する場合には、ステップＳ１１０８に戻り、再び右目用画像データを表示して再生を継続する。図６に示すリフォーカス画像のそれぞれの表示形態において、図１２に示すように右目用画像データ１２０３、左目用画像データ１２０１、合成画像データ１２０２を交代して表示させる。これにより、表示されているデータがリフォーカス可能な画像データであることをユーザに示すことが可能となるとともに、リフォーカスが可能な被写体距離の範囲も同時に示すことが可能となる。

【0048】

以上説明したように、本実施形態のリフォーカス用表示処理では、リフォーカス可能な画像データの合成データとそれぞれの片目画像データを交互に再生することにより、両目の視差画像と合成された画像を交互に再生してリフォーカス可能な画像データであることをユーザに示すことが可能となる。また、リフォーカスが可能な被写体距離の範囲も同時に示すことが可能となる。

【0049】

なお、本実施形態においても、図２に示す撮像素子から得られた左目用画像データと右目用画像データを用いてリフォーカス処理を行う場合について説明した。しかし、これらの左目用画像データと右目用画像データは視差を有するデータであることから、これらを用いて視点の異なる画像や立体画像を生成することもできる。そのため、図１１のステップＳ１１０８〜Ｓ１１１３においては、視点の異なる画像や、立体画像を交互に表示するようにしてもよい。

【0050】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0051】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0052】

１０１：レンズ部、１０２：レンズ駆動装置、１０３：シャッタ、１０４：シャッタ駆動回路、１０５：撮像素子、１０６：撮像信号処理回路、１０９：全体制御・演算部、１１３：画像合成回路、１１４：視差マップ生成回路、１１６：表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】