(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023184677
(43)【公開日】2023-12-28
(54)【発明の名称】電子機器
(51)【国際特許分類】
H04N 23/63 20230101AFI20231221BHJP
H04N 23/957 20230101ALI20231221BHJP
H04N 23/67 20230101ALI20231221BHJP
【FI】
H04N23/63 300
H04N23/957
H04N23/67
【審査請求】有
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2023190719
(22)【出願日】2023-11-08
(62)【分割の表示】P 2022171047の分割
【原出願日】2016-12-26
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】伊藤 安軌
(57)【要約】
【課題】一連のリフォーカス画像の各々の合焦位置と再生位置との関係を明確にすること。
【解決手段】電子機器は、合焦位置が変更可能な動画を表示画面の第1表示領域に再生する再生部と、前記動画を構成する画像の合焦位置と再生位置との関係を示す情報を前記表示画面の第2表示領域に表示させる表示制御部と、前記第2表示領域に表示される前記関係を示す情報のうちの一部と、前記第1表示領域に対する操作により前記第1表示領域に表示されている前記動画の被写体と、の指定を受付ける指定部と、前記指定部が受け付けた指定結果に基づいて前記動画を編集する編集部と、を備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
合焦位置が変更可能な動画を表示画面の第1表示領域に再生する再生部と、
前記動画を構成する画像の合焦位置と再生位置との関係を示す情報を前記表示画面の第2表示領域に表示させる表示制御部と、
前記第2表示領域に表示される前記関係を示す情報のうちの一部と、前記第1表示領域に対する操作により前記第1表示領域に表示されている前記動画の被写体と、の指定を受付ける指定部と、
前記指定部が受け付けた指定結果に基づいて前記動画を編集する編集部と、
を備える電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器およびプログラムに関する。
【背景技術】
【0002】
従来、画像の合焦位置を変更したリフォーカス画像を生成する撮像装置が開示されている(たとえば、下記特許文献1を参照)。この従来技術では、一連のリフォーカス画像の各々の合焦位置と、一連のリフォーカス画像を再生した再生位置との関係が不明である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
本願において開示される発明の一側面となる電子機器は、合焦位置が変更可能な動画を表示画面の第1表示領域に再生する再生部と、前記動画を構成する画像の合焦位置と再生位置との関係を示す情報を前記表示画面の第2表示領域に表示させる表示制御部と、前記第2表示領域に表示される前記関係を示す情報のうちの一部と、前記第1表示領域に対する操作により前記第1表示領域に表示されている前記動画の被写体と、の指定を受付ける指定部と、前記指定部が受け付けた指定結果に基づいて前記動画を編集する編集部と、を備える。また、本願において開示される発明の他の側面となる電子機器は、合焦位置が変更可能な動画を表示画面に再生する再生部と、前記再生部によって再生される動画を第1表示領域に表示させ、前記動画を構成する画像の合焦位置と再生位置との関係を示す情報を前記第1領域と異なる第2領域に表示させ、前記動画の合焦位置を調整するスライダを前記第1領域の動画に表示させる表示制御部と、を備える。
【図面の簡単な説明】
【0005】
【
図1】
図1は、リフォーカス動画像の表示画面の一例を示す説明図である。
【
図2】
図2は、リフォーカス動画像の表示画面での操作例を示す説明図である。
【
図3】
図3は、線グラフの線幅の変更例を示す説明図である。
【
図4】
図4は、再生装置の構成例を示すブロック図である。
【
図5】
図5は、マイクロレンズアレイと撮像素子との関係を示す説明図である。
【
図6】
図6は、視差画像の一例を示す説明図である。
【
図7】
図7は、リフォーカス画像の生成例を示す説明図である。
【
図8】
図8は、再生装置によるリフォーカス動画像の記録処理手順例を示すフローチャートである。
【
図9】
図9は、リフォーカス動画像の間引き処理手順例を示すフローチャート1である。
【
図10】
図10は、リフォーカス動画像の間引き処理手順例を示すフローチャート2である。
【
図11】
図11は、表示制御部による第2表示領域に表示された線グラフの変更例1を示す説明図である。
【
図12】
図12は、表示制御部による第2表示領域に表示された線グラフの変更例2を示す説明図である。
【
図13】
図13は、表示制御部による第2表示領域に表示された線グラフの変更例3を示す説明図である。
【
図14】
図14は、表示制御部による第2表示領域に表示された線グラフの変更例4を示す説明図である。
【
図15】
図15は、表示制御部による第2表示領域に表示された線グラフの変更例5を示す説明図である。
【
図16】
図16は、表示制御部による第2表示領域に表示された線グラフの変更例6を示す説明図である。
【
図17】
図17は、リフォーカス画像の再合成処理手順例を示すフローチャートである。
【
図18】
図18は、被写界深度の更新後におけるリフォーカス画像の再合成例を示す説明図である。
【
図19】
図19は、他のデバイスでの表示例を示す説明図である。
【
図21】
図21は、1フレーム切り出しの表示例を示す説明図である。
【
図22】
図22は、1フレーム切り出し処理手順例を示すフローチャートである。
【
図23】
図23は、描画線グラフからのリフォーカス動画像の生成処理手順例を示すフローチャートである。
【
図24】
図24は、動画ファイルでのサムネイル表示例を示す説明図である。
【
図25】
図25は、サムネイル画像表示処理手順例を示すフローチャートである。
【発明を実施するための形態】
【0006】
<リフォーカス動画像における一連のフレームの合焦位置と再生位置との関係>
図1~
図3を用いて、リフォーカス動画像における一連のフレームの合焦位置と再生位置との関係について説明する。
【0007】
図1は、リフォーカス動画像の表示画面の一例を示す説明図である。リフォーカス動画像とは、時系列な一連のリフォーカス画像である。リフォーカス画像とは、ある被写体を撮影した複数の画像を合成した合成画像である。視差画像を用いる場合、リフォーカス画像とは、ある被写体を撮影した視差が異なる複数の画像を合成した合成画像である。リフォーカス画像は、撮影後に合焦位置を変更して再合成することが可能な合成画像である。
【0008】
図1において、表示画面100は、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、携帯ゲーム機や、パーソナルコンピュータのディスプレイに表示される。ディスプレイは、たとえば、タッチパネル式である。
【0009】
表示画面100は、第1表示領域101と、第2表示領域102と、を有する。第1表示領域101は、一連のリフォーカス画像を再生して表示する領域である。第1表示領域101には、ある再生位置における合成画像(リフォーカス画像RF4)として、オブジェクトO1~O3を含むものが表示されている。なお、ここでは、オブジェクトO1~O3のうち、オブジェクトO1は最も撮影元に近接しており、オブジェクトO3は、最も撮影元から離間しているものとする。
【0010】
第2表示領域102は、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報を表示する領域である。一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報は、たとえば、一連のリフォーカス画像の再生位置を示す時間軸121(t軸)と、一連のリフォーカス画像の合焦位置を示す距離軸122(z軸)と、により構成される座標系120に表示される。距離軸122は、合焦位置、たとえば、撮像素子と撮像レンズとの焦点距離を示す。
【0011】
座標系120には、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報の一例として、一連のリフォーカス画像の再生位置による合焦位置の変化を示す線グラフWFが表示される。すなわち、線グラフWFは、ある再生位置でのリフォーカス画像の合焦位置を示す。操作者は、たとえば、ユーザインタフェースにより、線グラフWFの形状を指で変更可能である。点P1~P4は、線グラフWF上の点(以下、総称して点P)であり、たとえば、所定の再生位置間隔または合焦位置が変更される都度、あるいは、ユーザの指定により生成される。
【0012】
また、第2表示領域102には、リフォーカス動画像の再生位置を示すバーBが表示される。バーBは、リフォーカス動画像の再生にしたがって左から右に移動する。
図1のバーBは、再生位置t4を示す。第1表示領域101に表示されるリフォーカス画像RF4は、再生位置t4のリフォーカス画像である。このときの合焦位置はd2であり、オブジェクトO2に合焦するものとする。
【0013】
また、第1表示領域101には、どの時刻に表示画像のどの位置(座標)にプロットしたかを示す関連情報111が表示される。たとえば、関連情報111(P1、時刻t1)は、線グラフWF上の点P1に対応する情報であり、関連情報111(P4、時刻t4)は、線グラフWF上の点P4に対応する情報であり、関連情報111(P2、時刻t2)は、線グラフWF上の点P2に対応する情報である。なお、点Pに対応する関連情報111については、関連情報111に第2表示領域102の点Pの色または形状のマークと同一の色または形状のマークを表示してもよい。たとえば、第2表示領域102において、点P1のマークを白丸とした場合、点P1に対応するオブジェクトO1の関連情報111も同一色および同一形状となる白丸とする。この場合、関連情報111を示す文字列(P1、時刻t1)は削除されてもよい。また、点P2は、点P1と異なる色または形状とすればよい。たとえば、たとえば、第2表示領域102において、点P2のマークを白三角とした場合、点P2に対応するオブジェクトO2の関連情報111も同一色および同一形状となる白三角とする。この場合、関連情報111を示す文字列(P4、時刻t4)は削除されてもよい。点P2についても同様である。
【0014】
このように、一連のリフォーカス画像の各々の合焦位置と再生位置との関係が明確になり、ユーザは、どの再生位置のリフォーカス画像内のどの被写体がどの合焦位置で合焦しているかを直感的に視認することができる。
【0015】
具体的には、たとえば、ユーザは、線グラフWF上の点Pの生成およびポインタ点Pの奥行き位置調整をタッチフォーカスで行うことにより、被写体をタップまたはクリックすることで、線グラフWF上で点Pがピントの合った位置に更新される。したがって、ピントを合わせたい被写体にいちいち線グラフWFの微調整をする必要がなくなり、利便性の向上を図ることができる。
【0016】
たとえば、点Pを新規生成する場合について説明する。第1表示領域101上にはタッチオートフォーカス機能があるものとする。タッチオートフォーカス機能は、タッチインターフェースを使用して合焦位置を指示できるオートフォーカス機能である。ユーザが、動画の再生時刻t1で、第1表示領域101上のある位置(x1,y1)に焦点を合わせたい場合、第1表示領域101上の位置(x1,y1)(たとえば、オブジェクトO1内の位置)にタッチすることで、当該位置(x1,y1)を含むオブジェクトO1がオートフォーカスされる。このとき、オブジェクトO1の合焦位置が更新されるため、オブジェクトO1の更新後の合焦位置および再生時刻t1で特定される線グラフ上の位置に点P1を生成する。そして、位置(x1,y1)と点P1とを関連付けることにより、再生時刻t1でのリフォーカス画像と線グラフWFとの同期をとることができる。
【0017】
また、点Pの位置を調整する場合について説明する。第1表示領域101上にはタッチオートフォーカス機能があるものとする。線グラフWF上の再生時刻t2に点P2が生成されており、第1表示領域101上の位置とは、関連付けられていないものとする。ユーザが、再生時刻t2で位置(x2,y2)にピントを合わせたい場合、ユーザは線グラフWF上の点P2を選択した上で、第1表示領域101のピントを合わせたい被写体(たとえば、位置(x2,y2)を含むオブジェクトO3)にタップやクリックする。これにより、オブジェクトO3にピントが合った合成画像となる。このとき、オブジェクトO3の合焦位置が更新されるため、線グラフWF上での点P2の合焦位置の更新とともに、点Pと位置(x2,y2)が関連付けられる。
【0018】
なお、上記処理のあと、ユーザが点P1、P2について、線グラフWF上でピント位置や時間位置を変更した場合、変更前の時刻および座標でピントが合っていないことになるが、(1)ユーザが、タッチフォーカスでプロット後、線グラフWFで点Pの編集を全くしない場合や(2)タッチフォーカスでプロット後、線グラフWFで点Pの編集をした際、変更前後の差分情報も保持させる場合に、利用することができる。特に、(2)については、変更後の点Pを元の位置に戻す場合に、有用である。
【0019】
なお、ここでは、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報の一例として、線グラフWFを例に挙げたが、棒グラフなど、合焦位置と再生位置との関係が視覚的にユーザに理解できるような情報であればよい。
【0020】
図2は、リフォーカス動画像の表示画面100での操作例を示す説明図である。(A)~(C)において、(A)~(C)では、第1表示領域101に再生位置t4のリフォーカス画像が表示されている。なお、バーBは、ユーザの操作により、時間軸121の方向にスライド可能である。
【0021】
(A)の点P4は、
図1に示したように、バーB上の再生位置t4における合焦位置d2を示す。合焦位置d2の場合、再生位置t4における視差が異なる複数の画像を合成すると、オブジェクトO2に合焦したリフォーカス画像RF41が生成される。
【0022】
(B)は、再生位置t4において、ユーザの操作により、合焦位置d2を合焦位置d1(<d2)に変更した例である。合焦位置d1の場合、再生位置t4における視差が異なる複数の画像を合成すると、オブジェクトO1に合焦したリフォーカス画像RF42が生成される。また、変更後の点P4と1つ手前の点P1とにより、P4,P1間の線分が線形補間される。同様に、変更後の点P4と1つ先の点P2とにより、P4,P2間の線分が線形補間される。
【0023】
(C)は、再生位置t4において、ユーザの操作により、合焦位置d2を合焦位置d3(>d2)に変更した例である。合焦位置d3の場合、再生位置t4における視差が異なる複数の画像を合成すると、オブジェクトO3に合焦したリフォーカス画像RF43が生成される。また、変更後の点P4と1つ手前の点P1とにより、P4,P1間の線分が線形補間される。同様に、変更後の点P4と1つ先の点P2とにより、P4,P2間の線分が線形補間される。
【0024】
このように、ユーザは、どの再生位置においてもリフォーカス画像の合焦位置を自由に変更することができる。また、合焦位置が変更された点とその隣接する点との間を線形補間することにより、急激な合焦位置の変更を抑制する。すなわち、合焦位置が徐々に変更されるため、線形補間された線分上の再生位置の各々で視差が異なる複数の画像を合成すると、違和感のないリフォーカス動画像を再生することができる。なお、上述の例では、線形補間を例に挙げたが、曲線補間でもよい。
【0025】
図3は、線グラフの線幅の変更例を示す説明図である。なお、
図3に示す各符号において、変更前の符号には末尾にaを付し、変更後の符号には末尾にbを付す。(A)は、線幅の変更前の線グラフWFaを示し、
図2の(A)と同一内容である。線グラフWFaの線幅waは、被写界深度に対応する。この場合の画像は、リフォーカス画像RF4aである。たとえば、ユーザの操作により、線グラフWFaをピンチアウトすることにより、線グラフWFaの線幅waが広がり、線幅wbを有する線グラフWFbになる。被写界深度が線幅wに対応して深くなるため、再生位置t4のリフォーカス画像RF4bでは、(B)に示すように、一点鎖線で示す変更後の被写界深度の範囲に合焦した画像になる。
【0026】
また、(B)の状態で、ユーザの操作により、たとえば、線グラフWFbをピンチインすることにより、線グラフWFの線幅wが狭まり、線幅waの線グラフWFaに戻る。これにより、被写界深度が浅くなるため、再生位置t4のリフォーカス画像では、(A)に示すように、変更後の被写界深度の範囲で合焦した画像になる。すなわち、(A)では、オブジェクトO1,O3のボケが大きくなる。
【0027】
このように、ユーザは、線グラフWFの線幅wを自由に変更することで、被写界深度を変更することができる。なお、
図3では、線グラフWF全体の線幅wを変更する例について説明したが、線グラフWFのうちピンチインまたはピンチアウトした位置を挟む2点間の線分について線幅wを変更してもよい。たとえば、(A)において、点P1,P2間でピンチアウトすると、(B)において、点P1,P2間の線分の線幅がwaからwbになる。同様に、(A)において、点P1,P2間でピンチアウトすると、(B)において、点P1,P2間の線分の線幅がwbからwaになる。
【0028】
<再生装置のハードウェア構成例>
図4は、再生装置の構成例を示すブロック図である。(A)は、再生装置のハードウェア構成例を示すブロック図である。再生装置400は、リフォーカス動画像を再生、表示する。再生装置400は、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、携帯ゲーム機や、パーソナルコンピュータである。再生装置400は、リフォーカス画像およびリフォーカス動画像の撮影機能を有してもよい。
図4では、再生装置400がデジタルカメラである場合を例に挙げて説明する。
【0029】
再生装置400は、レンズユニット401とカメラボディ402とを有する。レンズユニット401とカメラボディ402は着脱自在でもよく、一体型でもよい。レンズユニット401は、撮像レンズ411と、マイクロレンズアレイ412と、フォーカス調整部413と、を有する。
【0030】
撮像レンズ411は、たとえば、フォーカスレンズまたはズームレンズを含む光学系であり、被写体からの光を集光してマイクロレンズアレイ412に出射する。マイクロレンズアレイ412は、マトリクス状に配列されたマイクロレンズの集合体である。各マイクロレンズは、対応する撮像レンズ411の瞳領域からの光を集光して、撮像素子421内の対応する領域に出射する。フォーカス調整部413は、ユーザの操作またはオートフォーカス機能により、撮像レンズ411の合焦位置を調整する。
【0031】
カメラボディ402は、撮像素子421と、プロセッサ422と、記憶デバイス423と、処理回路424と、駆動回路425と、入力デバイス427と、表示デバイス428と、通信I/F429と、を含む。これらは、バス430により接続される。撮像素子421は、撮像レンズ411からマイクロレンズアレイ412を介して入射する光を受光して、電気信号に変換し、当該電気信号から得られるRAWデータを記憶デバイス423に記憶する。撮像素子421としては、たとえば、CMOS(Complementary Metal‐Oxide‐Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサが採用される。プロセッサ422は、再生装置400を統括制御する。記憶デバイス423は、再生プログラムを記憶し、プロセッサ422は記憶デバイス423に記憶される再生プログラムを実行する。
【0032】
処理回路424は、データを処理する回路であり、たとえば、データを圧縮及び伸張する圧縮伸張処理回路と、画像処理機能としての画像処理回路と、音声データを処理する音声処理回路と、を含む。圧縮伸張処理回路は、たとえば、RAWデータをJPEG形式の画像データに変換したり、圧縮動画像を生成したり、圧縮動画像を伸張したりする。画像処理回路は、たとえば、シーンの解析、被写体の画像の形状変化、被写体の画像の位置変化(被写体の追尾)、露出補正、顔認識、色温度検出、リフォーカス画像の生成、を実行する。音声処理回路は、たとえば、音声の音量を解析する。なお、圧縮伸張処理回路、画像処理回路および音声処理回路は、それぞれプロセッサ422に実行させる圧縮伸張処理プログラム、画像処理プログラム、および音声処理プログラムとして記憶デバイス423に実装されてもよい。
【0033】
駆動回路425は、シャッター、絞り機構、および、レンズユニット401を駆動制御する。記録デバイスは、画像データや動画データを保存する。記録デバイスは、カメラボディ402と着脱自在である。入力デバイス427は、ユーザからの操作入力や外界からの音声の入力を受け付ける。入力デバイス427は、たとえば、シャッターボタンやその他撮影に必要なボタン、タッチパネル、ダイヤル、リング、レバーを含む。表示デバイス428は、被写体のスルー画や撮影したリフォーカス画像、リフォーカス動画像を表示する。通信I/F429は、外部装置とデータを送受信する。
【0034】
(B)は、再生装置400の機能的構成例を示すブロック図である。再生装置400は、撮影部431と、検出部432と、集音部433と、生成部434と、再生部435と、表示制御部436と、を有する。撮影部431は、たとえば、レンズユニット401と、撮像素子421と、処理回路424と、により構成される。撮影部431は、被写体について視差が異なる画像群を撮像し、RAWデータとして記憶デバイス423に格納する。
【0035】
検出部432は、フォーカス調整部413による撮像レンズ411の合焦位置を検出する。また、検出部432は、線グラフWF上の特定の合焦位置の移動や線グラフWF上の点の線幅の変化を検出する。また、検出部432は、表示画面100上の座標系120において線グラフWFの描画を検出する。また、検出部432は、リフォーカス動画像の動画ファイルの再生指示やサムネイル画像の表示指示を検出する。検出部432は、記憶デバイス423に記憶された再生プログラムをプロセッサ422に実行させることで、その機能を実現する。集音部433は、入力デバイス427の一例である指向性マイクにより音源からの音声を取得する。
【0036】
生成部434は、RAWデータから一連のリフォーカス画像を生成し、また、一連のリフォーカス画像からリフォーカス動画像を生成し、記憶デバイス423に格納する。たとえば、生成部434は、検出部432によって特定の合焦位置の距離軸122の方向への移動が検出された場合、特定の合焦位置に対応する特定の再生位置のリフォーカス画像の合成元である視差が異なる複数の画像(後述する視差画像)を、特定の合焦位置の移動後の合焦位置に合焦するように再合成する。生成部434は、処理回路424で構成されてもよく、また、記憶デバイス423に記憶された再生プログラムをプロセッサ422に実行させることで、その機能を実現してもよい。
【0037】
再生部435は、記憶デバイス423に格納されたリフォーカス動画像やリフォーカス画像を記憶デバイス423から取得して表示画面100に再生する。表示制御部436は、表示画面100を制御して、または、入力デバイス427からの入力や表示画面100でのユーザの操作があった場合、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報(たとえば、線グラフWFやバーB)を表示画面100に表示する。この場合、生成部434は、更新後の情報に基づいて、リフォーカス画像を再合成し、リフォーカス動画像を再構成する。表示制御部436は、関連情報111を表示画面100に表示したり、消去したりする。
【0038】
<リフォーカス画像の生成例>
図5は、マイクロレンズアレイ412と撮像素子421との関係を示す説明図である。(A)は、マイクロレンズアレイ412と撮像素子421との対応関係を示す。(B)は、マイクロレンズアレイ412を構成するマイクロレンズLij(i,jは、1以上の整数。本例では、1≦i≦5、1≦j≦5)と画素Pijkl(k,lは、1以上の整数。本例では、1≦k≦5、1≦l≦5)の対応関係を示す。各円形図形は、マイクロレンズLijを示す。円形図形で示したマイクロレンズLijの集合がマイクロレンズアレイ412である。撮像素子421は、複数の画素Pijklを有する。例として、25×25画素の撮像素子421である。なお、太枠で囲まれた5×5画素の領域を画素領域Cijと称す。1つの画素領域Cijは、1つのマイクロレンズLijに対応する。画素領域Cijは、画素Pijklの集合である。
【0039】
図6は、視差画像の一例を示す説明図である。視差画像PIklとは、同一被写体を撮影した視差が異なる複数の画像の各々の画像である。具体的には、視差画像PIklは、各画素領域Cijの画素Pijklを、マイクロレンズLijの配列位置にしたがって配列した画像である。たとえば、視差画像PI11は、各画素領域Cijの画素Pij11を、マイクロレンズLijの配列位置にしたがって配列した画像であり、視差画像PI55は、各画素領域Cijの画素Pij55を、マイクロレンズLijの配列位置にしたがって配列した画像である。
【0040】
図7は、リフォーカス画像の生成例を示す説明図である。視差画像PI11~PI55は、たとえば、オブジェクトO1にピントが合っている画像群とする。生成部434である処理回路424または画像処理プログラムを実行するプロセッサ422が、視差画像PI11~PI55を合成することにより、オブジェクトO1にピントが合ったリフォーカス画像RFを生成する。
【0041】
<動作処理手順例>
図8は、再生装置400によるリフォーカス動画像の記録処理手順例を示すフローチャートである。まず、再生装置400は、検出部432により、フォーカス調整部413から合焦位置を検出して、記憶デバイス423に保持する(ステップS801)。つぎに、再生装置400は、検出した合焦位置での当該時刻におけるRAWデータを、検出した合焦位置に関連付けて記憶デバイス423に保持する(ステップS802)。これにより、時刻ごとに合焦位置に関連付けられた一連のRAWデータが得られる。再生装置400は、ユーザの操作入力またはタイマにより、記録終了であるか否かを判断する(ステップS803)。記録終了でない場合(ステップS803:No)、ステップS801に戻る。
【0042】
一方、記録終了である場合(ステップS803:Yes)、再生装置400は、生成部434により、取得した一連のRAWデータから一連のリフォーカス画像を生成する(ステップS804)。具体的には、たとえば、再生装置400は、取得した一連のRAWデータの各RAWデータを、JPEGなどの画像データに変換する。変換された一連の画像データの各々は、視差が異なる複数の画像データを含む。再生装置400は、当該複数の画像データを、ステップS802で関連付けされた合焦位置で合成することで、ある時刻におけるリフォーカス画像を生成する。これにより、取得した一連のRAWデータごとにリフォーカス画像が得られる。再生装置400は、この一連のリフォーカス画像を動画形式に圧縮する(ステップS805)。そして、再生装置400は、動画形式に圧縮した圧縮データをリフォーカス動画像として記憶デバイス423に保持する(ステップS806)。
【0043】
図9および
図10は、リフォーカス動画像の間引き処理手順例を示すフローチャートである。
図9では、処理回路424の負荷軽減のため、再生装置400は、所定間隔ごとに選択されたリフォーカス画像の合焦位置を時系列に配置し、選択リフォーカス画像間については、線形補間(曲線補間でもよい)をおこなう。これにより、合焦位置と再生位置との関係を示す線グラフWFを生成することが可能となる。
【0044】
まず、再生装置400は、n=1に設定する(ステップS901)。
図9および
図10において、nはリフォーカス画像の出現順となるリフォーカス画像の出現位置、すなわち、再生位置を示す。再生装置400は、検出部432により、出現位置nのRAWデータRDnを読み込む(ステップS902)。再生装置400は、ステップS905で表示するために、フォーカス調整部413から現在の合焦位置fnを検出して記憶デバイス423に保持する(ステップS903)。
【0045】
再生装置400は、生成部434により、ステップS903で検出した合焦位置fnで、ステップS902で読み込んだRAWデータRDnからリフォーカス画像RFnを生成する(ステップS904)。再生装置400は、生成したリフォーカス画像RFnを表示画面100の第1表示領域101に表示する(ステップS905)。第1表示領域101には、再生終了信号が検出されるまで、再生中のリフォーカス動画像が表示される。
【0046】
このあと、再生装置400は、再生開始信号の検出を待ち受ける(ステップS906:No)。再生開始信号が検出された場合(ステップS906:Yes)、再生装置400は、リフォーカス画像RFnおよびその合焦位置fnを関連付けて保持する(ステップS907)。再生装置400は、nにaを加算することでnを更新する(ステップS908)。a(≧1)は、あらかじめ設定された固定値(整数)であり、つぎに合成対象となるRAWデータを決める値である。aが1の場合、再生装置400は、間引きせずにリフォーカス画像RFnを生成する。aが2以上の値の場合、再生装置400は、間引きしながらリフォーカス画像RFnを生成する。
【0047】
このあと、再生装置400は、ステップS908で更新後のリフォーカス画像位置nのRAWデータRDnを読み込む(ステップS909)。再生装置400は、検出部432により、フォーカス調整部413から現在の合焦位置fnを検出して記憶デバイス423に保持する(ステップS910)。再生装置400は、生成部434により、ステップS910で検出した合焦位置fnで、ステップS909で読み込んだRAWデータRDnからリフォーカス画像RFnを生成する(ステップS910)。
【0048】
このあと、再生装置400は、再生終了信号が検出されない場合(ステップS912:No)、ステップS907に戻る。一方、再生終了信号が検出された場合(ステップS912:Yes)、
図10のステップS1001に移行する。これにより、リフォーカス画像群の合成が完了する。
【0049】
図10において、再生装置400は、aが2以上の値であるか否かを判断する(ステップS1001)。aが2以上の値でない場合(ステップS1001:No)、a=1であるため、ステップS1004に移行する。
【0050】
一方、aが2以上の値である場合(ステップS1001:Yes)、再生装置400は、表示制御部436により、ステップS903およびS910で検出された合焦位置を用いて、間引かれたことで合成されていないリフォーカス画像(間引きリフォーカス画像)の合焦位置を補間する(ステップS1002)。このように、補間された合焦位置を補間合焦位置と称す。再生装置400は、生成部434により、間引かれていない残存リフォーカス画像に対応するRAWデータRDnごとに、リフォーカス画像RFnを生成する(ステップS1003)。
【0051】
そして、再生装置400は、再生部435により、一連のリフォーカス画像RFnを動画形式に圧縮して(ステップS1004)、圧縮したリフォーカス動画像を記憶デバイス423に保持する(ステップS1005)。これにより、リフォーカス動画像の間引き処理が終了する。
【0052】
このあと、再生装置400は、ステップS1005で生成されたリフォーカス動画像の再生開始信号を検出した場合、再生部435により、表示画面100の第1表示領域101にリフォーカス動画像を再生するとともに、表示制御部436により、合焦位置と再生位置との関係を示す線グラフWFを生成して第2表示領域102に表示する。
【0053】
<線グラフの変更例>
図11~
図16は、表示制御部436による第2表示領域102に表示された線グラフWFの変更例を示す説明図である。
図11において、(A)は、初期状態を示す。線グラフWFは、点P10~P14間を線分ls1~ls4で繋いだ線群を含む。また、線グラフWFは線幅wを有する。また、第1表示領域101には、シフトボタン1100が表示される。
図11では、シフトボタン1100は、OFFの状態である。OFFの状態では、線グラフWF上の点P10~P14の位置が変更可能である。したがって、
図11では、被写界深度に変更はない。なお、
図11~
図16の各符号において、線グラフWFの変更前の符号には末尾にaを付し、変更後の符号には末尾にbを付す。
【0054】
(B)は、ドラッグ操作により、(A)の状態から点P11aを上方、すなわち、距離軸122の奥行方向に移動させた状態を示す。点P11aをドラッグすることで、点P10および点P11a間の線分ls1が時間軸121と平行な状態から右肩上がりに変化して、点P10および点P11b間の線分ls1bとなる。同様に、点P11aおよび点P12間の線分ls2が時間軸121と平行な状態から右肩下がりに変化して、点P11bおよび点P12間の線分ls2bとなる。線幅wは変化しない。すなわち、被写界深度に変更はない。
【0055】
(C)は、ドラッグ操作により、(A)の状態から点P12aを時間軸121と平行に左方に移動させた状態を示す。点P12aをドラッグすることで、点P12aおよび点P13間の線分ls3aの傾きが変化して、点P12bおよび点P13間の線分ls3bとなる。線幅wは変化しない。すなわち、被写界深度に変更はない。
【0056】
(D)は、ドラッグ操作により、(A)の状態から点P12aを時間軸121と平行に右方に移動させた状態を示す。点P12aをドラッグすることで、点P12aおよび点P13間の線分ls3aの傾きが変化して、点P12bおよび点P13間の線分ls3bとなる。線幅wは変化しない。すなわち、被写界深度に変更はない。
【0057】
(E)は、ドラッグ操作により、(A)の状態から点P11aを時間軸121と平行に右方に移動させ、かつ、上方、すなわち、距離軸122の奥行方向に移動させた状態を示す。点P11aをドラッグすることで、点P10および点P11a間の線分ls1aが時間軸121と平行な状態から右肩上がりに変化する。同様に、点P11aおよび点P12間の線分ls2aが時間軸121と平行な状態から右肩下がりに変化する。線幅wは変化しない。すなわち、被写界深度に変更はない。
【0058】
図12は、OFF状態のシフトボタン1100をドラッグする例である。
図12において、(A)は、
図11の(A)と同様、初期状態を示す。(B)は、ドラッグ操作により、(A)の状態からシフトボタン1100を上方に移動させた状態を示す。シフトボタン1100をドラッグすることで、点P10a~P14aは、シフトボタン1100の移動方向と同じ方向に移動する。この場合、点P10~P14は、上方向、すなわち、距離軸122の奥行方向に移動して、点P10b~P14bとなる。これにともない、線分ls1a~ls4aも上方に移動して、線分ls1b~ls4bとなる。線幅wは変化しない。これにより、線グラフWFaから線グラフWFbに変更され、時間軸121の全範囲で合焦位置を一括調整することができる。なお、シフトボタン1100を下方向にドラッグすることで、(B)から(A)の状態に戻る。
【0059】
(C)は、ドラッグ操作により、(A)の状態からシフトボタン1100を右方向に移動させた状態を示す。シフトボタン1100をドラッグすることで、点P10a~P14aは、シフトボタン1100の移動方向と同じ方向に移動する。この場合、点P10a~P14aは、時間軸121の右方向に移動して、点P10b~P14bとなる。これにともない、線分ls1a~ls4aも右方に移動して、線分ls1b~ls4bとなる。線幅wは変化しない。これにより、線グラフWFaから線グラフWFbに変更され、時間軸121の全範囲で合焦位置を一括調整することができる。なお、シフトボタン1100を左方向にドラッグすることで、(C)から(A)の状態に戻る。
【0060】
図13は、シフトボタン1100がON状態での線幅wの変更例1を示す。(A)は、
図11の(A)の状態から、再生装置400がシフトボタン1100の押下を検出して、シフトボタン1100がONに変化した状態を示す。
【0061】
(B)は、(A)の状態から点P11において、下方、すなわち、距離軸122の手前方向にドラッグ操作した状態を示す。点P11をドラッグすることで、点P10,P11間で線幅waが点P10から点P11に向かって狭くなるように変化し、点P11で線幅wb(<wa)となる。同様に、点P11,P12間で線幅waが点P12から点P11に向かって狭くなるように変化し、点P11で線幅wb(<wa)となる。これにより、点P11において被写界深度が浅くなるように調整することができる。
【0062】
(C)は、(A)の状態から点P11において、上方、すなわち、距離軸122の奥行方向にドラッグ操作した状態を示す。点P11をドラッグすることで、点P10,P11間で線幅waが点P10から点P11に向かって広くなるように変化し、点P11で線幅wb(>wa)となる。同様に、点P11,P12間で線幅waが点P12から点P11に向かって狭くなるように変化し、点P11で線幅wb(>wa)となる。これにより、点P11において被写界深度が深くなるように調整することができる。
【0063】
図14は、シフトボタン1100がON状態での線幅wの変更例2を示す。(A)は、
図13の(A)の状態から、点P11を時間軸121の左方向にドラッグ操作した状態を示す。左方向にドラッグすることにより、点P10,P11間で線幅waが点P11から点P10に向かって広くなるように変化し、点P10で線幅wb(>wa)となる。
【0064】
(B)は、
図13の(A)の状態から、点P11を時間軸121の右方向にドラッグ操作した状態を示す。右方向にドラッグすることにより、点P11,P12間で線幅waが点P11から点P12に向かって広くなるように変化し、点P12で線幅wb(>wa)となる。また、これにより、点P12,P13間で線幅wbが点P12から点P13に向かって狭くなるように変化し、点P13で線幅waとなる。
【0065】
(C)は、
図13の(A)の状態から、点P11を時間軸121の左方向にドラッグ操作してから折り返して右方向にドラッグ操作した状態を示す。このようなドラッグ操作をすることにより、点P10,P11間で線幅waが点P11から点P10に向かって狭くなるように変化し、点P10で線幅wb(<wa)となる。
【0066】
(D)は、
図13の(A)の状態から、点P11を時間軸121の右方向にドラッグ操作してから折り返して右方向にドラッグ操作した状態を示す。このようなドラッグ操作をすることにより、点P11,P12間で線幅waが点P11から点P12に向かって狭くなるように変化し、点P12で線幅wb(<wa)となる。また、これにより、点P12,P13間で線幅wbが点P12から点P13に向かって広くなるように変化し、点P13で線幅waとなる。
【0067】
図15は、シフトボタン1100がON状態での線幅wの変更例3を示す。
図15は、
図13の(A)の状態から、点P11を右斜め上方向にドラッグ操作した状態を示す。上方向成分のドラッグ操作をすることで、点P10,P11間で線幅waが点P10から点P11に向かって広くなるように変化し、点P11で線幅wb(>wa)となる。同様に、点P11,P12間の線幅wbが点P11から点P12に向かって狭くなるように変化し、点P11で線幅wbb(>wa)となる。また、これにより、点P12,P13間で線幅wbbが点P12から点P13に向かって狭くなるように変化し、点P13で線幅waとなる。
【0068】
図16は、ON状態のシフトボタン1100をドラッグする例である。(A)は、
図13の(A)の状態からシフトボタン1100を上方にドラッグした状態を示す。シフトボタン1100をドラッグすることで、線グラフWFの線幅wがwaからwbに広がって、線グラフWFaから線グラフWFbに変更される。これにより、全再生区間にわたって被写界深度を調整することができる。
【0069】
(B)は、(A)の状態からシフトボタン1100を下方にドラッグした状態を示す。シフトボタン1100をドラッグすることで、線グラフWFの線幅wがwaからwbに狭くなって、線グラフWFaから線グラフWFbに変更される。全再生区間にわたって被写界深度を調整することができる。
【0070】
(C)は、(A)の状態から、シフトボタン1100を時間軸121の右方向にドラッグ操作した状態を示す。右方向にドラッグすることにより、点P11~P14間で線幅waが点P11から点P14に向かって広くなるように変化し、点P12で線幅wb(>wa)、点P13で線幅wbb(>wb)、点P14で線幅wbbb(>wbb)となる。これにより、線グラフWFaから線グラフWFbに変更される。
【0071】
(D)は、(A)の状態から、シフトボタン1100を時間軸121の右方向にドラッグ操作してから折り返して左方向にドラッグ操作した状態を示す。このようなドラッグ操作をすることにより、点P11~P14間で線幅waが点P11から点P14に向かって狭くなるように変化し、点P12で線幅wb(<wa)、点P13で線幅wbb(<wb)、点P14で線幅wbbb(<wbb)となる。これにより、線グラフWFaから線グラフWFbに変更される。
【0072】
<リフォーカス画像の再合成処理手順例>
つぎに、
図11~
図16で示した変更操作をした場合のリフォーカス画像の再合成処理例について説明する。
【0073】
図17は、リフォーカス画像の再合成処理手順例を示すフローチャートである。再生装置400は、シフトボタン1100のONまたはOFFを検出する(ステップS1701)。OFF状態である場合(ステップS1701:OFF)、再生装置400は、
図11または
図12に示したように、表示制御部436により、OFF状態でのドラッグ操作に応じて線グラフWFを更新する(ステップS1702)。そして、再生装置400は、ステップS1702により、合焦位置が更新された再生区間を特定する(ステップS1703)。
【0074】
このあと、再生装置400は、ステップS1703において、再生区間内の線グラフ上の点で示されている再生位置のうち、合焦位置が更新された未選択の再生位置があるか否かを判断する(ステップS1704)。合焦位置が更新された未選択の再生位置がある場合(ステップS1704:Yes)、再生装置400は、合焦位置が更新された未選択の再生位置のRAWデータRDnおよび更新後の合焦位置を選択する(ステップS1705)。そして、再生装置400は、更新後の合焦位置でリフォーカス画像を再合成し(ステップS1706)、ステップS1704に戻る。
【0075】
ステップS1704において、合焦位置が更新された未選択の再生位置がない場合(ステップS1704:No)、再生装置400は、生成部434により、再合成したリフォーカス画像と、合焦位置が更新されなかった残存するリフォーカス画像と、を用いて、圧縮したリフォーカス動画像を再構成する(ステップS1712)。これにより、再生装置400は、リフォーカス画像の再合成処理を終了する。
【0076】
また、ステップS1701において、シフトボタン1100がON状態である場合(ステップS1701:OFF)、再生装置400は、
図13~
図16に示したように、表示制御部436により、ON状態でのドラッグ操作に応じて線グラフWFを更新する(ステップS1707)。そして、再生装置400は、ステップS1707により、線幅が更新された再生区間を特定する(ステップS1703)。
【0077】
このあと、再生装置400は、未選択の更新された再生位置があるか否かを判断する(ステップS1709)。未選択の更新された再生位置がある場合(ステップS1709:Yes)、再生装置400は、未選択の更新された再生位置のRAWデータRDn、合焦位置および更新後の線幅を選択する(ステップS1705)。そして、再生装置400は、生成部434により、更新後の線幅となる被写界深度でリフォーカス画像を再合成し(ステップS1711)、ステップS1709に戻る。
【0078】
ステップS1709において、未選択の再生位置がない場合(ステップS1709:No)、再生装置400は、生成部434により、再合成したリフォーカス画像と、線幅が更新されなかった残存するリフォーカス画像と、を用いて、圧縮したリフォーカス動画像を再構成する(ステップS1712)。これにより、再生装置400は、リフォーカス画像の再合成処理を終了する。
【0079】
<被写界深度の更新後におけるリフォーカス画像の再合成>
つぎに、上述のように生成されたリフォーカス画像をパンフォーカスにする場合の再合成例について説明する。
【0080】
図18は、被写界深度の更新後におけるリフォーカス画像の再合成例を示す説明図である。
図18において、仮想絞り1800は、撮像レンズ411から撮像素子421への光の出射を制限する。撮像素子421において、ハッチングが施された画素は、受光された画素であり、ハッチングが施されていない画素は、仮想絞り1800により受光されていない画素である。なお、仮想絞り1800であるため、実際には、ハッチングが施されていない画素でも受光されるが、出力信号が採用されない。
【0081】
(A)において、仮想絞り1800は、撮像レンズ411の瞳領域PR1~PR5のうち、瞳領域PR2~PR4からの光を通過させる。すなわち、再生装置400は、撮像素子421が瞳領域PR1、PR5からの光を受光して光信号を出力しても、リフォーカス画像の合成処理で用いない。(B)において、仮想絞り1800は、撮像レンズ411の瞳領域PR1~PR5のうち、瞳領域PR3からの光を通過させる。すなわち、再生装置400は、撮像素子421が瞳領域PR1、PR2、PR4、PR5からの光を受光して光信号を出力しても、リフォーカス画像の合成処理で用いない。
【0082】
(A)と(B)では、仮想絞り1800の開口1801がより閉じている(B)の方が、被写界深度は深い。すなわち、パンフォーカスにしたい場合は、ユーザが線グラフWFの線幅wを太くする操作をおこなうことにより、(B)のように、再生装置400は、生成部434により、仮想絞り1800の開口1801を狭くする。すなわち、ユーザが線グラフの線幅wを太くすることにより、被写界深度を無限遠にすることができる。このようにして、撮影後において、被写界深度の変更に対応したリフォーカス画像を生成することができる。
【0083】
<他のデバイスでの表示例>
図19は、他のデバイスでの表示例を示す説明図である。
図19は、スマートフォンまたはタブレットにおける表示例を示す。スマートフォンやタブレットの場合、表示画面100の広さに制約があるため、第1表示領域101に、調整領域1901が表示される。点を指定してから、調整領域1901のスライダ1902を上下にドラッグすることで、指定した点を距離軸122の方向に移動させることができる。
【0084】
<2画面表示例>
図20は、2画面表示例を示す説明図である。
図20では、第1表示領域101に2つのウィンドウ101A,101Bを有する。再生装置400は、再生部435により、第1ウィンドウ101Aに、現在の再生位置におけるリフォーカス動画像を再生する。再生装置400は、再生部435により、第2ウィンドウ101Bに、現在の再生位置よりも所定時間進んだ先行するリフォーカス動画像を再生する。この場合、再生装置400は、表示制御部436により、第2表示領域102に、第1ウィンドウ101AのバーB1と第2ウィンドウ101BのバーB2とを表示する。
【0085】
たとえば、フォーカス調整部413を用いて、リフォーカス動画像を再生しながら合焦位置を変更する場合、被写体が前後どちらかに動いてからフォーカス調整部413を操作していては、ピントずれが生じる。そのため、あらかじめ所定時間(たとえば、数秒)先のリフォーカス動画像を第2ウィンドウ101Bに表示させることで、ユーザは、つぎに被写体が前後どちらに動くかを把握することができ、ピントずれを防止することができる。
【0086】
また、再生装置400は、再生部435により、現在の再生位置におけるリフォーカス画像と先行するリフォーカス画像を第1表示領域101に重畳表示してもよい。これにより、ユーザは、時間差がある被写体の動作の差分を直感的に把握することができ、どの被写体に合焦するかを予測することができる。また、この場合、いずれか一方のリフォーカス動画像を、たとえば、有色透明で表示してもよい。これにより、ユーザは、両方のリフォーカス動画像を容易に区別することができる。
【0087】
また、再生部435は、第2ウィンドウ101Bにおいて、先行するリフォーカス動画像を構成する一連のリフォーカス画像を、例えば、
図18に示した手法により、パンフォーカスなリフォーカス画像にしてもよい。これにより、先行するリフォーカス動画像の被写体はボケずに表示されるため、ユーザは、先行するリフォーカス動画像を参照して、合焦させる被写体を確認することができる。
【0088】
また、再生部435は、第1ウィンドウ101Aで再生されるリフォーカス動画像について、当該リフォーカス動画像と合焦位置が異なるリフォーカス動画像を再生してもよい。この場合、再生部435は、両リフォーカス動画像を、同期して、すなわち、同じ再生位置のリフォーカス動画像を表示するように、再生してもよい。
【0089】
<被写体追尾>
また、
図4の(B)において、撮影部431は、処理回路424により、被写体を追尾しながら撮像してもよい。この場合、生成部434は、撮影された一連の被写体の各々について、複数の視差画像PI11~PI55を合成することにより、被写体までの距離に対応する合焦位置となる一連のリフォーカス画像を生成することになる。これにより、リフォーカス動画像と、追尾した被写体の合焦位置を示す時系列な線グラフWFと、を自動生成し、かつ、表示することができる。また、これにより、どの被写体が追尾されていたかを確認することができる。
【0090】
また、入力デバイス427の一例として、2個以上のマイクで構成される集音部433を用いてもよい。この場合、2個のマイクは、音源となる被写体の方向を特定する。そして、撮影部431は、2個のマイクで特定された被写体の方向を追尾してもよい。これにより、音源の合焦位置を示す時系列な線グラフWFを表示することができる。また、これにより、どの被写体が音源として追尾されていたかを確認することができる。
【0091】
<1フレーム切り出し>
図21は、1フレーム切り出しの表示例を示す説明図である。1フレーム切り出しとは、リフォーカス動画像を構成する一連のリフォーカス画像のうち、いずれかのリフォーカス画像を選択し、選択リフォーカス画像の合成元となる複数の視差画像PIklを表示する処理である。再生装置400は、たとえば、選択リフォーカス画像の合成元となるRAWデータを、jpegなどの画像に変換して、再生部435により、複数の視差画像PI11~PI55として表示する。リフォーカス動画像の再生中に、選択リフォーカス画像について同一再生位置である複数の視差画像PI11~PI55を表示することにより、あたかもスローモーションで再生するかのような映像を異なる視線方向で提供することができる。なお、再生装置400は、切り出したリフォーカス画像についての複数の視差画像PI11~PI55をすべて表示する必要はなく、所定枚数間引いて表示してもよい。
【0092】
図22は、1フレーム切り出し処理手順例を示すフローチャートである。再生装置400は、ユーザの操作入力により、リフォーカス画像を切り出す再生位置を1以上指定する(ステップS2201)。つぎに、再生装置400は、再生部435により、再生開始信号を待ち受ける(ステップS2202:No)。再生開始信号が検出された場合(ステップS2202:Yes)、再生装置400は、再生部435により、リフォーカス動画像の再生を開始する。そして、再生装置400は、切り出し再生位置に到達していない場合(ステップS2203:No)、ステップS2206に移行する。
【0093】
一方、切り出し再生位置に到達した場合(ステップS2203:Yes)、再生装置400は、再生部435により、切り出し再生位置のリフォーカス画像の合成元となる複数の視差画像PI11~PI55を記憶デバイス423から取得し(ステップS2204)、表示画面100(たとえば、第1表示領域101)に表示する(ステップS2205)。この場合、リフォーカス動画像の再生を一定時間停止してもよい。これにより、ユーザは、一定期間の間、複数の視差画像PI11~PI55に集中して見ることができる。そして、再生装置400は、再生終了信号を検出していない場合(ステップS2206:No)、ステップS2203に戻る。
【0094】
なお、ステップS2205で複数の視差画像PI11~PI55を表示する場合、再生装置400は、マイクロレンズアレイ412におけるマイクロレンズLijの配列順に対応する順序で、複数の視差画像PI11~PI55を表示してもよい。これにより、視差が連続的に変化するように複数の視差画像PI11~PI55を表示することができる。このように、1フレーム切り出しにより、あたかもスローモーションで再生するかのような映像を異なる視線方向で提供することができる。
【0095】
また、当該1フレーム切り出しにおいて、複数の視差画像PI11~PI55の中からユーザ操作により任意の視差画像PIklが選択された場合、再生装置400は、生成部434により、選択した視差画像PIklを合焦位置として、選択リフォーカス画像を再合成してもよい。これにより、ユーザは、意図した視差画像にピントが合うリフォーカス画像を得ることができる。
【0096】
<描画線グラフからのリフォーカス動画像の生成例>
上述した例では、一連のリフォーカス画像を生成してから、各リフォーカス画像の再生位置および合焦位置を示す線グラフWFを生成する例について説明したが、再生装置400は、先にユーザ操作により線グラフWFを描画して、その後、描画した線グラフWFの各再生位置における合焦位置で、生成部434により、一連のリフォーカス画像を生成してもよい。これにより、ユーザが意図した連続的な合焦位置で一連のリフォーカス画像を生成することができる。
【0097】
図23は、描画線グラフからのリフォーカス動画像の生成処理手順例を示すフローチャートである。まず、再生装置400は、第2表示領域102において線グラフWFの描画を検出する(ステップS2301)。つぎに、再生装置400は、線グラフWF上のポイントである再生位置および合焦位置の組み合わせを記録する(ステップS2302)。そして、再生装置400は、当該組み合わせにおいて、未選択の再生位置があるか否かを判断する(ステップS2303)。未選択の再生位置がある場合(ステップS2303:Yes)、再生装置400は、未選択の再生位置を選択し(ステップS2304)、選択再生位置に対応する合焦位置を描画した線グラフWFから取得する(ステップS2305)。そして、再生装置400は、生成部434により、選択再生位置のRAWデータを記憶デバイス423から読み出し、当該RAWデータを取得合焦位置で合成して、リフォーカス画像を生成する(ステップS2306)。
【0098】
具体的には、たとえば、再生装置400は、取得したRAWデータを、JPEGなどの複数の画像データに変換する。変換された複数の画像データは、視差が異なる画像データ群である。再生装置400は、当該画像データ群を、関連付けされた合焦位置で合成することで、リフォーカス画像を生成する。これにより、取得したRAWデータからリフォーカス画像が得られる。この後、ステップS2302に戻る。
【0099】
ステップS2303において、未選択の再生位置がない場合(ステップS2303:No)、再生装置400は、再生部435により、ステップS2306で生成された一連のリフォーカス画像を動画形式に圧縮する(ステップS2307)。そして、再生装置400は、動画形式に圧縮した圧縮データをリフォーカス動画像として記憶デバイス423に保持する(ステップS2308)。このように、
図22および
図23によれば、ユーザが意図した連続的な合焦位置で一連のリフォーカス画像を生成することができる。
【0100】
<サムネイル表示>
図24は、動画ファイルでのサムネイル表示例を示す説明図である。
図24の(A)では、再生装置400は、表示制御部436により、表示画面100において、リフォーカス動画像の動画ファイルのアイコンICを、フォルダ2400内に表示する。アイコンICは、リフォーカス動画像の再生指示およびサムネイル画像の表示指示を受け付けるシンボルである。ユーザ操作により、あるアイコンICをマウスカーソルMCで再生指示(たとえば、シングルクリックまたはダブルクリック)をすると、再生装置400は、再生部435により、リフォーカス動画像を再生する。
【0101】
一方、ユーザ操作により、あるアイコンICをマウスカーソルMCでサムネイル画像の表示指示(たとえば、アイコンICでポイント)をすると、(B)に示すように、再生装置400は、表示指示されたアイコンICで再生されるリフォーカス動画像において、表示制御部436により、被写体に合焦しているリフォーカス画像の当該被写体に関するサムネイル画像Sを表示する。サムネイル画像Sは、当該リフォーカス画像の縮小画像でもよく、合焦している被写体の縮小画像でもよい。これにより、動画ファイルをオープンする前に、どのような被写体にピントが合ったリフォーカス画像が表示されるかを確認することができる。
【0102】
また、表示対象となるサムネイル画像Sは、合焦位置が異なる複数のサムネイル画像(例として3枚のサムネイル画像Sa,Sb,Sc)でもよい。たとえば、表示対象となる複数のサムネイル画像Sa,Sb,Scは、再生位置および合焦位置が異なる複数のリフォーカス画像のサムネイル画像でもよい。これにより、動画ファイルをオープンする前に、異なる再生位置で、それぞれ、どのような被写体にピントが合ったリフォーカス画像が表示されるかを確認することができる。また、表示対象となる複数のサムネイル画像Sa,Sb,Scは、再生位置が同一で、かつ、合焦位置が異なる複数のリフォーカス画像のサムネイル画像でもよい。これにより、動画ファイルをオープンする前に、同じ再生位置で合焦位置を変更したらどのようなリフォーカス画像になるかを確認することができる。
【0103】
図25は、サムネイル画像表示処理手順例を示すフローチャートである。再生装置400は、サムネイル画像の表示指示を待ち受ける(ステップS2501)。表示指示が検出された場合(ステップS2501:Yes)、再生装置400は、表示指示されたアイコンICに対応する動画ファイルを特定し(ステップS2502)、当該アイコンIC近傍に、合焦位置が異なる1以上のサムネイル画像を表示する(ステップS2503)。そして、ステップS2501に戻る。
【0104】
ステップS2501において、サムネイル表示指示が検出されていない場合(ステップS2501:No)、再生装置400は、動画ファイルの再生指示を待ち受ける(ステップS2504)。再生指示がない場合(ステップS2504:No)、ステップS2501に戻る。
【0105】
一方、再生指示がある場合(ステップS2504:Yes)、再生装置400は動画ファイルを再生する。そして、再生装置400は、リフォーカス動画像から、合焦位置が異なる1以上のリフォーカス画像を取得する(ステップS2505)。そして、再生装置400は、取得したリフォーカス動画像をサムネイル画像に変換して記憶デバイス423に保持する(ステップS2506)。そして、ステップS2501に戻る。このように、サムネイル表示処理によれば、動画ファイルをオープンする前に、どのような被写体にピントが合ったリフォーカス画像が表示されるかを確認することができる。
【0106】
このように、本実施例にかかる再生装置400は、視差が異なる複数の画像(視差画像PI11~PI55)を合成したリフォーカス画像の時系列な集合である一連のリフォーカス画像によって構成される動画を表示画面100に再生する再生部435と、表示画面100を制御して、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報を表示画面100に表示する表示制御部436と、を有する。これにより、再生された一連のリフォーカス画像の各々の合焦位置を直感的に把握することができる。
【0107】
また、表示制御部436は、リフォーカス画像の再生位置を示す情報を当該リフォーカス画像の合焦位置に関連付けて表示してもよい。これにより、どのリフォーカス画像のどの被写体がどの合焦位置にあるかを特定することができる。したがって、リフォーカス動画像において合焦位置の連続的な変化を特定することができる。
【0108】
また、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報は、たとえば、再生位置を示す第1軸(時間軸1212)と合焦位置を示す第2軸(距離軸122)とにより構成される座標系120において、一連のリフォーカス画像の再生位置による合焦位置の変化を示す線グラフWFである。これにより、再生された一連のリフォーカス画像の各々の合焦位置を直感的かつ明示的に把握することができる。
【0109】
また、再生装置400は、線グラフ上の特定の合焦位置の移動を検出する検出部432と、検出部432によって特定の合焦位置の第2軸(距離軸122)の方向への移動が検出された場合、特定の合焦位置に対応する特定の再生位置のリフォーカス画像の合成元である視差が異なる複数の特定画像(視差画像PI11~PI55)を、移動後の合焦位置に合焦するように再合成する生成部434と、を有する。そして、再生部435は、生成部434によって再合成されたリフォーカス画像を表示画面100に再生し、表示制御部436は、表示画面100を制御して、移動後の合焦位置に基づいて線グラフWFを補間して補間後の線グラフWFを表示画面100に表示する。これにより、ユーザが操作していない再生位置のリフォーカス画像についても合焦位置を変更することができる。したがって、合焦位置の連続的な変化を維持することができる。
【0110】
また、再生部435は、動画を構成する第1のリフォーカス画像を表示画面100に再生し、第1リフォーカス画像よりも時間的に先行する第2のリフォーカス画像を表示画面100に再生してもよい。具体的には、再生部435は、第1のリフォーカス画像と第2のリフォーカス画像を表示画面100の異なる領域に再生する。これにより、ユーザは、つぎに被写体が前後どちらに動くかを把握することができ、線グラフWFを変更する際のピントずれを防止することができる。
【0111】
また、再生部435は、第1のリフォーカス画像と第2のリフォーカス画像を表示画面100の同一領域に再生してもよい。これにより、ユーザは、時間差がある被写体の動作の差分を直感的に把握することができ、どの被写体に合焦するかを予測することができる。
【0112】
また、生成部434は、第2のリフォーカス画像の合焦位置を無限遠にすることにより第2のリフォーカス画像のパンフォーカス画像を生成し、再生部435は、パンフォーカス画像を表示画面100に再生してもよい。これにより、先行するリフォーカス動画像の被写体はボケずに表示されるため、ユーザは、先行するリフォーカス動画像を参照して、合焦させる被写体を確認することができる。
【0113】
また、表示制御部436は、表示画面100を制御して、線グラフWFの第2軸(距離軸122)の方向の線幅wをリフォーカス画像の被写界深度として表示し、再生部435は、被写界深度に基づいてリフォーカス画像を表示画面100に表示してもよい。これにより、ユーザは、一連のリフォーカス画像の各々の被写界深度がどの程度あるかを直感的に把握することができる。
【0114】
また、再生装置400は、線グラフWFの第2軸(距離軸122)の方向の線幅wの変更を検出する検出部432と、検出部432によって第2軸(距離軸122)の方向の線幅wの変更が検出された再生位置の特定のリフォーカス画像の被写界深度を、変更後の幅wに基づいて変更することにより、特定のリフォーカス画像の合成元である複数の視差画像PI11~PI55を再合成する生成部434と、を有する。そして、再生部435は、生成部434による再合成後の特定のリフォーカス画像を表示画面100に再生し、表示制御部436は、表示画面100を制御して、変更後の線幅wに基づいて線グラフWFを補間して補間後の線グラフWFを表示画面100に表示する。これにより、簡単な操作で特定のリフォーカス画像の被写界深度を変更することができる。
【0115】
また、再生装置400は、被写体を追尾して撮影する撮影部431と、撮影部431によって撮影された一連の被写体の各々について、複数の視差画像PI11~PI55を合成することにより、被写体までの距離に対応する合焦位置となる一連のリフォーカス画像を生成する生成部434と、を有する。そして、再生部435は、生成部434によって生成された一連のリフォーカス画像により構成される動画(リフォーカス動画像)を表示画面100に再生し、表示制御部436は、表示画面100を制御して、一連のリフォーカス画像の合焦位置と再生位置との関係を示す情報(たとえば、線グラフWF)を表示画面100に表示する。これにより、リフォーカス動画像と、追尾した被写体の合焦位置を示す時系列な線グラフWFと、を自動生成し、かつ、表示することができる。また、これにより、どの被写体が追尾されていたかを確認することができる。
【0116】
また、再生装置400は、音源を特定する指向性の集音部433を有し、撮影部431は、集音部433によって特定された音源となる被写体を追尾してもよい。これにより、音源の合焦位置を示す時系列な線グラフを表示することができる。また、これにより、どの被写体が音源として追尾されていたかを確認することができる。
【0117】
また、再生部435は、動画の再生中に特定の再生位置に到達した場合、一連のリフォーカス画像のうち特定の再生位置の特定のリフォーカス画像の合成元となる複数の視差画像PI11~PI55を表示画面100に再生してもよい。これにより、あたかもスローモーションで再生するかのような映像を異なる視線方向でユーザに提供することができる。
【0118】
また、再生部435は、動画の再生中に特定の再生位置に到達した場合、動画の再生を一定時間停止して、複数の視差画像PI11~PI55を表示画面100に再生してもよい。これにより、ユーザは、一定期間の間、複数の視差画像PI11~PI55に集中して見ることができる。
【0119】
また、再生装置400は、表示画面100上の座標系120において線グラフWFの描画を検出する検出部432と、検出部432によって線グラフWFの描画が検出された場合、線グラフWFの各再生位置において、線グラフWFが示す合焦位置に合焦するように一連のリフォーカス画像を生成する生成部434と、を有する。そして、再生部435は、生成部434によって生成された一連のリフォーカス画像によって構成される動画(リフォーカス動画像)を表示画面100に再生する。これにより、ユーザが意図した連続的な合焦位置で一連のリフォーカス画像を生成することができる。
【0120】
また、動画(リフォーカス動画像)の再生指示およびサムネイル表示指示を表示画面100で受け付けるアイコンが表示されており、再生装置400は、再生指示およびサムネイル表示指示を検出する検出部432を有する。そして、再生部435は、検出部432によって再生指示が検出された場合、動画を表示画面100に再生し、表示制御部436は、検出部432によってサムネイル表示指示が検出された場合、合焦位置における被写体のサムネイル画像を表示する。これにより、動画ファイルをオープンする前に、どのような被写体にピントが合ったリフォーカス画像が表示されるかを確認することができる。
【0121】
また、表示制御部436は、合焦位置が異なる複数の被写体のサムネイル画像を表示してもよい。たとえば、表示対象となる複数のサムネイル画像が、再生位置および合焦位置が異なる複数のリフォーカス画像のサムネイル画像であれば、動画ファイルをオープンする前に、異なる再生位置で、それぞれ、どのような被写体にピントが合ったリフォーカス画像が表示されるかを確認することができる。また、表示対象となる複数のサムネイル画像が、再生位置が同一で、かつ、合焦位置が異なる複数のリフォーカス画像のサムネイル画像であれば、動画ファイルをオープンする前に、同じ再生位置で合焦位置を変更したらどのようなリフォーカス画像になるかを確認することができる。
【0122】
なお、上述した実施の形態では、複数の視差画像を用いてリフォーカス画像を生成したが、再生装置400は、2眼カメラから得られる同一被写体のカラーイメージ画像とモノクロイメージ画像を用いて、リフォーカス画像を生成してもよい。より具体的には、たとえば、再生装置400は、カラーイメージ画像とモノクロイメージ画像との視差量を算出し、視差量を用いてカラーイメージ画像とモノクロイメージ画像との合成画像を生成し、視差量を用いて被写体までの距離を算出し、フォーカス対象となる特定の被写体までの距離に応じたフィルタ処理を合成画像に施すことで、特定の被写体にピントが合ったリフォーカス画像を生成する。
【0123】
また、再生装置400は、光線追跡を行ってレンダリングすることにより、リフォーカス画像を生成してもよい。これにより、視差画像を合成する場合よりも、高精細なリフォーカス画像を生成することができる。このように、視差画像や合成画像を用いないリフォーカス画像を本実施例に適用してもよい。
【符号の説明】
【0124】
B バー、WF 線グラフ、100 表示画面、400 再生装置、412 マイクロレンズアレイ、413 フォーカス調整部、421 撮像素子、431 撮影部、432 検出部、433 集音部、434 生成部、435 再生部、436 表示制御部