特許 6429588 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6429588

(24)【登録日】2018年11月9日

(45)【発行日】2018年11月28日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 5/91 20060101AFI20181119BHJP

   H04N 5/92 20060101ALI20181119BHJP

   H04N 5/232 20060101ALI20181119BHJP

【ＦＩ】

   H04N5/91

   H04N5/92

   H04N5/232 290

   H04N5/232 300

   H04N5/232 930

【請求項の数】6

【全頁数】28

(21)【出願番号】特願2014-215521(P2014-215521)

(22)【出願日】2014年10月22日

(65)【公開番号】特開2016-82546(P2016-82546A)

(43)【公開日】2016年5月16日

【審査請求日】2017年10月17日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100101498

【弁理士】

【氏名又は名称】越智 隆夫

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(74)【代理人】

【識別番号】100128668

【弁理士】

【氏名又は名称】齋藤 正巳

(72)【発明者】

【氏名】竹田 英史

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開２０１４−１７９８５３（ＪＰ，Ａ）

【文献】 特開２００７−０７４３４３（ＪＰ，Ａ）

【文献】 特開２００９−１５３１４８（ＪＰ，Ａ）

【文献】 特開２００３−２４４５０７（ＪＰ，Ａ）

【文献】 特開２００７−０３６３１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ５／２２２−５／２５７

５／７６−５／７７５

５／８０−５／９５６

(57)【特許請求の範囲】

【請求項1】

現像済みの第１の動画データの再生中にユーザが静止画として切り出す画像として指定した画像の、前記第１の動画データにおけるフレーム位置を、前記第１の動画データの再生中に特定するように構成されたフレーム位置決定手段と、
前記第１の動画データに対応する未現像の第２の動画データから、前記フレーム位置決定手段により特定された前記フレーム位置に対応するフレーム位置の未現像の画像データを読み出して現像する現像手段と、
前記現像手段で現像した前記画像データを、静止画データに圧縮符号化する静止画符号化手段と、
前記静止画符号化手段で圧縮符号化して得た前記静止画データを、記録媒体に記録する記録手段と、を有し、
前記現像手段、前記静止画符号化手段及び前記記録手段による処理が、前記第１の動画データの再生動作と並行して実行するように構成されている
ことを特徴とする画像処理装置。

【請求項2】

前記フレーム位置決定手段は、前記ユーザが前記画像を指定した際に、前記ユーザの指示に応じて、予め用意された複数の現像パラメータの中から一つの現像パラメータを選択するように更に構成されており、
前記現像手段では、前記画像に対応して選択された前記現像パラメータに基づいて現像処理を行う
ことを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記フレーム位置決定手段は、前記ユーザが前記画像を指定した際に、前記ユーザの指示に応じて、予め用意された複数のトリミング領域の中から一つのトリミング領域を選択するように更に構成されており、
前記現像手段では、前記画像に対応して選択されたトリミング領域に基づいて現像処理を行う
ことを特徴とする請求項１又は２記載の画像処理装置。

【請求項4】

前記静止画符号化手段により圧縮符号化した前記静止画データからサムネイル画像を生成して画面に出力する手段と、
前記ユーザからの指示に応じて、前記画面に表示された前記サムネイル画像の中から前記ユーザが必要とする画像を選択するように構成された手段と、
前記記録手段に記録されている記録ファイルのうち、前記ユーザが選択しなかった前記画像に対応する前記静止画データの記録ファイルを削除する手段と
を更に有することを特徴とする請求項１記載の画像処理装置。

【請求項5】

現像済みの第１の動画データの再生中にユーザが静止画として切り出す画像として指定した画像の、前記第１の動画データにおけるフレーム位置を、前記第１の動画データの再生中に特定し、
前記第１の動画データに対応する未現像の第２の動画データから、特定された前記フレーム位置に対応するフレーム位置の未現像の画像データを読み出して現像する処理、現像した前記画像データを、静止画データに圧縮符号化する処理、及び圧縮符号化して得た前記静止画データを、記録媒体に記録する処理を、前記第１の動画データの再生動作と並行して実行する
ことを特徴とする画像処理方法。

【請求項6】

前記第２の動画データを取得し、前記第２の動画データと、前記第２の動画データに対して現像処理を行った前記第１の動画データとを同時に記録する撮像装置と、
請求項１乃至４のいずれか１項に記載の画像処理装置と
を有することを特徴とする画像記録再生装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に係り、特に、動画のＲＡＷ画像を扱う画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

従来の撮像装置では、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）をディベイヤー処理（デモザイク処理）し、輝度信号と色差信号とに変換後、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの、所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。

【0003】

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する劣化を最低限に抑えつつ撮影後に編集できる利点があるため、上級者によって好んで使われている。

【0004】

近年では、画像処理回路の高速化、記録媒体の大容量化に伴い、圧縮符号化した画像データとＲＡＷ画像データとの両方を同時に記録する撮像装置も提案されている。この同時記録可能な撮像装置では、データ量が少ない圧縮符号化した画像データをプロキシデータとして扱い、本画像であるＲＡＷ画像データへは直接アクセスせず、プロキシデータ上でシーン開始及び終了位置指定、子画面への出力等の機能を実現している。このように、圧縮符号化した画像データは、撮影後の編集作業の簡易化、高速化する用途に採用されている。

【0005】

また他方では、記録後の圧縮符号化した動画データを再生している途中に、ユーザが指定した任意の画像フレームのみを切り出し、ＪＰＥＧ等の印刷可能な静止画データ形式として動画データとは別に保存記録する静止画キャプチャ機能が提案されている。しかしながら、印刷用途に適した静止画像の画面サイズは動画像の画面サイズよりも大きく、また圧縮符号化に伴う画質の劣化も存在するため、必ずしも高品質な静止画を得ることはできなかった。

【0006】

特許文献１には、印刷指定した動画データ中のフレーム画像と、当該フレーム画像の参照フレーム画像とを用いて補間画素を生成し、より大きな画面サイズの合成画像を取得する手段が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００５−２８６６１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１に記載のような、圧縮符号化した動画データの復号後に複数枚の参照フレーム画像を保持して画像合成する方法では、被写体の動きが多い画像やシーンチェンジが発生する画像の場合、参照フレーム画像と復号画像との相関が低くなる。このため、必ずしも高画質な静止画が得られるとは限らなかった。

【0009】

ＲＡＷ画像データと圧縮符号化した動画データとを同時記録可能な撮像装置の構成であれば、画質劣化のないＲＡＷ画像データを後から現像することで高品質な静止画を取得することは可能である。しかしながら、この方法では、静止画の切り出し位置を指定するためにその都度プロキシ動画の再生を一時停止し、ＲＡＷ画像の現像処理を行う必要があるため、ユーザ操作の煩雑さを生じ、作業負荷が大きくなる虞があった。

【0010】

本発明の目的は、動画の再生中に一時停止することなく、ユーザが選択した所望のフレーム位置の高精細な静止画データをＲＡＷ画像から現像して生成することが可能な画像処理装置及び画像処理方法を提供することにある。

【課題を解決するための手段】

【0011】

本発明の一観点によれば、現像済みの第１の動画データの再生中にユーザが静止画として切り出す画像として指定した画像の、前記第１の動画データにおけるフレーム位置を、前記第１の動画データの再生中に特定するように構成されたフレーム位置決定手段と、前記第１の動画データに対応する未現像の第２の動画データから、前記フレーム位置決定手段により特定された前記フレーム位置に対応するフレーム位置の未現像の画像データを読み出して現像する現像手段と、前記現像手段で現像した前記画像データを、静止画データに圧縮符号化する静止画符号化手段と、前記静止画符号化手段で圧縮符号化して得た前記静止画データを、記録媒体に記録する記録手段と、を有し、前記現像手段、前記静止画符号化手段及び前記記録手段による処理が、前記第１の動画データの再生動作と並行して実行するように構成されている画像処理装置が提供される。

【0012】

また、本発明の他の一観点によれば、現像済みの第１の動画データの再生中にユーザが静止画として切り出す画像として指定した画像の、前記第１の動画データにおけるフレーム位置を、前記第１の動画データの再生中に特定し、前記第１の動画データに対応する未現像の第２の動画データから、特定された前記フレーム位置に対応するフレーム位置の未現像の画像データを読み出して現像する処理、現像した前記画像データを、静止画データに圧縮符号化する処理、及び圧縮符号化して得た前記静止画データを、記録媒体に記録する処理を、前記第１の動画データの再生動作と並行して実行する画像処理方法が提供される。

【発明の効果】

【0013】

本発明によれば、動画再生中に一時停止することなくユーザが選択した所望のフレーム位置の高精細な静止画データをＲＡＷ画像から現像して生成することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の第１実施形態による画像記録再生装置の概略構成を示すブロック図である。

【図2】本発明の第１実施形態による画像処理方法を示すフローチャートである。

【図3】本発明の第１実施形態による画像処理方法におけるアクセス管理情報のデータ構造を示す図である。

【図4】本発明の第１実施形態による画像処理方法における動作タイミングと出力画面の遷移を示す図である。

【図5】本発明の第２実施形態による画像記録再生装置の概略構成を示すブロック図である。

【図6】本発明の第２実施形態による画像処理方法におけるキャプチャ位置情報のデータ構造を示す図である。

【図7】本発明の第２実施形態による画像処理方法を示すフローチャートである。

【図8】本発明の第２実施形態による画像処理方法における動作タイミングと出力画面の遷移を示す図である。

【図9】本発明の第３実施形態による画像処理方法を示すフローチャートである。

【図10】本発明の第３実施形態による画像処理方法における動作タイミングと出力画面の遷移を示す図である。

【図11】本発明の第４実施形態による画像処理方法を示すフローチャートである。

【図12】本発明の第４実施形態による画像処理方法における動作タイミングと出力画面の遷移を示す図である。

【図13】本発明の第５実施形態による画像記録再生装置の概略構成を示すブロック図である。

【図14】本発明の第５実施形態による画像処理方法を示すフローチャートである。

【図15】本発明の第５実施形態による画像処理方法におけるパネル出力例を示す図である。

【図16】本発明の第６実施形態による画像記録再生装置の概略構成を示すブロック図である。

【図17】本発明の第６実施形態による画像処理方法を示すフローチャートである。

【図18】本発明の第６実施形態による画像処理方法におけるパネル出力例を示す図である。

【図19】本発明の第７実施形態による画像処理方法を示すフローチャートである。

【図20】本発明の第７実施形態による画像処理方法における動作タイミングと出力画面の遷移を示す図である。

【発明を実施するための形態】

【0015】

［第１実施形態］
本発明の第１実施形態による画像記録再生装置及び画像処理方法について、図１乃至図４を用いて説明する。
図１は、本実施形態による画像記録再生装置のブロック図である。図２は、本実施形態による画像処理方法を示すフローチャートである。図３は、本実施形態による画像処理方法におけるアクセス管理情報のデータ構造を示す図である。図４は、本実施形態による画像処理方法における動作タイミングと出力画面の遷移を示す図である。

【0016】

＜システム構成＞
本実施形態による画像記録再生装置のシステム構成について、図１を用いて説明する。
本実施形態による画像記録再生装置１００は、図１に示すように、撮像部１０１、現像部１０２、ＲＡＷ伸張部１０３、ＲＡＷ圧縮部１０４を有している。また、表示処理部１０５、静止画伸張部１０６、動画伸張部１０７、静止画圧縮部１０８、動画圧縮部１０９、表示部１１０、記録再生部１１１、記録媒体１１２、システム制御部１１３、操作部（ユーザインタフェース部）１１４を有している。

【0017】

撮像部１０１は、レンズ（光学部材）や撮像センサ等を含むカメラ部であって、レンズから取り込んだ光信号をセンサにて電気信号へ変換した後、この画像情報を後段の現像部１０２及びＲＡＷ圧縮部１０４へ伝送する機能ブロックである。なお、本明細書では、撮像部１０１から出力される画像情報を、生（未現像）の画像を意味する「ＲＡＷ画像」と称す。

【0018】

現像部１０２は、ＲＡＷ画像に対してディベイヤー処理（デモザイク処理）を施し、輝度信号と色差信号とに変換後、各信号に含まれるノイズ除去、光学的な歪の補正、画像の適正化などの、いわゆる現像処理を行うための機能ブロックである。

【0019】

現像部１０２によって現像処理された画像データは、表示処理部１０５において後述する所定の表示処理がなされた後、表示部１１０にて表示される。現像部１０２によって現像処理された画像データは、静止画圧縮部１０８及び動画圧縮部１０９にも供給される。静止画圧縮部１０８は、画像データを静止画として圧縮するための機能ブロックである。動画圧縮部１０９は、画像データを動画として圧縮するための機能ブロックである。

【0020】

ＲＡＷ伸張部１０３は、ＲＡＷ圧縮部１０４で圧縮符号化されたＲＡＷデータの記録ファイルを記録再生部１１１を介して記録媒体１１２から読み出して復号伸張するための機能ブロックである。ＲＡＷ伸張部１０３は、後からユーザが各種パラメータを調整して現像処理が行えるように、復号伸張したＲＡＷ画像を現像部１０２へ供給する。

【0021】

ＲＡＷ圧縮部１０４は、撮像部１０１が出力したＲＡＷ画像を、ウェーブレット変換や差分符号化等の圧縮技術を用いて高能率符号化し、圧縮符号化されたデータファイル形式に変換するための機能ブロックである。圧縮符号化された画像データは、記録再生部１１１を介して記録媒体１１２に記録ファイルとして記録される。

【0022】

表示処理部１０５は、取得した画像データに対して、解像度変換や色調変換等の画像処理や、タイムコードや撮像パラメータ（絞り、シャッタスピード、顔検出領域枠）等の情報をＯＳＤ重畳する処理などを行うための機能ブロックである。処理対象の画像データには、撮像部１０１又はＲＡＷ伸張部１０３から取得して現像部１０２で現像処理を行った画像データ、記録再生部１１１から読み出し静止画伸張部１０６又は動画伸張部１０７にてデコードした復号画像データが含まれる。

【0023】

静止画伸張部１０６は、記録再生部１１１を介して記録媒体１１２から読み出した、ＪＰＥＧ方式等の公知の静止画符号化方式を用いて圧縮符号化された静止画データをデコードして復号画像データを取得するための機能ブロックである。復号画像データは、静止画伸張部１０６から表示処理部１０５へ出力される。

【0024】

動画伸張部１０７は、記録再生部１１１を介して記録媒体１１２から読み出した、ＭＰＥＧ−２，Ｈ．２６４，Ｈ．２６５等の公知の動画圧縮符号化方式を用いて圧縮された動画データをデコードして復号画像データを取得するための機能ブロックである。復号画像データは、動画伸張部１０７から表示処理部１０５へ出力される。

【0025】

静止画圧縮部１０８は、現像部１０２にて現像された画像データに対して上述した公知の静止画圧縮符号化技術を用いて情報圧縮を行うための機能ブロックである。情報圧縮した静止画データは、静止画圧縮部１０８から記録再生部１１１へ出力される。記録再生部１１１へ出力された静止画データは、静止画ファイルデータとして記録媒体１１２へ記録される。

【0026】

動画圧縮部１０９は、現像部１０２にて現像された画像データに対して上述した公知の動画圧縮符号化技術を用いて情報圧縮を行うための機能ブロックである。情報圧縮した動画データは、動画圧縮部１０９から記録再生部１１１へ出力される。記録再生部１１１へ出力された動画データは、動画ファイルデータとして記録媒体１１２へ記録される。

【0027】

表示部１１０は、表示処理部１０５で画像処理された記録画像又は再生画像を、ＥＶＦや液晶パネル等の表示デバイスへ出力する機能や、ＨＤＭＩ（登録商標）等のインタフェースを用いて外部出力する機能を有する機能ブロックである。

【0028】

記録再生部１１１は、記録媒体１１２への各種画像データの記録再生を制御するための機能ブロックであり、記録した画像データに対してファイル単位でランダムアクセス可能なＦＡＴ等のファイルシステムを有するものとする。

【0029】

記録媒体１１２としては、ＳＳＤ、ＳＤカード、ＣＦカード、ＨＤＤ等の大容量記録媒体が想定される。記録媒体１１２は、圧縮されたＲＡＷデータ、静止画データ、動画データをリアルタイムで記録再生できる転送レートを有するものとする。

【0030】

システム制御部１１３は、上述の機能ブロックの各々に対して動作の開始及び停止、パラメータ設定等の全体動作を、図示せぬＣＰＵ等のプロセッサ、マイクロコントローラによって制御するための機能ブロックである。システム制御部１１３は、後述の画像処理方法の各ステップを、上述の機能ブロックを介してコンピュータに実行させるための処理手順が記述された制御プログラム及びそのデータなどが記憶されたコンピュータ読み出し可能な可読記録媒体を含む。可読記録媒体としては、ハードディスクの他、形態自在な光ディスク、光磁気ディスク、磁気ディスクおよびＩＣメモリなどで構成されていてもよい。この制御プログラム及びそのデータなどがＲＯＭに記憶されるが、この制御プログラム及びそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してダウンロードされてもよい。

【0031】

操作部１１４は、タッチパネル、ボタン、ダイヤル等のユーザインタフェース用デバイスを介して、ユーザが指定した当該システムの動作モードや選択決定情報等をシステム制御部１１３に通知するための機能ブロックである。

【0032】

以上が、本実施形態による画像処理装置におけるシステム構成の概略である。

【0033】

なお、本明細書では、撮像部１０１を主体とする画像データを取得するための機能ブロックを撮像装置、撮像装置から取得した画像データを処理するためのその他の機能ブロックを画像処理装置と呼ぶこともある。

【0034】

＜処理フロー＞
本実施形態による画像処理方法について、図２及び図３を用いて説明する。
本実施形態による画像処理方法は、図２に示す処理フローを含む。この処理フローに従った処理は、現像済みの画像データを動画圧縮部１０９で圧縮符号化して記録した動画データを、プロキシ画像として記録媒体１１２から読み込み、表示部１１０で表示するまでの一連の再生動作時に実行される。この処理フローは、１フレームを単位としたタイミングで実行されるものとする。なお、記録媒体１１２には、予め、ＲＡＷ動画データと、このＲＡＷ動画データと同時に記録されたプロキシ動画データとが記録されているものとする。

【0035】

まず、ステップＳ２０１では、現在のシステム動作状態がプロキシ動画データ再生中であるかどうかを判断する。

【0036】

ＲＡＷ動画データの記録中や静止画の記録中等、プロキシ動画データの再生中ではない場合（ステップＳ２０１のＦＡＬＳＥ）は、本処理フローを終了する。

【0037】

プロキシ動画の再生中の場合（ステップＳ２０１のＴＲＵＥ）は、通常動作として、動画伸張部１０７にて復号画像をデコードして取得する。そして、表示処理部１０５にて画像処理を行った後、表示部１１０へ出力する動作をフレーム単位でリアルタイムに行う（ステップＳ２０２）。

【0038】

さらに本実施形態による画像処理方法では、ステップＳ２０２の処理ステップと並行して、ステップＳ２０３からステップＳ２０８までの処理ステップをバックグランドで実行する。すなわち、ステップＳ２０２の処理ステップと、ステップＳ２０３からステップＳ２０８までの処理ステップとの並列処理を行う。

【0039】

ステップＳ２０３では、現在表示出力中の画像データについて、ユーザから、タッチパネル等の操作部１１４を介して、動画からの静止画切り出し（キャプチャ）指示があったかどうかを判断する。

【0040】

キャプチャ指示がなかった場合（ステップＳ２０３のＦＡＬＳＥ）は、ステップＳ２０９に移行する。

【0041】

キャプチャ指示があった場合（ステップＳ２０３のＴＲＵＥ）は、未現像のＲＡＷ動画データから、現在表示中のプロキシ動画のフレーム時間位置と同じフレーム時間位置に対応する画像データの読み込みを行う（ステップＳ２０４）。

【0042】

ステップＳ２０４の処理を実現する具体例として、ここでは図３に示すアクセス管理情報を用いてフレーム位置特定を行う方法を説明する。ただし、ステップＳ２０４を実施する方法は、プロキシ画像と未現像ＲＡＷ画像との同時刻のフレーム位置を関連付ける手段を有するものであればよく、ここで説明する方法に限定されるものではない。

【0043】

ステップＳ２０４の処理に用いるアクセス管理情報は、圧縮符号化動画データ及び未現像ＲＡＷ動画データの同時記録時に作成され、記録媒体１１２や図示せぬフラッシュメモリ等の不揮発性のメモリ等に記憶し保持される。アクセス管理情報としては、例えば図３（ａ）に示すデータ構造のものを適用することができる。図３（ａ）に示すアクセス管理情報は、ファイル名、記録日時、記録した画像の総フレーム数、そして当該フレーム数分だけリスト形式で、フレーム単位のファイル先頭からのオフセットアドレス及びデータサイズを備えている。

【0044】

アクセス管理情報の生成時には、図３（ｂ）に例示したプロキシ動画データ用と、図３（ｃ）に例示したＲＡＷ動画データ用の、２つのアクセス管理情報を生成する。こうすることで、所定の命名規則を付けたファイル名であればファイル名から、或いは、同じ記録日時から、同時記録した２つの動画データであることを判定可能になる。そして、アクセス管理情報のフレーム数に対応したリスト構造のデータから、同じフレーム位置にある各画像データの記録位置とデータサイズとを取得することが可能になる。

【0045】

例えば、プロキシ動画ファイル（ファイル名、ＭＯＶＩＥｎｎｎ．２６４）の２フレーム目の表示中にキャプチャ指示があったものとする。この場合、アクセス管理情報を参照して、ＲＡＷ動画ファイル（ファイル名、ＭＯＶＩＥｎｎｎ．ｒａｗ）の２フレーム目の情報、オフセットアドレス０ｘ１５０００から、データサイズ０ｘ２００００分読みこむ処理を行う。

【0046】

このようにして、アクセス管理情報を適用して、キャプチャ指示のあったフレーム位置と同じフレーム位置のＲＡＷ画像データを読み込むことができる。なお、ここで読み込まれるＲＡＷ画像データは、圧縮符号化されたＲＡＷ画像データである。

【0047】

ステップＳ２０５では、ＲＡＷ伸張部１０３において、読み込んだＲＡＷ画像データを、再度ベイヤデータ（ＲＡＷ画像データ）に復号伸張する。

【0048】

ステップＳ２０６では、現像部１０２において、復号されたキャプチャ指示のフレーム画像に対応するＲＡＷ画像データの現像処理を行う。

【0049】

ステップＳ２０７では、現像処理を行ったデータを静止画圧縮部１０８へ転送し、公知の静止画符号化方式を適用して、静止画データの情報圧縮を行う。

【0050】

そして、ステップＳ２０８では、静止画符号化した画像データを記録ファイルとして記録再生部１１１を介して記録媒体１１２に書き込む。

【0051】

以上のステップＳ２０３からステップＳ２０８までの処理ステップを、ステップＳ２０２にてフレーム単位で表示出力を行う動作の、バックグランド処理として並行して行う。

【0052】

続いて、ステップＳ２０９において、プロキシ画像の表示出力がファイル終端に到達し又はユーザ操作により再生停止指示を受信して、最終フレーム画像であると判断された場合（ステップＳ２０９のＴＲＵＥ）は、本処理フローを終了する。次のフレーム期間に復号及び表示出力するプロキシ画像データがまだ残っている場合（ステップＳ２０９のＦＡＬＳＥ）は、ステップＳ２０１に移行して上述の処理ステップを繰り返す。

【0053】

以上が、本実施形態による画像処理方法における処理フローである。

【0054】

＜適用例＞
本実施形態による上述の処理フローを適用して、動画再生中に、再生動作を停止することなく静止画キャプチャを行った場合の動作例について、図４を用いて説明する。

【0055】

図４には、時間方向に対する、再生画像の出力画面（パネル出力）、静止画キャプチャ指示、プロキシ動画再生、圧縮ＲＡＷデータリード、圧縮ＲＡＷデータ伸張、現像処理、静止画圧縮符号化及び静止画データライトの動作状態を示している。各機能ブロックの動作状態を示す波形は、動作中をＨＩＧＨ、停止中をＬＯＷとして表すものとする。また、プロキシ動画再生は、１画面を処理する時間を１フレーム期間として、この期間内に一画面分の復号及び表示処理を行うものとする。

【0056】

図４は、動画再生中に、時刻ｔ_Ａ，ｔ_Ｂ，ｔ_Ｃにおいて計３回、静止画キャプチャ指示が行われたタイミング（図中のキャプチャ指示信号がＨＩＧＨになった期間）で静止画キャプチャを行ったケースを示している。

【0057】

キャプチャ指示は、例えば、表示出力中の再生画像を、タッチパネル等を介してユーザが画面にタッチしたことを受けて、操作部１１４からシステム制御部１１３にコマンドとして通知することができる。ただし、同じ機能を実現する手段であれば、ユーザからのキャプチャ指示を認識してコマンドとして通知する手段は、特に限定されるものではない。

【0058】

時刻ｔ_Ａにおいて、キャプチャ画像Ａのキャプチャ指示を受信したものとする。時刻ｔ_Ａは、プロキシ動画再生においては、点描で示した網掛けをしたフレーム期間に対応する。そこで、当該フレーム期間に表示中の符号化圧縮データのフレーム位置に対応するＲＡＷ動画データを、上述のアクセス管理情報を用いて読み出す（圧縮ＲＡＷデータリード）。そして、上述の圧縮ＲＡＷデータ伸張、現像処理、静止画圧縮符号化及び記録（静止画データライト）の一連の処理を順番に行うことで、静止画キャプチャを実施する。

【0059】

このとき、それぞれの処理ステップの処理時間は、処理データ量や図示せぬデータバスの占有率、機能ブロックの処理性能等の制約によって、必ずしも１フレーム期間内に完了する必要はなく、バックグラウンド処理としてプロキシ動画再生と並行して行う。

【0060】

時刻ｔ_Ｂにおけるキャプチャ画像Ｂのキャプチャ指示受信時、時刻ｔ_Ｃにおけるキャプチャ画像Ｃのキャプチャ指示受信時の処理についても同様である。このようにプロキシ動画再生中にキャプチャ指示を行っても、プロキシ動画再生を止めることなく、静止画キャプチャができるようになる。

【0061】

このように、本実施形態によれば、動画再生中に一時停止することなく、ユーザが選択した所望のフレーム位置の高精細な静止画データをＲＡＷ画像から現像して生成することができる。

【0062】

［第２実施形態］
本発明の第２実施形態による画像記録再生装置及び画像処理方法について、図５乃至図８を用いて説明する。図１乃至図４に示す第１実施形態による画像記録再生装置及び画像処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

【0063】

図５は、本実施形態による画像記録再生装置の概略構成を示すブロック図である。図６は、本実施形態による画像処理方法におけるキャプチャ位置情報のデータ構造を示す図である。図７は、本実施形態による画像処理方法を示すフローチャートである。図８は、本実施形態による画像処理方法における動作タイミングと出力画面の遷移を示す図である。

【0064】

第１実施形態では、ユーザがプロキシ動画再生中にキャプチャ指示したタイミングで、表示出力中のフレーム画像と同一時間位置のＲＡＷ画像データを現像し、高画質な静止画像をキャプチャする方法を説明した。

【0065】

本実施形態では、プロキシ動画再生の再生停止後に、プロキシ動画再生中にキャプチャ指示のあったフレーム画像を読み出して、まとめて静止画キャプチャする構成とした画像記録再生装置及び画像処理方法について説明する。

【0066】

＜システム構成＞
本実施形態による画像記録再生装置のシステム構成について、図５を用いて説明する。
本実施形態による画像記録再生装置１００は、図５に示すように、図１に示す第１実施形態による画像記録再生装置１００の構成に加えて、キャプチャ位置情報記憶部５０１を更に有している。

【0067】

キャプチャ位置情報記憶部５０１は、プロキシ動画再生中、ユーザがキャプチャ指示をした時に、プロキシ動画の表示出力フレームと同一時刻のＲＡＷ動画データのフレーム位置情報を生成し、記憶保持する機能を備えたものである。キャプチャ位置情報記憶部５０１は、システム制御部１１３に接続されており、システム制御部１１３によって動作の制御が行われる。システム制御部１１３は、キャプチャ位置情報記憶部５０１に記憶されたキャプチャ位置情報に基づき、他の機能ブロックを制御することが可能である。

【0068】

図６は、キャプチャ位置情報記憶部５０１に記憶されるキャプチャ位置情報のデータ構造の一例である。図６のキャプチャ位置情報は、キャプチャ対象のＲＡＷ動画ファイル名、キャプチャ指定のあったフレーム数を含む。また、当該フレーム数分のリスト構造で、キャプチャ指定のあったフレーム画像データが格納されている位置のファイル先頭からのオフセットアドレスとデータサイズとを含む。

【0069】

キャプチャ位置情報は、プロキシ動画再生中におけるキャプチャ指示の受信時に、システム制御部１１３の指示に基づいて、アクセス管理情報を参照し、キャプチャ指示のあったフレーム位置のアドレス情報とデータサイズとを抽出することにより生成する。

【0070】

その他の機能ブロックについては第１実施形態と同様であるため、ここでは説明を省略する。

【0071】

＜処理フロー＞
本実施形態による画像処理方法について、図７を用いて説明する。
本実施形態による画像処理方法は、図７に示す処理フローを含む。図７に示される処理フローにおけるステップＳ２０１〜Ｓ２０９では、図２に示した第１実施形態の処理フローにおけるステップＳ２０１〜Ｓ２０９と同一の処理が実行される。このため、ステップＳ２０１〜Ｓ２０９における処理については、適宜説明を省略する。

【0072】

まず、ステップＳ２０１では、現在のシステム動作状態がプロキシ動画データ再生中であるかどうかを判断する。ＲＡＷ動画画像の記録中や静止画の記録中等、プロキシ動画データの再生中ではない場合（ステップＳ２０１のＦＡＬＳＥ）は、ステップＳ２０９へ移行する。プロキシ動画の再生中の場合（ステップＳ２０１のＴＲＵＥ）は、通常動作として、動画伸張部１０７にて復号画像をデコードして取得する。そして、表示処理部１０５にて画像処理を行った後、表示部１１０に出力する動作をフレーム単位でリアルタイムに行う（ステップＳ２０２）。

【0073】

さらに本実施形態による画像処理方法では、ステップＳ２０２の処理ステップと並行して、ステップＳ２０３及びステップＳ７０１の処理ステップをバックグランドで実行する。すなわち、ステップＳ２０２の処理ステップと、ステップＳ２０３及びステップＳ７０１の処理ステップとの並列処理を行う。

【0074】

ステップＳ２０３では、現在表示出力中の画像データについて、ユーザからのキャプチャ指示があったかどうかを判断する。

【0075】

キャプチャ指示がなかった場合（ステップＳ２０３のＦＡＬＳＥ）は、ステップＳ２０９に移行する。

【0076】

キャプチャ指示があった場合（ステップＳ２０３のＴＲＵＥ）は、ステップＳ７０１に移行し、キャプチャ指示時に表示中のプロキシ画像と同一時間に位置するＲＡＷ動画のフレーム位置情報を、キャプチャ位置情報記憶部５０１に登録する。キャプチャ位置情報記憶部５０１へは、例えば図６に示したデータ形式のキャプチャ位置情報データを登録する。その後、ステップＳ２０９に移行する。

【0077】

ステップＳ２０９では、プロキシ画像の表示出力がファイル終端に到達し又はユーザ操作により再生停止指示を受信して、最終フレーム画像であるかどうかを判断する。次のフレーム期間に復号及び表示出力するプロキシ画像データがまだ残っている場合（ステップＳ２０９のＦＡＬＳＥ）は、ステップＳ２０１に移行して上述の処理ステップを繰り返す。最終フレーム画像表示となった場合（ステップＳ２０９のＴＲＵＥ）には、ステップＳ７０２に移行する。

【0078】

ステップＳ７０２では、ステップＳ７０１で登録したキャプチャ位置情報の登録数に相当する回数、以降のステップＳ２０４からステップＳ２０８までの処理を繰り返し実行する。このとき、ステップＳ２０４では、ステップＳ７０１で登録したキャプチャ位置情報を参照して、静止画キャプチャするＲＡＷ動画データのみを読み出す。このようにして、各キャプチャ指示に対応する位置のＲＡＷ動画データから静止画ファイルを生成し、記録媒体１１２に記録ファイルとして記録する。

【0079】

なお、本処理フローには図示していないが、本処理フローの実行後には、終了処理としてキャプチャ位置情報を破棄する処理を実行する。これにより、同一ファイルを再度再生したときに、キャプチャ指示をしていないのに前回の登録情報を使ってキャプチャ動作することを防止できる。

【0080】

以上が、本実施形態による画像処理方法の処理フローである。

【0081】

＜適用例＞
本実施形態による上述の動作フローを適用した動作例について、図８を用いて説明する。
図８には、時間方向に対する、再生画像の出力画面、静止画キャプチャ指示、プロキシ動画再生、圧縮ＲＡＷデータリード、圧縮ＲＡＷデータ伸張、現像処理、静止画圧縮符号化及び静止画データライトの動作状態を示している。また、図８には、ステップＳ７０１におけるキャプチャ位置情報の登録処理の実行タイミングについても示している。

【0082】

本実施形態の画像処理方法では、キャプチャ指示をトリガとして指示受信直後からＲＡＷデータの読み込みから静止画記録までの処理をバックグラウンドで行うのではなく、プロキシ動画の再生終了後に、一連のキャプチャ処理をまとめて行う。

【0083】

図８の例では、キャプチャ画像Ａ，Ｂ，Ｃをキャプチャ指示したタイミング（時刻ｔ_Ａ，ｔ_Ｂ，ｔ_Ｃ）で、キャプチャ位置情報ファイルにキャプチャ位置情報を追記していくかたちで登録する。そして、プロキシ動画再生を停止した時点（時刻ｔ_ＥＮＤ）から、パネル画面上には最終フレーム画像の一時停止表示或いはメニュー画面を表示している期間中に、キャプチャ位置情報を参照してキャプチャ画像Ａ、Ｂ，Ｃをまとめて生成する。

【0084】

このような処理を実現することによって、第１実施形態と同様に、プロキシ動画再生を停止することなく、高画質な静止画キャプチャを実現できるようになる。

【0085】

このように、本実施形態によれば、動画再生中に一時停止することなく、ユーザが選択した所望のフレーム位置の高精細な静止画データをＲＡＷ画像から現像して生成することができる。

【0086】

［第３実施形態］
本発明の第３実施形態による画像記録再生装置及び画像処理方法について、図９及び図１０を用いて説明する。図１乃至図８に示す第１及び第２実施形態による画像記録再生装置及び画像処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

【0087】

図９は、本実施形態による画像処理方法を示すフローチャートである。図１０は、本実施形態による画像処理方法における動作タイミングと出力画面の遷移を示す図である。

【0088】

第２実施形態では、静止画キャプチャ指示があったときにキャプチャ位置情報を生成して登録しておき、再生終了時に当該位置情報を参照して、あとから静止画キャプチャをまとめて実行する方法を説明した。

【0089】

本実施形態では、再生終了後に、キャプチャ画像のサムネイル画像をメニュー画面として表示し、選択されたサムネイル画像に対応するキャプチャ画像のみを符号化して記録媒体に保存する構成とした画像記録再生装置及び画像処理方法について説明する。この構成によれば、再生中にユーザがキャプチャ指示を行った後でも、サムネイル表示を介した選択画面を用意することで、キャプチャ指示タイミングを失敗した画像を除去し、本当に気に入った画像だけをキャプチャすることができ、利便性が向上する。

【0090】

＜システム構成＞
本実施形態による画像記録再生装置の基本的なシステム構成は、図５に示す第２実施形態による画像記録再生装置と同様であるため、ここでは説明を省略する。

【0091】

＜処理フロー＞
本実施形態による画像処理方法について、図９を用いて説明する。
本実施形態による画像処理方法は、図９に示す処理フローを含む。図９に示される処理フローにおけるステップＳ２０１〜Ｓ２０９，Ｓ７０１，Ｓ７０２では、図７に示した第２実施形態の処理フローにおけるステップＳ２０１〜Ｓ２０９，Ｓ７０１，Ｓ７０２と同一の処理が実行される。このため、ステップＳ２０１〜Ｓ２０９における処理については、適宜説明を省略する。

【0092】

本実施形態による画像変換方法は、ステップＳ２０９までの処理は、第２実施形態による画像変換方法と同様である。

【0093】

ステップＳ７０２では、ステップＳ７０１で登録したキャプチャ位置情報の登録数に相当する回数、ステップＳ２０４，Ｓ２０５，Ｓ２０６，Ｓ９０１の処理ステップを繰り返し実行する。

【0094】

ステップＳ２０４では、ステップＳ７０１で登録したキャプチャ位置情報を参照して、静止画キャプチャするＲＡＷ動画データのみを読み出す。

【0095】

ステップＳ２０５では、ＲＡＷ伸張部１０３において、読み込んだＲＡＷ画像データを、再度ベイヤデータ（ＲＡＷ画像データ）に復号伸張する。

【0096】

ステップＳ２０６では、現像部１０２において、復号されたキャプチャ指示のフレーム画像に対応するＲＡＷ画像データの現像処理を行う。

【0097】

ステップＳ９０１では、表示処理部１０５において、現像処理を行ったデータに対して縮小処理を行ったサムネイル画像を生成し、再生停止後に表示するキャプチャ画像決定メニュー画面へ出力する。キャプチャ位置情報の登録数に相当する数のサムネイル画像を取得した後、ステップＳ９０２に移行する。

【0098】

ステップＳ９０２では、キャプチャ画像決定メニュー画面上に表示したサムネイル画像の中に、ユーザ操作によってキャプチャを実行すると選択されたサムネイル画像が存在するかどうかを判断する。サムネイル画像と元になる現像済みの画像データとの関連付けは、図示せぬシステム制御部１１３のメモリに記憶する。パネル画面上には、ユーザがキャプチャ実行の決定又はキャンセルをサムネイル画像毎に選択できるＧＵＩアイコンを備えるようにしてもよい。

【0099】

プロキシ動画再生中に１枚以上のキャプチャ指示はあったが、サムネイル表示をしたメニュー画面には気に入ったものがなく、サムネイル画像の選択が行われなかった場合（ステップＳ９０２のＦＡＬＳＥ）は、キャプチャ処理は行われず処理フローは終了する。一方、サムネイル画像の選択によるキャプチャ決定指示があった場合（ステップＳ９０２のＴＲＵＥ）は、ステップＳ９０３に移行する。

【0100】

ステップＳ９０３では、選択された総てのサムネイル画像について、対応する現像済みの画像データを静止画ファイルとするキャプチャ処理が完了するまで、ステップＳ２０７及びステップＳ２０８の処理を繰り返し実行する。

【0101】

ステップＳ２０７では、現像処理を行ったデータを静止画圧縮部１０８へ転送し、公知の静止画符号化方式を適用して、静止画データの情報圧縮を行う。また、ステップＳ２０８では、静止画符号化した画像データを記録ファイルとして、記録再生部１１１を介して記録媒体１１２に書き込む。

【0102】

選択された総てのサムネイル画像に対応する現像済みの画像データに対するキャプチャ処理が完了（ステップＳ９０３のＦＡＬＳＥ）すると、本処理フローは終了する。

【0103】

以上が、本実施形態による画像処理方法における処理フローである。

【0104】

＜適用例＞
本実施形態による上述の処理フローを適用した動作例について、図１０を用いて説明する。
図１０には、時間方向に対する、再生画像の出力画面、静止画キャプチャ指示、キャプチャ位置情報登録、プロキシ動画再生、圧縮ＲＡＷデータリード、圧縮ＲＡＷデータ伸張、現像処理、静止画圧縮符号化及び静止画データライトの動作状態を示している。

【0105】

図１０の例では、図８に示す第２実施形態の場合と同様、プロキシ動画再生中に、キャプチャ画像Ａ，Ｂ，Ｃをキャプチャ指示したタイミング（時刻ｔ_Ａ，ｔ_Ｂ，ｔ_Ｃ）で、キャプチャ位置情報を登録している。

【0106】

本実施形態では、プロキシ動画再生を停止した時点（時刻ｔ_ＥＮＤ）からＲＡＷ画像データの読み込みを開始するが、キャプチャ画像の現像処理が完了した時点で、各現像済み画像データからサムネイル画像を生成してメニュー画面に表示する。

【0107】

図１０の例では、現像完了時に、メニュー画面にキャプチャ画像Ａ，Ｂ，Ｃのサムネイル画像を表示している。そして、複数のサムネイル画像の中からユーザがキャプチャ画像Ｂを選択した時点（時刻ｔ_{ＣＡＰＴＵＲＥ}）から、選択されたサムネイル画像の元になったＲＡＷ動画から生成した現像済みの画像データを静止画符号化し、記録媒体への書き込みを行う。

【0108】

このようにして、再生停止後に一枚ずつ選択及び決定をする判断手段を設けることにより、ユーザの誤操作により間違えたキャプチャ画像の生成を回避できるようになる。

【0109】

このように、本実施形態によれば、動画再生中に一時停止することなく、ユーザが選択した所望のフレーム位置の高精細な静止画データをＲＡＷ画像から現像して生成することができる。また、ユーザが気に入った画像だけをキャプチャすることができ、利便性を向上することができる。

【0110】

［第４実施形態］
本発明の第４実施形態による画像記録再生装置及び画像処理方法について、図１１及び図１２を用いて説明する。図１乃至図１０に示す第１乃至第３実施形態による画像記録再生装置及び画像処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

【0111】

図１１は、本実施形態による画像処理方法を示すフローチャートである。図１２は、本実施形態による画像処理方法における動作タイミングと出力画面の遷移を示す図である。

【0112】

第３実施形態では、プロキシ動画再生終了後に、キャプチャ指示のあった画像データのサムネイル画像を生成してメニュー表示を行い、ユーザが選択決定した画像データのみを静止画符号化してキャプチャ処理する方法を説明した。

【0113】

本実施形態では、ユーザ操作によるキャプチャ指示受信時、当該指示タイミングで表示出力しているフレーム画像に加えて、時間方向に連続するフレームに対応する画像データについても、キャプチャ位置情報を登録する。そして、これらキャプチャ位置情報に基づいて、キャプチャ指示タイミングのフレーム位置と前後フレーム位置のサムネイル画像をメニュー画面上で表示出力し、ユーザ選択されたサムネイルのキャプチャ画像のみを符号化して記録媒体に保存する。これにより、コンテンツの被写体動きが速いシーン等、ユーザが想定した指示タイミングの画像と、実際のキャプチャ画像とで、画質や構図が異なってしまった場合でも、前後フレームを使ってキャプチャ位置を調整することが可能となる。これにより、本当に気に入った画像だけをキャプチャすることができ、利便性が向上する。

【0114】

＜全体システム構成＞
本実施形態による画像記録再生装置の基本的なシステム構成は、図５に示す第２及び第３実施形態による画像記録再生装置と同様であるため、ここでは説明を省略する。

【0115】

＜処理フロー＞
本実施形態による画像処理方法について、図１１を用いて説明する。
本実施形態による画像処理方法は、図１１に示す処理フローを含む。図１１に示す処理フローは、ステップＳ７０１の処理の代わりにステップＳ１１０１の処理を行うほかは、図９に示す第３実施形態による画像処理方法における処理フローと同じである。

【0116】

ステップＳ１１０１は、基本的な処理としては第２及び第３実施形態のステップＳ７０１と同様である。ステップＳ１１０１では、キャプチャ指示のあったフレーム画像に対応するＲＡＷ動画のデータ格納アドレス及びサイズ情報に加えて、その前後のフレーム画像に対応するＲＡＷ動画のデータ格納アドレス及びサイズ情報も、キャプチャ位置情報として登録する。

【0117】

このように生成したキャプチャ位置情報を適用し、ステップＳ７０２以降の処理を実行することで、キャプチャ指示タイミングのフレーム画像に加えて、前後に位置するフレーム画像に対応するＲＡＷ動画の画像データを予め現像しておく。

【0118】

このように生成されたキャプチャ指示タイミングのフレーム画像の画像データ及びその前後のフレーム画像の画像データは、ステップＳ９０１において処理され、メニュー画面へ表示される。結果、ユーザは、サムネイルメニュー画面を確認した後、キャプチャ指示タイミングとは異なる前後に位置する画像に、構図や画質として気に入ったものがあれば、それを選択してキャプチャすることができるようになる。

【0119】

なお、本実施形態では１回のキャプチャ指示に対して、前後のフレーム画像１枚ずつを合わせた３画像分を予め現像する構成を前提としているが、必ずしも１回のキャプチャ指示に対して３画像分を予め現像するように構成する必要はない。画像記録再生装置内に備える図示せぬＤＲＡＭ等のメモリサイズが大きければ、より多くのキャプチャ候補画像を一時的に保持することができるようになる。

【0120】

また、必ずしもキャプチャ指示あったフレームの前後に位置するフレーム画像を両方用いる必要はなく、いずれかのフレーム画像のみを用いてもよい。また、前後のフレーム画像の代わりに、キャプチャ指示あったフレームから特定のフレーム間隔（例えば２フレーム）離間したフレーム画像を用いてもよい。

【0121】

以上が、本実施形態による画像処理方法における処理フローである。

【0122】

＜適用例＞
本実施形態による上述の動作フローを適用した動作例について、図１２を用いて説明する。
図１２の例は、プロキシ動画再生中に、キャプチャ画像Ａ，Ｂ，Ｃをキャプチャ指示したタイミング（時刻ｔ_Ａ，ｔ_Ｂ，ｔ_Ｃ）で、キャプチャ指示タイミングの前後に位置するフレームのＲＡＷ動画データについてもキャプチャ位置情報の登録を行っている。ここでは、キャプチャ画像Ａの前フレームの画像データをＡ’、後続フレーム画像データをＡ”としている。同様の表記方式を適用して、キャプチャ画像Ｂについては、前方フレームの画像データをＢ’、後方フレームの画像データをＢ”とし、キャプチャ画像Ｃについては、前方フレームの画像データをＣ’、後方フレームの画像データをＣ”としている。

【0123】

そして、プロキシ動画再生が停止したタイミング（時刻ｔ_ＥＮＤ）ののち、キャプチャ位置情報を参照し、画像Ａ’〜Ｃ”までの９画像について、順次ＲＡＷデータ読み出しから現像処理までを連続して実行し、サムネイルメニューを生成する。

【0124】

図１２の例では、キャプチャ候補画像Ａ，Ａ’，Ａ”までの３画像のサムネイルをパネル出力画像として表示し、ユーザは当該画面を確認して、所望の画像のみをキャプチャ選択できるようになっている。そしてキャプチャ画像選択決定後、選択決定した画像Ａ，Ａ”，Ｂ，Ｃ’，Ｃ”の５画像について、タイミングｔ_{ＣＡＰＵＲＥ}から、一時記憶した現像後の画像データを使用して、静止画符号化と記録媒体書き込みとを連続して実行する。

【0125】

このような処理を実現することによって、ユーザが想定した画像により近いキャプチャ画像を取得できるようになる。

【0126】

このように、本実施形態によれば、動画再生中に一時停止することなく、ユーザが選択した所望のフレーム位置の高精細な静止画データをＲＡＷ画像から現像して生成することができる。また、ユーザが気に入った画像だけをキャプチャすることができ、利便性を向上することができる。

【0127】

［第５実施形態］
本発明の第５実施形態による画像記録再生装置及び画像処理方法について、図１３乃至図１５を用いて説明する。図１乃至図１２に示す第１乃至第４実施形態による画像記録再生装置及び画像処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

【0128】

図１３は、本実施形態による画像記録再生装置の概略構成を示すブロック図である。図１４は、本実施形態による画像処理方法を示すフローチャートである。図１５は、本実施形態による画像処理方法におけるパネル出力例を示す図である。

【0129】

第４実施形態では、プロキシ動画再生中のキャプチャ指示タイミング時、表示出力中のフレーム画像に加え、このフレーム画像位置に前後するフレーム画像をも合わせて現像処理することで、後からユーザがより好ましい画像を選択することを可能にした。

【0130】

本実施形態では、ユーザがプロキシ動画再生中のキャプチャ指示タイミングと同時に、当該キャプチャ画像を現像処理する際の現像パラメータを予め用意したパラメータセットから選択できるようにした画像記録再生装置及び画像処理方法を説明する。

【0131】

＜システム構成＞
本実施形態による画像記録再生装置のシステム構成について、図１３を用いて説明する。
本実施形態による画像記録再生装置１００は、図１３に示すように、図５に示す第２実施形態による画像記録再生装置１００の構成に加えて、現像パラメータ情報記憶部１３０１を更に有している。

【0132】

現像パラメータ情報記憶部１３０１は、キャプチャ位置情報記憶部５０１に保持されているキャプチャ位置情報と関連付けを行ったキャプチャ位置の未現像ＲＡＷ画像データを現像処理する際のパラメータ情報を生成し、記憶保持する機能を備える。現像パラメータ情報は、現像部１０２が有する現像処理の性能範囲内で調整可能な、γ調整やホワイトバランス調整、各種フィルター処理の調整パラメータを、一つ以上の現像モードとして定義するものとする。

【0133】

現像パラメータ情報記憶部１３０１は、システム制御部１１３に接続されており、システム制御部１１３によって動作の制御が行われる。システム制御部１１３は、現像パラメータ情報記憶部１３０１に記憶された現像パラメータ情報に基づき、現像部１０２を制御することが可能である。

【0134】

また、表示処理部１０５は、プロキシ動画再生中、画像キャプチャ指示用の操作情報に加えて、現像モードをアイコン等のグラフィックス表示等で直感的に視認できる形式でＯＳＤ表示する機能を備えている。

【0135】

図１５は、キャプチャ画像選択時のパネル出力画面の一例を示したものである。この例では、現像処理に伴う各種パラメータ設定値を一つ一つ細かく設定可能なインタフェースではなく、「モノクロ」、「セピア」、「ソフトフォーカス」等のように、ユーザが直感的に現像後のキャプチャ画像の出力結果を推定判断できる形式としている。

【0136】

その他の機能ブロックについては第２実施形態と同様であるため、ここでは説明を省略する。

【0137】

＜処理フロー＞
本実施形態による画像処理方法について、図１４を用いて説明する。
本実施形態による画像処理方法は、図１４に示す処理フローを含む。図１４に示す処理フローは、ステップＳ７０１の後にステップＳ１４０１を有する点、ステップＳ２０５とステップＳ２０６との間にステップＳ１４０２を有する点を除き、図９に示す第３実施形態による画像処理方法の処理フローと同様である。

【0138】

ステップＳ１４０１では、キャプチャ指示と同時に、図１５に示したようなインタフェース画面を介してユーザが選択した現像パラメータモードを取得し、現像パラメータ情報記憶部１３０１にて現像部へ設定するパラメータ情報を生成して登録する。

【0139】

そして、ステップＳ１４０２では、ステップＳ２０５にて伸張処理した未現像の画像データに対して実行する現像処理のパラメータ値を、現像パラメータ情報記憶部１３０１を参照して取得する。

【0140】

続く、ステップＳ２０６では、ステップＳ１４０２で取得したパラメータ値を使用して現象処理を行う。

【0141】

以上が、本実施形態による画像処理方法における処理フローである。

【0142】

本実施形態を適用することにより、ＲＡＷ画像データの現像処理の自由度が向上し、色々な撮影効果やフィルター処理を施したキャプチャ画像作成を、あとからユーザが静止画データを編集することなく、画像処理装置本体で簡単に実行できるようになる。

【0143】

このように、本実施形態によれば、動画再生中に一時停止することなく、ユーザが選択した所望のフレーム位置の高精細な静止画データをＲＡＷ画像から現像して生成することができる。また、ＲＡＷ画像データの現像処理の自由度が向上し、色々な撮影効果やフィルター処理を施したキャプチャ画像作成を、あとからユーザが静止画データを編集することなく、画像処理装置本体で簡単に実行することができる。

【0144】

［第６実施形態］
本発明の第６実施形態による画像記録再生装置及び画像処理方法について、図１６乃至図１８を用いて説明する。図１乃至図１２に示す第１乃至第５実施形態による画像記録再生装置及び画像処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

【0145】

図１６は、本実施形態による画像記録再生装置の概略構成を示すブロック図である。図１７は、本実施形態による画像処理方法を示すフローチャートである。図１８は、本実施形態による画像処理方法におけるパネル出力例を示す図である。

【0146】

第５実施形態では、ユーザがプロキシ動画再生中のキャプチャ指示タイミングと同時に、当該キャプチャ画像を現像処理する際の現像パラメータを予め用意したパラメータセットから選択可能とする方法を説明した。

【0147】

本実施形態では、ユーザがプロキシ動画再生中のキャプチャ指示タイミングと同時に、当該キャプチャ画像を現像処理する際のトリミング領域を予め用意した画面領域情報から選択できるようにした画像記録再生装置及び画像処理方法を説明する。

【0148】

本実施形態を適用することにより、画面内の好きな領域だけ切り出して静止画キャプチャする編集処理を、画像記録再生装置本体における簡単な操作で実行可能となるため、あとからユーザが静止画データを編集する煩雑な作業が不要となる。

【0149】

＜システム構成＞
本実施形態による画像記録再生装置のシステム構成について、図１６を用いて説明する。
本実施形態による画像記録再生装置１００は、図１６に示すように、図５に示す第２実施形態による画像記録再生装置１００の構成に加えて、トリミング領域情報記憶部１６０１を更に有している。

【0150】

トリミング領域情報記憶部１６０１は、キャプチャ位置情報記憶部５０１が保持するキャプチャ位置情報と関連付けられたキャプチャ位置の未現像ＲＡＷ画像データを現像処理する際の、画像データ中の現像領域を指定したトリミング情報を生成し保持する。トリミング情報としては、「全て（トリミング無し）」「顔エリア」「フォーカスエリア」というような、キャプチャ時の切り出し領域を選択できる一つ以上のキャプチャエリアモードを定義することができる。画像処理装置の図示せぬ画像処理部での顔検出や、フォーカス領域をカメラ情報としてＥＸＩＦ等のメタデータ形式で記録した情報を参照することによって、選択されたキャプチャモードに応じて未現像のＲＡＷ画像データから任意の画像領域だけを現像する。

【0151】

トリミング領域情報記憶部１６０１は、システム制御部１１３に接続されており、システム制御部１１３によって動作の制御が行われる。システム制御部１１３は、トリミング領域情報記憶部１６０１に記憶されたキャプチャ位置情報に基づき、現像部１０２を制御することが可能である。

【0152】

また、表示処理部１０５は、プロキシ動画再生中、画像キャプチャ指示用の操作情報に加えて、トリミング領域モードをアイコン等のグラフィックス表示等で直感的に視認できる形式でＯＳＤ表示する機能を備えている。

【0153】

図１８（ａ）〜（ｃ）は、キャプチャ画像選択時のパネル出力画面の一例を示したものである。この例では、トリミング処理による切り出し領域を細かく設定にするユーザインタフェースではなく、上述した「全て」、「顔エリア」、「フォーカスエリア」等のように、ユーザが直感的に現像後のキャプチャ画像の出力結果を推定判断できる形式としている。

【0154】

その他の機能ブロックについては第２の実施形態と同様であるため、ここでは説明を省略する。

【0155】

＜処理フロー＞
本実施形態による画像処理方法について、図１７を用いて説明する。
本実施形態による画像処理方法は、図１７に示す処理フローを含む。図１７に示す処理フローは、ステップＳ７０１の後にステップＳ１７０１を有する点、ステップＳ２０５とステップＳ２０６との間にステップＳ１７０２を有する点を除き、図９に示す第３実施形態による画像処理方法の処理フローと同様である。

【0156】

ステップＳ１７０１では、キャプチャ指示と同時に、図１８に示したようなインタフェースを介してユーザが選択したトリミング領域モードを取得し、トリミング領域情報記憶部１６０１にて現像部へ設定する現像データの画面領域情報を生成して登録する。

【0157】

そして、ステップＳ１７０２では、ステップＳ２０５にて伸張処理した未現像の画像データに対して、実際に現像処理を実行する画面領域を設定するために、トリミング領域情報記憶部１６０１を参照してトリミング領域情報を取得する。

【0158】

続く、ステップＳ２０６では、ステップＳ１７０２で取得したトリミング領域情報を使用して、ＲＡＷ画像データの一部又はすべてについて現象処理を行う。

【0159】

以上が、本実施形態による画像処理方法における処理フローである。

【0160】

＜適用例＞
本実施形態による上述の処理フローを適用した動作例について、図１８を用いて説明する。なお、本実施形態による画像処理方法における各機能ブロックの動作タイミング及び動作状態については、図１０に示す第３実施形態の場合と同じものとする。

【0161】

図１８は、キャプチャ画像Ａの選択時ｔ_Ａでのパネル出力画像（図１８（ａ））、キャプチャ画像Ｂの選択時ｔ_Ｂでのパネル出力画像（図１８（ｂ））、キャプチャ画像Ｃの選択時ｔ_Ｃでのパネル出力画像（図１８（ｃ））の例を示している。

【0162】

出力画面上に図示するようなグラフィカルインタフェースを提示することで、ユーザがそれぞれのトリミングモードアイコンを簡単に選択できるようになる。

【0163】

図１８のケースでは、キャプチャ画像Ａに対しては顔エリアのトリミング設定、キャプチャ画像Ｂに対してはすべての景色（トリミング無し）、キャプチャ画像Ｃに対してはフォーカスエリアを選択している。

【0164】

そして、上述の動作フローに基づいて各キャプチャ画像を選択されたトリミングモードに応じて現像画面領域を変更し、再生終了時ｔ_ＥＮＤのタイミングで現像後のデータからサムネイル画像を生成して、図１８（ｄ）のメニュー画面を出力する。

【0165】

このとき、ユーザはトリミング設定が反映された形でサムネイル画像を視認することができるので、元の画面内から好きな画面領域だけを切り出したキャプチャ画像の状態を事前に確認できるようになる。

【0166】

このように、本実施形態によれば、動画再生中に一時停止することなく、ユーザが選択した所望のフレーム位置の高精細な静止画データをＲＡＷ画像から現像して生成することができる。また、画面内の好きな領域だけ切り出して静止画キャプチャする編集処理を、画像記録再生装置本体における簡単な操作で実行可能となるため、あとからユーザが静止画データを編集する煩雑な作業が不要にできる。

【0167】

［第７実施形態］
本発明の第７実施形態による画像記録再生装置及び画像処理方法について図１９及び図２０を用いて説明する。図１乃至図１８に示す第１乃至第６実施形態による画像記録再生装置及び画像処理方法と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。

【0168】

図１９は、本実施形態による画像処理方法を示すフローチャートである。図２０は、本実施形態による画像処理方法における動作タイミングと出力画面の遷移を示す図である。

【0169】

第１実施形態では、ユーザがプロキシ動画再生中にキャプチャ指示したタイミングで、表示出力中のフレーム画像と同一時間位置のＲＡＷ動画データを現像し、高画質な静止画像をキャプチャする方法を説明した。

【0170】

本実施形態では、プロキシ動画再生の終了後のサムネイル画像選択によるキャプチャ画像決定時、決定されなかった画像データファイルを記録媒体から削除する構成とした画像処理装置及び画像処理方法について説明する。本実施形態を適用することにより、キャプチャ指示タイミングから記録媒体への静止画データ記録までの一連の処理を停止しないシステム構成においても、後から本当に気に入った画像のみを保存する機能を簡単に拡張追加できるようになる。

【0171】

＜システム構成＞
本実施形態を実現するシステム構成は、図１に示す第１実施形態による画像記録再生装置又は図５に示す第２実施形態による画像記録再生装置と同様である。以後の説明では、第１実施形態による画像記録再生装置のシステム構成を前提に説明するが、第２実施形態による画像記録再生装置のシステム構成に適用するようにしてもよい。この場合にも、本実施形態で説明すると同様の効果を奏することができる。

【0172】

本実施形態の記録再生部１１１は、システム制御部１１３からの指示に基づいて、記録媒体１１２に記録されている静止画キャプチャのデータファイルを、ファイルシステム情報を更新することによって、ファイル削除する機能を有するものとする。

【0173】

その他の機能ブロックについては、第１又は第２実施形態と同様であるため、ここでは説明を省略する。

【0174】

＜動作フロー＞
本実施形態による画像処理方法について、図１９を用いて説明する。
本実施形態による画像処理方法は、図１９に示す処理フローを含む。図１９に示す処理フローは、ステップＳ２０６とステップＳ２０７との間にステップＳ１９０１を有する点、ステップＳ２０９の後にステップＳ１９０２〜ステップＳ１９０５を有する点を除き、図１に示す第１実施形態の処理フローと同様である。なお、第２実施形態に適用する場合、ステップＳ１９０２〜ステップＳ１９０５は、図７の処理フローにおけるステップＳ７０２の繰り返し処理の後に実行される。

【0175】

ステップＳ１９０１では、表示処理部１０５にてステップＳ２０６で現像したキャプチャ画像を元に縮小処理を行ってサムネイル画像を生成し、図示せぬＤＲＡＭ等のメモリに一時的に記憶する。

【0176】

ステップＳ１９０２では、プロキシ動画再生後に、ステップＳ１９０１で生成したサムネイル画像を用いてキャプチャ画像の決定選択用のメニュー画面を作成して表示出力する。

【0177】

そして、キャプチャ指示決定を実行するタイミングで、ステップＳ１９０３からステップＳ１９０５までの処理ステップを、キャプチャ指示の回数分繰り返し実行する。

【0178】

ステップＳ１９０４では、当該サムネイル画像についてユーザがキャプチャ決定指示をしたかどうかを判断し、キャプチャ指示があった場合は次のサムネイル画像についての判断に移行する（ステップＳ１７０４のＴＲＵＥ）。

【0179】

一方、当該サムネイル画像についてキャプチャ指示がなかった場合（ステップＳ１７０４のＦＡＬＳＥ）、ステップＳ２０７及びステップＳ２０８で記録媒体に記録した静止画データファイルは不要であると判断する。

【0180】

ステップＳ１９０５では、ステップＳ１９０４の判断結果に基づいて、不要と判断されたサムネイル画像と予め関連付けられた記録媒体１１２上の静止画ファイルを削除する。

【0181】

以上が、本実施形態による画像処理方法における処理フローである。

【0182】

＜適用例＞
本実施形態による上述の動作フローを適用した例について、図２０を用いて説明する。 図２０には、時間方向に対する、再生画像の出力画面（パネル出力）、静止画キャプチャ指示、プロキシ動画再生、圧縮ＲＡＷデータリード、圧縮ＲＡＷデータ伸張、現像処理、静止画圧縮符号化及び静止画データライトの動作状態を示している。図２０にはさらに、静止画データ削除を実行した動作状態を追加している。

【0183】

図２０の例では、第１実施形態と同じく、キャプチャ画像Ａ，Ｂ，Ｃのキャプチャ指示タイミングで現像修理から記録媒体への静止画データ書き込みまでを一連のシーケンスとして実行する。

【0184】

本実施形態では上述の動作フローに従って、キャプチャ指示後の現像済みデータからサムネイル画像を生成して一時記憶しておき、プロキシ動画データの再生終了時（時刻ｔ_ＥＮＤ）に、キャプチャ画像決定メニューとして並べて表示する。

【0185】

その後、ユーザ操作によって例えばキャプチャ画像Ｂが選択されたタイミング（時刻ｔ_{ＣＡＰＴＵＲＥ}）で、すでに記録していたキャプチャ画像Ａ，Ｃの静止画ファイルを削除する。

【0186】

このように、システム動作としては、キャプチャ指示時点でバックグランドにおいてキャプチャ画像を記録媒体に書き込んでしまっているが、ユーザに対しては本決定ができる選択メニューを用意し、後から非選択データを削除する。

【0187】

結果、本実施形態を適用することで第３実施形態と同様に、キャプチャ指示タイミングを失敗した画像を減らし、本当に気に入った画像だけをキャプチャでき、利便性が向上する。

【0188】

このように、本実施形態によれば、動画再生中に一時停止することなく、ユーザが選択した所望のフレーム位置の高精細な静止画データをＲＡＷ画像から現像して生成することができる。また、ユーザが気に入った画像だけを保存することができる。

【0189】

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。

【0190】

例えば、上記第１実施形態ではプロキシ動画の再生中にキャプチャ画像を生成する方法を示し、上記第２実施形態ではプロキシ動画の再生後にキャプチャ画像を生成する方法を示したが、これら処理を組み合わせるようにしてもよい。例えば、第１実施形態による画像処理方法を適用して処理を行うキャプチャ画像の数が規定数を超えた場合に、それ以降のキャプチャ画像については第２実施形態による画像処理方法を適用してプロキシ動画の再生後に生成することも可能である。

【0191】

また、上記第２実施形態では、ステップＳ７０１において、キャプチャ指示時に表示中のプロキシ画像と同一時間に位置するＲＡＷ動画のフレーム位置情報を登録したが、プロキシ画像のフレーム位置情報を登録するようにしてもよい。この場合、ステップＳ２０４において、キャプチャ指示時に表示中のプロキシ画像と同一時間に位置するＲＡＷ動画のフレーム位置情報を取得した後、静止画キャプチャするＲＡＷ動画データのみを読み出せばよい。

【0192】

また、上記第５実施形態には、第２実施形態による画像記録再生装置及び画像処理方法に現像パラメータを選択する手段を追加した例を示したが、第１実施形態による画像記録再生装置及び画像処理方法に現像パラメータを選択する手段を追加してもよい。

【0193】

また、上記第６実施形態には、第２実施形態による画像記録再生装置及び画像処理方法にトリミング領域を選択する手段を追加した例を示したが、第１実施形態による画像記録再生装置及び画像処理方法にトリミング領域を選択する手段を追加してもよい。

【0194】

また、第１又は第２実施形態による画像記録再生装置及び画像処理方法に、現像パラメータを選択する手段及びトリミング領域を選択する手段の双方を追加するようにしてもよい。

【0195】

また、上記実施形態には、画像記録再生装置内のシステムにおいて画像処理を実施する例を示したが、上述の実施形態に示した画像処理方法は、画像記録再生装置とは別の装置、例えばパーソナルコンピュータ等において実施してもよい。例えば、ユーザが、撮像装置により記録した動画データをパーソナルコンピュータの記憶領域に保存した後、保存した動画データに対して、上述の画像処理を実施するようにしてもよい。

【0196】

上記実施形態は、本発明を適用しうる幾つかの態様を例示したものに過ぎず、本発明の趣旨を逸脱しない範囲で適宜修正や変形を行うことを妨げるものではない。

【符号の説明】

【0197】

１００…画像記録再生装置
１０１…撮像部
１０２…現像部
１０３…ＲＡＷ伸張部
１０４…ＲＡＷ圧縮部
１０５…表示処理部
１０６…静止画伸張部
１０７…動画伸張部
１０８…静止画圧縮部
１０９…動画圧縮部
１１０…表示部
１１１…記録再生部
１１２…記録媒体
１１３…システム制御部
１１４…操作部
５０１…キャプチャ位置情報記憶部
１３０１…現像パラメータ情報記憶部
１６０１…トリミング領域情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】