(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
図面を参照して、本発明の一実施の形態における撮像装置として、レンズ交換式デジタルカメラを例に挙げて説明する。なお、レンズ固定式デジタルカメラについても本発明の一態様に含まれる。
図1はデジタルカメラ1の要部構成を示すブロック図である。デジタルカメラ1は、交換レンズ200とカメラボディ100とから構成され、交換レンズ200がマウント部(不図示)を介してカメラボディ100に装着される。
【0009】
交換レンズ200は、撮影レンズ201と、レンズ制御部202とを備えている。撮影レンズ201は、結像レンズや焦点調節レンズ等の種々の光学レンズ群を含んで構成される。なお、
図1では撮影レンズ201を1枚のレンズで代表して表している。レンズ制御部202は、図示しないCPU、ROM、RAMなどを有し、制御プログラムに基づいて、各種のデータ処理を実行したりする演算回路である。レンズ制御部202は、データ処理の結果に基づいて、撮影レンズ201や絞り(不図示)の駆動を制御したり、マウント部(不図示)に設けられた電気接点を介してカメラボディ100との間で状態情報やレンズ情報の送信とカメラ情報の受信とを行ったりする。
【0010】
カメラボディ100は、撮像素子101、制御回路102、バッファメモリ103、LCD駆動回路104、液晶表示器105、操作部106、メモリカードインタフェース107およびマイク108を備えている。撮像素子101には、CCDやCMOS等の撮像画素が二次元状(行と列)に配置され、後述する制御回路102の制御に応じて駆動して、撮影レンズ201を通して入力される被写体像を撮像し、撮像して得た撮像信号を出力する。撮像素子101の撮像面には、それぞれR(赤)、G(緑)およびB(青)のカラーフィルタが画素位置に対応するように設けられている。撮像素子101がカラーフィルタを通して被写体像を撮像するため、撮像素子101から出力される撮像信号はRGB表色系の色情報を有する。
【0011】
制御回路102は、図示しないCPU、ROM、RAMなどを有し、制御プログラムに基づいて、デジタルカメラ1の各構成要素を制御したり、各種のデータ処理を実行する演算回路である。制御プログラムは、制御回路102内の不図示の不揮発性メモリに格納されている。制御回路102は、画像処理部112を機能として備えている。
【0012】
画像処理部112は、撮像素子101から出力された撮像信号に対して、たとえばホワイトバランス調整やガンマ補正等の種々の画像処理を施して画像データを生成して、所定の圧縮処理を施して後述するメモリカード109へ記録する。画像処理部112は、撮像素子101から出力された撮像信号や、後述するメモリカード109に記録されている画像データに基づいて、後述する液晶表示器105に表示するための表示画像データを生成する。
【0013】
バッファメモリ103は、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、メモリカード109へ記録する前の画像ファイルを記憶したり、メモリカード109から読み出した画像ファイルを記憶したりするために使用される。マイク108は、動画モードにて動画撮影中に、音声を入力し、増幅等の処理を行って音声データとして制御回路102へ出力する。
【0014】
LCD駆動回路104は、制御回路102の命令に基づいて液晶表示器105を駆動する回路である。液晶表示器105は、画像処理部112で作成された表示画像データに対応する画像の表示を行う。液晶表示器105には、デジタルカメラ1の各種動作を設定するためのメニュー画面が表示される。
【0015】
メモリカードインタフェース107は、メモリカード109が着脱可能なインタフェースである。メモリカードインタフェース107は、制御回路102の制御に基づいて、画像ファイルをメモリカード109に書き込んだり、メモリカード109に記録されている画像ファイルを読み出すインタフェース回路である。メモリカード109はコンパクトフラッシュ(登録商標)やSDカードなどの半導体メモリカードである。
【0016】
操作部106はユーザによって操作される種々の操作部材に対応して設けられた種々のスイッチを含み、操作部材の操作に応じた操作信号を制御回路102へ出力する。操作部材は、たとえばレリーズボタンや、液晶表示器105にメニュー画面を表示させるためのメニューボタンや、各種の設定等を選択操作する時に操作される十字キー、十字キーにより選択された設定等を決定するための決定ボタン、動画撮影モードと静止画撮影モードとを含む撮影モードと再生モードとの間でデジタルカメラ1の動作を切替えるモード切替ボタン等を含む。
【0017】
本実施の形態では、たとえばメニュー画面上から選択可能な「きらめき」、「ゆらめき」、「愛らしさ」、「またたき」等のテーマが設けられている。それぞれのテーマは複数の画像効果処理が含まれる画像効果処理群であり、動画撮影中に取得された静止画上の輝点の特徴(たとえば大きさ)に応じた画像効果処理の何れかが画像効果処理群の中から選択されて、選択された画像効果処理が静止画に施された再生可能に構成されている。
【0018】
テーマが「きらめき」の場合には、画像上の光源や輝点がより輝いた印象を与えるように光を強調する画像効果処理が施される。テーマ「きらめき」には、たとえば画像効果処理としてフレア効果処理とクロスフィルタ効果処理とが含まれている。テーマが「ゆらめき」には、たとえば、画像上のろうそく等の光源が揺れているような印象を与えるような画像処理効果が施される。テーマが「愛らしさ」の場合には、画像上の光源に対してソフトフィルタ処理を施して幻想的な雰囲気の画像としたり、光源にフィルタ処理を施して、たとえばハート型に加工する。テーマが「またたき」の場合には、たとえば画像上の川面が光を反射して輝いている状態がより効果的に表現できるように、輝点の輝度を変化させて点滅させるように再生させる。
【0019】
次に、デジタルカメラ1の動作について撮影動作と再生動作とに分けて説明する。
−撮影動作−
ユーザによるレリーズボタンの半押し操作に応じて操作部106から操作信号が出力されると、制御回路102は、撮像素子101から所定の周期(たとえば60fps)にて撮像信号を出力させる。画像処理部112は、所定の周期ごとに出力される撮像信号を用いて1フレームの画像データを生成して、バッファメモリ103に順次格納(バッファリング)する。
【0020】
上記の処理を繰り返して行っている際に、ユーザによるレリーズボタンの全押し操作に応じて操作部106から操作信号が出力されると、画像処理部112は、このタイミングで出力された撮像信号を用いて静止画データを生成する。なお、本実施の形態においては、画像処理部112は、静止画データをたとえば3840×2160画素の解像度にて生成する。さらに、画像処理部112は、レリーズボタンの全押し操作の前後に生成された所定フレーム分の画像データを用いて動画像データを生成する。本実施の形態では、一例として96フレーム分の画像データを用いて動画像データが生成されるものとする。なお、本実施の形態においては、画像処理部112は、1フレームの動画像データをたとえば1920×1080画素の解像度にて生成する。なお、上記の解像度、フレーム数、フレームレートの値は一例であり、この値に限定されるものではない。
【0021】
上述のようにして生成された動画像データと静止画データとは、制御回路102によって、メモリカード109に記録される。このとき、操作部106の操作に応じて、上述したテーマが選択されている場合には、制御回路102は、選択されたテーマを示すテーマ情報を、動画像データと静止画データとに関連付けてメモリカード109に記録する。なお、テーマ情報は、後述する再生モードにより再生する際に変更可能に構成されていてもよい。
【0022】
図2に示すフローチャートを参照しながら、デジタルカメラ1の撮影動作を説明する。
図2の処理は制御回路102でプログラムを実行して行われる。このプログラムは、メモリ(不図示)に格納されており、制御回路102により起動され、実行される。
【0023】
ステップS1では、ユーザによるレリーズボタンの半押し操作が行われたか否かを判定する。レリーズボタンの半押し操作に応じて操作部106から操作信号が出力された場合には、ステップS1が肯定判定されてステップS2へ進む。操作部106から操作信号が出力されていない場合には、ステップS1が否定判定されて当該判定処理を繰り返す。
【0024】
ステップS2では、撮像素子101から撮像信号を出力させ、画像処理部112に所定の周期ごとに出力される撮像信号を用いて1フレームの画像データを生成させてステップS3へ進む。ステップS3では、生成された画像データをバッファメモリ103に格納してステップS4へ進む。
【0025】
ステップS4では、ユーザによるレリーズボタンの全押し操作が行われたか否かを判定する。レリーズボタンの全押し操作に応じて操作部106から操作信号が出力された場合には、ステップS4が肯定判定されてステップS5へ進む。操作部106から操作信号が出力されない場合には、ステップS4が否定判定されて当該判定処理を繰り返す。ステップS5では、ステップS3でバッファメモリ103に格納された画像データを動画像データとしたものと、ユーザのレリーズボタンの全押し操作に応じて生成された静止画データとを関連付けてメモリカード109に記録して処理を終了する。なお、上述したように、テーマが選択されている場合には、選択されたテーマを示すテーマ情報が動画像データと静止画データとに関連付けてメモリカード109に記録される。
【0026】
−再生動作−
本実施の形態によるデジタルカメラ1の制御回路102は、
図1に示すように、 設定部102a、抽出部102b、効果選択部102c、処理部102dおよび再生部102eを機能的に備えている。このため、再生モードが設定されると、デジタルカメラ1は、動画撮影により生成された動画像データの再生に続いて、動画撮影中にユーザのレリーズボタンの操作により取得された静止画データに対して設定されたテーマに応じた画像効果処理を施した画像データ(以後、処理済画像データと呼ぶ)を動画形式にて表示させる。
【0027】
図3に示すフローチャートを参照しながら、再生モードにおける制御回路102の動作の概要を説明する。
図3の処理は制御回路102でプログラムを実行して行われる。このプログラムは、メモリ(不図示)に格納されており、再生モードが選択されると制御回路102により起動され、実行される。
【0028】
図3のステップS10では、テーマの選択が行われたか否かが判定される。テーマの選択が行われた場合、すなわち動画像データおよび静止画データと関連付けされたテーマ情報がある場合、または、再生モードの設定に際して、ユーザによりモードの選択が行われた場合には、ステップS10が肯定判定されてステップS11へ進む。テーマの選択が行われていない場合には、ステップS10が否定判定されてステップS12へ進む。
【0029】
ステップS11では、選択されたテーマに応じた再生処理(テーマ再生処理)を行って処理を終了する。テーマ再生処理については、
図11のフローチャートを用いて後述する。ステップS12では、テーマが選択されていない場合の再生処理(通常再生処理)を行って処理を終了する。通常再生処理については、
図4のフローチャートを用いて後述する。
【0030】
−通常再生処理−
再生部102eは、LCD駆動回路104に指令して、メモリカード109から読み出した動画像データと静止画データとのうち、動画像データの第1フレームから、順次、液晶表示器105に再生させる。再生部102eは、動画像データの再生開始時には、たとえば0.5秒間にて黒フェードインし、動画像データの再生終了時には、たとえば0.5秒間にて黒フェードアウトさせる。なお、本発明においては、動画像データのフェードイン、フェードアウトの際に黒とするものに限定されるものではない。
【0031】
動画像データの再生が終了すると、再生部102eは、LCD駆動回路104に指令して、静止画データを液晶表示器105に表示させる。再生部102eは、静止画データの表示開始時に、たとえば1.5秒間にて黒フェードインさせる。なお、本発明においては、静止画データのフェードインの際に黒とするものに限定されるものではない。静止画データが液晶表示器105に表示を開始してから所定の時間が経過すると、再生部102eは、静止画データの表示を終了させる。なお、静止画データを表示させる所定の時間は、予め設定された時間であっても良いし、ユーザにより設定された時間であっても良い。
【0032】
図4に示すフローチャートを参照しながら、
図3のステップS12における通常再生処理について説明する。
ステップS20では、再生部102eは、動画像データの第1フレームから順次再生させることにより、動画像データの再生を開始してステップS21へ進む。ステップS21では、再生部102eは、0.5秒間にて黒フェードインさせてステップS22へ進む。ステップS22では、再生部102eは動画像データの再生終了時刻の0.5秒前であるか否かを判定する。再生終了時刻の0.5秒前の場合には、ステップS22が肯定判定されてステップS24へ進む。再生終了時刻の0.5秒前ではない場合には、ステップS23へ進む。ステップS23では、再生部102eは動画像データの再生を継続させてステップS22へ進む。
【0033】
ステップS24では、再生部102eは0.5秒間にて黒フェードアウトさせてステップS25へ進み、動画像データの再生を終了させる。ステップS26では、再生部102eは、静止画データの表示を開始させてステップS27へ進む。ステップS27では、再生部102eは、1.5秒間にて黒フェードインさせてステップS28へ進む。ステップS28では、再生部102eは、静止画データを所定の時間にて表示させた後、静止画データの表示を終了して処理を終了する。
【0034】
−テーマ再生処理−
テーマ再生処理では、動画像データの再生中に、抽出部102b、効果選択部102cおよび処理部102dにより、選択されたテーマに応じた処理済画像データが生成される(生成処理)。そして、動画像データの再生後に、生成された処理済画像データと静止画データとをクロスフェードさせながら液晶表示器105に表示させる(表示処理)。以下、
図5〜7に示す動作概念図を参照しながら、生成処理と表示処理とに分けて説明する。なお、本発明においては、テーマとして「きらめき」が選択されている場合における処理に特徴があるので、テーマが「きらめき」の場合の処理を中心に以下の説明を行う。
【0035】
−−生成処理−−
設定部102aは、上述した撮影動作にて生成された静止画データを、画像効果処理を施すための対象画像データとして設定する。なお、設定部102aは、生成された動画像データのうちのいずれかのフレームの画像データを対象画像データとして設定しても良い。この場合、たとえばユーザの選択に応じて設定部102aが動画像データの中から対象画像データを設定することが好ましい。
【0036】
対象画像データが設定されると、抽出部102bは、対象画像データから輝点を検出する。この場合、抽出部102bは、対象画像データの各画素をスキャンして各画素ごとに輝度値を算出し、所定の輝度閾値th1以上の輝度値を有する画素を輝点として抽出する。抽出部102bは、互いに隣接し合う輝点を結合して1つの領域とする。以後、抽出された輝点と、輝点が結合された領域とを総称して、高輝度領域と呼ぶ。
【0037】
高輝度領域が抽出されると、効果選択部102cは、高輝度領域の特徴に応じて、テーマ「きらめき」に割り当てられた画像効果処理であるフレア効果処理およびクロスフィルタ効果処理のうちの何れかを選択する。この場合、効果選択部102cは、抽出された高輝度領域の面積を算出し、算出した面積が所定の面積閾値th2以上か否かを判定する。複数の高輝度領域が抽出されている場合には、効果選択部102cは、それぞれの高輝度領域の面積を算出し、面積閾値th2との比較を行う。高輝度領域の面積が面積閾値th2以上の場合には、効果選択部102cは、高輝度領域に施す画像効果処理としてフレア効果処理を選択する。高輝度領域の面積が面積閾値th2未満の場合には、効果選択部102cは、高輝度領域に施す画像効果処理としてクロスフィルタ効果処理を選択する。
【0038】
処理部102dは、効果選択部102cにより選択された画像効果処理を高輝度領域に施すことによって、光強調表現がなされた処理済画像データを生成する。フレア効果処理が選択されている場合には、処理部102dは、高輝度領域の重心となる画素の位置を算出する。そして、処理部102dは、算出した重心の画素を中心とした所定の範囲内の画素を光源色と同色にて飽和させることによって処理済画像データを生成する。なお、上記の所定の範囲の大きさは、高輝度領域の輝度値に応じて変化させても良い。この場合、処理部102dは、高輝度領域の輝度値が増加するに従って、所定の範囲を拡大すれば良い。
【0039】
図5、
図6はフレア効果処理が選択されている場合における対象画像データと処理済画像データとを例示して示す図である。なお、
図5は1つの高輝度領域が抽出された場合を示し、
図6は複数の高輝度領域の一例として2つの高輝度領域が抽出された場合を示している。
図5に示すように、静止画データである対象画像データD1にて抽出された面積閾値th2以上の面積を有する高輝度領域BR11に対してフレア効果処理が施されることにより、処理済画像データED1が生成される。その結果、処理済画像データED1においては、対象画像データD1と比較して、高輝度領域BR11と同色の領域が大きくなる。
【0040】
図6に示す例では、静止画データである対象画像データD2上には、面積閾値th2以上の面積を有する2つの高輝度領域BR21、BR22が抽出されている。高輝度領域BR21に対してフレア効果処理が施されることにより、処理済画像データED21が生成される。さらに、高輝度領域BR22に対してフレア効果処理が施されることにより、処理済画像データED22が生成される。処理済画像データED21においては、対象画像データD2と比較して、高輝度領域BR21と同色の領域が大きくなるが、高輝度領域BR22と同色の領域の大きさには変化はない。処理済画像データED22においては、対象画像データD2と比較して、高輝度領域BR22と同色の領域が大きくなるが、高輝度領域BR21と同色の領域の大きさには変化はない。すなわち、一つの対象画像データ上に複数(たとえばN個(Nは2以上の自然数))の高輝度領域が抽出されている場合には、処理部102dは、N個のうちのいずれか1個の高輝度領域にフレア効果処理が施されたN個の異なる処理済画像データを生成する。
【0041】
クロスフィルタ効果処理が選択されている場合には、処理部102dは、高輝度領域の重心となる画素の位置を算出する。そして、処理部102dは、算出した重心を起点として、公知の方法を用いて光源色と同色のクロスパターン(光条)を描画する。この場合、処理部102dは、ある高輝度領域の重心と、他の高輝度領域の重心との距離を算出して、それぞれの高輝度領域に描画するクロスパターンが交わらないように、クロスパターンの大きさを決定する。
【0042】
図7はクロスフィルタ効果処理が選択されている場合における対象画像データと処理済画像データとを例示して示す図である。静止画データである対象画像データD3上にて抽出された面積閾値th2未満の面積を有する3つの高輝度領域BR31、32、33に対してクロスフィルタ効果処理が施される。その結果、高輝度領域BR31、32、33に対してクロスパターンが描画された、処理済画像データED3が生成される。
【0043】
図8に示すフローチャートを参照しながら、生成処理における制御回路102の動作を説明する。
図8の処理は制御回路102でプログラムを実行して行われる。このプログラムは、メモリ(不図示)に格納されており、再生モードが選択され、静止画データが読み出されると制御回路102により起動され、実行される。
【0044】
ステップS301では、設定部102aは対象画像データを設定してステップS302へ進む。ステップS302では、抽出部102bは、対象画像データから高輝度領域を抽出してステップS303へ進む。効果選択部102cは、高輝度領域の面積を算出してステップS304へ進む。ステップS304では、効果選択部102cは、算出した高輝度領域の面積が面積閾値th2以上か否かを判定する。高輝度領域の面積が面積閾値th2以上の場合には、ステップS304が肯定判定されてステップS305へ進む。高輝度領域の面積が面積閾値th2未満の場合には、ステップS304が否定判定されてステップS306へ進む。
【0045】
ステップS305では、処理部102dは対象画像データに対してフレア効果処理を施して処理済画像データを生成して処理を終了する。ステップS306では、処理部102dは、対象画像データに対してクロスフィルタ効果処理を施して処理済画像データを生成して処理を終了する。
【0046】
図9に示すフローチャートを用いて、
図8のステップS305におけるフレア効果処理における動作について説明する。
ステップS401では、処理部102dは、抽出された高輝度領域の重心を算出してステップS402へ進む。ステップS402では、算出された重心の位置から所定の範囲を高輝度領域と同色で飽和させることにより、1つの処理済画像データを生成してステップS403へ進む。
【0047】
ステップS403では、処理部102dは、抽出された高輝度領域が複数か否かを判定する。複数の高輝度領域が抽出されている場合には、ステップS403が肯定判定されてステップS404へ進む。高輝度領域が1つだけ抽出されている場合には、ステップS403が否定判定されて処理を終了する。ステップS404では、抽出された全ての高輝度領域に対して処理が行われたか否かを判定する。全ての高輝度領域に対して処理が行われ、抽出された高輝度領域の個数と同数の処理済画像データが生成されている場合には、ステップS404が肯定判定されて処理を終了する。全ての高輝度領域に対して処理が終了していない場合には、ステップS404が否定判定されてステップS401へ戻る。
【0048】
図10に示すフローチャートを用いて、
図8のステップS306におけるクロスフィルタ効果処理における動作について説明する。
ステップS501では、処理部102dは、抽出された各高輝度領域の重心をそれぞれ算出してステップS502へ進む。ステップS502では、算出された重心の位置を用いて、それぞれの高輝度領域の重心間の距離を算出してステップS503へ進む。ステップS503においては、処理部102dは、重心間の距離に応じてクロスフィルタの大きさを決定してステップS504へ進む。ステップS504では、対象画像データに対してクロスフィルタ効果処理を施して、処理済画像データを生成して処理を終了する。
【0049】
−−表示処理−−
再生部102eは、通常再生処理の場合と同様にして、LCD駆動回路104に指令して、メモリカード109から読み出した動画像データと静止画データとのうち、動画像データの第1フレームから、順次、液晶表示器105に再生させる。再生部102eは、動画像データの再生開始時には、たとえば0.5秒間にて黒フェードインし、動画像データの再生終了時には、たとえば0.5秒間にて白フェードアウトさせる。なお、本発明においては、動画像データのフェードインの際に黒とするものに限定されるものではない。また、動画像データのフェードアウトの際に白とするものに限定されず、たとえば生成処理の際に抽出部102bによって抽出された高輝度領域の色と同色にてフェードアウトしてもよい。
【0050】
動画像データの再生が終了すると、再生部102eは、LCD駆動回路104に指令して、動画像データの再生中に上記の生成処理によって生成された処理済画像データと、静止画データとを液晶表示器105に表示させる。再生部102eは、効果選択部102cにより選択された画像効果処理、すなわちフレア効果処理かクロスフィルタ効果処理かに応じて、処理済画像データおよび静止画データの表示方法を異ならせる。以下、フレア効果処理が選択された場合とクロスフィルタ効果処理が選択された場合とに分けて説明を行う。
【0051】
(1)フレア効果処理が選択された場合
再生部102eは、処理済画像データの表示開始時に、たとえば1.5秒間にて白フェードインさせる。なお、本発明においては、処理済画像データのフェードインの際に白とするものに限定されるものではなく、たとえば生成処理の際に抽出部102bによって抽出された高輝度領域の色と同色にてフェードインしてもよい。そして、白フェードイン終了後、すなわち処理済画像データの表示開始から1.5秒後に、再生部102eは、静止画データ、すなわち画像効果処理が施されていない画像を液晶表示器105に表示させる。このとき、再生部102eは、処理済画像データと静止画データとを、たとえばレイヤー処理を用いて、それぞれのレイヤーの混合比率を表示時間の経過とともに変化させることにより、互いにクロスフェードさせて液晶表示器105に表示させる。
【0052】
図5を参照しながら、対象画像データD1から1つの高輝度領域BR11が抽出された場合について説明する。上述したように、再生部102eが動画像データを再生している最中に、対象画像データD1に対して生成処理が施され、処理済画像データED1が生成される。時刻t1にて動画データの再生が終了すると、再生部102eは、生成された処理済画像データED1の表示を開始する。このとき、再生部102eは、上述したように、1.5秒間にて白フェードインさせる。
【0053】
時刻t1から1.5秒が経過した時刻t2において、再生部102eは、処理済画像データED1の透過率を100パーセントにて表示させるとともに、静止画データ(すなわち生成処理が施されていない対象画像データD1)を透過率0パーセントにて表示させる。すなわち、時刻t2においては、処理済画像データED1に対応する画像がユーザに視認できるが、静止画データD1に対応する画像はユーザに視認できないように液晶表示器105に表示される。
【0054】
時刻t2以降においては、再生部102eは、処理済画像データED1の透過率の遷移を開始させ、表示時間の経過とともに徐々に透過率を低くさせるとともに、再生部102eは、静止画データD1の透過率を表示時間の経過とともに徐々に高くなるように遷移させる。本実施の形態においては、再生部102eは、時刻t4において、処理済画像データED1の透過率が0パーセント、静止画データD1の透過率が100パーセントとなるように、それぞれの透過率を遷移させる。
【0055】
このため、それぞれの透過率が50パーセントとなる時刻t3では、処理済画像データED1における高輝度領域BR11の大きさと静止画データD1における高輝度領域BR11の大きさとの中間の大きさを有する高輝度領域が表現された画像データXが観察される。そして、時刻t4では、再生部102eは、処理済画像データED1の表示を終了させ、以後、所定時間だけ静止画データD1のみを液晶表示器105に表示させる。
【0056】
上記のように処理済画像データED1の透過率と静止画データD1の透過率とを制御してクロスフェード表示を行うことにより、動画像データの再生終了後の白フェードインからフレア効果処理が最も再現された画像に遷移して、時間の経過とともに徐々にフレア効果処理が弱く表現された画像へ遷移する。そして、最終的には、画像効果処理の施されていない画像が表示される。なお、処理済画像データED1と静止画データD1とをクロスフェードさせて表示する時間(時刻t2〜t4)と、静止画データD1のみを表示する時間とは、予め設定された時間であってもよいし、ユーザによる設定操作に応じて設定された時間であってもよい。
【0057】
次に、対象画像データから複数の高輝度領域が抽出された場合について説明する。複数の高輝度領域が抽出された場合の一例として、
図6を用いて2つの高輝度領域が抽出されたときの処理を説明する。上述したように、再生部102eが動画像データを再生している最中に、対象画像データD2に対して生成処理が施され、処理済画像データED21、ED22が生成される。時刻t1にて動画データの再生が終了すると、再生部102eは、生成された処理済画像データED21の表示を開始する。このとき、再生部102eは、上述したように、1.5秒間にて白フェードインさせる。
【0058】
時刻t1から1.5秒が経過した時刻t2において、再生部102eは、処理済画像データED21の透過率を100パーセントにて表示させるとともに、処理済画像データED22の透過率を0パーセントにて表示させる。すなわち、時刻t2においては、処理済画像データED21に対応する画像がユーザに視認できるが、処理済画像データED22に対応する画像はユーザに視認できないように液晶表示器105に表示される。
【0059】
時刻t2以降においては、再生部102eは、処理済画像データED21の透過率の遷移を開始させ、表示時間の経過とともに徐々に透過率を低くさせるとともに、再生部102eは、処理済画像データED22の透過率を表示時間の経過とともに徐々に高くなるように遷移させる。本実施の形態においては、再生部102eは、時刻t3において、処理済画像データED21の透過率が0パーセント、処理済画像データED22の透過率が100パーセントとなるように、それぞれの透過率を遷移させる。
【0060】
上記のように処理済画像データED21の透過率と処理済画像データED22の透過率とを制御してクロスフェード表示を行うことにより、動画像データの再生終了後の白フェードインから高輝度領域BR21にフレア効果処理が最も再現された画像に遷移する。そして、時間の経過とともに高輝度領域BR21に施されたフレア効果処理が徐々に弱く表現されるとともに、高輝度領域BR22に施されたフレア効果処理が徐々に強く表示された画像へ遷移する。そして、時刻t3では、高輝度領域BR22にのみフレア効果処理が施された画像が表示される。
【0061】
時刻t3以降においては、再生部102eは、処理済画像データED22の透過率の遷移を開始させ、表示時間の経過とともに徐々に透過率を低くさせるとともに、再生部102eは、静止画データD2(画像効果処理が施されていない対象画像データD2)の透過率を表示時間の経過とともに徐々に高くなるように遷移させる。本実施の形態においては、再生部102eは、時刻t4において、処理済画像データED1の透過率が0パーセント、静止画データD2の透過率が100パーセントとなるように、それぞれの透過率を遷移させる。そして、時刻t4では、再生部102eは、処理済画像データED22の表示を終了させ、以後、所定時間だけ静止画データD2のみを液晶表示器105に表示させる。
【0062】
上記のように処理済画像データED22の透過率と静止画データD2の透過率とを制御してクロスフェード表示を行うことにより、時間の経過とともに高輝度領域BR22に施されたフレア効果処理が弱く表現された画像へ遷移する。そして、最終的には、画像効果処理の施されていない画像が表示される。なお、処理済画像データED21と処理済画像データED22とをクロスフェードさせて表示する時間(時刻t2〜t3)、処理済画像データED22と静止画データD2とをクロスフェードさせて表示する時間(時刻t3〜t4)と、静止画データD1のみを表示する時間とは、予め設定された時間であってもよいし、ユーザによる設定操作に応じて設定された時間であってもよい。
【0063】
(2)クロスフィルタ効果処理が選択された場合
再生部102eは、静止画データ、すなわち画像効果処理が施されていない対象画像データの表示開始時に、たとえば1.5秒間にて白フェードインさせる。なお、本発明においては、静止画データのフェードインの際に白とするものに限定されるものではなく、たとえば生成処理の際に抽出部102bによって抽出された高輝度領域の色と同色にてフェードインしてもよい。そして、白フェードイン終了後、すなわち静止画データの表示開始から1.5秒後に、再生部102eは、処理済画像データの表示を開始させる。このとき、再生部102eは、処理済画像データと静止画データとを、たとえばレイヤー処理を用いて、それぞれのレイヤーの混合比率を表示時間の経過とともに変化させることにより、互いにクロスフェードさせて液晶表示器105に表示させる。
【0064】
図7を参照しながらクロスフィルタ効果処理が選択された場合における再生時の動作を説明する。上述したように、再生部102eが動画像データを再生している最中に、対象画像データD3(画像効果処理が施されていない対象画像データD3)に対して生成処理が施され、処理済画像データED3が生成される。時刻t1にて動画データの再生が終了すると、再生部102eは、静止画データD3の表示を開始する。このとき、再生部102eは、上述したように、1.5秒間にて白フェードインさせる。
【0065】
時刻t1から1.5秒が経過した時刻t2において、再生部102eは、静止画データD3の透過率を100パーセントにて表示させるとともに、処理済画像データED3を透過率0パーセントにて表示させる。すなわち、時刻t2においては、静止画データD3に対応する画像がユーザに視認できるが、処理済画像データED3に対応する画像はユーザに視認できないように液晶表示器105に表示される。
【0066】
時刻t2以降においては、再生部102eは、静止画データD3の透過率の遷移を開始させ、表示時間の経過とともに徐々に透過率を低くさせるとともに、再生部102eは、処理済画像データED3の透過率を表示時間の経過とともに徐々に高くなるように遷移させる。本実施の形態においては、再生部102eは、時刻t3において、静止画データD3の透過率が0パーセント、処理済画像データED3の透過率が100パーセントとなるように、それぞれの透過率を遷移させる。
【0067】
時刻t3以降においては、再生部102eは、静止画データD3の透過率の遷移を開始させ、表示時間の経過とともに徐々に透過率を高くさせるとともに、再生部102eは、処理済画像データED3の透過率を表示時間の経過とともに徐々に低くなるように遷移させる。本実施の形態においては、再生部102eは、時刻t4において、静止画データD3の透過率が100パーセント、処理済画像データED3の透過率が0パーセントとなるように、それぞれの透過率を遷移させる。そして、時刻t4では、再生部102eは、処理済画像データED3の表示を終了させ、以後、所定時間だけ静止画データD3のみを液晶表示器105に表示させる。
【0068】
上記のように処理済画像データED3の透過率と静止画データD3の透過率とを制御してクロスフェード表示を行うことにより、動画像データの再生終了後の白フェードインから、時刻t3までは時間の経過とともに徐々にクロスフィルタ効果処理が強く表現された画像へ遷移する。そして、時刻t3以降は、時間の経過とともに、クロスフィルタ効果処理の度合いが徐々に弱くなり、最終的に画像効果処理の施されていない画像が表示される。なお、処理済画像データED3と静止画データD3とをクロスフェードさせて表示する時間(時刻t2〜t4)と、静止画データD3のみを表示する時間とは、予め設定された時間であってもよいし、ユーザによる設定操作に応じて設定された時間であってもよい。
【0069】
図11に示すフローチャートを参照しながら、
図3のステップS11におけるテーマ再生処理について説明する。
ステップS601では、再生部102eは、動画像データの第1フレームから順次再生させることにより、動画像データの再生を開始してステップS602へ進む。ステップS602では、再生部102eは、0.5秒間にて黒フェードインさせてステップS603へ進む。ステップS603では、
図8〜
図10を用いて説明した生成処理を行ってステップS604へ進む。
【0070】
ステップS604では、再生部102eは動画像データの再生終了時刻の0.5秒前であるか否かを判定する。再生終了時刻の0.5秒前の場合には、ステップS604が肯定判定されてステップS606へ進む。再生終了時刻の0.5秒前ではない場合には、ステップS605へ進む。ステップS605では、再生部102eは動画像データの再生を継続させてステップS604へ進む。
【0071】
ステップS606では、再生部102eは0.5秒間にて白フェードアウトさせてステップS607へ進み、動画像データの再生を終了させる。ステップS608では、再生部102eは、ステップS603の生成処理で生成される処理済画像データまたは静止画データの表示を開始させてステップS609へ進む。ステップS609では、再生部102eは、1.5秒間にて白フェードインさせてステップS610へ進む。ステップS610では、再生部102eは、処理済画像データ同士または処理済画像データと静止画データとをクロスフェードにより、互いの透過率を変化させながら表示させてステップS611へ進む。
【0072】
ステップS611では、ステップS603で生成された処理済画像データが複数あるか否かを判定する。複数の処理済画像データが生成されている場合には、ステップS611が肯定判定されてステップS612へ進む。1つの処理済画像データが生成されている場合には、ステップS611が否定判定されてステップS613へ進む。
【0073】
ステップS612では、生成された処理済画像データの全てが表示されたか否かを判定する。生成された全ての処理済画像データが表示されていない場合には、ステップS612が否定判定されてステップS610へ戻る。全ての処理済画像データが表示された場合には、ステップS612が否定判定されてステップS613へ進む。ステップS613では、静止画データの表示を終了して処理を終了する。
【0074】
上述した実施の形態のデジタルカメラによれば、次の作用効果が得られる。
(1)効果選択部102cは抽出部102bにより対象画像データから抽出された高輝度領域の特徴(高輝度領域の大きさ)に応じて、複数の画像効果処理の中から何れかを選択し、処理部102dは効果選択部102cにより選択された画像効果処理を対象画像データに施して、処理済画像データを生成する。そして、再生部102eは、処理部102dにより生成された処理済画像データを再生する。したがって、複数種類の画像効果処理の中から画像中の輝点の特徴に応じた効果を自動的に施すことができるので、ユーザは何れかの画像効果処理を選択するという煩雑な操作をすることなく、効果的な光強調が成された画像を得ることができる。
【0075】
(2)抽出部102bは、設定部102aにより設定された対象画像データから所定輝度値を超える高輝度領域を抽出し、効果選択部102cは、抽出された高輝度領域の特徴(高輝度領域の大きさ)に応じて、対象画像データに対して複数の画像効果処理の中から何れかを選択する。処理部102dは、選択された画像効果処理を対象画像データに施して処理済画像データを生成し、再生部102eは、時間的に連続する複数の画像データを動画として再生した後、処理部102dにより生成された処理済画像データを静止画として再生する。したがって、動画の再生後に、画像中の輝点の特徴に応じた効果が自動的に施された静止画を再生させることによって、動画再生後の静止画に映像的な変化を持たせることができる。
【0076】
(3)複数の画像効果処理がそれぞれに含まれた複数のテーマのうち、何れか一つのテーマを選択可能に構成し、効果選択部102cは、抽出部102bにより抽出された高輝度領域の特徴に応じて、選択されたテーマに含まれる複数の画像効果処理の中から何れかを選択するようにした。ユーザが選択したテーマの中に含まれる複数の画像効果処理の中から、画像中の輝点の特徴に応じた効果を自動的に施すことができるので、ユーザが所望する画像上の効果に近い光強調が成された画像を、煩雑な操作を行うことなく得ることができる。
【0077】
(4)再生部102eは、動画を再生した後に、処理済画像データと対象画像データ(静止画データ)とをクロスフェードさせながら表示する。したがって、動画再生後に、輝点の光強調の度合いを時間の経過とともに変化させながら静止画を表示することができるので、静止画表示時における映像的な変化を持たせることができる。さらに、処理済画像データと対象画像データとをクロスフェードさせながら表示することにより、光強調の度合いがそれぞれ異なる中間画像データを大量に生成する必要がないので、処理負荷を軽減させることができる。
【0078】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(1)制御回路102に機能として、対象画像データのシーンを判定するシーン判定部を設けても良い。そして、シーン判定部による判定結果に応じて、テーマが選択されるようにしても良い。たとえば、シーン判定部により対象画像データが「電球」と判定された場合にはテーマ「きらめき」が選択され、「ろうそく」と判定された場合にはテーマ「ゆらめき」が選択され、「川面」と判定された場合にはテーマ「またたき」が選択される、等のようにすることができる。
【0079】
(2)制御回路102が機能として備えるシーン判定部の判定結果に応じて、効果選択部102cにより選択された画像効果処理の度合いを変更可能にしても良い。たとえば、効果選択部102cによりフレア効果処理が選択されているとき、シーン判定部により「電球」と判定された場合には、処理部102dは、フレア効果処理を施す範囲を最大範囲のたとえば80パーセントに設定し、「ろうそく」と判定されている場合には最大範囲のたとえば50パーセントに設定することにより度合いを変更すればよい。
【0080】
(3)制御回路102が機能として顔検出部を備え、処理部102dは、クロスフィルタ効果処理が検出した顔と重ならないように光条の大きさを決定しても良い。この場合、処理部102dは、高輝度領域の重心の位置と検出された顔までの距離を算出し、高輝度領域の重心間距離に基づいて算出されたクロスフィルタの大きさとの比較を行う。高輝度領域の重心の位置と検出された顔までの距離がクロスフィルタの大きさよりも小さい場合には、処理部102dは、クロスフィルタの大きさを高輝度領域の重心の位置と検出された顔までの距離よりも小さい値(たとえば80パーセント)に設定すればよい。
【0081】
(4)画像効果処理としてのフレア効果処理とクロスフィルタ効果処理とが「きらめき」以外のテーマに含まれても良い。この場合、「きらめき」以外のテーマの場合には、それぞれのテーマに応じて、輝度閾値th1および面積閾値th2が設定されていることが好ましい。
【0082】
(5)動画再生時に処理済画像データを生成するものに代えて、動画再生をしていないタイミングで処理済画像データを生成し、動画像データと関連付けて処理済画像データを記録してもよい。
(6)処理済画像データを生成する際の処理負荷が大きく、生成に長時間を要する場合には、再生部102eはフレームレートを下げて(たとえば通常時の半分のフレームレート)動画像データを再生することにより、動画像データの再生終了までに処理済画像データの生成が間に合うようにしても良い。
【0083】
(7)実施の形態においては、デジタルカメラ1を一例として説明したが、カメラと表示部とを備えるタブレット等の携帯情報表示端末等にも適用できる。
(8)デジタルカメラ1により処理済画像データの生成処理および再生処理を行うものに代えて、画像再生装置(たとえばパーソナルコンピュータ等)により処理済画像データの生成処理および/または再生処理を行ってもよい。
【0084】
図12に、画像再生装置としてパーソナルコンピュータを一例としたブロック図を示す。画像再生装置300は、デジタルカメラ1で撮像した被写体像の画像データの表示や編集、画像データの保存を行う。画像再生装置300は、制御回路301、HDD302、モニタ制御回路303、モニタ304、バッファメモリ305、入力装置306、メモリカードインタフェース307、および外部インタフェース308を備える。外部インタフェース308は、所定のケーブルや無線伝送路を介してデジタルカメラ1等の外部装置とデータ通信を行う。
【0085】
入力装置306は、ユーザによって操作され、たとえばキーボードやマウスなどで構成される。HDD302には、たとえばデジタルカメラ1で撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース308は、たとえば画像再生装置300にデジタルカメラ1などの外部機器を接続するUSBインタフェースである。画像再生装置300は、メモリカードインタフェース307や外部インタフェース308を介してメモリカード109や外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路301によりHDD302に記録される。上述したデジタルカメラ1で生成された画像ファイルも、同様にHDD302に記録される。
【0086】
制御回路301は、画像再生装置300の制御を行うマイクロコンピュータであり、CPUやROMその他周辺回路により構成される。制御回路301は、画像処理部320を機能として備える。画像処理部320は、入力された画像ファイルに基づいて、モニタ304に表示するための表示画像データを生成する。また、制御回路301は、設定部321と、抽出部322と、効果選択部323と、処理部324と、再生部325とを機能として備え、デジタルカメラ1の設定部102aと、処理部102bと、効果選択部102cと、処理部102dと、再生部102eと同一の機能をそれぞれ有している。
【0087】
メモリカード109を介して静止画データと処理済画像データと動画像データとが入力された場合には、再生部325は、実施の形態にて説明したようにして、入力した静止画データと処理済画像データと動画像データとを組み合わせて、モニタ304上に動画形式にて再生すればよい。メモリカード109を介して動画像データが入力された場合には、設定部321と、抽出部322と、効果選択部323と、処理部324とは、実施の形態にて説明したようにして、処理済画像データを生成する。そして、再生部325は、静止画データと生成した処理済画像データと動画像データとを組み合わせて、モニタ304上に動画形式にて再生すればよい。
【0088】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。