(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0017】
図1は、本発明の一の実施形態に係るデジタルカメラの構成を示すブロック図である。
【0018】
本実施形態のデジタルカメラは、撮像光学系11、撮像素子12、AFE13、バッファメモリ14、画像処理部15、位置情報検出部16、記憶部17、CPU18、操作部材21、記録I/F22、モニタ24、時間計測部25、バスから構成される。バッファメモリ14、画像処理部15、位置情報検出部16、記憶部17、CPU18、記録I/F22、モニタ24、時間計測部25は、バスを介して情報伝達可能にそれぞれ接続される。また、操作部材21はCPU18に接続される。
【0019】
撮像光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系11のレンズ位置は、レンズ駆動部(不図示)によって光軸方向に調整される。なお、簡単のため、
図1では撮像光学系11を1枚のレンズとして図示する。
【0020】
撮像素子12は、撮像光学系11を通過した光束によって結像される被写体を撮像するデバイスである。この撮像素子12の出力はAFE13に入力される。なお、本実施形態の撮像素子12は、順次走査方式の固体撮像素子(CCD等)であっても、XYアドレス方式の固体撮像素子(CMOS等)であってもよい。
【0021】
また、撮像素子12の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子12の各受光素子には、赤色(R)、緑色(G)、青色(B)のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子12の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子12は、カラーの画像を取得できる。
【0022】
ここで、デジタルカメラの撮影モードにおいて、撮像素子12は操作部材21を構成するレリーズ釦の全押し操作に応答して記録画像(本画像)を撮像する。また、撮影モードでの撮像素子12は、撮影待機時にも所定の時間間隔でスルー画像を撮像する。このスルー画像のデータは、撮像素子12から間引き読み出しで出力される。なお、スルー画像のデータは、モニタ24での画像表示や、CPU18による各種演算処理などに使用される。
【0023】
AFE13は、撮像素子12の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このAFE13は、相関二重サンプリング、画像信号のゲインの調整、画像信号のA/D変換を行う。AFE13の出力は、バッファメモリ14に一時的に記録される。なお、本実施形態では、撮像素子12とAFE13とで撮像部を構成する。また、バッファメモリ14には、一般的な揮発性の半導体メモリなどを適宜選択して用いることができ、画像処理部15による画像処理の前工程や後工程での画像データも一時的に記憶する。
【0024】
画像処理部15は、バッファメモリ14に記憶された1フレーム分のスルー画像および本画像のデジタル画像信号に対して、各種画像処理(例えば、色補間処理、階調変換処理、輪郭強調処理など)を施す。また、本実施形態の画像処理部15は、後述するように、CPU18から指示されるホワイトバランス調整値および彩度調整値に基づいて、上記各種画像処理とともに、デジタル画像信号に対しホワイトバランス処理を行う。
【0025】
位置情報検出部16は、全地球測位システム(GPS)を構成する人工衛星からの信号を受信して、本実施形態のデジタルカメラの現在位置を検出し位置情報(経度、緯度など)を取得する。
【0026】
記憶部17は、デジタルカメラによって撮像された本画像のデータや、CPU18によって実行される制御プログラムなどを記憶する。記憶部17には、不揮発性の半導体メモリなどを用いることができる。また、本実施形態の記憶部17は、電源投入後など、最初にモニタ24に表示されるスルー画像(第1のスルー画像)に対して適用される、被写体の輝度に応じたホワイトバランス調整値と彩度調整値との組合せからなる、
図2(a)および(b)に示す2種類の一覧表を記憶する。
【0027】
ここで、
図2(a)に示す一覧表は、輝度(BV)≧9の場合、ホワイトバランス調整値は「晴天」の色温度に基づいた調整値が用いられ、スルー画像自身が有する彩度(デフォルト値)をそのまま彩度調整値として用いられる。また、BVが5以上で9より小さい場合、ホワイトバランス調整値は「晴天」と「蛍光灯」との色温度を50%ずつ案分した調整値が用いられ、スルー画像が有する彩度(デフォルト値)を彩度調整値として用いられる。BVが1以上で5より小さい場合、ホワイトバランス調整値は「蛍光灯」の色温度に基づいた調整値が用いられ、スルー画像自身が有する彩度(デフォルト値)より、例えば、20%低減された値が彩度調整値として用いられる。BV<1の場合、ホワイトバランス調整値は「晴天」と「蛍光灯」との色温度を50%ずつ案分した調整値が用いられ、スルー画像の画像データが有する彩度(デフォルト値)より、例えば、20%低減された値が彩度調整値として用いられる。
【0028】
一方、
図2(b)に示す一覧表において、彩度調整値は
図2(a)と同様に設定されるが、ホワイトバランス調整値は「晴天」および「電球」の色温度に基づいて設定される。このように、輝度に応じて複数のホワイトバランス調整値および彩度調整値の組合せを予め用意することにより、最初に表示されるスルー画像に対して、より適切にホワイトバランス処理を行うことができる。なお、輝度BVの区分は
図2の場合に限定されず、被写体や要求されるホワイトバランス処理の精度に応じて適宜決められることが好ましい。
【0029】
CPU18は、デジタルカメラの各部を統括的に制御するプロセッサである。CPU18は、制御プログラムを実行することにより、スルー画像のデータに基づいて、位相差検出方式やコントラスト検出方式による公知の自動焦点(AF)制御や、自動露出(AE)演算などを行うとともに、撮像した画像や設定画面等の表示処理や、撮像した画像のファイル生成処理などを行う。また、CPU18は、位置情報検出部16により取得した位置情報に基づいて、記憶部17に記憶された
図2(a)または(b)のいずれかの一方の一覧表を選択し設定する。さらに、本実施形態のCPU18は、測光演算部19、ホワイトバランス(WB)算出部20として動作する。
【0030】
測光演算部19は、撮像素子12により撮像されたスルー画像を用いて、被写体の輝度を測光する。なお、本実施形態の測光演算部19は、モニタ24に最初に表示されるスルー画像(以下、第1フレームと称す)が撮像されるまでに撮像素子12により撮像された複数枚のスルー画像から、被写体の輝度を測光し、CPU18はその被写体の輝度に基づいてAE演算を行う。ただし、測光に用いられるスルー画像の枚数は、要求される第1フレームが表示されるまでの時間やホワイトバランス処理の精度に応じて決められることが好ましく、本実施形態では2〜3枚とする。
【0031】
WB算出部20は、測光演算部19により測光された被写体の輝度に基づいて、スルー画像に対するホワイトバランス調整値および彩度調整値を取得する。具体的には、WB算出部20は、第1フレームの場合、第1フレームの撮像までに測光された被写体の輝度に基づいて、位置情報検出部16の位置情報により選択設定された一覧表から、第1フレームに対するホワイトバランス調整値および彩度調整値を取得する。一方、WB算出部20は、第1フレーム後に撮像されるスルー画像(第2のスルー画像(以下、第2フレーム、第3フレームなどと称す))の場合、その直前に撮像された第1フレームなどのスルー画像における被写体の輝度に基づいてAE演算を行い、その演算結果からホワイトバランス調整値および彩度調整値を取得する。
【0032】
操作部材21は、例えば、レリーズ釦、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材21はデジタルカメラの各種入力をユーザから受け付ける。例えば、操作部材21は、撮像操作、デジタルカメラの動作モードの切替操作や、設定画面での入力操作などに用いられる。
【0033】
記録I/F22には、記憶媒体23を接続するためのコネクタが形成されている。そして、記録I/F22は、コネクタに接続された記憶媒体23に対してデータの書き込み/読み込みを実行する。上記記憶媒体23は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、
図1では記憶媒体23の一例としてメモリカードを示す。
【0034】
モニタ24は、液晶モニタなどの表示部であり、CPU18の指示に応じて各種画像を表示する。
【0035】
時間計測部25は、日時を計測する一般的な水晶時計などであり、日時の情報をクロック信号としてCPU18に出力する。CPU18は、クロック信号を受信し時間情報を取得する。なお、時間計測部25は、位置情報検出部16が受信するGPS衛星からの信号に付加される時間情報に基づいて、クロック信号を生成出力してもよい。
【0036】
次に、
図3のフローチャートを参照しつつ、本実施形態のデジタルカメラによる動作処理について説明する。ただし、本実施形態のデジタルカメラは予め撮像モードに設定されて、電源が切られているものとする。ただし、デジタルカメラがスリープモードから撮像モードに復帰した場合や、デジタルカメラのモニタ24の表示が設定モードから撮像モードに変更された場合などについても同様に動作し詳細な説明は省略する。
【0037】
ステップS101:CPU18は、ユーザによる操作部材21の電源釦操作により、電源投入指示を受け付け、デジタルカメラの電源を投入する。CPU18は、時間計測部25よりクロック信号を受信して電源投入時の時間情報を取得するとともに、記憶部17より制御プログラムを読み込んで実行し、デジタルカメラの初期化処理を開始する。CPU18は、撮像素子12に30fpsなどのフレームレートでスルー画像を撮像させてAF演算を行い、レンズ駆動部(不図示)に撮像光学系11を駆動させ被写体に合焦させる。同時に、CPU18は、測光演算部19に、第1フレームを撮像するまでに撮像された複数枚のスルー画像を用いて被写体の輝度を測光させ、その被写体の輝度に基づいてAE演算を行う。
【0038】
また、上記初期化処理において、CPU18は、位置情報検出部16より現在の位置情報を取得する。CPU18は、現在の位置情報に基づいて、記憶部17に記憶されている2つの一覧表のうち一方を選択して設定する。例えば、デジタルカメラの現在位置が日本国内の場合、CPU18は、
図2(a)に示す一覧表を選択して設定することが好ましく、アメリカやヨーロッパなどの場合、
図2(b)に示す一覧表を選択して設定することが好ましい。これは、日本では室内の照明として主に蛍光灯が用いられる傾向にあり、アメリカやヨーロッパなどでは、電球が用いられる傾向にあるためである。そして、被写体の輝度とともに現在位置に基づいて一覧表を選択設定することにより、第1フレームからより適切に処理してモニタ24に表示することができる。
【0039】
ステップS102:CPU18は、記憶部17より、デジタルカメラの電源が前回切られた時のホワイトバランス調整値および彩度調整値とともに、その時の時間情報を読み込む。CPU18は、前回切られた時と現在との時間情報から時間差を求め、その時間差が所定の時間内か否かを判定する。CPU18は、時間差が所定の時間内の場合、前回と現在との撮像環境(例えば、撮像対象である被写体や被写体の輝度など)は大きく変わっていないと判定し、前回切られた時のホワイトバランス調整値および彩度調整値を、第1フレームに対して適用する。CPU18は、ステップS104(YES側)へ移行する。一方、CPU18は、時間差が所定の時間より大きい場合、前回と現在との撮像環境は大きく異なっていると判定し、ステップS103(NO側)へ移行する。なお、本実施形態における所定の時間は2〜5秒とするが、要求されるホワイトバランス処理の精度などに応じて適宜決めることが好ましい。
【0040】
ステップS103:CPU18のWB算出部20は、ステップS101において測光された被写体の輝度と設定された一覧表とに基づいて、第1フレームに対するホワイトバランス調整値および彩度調整値を取得する。
【0041】
ステップS104:画像処理部15は、第1フレームの画像データをバッファメモリ14より読み込み、ステップS102またはステップS103で取得したホワイトバランス調整値および彩度調整値を用いて、ホワイトバランス調整および彩度調整などの画像処理を施す。CPU18は、画像処理された第1フレームをモニタ24に表示する。
【0042】
ステップS105:測光演算部19は、第1フレームを用いて、被写体の輝度を測光する。CPU18は、第1フレームの被写体の輝度に基づいてAE演算を行い、その演算結果から次の第2フレームに対するホワイトバランス調整値および彩度調整値を取得する。
【0043】
ところで、取得した上記ホワイトバランス調整値および彩度調整値は、第1フレームに適用されたホワイトバランス調整値および彩度調整値と大きく異なる場合がある。そのような場合、モニタ24に表示される第1フレームと第2フレームとの見栄えが大きく異なり、ユーザに対して違和感を与える。これを回避するために、本実施形態のCPU18は、例えば、4〜5フレーム後のスルー画像に対して、取得した上記ホワイトバランス調整値および彩度調整値が適用されるように、第1フレームに適用されたホワイトバランス調整値および彩度調整値とそれぞれ補間調整し緩衝制御する。CPU18は、補間調整したホワイトバランス調整値および彩度調整値を画像処理部15へ出力し、第2フレームに適用する。これにより、第1フレームと第2フレームとの見栄えの違いを回避しつつモニタ24に表示させることができる。
【0044】
ステップS106:画像処理部15は、第2フレームの画像データをバッファメモリ14より読み込み、ステップS105において補間調整したホワイトバランス調整値および彩度調整値を第2フレームに適用して、ホワイトバランス調整および彩度調整などの画像処理を施す。CPU18は、画像処理された第2フレームのスルー画像をモニタ24に表示する。
【0045】
ステップS107:CPU18は、ユーザによる操作部材21の電源釦操作により、電源を切る指示を受け付けたか否かを判定する。CPU18は、電源を切る指示を受け付けた場合(YES側)、最後のフレームに適用されたホワイトバランス調整値および彩度調整値を、時間計測部25より取得した現在の時間情報と対応付けて記憶部17に記録する。CPU18は、一連の処理を終了する。
【0046】
一方、CPU18は、電源を切る指示を受け付けていない場合、ステップS105(NO側)へ移行する。ステップS105において、例えば、測光演算部19は、第2フレームを用い被写体の輝度を測光する。CPU18は、第2フレームの被写体の輝度に基づいてAE演算を行い、その演算結果から新たなホワイトバランス調整値および彩度調整値を取得する。CPU18は、新たに取得したホワイトバランス調整値および彩度調整値それぞれを、第2フレームに適用されたホワイトバランス調整値および彩度調整値と補間調整し、補間調整したホワイトバランス調整値および彩度調整値を第3フレームに対する調整値とする。このように、CPU18は、第3フレーム以降のスルー画像に対してステップS105〜ステップS106の処理を、ユーザから電源を切る指示を受け付けるまで行う。
【0047】
このように、本実施形態では、輝度に応じて決められたホワイトバランス調整値および彩度調整値の複数の組合せからなる一覧表を予め用意することにより、測光された被写体の輝度に基づいて、第1フレームに対して最適なホワイトバランス調整値および彩度調整値を決定することができ、ホワイトバランス処理が適切に施された第1フレームを短時間でモニタ24に表示させることができる。
【0048】
また、第2フレーム以降のスルー画像に対するホワイトバランス処理を、ホワイトバランス調整値だけでなく、彩度調整値についても補間調整した値を用いることより、見栄えよくモニタ24に表示させることができる。
【0049】
さらに、ホワイトバランス調整値および彩度調整値の組合せの一覧表を記憶部17に複数記憶し、位置情報検出部16の位置情報に基づいていずれか1つの一覧表を選択して設定することにより、より適切に第1フレームを調整しモニタ24に表示することができる。
《実施形態の補足事項》
(1)上記実施形態では、測光演算部19、WB算出部20の各処理を、CPU18がソフトウエア的に実現する例を説明したが、ASICを用いてこれらの各処理をハードウエア的に実現してもよい。
【0050】
(2)上記実施形態では、彩度調整値に対する緩衝制御を電源が切られるまで行うとしたが、本発明はこれに限定されず、例えば、第5フレームまでに対して彩度調整値の緩衝制御を行い、第6フレーム以降については、彩度調整値の緩衝制御を行わないようにしてもよい。
【0051】
(3)上記実施形態では、被写体の輝度が低い場合のみ、第1フレームに対する彩度調整値をデフォルト値より低減した値を用いたが、本発明がこれに限定されず、例えば、被写体の輝度にかかわらず、第1フレームに対する彩度調整値をデフォルト値より低減した値を適用してもよい。これにより、第1フレームのスルー画像に対するホワイトバランス調整値の決定精度が低いことによる影響を、より効果的に軽減することができる。
【0052】
また、
図2に示す一覧表では、彩度調整値をデフォルト値より20%低減するとしたが、低減する割合は、モニタ24の解像度などに応じて適宜決めることが好ましい。
【0053】
(4)上記実施形態では、記憶部17に記憶される一覧表は
図2に示す2つとしたが、本発明はこれに限定されず、記憶部17は3つ以上の一覧表を記憶してもよい。これにより、よりきめ細かく、各国の撮影環境に応じた設定が可能となる。
【0054】
(5)上記実施形態では、電源が前回切られた時のホワイトバランス調整値および彩度調整値を、第1フレームに適用するか否かの判定を、時間差に基づいて行ったが、本発明はこれに限定されず、前回切られた時と電源投入時とにおける輝度差に基づいて判定を行ってもよい。
【0055】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。