(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
自動焦点検出(Auto Focus:以下、AF)技術の進歩に伴い、デジタルスチルカメラやデジタルビデオカメラのような撮像装置での焦点検出には、主にAFが用いられている。
【0003】
しかしながら、マクロ撮影のようにフォーカスを厳密に合わせる必要がある場合や、意図的にぼけた映像を撮影する場合など、手動による焦点調節(Manual Focus:以下、MF)での撮影が行われることも多い。
【0004】
MF操作が可能な撮像装置では、撮影者がより容易に合焦状態(フォーカス状態)を把握できるようにするための補助画像を表示する機能(フォーカスアシスト機能)を有するものがある。
【0005】
フォーカスアシスト機能で表示される補助画像(フォーカスアシスト画像)には、例えば、撮影映像のうち合焦している輪郭部分を強調表示(ピーキング)するための画像や、フォーカス状態確認のための部分拡大画像がある。
【0006】
さらに特許文献1に記載されるような、映像上の輪郭(エッジ)成分の所定方向における位置とレベルとの関係を表す波形の画像も知られている。
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来、フォーカスアシスト画像は、特許文献1に開示されているように、現像処理後の画像データを用いて生成されるが、一般に、現像処理には予め定められたガンマ処理(階調補正処理)が含まれている。
【0009】
ガンマ処理は本来、入出力特性が非線形の表示装置において、被写体の階調が正しく表示されるように入力画像の階調特性を補正する処理である。しかし、被写体の色合いを十分に表現するためであったり、後編集を前提として黒潰れや白とびを抑えるためであったりなど、他の目的でガンマ処理が行われることもある。
【0010】
また、特許文献2に記載されるように、LCDなどの表示装置に映画とグラフィックスの画像データを同時に表示する際に、映画を表示する領域とグラフィックスを表示する領域とで異なるガンマ処理を適用することも知られている。
【0011】
合焦度合いは画像のコントラストの高さによって判定することができ、ピーキングやエッジ部分の波形画像の生成には、コントラストの高い部分を検出する処理が含まれる。また、部分拡大画像を表示する場合も、ユーザは部分拡大画像の鮮鋭度が高くなるようにMF操作を行う。
【0012】
従って、現像処理のガンマ処理で適用される階調補正特性(ガンマカーブやガンマ特性などとも呼ばれる)が、画像のコントラストを低下させる特性である場合、フォーカスアシスト機能の有効性に影響を与える。このような階調補正特性の最も顕著な例としては、後編集を前提として黒潰れや白とびを抑えることを目的として適用される階調補正特性がある。現像処理で画像のコントラストが低下するガンマ処理が適用された場合、現像処理後の画像データに基づいてフォーカスアシスト機能を実行すると、適切なフォーカスアシスト画像が生成できず、フォーカスアシスト機能の有効性が低下してしまう。
【0013】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、階調補正された画像が入力された場合であっても、有効なフォーカスアシスト画像を提供することが可能な
撮像装置、制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
上述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には、
フォーカスアシスト機能を有する撮像装置であって、撮像によって得られた画像データに対して、特性が異なる複数の第1の階調補正特性
から選択された1つの第1の階調補正特性を用いた階調補正処理
を含む現像処理を行って現像画像データを
生成する
現像手段と、
現像画像データに対して
、現像手段に用いられた第1の階調補正特性
が階調性に与えた影響を低減する第2の階調補正特性を用いた階調補正処理を適用する補正手段と、補正
手段によって補正された
現像画像データから、
フォーカスアシストに用いる補助画像データを生成する生成手段と
、を備
えることを特徴とする。
【発明の効果】
【0015】
このような構成により、本発明によれば、階調補正された画像が入力された場合であっても、有効なフォーカスアシスト画像を提供することができる。
【発明を実施するための形態】
【0017】
(実施形態1)
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、画像処理装置の一例としての、フォーカスアシスト機能を備えたデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は撮像機能を有する任意の電子機器はもとより、撮影や記録に関する機能を有さない電子機器にも適用可能である。これらの電子機器には、携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれるが、これらは単なる例示である。
【0018】
(画像処理装置の構成)
図1は、本発明の実施形態に係る画像処理装置の一例としてのデジタルビデオカメラの機能構成例を示すブロック図である。
【0019】
なお、
図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアで実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、実際には同じハードウェアが主体として実現されうる。
【0020】
図1において、撮影レンズ群123は、被写体像をセンサー部101の撮像面上に結像する光学系を構成し、入射光量やフォーカスの調節及び、絞り調整機能を備える。
【0021】
センサー部101は、光電変換素子を有する画素が複数、2次元的に配列された構成を有する。センサー部101は、撮影レンズ群123により結像された被写体光学像を各画素で光電変換し、さらにA/D変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号(画像データ)を出力する。
【0022】
センサー部101は、CCD(Charge-Coupled Device)イメージセンサーやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーなどの撮像素子であってよい。センサー部101は例えば原色ベイヤー配列のカラーフィルタを有し、各画素には、R(赤)、G(緑)、B(青)の何れかのカラーフィルタが設けられている。センサー部101は、これらの色成分ごとに分離したRGB形式で画像データを出力する。
【0023】
センサー部101はまた、高速出力のために、複数個の画素値から1個の画素値を求めることにより出力画像を縮小する画素加算処理を行ってRGB形式の画像データを出力する場合もある。
【0024】
センサー補正部102は、センサー部101が出力する画像データに対し、撮影レンズ群123により生じた収差の補正処理や、センサーの欠陥画素を補間する処理を行ない、RGB形式の画像データを出力する。
【0025】
現像処理部103は、センサー補正部102から得られたRGB形式の画像データを受信し、これを入力画像データとしてRGBのオフセット調整、ゲイン調整、ベイヤー配列の補間処理、および現像ガンマ処理等を行う。
【0026】
本実施形態における現像ガンマ処理は、例えば、
図2(a)に示す入力輝度と出力輝度の関係(階調補正特性。ガンマカーブ、ガンマ特性などと呼ばれる)に基づいて入力画像データを補正する処理を指す。現像ガンマ処理に用いられる階調補正特性(第1の階調補正特性)は、センサー部101や撮影レンズ群123などの特性を考慮して、ユーザが所望する階調性を有する画像を生成するための階調補正特性であり、本実施形態では、現像ガンマ特性という。
【0027】
現像処理部103は、CPU121の指示により、現像処理を行う際に適用する現像ガンマ特性を設定する。CPU121は、予め把握しているセンサー部101や撮影レンズ群123などの特性や表示機器に応じて現像ガンマ特性を決定してよい。また、CPU121は、操作部122を通じて入力されたユーザ指示に基づいて現像ガンマ特性を決定してもよい。現像ガンマ特性の設定は、現像処理部103に予め設定された複数の現像ガンマ特性の1つを特定する情報をCPU121から現像処理部103に通知することによって行うことができるが、他の方法を用いてもよい。
【0028】
このように、本実施形態においては、現像処理部103が用いる現像ガンマ特性を複数の現像ガンマ特性から選択可能とすることで、目的に応じた階調特性を有する画像データを生成可能となる。これらの階調特性には、例えば、TVモニタ等の各種ディスプレイ機器の表示に適した階調特性や、後編集を前提とした、高ダイナミックレンジ画像の入力を可能とする階調特性などがある。
【0029】
高ダイナミックレンジ画像に用いる現像ガンマ特性の例には、いわゆるlogガンマがある。logガンマとは、入力値に対して出力値が対数的に増加する特性を示す階調補正特性である。logガンマを用いることにより、画像データの有するビット数で表現される範囲よりも大きな範囲の階調を表現することが可能となり、白飛びや黒つぶれが生じにくい、後編集に適した画像データを生成することができる。
【0030】
色信号変換部104は、現像処理部103からのRGB形式の画像データを輝度成分(Y)と色差成分(Cb、Cr)からなるYCC形式の画像データに変換して出力する。
【0031】
符号化部105は、このYCC形式の画像データ、記録フォーマットに合わせて圧縮符号化するとともに、ヘッダなどの付加情報を含んだ記録用の画像ファイルを生成する。符号化部105は、画像ファイルを半導体メモリカードなどの記録メディア106に記録する。
【0032】
表示画像補正部107は、現像処理部103の出力画像データを表示部110に表示するために補正する。この補正は例えば表示部110の入出力特性に応じた階調補正処理であってよい。例えば、表示部110がガンマ値2.2の入出力特性を持つ場合、現像処理部103の出力画像データの階調が表示部110で正しく表示されるよう、表示部110の入出力特性の逆特性を有するガンマ特性を用いて補正する。一般に表示部110の入出力特性は固定であるため、表示画像補正部107が用いるガンマ特性は予め設定しておくことができる。
【0033】
第1選択部108は、CPU121の指示により、現像処理部103の出力画像データと表示画像補正部107の出力画像データの一方を出力する。
【0034】
現像ガンマ特性が表示部110の入出力特性の逆特性であれば、表示画像補正部107における補正処理は不要である。そのため、CPU121は、まず、現像処理部103に設定した現像ガンマ特性と、表示部110の入出力特性とが逆特性の関係を満たすかどうかを判定する。そして、逆特性の関係を満たすと判定する場合には現像処理部103の出力画像データを出力するように第1選択部108に指示する。この判定は例えば現像ガンマ特性のうちどれが表示部110の入出力特性と逆特性であるかを予め記憶しておき、現在設定されている現像ガンマ特性と記憶されている現像ガンマ特性とが合致するかどうかに基づいて行うことができる。
【0035】
評価画像補正部111は、補助画像生成部113で評価する画像データを生成するため、現像処理部103からの画像データに階調補正処理を適用する。
【0036】
評価画像補正部111における階調補正処理は、センサー補正部102が出力した画像データの階調性が現像ガンマ処理によって受けた影響を低減するための処理であり、換言すれば現像ガンマ処理前の画像データに近づけるための処理である。従って、評価画像補正部111で用いる階調補正特性(第2の階調補正特性)は、現像処理部103における現像ガンマ特性に応じて決定される。
【0037】
例えば、
図2(a)に示す現像ガンマ特性が用いられる場合、評価画像補正部111で現像ガンマ特性の逆特性である階調補正特性(
図2(b))を用いれば、画像データの階調性が現像ガンマ処理で受けた影響を相殺することができる(
図2(c))。
【0038】
評価画像補正部111で階調補正処理を行った画像データに基づいてフォーカスアシスト画像データを生成することで、画像のコントラストを低下させる現像ガンマ特性が用いられる場合であっても、有効なフォーカスアシスト機能を提供することができる。
【0039】
なお、説明及び理解を容易にするため、評価画像補正部111で用いる階調補正特性が、現像ガンマ特性の逆特性である場合を例示したが、評価画像補正部111で用いる階調補正特性は現像ガンマ特性の逆特性でなくてもよい。
【0040】
また、評価画像補正部111により出力される特性、つまり現像ガンマ特性と評価画像補正部111で用いられる階調補正特性との組み合わせによって得られる階調補正特性が、必ずしも線形な特性でなくてよい。現像ガンマ特性による階調圧縮が低減される特性であれば本実施形態の効果は得られる。
【0041】
また、評価画像補正部111が用いる階調補正特性は、操作部122及びCPU121を通じてユーザにより指定されるものが設定されてもよい。
【0042】
第2選択部112は、第1選択部108と同様に、CPU121の指示により、現像処理部103の出力画像データと評価画像補正部111の出力画像データの一方を出力する。
【0043】
CPU121は、例えば、予め定められた、評価画像補正部111による階調補正処理を行う必要がない現像ガンマ特性が用いられている場合には、第2選択部112に対して、現像処理部103からの画像データを出力するよう指示をしてもよい。
【0044】
ここで、評価画像補正部111による階調補正処理を行う必要がない現像ガンマ特性とは、第1選択部108が現像処理部103からの画像データを出力する場合と同じ現像ガンマ特性であってよい。あるいは、現在設定されている現像ガンマ特性が、予め定められた、フォーカスアシスト機能への影響が少ない特性であれば、現像処理部103の出力画像データをそのまま補助画像生成部113に供給するようにしてもよい。
【0045】
補助画像生成部113は、第2選択部112から入力された画像データからフォーカスアシスト画像のデータを生成する。上述の通り、フォーカスアシスト機能には、ピーキング、部分拡大表示、エッジモニタ機能などがある。
【0046】
ピーキングとは、合焦している部分のエッジを強調表示する機能であり、部分拡大表示は、画面の一部を拡大して合焦度合いを視認しやすくする機能である。また、エッジモニタは、合焦状態を波形で表示し、合焦度合いが高いほど大きな波形を表示する機能である。
【0047】
補助画像生成部113は、現在設定されているフォーカスアシスト機能に応じたフォーカスアシスト画像のデータを生成して出力する。なお、フォーカスアシスト機能およびフォーカスアシスト画像のデータ生成については公知の構成を用いることができるため、その詳細についての説明は省略する。
【0048】
表示合成部109は、第1選択部108からの表示画像データに補助画像生成部113からのフォーカスアシスト画像データ(補助画像データ)を合成した合成画像データを生成し、表示部110に供給する回路である。合成画像データは、表示部110で表示される。なお、表示画像データに対してどのようにフォーカスアシスト画像データを合成するかは、例えばフォーカスアシスト機能ごとに予め定められている。フォーカスアシスト画像が表示画像に重畳表示されるように合成してもよいし、別個の表示領域(別個の表示装置である場合を含む)に表示されるように合成してもよい。いずれにせよ、フォーカスアシスト画像は表示画像(撮像画像)と同時に表示される。なお、表示部110は外部に接続される形態であってもよい。
【0049】
以上説明した処理は、例えばライブビュー表示時のような動画撮影時に、各フレーム画像に対して実施することができるが、フォーカスアシスト画像の生成は数フレームごとに実施してもよい。
【0050】
CPU121は、ユーザから操作部122を通じて入力されたマニュアルフォーカス操作に応じて、フォーカス調整部120に制御信号を出力する。フォーカス調整部120は例えばモータ等によって撮影レンズ群123に含まれるフォーカシングレンズを駆動し、撮影レンズ群123の合焦位置を変化させる。合焦位置の変化を反映した画像が撮像され、フォーカスアシスト画像が撮像画像に応じて変化する。従って、ユーザは、フォーカスアシスト画像の変化を観察しながらマニュアルフォーカス操作を行うことで、所望の合焦状態を得ることができる。
【0051】
なお、実施形態に係る画像処理装置が現像処理部103を含まない構成(現像処理部103の出力画像データが入力される形態)である場合、現像ガンマ特性についての情報は現像処理部103を有する装置(例えば撮像装置)から取得すればよい。あるいは、入力画像データの付加情報から現像ガンマ特性の情報を取得してもよい。
【0052】
以上説明したように本実施形態によれば、階調補正処理が適用された画像データに対し、適用されている階調補正特性が階調に与えた影響を低減するような階調補正処理をさらに適用した後にフォーカスアシスト画像を生成するようにした。そのため、例えばコントラストが大幅に低下するような階調補正処理がなされた画像データが入力される場合であっても、有効なフォーカスアシスト画像を生成することができる。
【0053】
(実施形態2)
次に、本発明の実施形態2について説明する。本実施形態の画像処理装置は、現像処理部103および評価画像補正部111の動作以外、実施形態1と同様であるため、重複する説明は省略し、相違点について重点的に説明する。
【0054】
本実施形態は、現像処理部103が複数の現像ガンマ特性の1つを選択的に利用して現像ガンマ処理を行い、評価画像補正部111の階調補正特性が現像ガンマ特性の変化による階調性への影響の変動を低減するように決定される点で、実施形態1と異なる。
【0055】
現像ガンマ特性が切り替えられると、現像処理部103から出力される画像データの階調性が変化する。評価画像補正部111で適用する階調補正特性が一定の場合、実際の被写体輝度が変化しないにもかかわらず、補助画像生成部113が生成するフォーカスアシスト画像が変化してしまう。このため、合焦状態を正確に把握できず、フォーカス調整に支障をきたすことがある。
【0056】
現像処理部103は、予め用意された複数の現像ガンマ特性のうち、CPU121から設定された1つを用いて現像ガンマ処理を行う。CPU121は、操作部122を通じて入力された現像ガンマ特性に関するユーザ指示に基づいて現像ガンマ特性を設定または変更してもよい。
【0057】
そして、現像処理部103は、実施形態1と同様に現像ガンマ処理を入力画像データに適用し、設定された現像ガンマ特性に応じた階調性を有する画像データを出力する。
【0058】
上述の通り、本実施形態における評価画像補正部111の階調補正処理は、現像ガンマ特性が変更されることによる出力画像データの階調性の変動を低減するための処理である。例えば、評価画像補正部111に設定される階調補正特性は、使用されている現像ガンマ特性との組み合わせによって実現される階調補正特性が実質的に一定となるように、現像ガンマ特性に応じて設定される。
【0059】
典型的には、現像ガンマ特性の逆特性を評価画像補正部111に設定することができる。評価画像補正部111で現像ガンマ特性の逆特性を用いるように設定することで、現像ガンマ処理が画像データの階調性に与える影響、ひいてはフォーカスアシスト画像に与える影響を、現像ガンマ特性が変化しても相殺することができる。
【0060】
評価画像補正部111で用いる階調特性は、CPU121が決定し、評価画像補正部111に設定することができる。上述の通りCPU121は現像ガンマ特性の設定も行うため、例えば現像ガンマ特性を現像処理部103に設定(もしくは変更)する際に、現像ガンマ特性に応じた階調補正特性を評価画像補正部111に設定することができる。もちろん、評価画像補正部111への階調補正特性の設定方法及びタイミングはこれに限定されない。
【0061】
なお、現像ガンマ特性に応じて、評価画像補正部111にどの階調補正特性を設定すべきかについても、様々な方法で決定することができる。例えば現像処理部103と評価画像補正部111とがそれぞれ、適用可能な複数の階調補正特性を記憶している場合、逆特性となる組み合わせを予め記憶しておけばよい。
【0062】
また、階調補正特性の設定は、CPU121が、現像処理部103に対して現像ガンマ特性を特定する情報を通知する際に、評価画像補正部111に対して適用する階調補正特性を特定する情報を通知することで行うことができるが、他の方法を用いてもよい。
【0063】
例えば、現像処理部103が評価画像補正部111に現像ガンマ特性の情報を通知し、評価画像補正部111が予め記憶された対応関係に従って使用する階調補正特性を変更してもよい。また、画像データの付加情報などに現像ガンマ特性に関する情報が含まれる場合、評価画像補正部111がこの情報を監視し、現像ガンマ特性に変化があった場合には自身の階調補正特性を変更してもよい。
【0064】
このように、本実施形態では、評価画像補正部111が、現像ガンマ特性が変更されることによる出力画像データの階調性の変動を低減するような階調補正処理を適用する。そのため、現像処理部103で用いられる現像ガンマ特性の変化がフォーカスアシスト画像の階調性に与える影響の変動を低減し、有効なフォーカスアシスト画像を生成することができる。
【0065】
なお、説明及び理解を容易にするため、評価画像補正部111で用いる階調補正特性が、現像ガンマ特性の逆特性である場合を例示した。しかし、現像ガンマ特性が変更されることによる出力画像データの階調性の変動を低減できれば、評価画像補正部111で用いる階調補正特性は必ずしも現像ガンマ特性の逆特性でなくてもよい。また、現像ガンマ特性と評価画像補正部111で用いられる階調補正特性との組み合わせによって得られる階調補正特性が必ずしも線形な特性でなくてよい。
【0066】
以上、本発明を例示的な実施形態について説明したが、本発明の範囲は特許請求の範囲によってのみ規定され、これらの実施形態に記載された構成に限定されない。本発明の範囲内で種々の変形及び変更が可能である。
【0067】
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。