特許 6992947 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-13

(45)【発行日】2022-01-13

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220105BHJP

   G03B 7/091 20210101ALI20220105BHJP

   G03B 15/00 20210101ALI20220105BHJP

   H04N 5/232 20060101ALI20220105BHJP

【ＦＩ】

H04N5/235 100

G03B7/091

G03B15/00 Q

H04N5/232 120

H04N5/232 290

【請求項の数】 9

(21)【出願番号】P 2017228379

(22)【出願日】2017-11-28

(65)【公開番号】P2019102847

(43)【公開日】2019-06-24

【審査請求日】2020-09-29

(73)【特許権者】

【識別番号】313003417

【氏名又は名称】株式会社ザクティ

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】岡本 正義

(72)【発明者】

【氏名】杉本 浩史

【審査官】佐藤 直樹

(56)【参考文献】

【文献】国際公開第２０１１／０６７９０６（ＷＯ，Ａ１）

【文献】特開２００８－１９３２７８（ＪＰ，Ａ）

【文献】特開２０１１－１００４９３（ＪＰ，Ａ）

【文献】特開２０１３－０７８０８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３５

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

植物のみまたは植物及び人物を被写体として含む自然画像の画像データが複数の単位画像に区分けられた際の、該単位画像それぞれの特徴量を求める特徴量算出部と、
前記単位画像それぞれの特徴量に基づいて、前記画像データにおいて植物が写っている植物領域サイズまたは人物が写っている人物領域サイズを特定領域サイズとして算出する領域量算出部と、
前記特定領域サイズに応じて、前記画像データの露出量の調整処理を行うか否かを決定する決定部と、
前記画像データの前記露出量の調整処理を行うと決定された場合、前記特定領域サイズに応じて前記画像データの前記露出量を調整する露出制御部と
を備え、
前記特定領域サイズのうちの前記植物領域サイズが第１所定サイズ以上の場合、前記決定部は、前記画像データの前記露出量の調整処理を行うと決定し、前記露出制御部は、前記画像データの前記露出量を低下させる
ことを特徴とする画像処理装置。

【請求項2】

請求項１において、
前記露出制御部は、前記植物領域サイズの大小に応じて前記露出量を低下させる度合を変化させる
ことを特徴とする画像処理装置。

【請求項3】

請求項２において、
前記露出制御部は、前記植物領域サイズが大きい程前記画像データの前記露出量が低くなるように、前記植物領域サイズの大小に応じて前記露出量を低下させる度合を変化させる
ことを特徴とする画像処理装置。

【請求項4】

請求項１から請求項３のいずれか１項において、
前記植物領域サイズが前記第１所定サイズ未満の場合、前記決定部は、前記画像データの前記露出量の調整処理を行わないと決定する
ことを特徴とする画像処理装置。

【請求項5】

請求項１から請求項３のいずれか１項において、
前記特定領域サイズのうちの前記植物領域サイズが第２所定サイズ以上の場合、前記自然画像における前記植物の緑色成分の彩度が上昇するように、前記自然画像の彩度を補正する第１色属性調整部、
を更に備える
ことを特徴とする画像処理装置。

【請求項6】

請求項５において、
前記第１色属性調整部は、前記植物領域サイズの大小に応じて前記植物の緑色成分の彩度を上昇させる度合を変化させる
ことを特徴とする画像処理装置。

【請求項7】

請求項１から請求項６のいずれか１項において、
前記自然画像における前記植物に花の部位が含まれる場合、該花の色成分の彩度が上昇するように、前記自然画像の彩度を補正する第２色属性調整部、
を更に備える
ことを特徴とする画像処理装置。

【請求項8】

請求項１から請求項７のいずれか１項において、
前記被写体の輝度が所定輝度以上、且つ、前記被写体の被写体距離が所定距離以上である場合、前記画像データが風景シーンであると判定するシーン判定部と、
前記シーン判定部が前記風景シーンであると判定した場合、前記自然画像の鮮鋭度が上昇するように、前記画像データに対しシャープネス処理を施す第１鮮鋭度調整部と、
を更に備える
ことを特徴とする画像処理装置。

【請求項9】

請求項１から請求項３のいずれか１項において、
前記自然画像には、更に空が含まれ、
前記領域量算出部は、前記画像データにおいて空が映っている空領域サイズを更に算出し、
前記空領域サイズが第４所定サイズ以上の場合、パンフォーカス制御ないしは遠方優先のオートフォーカス制御を行うオートフォーカス制御部と、
前記空領域サイズが第４所定サイズ以上の場合、前記自然画像の鮮鋭度が上昇するように、前記画像データに対しシャープネス処理を施す第２鮮鋭度調整部と、
を更に備える
ことを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関する。

【背景技術】

【0002】

電子カメラには、自然シーン等の撮影シーンを判別し、判別した撮影シーンに応じた色相補正を画像に施す画像処理装置を搭載したものがある。このような画像処理装置に関連する技術として、特許文献１が開示されている。

【0003】

具体的に、特許文献１には、被写体の種類（例えば自然または建物）を判定することで撮影シーンが判別され、判別した結果に応じて画像に対して彩度補正が施される技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５８２６００１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

画像において実際の色合いを再現するためには、先ずは撮影シーンを正確に判別することが求められる。

【0006】

しかしながら、撮影シーンを正確に判別できたとしても、上記特許文献１に示すような彩度補正のみでは被写体の色が鮮やかになり、かえって被写体の色合いが不自然となってユーザは違和感を覚える虞がある。

【0007】

この現象は、植物等の自然シーンにおいては顕著となる。植物の色は葉等の色である“緑色”が多いが、緑色の彩度のみが上げられると、画像内の緑色が単に強調されてしまうからである。

【0008】

そこで、本発明は、撮影シーンが自然シーンであるか否かを正確に判別すると共に、画像を確認したユーザが違和感を覚えにくい、実際の色合いを再現することである。

【課題を解決するための手段】

【0009】

第１の発明は、植物のみまたは植物及び人物を被写体として含む自然画像の画像データが複数の単位画像に区分けられた際の、該単位画像それぞれの特徴量を求める特徴量算出部と、前記単位画像それぞれの特徴量に基づいて、前記画像データにおいて植物が写っている植物領域サイズまたは人物が写っている人物領域サイズを特定領域サイズとして算出する領域量算出部と、前記特定領域サイズに応じて、前記画像データの露出量の調整処理を行うか否かを決定する決定部と、前記画像データの前記露出量の調整処理を行うと決定された場合、前記特定領域サイズに応じて前記画像データの前記露出量を調整する露出制御部とを備えることを特徴とする画像処理装置である。

【0010】

ここでは、自然画像の画像データが複数の単位画像に細分化され、各単位画像について特徴量が求められる。各単位画像の特徴量から被写体が植物か人物かが判別され、植物領域または人物領域のサイズが算出される。このような処理により、画像処理装置は、自然シーンであるか否かを比較的正確に認識することができる。そして、植物領域サイズまたは人物領域サイズである特定領域サイズに応じて、画像データの露出量の調整処理を行うべきか否かと、露出量の調整処理を行う場合は露出量の調整制御が実行される。即ち、比較的正確に認識された自然画像毎に、全体的な明るさを上下させる処理が行われる。これにより、緑色等の特定の色の鮮やかさが強調されるようなことはなく、ユーザが違和感を覚えにくい、実際の色合いが再現された画像が得られる。

【0011】

第２の発明は、第１の発明において、前記特定領域サイズのうちの前記植物領域サイズが第１所定サイズ以上の場合、前記決定部は、前記画像データの前記露出量の調整処理を行うと決定し、前記露出制御部は、前記画像データの前記露出量を低下させることを特徴とする画像処理装置である。

【0012】

多くの場合、植物は緑色である。ここでは、植物領域サイズが比較的多い場合、画像データの露出量を低下させることで、植物の緑色の色合いを残しつつも全体的な明るさを抑えた画像が得られる。これにより、植物の緑色が落ち着いている自然な色合いの画像が得られる。

【0013】

第３の発明は、第２の発明において、前記露出制御部は、前記植物領域サイズの大小に応じて前記露出量を低下させる度合を変化させることを特徴とする画像処理装置である。

【0014】

これにより、実際の被写体に即した細やかな露出制御がなされるため、植物の緑色が落ち着いている自然な色合いの画像が得られる。

【0015】

第４の発明は、第３の発明において、前記露出制御部は、前記植物領域サイズが大きい程前記画像データの前記露出量が低くなるように、前記植物領域サイズの大小に応じて前記露出量を低下させる度合を変化させることを特徴とする画像処理装置である。

【0016】

これにより、実際の被写体に即した細やかな露出制御がなされるため、植物の緑色が落ち着いている自然な色合いの画像が得られる。

【0017】

第５の発明は、第２の発明から第４の発明のいずれか１つにおいて、前記植物領域サイズが前記第１所定サイズ未満の場合、前記決定部は、前記画像データの前記露出量の調整処理を行わないと決定することを特徴とする画像処理装置である。

【0018】

ここでは、植物領域サイズが比較的低いため、露出制御は実行されない。露出を行ってしまうと、全体的に暗い画像となってしまい、実際の植物の緑色の色合いが損なわれるためである。

【0019】

第６の発明は、第２の発明から第４の発明のいずれか１つにおいて、前記特定領域サイズのうちの前記植物領域サイズが第２所定サイズ以上の場合、前記自然画像における前記植物の緑色成分の彩度が上昇するように、前記自然画像の彩度を補正する第１色属性調整部、を更に備えることを特徴とする画像処理装置である。

【0020】

ここでは、植物領域サイズが比較的多い場合、露出制御のみならず、彩度を上げる補正も行われる。これにより、露出を低下させる制御によって全体的には明るさが抑えられつつも、彩度を上昇させる制御により緑色が暗くなりすぎないような、自然な色合いの画像が得られる。

【0021】

第７の発明は、第６の発明において、前記第１色属性調整部は、前記植物領域サイズの大小に応じて前記植物の緑色成分の彩度を上昇させる度合を変化させることを特徴とする画像処理装置である。

【0022】

これにより、画像に係る植物の緑色が強調されすぎることを抑制することができる。

【0023】

第８の発明は、第１の発明において、前記特定領域サイズのうちの前記人物領域サイズが第３所定サイズ以上の場合、前記決定部は、前記画像データの前記露出量の調整処理を行わないと決定することを特徴とする画像処理装置である。

【0024】

ここでは、自然画像内に植物と人物とが含まれている状態において、人物領域サイズが比較的大きい場合、一画像内の植物よりも人物を重視して、露出量の調整処理は実行されない。仮に露出量を下げてしまうと、画像は全体的に暗くなり、かえって人物が見にくくなる等の影響が画像に及ぶ可能性があるためである。

【0025】

第９の発明は、第８の発明において、前記特定領域サイズのうちの前記人物領域サイズが前記第３所定サイズ未満の場合、前記決定部は、前記画像データの前記露出量の調整処理を行うと決定し、前記露出制御部は、前記画像データの前記露出量を低下させることを特徴とする画像処理装置である。

【0026】

ここでは、自然画像内に植物と人物とが含まれている状態において、人物領域サイズが比較的小さい場合、一画像内の人物よりも植物を重視して、露出量を下げる制御が行われる。これにより、植物の緑色の色合いを残しつつも全体的な明るさが抑えられ、植物の緑色が落ち着いた自然な色合いの画像が得られる。

【0027】

第１０の発明は、第９の発明において、前記露出制御部は、前記人物領域サイズの大小に応じて前記露出量を低下させる度合を変化させることを特徴とする画像処理装置である。

【0028】

ここでは、一画面内の人物よりも植物を重視して、実際の被写体における植物の領域サイズに即した細やかな露出制御がなされるため、植物の緑色が落ち着いている自然な色合いの画像が得られる。

【0029】

第１１の発明は、第１０の発明において、前記露出制御部は、前記人物領域サイズが小さい程前記画像データの前記露出量が低くなるように、前記人物領域サイズの大小に応じて前記露出量を低下させる度合を変化させることを特徴とする画像処理装置である。

【0030】

ここでは、一画面内の人物よりも植物を重視して、実際の被写体における植物の領域サイズに即した細やかな露出制御がなされるため、植物の緑色が落ち着いている自然な色合いの画像が得られる。

【0031】

第１２の発明は、第２の発明から第１１の発明のいずれか１つにおいて、前記自然画像における前記植物に花の部位が含まれる場合、該花の色成分の彩度が上昇するように、前記自然画像の彩度を補正する第２色属性調整部、を更に備えることを特徴とする画像処理装置である。

【0032】

花は、緑色よりも鮮やかな色（例えば赤色）を有することが多い。ここでは、植物の中に花が含まれる場合、花の色成分の彩度を上げる補正が行われる。これにより、画像に含まれる花の部分の色は鮮やかとなり、実際の色合いに即した画像が得られる。

【0033】

第１３の発明は、第２の発明から第１２の発明のいずれか１つにおいて、前記被写体の輝度が所定輝度以上、且つ、前記被写体の被写体距離が所定距離以上である場合、前記画像データが風景シーンであると判定するシーン判定部と、前記シーン判定部が前記風景シーンであると判定した場合、前記自然画像の鮮鋭度が上昇するように、前記画像データに対しシャープネス処理を施す第１鮮鋭度調整部、を更に備えることを特徴とする画像処理装置である。

【0034】

ここでは、風景シーンである場合、自然画像に含まれる被写体の輪郭がより明確になるようなシャープネス処理が行われる。これにより、自然画像の中に何が写し出されているのかが明確に把握し易い画像が得られる。

【0035】

第１４の発明は、第２の発明から第４の発明のいずれか１つにおいて、前記自然画像には、更に空が含まれ、前記領域量算出部は、前記画像データにおいて空が映っている空領域サイズを更に算出し、前記空領域サイズが第４所定サイズ以上の場合、パンフォーカス制御ないしは遠方優先のオートフォーカス制御を行うオートフォーカス制御部、前記空領域サイズが第４所定サイズ以上の場合、前記自然画像の鮮鋭度が上昇するように、前記画像データに対しシャープネス処理を施す第２鮮鋭度調整部、を更に備えることを特徴とする画像処理装置である。

【0036】

空領域サイズが比較的大きい場合、撮影シーンは屋外の風景シーンである可能性が大きい。そこで、画像処理装置は、パンフォーカス制御または遠方優先のオートフォーカス制御を行う。これにより、自然画像がぼけることなく撮像された画像が得られる。更に、画像処理装置は、自然画像に含まれる被写体の輪郭がより明確になるようなシャープネス処理を行う。これにより、自然画像の中に何が写し出されているのかが明確に把握し易い画像が得られる。

【発明の効果】

【0037】

本発明によれば、自然シーンであるか否かが比較的正確に判別されると共に、特定の色の鮮やかさが強調されるようなことはなく、ユーザが違和感を覚えにくい、実際の色合いが再現された画像が得られる。

【図面の簡単な説明】

【0038】

【図1】図１は、画像処理装置を備えた撮像素子の構成を模式的に示すブロック図である。

【図2】図２は、信号処理回路の構成例を示すブロック図である。

【図3】図３は、画像に形成されたブロックの一例を示す図解図である。

【図4】図４は、ＳＤＲＡＭのマッピング状態の一例を示す図解図である。

【図5】図５は、辞書データの概念の説明図である。

【図6】図６は、画像処理装置の起動後の主な動作の流れを示す図である。

【図7】図７は、自然シーンの可能性判断の動作の流れを詳細に表した図である。

【図8】図８は、主な被写体が植物のみである場合の、自然シーンの可能性の算出及び特定領域サイズの算出について説明するための図である。

【図9】図９は、主な被写体が人物及び植物である場合の、自然シーンの可能性の算出及び特定領域サイズの算出について説明するための図である。

【図10】図１０は、第１実施形態において、自然シーンにおける露出制御動作ならびに色合い調整動作の流れを示す図である。

【図11】図１１は、植物領域サイズと露出の低下量との関係を表したグラフである。

【図12】図１２は、植物領域サイズと彩度の上昇量との関係を表したグラフである。

【図13】図１３は、人物領域サイズと露出の低下量との関係を表したグラフである。

【図14】図１４は、第２実施形態において、風景シーンと確定した場合の画像処理装置の動作の流れを示す図である。

【図15】図１５は、第３実施形態において、自然シーンにおける露出制御動作ならびに色合い調整動作の流れのうち、第１実施形態とは異なる部分のみを示す図である。

【発明を実施するための形態】

【0039】

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

【0040】

≪第１実施形態≫
＜概要＞
本実施形態に係る画像処理装置（100）は、さまざまな撮影モードにて画像を撮像できる撮像装置（10）に備えられており、撮像された画像に対し画像処理を施す。撮像装置（10）としては、デジタルカメラ等の電子カメラが挙げられる。

【0041】

画像処理装置（100）は、撮影シーンの判別機能、及び撮影シーンに即した最適な画像をユーザに提供する画像処理機能を備える。

【0042】

特に、本実施形態では、撮像装置（10）が植物のみまたは人物及び植物を被写体として含む自然を撮像する場合、画像処理装置（100）は、撮影シーンを自然シーンであると自動的に判別する。そして、画像処理装置（100）は、自然シーンの下で撮像される自然画像の色合いが、自然画像の内容に従ってユーザにとって違和感をさほど覚えることのないようなナチュラルな色合いとなるように、画像が撮像される際の露出制御及び色相補正を行う。

【0043】

－撮像装置－
上記撮像装置（10）は、画像処理装置（100）に加えて、撮像部（11）及びモニタ（30）を備える。

【0044】

撮像部（11）は、画像データを取得するものであって、ドライバ（18a,18b,18c）、フォーカスレンズ（12）、絞りユニット（14）及びイメージセンサ（20）を有する。

【0045】

ドライバ（18a,18b,18c）は、フォーカスレンズ（12）、絞りユニット（14）及びイメージセンサ（20）それぞれに対応して接続され、接続された機能部を駆動する。フォーカスレンズ（12）は、被写体にピントを合わせるためのレンズであって、撮像装置（10）の筐体（図示せず）内にて可動可能に設けられている。絞りユニット（14）は、露光量を調節するためのものである。イメージセンサ（20）は、撮像素子であって、イメージセンサ（20）の受光面には、フォーカスレンズ（12）を経て被写体の光学像が入射される。イメージセンサ（20）は、この光学像に対し光電変換を施すことにより、光学像に対応する生画像信号を生成する。更に、イメージセンサ（20）では、読み出された各フレームの生画像信号に対してノイズ除去とレベル調整とが施される。

【0046】

このような撮像部（11）を備える撮像装置（10）は、自動で主要被写体にピントを合わせるオートフォーカス機能、及び、自動で露出（換言すると絞りの開口量や露光期間）を制御する自動露出機能を有する。これらの各機能を実現させるべく、撮像部（11）の各ドライバ（18a～18c）は、後述する画像処理装置（100）のＣＰＵ（32）によって制御される。

【0047】

モニタ（30）は、図示してはいないが、撮像装置（10）の筐体表面において、ユーザが視認できる位置に設けられている。モニタ（30）には、撮像装置（10）が撮像した画像や、撮像装置（10）の各種設定に用いるメニュー画面等が表示される。

【0048】

＜画像処理装置の構成＞
本実施形態に係る画像処理装置（100）の構成について、撮影時の動作を交えて具体的に説明する。

【0049】

図１に示すように、画像処理装置（100）は、信号処理回路（26）、メモリ制御回路（24）、ＳＤＲＡＭ（38）、ビデオエンコーダ（28）、Ｉ／Ｆ回路（34）、メモリカード（36）、ＪＰＥＧコーデック（27）、記憶部（42）、ＣＰＵ（32）及びシャッタボタン（40）を備える。

【0050】

このうち、信号処理回路（26）は、第１色属性調整部、第２色属性調整部、第１鮮鋭度調整部及び第２鮮鋭度調整部としての機能を有する。ＣＰＵ（32）は、特徴量算出部、領域量算出部、決定部、露出制御部、シーン判定部及びオートフォーカス制御部としての機能を有する。

【0051】

信号処理回路（26）は、図２に示す構成を有する。信号処理回路（26）は、イメージセンサ（20）から出力された各フレームの生画像信号（ディジタル信号）に対し、色分離処理、シャープネス調整処理、色調整処理、ＹＵＶ変換処理等を施して画像データを生成する。

【0052】

具体的に、生画像信号を生成する各画素は、Ｃｙ，Ｙｅ，Ｍｇ，Ｇのいずれか１つの色情報しか持たないため、先ず色分離回路（26a）によって各画素が不足する色情報が補完される。シャープネス調整回路（26b）では、色分離回路（26a）にて色情報が補完された後の画像データに対し、鮮鋭度を向上させるためのシャープネス調整処理が行われる。ＲＧＢ変換回路（26c）では、シャープネス調整回路（26b）から出力された画像信号にＲＧＢ変換を施す。ホワイトバランス調整回路（26d）は、アンプ（図示せず）を有し、ＲＧＢ変換回路（26c）から出力された画像信号を増幅する等してホワイトバランス調整を施す。ホワイトバランス調整が施された画像信号は、ＬＣＨ調整回路（26e）及び積算回路（26ｇ）に入力される。

【0053】

ＬＣＨ調整回路（26e）は、ホワイトバランス調整回路（26d）にて調整された後の画像信号に係るＲ成分、Ｂ成分及びＧ成分を、明度成分であるＬ成分、彩度成分であるＣ成分、色相成分であるＨ成分に変換すると、変換後の各成分について、必要に応じて明度、彩度及び色相の各補正を行う。ＹＵＶ変換回路（26f）は、ＬＣＨ調整回路（26e）から出力された後の画像信号を、ＹＵＶ信号に変換する。生成されたＹＵＶ信号は、輝度データであるＹ成分、色差成分であるＵ成分及びＶ成分が含まれ、Ｙ：Ｕ：Ｖの比率は“４：２：２”となっている。

【0054】

ホワイトバランス調整回路（26d）から出力された画像信号は、積分回路（26g）にも入力される。ＹＵＶ変換回路（26f）から出力されたＹＵＶ信号に係るＹ成分は、積算回路（26h）に入力される。図３に示すように、被写界（即ち画面）は、垂直方向及び水平方向のそれぞれに１６分割され、画面には２５６個のブロックが形成されている。各ブロックには、垂直位置信号ｉ（ｉは０～１５の整数）及び水平位置信号ｊ（ｊは０～１５の整数）が割り当てられる。

【0055】

積分回路（26g）は、入力された画像信号に係るＲ成分、Ｇ成分及びＢ成分それぞれをブロック毎に積分し、積分回路（26h）は、入力された画像信号に係るＹ成分をブロック毎に積分する。これによって、Ｒ成分に関する２５６個の積分値ｒ（i,j）、Ｇ成分に関する２５６個の積分値ｇ（i,j）、Ｂ成分に関する２５６個の積分値ｂ（i,j）が、積分回路（26g）から１フレーム期間毎に出力され、Ｙ信号に関する256個の積分値ｙ（i,j）が積分回路（26h）から１フレーム期間毎に出力される。

【0056】

上記積分値ｒ（i,j）,ｇ（i,j）,ｂ（i,j）は、露出制御時のＡＥ評価値として利用できる。積分値ｙ（i,j）は、撮影シーンの判定に利用できる。

【0057】

なお、積分回路（26g）では、更に、Ｒ成分、Ｇ成分及びＢ成分の高周波数成分の積分値が算出されてもよい。オートフォーカス制御時のＡＦ評価値として利用できるためである。

【0058】

図１に戻り、信号処理回路（26）から出力されたＹＵＶ信号は、メモリ制御回路（24）に入力される。入力されたＹＵＶ信号は、メモリ制御回路（24）によって、図４に係るＳＤＲＡＭ（38）の表示画像エリア（38a）に画像データとして書き込まれたり、表示画像エリア（38a）から読み出されたりする。

【0059】

ＳＤＲＡＭ（38）の表示画像エリア（38a）に格納された各フレームの画像データがメモリ制御回路（24）によって読み出されると、ビデオエンコーダ（28）は、この画像データをＮＴＳＣフォーマットのコンポジット画像信号にエンコードする。ビデオエンコーダ（28）は、このコンポジット画像信号をモニタ（30）に出力する。これにより、モニタ（30）には、被写体のリアルタイム動画像（スルー画像）が表示される。

【0060】

図２に示す積分回路（26h）から出力された２５６個の積分値ｙ（i,j）は、ＣＰＵ（32）によって取り込まれ、レジスタ（rgst1）に設定される。積分値ｙ（i,j）は、1フレーム期間毎に生成されるため、レジスタ（rgst1）の設定値は１フレーム期間毎に更新される。

【0061】

シャッタボタン（40）が半押しされると、半押しされたことを示す状態信号がＣＰＵ（32）に与えられる。ＣＰＵ（32）は、シャッタボタン（40）の半押し後に積分回路（26h）から出力された２５６個の積分値ｙ（i,j）をレジスタ（rgst2）に設定する。この結果、連続する２フレームの積分値ｙ（i,j）が、レジスタ（rgst1，rgst2）内に設定される。ＣＰＵ（32）は、これらの積分値ｙ（i,j）を用いた被写界のシーン判定を行い、シーンに応じたフォーカス調整を行う。

【0062】

例えば、ＣＰＵ（32）は、レジスタ（rgst1，rgst2）内に設定された積分値ｙ（i,j）に基づいて、被写界がスポーツシーンか否かを判定する。スポーツシーンの可能性判断が完了すると、ＣＰＵ（32）は、例えばＡＦ評価値を用いてフォーカス調整を行う。この際、フォーカスレンズ（12）は、ドライバ（18a）によって光軸方向に移動し、合焦位置に設定される。フォーカス調整が完了すると、ＣＰＵ（32）は、各積分値ｒ（i,j），ｇ（i,j），ｂ（i,j）,ｙ（i,j）を、レジスタ（rgst3）に設定する。１フレーム分の積分値ｒ（i,j），ｇ（i,j），ｂ（i,j），ｙ（i,j）の取り込みが完了すると、ＣＰＵ（32）は、ポートレートシーンの可能性、夕景シーンの可能性、夜景シーンの可能性、自然シーンの可能性を判別する。各シーンの判別については、後述の”全体の動作の流れ”“自然シーン判定動作”にて説明する。

【0063】

各シーンの可能性が算出されると、最も可能性の高いシーンが被写界として確定する。カメラ設定つまり撮影モードは、確定したシーンに応じて変更される。モニタ（30）には、確定したシーンに対応するメッセージが表示され、シーンに応じた露出調整が実行される。

【0064】

露出調整が完了した後に、撮影者がシャッタボタン（40）を全押しすると、撮影処理及び記録処理が実行される。先ず、ＣＰＵ（32）は、イメージセンサ（20）に本露光を実行させ、本露光によって得られた１フレーム分の生画像信号をイメージセンサ（20）から読み出させる。この生画像信号は、メモリ制御回路（24）に与えられ、メモリ制御回路（24）によって、図４に係るＳＤＲＡＭ（38）の生画像エリア（38b）に書き込まれる。

【0065】

生画像エリア（38b）への書き込みが完了した後、メモリ制御回路（24）は、当該生画像信号を読み出す。メモリ制御回路（24）によって読み出された生画像信号は、信号処理回路（26）に与えられる。信号処理回路（26）では、図２を用いて述べた色分離処理、シャープネス調整処理、ＲＧＢ変換処理、ホワイトバランス調整処理、ＬＣＨ調整処理、ＹＵＶ変換処理等の、一連の処理が実行され、ＹＵＶ信号（主要ＹＵＶ信号）が生成される。

【0066】

信号処理回路（26）から出力された主要ＹＵＶ信号は、メモリ制御回路（24）に与えられ、メモリ制御回路（24）によって図４に係るＳＤＲＡＭ（38）の主画像エリア（38c）に書き込まれる。書き込みが完了すると、ＣＰＵ（32）は、主要ＹＵＶ信号に基づいて縮小ＹＵＶ信号を生成する。具体的には、ＣＰＵ（32）は、メモリ制御回路（24）を介してＳＤＲＡＭ（38）にアクセスし、ソフトウェア処理によって縮小ＹＵＶ信号を生成する。生成された縮小ＹＵＶ信号は、図４に係るＳＤＲＡＭ（38）の縮小画像エリア（38d）に書き込まれる。

【0067】

メモリ制御回路（24）は、主要ＹＵＶ信号及び縮小ＹＵＶ信号をＳＤＲＡＭ（38）から読み出し、各々のＹＵＶ信号をＪＰＥＧコーデック（27）に与える。ＪＰＥＧコーデック（27）は、与えられた主要ＹＵＶ信号及び縮小ＹＵＶ信号をＪＰＥＧフォーマットに従って圧縮し、圧縮主要ＹＵＶ信号及び圧縮縮小ＹＵＶ信号を生成する。生成された圧縮主要ＹＵＶ信号及び圧縮縮小ＹＵＶ信号は、メモリ制御回路（24）によって、図４に係るＳＤＲＡＭ（38）の圧縮主画像エリア（38e）及び圧縮縮小画像エリア（38f）それぞれに書き込まれる。

【0068】

こうして撮影処理が完了すると、ＣＰＵ（32）は、記録処理を実行する。具体的には、ＣＰＵ（32）は、メモリ制御回路（24）を介してＳＤＲＡＭ（38）にアクセスし、圧縮主要ＹＵＶ信号及び圧縮縮小ＹＵＶ信号を、圧縮主画像エリア（38e）及び圧縮縮小画像エリア（38f）それぞれから読み出す。更に、ＣＰＵ（32）は、読み出された圧縮主要ＹＵＶ信号及び圧縮縮小ＹＵＶ信号をファイル形式で、Ｉ／Ｆ回路（34）を介してメモリカード（36）に記録する。メモリカード（36）は、撮像装置（10）の筐体（図示せず）に対して着脱自在に設けられたものである。

【0069】

また、ＣＰＵ（32）には、フラッシュメモリ等で構成される記憶部（42）が、電気的に接続されている。記憶部（42）には、被写体の種類を認識する際に利用される辞書データ（DB）が格納されている。一例として、図５の辞書データ（DB）には、植物の葉の特徴量のデータ（G1）、花の特徴量のデータ（G2）、人物の特徴量のデータ（G3）が、登録されている。特徴量としては、輝度、明度、彩度、色相、色成分、エッジ成分、方位、またはこれらの組合せ等が挙げられる。特徴量の種類は特に限定されないが、本実施形態では、特徴量に、少なくともエッジ成分と色成分とが含まれる場合を例示する。

【0070】

被写体が人物である場合、顔の器官（目，口など）の形状は概ね同一であり、顔の色は肌色のため、人物に係る上記データ（G3）には、エッジ成分の平均化した値及び肌色の平均化した値を登録することができる。一方、植物は、密集している程形状が複雑化し、垂直、水平、斜め右、斜め左を含む４方向全てのエッジ成分を有する。植物の色については、葉であれば緑色、花であれば緑色以外の多彩な色（赤色、黄色、紫色等）が挙げられる。それ故、植物の葉に係る上記データ（G1）には、同一の単位画像内に全方向のエッジ成分が存在するという情報、更には緑色の平均化した値が登録されることが好ましい。植物の花に係る上記データ（G2）には、様々な花単体のエッジ成分、または、これらのエッジ成分を平均化した値が登録されていてもよいし、同一の単位画像内に全方向のエッジ成分が存在するという情報に加えて、多彩な色成分もしくは色成分毎の平均化した値等が組み合わせて登録されていてもよい。

【0071】

なお、本実施形態では、被写界が自然シーンであると判定した際に、被写界の内容に応じた露出調整と、色合い調整処理とが行われるが、これらについては後述の“自然シーンにおける露出制御動作ならびに色合い調整動作”にて説明する。

【0072】

＜動作＞
次に、上記画像処理装置（100）が行う動作について詳述する。

【0073】

－全体の動作の流れ－
図６は、画像処理装置（100）の起動後の主な動作の流れを表す図である。

【0074】

先ず、撮像装置（10）の電源が投入されると、ＣＰＵ（32）は、ドライバ（18a～18c）、信号処理回路（26）及びビデオエンコーダ（28）に対し、スルー画像処理に係る処理命令を与える。これにより、スルー画像処理が行われる（ステップＳ１）。

【0075】

スルー画像処理は、“＜画像処理装置の構成＞”で説明した通りである。即ち、信号処理回路（26）は、イメージセンサ（20）から出力された生画像信号（デジタル信号）に基づいて画像データを生成し、メモリ制御回路（24）は、その画像データをＳＤＲＡＭ（38）の画像エリアに格納する。その後、メモリ制御回路（24）によってＳＤＲＡＭ（38）の画像エリアから各フレームの画像データが読み出され、ビデオエンコーダ（28）は、その画像データをコンポジット画像信号にエンコードしてモニタ（30）に表示させる。

【0076】

その後、シャッタボタン（40）が半押しされると（ステップＳ２のＹｅｓ）、ＣＰＵ（32）は、被写界がスポーツシーンである可能性の算出（ステップＳ３）、ポートレートシーンである可能性の算出（ステップＳ４）、夕景シーンである可能性の算出（ステップＳ５）、夜景シーンである可能性の算出（ステップＳ６）を行う。なお、これらの具体的な算出方法は、従来技術の適用が可能であり、ここではその詳細な説明を省略する。

【0077】

ＣＰＵ（32）は、被写界が自然シーンである可能性を、本実施形態に係る手法にて算出する（ステップＳ７）。

【0078】

次いで、ＣＰＵ（32）は、ステップＳ３～Ｓ７で算出した可能性の中からパーセンテージが最も高い可能性を特定し、特定した可能性に対応する撮影シーンを被写界に対応する撮影シーンとして確定し、その確定した撮影シーンに対応する撮影モードの設定を行う（ステップＳ８）。この撮影モードの設定には、撮影シーンに応じた露出調整に係る設定、色合い調整に係る設定等の、各種設定が含まれる。

【0079】

被写界がスポーツシーンであると確定した際、ＣＰＵ（32）は、動きのある被写体が鮮明に撮影されるように、プログラム線図を補正する（スポーツモード設定）。被写界がポートレートシーンであると確定した際、ＣＰＵ（32）は、背景がぼけるようにプログラム線図を補正し、且つ人物の肌色の変化が抑えられるようにホワイトバランス調整で使用されるゲインを補正する（ポートレートモード設定）。被写界が夕景シーンに確定した際、ＣＰＵ（32）は、遠景が鮮明に撮影されるようにプログラム線図を補正し、夕焼けの色の変化が抑えられるようにホワイトバランス調整にて使用されるゲインを補正する（夕景モード設定）。被写界が夜景シーンであると確定した際、ＣＰＵ（32）は、イルミネーションが際立つようにプログラム線図を補正する（夜景モード設定）。被写界が自然シーンであると確定した際、ＣＰＵ（32）は、図１０に示す露出制御動作を実現するためのプログラム線図の補正、及び、図１０に示す色合い調整動作を実現するための、ＬＣＨ調整処理にて使用される目標値の補正等を、ＡＥ評価値等を用いて行う。

【0080】

その後、ＣＰＵ（32）は、レジスタ（rgst2）に設定された積分値y（i,j）、上記の撮影モードの設定によって補正されたプログラム線図に基づいて、最適な絞り量及び最適な露光時間（シャッタ速度）を特定し、特定した絞り量及び露光時間をドライバ（18b）を介して絞りユニット（14）に設定する。

【0081】

その後、シャッタボタン（40）が全押しされた後（ステップＳ９のＹｅｓ）、ＣＰＵ（32）はこれを検知する。シャッタボタン（40）が全押しされている間、撮影処理及び記録処理が行われる（ステップＳ１０）。撮影処理では、ＣＰＵ（32）は、絞りユニット（14）とイメージセンサ（20）との間に配置されたシャッタ機構（図示せず）が、本露光の開始から最適な露光時間が経過した時点で駆動する。このような撮影処理と記憶処理とにより、被写界像がメモリカード（36）に記憶される。

【0082】

シャッタボタン（40）が全押しされなかった場合（ステップＳ９のＮｏ）、及び、ステップＳ１０に係る撮影処理及び記憶処理が完了した後は、ステップＳ２以降の動作が繰り返される。

【0083】

－自然シーン判定動作－
以下、図７～９を用いて、図６のステップＳ７に係る自然シーンの可能性判断の動作の流れについて説明する。

【0084】

先ず、ＣＰＵ（32）は、画像データを複数の単位画像（br1,br2,・・・）に区分けする（ステップＳ７１）。単位画像（br1,br2,・・・）のサイズは、特に限定はないが、例えば図３で示したブロックと同程度のサイズであってもよい。

【0085】

ＣＰＵ（32）は、図８及び図９に示すように、上記単位画像（br1,br2,・・・）と同サイズの検索枠（sf）を、画像データ上の最初の単位画像（br1）に重畳させると、隣接する単位画像（br2,・・・）へと検索枠（sf）を移動させていく（ステップＳ７２）。この検索枠（sf）の移動処理と共に、ＣＰＵ（32）は、検索枠（sf）が重畳している単位画像（br1,br2,・・・）について、特徴量の抽出を行う（ステップＳ７３）。ＣＰＵ（32）は、抽出した特徴量を記憶部（42）内の辞書データ（ＤＢ）と照合することにより（ステップＳ７４）、その単位画像に写し出されている被写体の種類が何であるのかを認識する。

【0086】

本実施形態では、説明の便宜上、撮像対象である主な被写体が、植物のみ（図８）、または、植物と人物との組合せ（図９）である場合を例に取る。例えば、単位画像に写し出された被写体が葉のみを含む植物の場合、ＣＰＵ（32）は、その植物の色成分“緑色”とエッジ成分“全方向”とを特徴量として抽出し、これらを辞書データ（DB）と照合して、“植物の葉”の単位画像であると認識する。単位画像に写し出された被写体が植物の花である場合、ＣＰＵ（32）は、その花の色成分及びエッジ成分の組合せ、ないしは花の色成分のみを特徴量として抽出し、これらを辞書データ（DB）と照合して、“花”の単位画像であると認識する。単位画像に写し出された被写体が人物の場合、ＣＰＵ（32）は、その人物の色成分“肌色”とエッジ成分とを特徴量として抽出し、これらを辞書データ（DB）と照合して、“人物”の単位画像であると認識する。

【0087】

上記ステップＳ７４の照合処理が、画像データに含まれる全ての単位画像（br1,br2,・・・）について実行されるまで（ステップＳ７５のＮｏ）、ステップＳ７２以降の処理が繰り返される。上記ステップＳ７４の照合処理が、画像データに含まれる全ての単位画像（br1,br2,・・・）について実行された場合（ステップＳ７５のＹｅｓ）、ＣＰＵ（32）は、全ての単位画像の認識結果に基づいて、当該認識結果が“植物”である単位画像の数に応じて、被写体が自然シーンである可能性を算出する（ステップＳ７６）。

【0088】

更に、ＣＰＵ（32）は、全ての単位画像の認識結果に基づいて、画像データにおいて植物が写っている領域の大きさ（以下、植物領域サイズ）、または、画像データにおいて人物が写っている領域の大きさ（以下、人物領域サイズ）を、特定領域サイズとして算出する（ステップＳ７７）。例えば、図８では、主な被写体は植物のみである。この場合、図８の太線で囲われた単位画像全てを含んだ範囲が、植物領域サイズ（rg1）に該当する。図９では、主な被写体は植物及び人物である。この場合、図９の人物の、太線で囲われた単位画像全てを含んだ範囲が、人物領域サイズ（rg2）であり、人物の左側及び右側それぞれに位置する植物の、太線で囲われた単位画像全てを含んだ範囲が、植物領域サイズ（rg1）である。

【0089】

図７に係るステップＳ７７の処理完了後、画像処理装置（100）の動作は、上層の動作フロー（図６）のステップＳ８に移行する。

【0090】

－自然シーンにおける露出制御動作ならびに色合い調整動作－
以下、図１０～１３を用いて、図６のステップＳ８のうち、撮影シーンが自然シーンである場合の露出制御動作ならびに色合い調整動作の流れについて説明する。即ち、ここでは、図６のステップＳ３～Ｓ７において各シーンの可能性判断がなされた結果、ステップＳ８において、撮影シーンが自然シーンであると確定したことを、前提とする。

【0091】

ＣＰＵ（32）は、図７のステップＳ７７で算出した特定領域サイズに応じて、画像データの露出量の調整処理を行うか否かを決定すると共に、露出量の調整処理を行うと決定した場合は、特定領域サイズに応じて画像データの露出量を調整する処理を行う。

【0092】

具体的には図１０に示すように、主な被写体が人物を含まず植物のみであって、画像データ中では植物領域が大部分を占める場合（ステップＳ１０１のＹｅｓ）、ＣＰＵ（32）は、特定領域サイズにおける植物領域サイズを第１所定サイズと比較する（ステップＳ１０２）。

【0093】

植物領域サイズが第１所定サイズ以上の場合（ステップＳ１０２のＹｅｓ）、ＣＰＵ（32）は、画像データの露出量の調整処理を行うと決定し、且つ、画像データの露出量を低下させる処理を行う（ステップＳ１０３）。当該処理では、植物領域サイズの大小に応じて、露出量を低下させる度合が変化する。

【0094】

図１１は、横軸を植物領域サイズ、縦軸を露出量を低下させる度合（露出の低下量）とし、ステップＳ１０３に係る処理での、植物領域サイズと露出の低下量との関係をグラフにて表している。図１１に示すように、本実施形態では、植物領域サイズが大きい程、露出を低下させる度合（露出の低下量）は高くなる。即ち、植物領域サイズが大きい程、画像データの露出量はより低くなる。算出した植物領域サイズを図１１のグラフに当てはめることで、露出量をどの程度下げるかが決定される。

【0095】

図１１に示すように、植物領域サイズが大きくなる程、露出の低下量が直線状に増すように、植物領域サイズと露出の低下量との関係が定義されていることが好ましいが、図１１に限定されずともよい。

【0096】

ステップＳ１０３にて決定した露出量に従って、ＣＰＵ（32）は、最適な絞り量及び最適な露光時間（シャッタ速度）をドライバ（18b）によって絞りユニット（14）に設定する。これにより、シャッタボタン（40）の全押し時、設定された露光時間及び絞り量による撮影処理が行われる。

【0097】

また、ステップＳ１０２において植物領域サイズが第１所定サイズ以上であるため（ステップＳ１０２のＹｅｓ）、信号処理回路（26）（具体的にはＬＣＨ調整回路（26e））は、自然画像における植物の緑色成分の彩度が上昇するように、自然画像の彩度を補正する処理を行う（ステップＳ１０４）。当該処理では、植物領域サイズの大小に応じて、植物の緑色成分の彩度を上昇させる度合が変化する。

【0098】

図１２は、横軸を植物領域サイズ、縦軸を彩度を上昇させる割合（彩度の上昇量）とし、ステップＳ１０４に係る処理での、植物領域サイズと彩度の上昇量との関係をグラフにて表している。図１２に示すように、本実施形態では、植物領域サイズが大きい程、彩度を上昇させる度合（彩度の上昇量）は高くなる。即ち、植物領域サイズが大きい程、画像データの彩度はより上昇する。算出した植物領域サイズを図１２のグラフに当てはめることで、彩度をどの程度上昇させるかが決定される。

【0099】

図１２に示すように、植物領域サイズが大きくなる程、彩度の上昇量が直線状に増すように、植物領域サイズと彩度の上昇量との関係が定義されていることが好ましいが、図１２に限定されずともよい。

【0100】

なお、図１０では、露出量を調整するか否かの判断で閾値として用いる“第１所定サイズ”は、に彩度を上昇させるか否かの判断においても共通して利用される場合を例示している（ステップＳ１０２）。しかし。露出量を調整するか否かの判断で用いる閾値“第１所定サイズ”とは別に、彩度を上昇させるか否かの判断で用いる閾値“第２所定サイズ”が設定されていてもよい。

【0101】

また、図１０では図示していないが、図７の自然シーンの可能性判断において、画像データからは人物や花などの主要被写体が認識されず、緑色成分の植物のみが認識された場合、自然画像は風景画である可能性が高い。この場合、ステップＳ１０４において、信号処理回路（26）（具体的にはシャープネス調整回路（26b））は、更に自然画像における植物の緑色成分のシャープネスが上昇するように、シャープネス調整を更に施してもよい。

【0102】

ステップＳ１０２において、植物領域サイズが第１所定サイズを下回る場合（ステップＳ１０２のＮｏ）、ＣＰＵ（32）は、画像データの露出量の調整処理を行わないと決定する（ステップＳ１０５）。この場合、シャッタボタン（40）の全押し時、初期設定された露光時間及び絞り量による撮影処理が行われる。

【0103】

また、主な被写体が人物及び植物を含んでおり、画像データ中では植物領域と人物領域との双方が大部分を占める場合（ステップＳ１０１のＮｏ，ステップＳ１０６のＹｅｓ）、ＣＰＵ（32）は、特定領域サイズにおける人物領域サイズを第３所定サイズと比較する（ステップＳ１０７）。

【0104】

人物領域サイズが第３所定サイズ以上の場合（ステップＳ１０７のＹｅｓ）、ＣＰＵ（32）は、画像データの露出量の調整処理を行わないと決定する（ステップＳ１０８）。被写体のうち、植物よりも領域が大きい人物に対する色合いを重視するためである。この場合、シャッタボタン（40）の全押し時、初期設定された露光時間及び絞り量による撮影処理が行われる。

【0105】

人物領域サイズが第３所定サイズを下回る場合（ステップＳ１０７のＮｏ）、ＣＰＵ（32）は、ステップＳ１０３と同様、画像データの露出量の調整処理を行うと決定し、且つ、画像データの露出量を低下させる処理を行う（ステップＳ１０９）。被写体のうち、人物よりも領域が大きい植物に対する色合いを重視するためである。当該処理では、人物領域サイズの大小に応じて、露出量を低下させる度合が変化する。

【0106】

図１３は、横軸を人物領域サイズ、縦軸を露出量を低下させる度合（露出の低下量）とし、ステップＳ１０９に係る処理での、人物領域サイズと露出の低下量との関係をグラフにて表している。図１３に示すように、本実施形態では、人物領域サイズが小さい程、露出を低下させる度合（露出の低下量）は高くなる。即ち、人物領域サイズが小さい程、画像データの露出量はより低くなる。算出した人物領域サイズを図１３のグラフに当てはめることで、露出量をどの程度下げるかが決定される。

【0107】

図１３に示すように、人物領域サイズが小さくなる程、露出の低下量が直線状に増すように、人物領域サイズと露出の低下量との関係が定義されていることが好ましいが、図１３に限定されずともよい。

【0108】

ステップＳ１０９にて決定した露出量に従って、ＣＰＵ（32）は、最適な絞り量及び最適な露光時間（シャッタ速度）をドライバ（18b）によって絞りユニット（14）に設定する。これにより、シャッタボタン（40）の全押し時、設定された露光時間及び絞り量による撮影処理が行われる。

【0109】

ステップＳ１０６において、画像データが、植物領域と人物領域とで大部分を占めるようなものでない場合（ステップＳ１０６のＮｏ）、ＣＰＵ（32）は、画像データの露出量の調整処理を行わないと決定する（ステップＳ１１０）。この場合、シャッタボタン（40）の全押し時、初期設定された露光時間及び絞り量による撮影処理が行われる。

【0110】

自然画像における植物に花の部位が含まれる場合、即ち、図７において被写体が植物の中でも“花”だと認識された単位画像が存在する場合（ステップＳ１１１のＹｅｓ）、信号処理回路（26）（具体的にはＬＣＨ調整回路（26e））は、当該花の色成分の彩度が上昇するように、自然画像の彩度を補正する処理を行う（ステップＳ１１２）。これにより、花の色成分が鮮やかな画像が得られる。

【0111】

＜効果＞
本実施形態の画像処理装置（100）は、自然画像の画像データを複数の単位画像（br1,br2,・・・）に細分化し、各単位画像（br1,br2,・・・）についての特徴量を求める。画像処理装置（100）は、各単位画像（br1,br2,・・・）の特徴量から被写体が植物か人物かを判別し、植物領域または人物領域のサイズを算出する。このような処理により、画像処理装置（100）は、自然シーンであるか否かを比較的正確に認識することができる。そして、画像処理装置（100）は、植物領域サイズまたは人物領域サイズである特定領域サイズに応じて、画像データの露出量の調整処理を行うべきか否かと、露出量の調整処理を行う場合は露出量を制御する。即ち、本実施形態では、比較的正確に認識された自然画像毎に、全体的な明るさを上下させる処理が行われる。従って、緑色等の特定の色の鮮やかさが強調されるようなことはなく、ユーザが違和感を覚えにくい、実際の色合いが再現された画像が得られる。

【0112】

多くの場合、植物は緑色である。ここでは、植物領域サイズが比較的多い場合、画像データの露出量を低下させることで、植物の緑色の色合いを残しつつも全体的な明るさを抑えた画像が得られる。これにより、植物の緑色が落ち着いている自然な色合いの画像が得られる。

【0113】

上記露出量を低下させる度合は、植物領域サイズの大小に応じて変化する。具体的には、植物領域サイズが大きい程画像データの露出量が低くなるように、植物領域サイズの大小に応じて露出量を低下させる度合が変化する。これにより、実際の被写体に即した細やかな露出制御がなされるため、植物の緑色が落ち着いている自然な色合いの画像が得られる。

【0114】

一方、植物領域サイズが第１所定サイズを下回る場合、画像データの露出量の調整処理は行われない。露出を行ってしまうと、全体的に暗い画像となってしまい、実際の植物の緑色の色合いが損なわれるためである。

【0115】

また、本実施形態では、植物領域サイズが比較的大きい場合、露出制御のみならず、彩度を上げる補正が更に行われる。これにより、露出を低下させる制御によって全体的には明るさが抑えられつつも、彩度を上昇させる制御により緑色が暗くなりすぎないような、自然な色合いの画像が得られる。

【0116】

植物の緑色成分の彩度を上昇させる度合は、植物領域サイズの大小に応じて変化する。これにより、画像に係る植物の緑色が強調されすぎることを抑制することができる。

【0117】

また、本実施形態では、自然画像内に植物と人物とが含まれている状態において、人物領域サイズが比較的大きい場合、一画像内の植物よりも人物を重視して、露出量の調整処理は実行されない。仮に露出量を下げてしまうと、画像は全体的に暗くなり、かえって人物が見にくくなる等の影響が画像に及ぶ可能性があるためである。

【0118】

一方、本実施形態では、人物領域サイズが比較的小さい場合、一画像内の人物よりも植物を重視して、露出量を下げる制御が行われる。これにより、植物の緑色の色合いを残しつつも全体的な明るさが抑えられ、植物の緑色が落ち着いた自然な色合いの画像が得られる。

【0119】

上記露出量を低下させる度合は、人物領域サイズの大小に応じて変化する。特に、人物領域サイズが小さい程画像データの露出量が低くなるように、人物領域サイズの大小に応じて露出量を低下させる度合が変化する。つまり、ここでは、一画面内の人物よりも植物を重視して、実際の被写体における植物の領域サイズに即した細やかな露出制御がなされるため、植物の緑色が落ち着いている自然な色合いの画像が得られる。

【0120】

また、植物には、緑色の葉の他に、色鮮やかな花が含まれることも多い。本実施形態では、植物の中に花が含まれる場合、花の色成分の彩度を上げる補正が行われる。これにより、画像に含まれる花の部分の色は鮮やかとなり、実際の色合いに即した画像が得られる。

【0121】

≪第２実施形態≫
本実施形態では、上記第１実施形態で説明した「自然シーン判定動作（図７）」及び「自然シーンにおける露出制御動作ならびに色合い調整動作（図１０）」において、更に図１４示す動作が追加された場合について説明する。

【0122】

なお、撮像装置（10）及び画像処理装置（100）の各構成、ならびに図６の動作の流れは、上記第１実施形態と同様である。

【0123】

先ず、画像処理装置（100）は、特定領域の明度の評価値等に基づいて被写体の被写体輝度を求めると共に、ＡＦ結果である被写体の被写体距離を求める。これらの算出方法には、従来技術の適用が可能であって、算出は、ＣＰＵ（32）及び信号処理回路（26）のどちらが行っても良い。例えば、被写体輝度の算出には、積算値ｒ（i,j）,ｇ（i,j）,ｂ（i,j）ｙ（i,j）等が利用され、被写体距離の算出には、図３に係る２５６個のブロック毎の、画像信号に係るＲ成分、Ｇ成分及びＢ成分の高周波数成分の積分値等が利用される。

【0124】

ＣＰＵ（32）は、上記図７に係る自然シーン判定動作を、ステップＳ７１からステップＳ７７まで行う。

【0125】

次いで、図１４に示すように、ＣＰＵ（32）は、算出した被写体輝度を、予め設定されている所定輝度と比較し（ステップＳ２０１）、算出した被写体距離を、予め設定されている所定距離と比較する（ステップＳ２０２）。

【0126】

被写体輝度が所定輝度以上であって（ステップＳ２０１のＹｅｓ）、且つ、被写体距離が所定距離以上である場合（ステップＳ２０２のＹｅｓ）、図１０の一連の動作、即ち“自然シーンにおける露出制御動作ならびに色合い調整動作”が、ステップＳ１０１～Ｓ１１２まで行われる。

【0127】

次いで、被写体輝度が所定輝度以上、且つ、被写体距離が所定距離以上であることから、ＣＰＵ（32）は、画像データが自然シーンで撮像されたもの、特に風景シーンで撮像されたものと判定する。この場合、信号処理回路（26）（具体的には、シャープネス調整回路（26b））は、自然画像の鮮鋭度が上昇するように、画像データに対しシャープネス調整処理を施す（ステップＳ２０３）。

【0128】

即ち、ここでは、風景シーンである場合、自然画像に含まれる被写体の輪郭がより明確になるようなシャープネス調整処理が行われる。これにより、自然画像の中に何が写し出されているのかが明確に把握し易い画像が得られる。

【0129】

≪第３実施形態≫
本実施形態では、上記第１実施形態で説明した「自然シーンにおける露出制御動作ならびに色合い調整動作（図１０）」に、図１５に係る動作が追加された場合について説明する。

【0130】

なお、撮像装置（10）及び画像処理装置（100）の各構成は、上記第１実施形態と同様である。図６及び図７の動作も、上記第１実施形態と同様である。

【0131】

本実施形態では、主要被写体が、植物と空であることを前提とし、ＣＰＵ（32）は、画像データにおいて空が写っている領域の大きさ（以下、空領領域サイズ）を更に算出するものとする。画像データから、空が写っている領域を検出する方法には、どのような方法が用いられても良い。例えば、単位画像（br1,br2,・・・）のエッジ成分が存在しないことと色成分が青色であるとの特徴量と、そのような特徴量を有する単位画像が自然画像における上部に位置することとに基づいて、当該単位画像（br1,br2・・・）が“空”であるとＣＰＵ（32）が認識する方法を採用することができる。

【0132】

先ず、図１０のステップＳ１０６においてＮｏであって、画像データ中では植物領域と空領域とが大部分を占める場合（ステップＳ３０１のＹｅｓ）、ＣＰＵ（32）は、算出した特定領域サイズにおける植物領域サイズと第１所定サイズとを比較する（ステップＳ３０２）。植物領域サイズが第１所定サイズ以上である場合（ステップＳ３０２のＹｅｓ）、ＣＰＵ（32）は、画像データの露出量の調整処理を行うと決定し、且つ、画像データの露出量を低下させる処理を行う（ステップＳ３０３）。当該露出量を低下させる処理の詳細については、図１０のステップＳ１０３と同様である。

【0133】

更に、空領域サイズが第４所定サイズ以上である場合（ステップＳ３０４のＹｅｓ）、自然画像が、例えば山や森等を写した屋外の自然の風景シーンである可能性が高い。そこで、ＣＰＵ（32）は、焦点を所定距離の固定焦点に設定すると共に絞り値を所定の絞り値に固定するパンフォーカス制御、ないしは、ドライバ（18a）によりフォーカスレンズ（12）を移動させて焦点を遠方に合わせる遠方優先のオートフォーカス制御を行う（ステップ３０５）。更に、信号処理回路（26）（具体的にはシャープネス調整回路（26b））は、自然画像の鮮鋭度が上昇するように、画像データに対しシャープネス調整処理を施す（ステップＳ３０６）。即ち、自然画像に含まれる被写体の輪郭がより明確になるようなシャープネス調整処理が行われる。

【0134】

これにより、自然画像の中に何が写し出されているのかが明確に把握し易い画像が得られる。

【0135】

なお、図１５において、主な被写体が植物及び空の組合せでない場合（ステップＳ３０１のＮｏ）、図１０のステップＳ１０１以降の動作が行われる。

【0136】

図１５において、植物領域サイズが第１所定サイズを下回る場合（ステップＳ３０２のＮｏ）、図１０のステップＳ１０５以降の動作が行われる。

【0137】

図１５において、空領域サイズが第４所定サイズを下回る場合（ステップＳ３０４のＮｏ）、及びステップ３０６の後、図１０のステップＳ１１１以降の動作が行われる。

【0138】

≪その他の実施形態≫
図７の自然シーンの可能性判断において、ＣＰＵ（32）は、各単位画像（br1,br2,・・・）の特徴量から、緑色成分の中に多彩な色成分が分布していると判明した場合、分布している多彩な色が花であると認識することができる。この場合、信号処理回路（26）（具体的にはＬＣＨ調整回路（26e）等）は、花の色を鮮やかにするために、花の領域の部分については彩度を上げる補正を施しても良い。

【0139】

上記第３実施形態では、フォーカス関連の制御（ステップＳ３０５）及びシャープネスを上昇させる補正（ステップＳ３０６）に加えて、更に信号処理回路（26）によって、彩度を上げる補正が自然画像に対し施されても良い。

【0140】

被写体の種類を認識では、辞書データ（DB）を利用しない方法が採用あれてもよい。

【0141】

図１０のステップＳ１０３では、植物領域サイズの大小に応じて露出を低下させる度合が変化すると説明したが、これは必須ではない。同様に、図１１では、植物領域サイズが大きい程直線的に露出量が低くなる場合を表しているが、これに限定されずとも良い。

【0142】

図１０のステップＳ１０４では、彩度を上昇させる補正が施されると説明したが、これは必須ではない。同様に、図１２では、植物領域サイズに応じて植物の緑色成分の彩度が直線的に上昇する場合を表しているが、これに限定されずとも良い。

【0143】

図１０のステップＳ１０９では、人物領域サイズの大小に応じて露出を低下させる度合が変化すると説明したが、これは必須ではない。同様に、図１３では、人物領域サイズが大きい程直線的に露出量が低くなる場合を表しているが、これに限定されずとも良い。

【0144】

図１０のステップＳ１１１及びＳ１１２では、花の部位の彩度を上昇させる補正を施すと説明したが、これは必須ではない。

【産業上の利用可能性】

【0145】

本発明は、撮影シーンが自然シーンであることを適切に判定すると共に、自然シーン下で撮像される画像に対し違和感をさほど覚えることのない実際の自然な色合いを再現することのできる画像処理装置として有用である。

【符号の説明】

【0146】

１０ 撮像装置
１１ 撮像部
２６ 信号処理回路（第１色属性調整部、第２色属性調整部、第１鮮鋭度調整部、第２鮮鋭度調整部、）
３２ ＣＰＵ（特徴量算出部、領域量算出部、決定部、露出制御部、シーン判定部、オートフォーカス制御部）
１００ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】