特許 6904518 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6904518

(24)【登録日】2021年6月28日

(45)【発行日】2021年7月14日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20210701BHJP

   G06T 7/00 20170101ALI20210701BHJP

   G06T 7/90 20170101ALI20210701BHJP

   G06T 7/136 20170101ALI20210701BHJP

【ＦＩ】

   H04N5/232 290

   G06T7/00 300E

   G06T7/90 A

   G06T7/136

【請求項の数】5

【全頁数】17

(21)【出願番号】特願2017-215832(P2017-215832)

(22)【出願日】2017年11月8日

(65)【公開番号】特開2019-87918(P2019-87918A)

(43)【公開日】2019年6月6日

【審査請求日】2020年9月29日

(73)【特許権者】

【識別番号】313003417

【氏名又は名称】株式会社ザクティ

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】岡本 正義

(72)【発明者】

【氏名】杉本 浩史

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０１０−１９３００６（ＪＰ，Ａ）

【文献】 特開２００９−３７５４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／９０

Ｇ０６Ｔ ７／１３６

Ｈ０４Ｎ ９／０４

(57)【特許請求の範囲】

【請求項1】

画像データを取得する撮像部と、
前記画像データが夕景シーンであるか否かを判定するシーン判定部と、
前記画像データに含まれる形状情報および色情報から該画像データに夕日があることを認識する夕日認識部とを備え、
前記シーン判定部は、前記画像データに夕日が認識された場合に、前記画像データに夕日が認識されなかった場合よりも夕景シーンであるか否かを判定するための判定基準を緩和する
ことを特徴とする画像処理装置。

【請求項2】

請求項１記載の画像処理装置において、
前記夕日認識部は、前記画像データに夕日の形状が認識され、かつ、該認識された夕日形状部分の色が夕日色であると認められる場合に、前記画像データに夕日があると認識する
ことを特徴とする画像処理装置。

【請求項3】

請求項２記載の画像処理装置において、
夕日の形状情報が辞書データとして格納された記憶部を有し、
前記夕日認識部は、前記辞書データを参照して前記画像データに夕日の形状が含まれていることを認識する
ことを特徴とする画像処理装置。

【請求項4】

請求項２記載の画像処理装置において、
前記夕日認識部は、前記夕日形状部分の周囲の色情報を含む周囲情報を加味して、前記画像データに夕日があるか否かを判断する
ことを特徴とする画像処理装置。

【請求項5】

請求項１記載の画像処理装置において、
前記夕景シーンの判定基準は、前記画像データの色評価値に基づく判定基準、前記画像データの輝度に基づく判定基準、および、前記画像データの上辺に沿って延びる上側領域と画像データの下辺に沿って延びる下側領域との明暗コントラスト差に基づく判定基準、のうちの少なくとも１つの基準を含んでいる
ことを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影シーンの判別機能を有する画像処理装置に関する。

【背景技術】

【0002】

従来より、夕景シーンを含む撮影シーンの判別機能を有する画像処理装置が知られている。

【0003】

例えば、特許文献１では、画像を複数のブロック領域に分割した後に、ブロック領域毎に色分布情報を取得し、夕日色ブロックの割合と夕日色ブロックの密集度とに基づいて夕景シーンであるか否かを判別する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−１２９９９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の技術では、夕景シーンではないが画像全体が赤みを帯びている場合、例えば、赤みを帯びた壁面が背景に撮影されているような場合に、夕景シーンと誤って判別し、画像処理装置において不必要に色調補正が行われる虞がある。また、画像の赤みが乏しい夕景シーンの場合には、夕景シーンであるにも拘わらず夕景シーンと判別できない虞がある。

【0006】

上記問題に鑑み、本発明の主たる目的は、画像処理装置の夕景シーンの判別精度を高めることにある。

【課題を解決するための手段】

【0007】

第１態様に係る撮像装置は前記画像データが夕景シーンであるか否かを判定するシーン判定部と、前記画像データに含まれる形状情報および色情報から該画像データに夕日があることを認識する夕日認識部とを備え、前記シーン判定部は、前記画像データに夕日が認識された場合に、前記画像データに夕日が認識されなかった場合よりも夕景シーンであるか否かを判定するための判定基準を緩和する。

【0008】

ここで、夕景シーンであるか否かの判定基準は、前記画像データの色評価値に基づく判定基準、前記画像データの輝度に基づく判定基準、および、前記画像データの上辺に沿って延びる上側領域と画像データの下辺に沿って延びる下側領域との明暗コントラスト差に基づく判定基準、のうちの少なくとも１つの基準を含んでいてもよい。

【0009】

本態様によると、夕日が認識できたか否かに基づいて、夕景シーンの判定のしやすさを変えるようにしているので、夕景シーンの判別精度を高めることができる。具体的には、例えば、画像データに夕日が認識された場合には、画像の赤みが乏しいような場合にも夕景シーンと判別できるような判定基準を設ける一方で、画像データに夕日が認識されなかった場合には、画像データが赤みを帯びていても夕景シーンと判定しないようにすることができる。画像データの輝度に基づく判定や明暗コントラスト差に基づく判定に関しても同様である。

【0010】

前記夕日認識部は、前記画像データに夕日の形状が認識され、かつ、該認識された夕日形状部分の色が夕日色であると認められる場合に、前記画像データに夕日があると認識する、としてもよい。

【0011】

このように、夕日形状の認識および夕日色の認識ができたときに夕日があると判定することにより、夕日の判別精度を高めることができ、ひいては、夕景シーンの判別精度を高めることができる。

【0012】

さらに、夕日の形状情報が辞書データとして格納された記憶部を有し、前記夕日認識部は、前記辞書データを参照して前記画像データに夕日の形状が含まれていることを認識する。

【0013】

このように、辞書データを持つことにより、様々な形態の夕日について判別することができるようになり、夕日の判別精度を高めることができ、ひいては、夕景シーンの判別精度を高めることができる。

【0014】

また、前記夕日認識部は、前記夕日形状部分の周囲の色情報を含む周囲情報を加味して、前記画像データに夕日があるか否かを判断するようにしてもよい。

【0015】

夕日の周囲情報には、夕景シーン特有の情報が含まれる場合があるため、周囲情報を加味することで夕日の判別精度を高めることができ、ひいては、夕景シーンの判別精度を高めることができる。

【発明の効果】

【0016】

本発明によれば、画像処理装置の夕景シーンの判別精度を高めることができる。

【図面の簡単な説明】

【0017】

【図1】撮像装置の構成を模式的に示すブロック図である。

【図2】信号処理回路の構成例を示すブロック図である。

【図3】画面に形成されたブロックの一例を示す図解図である。

【図4】ＳＤＲＡＭのマッピング状態の一例を示す図解図である。

【図5】撮像装置の動作の一部を示すフロー図である。

【図6】夕景シーンの可能性判定に係る処理の一例を示すフロー図である。

【図7】夕日の有無判定に係る処理の一例を示すフロー図である。

【図8】夕景シーンの可能性算出に係る処理の一例を示すフロー図である。

【図9】夕景シーンの一例を示す図解図である。

【図10】辞書データの一例を示す図解図である。

【図11】色評価値の分布状態を示す平面図である。

【図12】撮像装置の動作の他の一部を示す図解図である。

【図13】夕景シーンの可能性判定に係る処理の他の例を示すフロー図である。

【図14】夕景シーンの可能性算出に係る処理の他の例（一部）を示すフロー図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用範囲あるいはその用途を制限することを意図するものではない。

【0019】

−撮像装置の構成−
まず、撮像装置の各構成要素の基本的な機能について、撮影時の動作を交えて具体的に説明する。

【0020】

図１は、本実施形態に係る撮像装置の構成を模式的に示すブロック図である。図１に示すように、画像処理装置としての撮像装置１０は、撮像部１１、信号処理回路２６、メモリ制御回路２４、ＳＤＲＡＭ３８、ビデオエンコーダ２８、モニタ３０、Ｉ／Ｆ回路３４、メモリカード３６、ＪＰＥＧコーデック２７、記憶部４２、ＣＰＵ３２およびシャッタボタン４０を備える。ＣＰＵ３２は、シーン判定部および夕日認識部としての機能を有しており、詳細は後ほど説明する。

【0021】

記憶部４２には、図１０に示すような夕日の形状情報およびその周囲の雲等の周囲情報が登録された辞書データが登録されたデータベースＤＢが記憶されている。辞書データには、例えば、夕日のエッジ情報を抽出し、そのエッジ情報を平均化したデータが登録されている。ここで、図１０に示すように、互いに似ている夕日形状同士をグループ化し、そのグループ内のエッジ情報を平均化して辞書データとし、後述する夕日形状の判別の際に、各グループの辞書データを参照するようにしてもよい。図１０では、グループＧ１として、略円形形状の夕日形状をグループ化した例を示している。同様に、グループＧ２は雲がかかった夕日形状をグループ化した例を示し、グループＧ３は水平線や地平線に沈む夕日の形状をグループ化した例を示している。

【0022】

撮像部１１は、ドライバ１８ａ，１８ｂ，１８ｃと、ドライバ１８ａ，１８ｂ，１８ｃにそれぞれ駆動されるフォーカスレンズ１２、絞りユニット１４およびイメージセンサ２０とにより構成されている。これらの部材を経た被写界の光学像は、イメージセンサ２０の受光面に入射される。受光面では、入射された光学像に対し光電変換が施され、光学像に対応する生画像信号が生成される。さらに、イメージセンサ２０では、読み出された各フレームの生画像信号に対してノイズ除去とレベル調整が施される。

【0023】

信号処理回路２６は、図２に示すような構成を有し、イメージセンサ２０から出力された各フレームの生画像信号（ディジタル信号）に対し、色分離処理、色調整処理、ＹＵＶ変換処理等を施して画像データを生成する。具体的に、生画像信号を形成する各画素はＣｙ，Ｙｅ，ＭｇおよびＧのいずれか１つの色情報しか持たないため、まず色分離回路２６ａによって各画素が不足する色情報が補完される。ＲＧＢ変換回路２６ｂは色分離回路２６ａから出力された補色画像信号にＲＧＢ変換を施し、白バランス調整回路２６ｃはＲＧＢ変換回路２６ｂから出力された原色画像信号に白バランス調整を施す。白バランス調整が施された原色画像信号は、ＹＵＶ変換回路２６ｄによってＹＵＶ信号に変換される。生成されたＹＵＶ信号は、Ｙ：Ｕ：Ｖ＝４：２：２の比率を有する。

【0024】

白バランス調整回路２６ｃから出力された原色画像信号は積分回路２６ｅにも入力され、ＹＵＶ変換回路２６ｄから出力されたＹＵＶ信号を形成するＹ信号もまた積分回路２６ｆに与えられる。図３に示すように、被写界（画面）は、垂直方向および水平方向の各々において１６分割され、画面上には２５６個のブロックが形成されている。各ブロックには、垂直位置番号ｉ（＝０〜１５）および水平位置番号ｊ（＝０〜１５）が割り当てられる。

【0025】

積分回路２６ｅは、原色画像信号を形成するＲ信号、Ｇ信号およびＢ信号の各々をブロック毎に積分し、積分回路２６ｆは、Ｙ信号をブロック毎に積分する。これによって、Ｒ信号に関する２５６個の積分値ｒ（ｉ，ｊ），Ｇ信号に関する２５６個の積分値ｇ（ｉ，ｊ）およびＢ信号に関する２５６個の積分値ｂ（ｉ，ｊ）が積分回路２６ｅから１フレーム期間毎に出力され、Ｙ信号に関する２５６個の積分値ｙ（ｉ，ｊ）が積分回路２６ｆから１フレーム期間毎に出力される。

【0026】

図１に戻り、信号処理回路２６から出力されたＹＵＶ信号は、メモリ制御回路２４に出力され、メモリ制御回路２４によってＳＤＲＡＭ３８の表示画像エリア３８ａ（図４参照）に書き込まれ、その後、メモリ制御回路２４によって表示画像エリア３８ａから読み出される。

【0027】

ビデオエンコーダ２８は、ＳＤＲＡＭ３８の表示画像エリア３８ａに格納された各フレームの画像データがメモリ制御回路２４に読み出されると、この画像データをＮＴＳＣフォーマットのコンポジット画像信号にエンコードする。ビデオエンコーダ２８は、コンポジット画像信号をモニタ３０に出力する。これにより、モニタ３０には、被写体のリアルタイム動画像（スルー画像）が表示される。

【0028】

図２に示す積分回路２６ｆから出力された２５６個の積分値ｙ（ｉ，ｊ）は、ＣＰＵ３２によって取り込まれ、レジスタｒｇｓｔ１に設定される。積分値ｙ（ｉ，ｊ）は１フレーム期間毎に生成されるため、レジスタｒｇｓｔ１の設定値は１フレーム期間毎に更新される。

【0029】

シャッタボタン４０が半押しされると、そのことを示す状態信号がＣＰＵ３２に与えられる。ＣＰＵ３２は、シャッタボタン４０の半押し後に積分回路２６ｆから出力された２５６個の積分値ｙ（ｉ，ｊ）をレジスタｒｇｓｔ２に設定する。この結果、連続する２フレームの積分値ｙ（ｉ，ｊ）がレジスタｒｇｓｔ１およびｒｇｓｔ２内に得られる。ＣＰＵ３２は、こうして得られた積分値ｙ（ｉ，ｊ）に基づいて被写界がスポーツシーンか否かを判定する。スポーツシーンの可能性判断が完了すると、ＣＰＵ３２は、フォーカス調整を行う。フォーカスレンズ１２は、ドライバ１８ｂによって光軸方向に移動し、合焦位置に設定される。フォーカス調整が完了すると、ＣＰＵ３２は、積分回路２６ｅから出力された積分値ｒ（ｉ，ｊ），ｇ（ｉ，ｊ）およびｂ（ｉ，ｊ）並びに積分回路２６ｆから出力された積分値ｙ（ｉ，ｊ）をレジスタｒｇｓｔ３に設定する。１フレーム分の積分値ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ）およびｙ（ｉ，ｊ）の取り込みが完了すると、ＣＰＵ３２は、ポートレートシーンの可能性，夕景シーンの可能性および夜景シーンの可能性を判別する。各シーンの判別については、後述する「撮像装置の動作」において詳細に説明する。

【0030】

スポーツシーン、ポートレートシーン、夕景シーンおよび夜景シーンの各々の可能性が算出されると、最も可能性が高いシーンが被写界のシーンとして確定する。カメラ設定つまり撮影モードは、確定したシーンに応じて変更され、モニタ４４には確定したシーンに対応するメッセージが表示され、シーンに応じた露光調整が実行される。

【0031】

露光調整が完了した後に、撮影者がシャッタボタン４０を全押しすると、撮像装置１０では、撮影処理および記録処理が実行される。まず、ＣＰＵ３２は、イメージセンサ２０に本露光を実行させ、本露光によって得られた１フレーム分の生画像信号をイメージセンサ２０から読み出させる。この生画像信号は、メモリ制御回路２４に与えられ、メモリ制御回路２４によってＳＤＲＡＭ３８の生画像エリア３８ｂ（図４参照）に書き込まれる。

【0032】

生画像エリア３８ｂへの書き込みが完了した後、メモリ制御回路２４は、当該生画像信号を読み出す。メモリ制御回路２４によって読み出された生画像信号は、信号処理回路２６に与えられる。信号処理回路２６では、色分離，ＲＧＢ変換，白バランス調整およびＹＵＶ変換の一連の処理が実行され、ＹＵＶ信号（主要ＹＵＶ信号）が生成される。

【0033】

信号処理回路２６から出力された主要ＹＵＶ信号は、メモリ制御回路２４に与えられ、メモリ制御回路２４によってＳＤＲＡＭ３８の主画像エリア３８ｃ（図４参照）に書き込まれる。書き込みが完了すると、ＣＰＵ３２が主要ＹＵＶ信号に基づいて縮小ＹＵＶ信号を作成する。具体的には、ＣＰＵ３２は、メモリ制御回路２４を介してＳＤＲＡＭ３８にアクセスし、ソフトウェア処理によって縮小ＹＵＶ信号を生成する。生成された縮小ＹＵＶ信号は、ＳＤＲＡＭ３８の縮小画像エリア３８ｄ（図４参照）に書き込まれる。

【0034】

メモリ制御回路２４は、主要ＹＵＶ信号および縮小ＹＵＶ信号をＳＤＲＡＭ３８から読み出し、各々のＹＵＶ信号をＪＰＥＧコーデック２７に与える。ＪＰＥＧコーデック２７は、与えられた主要ＹＵＶ信号および縮小ＹＵＶ信号をＪＰＥＧフォーマットに従って圧縮し、圧縮主要ＹＵＶ信号および圧縮縮小ＹＵＶ信号を生成する。生成された圧縮主要ＹＵＶ信号および圧縮縮小ＹＵＶ信号は、メモリ制御回路２４によってＳＤＲＡＭ３８の圧縮主画像エリア３８ｅおよび圧縮縮小画像エリア３８ｆ（図４参照）に書き込まれる。

【0035】

こうして撮影処理が完了すると、ＣＰＵ３２は、記録処理を実行する。具体的には、ＣＰＵ３２は、メモリ制御回路２４を介してＳＤＲＡＭ３８にアクセスし、圧縮主要ＹＵＶ信号および圧縮縮小ＹＵＶ信号を圧縮主画像エリア３８ｅおよび圧縮縮小画像エリア３８ｆからそれぞれ読み出す。さらに、ＣＰＵ３２は、読み出された圧縮主要ＹＵＶ信号および圧縮縮小ＹＵＶ信号をファイル形式で記録媒体５０に記録する。なお、記録媒体５０は着脱自在であり、記録媒体５０へのアクセスはＩ／Ｆ４８を介して行われる。

【0036】

−撮像装置の動作−
次に、撮像装置１０の起動後の動作について、夕景シーンの可能性判断を中心に、図５〜図８のフローチャートを参照しつつ、具体的に説明する。以下の説明において、特に説明する場合を除いて、制御の主体はＣＰＵ３２であるものとする。

【0037】

図５のステップＳ１において、電源が投入されると、撮像装置１０では、ドライバ１８ａ，１８ｂ，１８ｃ、信号処理回路２６およびビデオエンコーダ２８に、ＣＰＵ３２からスルー画像処理に係る処理命令が与えられ、スルー画像処理が開始される。

【0038】

スルー画像処理に係る動作は、「撮像装置の構成」で説明したとおりであり、具体的には、信号処理回路２６が、イメージセンサ２０から出力された生画像信号（ディジタル信号）に基づいて画像データを生成し、その画像データをメモリ制御回路２４がＳＤＲＡＭ３８の画像エリアに格納する。その後、メモリ制御回路２４によってＳＤＲＡＭ３８の画像エリアから各フレームの画像データが読み出され、ビデオエンコーダ２８がその画像データをコンポジット画像信号にエンコードしてモニタ３０に表示させる。

【0039】

その後、シャッタボタン４０が半押しされると（Ｓ１１でＹＥＳ）、ＣＰＵ３２は、被写界がスポーツシーンである可能性を算出する（ステップＳ２）。具体的な算出方法は、従来技術の適用が可能であり、ここではその詳細な説明を省略する。

【0040】

ステップＳ３では、被写界がポートレートシーンである可能性を算出する。具体的な算出方法は、従来技術の適用が可能であり、ここではその詳細な説明を省略する。

【0041】

ステップＳ４では、被写界が夕景シーンである可能性を算出する。具体的に、夕景シーンの可能性判断処理は、図６〜図８に示すサブルーチンに従う。

【0042】

（夕景シーンの可能性判断）
まず、図６のステップＳ４１では、被写界に夕日があるかどうかの判定を行う。具体的な判定フローの一例は、図７に示している。

【0043】

図７のステップＳ４１１では、被写界に含まれる形状情報の認識および色情報の認識を行う。具体的な形状情報の認識方法は、特に限定されないが、例えば、被写界のエッジ情報の分布を取り、それを平均化することで認識できる。同様に、具体的な色情報の認識方法は、特に限定されず、従来技術を適用することができる。

【0044】

ステップＳ４１２では、ステップＳ４１１で認識された形状情報に、夕日の形状が含まれているかどうかを判断する。以下、図９（ａ）および図１０を用いて具体的に説明する。ここで、図９（ａ）は、被写界の画像データを示しているものとする。

【0045】

まず、ＣＰＵ３２は、被写界の画像データからエッジ情報のベクトル成分を抽出し、そのベクトル成分の分布を取って平均化する。その後、辞書データの各グループの情報と、被写界の画像データから抽出した情報とを比較し、被写界の画像データ中に夕日の形状情報が含まれるかどうかを判断する。

【0046】

被写界の画像データに夕日形状が含まれていないと判断した場合（Ｓ４１２でＮＯ）、フローはステップＳ４１９に進み、ＣＰＵ３２は、「夕景シーンの可能性」を算出するためのパラメータとして通常パラメータを設定し、上階層のルーチンに復帰する。一方で、被写界の画像データに夕日形状が含まれていると判断した場合（Ｓ４１２でＹＥＳ）、フローはステップＳ４１３に進み、ＣＰＵ３２は、夕日形状部分の色が夕日色かどうかを判断する。

【0047】

夕日形状部分の色が夕日色であった場合、フローは、ステップＳ４１４に進み、夕日形状部分の周囲の情報（以下、単に周囲情報という）が、夕景シーンの特徴や傾向と合致するかどうかを判断する。そして、周囲情報が夕景シーンの特徴や傾向と合致する場合、フローはステップＳ４１５に進み、ＣＰＵ３２は、「夕景シーンの可能性」を算出するためのパラメータとして夕日パラメータを設定する。夕日パラメータとは、「夕日がある」と認識された場合用のパラメータである。このように、夕日の形状情報や色情報に加えて、周囲情報を夕日の認識に用いることで、夕日の判別精度を高めることができる。なお、詳細は後ほど説明するが、夕日パラメータは、通常パラメータと比較して、判定基準が緩和されたパラメータとなっており、夕日パラメータを用いることにより夕景シーンと判定されやすくなる。

【0048】

ここで、夕景シーンの特徴や傾向とは、例えば、夕日の周囲では夕日を中心としてその外側に向かって徐々に輝度が下がる傾向がある。また、図１０のグループＧ２に示すように、雲の形状が水平方向に沿って筋状に延びる傾向がある。また、図１０のグループＧ３に示すように、夕日が水平線や地平線に沈む際には、夕日の下側部分が水平線や地平線によって切り欠かれるとともに、水面や地面に光が写るという特徴がある。そこで、ステップＳ４１４では、夕日形状部分の周囲情報が上記のような特徴や傾向を有するかどうかが判断される。

【0049】

なお、夕日形状部分の周囲情報は、図１０に示すように、辞書データの一部として、各夕日形状情報に組込まれたり、紐付けされていたりしてもよい。また、周囲情報にかかる辞書データ（以下、周囲辞書データという）を、夕日形状を示す辞書データ（以下、夕日辞書データという）と別に設けて、夕日辞書データと周囲辞書データとを個別に組み合わせて被写界に夕日があるかどうかを判別できるようにしてもよい。また、夕日形状部分の周囲とは、夕日形状の周り（夕日に雲がかかっている場合にはその雲を含む）に任意の広さで定義することができる。例えば、認識された夕日形状部分の中心から円形状に所定の広さを持つ領域を夕日形状部分の周囲と定義してもよいし、夕日形状部分の外側の輪郭から所定の広がりを持つ部分を夕日形状部分の周囲と定義してもよい。図１０では、破線で周囲情報を取得する範囲の一例を示している。また、被写界全体を周囲と定義するようにしてもよい。また、撮影された夕日の被写界全体に対する大きさや位置等に応じて、夕日形状部分の周囲の定義を変更するようにしてもよい。

【0050】

図7のステップＳ４１３，Ｓ４１４に戻り、夕日形状部分が夕日色でない場合（Ｓ４１３でＮＯ）、または、夕日の周辺情報が夕景シーンの特徴と異なる場合（Ｓ４１４でＮＯ）には、フローはＳ４１８に進む。ステップＳ４１８では、被写界の画像データ内に、他の夕日形状が認識されていないかどうかを確認する。そして、他の夕日形状が認識されていた場合（Ｓ４１８でＮＯ）、その形状に対して再びステップＳ４１３およびステップＳ４１４の確認処理を実行する。一方で、すべての夕日形状部分の確認が終了していた場合（Ｓ４１８でＹＥＳ）、フローはステップＳ４１９に進み、ＣＰＵ３２は、「夕景シーンの可能性」を算出するためのパラメータとして通常パラメータを設定し、上階層のルーチンに復帰する。

【0051】

次に、図６のステップＳ４３の夕景シーンの可能性算出について、図８を参照しながら具体的に説明する。

【0052】

まず、図８のステップＳ１８１で変数Ｃｓｓを“０”に設定し、ステップＳ１８３で垂直位置番号ｉを“０”に設定し、そしてステップＳ１８５で水平位置番号ｊを“０”に設定する。

【0053】

次のステップＳ１８９では、レジスタｒｇｓｔ３に設定された積分値ｒ（ｉ，ｊ），ｇ（ｉ，ｊ）およびｂ（ｉ、ｊ）を読み出し、以下の式（１），（２）に従ってブロック（ｉ，ｊ）の色評価値ＲおよびＧを算出する。

【0054】

Ｒ＝ｒ（ｉ，ｊ）／（ｒ（ｉ，ｊ）＋ｇ（ｉ，ｊ）＋ｂ（ｉ、ｊ）） ・・・（１）
Ｇ＝ｇ（ｉ，ｊ）／（ｒ（ｉ，ｊ）＋ｇ（ｉ，ｊ）＋ｂ（ｉ、ｊ）） ・・・（２）

【0055】

ステップＳ１９１では、算出された色評価値ＲおよびＧが図１１に示す夕景色領域ＥＶＥＮ１，ＥＶＥＮ２に属するかどうかを判断する。図１１では、斜め格子線で通常パラメータに係る景色領域ＥＶＥＮ１を示しており、斜め格子線および斜線で夕日パラメータに係る景色領域ＥＶＥＮ２を示している。ステップＳ１９１において、ＹＥＳであればステップＳ１９５に進み、ステップＳ１９５で変数ＣｓｓをインクリメントしてからステップＳ１９７に進む。一方で、ステップＳ１９１においてＮＯの場合、上記変数Ｃｓｓをインクリメントせずに、フローはステップＳ１９７に進む。

【0056】

このように、景色領域ＥＶＥＮ１よりも景色領域ＥＶＥＮ２の領域を広く設定することで、夕日パラメータの方が通常パラメータよりもステップＳ１９１でＹＥＳ判定されやすくなっている。すなわち、夕日パラメータは、通常パラメータよりも色評価値が夕景色であると判断される可能性が高くなるようにしている。

【0057】

ステップＳ１９７では、水平位置番号ｊをインクリメントし、ステップＳ１９９ではインクリメントされた水平位置番号ｊを“１６”と比較する。そして、ｊ＜１６であればステップＳ１８９に戻るが、ｊ＝１６であればステップＳ２０１に進む。ステップＳ２０１では、垂直位置番号ｉをインクリメントし、ステップＳ２０３ではインクリメントされた垂直位置番号ｉを“１６”と比較する。そして、ｉ＜１６であればステップＳ１８５に戻るが、ｉ＝１６であれば、処理は次のステップＳ２０４に進む。

【0058】

このような処理を実行することで、各々のブロックについて、夕景色であるかどうかの判別処理が行われる。変数Ｃｓｓは、夕景色のブロックの数を示すこととなる。

【0059】

ステップＳ２０４では、レジスタｒｇｓｔ３に設定された積分値ｙ（ｉ，ｊ）を読み出し、当該積分値ｙ（ｉ，ｊ）と現在の露出設定値から推定される現在の被写体輝度が所定の閾値を超えるかどうかを判断する。

【0060】

具体的に、通常パラメータの場合、以下の式（３）を満たし、かつ、フォーカス距離が遠ければ（Ｓ２０５でＹＥＳ）、追加の処理をすることなく、上階層のルーチン（図６のステップＳ４３）に復帰する。

【0061】

ｙ（ｉ，ｊ）＞Ｙｔｈ１ ・・・（３）

【0062】

同様に、夕日パラメータの場合、以下の式（４）を満たし、かつ、フォーカス距離が遠ければ（Ｓ２０５でＹＥＳ）、追加の処理をすることなく、上階層のルーチン（図６のステップＳ４３）に復帰する。

【0063】

ｙ（ｉ，ｊ）＞Ｙｔｈ２ ・・・（４）
ここで、Ｙｔｈ２＜Ｙｔｈ１である。

【0064】

一方で、ステップＳ２０４，Ｓ２０５においてＮＯの場合、ステップＳ２１０に進み、夕景シーンの可能性はない、すなわち夕景シーンの可能性を「０」に設定して、上階層のルーチン（図６のステップＳ４３）に復帰する。

【0065】

このように、夕日パラメータの判定の閾値Ｙｔｈ２と通常パラメータの判定の閾値Ｙｔｈ１とを互いに異ならせ、かつ、Ｙｔｈ２＜Ｙｔｈ１とすることで、夕日パラメータの方が通常パラメータよりもステップＳ２０４でＹＥＳ判定されやすくなっている。すなわち、夕日パラメータは、通常パラメータよりも輝度が所定の閾値を超えていると判断される可能性が高くなるようにしている。以下の説明では、説明の容易化のために、「輝度が所定の閾値を超えていること」を、「高輝度」であると表現するものとする。

【0066】

図６のステップＳ４３に戻ると、ＣＰＵ３２は、以下の式（５）に従って、夕景シーンの可能性を算出し、その算出を終えると、上階層のルーチン（図５のステップＳ５）に復帰する。

【0067】

Ｐｅｖｅｎ＝Ｃｓｓ／１１２＊１００ ・・・（５）

【0068】

図５のステップＳ５では、ＣＰＵ３２は、被写界が夜景シーンである可能性を算出する。具体的な算出方法は、従来技術の適用が可能であり、ここではその詳細な説明を省略する。

【0069】

ステップＳ６では、ステップＳ２〜Ｓ５で求められた可能性の中からパーセンテージが最も高い可能性を特定し、特定した可能性に対応するシーンを被写界に対応するシーンとして確定し、その確定したシーンに対応するカメラ設定（撮影モード設定）を行う。被写界がスポーツシーンに確定したときは、動きのある被写体が鮮明に撮影されるようにプログラム線図を補正する（スポーツモード設定）。被写界がポートレートシーンに確定したときは、背景がぼけるようにプログラム線図を補正し、かつ人物の肌色の変化が抑えられるように白バランス調整ゲインを補正する（ポートレートモード設定）。被写界が夕景シーンに確定したときは、遠景が鮮明に撮影されるようにプログラム線図を補正し、夕焼けの色の変化が抑えられるように白バランス調整ゲインを補正する（夕景モード設定）。被写界が夜景シーンに確定したときは、イルミネーションが際立つようにプログラム線図を補正する（夜景モード設定）。

【0070】

その後、レジスタｒｇｓｔ２に設定された積分値ｙ（ｉ，ｊ）と上記の撮影モード設定によって補正されたプログラム線図とに基づいて最適絞り量および最適露光時間を特定し、最適絞り量をドライバ１８ｂによって絞りユニット１４に設定する。

【0071】

ステップＳ７では、ＣＰＵ３２は、シャッタボタン４０が全押しされたかどうか判断し、ステップＳ９ではシャッタボタン４０の操作が解除されたかどうか判断する。シャッタボタン４０が全押しされたときは、フローはステップＳ８の撮影処理／記録処理に進む。撮影処理では、絞りユニット１４とイメージセンサ２０との間に配置されたシャッタ機構（図示省略）が、本露光の開始から最適露光時間が経過した時点で駆動する。そして、撮影処理および記録処理によって、被写界像がメモリカード３６に記録され、その後フローはステップＳ１１に戻る。

【0072】

シャッタボタン４０の操作が解除されたときには（ステップＳ９でＹＥＳ）、撮影処理／記録処理を行うことなくフローはステップＳ１１に戻る。

【0073】

以上のように、本実施形態によると、夕景シーンの可能性判定において、被写界の画像データに夕日があるかどうかを判別し、夕日があると認識された場合に、通常パラメータよりも夕景シーンと判定されやすくした夕日パラメータを用いて夕景シーンの判定を行うようにしている。これにより、夕景シーンの判別精度を高めることができる。

【0074】

＜その他の実施形態＞
以上、本発明の実施形態について説明したが、種々の改変が可能である。

【0075】

例えば、上記の実施形態における夕景シーンの判定において、被写界の上下の輝度差（明暗コントラスト差）による判定条件を追加するようにしてもよい。以下、図１２〜図１４を用いて具体的に説明する。

【0076】

図１３のステップＳ４１，Ｓ４３は、図６と同じである。

【0077】

図１３のステップＳ４３では、図８のサブルーチン終了後、すなわち、ステップＳ２０３でＮＯ判定となった後に、図１４のサブルーチン（ステップＳ２０５）に進む点で前述の実施形態の説明と異なる。

【0078】

図１４のステップＳ２０５では、各辺の輝度値である、上辺輝度値Ｙｕｐｐｅｒ、下辺輝度値Ｙｌｏｗｅｒ、左辺輝度値Ｙｌｅｆｔおよび右辺輝度値Ｙｒｉｇｈｔを“０”に設定する。また、ステップＳ２０７およびＳ２０９では垂直位置番号ｉおよび水平位置番号ｊを“０”に設定する。ステップＳ２１１では０≦ｉ≦１の条件が満たされるかどうかを判断し、ステップＳ２１５では１４≦ｉ≦１５の条件が満たされるかどうかを判断し、ステップＳ２１９では０≦ｊ≦１の条件が満たされるかどうかを判断し、そしてステップＳ２２５では１４≦ｊ≦１５の条件が満たされるかどうかを判断する。

【0079】

ステップＳ２１１でＹＥＳと判断されるとステップＳ２１３に進み、レジスタｒｇｓｔ３に格納された積分値ｙ（ｉ，ｊ）を上辺輝度値Ｙｕｐｐｅｒに加算する。ステップＳ２１５でＹＥＳと判断されるとステップＳ２１７に進み、レジスタｒｇｓｔ３に格納された積分値ｙ（ｉ，ｊ）を下辺輝度値Ｙｌｏｗｅｒに加算する。ステップＳ２１９でＹＥＳと判断されるとステップＳ２２１に進み、レジスタｒｇｓｔ３に格納された積分値ｙ（ｉ，ｊ）を左辺輝度値Ｙｌｅｆｔに加算する。ステップＳ２２５でＹＥＳと判断されるとステップＳ２２７に進み、レジスタｒｇｓｔ３に格納された積分値ｙ（ｉ，ｊ）を右辺輝度値Ｙｒｉｇｈｔに加算する。

【0080】

ステップＳ２２９では水平位置番号ｊをインクリメントし、ステップＳ２３１ではインクリメントされた水平位置番号ｊを“１６”と比較する。そして、ｊ＜１６であればステップＳ２１１に戻るが、ｊ＝１６であればステップＳ２３３に進む。ステップＳ２３３では垂直位置番号ｉをインクリメントし、ステップＳ２３５ではインクリメントされた垂直位置番号ｉを“１６”と比較する。そして、ｉ＜１６であればステップＳ２０９に戻るが、ｉ＝１６であれば、上階層のルーチンに復帰する。

【0081】

このような処理によって求められた上辺輝度値Ｙｕｐｐｅｒ、下辺輝度値Ｙｌｏｗｅｒ、左辺輝度値Ｙｌｅｆｔおよび右辺輝度値Ｙｒｉｇｈｔはそれぞれ、図１２に斜線および太線で示す上辺領域ＡＲＤ２ａ、下辺領域ＡＲＤ２ｂ、左辺領域ＡＲＤ２ｃおよび右辺領域ＡＲＤ２ｄの輝度を示す。

【0082】

図１３に戻り、ステップＳ４４では、次のステップＳ４５で使用する輝度差の閾値設定を行う。具体的に、図７のフローにおいて、夕日があると認識されていた場合、すなわち、図７のステップＳ４１５を通過していた場合、輝度差の閾値としてＹｔｈ３（夕日パラメータ）を設定する。一方で、図７のフローにおいて、夕日がないと認識されていた場合、すなわち、図７のステップＳ４１９を通過していた場合、輝度差の閾値としてＹｔｈ４（通常パラメータ）を設定する。

【0083】

ステップＳ４５では、上辺輝度値Ｙｕｐｐｅｒと下辺輝度値Ｙｌｏｗｅｒとの差分を検出し、当該差分に基づいて画面の上下の輝度差が所定の基準値よりも大きいかどうかを判断する。この判断は、図１２に示すように、上辺領域ＡＲＤ２ａおよび下辺領域ＡＲＤ２ｂの全体の値を用いて輝度差を求めるようにしてもよいし、図９（ｂ）に斜め格子線でしめすように上辺領域ＡＲＤ２ａおよび下辺領域ＡＲＤ２ｂの一部（例えば、９０％程度）の領域内の値に基づいて輝度差を求めるようにしてもよい。

【0084】

具体的に、夕日パラメータの場合、以下の式（６）を満たしていれば（Ｓ４５でＹＥＳ）、そのまま上階層のルーチンに復帰する。

【0085】

Ｙｕｐｐｅｒ（上辺輝度値）−Ｙｌｏｗｅｒ（下辺輝度値）＞Ｙｔｈ３ ・・・（６）
同様に、通常パラメータの場合、以下の式（７）を満たしていれば（Ｓ４５でＹＥＳ）、そのまま上階層のルーチンに復帰する。

【0086】

Ｙｕｐｐｅｒ（上辺輝度値）−Ｙｌｏｗｅｒ（下辺輝度値）＞Ｙｔｈ４ ・・・（７）
ここで、Ｙｔｈ３＜Ｙｔｈ４である。一方で、ステップＳ４５においてＮＯの場合、夕景シーンの可能性はない、すなわち夕景シーンの可能性を「０」に設定して、上階層のルーチンに復帰する。

【0087】

このように、夕日パラメータの判定の閾値Ｙｔｈ３と通常パラメータの判定の閾値Ｙｔｈ４とを互いに異ならせ、かつ、Ｙｔｈ３＜Ｙｔｈ４に設定することで、夕日パラメータの方が通常パラメータよりもステップＳ４５でＹＥＳ判定されやすくなっている。すなわち、夕日パラメータは、通常パラメータよりも上下の輝度差が所定の閾値を超えていると判断される可能性が高くなるようにしている。これにより、夕景シーンの判別精度を高めることができる。

【0088】

また、上記の実施形態では、夕日の有無を判定する際に、夕日の周囲情報を参照するものとしたが、これに限定されない。例えば、夕日形状および夕日形状部分の色に基づいて、夕日の有無を判定するようにしてもよい。その場合、図７において、ステップＳ４１４を省くようにすればよい。

【0089】

また、上記の実施形態に加えて、夕日の有無を判定する際に、夕日形状があっても夕日と判定しない領域制限を設けるようにしてもよい。例えば、図１２の下辺領域ＡＲＤ２ｂを夕日判定領域から除外し、下辺領域ＡＲＤ２ｂに夕日形状があっても夕日と判定しないようにしてもよい。

【0090】

また、上記実施形態では、図5のステップＳ６において、ステップＳ２〜Ｓ５で求められた可能性の中からパーセンテージが最も高い可能性を特定し、特定した可能性に対応するシーンを被写界に対応するシーンとして確定するものとしたが、これに限定されない。例えば、図５の撮影シーンの確定方法に代えて、優先度の高いモードから順次判定し、その途中で判定が適合すれば、それ以降の優先度の低いモードの判定は行わないとしてもよい。具体的に、例えば、以下の（１）〜（７）のような優先度をつけ、（１）から順番に判定を行うようにしてもよい。
（１）夜景＆人物モード：被写界が夜景シーンでありかつ被写界に人物が含まれていると判定された場合に適用される。夜景シーンであるかどうかの判定は、実施形態の説明と同様である。人物が含まれているかどうかの判定は、例えば、人物の顔が検知されているか否かで判定することができる。
（２）人物モード：被写界が夜景シーンではないが、被写界に人物が含まれていると判定された場合に適用される。
（３）マクロモード：被写界のフォーカス距離が近い場合に適用される。フォーカス距離の遠近は、例えば、図８のステップＳ２０５の情報を使用することができる。
（４）夜景モード：被写界が夜景シーンと判定された場合に適用される。
（５）夕景モード：被写界が夕景シーンと判定された場合に適用される。
（６）風景モード：被写界が夜景シーンおよび夕景シーン以外の風景シーンと判定された場合に適用される。風景シーンか否かの判定は、高輝度かつフォーカス距離が十分遠いかどうかで判断できる。高輝度の判定およびフォーカス距離の判定は、例えば、図８のステップＳ２０４、Ｓ２０５の情報を使用することができる。
（７）ＡＵＴＯモード：上記（１）〜（６）に該当しない場合に適用される。

【0091】

なお、上記の（１）〜（７）の具体的な撮影モードの設定方法については、前述の実施形態に記載した技術または従来技術を適用することができるので、ここではその詳細な説明を省略する。

【産業上の利用可能性】

【0092】

本発明によると、夕景シーンの判別精度が高い画像処理装置を提供することができるので極めて有用である。

【符号の説明】

【0093】

１０ 撮像装置（画像処理装置）
１１ 撮像部
３２ ＣＰＵ（シーン判定部、夕日認識部）
４２ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】