特許 5794413 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5794413

(24)【登録日】2015年8月21日

(45)【発行日】2015年10月14日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150928BHJP

   G06T 7/00 20060101ALI20150928BHJP

   H04N 101/00 20060101ALN20150928BHJP

【ＦＩ】

   H04N5/232 Z

   G06T7/00 100B

   H04N101:00

【請求項の数】16

【全頁数】16

(21)【出願番号】特願2011-35623(P2011-35623)

(22)【出願日】2011年2月22日

(65)【公開番号】特開2012-175414(P2012-175414A)

(43)【公開日】2012年9月10日

【審査請求日】2014年2月17日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(72)【発明者】

【氏名】松永 和久

(72)【発明者】

【氏名】中込 浩一

(72)【発明者】

【氏名】加福 滋

【審査官】 山口 祐一郎

(56)【参考文献】

【文献】 特開平９−２３６８３９（ＪＰ，Ａ）

【文献】 特開２０１０−１９３００６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

３／００−９／４０

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

画像に基づいてその画像の撮影シーンが夕景又は朝景の撮影シーンであるか否かを判定する画像処理装置であって、
前記画像の天地の方向を特定し、少なくとも、天方向の画像領域と、地方向の画像領域とに前記画像全体を分割する画像分割手段と、
前記画像分割手段により分割された画像領域のうち、前記天方向の画像領域に対しては、低い輝度値の割合が低いか否かを判定し、前記地方向の画像領域に対しては、低い輝度値の割合が高いか否かを判定する個別判定手段と、
前記個別判定手段により画像領域毎に判定された判定結果を総合し、その総合結果に基づいて前記画像全体が夕景又は朝景の撮影シーンであるか否かを判定する総合判定手段と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記天方向の画像領域及び前記地方向の画像領域に対して行なわれる判定は、輝度のヒストグラムを生成することにより行われる、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像分割手段は、前記画像全体を前記天方向と地方向との中間の画像領域に更に分割し、
前記個別判定手段は、前記中間の画像領域に対しては、青色の割合が低いか否かを更に判定し、
前記総合判定手段は、前記個別判定手段により判定された前記中間の画像領域を含む画像領域毎の判定結果を総合し、その総合結果に基づいて前記画像全体が夕景又は朝景の撮影シーンであるか否かを判定する、
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記中間の画像領域に対して行なわれる判定は、色相のヒストグラムを生成することにより行われる、
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記個別判定手段は、前記天方向の画像領域に対しては、輝度のヒストグラムにおける１番目のビンの度数が、該ヒストグラム全体の積分値に対して所定の閾値以下であるか否かを判定し、前記地方向の画像領域に対しては、輝度のヒストグラムにおける１番目のビンの度数が、該ヒストグラム全体の積分値に対して所定の閾値以上であるか否かを判定し、前記中間の画像領域に対しては、色相のヒストグラムにおける１番目のビンの度数が、該ヒストグラム全体の積分値に対して所定の閾値以下であるか否かを判定することで、夕景又朝景の撮影シーンであるか否かを画像領域毎に判定する、
ようにしたことを特徴とする請求項４記載の画像処理装置。

【請求項6】

前記個別判定手段は、前記分割された画像領域毎に個別判定を行う場合に、前記画像の輝度に応じて変動する閾値を使用してその判定を行う、
ようにしたことを特徴とする請求項５記載の画像処理装置。

【請求項7】

重力方向に対する当該画像処理装置の向きを検出する向き検出手段を更に備え、
前記画像分割手段は、前記向き検出手段により検出された当該画像処理装置の向きに基づいて前記画像全体を複数の画像領域に分割する、
ようにしたことを特徴とする請求項１〜６のいずれかに記載の画像処理装置。

【請求項8】

当該画像処理装置が備える撮像部から画像を取り込んだ際の受光量を検出する受光量検出手段と、
前記夕景又は朝景の撮影シーンであるか否かを判定する処理を実行するに先立って、前記受光量検出手段により検出された受光量が所定量以下の場合には夕景又は朝景の撮影シーンではないと判定する受光量判定手段と、
を更に備える、
ようにしたことを特徴とする請求項１〜７のいずれかに記載の画像処理装置。

【請求項9】

前記夕景又は朝景の撮影シーンであるか否かを判定する処理を実行するに先立って、前記画像の全体に対して赤黄系画素が含まれている割合が所定量以下の場合には夕景又は朝景の撮影シーンではないと判定する黄赤系画素判定手段と、
を更に備える、
ようにしたことを特徴とする請求項１〜８のいずれかに記載の画像処理装置。

【請求項10】

現在時刻を計時する計時手段を更に備え、
前記総合判定手段は、前記計時手段により計時された時刻に基づいて、夕景の撮影シーンであるか朝景の撮影シーンであるかを判定する、
ようにしたことを特徴とする請求項１〜９のいずれかに記載の画像処理装置。

【請求項11】

前記総合判定手段により夕景の撮影シーンであるか朝景の撮影シーンであるかが判定された場合に、その判定結果に応じた識別データを当該画像処理装置が備える表示部に表示させる表示制御手段を更に備える、
ようにしたことを特徴とする請求項１〜１０のいずれかに記載の画像処理装置。

【請求項12】

前記総合判定手段により夕景又は朝景の撮影シーンであると判定された際に、当該画像処理装置が備える撮像部から画像を取り込んで撮影する際の撮影条件を、その撮影シーンに合った撮影条件に設定する撮影制御手段を更に備える、
ようにしたことを特徴とする請求項１〜１１のいずれかに記載の画像処理装置。

【請求項13】

前記画像は当該画像処理装置が備える撮像部から取り込んだスルー画像である、
ことを特徴とする請求項１〜１２のいずれかに記載の画像処理装置。

【請求項14】

前記画像は撮像済み画像である、
ことを特徴とする請求項１〜１３のいずれかに記載の画像処理装置。

【請求項15】

画像処理装置において、画像に基づいてその画像の撮影シーンが夕景又は朝景の撮影シーンであるか否かを判定する画像処理方法であって、
前記画像の天地の方向を特定し、少なくとも、天方向の画像領域と、地方向の画像領域とに前記画像全体を分割する画像分割処理と、
前記画像分割処理により分割された画像領域のうち、前記天方向の画像領域に対しては、低い輝度値の割合が低いか否かを判定し、前記地方向の画像領域に対しては、低い輝度値の割合が高いか否かを判定する個別判定処理と、
前記個別判定処理により画像領域毎に判定された判定結果を総合し、その総合結果に基づいて前記画像全体が夕景又は朝景の撮影シーンであるか否かを判定する総合判定処理と、
を含むことを特徴とする画像処理方法。

【請求項16】

画像処理装置を制御するコンピュータに対して、
画像の天地の方向を特定し、少なくとも、天方向の画像領域と、地方向の画像領域とに前記画像全体を分割する画像分割機能と、
前記画像分割機能により分割された画像領域のうち、前記天方向の画像領域に対しては、低い輝度値の割合が低いか否かを判定し、前記地方向の画像領域に対しては、低い輝度値の割合が高いか否かを判定する個別判定機能と、
前記個別判定機能により画像領域毎に判定された判定結果を総合し、その総合結果に基づいて前記画像全体が夕景又は朝景の撮影シーンであるか否かを判定する総合判定機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の撮影シーンを判定する画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

一般に、デジタルスチルカメラなどの画像処理装置にあっては、撮像部から取り込んだスルー画像（ライブビュー画像）に基づいてその画像の撮影シーンを判定するようにした技術が製品化されている。例えば、従来では、ｒ（赤）が多く含まれている画像を夕日の画像を撮影した撮影シーンとして判定するようにした技術が存在している（特許文献１参照）。また、撮影シーン（夕焼けシーン）の判定に色相のヒストグラムを利用するようにした技術も存在している（特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−５６３９１号公報

【特許文献2】特開平１１−２９８７３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術にあっては、例えば、紅葉、赤レンガ、赤土などを撮影した画像の場合に、画像全体に対する赤色の含まれ具合を判断するだけでは、夕焼けシーン（夕景シーン）なのか紅葉などの撮影シーンなのかを適切に区別することが困難となる場合がある。また、上述した特許文献２の技術のように、色相のヒストグラムを利用することにより、例えば、画像のテクスチャ（周期パターンのチェック）、エッジ（微分値）などの技術に比べて、撮影シーンを高速に判定することが可能となるが、特許文献２の技術にあっても、画像全体に対する赤色の含まれ具合を判断するだけでは、夕焼けシーン（夕景シーン）なのか紅葉などの撮影シーンなのかを適切に区別することが困難となる場合がある。

【0005】

本発明の課題は、画像の撮影シーンが夕景又は朝景の撮影シーンであるかを正確に判定できるようにすることである。

【課題を解決するための手段】

【0006】

上述した課題を解決するために本発明の一つの態様は、
画像に基づいてその画像の撮影シーンが夕景又は朝景の撮影シーンであるか否かを判定
する画像処理装置であって、
前記画像の天地の方向を特定し、少なくとも、天方向の画像領域と、地方向の画像領域とに前記画像全体を分割する画像分割手段と、
前記画像分割手段により分割された画像領域のうち、前記天方向の画像領域に対しては、低い輝度値の割合が低いか否かを判定し、前記地方向の画像領域に対しては、低い輝度値の割合が高いか否かを判定する個別判定手段と、
前記個別判定手段により画像領域毎に判定された判定結果を総合し、その総合結果に基
づいて前記画像全体が夕景又は朝景の撮影シーンであるか否かを判定する総合判定手段と、
を備えたことを特徴とする画像処理装置である。
上述した課題を解決するために本発明の他の態様は、
画像処理装置において、画像に基づいてその画像の撮影シーンが夕景又は朝景の撮影シーンであるか否かを判定する画像処理方法であって、
前記画像の天地の方向を特定し、少なくとも、天方向の画像領域と、地方向の画像領域とに前記画像全体を分割する画像分割処理と、
前記画像分割処理により分割された画像領域のうち、前記天方向の画像領域に対しては、低い輝度値の割合が低いか否かを判定し、前記地方向の画像領域に対しては、低い輝度値の割合が高いか否かを判定する個別判定処理と、
前記個別判定処理により画像領域毎に判定された判定結果を総合し、その総合結果に基づいて前記画像全体が夕景又は朝景の撮影シーンであるか否かを判定する総合判定処理と、
を含むことを特徴とする画像処理方法である。

【0007】

上述した課題を解決するために本発明の他の態様は、
画像処理装置を制御するコンピュータに対して、
画像の天地の方向を特定し、少なくとも、天方向の画像領域と、地方向の画像領域とに前記画像全体を分割する画像分割機能と、
前記画像分割機能により分割された画像領域のうち、前記天方向の画像領域に対しては、低い輝度値の割合が低いか否かを判定し、前記地方向の画像領域に対しては、低い輝度値の割合が高いか否かを判定する個別判定機能と、
前記個別判定機能により画像領域毎に判定された判定結果を総合し、その総合結果に基づいて前記画像全体が夕景又は朝景の撮影シーンであるか否かを判定する総合判定機能と、
を実現させるためのプログラムである。

【発明の効果】

【0008】

本発明によれば、画像に基づいてその画像の撮影シーンが夕景又は朝景の撮影シーンであるかを正確に判定することができ、実用性に富んだものとなる。

【図面の簡単な説明】

【0009】

【図1】画像処理装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。

【図2】（１）〜（３）は、スルー画像の全体を三つの画像領域に分割した場合を例示した図。

【図3】操作部６のモードボタン６ｂを操作して撮影シーン自動判定モードに切り替えられた際に実行開始されるフローチャート。

【図4】夕景／朝景評価関数値算出処理（図３のステップＡ７）を詳述するためのフローチャート。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
先ず、図１〜図４を参照して本発明の実施形態を説明する。
図１は、画像処理装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
このデジタルカメラ（画像処理装置）は、例えば、フルカラーの静止画像のほかに動画像の撮影も可能なコンパクトカメラで、撮影シーン判別機能を有し、ＣＰＵ１を中核としている。撮影シーン判別機能は、スルー画像（ライブビュー画像）に基づいてその画像の撮影シーンを判定するもので、撮影シーンとして夕焼けシーン（夕景シーン）又は朝焼けシーン（朝景シーン）であるか、その他の撮影シーン（例えば、夜景シーン、人物シーン、スポーツシーンなど）であるかの判定を行う機能である。

【0011】

ＣＰＵ１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラ（以下、カメラと略称する）の全体動作を制御する中央演算処理装置である。記憶部３は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどを有する構成で、後述する図３及び図４に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほかに、このカメラが動作するために必要となる各種の情報（例えば、フラグ、タイマなど）を一時的に記憶するワーク領域を有する構成となっている。外部記憶媒体４は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）で、撮影された画像データなどを記録保存する。

【0012】

表示部５は、画像を高精細に表示する高精細液晶ディスプレイで、スルー画像（ライブビュー画像）をモニタ表示するファインダ画面（モニタ画面）として機能したり、保存済み画像を表示する再生画面として機能したりする。なお、この表示部５の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン（タッチ画面）を構成するようにしてもよい。操作部６は、シャッタボタン６ａ、モードボタン６ｂなど、押しボタン式の各種のキーを備えたもので、ＣＰＵ１は、この操作部６からの入力操作信号に応じた処理として、例えば、撮影処理、再生処理などを行う。

【0013】

撮像部７は、レンズ部８、撮像素子９、Ａ／Ｄ（アナログ／デジタル）変換部１０、受光制御部１１などを有する構成で、ズームレンズ、フォーカスレンズなどを備えたレンズ部８からの被写体像が、図示省略した絞りやシャッタを介して撮像素子（ＣＣＤ又はＣＭＯＳ）９に結像されることにより被写体を高精細に撮影する。この撮像素子９で光電変換された画像信号（アナログ値の信号）に対して、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後に、Ａ／Ｄ変換部１０に与えられてデジタル値のデータに変換される。受光制御部１１は、撮影ＬＶ値（受光量）を取得し、ＣＰＵ１の制御下で撮像素子９、Ａ／Ｄ変換部１０の動作を制御する。なお、本実施形態では撮影シーンの判定に、この撮影ＬＶ値（受光量）を参照するようにしている。

【0014】

Ａ／Ｄ変換部１０によりデジタル変換された画像データ（ＲＡＷデータ）は、色補間処理（デモザイク処理）が施されてバッファメモリ（例えば、ＤＲＡＭ）１２に転送される。すなわち、デモザイク部１３は、ＣＰＵ１の制御下で動作し、デジタル変換された画像データ（ＲＡＷデータ）に対して色補間処理を実行し、画素毎に色情報を補間することによりＲＡＷデータをデジタル値の輝度信号及び色差信号のＹＵＶデータに変換して、バッファメモリ１２に転送される。このようにしてデモザイク部１３によりＹＵＶデータに変換された画像データは、表示コントローラ１４を介して表示部５に送られ、スルー画像としてフルカラー表示される。また、デモザイク部１３によりＹＵＶデータに変換された画像データは、ＪＰＥＧ形式などの画像形式に圧縮する圧縮処理が施された後に、外部記憶媒体４に静止画や動画データとして記録保存される。

【0015】

フラッシュ制御部１５は、ＣＰＵ１の制御下でシャッタ操作に応じてフラッシュ発光部１６を閃光駆動させるもので、撮影時の受信量に応じて自動的にフラッシュを閃光駆動させる。カメラ向き検出部１７は、カメラの重力方向に対する向き、つまり、表示部５に表示されているスルー画像の向きを検出するもので、例えば、加速度センサにより構成され、重力方向を地方向とし、逆方向を天方向としてカメラの向き（スルー画像の向き）を検出するようにしている。

【0016】

撮影シーン判定部１８は、モードボタン６ｂの操作により撮影シーンの自動判別モードが選択された場合にＣＰＵ１の制御下で動作するもので、バッファメモリ１２の内容（ＹＵＶ画像データ）に基づいて撮影シーンを判定する。すなわち、撮影シーン判定部１８は、
画面全体を複数の領域に分割すると共に、分割した画像領域毎に、輝度或いは色相の分布の所定の範囲における画像全体に対する輝度或いは色相の割合を算出し、その割合に基づいて夕景又は朝景の撮影シーンであるか否かを画像領域毎に判定した後、各判定結果を総合し、その総合結果に基づいて画像全体が夕景又は朝景の撮影シーンであるか否かを判定するようにしている。

【0017】

更に、具体的に説明すると、撮影シーン判定部１８は、スルー画像に基づいてその画像の撮影シーンが夕景又は朝景の撮影シーンであるかその他の撮影シーンであるかを判定するもので、その判定時にはヒストグラムを利用して行うようにしている。その際、撮影シーン判定部１８は、スルー画像全体を複数の画像領域に分割し、各分割領域に対してヒストグラムを利用した判定を行い、各判定結果を総合し、その総合結果に基づいて画像全体が夕景又は朝景の撮影シーンであるか否かを判定するようにしている。なお、分割の仕方は、カメラ向き検出部１７により検出されたカメラの向き（スルー画像の向き）に応じて異なる。

【0018】

図２は、カメラ向き検出部１７により検出されたカメラ向きに応じてスルー画像全体を三つの画像領域に分割した場合を示したもので、図２（１）は、例えば、横３２０×縦２４０サイズ（ＱＶＧＡサイズ）のスルー画像が横長となる横撮りの場合を例示している。また、図２（２）は、スルー画像が縦長となる縦撮りの場合を例示している。この場合、カメラ向き検出部１７により検出された検出結果に基づいてカメラの天地の方向、つまり、表示部５に表示されているスルー画像の天地の方向を特定し、スルー画像の全体を、天方向の画像領域（上部領域）ＲＳと、地方向の画像領域（下部領域）ＲＧと、それらの中間の画像領域（中間領域）ＲＣに分割、つまり、三つの画像領域（上中下の領域）に分割するようにしている。なお、天方向の画像領域（上部領域）ＲＳ、地方向の画像領域（下部領域）ＲＧ、中間の画像領域（中間領域）ＲＣの大きさは、１対１対２の関係となっている。

【0019】

また、図示省略したが、図２（１）に示す横撮りの状態又は図２（２）に示す縦撮り状態からカメラの姿勢を１８０°回転（上下反転）させて逆向きにすると、それまで天方向であった領域が地方向の領域となり、逆に、地方向の領域であった領域が天方向の領域となる。図２（３）は、図２（１）に示す横撮りの状態又は図２（２）に示す縦撮り状態からカメラの姿勢を略４５°回転させてカメラ（表示部５）の角部が上下に位置するように傾けた状態を示している。この場合においてもスルー画像の全体は、上中下の三つの画像領域ＲＳ、ＲＧ、ＲＣに分割されるが、この場合の各領域の形状は、三角形や台形となる。

【0020】

撮影シーン判定部１８は、上述のようにして分割した画像領域毎に、その分割領域の画像に基づいてヒストグラムを生成し、このヒストグラム全体に対してその１番目におけるビン（分布の所定の範囲、分布の区間や等級を意味する、以下、同様）の度数の割合を画像領域毎に算出し、算出した割合に基づいて夕景又は朝景の撮影シーンであるか否かを画像領域毎にそれぞれ個別に判定するようにしている。更に、撮影シーン判定部１８は、上述のようにして画像領域毎に個別判定した判定結果を総合し、その総合結果に基づいてスルー画像全体が夕景又は朝景の撮影シーンであるか、その他の撮影シーンであるかの総合判定を行うようにしている。時計部１９は、現在日時を計時するもので、ＣＰＵ１は、夕景又は朝景の撮影シーンであると判定した場合に、更に現在の時間帯に応じて夕景シーンか朝景シーンかを判定するようにしている。

【0021】

次に、本実施形態におけるカメラの動作概念を図３及び図４に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図３は、カメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図３のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

【0022】

図３は、操作部６のモードボタン６ｂを操作して撮影シーン自動判定モードに切り替えられた際に実行開始されるフローチャートである。
先ず、ＣＰＵ１は、撮像素子９に結像された画像をＡ／Ｄ変換部１０、バッファメモリ１２、表示コントローラ１４を介して表示部５にスルー画像として表示させる（ステップＡ１）。そして、このスルー画像のＹＵＶデータ（例えば、ＱＶＧＡサイズ）を取得して撮影シーン判定部１８に送る（ステップＡ２）。更に、このスルー画像取得時の撮影ＬＶ値（受光量）を取得し（ステップＡ３）、その撮影ＬＶ値は、“１〜２１”のうち、ある程度の明るさを持った“１３”以上であるかを調べる（ステップＡ４）。

【0023】

ここで、撮影ＬＶ値が“１３”未満であれば（ステップＡ４でＮＯ）、夕景や朝景の撮影シーンとしては暗すぎると判断して、別の撮影シーンを判定するために次の判定シーケンスに移行する。すなわち、ヒストグラムを利用した判定を行う前に、明らかに夕景や朝景の撮影シーンではないと判断したときには、ヒストグラムを利用した判定を行わずに、別の撮影シーンを判定するシーケンスに移行する。いま、撮影ＬＶ値が“１３”以上であれば（ステップＡ４でＹＥＳ）、夕景や朝景の撮影シーンの可能性があると判断して、その判定シーケンスを続行するために次のステップＡ５に移る。すなわち、黄赤系（黄色、橙色、赤色、例えば、Ｕ＜−１０かつＶ＞１０の領域内）の画素値がスルー画像の全体に対して占める割合を算出し（ステップＡ５）、この黄赤系の画素値の割合が全体に対して１０％以上かを調べる（ステップＡ６）。

【0024】

その結果、１０％未満であれば（ステップＡ６でＮＯ）、夕景シーンや朝景シーンには該当しない判断して、別の撮影シーンを判定するために次の判定シーケンスに移行する。すなわち、ヒストグラムを利用した判定を行う前に、明らかに夕景や朝景の撮影シーンではないと判断したときには、ヒストグラムを利用した判定を行わずに、別の撮影シーンを判定するために次の判定シーケンスに移行する。いま、黄赤系の画素値の割合が全体に対して１０％以上であれば（ステップＡ６でＹＥＳ）、夕景シーンや朝景シーンの可能性があると判断して、その判定シーケンスを続行するためにステップＡ７に移り、ヒストグラム利用の評価を行う夕景／朝景評価関数値算出処理を行う。

【0025】

図４は、夕景／朝景評価関数値算出処理（図３のステップＡ７）を詳述するためのフローチャートであり、この算出処理は撮影シーン判定部１８により実行される。
先ず、撮影シーン判定部１８は、カメラ向き検出部１７の検出結果を取得し（ステップＢ１）、カメラ向きに応じてスルー画像の全体を三つの画像領域に分割する（ステップＢ２）。例えば、スルー画像の全体は、図２（１）〜（３）に示すようにスルー画像の向きに応じて天方向の画像領域（上部領域）ＲＳ、地方向の画像領域（下部領域）ＲＧ、中間の画像領域（中間領域）ＲＣに分割される。次に、撮影シーン判定部１８は、この天方向の画像領域（上部領域）ＲＳ内の輝度信号に基づいて、輝度の８ビンヒストグラムを生成する（ステップＢ３）。そして、スルー画像全体の輝度の平均値Ｙａｖｅを算出取得して、この輝度の平均値Ｙａｖｅに応じた判定閾値ＴＨ１を次式に従って算出する（ステップＢ４）。なお、輝度のヒストグラムの横軸における輝度分布は、０〜２５５となっている。
ＴＨ１＝３＊（Ｙａｖｅ−１２８）／１２８

【0026】

このようにして判定閾値ＴＨ１を算出した後は、上述のようにして生成した輝度の８ビンヒストグラムにおける１番目のビンの度数（例えば、輝度０〜３１までの画像の度数）がヒストグラム全体の積分値に対して、判定閾値ＴＨ１以下であるか否かを調べる（ステップＢ５）。すなわち、一般に、夕景／朝景シーンを撮影した画像全体に対してその上部の領域には空などが写っているケースが多く、輝度が高めの領域となっている可能性が高く、その結果、輝度が非常に低い画素が殆ど含まれていない領域となっている傾向が強いために、１番目のビンの度数が判定閾値ＴＨ１以下であるか否かを調べる。いま、１番目のビンの度数が判定閾値ＴＨ１以下であれば（ステップＢ５でＹＥＳ）、つまり、輝度が非常に低い画素が殆ど含まれていなければ、一般に夕景／朝景シーンの可能性が高いために、評価点を＋“１”して加点する処理を行うが（ステップＢ６）、１番目のビンの度数が判定閾値ＴＨ１を越えていれば（ステップＢ５でＮＯ）、この評価点加点処理（ステップＢ６）をスキップする。

【0027】

次に、上述の場合と同様に、地方向の画像領域（下部領域）ＲＧ内の輝度信号に基づいて、輝度の８ビンヒストグラムを生成した後（ステップＢ７）、スルー画像全体の輝度の平均値Ｙａｖｅを取得して、この輝度の平均値Ｙａｖｅに応じた判定閾値ＴＨ２を次式に従って算出する（ステップＢ８）。
ＴＨ２＝１０＊（Ｙａｖｅ−１２８）／１２８
そして、上述のようにして生成した輝度の８ビンヒストグラムにおける１番目のビンの度数（例えば、輝度０〜３１までの画像の度数）がヒストグラム全体の積分値に対して、判定閾値ＴＨ２以上であるか否かを調べる（ステップＢ９）。この場合、判定閾値は、ＴＨ２＞ＴＨ１の関係となる。

【0028】

すなわち、一般に、夕景／朝景シーンを撮影した画像全体に対してその下部の領域には何らかの影が写っている場合など、輝度が低めの画素が一定割合以上含まれている可能性が高いために、１番目のビンの度数が判定閾値ＴＨ２以上であるか否かを調べる。その結果、１番目のビンの度数が判定閾値ＴＨ２以上であれば（ステップＢ９でＹＥＳ）、つまり、輝度が低めの画素が一定割合以上含まれていれば、夕景／朝景シーンの可能性が高いために、評価点を＋“１”して加点する処理を行うが（ステップＢ１０）、１番目のビンの度数が判定閾値ＴＨ２未満であれば（ステップＢ９でＮＯ）、この評価点加点処理（ステップＢ１０）をスキップする。

【0029】

次に、中間の画像領域（中間領域）ＲＣ内の色相（色差Ｖ）に基づいて、この色相（色差Ｖ）の１６ビンのヒストグラムを生成する（ステップＢ１１）。そして、スルー画像全体の輝度の平均値Ｙａｖｅを取得して、この輝度の平均値Ｙａｖｅに応じた判定閾値ＴＨ３を次式に従って算出する（ステップＢ１２）。
ＴＨ３＝３＊（Ｙａｖｅ−１２８）／１２８
そして、上述のようにして生成した色差Ｖの１６ビンのヒストグラムにおける１番目のビンの度数（例えば、色差Ｖ値−１２８〜−１１２までの画像の度数）がヒストグラム全体の積分値に対して、判定閾値ＴＨ３以下であるか否かを調べる（ステップＢ１３）。

【0030】

すなわち、一般に、夕景／朝景シーンを撮影した画像全体に対してその中間部の領域には、青空が殆ど含まれていない傾向が高いために、色差Ｖの１番目におけるビンの度数が判定閾値ＴＨ３以下であるか否かを調べる。その結果、色差Ｖの１番目におけるビンの度数が判定閾値ＴＨ３以下であれば（ステップＢ１３でＹＥＳ）、つまり、夕景／朝景シーンの可能性が高ければ、評価点を＋“１”して加点する処理を行うが（ステップＢ１４）、色差Ｖの１番目におけるビンの度数が判定閾値ＴＨ３を越えていれば（ステップＢ１３でＮＯ）、この評価点加点処理（ステップＢ１４）をスキップする。
そして、上述の評価点加点処理（ステップＢ６、Ｂ１０、Ｂ１４）により得られた評価点（合計）と所定の関数式に基づいて評価関数値を算出する（ステップＢ１５）。

【0031】

そして、ＣＰＵ１は、上述のようにして夕景／朝景評価関数値算出処理（図３のステップＡ７）が終わると、その処理で算出された評価点関数値と、予め決められている閾値とを比較して、評価点関数値はこの閾値以上であるかを調べ（ステップＡ８）、閾値未満であれば（ステップＡ８でＮＯ）、明らかに夕景や朝景の撮影シーンではないと判断して、別の撮影シーンを判定するために次の判定シーケンスに移行する。いま、評価点関数値が閾値以上であれば（ステップＡ８でＹＥＳ）、時計部１９から現在時刻を取得して（ステップＡ９）、午前中の時間帯内であるかを調べる（ステップＡ１０）。

【0032】

いま、午前中であれば（ステップＡ１０でＹＥＳ）、朝景シーンと判定し（ステップＡ１１）、午前中でなければ（ステップＡ１０でＮＯ）、夕景シーンと判定する（ステップＡ１２）。この場合、スルー画像内の隅部などに、判定結果に応じた識別データとして“朝景”又は“夕景”を挿入表示させる（ステップＡ１１、Ａ１２）。そして、撮影条件としてＡＥ（自動露出）やＡＷＢ（自動ホワイトバランス）などを調整する撮影設定を行った後（ステップＡ１３）、シャッタが操作されたかを調べ（ステップＡ１４）、シャッタ操作が行われたときには（ステップＡ１４でＹＥＳ）、撮影処理を行う（ステップＡ１５）。その後、最初のステップＡ１に戻り、以下、上述の動作を繰り返す。

【0033】

以上のように、本実施形態においてデジタルカメラ（画像処理装置）は、画像全体を複数の画像領域に分割し、分割した画像領域毎に、輝度或いは色相の分布の所定の範囲における画像全体に対する輝度或いは色相の割合を算出し、その割合に基づいて夕景又は朝景の撮影シーンであるか否かを画像領域毎に判定し、画像領域毎に判定された判定結果を総合し、その総合結果に基づいて前記画像全体が夕景又は朝景の撮影シーンであるか否かを判定するようにしたので、紅葉、赤レンガ、赤土などのように赤系が多く含まれている画像と区別して判定することができ、実用性に富んだものとなる。

【0034】

画像は、撮像部７から取り込んだスルー画像であり、その画像全体を複数の画像領域に分割して撮影シーンを判定するようにしたので、その撮影シーンに合った撮影が可能となる。

【0035】

画像全体を第一の画像領域、第二の画像領域、及び第三の画像領域の三つの画像領域に分割した場合に、第一の画像領域に対しては、所定の範囲の輝度が、画像全体に対して所定の閾値以下であるか否かを判定し、第二の画像領域に対しては、所定の範囲の輝度が、画像全体に対して所定の閾値以上であるか否かを判定し、第三の画像領域に対しては、前記所定の範囲領域の色相が、画像全体に対して所定の閾値以下であるか否かを判定するようにしたので、領域毎にその特徴や傾向を考慮した適切な判定が可能となる。

【0036】

輝度或いは色相の分布はヒストグラムを生成することにより行われるようにしたので、夕景又は朝景の撮影シーンであるか否かを高速かつ正確に判定することができる。

【0037】

画像全体を第一の画像領域、第二の画像領域、及び第三の画像領域の三つの画像領域に分割した場合に、第一の画像領域に対しては、輝度のヒストグラムにおける１番目のビンの度数が、該ヒストグラム全体の積分値に対して所定の閾値以下であるか否かを判定し、第二の画像領域に対しては、輝度のヒストグラムにおける１番目のビンの度数が、該ヒストグラム全体の積分値に対して所定の閾値以上であるか否かを判定し、第三の画像領域に対しては、色相のヒストグラムにおける１番目のビンの度数が、該ヒストグラム全体の積分値に対して所定の閾値以下であるか否かを判定するようにしたので、領域毎にその特徴や傾向を考慮した適切な判定が高速に実行することが可能となる。

【0038】

カメラ向き検出部１７により検出されたカメラの向きに基づいてスルー画像の天地の方向を特定し、天方向の画像領域と、地方向の画像領域と、それらの中間の画像領域との三つの画像領域にスルー画像全体を分割するようにしたので、撮影時にカメラをどのような向きに変えたとしても、夕景又は朝景の撮影シーンの判定にとって適切に分割することができる。

【0039】

カメラ向き検出部１７により検出されたカメラの向きにに基づいて画像の天地の方向を特定し、天方向の画像領域と、地方向の画像領域と、それらの中間の画像領域との三つの画像領域に画像全体を分割し、記第一の画像領域は天方向の画像領域であり、第二の画像領域は地方向の画像領域であり、第三の画像領域は中間の画像領域であるようにしたので、夕景又は朝景の撮影シーンの判定に合った分割の仕方が可能となる。

【0040】

分割した画像領域毎に個別判定を行う場合に、画像の輝度に応じて変動する閾値を使用してその判定を行うようにしたので、領域毎にその特徴や傾向を考慮した適切な判定が可能となる。

【0041】

夕景又は朝景の撮影シーンであるか否かを判定する処理を実行するに先立って、受光量が所定量以下の場合には夕景又は朝景の撮影シーンではないと判定するようにしたので、本格的な判定を行う前に、明らかに夕景又は朝景の撮影シーンではない画像を判定の対象から外すことができ、本格的な判定処理の負担をそれだけ軽減することができる。

【0042】

夕景又は朝景の撮影シーンであるか否かを判定する処理を実行するに先立って、スルー画像の全体に対して赤黄系画素が含まれている割合が所定量以下の場合には夕景又は朝景の撮影シーンではないと判定するようにしたので、本格的な判定を行う前に、明らかに夕景又は朝景の撮影シーンではない画像を判定の対象から外すことができ、本格的な判定処理の負担をそれだけ軽減することができる。

【0043】

総合判定の結果、更に計時された時刻に基づいて、夕景の撮影シーンであるか朝景の撮影シーンであるかを判定するようにしたので、夕景と朝景の区別が可能となる。

【0044】

夕景シーンか朝景シーンかを識別表示するようにしたので、ユーザに対して夕景シーンか朝景シーンかを即座に知らせることができる。

【0045】

撮影時に夕景又は朝景の撮影シーンであると判定された際に、その撮影シーンに合った撮影条件を設定するようにしたので、夕景又は朝景に合った撮影が可能となる。

【0046】

なお、上述した実施形態においては、画像領域毎に個別判定を行う場合に、スルー画像の輝度に応じて変動する閾値（ＴＨ１、ＴＨ２、ＴＨ３）を使用して画像領域毎の判定を行うようにしたが、画像領域毎にヒストグラムを正規化（平坦化）することにより判定閾値を固定値とするようにしてもよい。

【0047】

また、ヒストグラムは判定に必要なビンが生成できれば残りのビンの生成は省略してもよい。

【0048】

上述した実施形態においては、スルー画像の全体を天方向の画像領域と地方向の画像領域と中間の画像領域との三つの画像領域に分割するようにしたが、四つの画像領域に分割するようにしてもよい。
また、天方向の画像領域（上部領域）ＲＳ、地方向の画像領域（下部領域）ＲＧ、中間の画像領域（中間領域）ＲＣの大きさの関係は、１対１対２に限らず、例えば、１対２対２などであってもよい。

【0049】

また、上述した実施形態においては、夕景又は朝景の撮影シーンであると判定した場合に、ＡＥ（自動露出）やＡＷＢ（自動ホワイトバランス）などを調整する撮影設定を行うようにしたが、夕景又は朝景の撮影シーンであると判定した場合に、撮影済み画像に補正を施す画像加工処理を行うようにしてもよい。

【0050】

また、上述の実施形態では撮像部から取り込んだスルー画像の撮影シーンを判定しているが、撮影済みの画像の撮影シーンを判定してもよく、その場合、判定された撮影シーンを撮影済みの画像に付加して保存することで撮影済みの画像の検索などに利用することができる。このように画像を撮像済み画像とすれば、撮像済み画像を夕景又は朝景の撮影シーンに合わせて何時でも自由に画像修正することが可能となる。

【0051】

また、上述した実施形態においては、画像処理装置として適用したデジタルカメラに適用した場合を示したが、これに限らず、カメラ機能付きパーソナルコンピュータ・ＰＤＡ・音楽プレイヤーなどであってもよい。

【0052】

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

【0053】

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
（付記）
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（請求項１）
請求項１に記載の発明は、
画像に基づいてその画像の撮影シーンが夕景又は朝景の撮影シーンであるか否かを判定する画像処理装置であって、
前記画像全体を複数の画像領域に分割する画像分割手段と、
前記画像分割手段により分割された画像領域毎に、輝度或いは色相の分布の所定の範囲における画像全体に対する輝度或いは色相の割合を算出し、その割合に基づいて夕景又は朝景の撮影シーンであるか否かを画像領域毎に判定する個別判定手段と、
前記個別判定手段により画像領域毎に判定された判定結果を総合し、その総合結果に基づいて前記画像全体が夕景又は朝景の撮影シーンであるか否かを判定する総合判定手段と、
を備えたことを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１記載の画像処理装置において、
前記画像は当該画像処理装置が備える撮像部から取り込んだスルー画像である、
ことを特徴とする画像処理装置である。
（請求項３）
請求項３に記載の発明は、請求項１記載の画像処理装置において、
前記画像は撮像済み画像である、
ことを特徴とする画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜３のいずれか記載の画像処理装置において、
前記個別判定手段は、前記画像分割手段により画像全体が第一の画像領域、第二の画像領域、及び第三の画像領域の三つの画像領域に分割された場合に、前記第一の画像領域に対しては、前記所定の範囲の輝度が、画像全体に対して所定の閾値以下であるか否かを判定し、前記第二の画像領域に対しては、前記所定の範囲の輝度が、画像全体に対して所定の閾値以上であるか否かを判定し、前記第三の画像領域に対しては、前記所定の範囲領域の色相が、画像全体に対して所定の閾値以下であるか否かを判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜３のいずれかに記載の画像処理装置において、
前記輝度或いは色相の分布はヒストグラムを生成することにより行われる、
ことを特徴とする画像処理装置である。
（請求項６）
請求項６に記載の発明は、請求項５記載の画像処理装置において、
前記個別判定手段は、前記画像分割手段により画像全体が第一の画像領域、第二の画像領域、及び第三の画像領域の三つの画像領域に分割された場合に、前記第一の画像領域に対しては、輝度のヒストグラムにおける１番目のビンの度数が、該ヒストグラム全体の積分値に対して所定の閾値以下であるか否かを判定し、前記第二の画像領域に対しては、輝度のヒストグラムにおける１番目のビンの度数が、該ヒストグラム全体の積分値に対して所定の閾値以上であるか否かを判定し、前記第三の画像領域に対しては、色相のヒストグラムにおける１番目のビンの度数が、該ヒストグラム全体の積分値に対して所定の閾値以下であるか否かを判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項７）
請求項７に記載の発明は、請求項１〜６のいずれかに記載の画像処理装置において、
重力方向に対する当該画像処理装置の向きを検出する向き検出手段を更に備え、
前記画像分割手段は、前記向き検出手段により検出された当該画像処理装置の向きに基づいて前記画像全体を複数の画像領域に分割する、
ようにしたことを特徴とする画像処理装置である。
（請求項８）
請求項８に記載の発明は、請求項７記載の画像処理装置において、
前記画像分割手段は、前記向き検出手段により検出された当該画像処理装置の向きに基づいて前記画像の天地の方向を特定し、天方向の画像領域と、地方向の画像領域と、それらの中間の画像領域との三つの画像領域に前記画像全体を分割し、
前記第一の画像領域は前記天方向の画像領域であり、前記第二の画像領域は前記地方向の画像領域であり、第三の画像領域は前記中間の画像領域である、
ようにしたことを特徴とする画像処理装置である。
（請求項９）
請求項９に記載の発明は、請求項１〜８のいずれかに記載の画像処理装置において、
前記個別判定手段は、前記分割された画像領域毎に個別判定を行う場合に、前記画像の輝度に応じて変動する閾値を使用してその判定を行う、
ようにしたことを特徴とする画像処理装置である。
（請求項１０）
請求項１０に記載の発明は、請求項１〜９のいずれかに記載の画像処理装置において、
前記撮像部から画像を取り込んだ際の受光量を検出する受光量検出手段と、
前記夕景又は朝景の撮影シーンであるか否かを判定する処理を実行するに先立って、前記受光量検出手段により検出された受光量が所定量以下の場合には夕景又は朝景の撮影シーンではないと判定する受光量判定手段と、
を更に備える、
ようにしたことを特徴とする画像処理装置である。
（請求項１１）
請求項１１に記載の発明は、請求項１〜１０のいずれかに記載の画像処理装置において、
前記夕景又は朝景の撮影シーンであるか否かを判定する処理を実行するに先立って、前記画像の全体に対して赤黄系画素が含まれている割合が所定量以下の場合には夕景又は朝景の撮影シーンではないと判定する黄赤系画素判定手段と、
を更に備える、
ようにしたことを特徴とする画像処理装置である。
（請求項１２）
請求項１２に記載の発明は、請求項１〜１１のいずれかに記載の画像処理装置において、
現在時刻を計時する計時手段を更に備え、
前記総合判定手段は、前記計時手段により計時された時刻に基づいて、夕景の撮影シーンであるか朝景の撮影シーンであるかを判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項１３）
請求項１３に記載の発明は、請求項１２記載の画像処理装置において、
前記総合判定手段により夕景の撮影シーンであるか朝景の撮影シーンであるかが判定された場合に、その判定結果に応じた識別データを前記表示部に表示させる表示制御手段を更に備える、
ようにしたことを特徴とする画像処理装置である。
（請求項１４）
請求項１４に記載の発明は、請求項１〜１３のいずれかに記載の画像処理装置において、
前記総合判定手段により夕景又は朝景の撮影シーンであると判定された際に、その撮影シーンに合った撮影条件を設定する撮影制御手段を更に備える、
ようにしたことを特徴とする画像処理装置である。
（請求項１５）
請求項１５に記載の発明は、
コンピュータに対して、
画像全体を複数の画像領域に分割する機能と、
前記分割された画像領域毎に、輝度或いは色相の分布の所定の範囲における画像全体に対する輝度或いは色相の割合を算出し、その割合に基づいて夕景又は朝景の撮影シーンであるか否かを画像領域毎に判定する機能と、
前記画像領域毎に判定された判定結果を総合し、その総合結果に基づいて前記画像全体が夕景又は朝景の撮影シーンであるか否かを判定する機能と、
を実現させるためのプログラムである。

【符号の説明】

【0054】

１ ＣＰＵ
３ 記憶部
４ 外部記憶媒体
５ 表示部
６ 操作部
７ 撮像部
８ レンズ部
９ 撮像素子
１０ Ａ／Ｄ変換部
１１受光制御部
１２ バッファメモリ
１３ デモザイク部
１４ 表示コントローラ
１７ カメラ向き検出部
１８ 撮影シーン判定部
ＲＳ 天方向の画像領域
ＲＧ 地方向の画像領域
ＲＣ 中間の画像領域

【図1】

【図2】

【図3】

【図4】