特許 5962076 撮像装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5962076

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】撮像装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 9/04 20060101AFI20160721BHJP

【ＦＩ】

   H04N9/04 B

【請求項の数】10

【全頁数】20

(21)【出願番号】特願2012-48921(P2012-48921)

(22)【出願日】2012年3月6日

(65)【公開番号】特開2013-187596(P2013-187596A)

(43)【公開日】2013年9月19日

【審査請求日】2015年2月20日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】松本 康佑

【審査官】 鈴木 肇

(56)【参考文献】

【文献】 特開２０１１−１５５４２２（ＪＰ，Ａ）

【文献】 特開２００９−０１０８１４（ＪＰ，Ａ）

【文献】 特開２００４−１８６８７９（ＪＰ，Ａ）

【文献】 特開２００１−３５８９８６（ＪＰ，Ａ）

【文献】 特開２００７−１８０６２９（ＪＰ，Ａ）

【文献】 特開２０１０−１８７２０４（ＪＰ，Ａ）

【文献】 特開２００８−０５２４２８（ＪＰ，Ａ）

【文献】 特開２０１３−０５８８５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４ − ９／１１

Ｈ０４Ｎ ９／４４ − ９／７８

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ １／４０ − １／４０９

Ｈ０４Ｎ １／４６ − １／４８

Ｈ０４Ｎ １／５２

Ｈ０４Ｎ １／６０

Ｇ０６Ｔ １／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

外部光源としてのタングステン光下で、かつ、ストロボを発光して撮像したホワイトバランス調整前の画像を元画像データとして取得する画像取得手段と、
ストロボ光に対応する色相に係る第１色相情報と前記元画像データの各画素の色相との差分に係る第１色相差情報を算出する第１算出手段と、
人肌に対応する色相に係る第２色相情報と前記元画像データの各画素の色相との差分に係る第２色相差情報を算出する第２算出手段と、
タングステン光に対応する色相に係る第３色相情報と前記元画像データの各画素の色相との差分に係る第３色相差情報を算出する第３算出手段と、
前記第１色相差情報、前記第２色相差情報及び前記第３色相差情報に基づいて、前記元画像データの各画素について、前記ストロボ光に対応した第１ホワイトバランス調整値と前記タングステン光に対応した第２ホワイトバランス調整値との割合を判断してホワイトバランス調整値を決定するホワイトバランス調整手段と、
を備えたことを特徴とする撮像装置。

【請求項2】

前記元画像データに対して前記第１ホワイトバランス調整値でホワイトバランス調整を行なった画像を第１画像データとして取得する第１取得手段と、
前記元画像データに対して前記第２ホワイトバランス調整値でホワイトバランス調整を行なった画像を第２画像データとして取得する第２取得手段と、
を更に備え、
前記第１算出手段は、前記第１色相情報と前記元画像データの各画素の色相との差分に対して所定の相関関係を有する前記第１画像データの色相、明度、彩度のいずれかを、前記第１色相差情報として算出し、
前記第３算出手段は、前記第３色相情報と前記元画像データの各画素の色相との差分に対して所定の相関関係を有する前記第２画像データの色相、明度、彩度のいずれかを、前記第３色相差情報として算出する
ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記第２算出手段は、前記第２画像データの色相と、前記第２色相情報に対応して予め決められた所定の色相との差分であって、前記第２色相情報と前記元画像データの各画素の色相との差分に対して所定の相関関係を有する色相差情報を前記第２色相差情報として算出する
ことを特徴とする請求項２に記載の撮像装置。

【請求項4】

外部光源としてのタングステン光下での撮像であり、かつ、ストロボを発光した撮像であるか否かを判定する判定手段、
を更に備え、
前記ホワイトバランス調整手段は、前記判定手段によりタングステン光下、かつ、ストロボを発光での撮像であると判定された場合に、前記第１色相差情報、前記第２色相差情報及び前記第３色相差情報に基づくホワイトバランス調整を行う
ことを特徴とする請求項１〜３の何れか一項に記載の撮像装置。

【請求項5】

前記第１色相差情報及び前記第２色相差情報に基づいて算出された第１尤度値と、前記第２色相差情報及び前記第３色相差情報に基づいて算出された第２尤度値とに基づいて、ホワイトバランス調整される各画素の前景らしさに係る前景尤度値を算出する第４算出手段を更に備え、
前記ホワイトバランス調整手段は、
前記前景尤度値が大きいほど前記第１ホワイトバランス調整値の割合が大きく、一方、前記前景尤度値が小さいほど前記第２ホワイトバランス調整値の割合が大きくなるようにして、前記元画像データの各画素に対するホワイトバランス調整値を決定することを特徴とする請求項１〜４の何れか一項に記載の撮像装置。

【請求項6】

前記第１色相差情報に規定される色相差が大きいほど、及び／又は、前記第２色相差情報に規定される色相差が大きいほど、前記第１尤度値は大きい値となり、
前記第３色相差情報に規定される色相差が大きいほど、及び／又は、前記第２色相差情報に規定される色相差が小さいほど、前記第２尤度値は大きい値となることを特徴とする請求項５に記載の撮像装置。

【請求項7】

前記ホワイトバランス調整手段により決定された各画素のホワイトバランス調整値に基づいて、前記第１画像データと前記第２画像データとを混合してホワイトバランス調整後の画像データを生成する生成手段と、を更に備えることを特徴とする請求項２に記載の撮像装置。

【請求項8】

前記第２色相情報は、ストロボ光が当たった人肌の色相に係る情報を含むことを特徴とする請求項１〜７の何れか一項に記載の撮像装置。

【請求項9】

撮像装置を用いた画像処理方法であって、
外部光源としてのタングステン光下で、かつ、ストロボを発光して撮像したホワイトバランス調整前の画像を元画像データとして取得する画像取得処理と、
ストロボ光に対応する色相に係る第１色相情報と前記元画像データの各画素の色相との差分に係る第１色相差情報を算出する第１算出処理と、
人肌に対応する色相に係る第２色相情報と前記元画像データの各画素の色相との差分に係る第２色相差情報を算出する第２算出処理と、
タングステン光に対応する色相に係る第３色相情報と前記元画像データの各画素の色相との差分に係る第３色相差情報を算出する第３算出処理と、
前記第１色相差情報、前記第２色相差情報及び前記第３色相差情報に基づいて、前記元画像データの各画素について、前記ストロボ光に対応した第１ホワイトバランス調整値と前記タングステン光に対応した第２ホワイトバランス調整値との割合を判断してホワイトバランス調整値を決定するホワイトバランス調整処理と、
を含むことを特徴とする画像処理方法。

【請求項10】

撮像装置のコンピュータを、
外部光源としてのタングステン光下で、かつ、ストロボを発光して撮像したホワイトバランス調整前の画像を元画像データとして取得する画像取得手段、
ストロボ光に対応する色相に係る第１色相情報と前記元画像データの各画素の色相との差分に係る第１色相差情報を算出する第１算出手段、
人肌に対応する色相に係る第２色相情報と前記元画像データの各画素の色相との差分に係る第２色相差情報を算出する第２算出手段、
タングステン光に対応する色相に係る第３色相情報と前記元画像データの各画素の色相との差分に係る第３色相差情報を算出する第３算出手段、
前記第１色相差情報、前記第２色相差情報及び前記第３色相差情報に基づいて、前記元画像データの各画素について、前記ストロボ光に対応した第１ホワイトバランス調整値と前記タングステン光に対応した第２ホワイトバランス調整値との割合を判断してホワイトバランス調整値を決定するホワイトバランス調整手段、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、外部光源（特に、蛍光灯）下でストロボを発光して撮像を行った場合に、ストロボ光が十分に届く範囲と外部光源の影響を受けて色味が見た目とは異なるような色に変化した範囲とでホワイトバランス調整を局所的に行う撮像装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−１５５４２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、外部光源がタングステン光である場合に、上記特許文献１のようにしてホワイトバランス調整を行うと、ストロボ光が届く人肌に対応する領域の色相と、タングステン光の影響を受けた領域の色相とがほぼ等しくなる。このため、外部光源に対応したホワイトバランス調整を行うと、人肌に対応する領域のホワイトバランスが崩れてしまうといった問題がある。

【0005】

そこで、本願発明の課題は、タングステン光下でストロボを発光して撮像を行っても、人肌に対応する領域のホワイトバランス調整を適正に行うことができる撮像装置、画像処理方法及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る撮像装置は、
外部光源としてのタングステン光下で、かつ、ストロボを発光して撮像したホワイトバランス調整前の画像を元画像データとして取得する画像取得手段と、ストロボ光に対応する色相に係る第１色相情報と前記元画像データの各画素の色相との差分に係る第１色相差情報を算出する第１算出手段と、人肌に対応する色相に係る第２色相情報と前記元画像データの各画素の色相との差分に係る第２色相差情報を算出する第２算出手段と、タングステン光に対応する色相に係る第３色相情報と前記元画像データの各画素の色相との差分に係る第３色相差情報を算出する第３算出手段と、前記第１色相差情報、前記第２色相差情報及び前記第３色相差情報に基づいて、前記元画像データの各画素について、前記ストロボ光に対応した第１ホワイトバランス調整値と前記タングステン光に対応した第２ホワイトバランス調整値との割合を判断してホワイトバランス調整値を決定するホワイトバランス調整手段と、を備えたことを特徴としている。

【0007】

また、本発明に係る画像処理方法は、
撮像装置を用いた画像処理方法であって、外部光源としてのタングステン光下で、かつ、ストロボを発光して撮像したホワイトバランス調整前の画像を元画像データとして取得する画像取得処理と、ストロボ光に対応する色相に係る第１色相情報と前記元画像データの各画素の色相との差分に係る第１色相差情報を算出する第１算出処理と、人肌に対応する色相に係る第２色相情報と前記元画像データの各画素の色相との差分に係る第２色相差情報を算出する第２算出処理と、タングステン光に対応する色相に係る第３色相情報と前記元画像データの各画素の色相との差分に係る第３色相差情報を算出する第３算出処理と、前記第１色相差情報、前記第２色相差情報及び前記第３色相差情報に基づいて、前記元画像データの各画素について、前記ストロボ光に対応した第１ホワイトバランス調整値と前記タングステン光に対応した第２ホワイトバランス調整値との割合を判断してホワイトバランス調整値を決定するホワイトバランス調整処理と、を含むことを特徴としている。

【0008】

また、本発明に係るプログラムは、
撮像装置のコンピュータを、外部光源としてのタングステン光下で、かつ、ストロボを発光して撮像したホワイトバランス調整前の画像を元画像データとして取得する画像取得手段、ストロボ光に対応する色相に係る第１色相情報と前記元画像データの各画素の色相との差分に係る第１色相差情報を算出する第１算出手段、人肌に対応する色相に係る第２色相情報と前記元画像データの各画素の色相との差分に係る第２色相差情報を算出する第２算出手段、タングステン光に対応する色相に係る第３色相情報と前記元画像データの各画素の色相との差分に係る第３色相差情報を算出する第３算出手段、前記第１色相差情報、前記第２色相差情報及び前記第３色相差情報に基づいて、前記元画像データの各画素について、前記ストロボ光に対応した第１ホワイトバランス調整値と前記タングステン光に対応した第２ホワイトバランス調整値との割合を判断してホワイトバランス調整値を決定するホワイトバランス調整手段、として機能させることを特徴としている。

【発明の効果】

【0009】

本発明によれば、タングステン光下でストロボを発光して撮像を行っても、人肌に対応する領域のホワイトバランス調整を適正に行うことができる。

【図面の簡単な説明】

【0010】

【図1】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。

【図2】図１の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。

【図3】図２の画像生成処理に係る画像の一例を模式的に示す図である。

【図4】図２の画像生成処理に係る画像の一例を模式的に示す図である。

【図5】図２の画像生成処理に係る画像の一例を模式的に示す図である。

【図6】図２の画像生成処理に係る画像の一例を模式的に示す図である。

【発明を実施するための形態】

【0011】

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

【0012】

図１に示すように、本実施形態の撮像装置１００は、レンズ部１と、電子撮像部２と、ストロボ発光部３と、ユニット回路部４と、画像処理部５と、メモリ６と、表示制御部７と、表示部８と、画像記録部９と、操作入力部１０と、中央制御部１１とを備えている。

【0013】

レンズ部１は、例えば、図示は省略するが、ズームレンズ群、フォーカスレンズ群を含み、レンズ駆動機構（例えば、モータ等）により光軸方向の位置が調整可能となっている。

【0014】

電子撮像部２は、例えば、図示は省略するが、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサを備えている。そして、電子撮像部２は、レンズ部１の各種レンズや絞り（図示略）を通過した光学像を二次元の画像信号（ＲＧＢ画像データ）に変換して、ユニット回路部４に出力する。

【0015】

ストロボ発光部３は、図示しない撮像制御部の制御下にて駆動し、撮像モードがストロボ撮像モードに設定されている場合に、ユーザによる操作入力部１０のシャッタボタンの所定操作に基づいて所定のタイミングで発光する。

【0016】

ユニット回路部４は、電子撮像部２から出力され入力された被写体の光学像に応じたＲＧＢ色成分よりなるＲＧＢ画像データを増幅して、撮像画像Ｐ１（図３参照）のホワイトバランスを調整する。
即ち、ユニット回路部４は、入力された画像のＲＧＢ成分のゲイン量を調整するゲイン調整部４ａを具備しており、このゲイン調整部４ａにより調整されたＲＧＢの各色成分毎のゲイン量（ホワイトバランス調整値）に基づいて撮像画像Ｐ１のホワイトバランスを調整する。
具体的には、ゲイン調整部４ａは、所定の撮像モードに対応したグレー画素推定条件に基づいて撮像画像Ｐ１に含まれるグレー成分を特定して、当該グレー成分の画素のＲＧＢの各色成分のうち、Ｒ成分及びＢ成分の平均値がＧ成分の平均値と略等しくなるようにＲ成分及びＢ成分のゲイン量を調整する。そして、ユニット回路部４は、ゲイン調整部４ａにより調整されたＲＧＢの各色成分毎のゲイン量に基づいて、ＲＧＢ画像データを増幅することで撮像画像Ｐ１のホワイトバランスを調整する。
なお、図３〜図６（後述）の各図における被写体の顔に相当する部分には、「顔」と表記して模式的に表している。

【0017】

例えば、ストロボ発光部３によりストロボを発光してレンズ部１及び電子撮像部２により被写体の撮像が行われた場合に、ユニット回路部４は、画像取得手段として、被写体の光学像に応じた画像データ（ＲＧＢ画像データ）を電子撮像部２から取得する。そして、ゲイン調整部４ａは、ＲＧＢ画像データのＲＧＢの各色成分毎のゲイン量をストロボ発光に対応した第１ホワイトバランス調整値に設定する。ユニット回路部４は、第１ホワイトバランス調整値でＲＧＢ画像データを増幅するホワイトバランス調整を行って、ＹＵＶ色空間に対応するストロボ光画像Ｐ２（図４（ａ）参照）のＹＵＶ画像データを生成する。
また、例えば、タングステン光撮像モードが設定されている状態では、ストロボ光画像Ｐ２のＹＵＶ画像データの生成に加えて、ゲイン調整部４ａは、ＲＧＢ画像データのＲＧＢの各色成分毎のゲイン量をタングステン光に対応した第２ホワイトバランス調整値に調整する。ユニット回路部４は、第２ホワイトバランス調整値でＲＧＢ画像データを増幅するホワイトバランス調整を行って、ＹＵＶ色空間に対応するタングステン光画像Ｐ３（図５（ａ）参照）のＹＵＶ画像データを生成する。
なお、ユニット回路部４により生成された各画像データ、例えば、ストロボ光画像Ｐ２やタングステン光画像Ｐ３のＹＵＶ画像データ等は、メモリ６に出力されて、当該メモリ６に一時的に記憶される。

【0018】

画像処理部５は、ユニット回路部４から出力された画像データの記録の際に、メモリ６から取得した当該画像データに対して各種の画像処理や圧縮等を施してファイル化する。そして、画像処理部５は、ファイル化された画像データを画像記録部９に転送する。

【0019】

また、画像処理部５は、判定部５ａと、第１画像取得部５ｂと、第２画像取得部５ｃと、ストロボ光色相差情報算出部５ｄと、タングステン光色相差情報算出部５ｅと、人肌色相差情報算出部５ｆと、前景尤度値算出部５ｇと、ホワイトバランス調整部５ｈと、画像生成部５ｉとを具備している。

【0020】

判定部５ａは、タングステン光下でストロボを発光して撮像するタングステン光撮像モードが設定されているか否かを判定する。
即ち、判定部（判定手段）５ａは、ストロボを発光して行われた撮像が外部光源としてのタングステン光下での撮像であるか否かを判定する。具体的には、判定部５ａは、例えば、ユーザによる操作入力部１０の所定操作に基づいて選択指示されたタングステン光撮像モードが撮像モードとして設定されているか否かに応じて、外部光源としてのタングステン光下での撮像であるか否かを判定する。

【0021】

第１画像取得部５ｂは、ストロボ光画像Ｐ２の画像データを取得する。
即ち、第１画像取得部（第１取得手段）５ｂは、撮像画像Ｐ１のＲＧＢ画像データに対してストロボ発光に対応した第１ホワイトバランス調整値でホワイトバランス調整されたストロボ光画像Ｐ２のＹＵＶ画像データを取得する。具体的には、撮像モードとしてタングステン光撮像モードが設定されている状態で、第１画像取得部５ｂは、ユニット回路部４により生成されたストロボ光画像Ｐ２のＹＵＶ画像データをメモリ６から取得する。
以下の説明では、ストロボ光画像Ｐ２の輝度Ｙ及び色差Ｕ、Ｖは、例えば、それぞれ階調が8bit[0〜255]のデータとする。

【0022】

第２画像取得部５ｃは、タングステン光画像Ｐ３の画像データを取得する。
即ち、第２画像取得部（第２取得手段）５ｃは、撮像画像Ｐ１のＲＧＢ画像データに対してタングステン光に対応した第２ホワイトバランス調整値でホワイトバランス調整されたタングステン光画像Ｐ３のＹＵＶ画像データを取得する。具体的には、撮像モードとしてタングステン光撮像モードが設定されている状態で、第２画像取得部５ｃは、ユニット回路部４により生成されたタングステン光画像Ｐ３のＹＵＶ画像データをメモリ６から取得する。
以下の説明では、タングステン光画像Ｐ３の輝度Ｙ及び色差Ｕ、Ｖは、例えば、それぞれ階調が8bit[0〜255]のデータとする。

【0023】

ストロボ光色相差情報算出部５ｄは、撮像画像Ｐ１のＲＧＢ画像データの各画素について、ストロボ光に対応する色相に係る第１色相情報との間の第１色相差情報を算出する。
即ち、ストロボ光色相差情報算出部５ｄは、第１画像取得部５ｂにより取得されたストロボ光画像Ｐ２のＹＵＶ画像データをＨＳＶ色空間に対応する画像データ（ＨＳＶ画像データ）に変換して、各画素（x, y）の色相Ｈ[0〜359]、彩度Ｓ[0〜255]及び明度Ｖ[0〜255]を算出する。ここで、ストロボ光画像Ｐ２のＹＵＶ画像データは、撮像画像Ｐ１のＲＧＢ画像データをストロボ発光に対応した第１ホワイトバランス調整値でホワイトバランス調整した画像データである。従って、ストロボ光画像Ｐ２のＹＵＶ画像データから変換されたＨＳＶ画像データの各画素の色相Ｈ[0〜359]（図４（ｂ）参照）は、撮像画像Ｐ１のＲＧＢ画像データの各画素についてのストロボ光に対応する色相（第１色相情報）との差分に相当し、また、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度Ｓ[0〜255]及び明度Ｖ[0〜255]も撮像画像Ｐ１のＲＧＢ画像データの各画素に対して上記と同様の相関関係を有する。
そして、ストロボ光色相差情報算出部５ｄは、例えば、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)及び明度成分Cv(x, y)を、第１色相差情報として取得する。
例えば、図４（ｂ）に模式的に示すストロボ光画像Ｐ２のＨＳＶ画像データの各画素の色相Ｈについて説明すると、ストロボ光が当たっている人肌部分（破線２ａで囲んだ領域）の色相Ｈは[40]、背景部分（破線２ｂで囲んだ領域）の色相Ｈは[30]であり、ほぼ等しくなる。

【0024】

なお、第１色相差情報として、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)及び明度成分Cv(x, y)を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
このように、ストロボ光色相差情報算出部５ｄは、ストロボ光に対応する色相に係る第１色相情報とＲＧＢ画像データの各画素の色相との間の第１色相差情報を算出する第１算出手段を構成している。

【0025】

タングステン光色相差情報算出部５ｅは、撮像画像Ｐ１のＲＧＢ画像データの各画素について、タングステン光に対応する色相に係る第３色相情報との間の第３色相差情報を算出する。
即ち、タングステン光色相差情報算出部５ｅは、第２画像取得部５ｃにより取得されたタングステン光画像Ｐ３のＹＵＶ画像データをＨＳＶ色空間に対応する画像データ（ＨＳＶ画像データ）に変換して、各画素（x, y）の色相Ｈ[0〜359]、彩度Ｓ[0〜255]及び明度Ｖ[0〜255]を算出する。つまり、タングステン光画像Ｐ３のＹＵＶ画像データは、撮像画像Ｐ１のＲＧＢ画像データをタングステン光に対応した第２ホワイトバランス調整値でホワイトバランス調整した画像データである。従って、タングステン光画像Ｐ３のＹＵＶ画像データから変換されたＨＳＶ画像データの各画素の色相Ｈ[0〜359]（図５（ｂ）参照）は、撮像画像Ｐ１のＲＧＢ画像データの各画素についてのタングステン光に対応する色相（第３色相情報）との差分に相当し、また、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度Ｓ[0〜255]及び明度Ｖ[0〜255]も撮像画像Ｐ１のＲＧＢ画像データの各画素の画素値に対して上記と同様の相関関係を有する。
そして、タングステン光色相差情報算出部５ｅは、例えば、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度成分Ds(x, y)を、第３色相差情報として取得する。
例えば、図５（ｂ）に模式的に示すタングステン光画像Ｐ３のＨＳＶ画像データの各画素の色相Ｈについて説明すると、ストロボ光が当たっている人肌部分（破線３ａで囲んだ領域）の色相Ｈは[220]、背景部分（破線３ｂで囲んだ領域）の色相Ｈは[30]であり、互いに異なる。

【0026】

なお、第３色相差情報として、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度成分Ds(x, y)を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
このように、タングステン光色相差情報算出部５ｅは、タングステン光に対応する色相に係る第３色相情報とＲＧＢ画像データの各画素の色相との間の第３色相差情報を算出する第３算出手段を構成している。

【0027】

人肌色相差情報算出部５ｆは、撮像画像Ｐ１のＲＧＢ画像データの各画素について、人肌に対応する色相に係る第２色相情報との間の第２色相差情報を算出する。
即ち、人肌色相差情報算出部５ｆは、タングステン光色相差情報算出部５ｅにより生成されたタングステン光画像Ｐ３のＨＳＶ画像データの各画素の色相Dh（x, y）に基づいて、下記式（１）に従ってストロボ光が当たった人肌部分に対応する色相に近い度合いを示す人肌色相特定マップEy_MAP（x, y）を生成する（図６（ａ）参照）。つまり、ストロボを発光させた撮像の場合、ストロボ光が当たった人肌部分は青みがかった色相となることから、タングステン光画像Ｐ３のＹＵＶ画像データから変換されたＨＳＶ画像データの各画素の色相Ｈ（図５（ｂ）参照）と青に対応する色相Ｈ（例えば、「240」程度）との差分は、ＲＧＢ画像データの各画素についての人肌に対応する色相（第２色相情報）との差分に相当する。

【0028】

【数1】

具体的には、人肌色相差情報算出部５ｆは、式（１）中の「A」を青に対応する色相Ｈの値とし、第１閾値th1及び第２閾値th2（th2＞th1）を用いた判定結果を基準として、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の色相Dh（x, y）を、8bit[0〜255]の輝度データで表された人肌色相特定マップEy_MAP（x, y）に変換する。例えば、人肌色相差情報算出部５ｆは、色相Dh（x, y）と「A」との絶対値差が第１閾値th1よりも小さい画素（即ち、色相が人肌に相当する青に近い画素）の画素値Ey（x, y）を「0」（図６（ａ）中の黒い部分）とし、また、色相Dh（x, y）と「A」との絶対値差が第２閾値th2よりも小さい画素は、色相Dh（x, y）が青に近い画素ほど画素値Ey（x, y）をより小さい値とし、また、色相Dh（x, y）が上記以外の画素（即ち、「A」との絶対値差が第２閾値th2以上の画素）の画素値Ey（x, y）を「255」（図６（ａ）中の白い部分）とした人肌色相特定マップEy_MAP（x, y）を、第２色相差情報として算出する。
なお、〜MAP（x, y）との表記は、２次元画像内の全ての画素（x, y）に対応するデータが記憶された２次元配列データであることを表している。また、以下の記載では、各画素（x, y）に対応するデータが8bit[0〜255]の値で示されていることを、〜MAP（x, y）[0〜255]と表す。

【0029】

このように、人肌色相差情報算出部５ｆは、人肌に対応する色相に係る第２色相情報とＲＧＢ画像データの各画素の色相との間の第２色相差情報を算出する第２算出手段を構成している。

【0030】

前景尤度値算出部５ｇは、ホワイトバランス調整される各画素の前景らしさに係る前景尤度値を算出する。
即ち、前景尤度値算出部５ｇは、第１尤度値S及び第２尤度値R（何れも詳細後述）に基づいて、各画素の前景尤度Fy（x, y）が8bit[0〜255]の輝度データで表された前景尤度マップFy_MAP（x, y）を算出する（図６（ｂ）参照）。

【0031】

ここで、前景尤度値算出部５ｇは、人肌色相特定マップEy_MAP（x, y）と、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)及び明度成分Cv(x, y)とを用いて、下記式（２）に従って色相尤度マップH_MAP（x, y）を算出する。

【数2】

即ち、前景尤度値算出部５ｇは、人肌色相特定マップEy_MAP（x, y）の各画素の画素値Ey（x, y）を、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)や明度成分Cv(x, y)を考慮して補正することで、各画素の色相尤度H（x, y）が表された色相尤度マップH_MAP（x, y）を算出する。具体的には、前景尤度値算出部５ｇは、人肌色相特定マップEy_MAP（x, y）の各画素について、彩度成分Cs(x, y)及び明度成分Cv(x, y)の両方が階調の中央値に相当する値（例えば、階調が8bit[0〜255]の場合の「128」等）以上の場合には、当該画素の画素値Ey（x, y）を色相尤度H（x, y）とし、彩度成分Cs(x, y)或いは明度成分Cv(x, y)が「128」よりも小さい場合には、人肌に対応する尤度を下げる方向に当該画素の画素値Ey（x, y）を彩度成分Cs(x, y)を用いて補正する。つまり、人肌色相特定マップEy_MAP（x, y）における、彩度成分Cs(x, y)や明度成分Cv(x, y)が小さい画素の画素値Ey（x, y）は、信頼性が低いため、人肌に対応する画素とみなされ難くなるように調整される。

【0032】

また、前景尤度値算出部５ｇは、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)と、色相尤度マップH_MAP（x, y）とを用いて、下記式（３）に従って第１尤度値Sを算出する。

【数3】

ここで、第１尤度値Sは、ストロボ光が届いていない被写体（前景）以外の背景に近い度合いを各画素毎に表すものである。即ち、第１色相差情報に規定される色相差に相当する各画素の彩度成分Cs(x, y)の値が大きいほど、及び／又は、第２色相差情報に規定される色相差に相当する色相尤度H（x, y）の値が大きい（青らしくない）ほど、第１尤度値Sが大きい値となる。

【0033】

また、前景尤度値算出部５ｇは、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度成分Ds(x, y)と、色相尤度マップH_MAP（x, y）とを用いて、下記式（４）に従って第２尤度値Rを算出する。

【数4】

ここで、第２尤度値Rは、ストロボ光が届いている被写体（前景）に近い度合いを各画素毎に表すものである。即ち、第３色相差情報に規定される色相差に相当する各画素の彩度成分Cs(x, y)の値が大きいほど、及び／又は、第２色相差情報に規定される色相差に相当する色相尤度H（x, y）の値が小さい（青らしい）ほど、第２尤度値Rが大きい値となる。

【0034】

そして、前景尤度値算出部５ｇは、算出された第１尤度値S及び第２尤度値Rを用いて、下記式（５）に従って前景尤度マップFy_MAP（x, y）を算出する。

【数5】

即ち、前景尤度値算出部５ｇは、第１尤度値Sと第２尤度値Rとの絶対値差が大きいほど、前景とみなされ易くなるように各画素の前景尤度Fy（x, y）を算出する。なお、第１尤度値Sと第２尤度値Rとの和が「0」となる画素については、前景尤度Fy（x, y）の最大値「255」にクリップする。また、図６（ｂ）に示す前景尤度マップFy_MAP（x, y）では、前景尤度の最大値を「255」に近くなるほど相対的に白く表され、最小値「0」に近くなるほど相対的に黒く表されている。
ここで、前景尤度マップFy_MAP（x, y）は、ストロボ光画像Ｐ２のＹＵＶ画像データとタングステン光画像Ｐ３のＹＵＶ画像データとをアルファブレンドする割合を規定するアルファマップを構成している。

【0035】

このように、前景尤度値算出部５ｇは、第１色相差情報及び第２色相差情報に基づいて算出された第１尤度値Sと、第２色相差情報及び第３色相差情報に基づいて算出された第２尤度値Rとに基づいて、ホワイトバランス調整される各画素の前景らしさに係る前景尤度値Fy（x, y）を算出する第４算出手段を構成している。

【0036】

ホワイトバランス調整部５ｈは、撮像画像Ｐ１の各画素についてホワイトバランス調整値を各々決定する。
具体的には、ホワイトバランス調整部５ｈは、判定部５ａによりタングステン光下での撮像であると判定された場合に、前景尤度値算出部５ｇにより算出された前景尤度マップFy_MAP（x, y）を用いて、撮像画像Ｐ１の各画素についてホワイトバランス調整値を決定する。
即ち、ホワイトバランス調整部５ｈは、ストロボ光に対応する色相に係る第１色相情報、人肌に対応する色相に係る第２色相情報及びタングステン光に対応する色相に係る第３色相情報を基準として、ストロボ発光に対応した第１ホワイトバランス調整値及びタングステン光に対応した第２ホワイトバランス調整値のうち、少なくとも何れか一方をホワイトバランス調整に用いて、撮像画像Ｐ１の画像データの各画素に対するホワイトバランス調整値を決定する。つまり、ホワイトバランス調整部５ｈは、前景尤度値算出部５ｇにより算出された前景尤度マップFy_MAP（x, y）に基づいて、撮像画像Ｐ１の各画素について、第１ホワイトバランス調整値を用いるべきか、第２ホワイトバランス調整値を用いるべきかを判断して、ホワイトバランス調整値を決定する。

【0037】

具体的には、ホワイトバランス調整部５ｈは、前景尤度マップFy_MAP（x, y）をアルファマップとし、前景尤度値Fy（x, y）が大きいほど第１ホワイトバランス調整値の割合が大きく、その一方で、前景尤度値Fy（x, y）が小さいほど第２ホワイトバランス調整値の割合が大きくなるようにする。
前景尤度値Fy（x, y）は、「0」〜「255」の値をとるデータであり、例えば、前景尤度値Fy（x, y）が「0」の画素はタングステン光画像Ｐ３のＹＵＶ画像データの色差Ｕ、Ｖの割合が100％となり、また、「255」の画素はストロボ光画像Ｐ２のＹＵＶ画像データの色差Ｕ、Ｖの割合が100％となる。また、前景尤度値Fy（x, y）が「1」〜「254」の画素は、「0」に近い画素ほどタングステン光画像Ｐ３のＹＵＶ画像データの色差Ｕ、Ｖの重みが相対的に大きくなり、また、「255」に近い画素ほどストロボ光画像Ｐ２のＹＵＶ画像データの色差Ｕ、Ｖの重みが相対的に大きくなる。
つまり、ホワイトバランス調整部５ｈは、撮像画像Ｐ１の各画素について、ストロボ光画像Ｐ２のＹＵＶ画像データとタングステン光画像Ｐ３のＹＵＶ画像データとの混合する割合を調整（詳細後述）することにより、結果として、各画素に対するホワイトバランス調整値を決定する。

【0038】

このように、ホワイトバランス調整部５ｈは、判定部５ａによりタングステン光下での撮像であると判定された場合に、ストロボ光に対応する色相に係る第１色相情報、人肌に対応する色相に係る第２色相情報、タングステン光に対応する色相に係る第３色相情報及び撮像画像Ｐ１の画像データの各画素値に基づいて、該画像データの各画素に対するホワイトバランス調整値を各々決定するホワイトバランス調整手段を構成している。

【0039】

画像生成部５ｉは、ホワイトバランス調整部５ｈにより決定された各画素のホワイトバランス調整値に基づいて、ホワイトバランス調整後の画像データを生成する。
即ち、画像生成部５ｉは、ストロボ光画像Ｐ２のＹＵＶ画像データとタングステン光画像Ｐ３のＹＵＶ画像データとをアルファブレンドしてホワイトバランス調整画像Ｐ４のＹＵＶ画像データを生成する。具体的には、画像生成部５ｉは、前景尤度マップFy_MAP（x, y）の各画素毎に規定されている前景尤度値Fy（x, y）に従って、ストロボ光画像Ｐ２のＹＵＶ画像データの色差Ｕ、Ｖとタングステン光画像Ｐ３のＹＵＶ画像データの色差Ｕ、Ｖとをアルファブレンド（混合）することで、ホワイトバランス調整画像Ｐ４（図６（ｃ）参照）のＹＵＶ画像データを生成する。
なお、ホワイトバランス調整画像Ｐ４の輝度Ｙは、例えば、撮像画像Ｐ１のＲＧＢ画像データから変換された輝度Ｙを用いても良いし、ストロボ光画像Ｐ２の輝度Ｙを用いても良いし、タングステン光画像Ｐ３の輝度Ｙを用いても良い。

【0040】

このように、画像生成部５ｉは、ホワイトバランス調整部５ｈにより決定された各画素のホワイトバランス調整値に基づいて、ストロボ光画像Ｐ２の画像データとタングステン光画像Ｐ３の画像データとを混合してホワイトバランス調整後の画像データを生成する生成手段を構成している。

【0041】

メモリ６は、例えば、ＤＲＡＭ等により構成され、画像処理部５や中央制御部１１等によって処理されるデータ等を一時的に記憶する。

【0042】

表示制御部７は、メモリ６に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている（何れも図示略）。そして、デジタルビデオエンコーダは、中央制御部１１の制御下にてメモリ６から読み出されてＶＲＡＭに記録されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

【0043】

表示部８は、例えば、液晶表示装置であり、表示制御部７からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、電子撮像部２による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。

【0044】

画像記録部９は、例えば、不揮発性メモリ等により構成され、画像処理部５の符号化部（図示略）により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記録する。

【0045】

操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１１に出力する。

【0046】

中央制御部１１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

【0047】

次に、撮像装置１００による画像生成処理について、図２〜図６を参照して説明する。
図２は、画像生成処理に係る動作の一例を示すフローチャートである。

【0048】

図２に示すように、先ず、画像処理部５の判定部５ａは、複数の撮像モードの中で、タングステン光下でストロボを発光して撮像する「タングステン光撮像モード」が設定されているか否かを判定する（ステップＳ１）。
ここで、「タングステン光撮像モード」が設定されていると判定された場合（ステップＳ１；ＹＥＳ）、外部光源としてのタングステン光下で、ストロボ発光部３によりストロボを発光してレンズ部１及び電子撮像部２により被写体の撮像が行われた後（ステップＳ２）、ユニット回路部４は、電子撮像部２から被写体の光学像に応じたＲＧＢ画像データを取得する（ステップＳ３；図３参照）。
なお、ステップＳ１にて、「タングステン光撮像モード」が設定されていないと判定された場合には（ステップＳ１；ＮＯ）、画像処理部５は、図示しない他の撮影モードでの撮影処理を実行する。他のいずれの撮影モードも設定されていない場合には、処理をステップＳ１に戻し、上記の判定処理を所定のタイミングで繰り返し実行する（ステップＳ１）。

【0049】

その後、ユニット回路部４は、撮像画像Ｐ１のＲＧＢ画像データのＲＧＢの各色成分毎のゲイン量をストロボ発光に対応した第１ホワイトバランス調整値として、当該ＲＧＢ画像データのホワイトバランス調整を行って、ストロボ光画像Ｐ２（図４（ａ）参照）のＹＵＶ画像データを生成する（ステップＳ４）。なお、ストロボ光画像Ｐ２のＹＵＶ画像データは、メモリ６に出力されて、当該メモリ６に一時的に記憶される。
続けて、ユニット回路部４は、撮像画像Ｐ１のＲＧＢ画像データのＲＧＢの各色成分毎のゲイン量をタングステン光に対応した第２ホワイトバランス調整値として、当該ＲＧＢ画像データのホワイトバランス調整を行って、タングステン光画像Ｐ３（図５（ａ）参照）のＹＵＶ画像データを生成する（ステップＳ５）。なお、タングステン光画像Ｐ３のＹＵＶ画像データは、メモリ６に出力されて、当該メモリ６に一時的に記憶される。

【0050】

次に、第１画像取得部５ｂは、メモリ６からストロボ光画像Ｐ２のＹＵＶ画像データを取得し、ストロボ光色相差情報算出部５ｄは、第１画像取得部５ｂにより取得されたストロボ光画像Ｐ２のＹＵＶ画像データを所定の変換式に従って変換して、ＨＳＶ色空間に対応するＨＳＶ画像データ（色相Ｈ[0〜359]、彩度Ｓ[0〜255]及び明度Ｖ[0〜255]）を生成する（ステップＳ６；図４（ｂ）参照）。
そして、ストロボ光色相差情報算出部５ｄは、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)及び明度成分Cv(x, y)を取得する（ステップＳ７）。

【0051】

続けて、第２画像取得部５ｃは、メモリ６からタングステン光画像Ｐ３のＹＵＶ画像データを取得し、タングステン光色相差情報算出部５ｅは、第２画像取得部５ｃにより取得されたタングステン光画像Ｐ３のＹＵＶ画像データを所定の変換式に従って変換して、ＨＳＶ色空間に対応するＨＳＶ画像データ（色相Ｈ[0〜359]、彩度Ｓ[0〜255]及び明度Ｖ[0〜255]）を生成する（ステップＳ８；図５（ｂ）参照）。
そして、タングステン光色相差情報算出部５ｅは、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度成分Ds(x, y)を取得する（ステップＳ９）。

【0052】

次に、人肌色相差情報算出部５ｆは、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の色相Dh（x, y）に基づいて、下記式（１）に従ってストロボ光が当たった人肌部分に対応する色相に近い度合いを示す人肌色相特定マップEy_MAP（x, y）を生成する（ステップＳ１０；図６（ａ）参照）。

【数6】

【0053】

続けて、前景尤度値算出部５ｇは、下記式（２）に従って、人肌色相特定マップEy_MAP（x, y）の各画素の画素値Ey（x, y）を、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)や明度成分Cv(x, y)を考慮して調整し、色相尤度マップH_MAP（x, y）を算出する（ステップＳ１１）。

【数7】

【0054】

次に、前景尤度値算出部５ｇは、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)と、色相尤度マップH_MAP（x, y）とを用いて、下記式（３）に従って、ストロボ光が届いていない背景に近い度合いを表す第１尤度値Sを算出する（ステップＳ１２）。

【数8】

続けて、前景尤度値算出部５ｇは、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度成分Ds(x, y)と、色相尤度マップH_MAPとを用いて、下記式（４）に従って、ストロボ光が届いている被写体（前景）に近い度合いを表す第２尤度値Rを算出する（ステップＳ１３）。

【数9】

【0055】

次に、前景尤度値算出部５ｇは、算出された第１尤度値S及び第２尤度値Rを用いて、下記式（５）に従って、ホワイトバランス調整される各画素の前景らしさを表す前景尤度マップFy_MAP（x, y）を算出する（ステップＳ１４；図６（ｂ）参照）。

【数10】

【0056】

そして、ホワイトバランス調整部５ｈは、前景尤度マップFy_MAP（x, y）に基づいて、撮像画像Ｐ１の各画素についてのホワイトバランス調整値を決定し、画像生成部５ｉは、前景尤度マップFy_MAP（x, y）をアルファマップとし、各画素毎に規定されている前景尤度値Fy（x, y）に従って、ストロボ光画像Ｐ２のＹＵＶ画像データの色差Ｕ、Ｖとタングステン光画像Ｐ３のＹＵＶ画像データの色差Ｕ、Ｖとを混合し、ホワイトバランス調整画像Ｐ４のＹＵＶ画像データを生成して（ステップＳ１５；図６（ｃ）参照）、画像生成処理を終了する。
これにより、図６（ｃ）に示すように、ストロボが当たっている被写体の人肌部分（破線４ａで囲んだ領域）の色味を残したまま、タングステン光（外部光源）が当たっている背景部分（破線４ｂで囲んだ領域）の赤みを低減したホワイトバランス調整画像Ｐ４を生成することができる。

【0057】

以上のように、本実施形態の撮像装置１００によれば、タングステン光下でストロボを発光する撮像の際に、ストロボ光に対応する色相に係る第１色相情報、人肌に対応する色相に係る第２色相情報（例えば、ストロボ光が当たった人肌の色相に係る情報）、タングステン光に対応する色相に係る第３色相情報及び撮像画像Ｐ１のＲＧＢ画像データの各画素の画素値に基づいて、当該画像データの各画素に対するホワイトバランス調整値を決定するので、タングステン光の影響を受けた領域やストロボが当たった人肌の領域を個別にホワイトバランス調整することができる。即ち、ストロボ発光に対応したゲイン量でホワイトバランス調整しただけでは、ストロボ光が届く人肌に対応する領域の色相と、タングステン光の影響を受けた領域の色相とがほぼ等しくなってしまうため、ストロボ発光に対応した第１ホワイトバランス調整値及びタングステン光に対応した第２ホワイトバランス調整値のうち、少なくとも何れか一方を用いて、各画素に対するホワイトバランス調整値を決定することで、人肌部分と背景部分の各領域がそれぞれ見た目に近くなるように違和感が軽減されたホワイトバランス調整画像Ｐ４を生成することができる。
従って、タングステン光下でストロボを発光して撮像を行っても、人肌に対応する領域のホワイトバランス調整を適正に行って、ホワイトバランス調整画像Ｐ４を生成することができる。

【0058】

具体的には、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)と、色相尤度マップH_MAP（x, y）と、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度成分Ds(x, y)とに基づいて、撮像画像Ｐ１の各画素について、第１ホワイトバランス調整値を用いるべきか、第２ホワイトバランス調整値を用いるべきかを特定するので、タングステン光の影響を受けた領域やストロボが当たった人肌の領域のホワイトバランス調整を局所的に適正に行うことができる。
特に、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)と、色相尤度マップH_MAP（x, y）と、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度成分Ds(x, y)とに基づいて算出された前景尤度マップFy_MAP（x, y）を利用することで、前景尤度値Fy（x, y）が大きいほど第１ホワイトバランス調整値の割合が大きく、一方、前景尤度値Fy（x, y）が小さいほど第２ホワイトバランス調整値の割合が大きくなるようにして、撮像画像Ｐ１の各画素に対するホワイトバランス調整値を適正に決定することができる。具体的には、前景尤度値Fy（x, y）の算出に係る第１尤度値Sは、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)の値が大きいほど、及び／又は、色相尤度H（x, y）の値が大きいほど、大きい値となるので、当該第１尤度値Sを用いてストロボ光が届いていない背景に近い度合いを適正に規定することができる。また、前景尤度値Fy（x, y）の算出に係る第２尤度値Rは、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度成分Ds(x, y)の値が大きいほど、及び／又は、色相尤度H（x, y）の値が小さいほど、大きい値となるので、当該第２尤度値Rを用いてストロボ光が届いている被写体（前景）に近い度合いを適正に規定することができる。

【0059】

また、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)と、色相尤度マップH_MAP（x, y）と、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度成分Ds(x, y)とに基づいて決定された撮像画像Ｐ１の各画素に対するホワイトバランス調整値に基づいて、ストロボ光画像Ｐ２のＹＵＶ画像データとタングステン光画像Ｐ３のＹＵＶ画像データとを混合することで、ホワイトバランス調整値の決定及びホワイトバランス調整画像Ｐ４のＹＵＶ画像データの生成を簡便に、且つ、適正に行うことができる。

【0060】

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、ホワイトバランス調整画像Ｐ４のＹＵＶ画像データの生成の際に、ストロボ光画像Ｐ２のＹＵＶ画像データとタングステン光画像Ｐ３のＹＵＶ画像データとを混合するようにしたが、必ずしもストロボ光画像Ｐ２のＹＵＶ画像データとタングステン光画像Ｐ３のＹＵＶ画像データを混合する必要はない。即ち、ストロボ光画像Ｐ２のＨＳＶ画像データの各画素の彩度成分Cs(x, y)と、色相尤度マップH_MAP（x, y）と、タングステン光画像Ｐ３のＨＳＶ画像データの各画素の彩度成分Ds(x, y)とに基づいて、撮像画像Ｐ１のＲＧＢ画像データの各画素に対するホワイトバランス調整値を決定可能な構成であれば如何なる構成であっても良い。

【0061】

また、上記実施形態では、ホワイトバランス調整される各画素の前景らしさに係る前景尤度値Fy（x, y）を算出して、第１ホワイトバランス調整値や第２ホワイトバランス調整値を用いる割合を規定するようにしたが、必ずしも前景尤度値Fy（x, y）を算出する必要はなく、適宜任意に変更可能である。

【0062】

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。

【0063】

加えて、上記実施形態にあっては、画像取得手段、判定手段、特定手段としての機能を、中央制御部１１の制御下にて、ユニット回路部、判定部、画素値特定部が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、画像取得処理ルーチン、判定処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、画像取得処理ルーチンにより中央制御部１１のＣＰＵを、ストロボを発光して撮像した画像の画像データを取得する画像取得手段として機能させるようにしても良い。また、判定処理ルーチンにより中央制御部１１のＣＰＵを、外部光源としてのタングステン光下での撮像であるか否かを判定する判定手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１１のＣＰＵを、判定手段によりタングステン光下での撮像であると判定された場合に、ストロボ光に対応する色相に係る第１色相情報、人肌に対応する色相に係る第２色相情報、タングステン光に対応する色相に係る第３色相情報及び画像取得手段により取得された画像データの各画素値に基づいて、該画像データの各画素に対するホワイトバランス調整値を各々決定するホワイトバランス調整手段として機能させるようにしても良い。

【0064】

同様に、第１算出手段、第２算出手段、第３算出手段、第４算出手段、第１取得手段、第２取得手段、生成手段についても、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

【0065】

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

【0066】

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
ストロボを発光して撮像した画像の画像データを取得する画像取得手段と、
外部光源としてのタングステン光下での撮像であるか否かを判定する判定手段と、
前記判定手段によりタングステン光下での撮像であると判定された場合に、ストロボ光に対応する色相に係る第１色相情報、人肌に対応する色相に係る第２色相情報、タングステン光に対応する色相に係る第３色相情報及び前記画像取得手段により取得された画像データの各画素値に基づいて、該画像データの各画素に対するホワイトバランス調整値を各々決定するホワイトバランス調整手段と、
を備えたことを特徴とする撮像装置。
＜請求項２＞
前記ホワイトバランス調整手段は、更に、
前記第１色相情報、前記第２色相情報、前記第３色相情報及び前記画像データの各画素値に基づいて、前記ストロボ発光に対応した第１ホワイトバランス調整値及び前記タングステン光に対応した第２ホワイトバランス調整値のうち、少なくとも何れか一方を用いて、前記画像データの各画素に対するホワイトバランス調整値を決定することを特徴とする請求項１に記載の撮像装置。
＜請求項３＞
前記第１色相情報と前記画像データの各画素の色相との間の第１色相差情報を算出する第１算出手段と、
前記第２色相情報と前記画像データの各画素の色相との間の第２色相差情報を算出する第２算出手段と、
前記第３色相情報と前記画像データの各画素の色相との間の第３色相差情報を算出する第３算出手段と、を更に備え、
前記ホワイトバランス調整手段は、
前記第１色相差情報、前記第２色相差情報及び前記第３色相差情報に基づいて、前記画像データの各画素について、前記第１ホワイトバランス調整値を用いるべきか、前記第２ホワイトバランス調整値を用いるべきかを判断してホワイトバランス調整値を決定することを特徴とする請求項２に記載の撮像装置。
＜請求項４＞
前記第１色相差情報及び前記第２色相差情報に基づいて算出された第１尤度値と、前記第２色相差情報及び前記第３色相差情報に基づいて算出された第２尤度値とに基づいて、ホワイトバランス調整される各画素の前景らしさに係る前景尤度値を算出する第４算出手段を更に備え、
前記ホワイトバランス調整手段は、
前記前景尤度値が大きいほど前記第１ホワイトバランス調整値の割合が大きく、一方、前記前景尤度値が小さいほど前記第２ホワイトバランス調整値の割合が大きくなるようにして、前記画像データの各画素に対するホワイトバランス調整値を決定することを特徴とする請求項３に記載の撮像装置。
＜請求項５＞
前記第１色相差情報に規定される色相差が大きいほど、及び／又は、前記第２色相差情報に規定される色相差が大きいほど、前記第１尤度値は大きい値となり、
前記第３色相差情報に規定される色相差が大きいほど、及び／又は、前記第２色相差情報に規定される色相差が小さいほど、前記第２尤度値は大きい値となることを特徴とする請求項４に記載の撮像装置。
＜請求項６＞
前記画像データに対して前記第１ホワイトバランス調整値でホワイトバランス調整されたストロボ光画像の画像データを取得する第１取得手段と、
前記画像データに対して前記第２ホワイトバランス調整値でホワイトバランス調整されたタングステン光画像の画像データを取得する第２取得手段と、
前記ホワイトバランス調整手段により決定された各画素のホワイトバランス調整値に基づいて、前記ストロボ光画像の画像データと前記タングステン光画像の画像データとを混合してホワイトバランス調整後の画像データを生成する生成手段と、を更に備えることを特徴とする請求項２〜５の何れか一項に記載の撮像装置。
＜請求項７＞
前記第２色相情報は、ストロボ光が当たった人肌の色相に係る情報を含むことを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
＜請求項８＞
撮像装置を用いた画像処理方法であって、
ストロボを発光して撮像した画像の画像データを取得する処理と、
外部光源としてのタングステン光下での撮像であるか否かを判定する処理と、
タングステン光下での撮像であると判定された場合に、ストロボ光に対応する色相に係る第１色相情報、人肌に対応する色相に係る第２色相情報、タングステン光に対応する色相に係る第３色相情報及び取得された画像データの各画素値に基づいて、該画像データの各画素に対するホワイトバランス調整値を各々決定する処理と、
を含むことを特徴とする画像処理方法。
＜請求項９＞
撮像装置のコンピュータを、
ストロボを発光して撮像した画像の画像データを取得する画像取得手段、
外部光源としてのタングステン光下での撮像であるか否かを判定する判定手段、
前記判定手段によりタングステン光下での撮像であると判定された場合に、ストロボ光に対応する色相に係る第１色相情報、人肌に対応する色相に係る第２色相情報、タングステン光に対応する色相に係る第３色相情報及び前記画像取得手段により取得された画像データの各画素値に基づいて、該画像データの各画素に対するホワイトバランス調整値を各々決定するホワイトバランス調整手段、
として機能させることを特徴とするプログラム。

【符号の説明】

【0067】

１００ 撮像装置
２ 撮像部
３ ストロボ発光部
４ ユニット回路部
４ａ ゲイン調整部
５ 画像処理部
５ａ 判定部
５ｂ 第１画像取得部
５ｃ 第２画像取得部
５ｄ ストロボ光色相差情報算出部
５ｅ タングステン光色相差情報算出部
５ｆ 人肌色相差情報算出部
５ｇ 前景尤度値算出部
５ｈ 画素値特定部
１１ 中央制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】