特許 7492344 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-21

(45)【発行日】2024-05-29

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 23/10 20230101AFI20240522BHJP

   H04N 23/88 20230101ALI20240522BHJP

【ＦＩ】

H04N23/10

H04N23/88

【請求項の数】 14

(21)【出願番号】P 2020030851

(22)【出願日】2020-02-26

(65)【公開番号】P2021136555

(43)【公開日】2021-09-13

【審査請求日】2023-02-27

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】渡辺 杏平

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０１５－２２８５４６（ＪＰ，Ａ）

【文献】特開２０１９－１３９７２０（ＪＰ，Ａ）

【文献】特開平０６－０８６１５６（ＪＰ，Ａ）

【文献】特表２０１９－５１５３７６（ＪＰ，Ａ）

【文献】特開２００８－１６７２８０（ＪＰ，Ａ）

【文献】特開２００２－３５８５２２（ＪＰ，Ａ）

【文献】特開２０１３－１７２３０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／１０

Ｈ０４Ｎ ２３／８８

(57)【特許請求の範囲】

【請求項1】

画像データから白色領域を検出する白検出手段と、
前記白色領域のデータに基づいて第１のホワイトバランス補正値を算出する第１の補正値算出手段と、
機械学習を用いて、前記画像データから予め定められた特定の色を有する被写体の領域を検出する被写体検出手段と、
前記被写体検出手段により検出された被写体の領域の色に基づいて、第２のホワイトバランス補正値を算出する第２の補正値算出手段と、
前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とに基づいて、前記画像データに適用する最終的なホワイトバランス補正値である第３のホワイトバランス補正値を算出する第３の補正値算出手段と、
前記第３のホワイトバランス補正値を用いた現像処理を前記画像データに適用する適用手段と、を有し、
前記被写体検出手段は、機械学習を用いて出力された情報に基づいて、前記被写体の領域の検出結果を示す検出マップを生成し、
前記第２の補正値算出手段は、前記検出マップに基づいて特定された領域の色に基づいて前記第２のホワイトバランス補正値を算出し、
前記検出マップは、前記画像データを分割した部分領域ごとに前記検出結果に基づく信頼度を示す、
ことを特徴とする画像処理装置。

【請求項2】

前記機械学習を用いて出力された情報は、前記画像データの画素またはブロックが前記予め定められた特定の色を有する被写体の領域である確率を示すことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記機械学習は、前記画像データから草木の緑を有する画素またはブロックを出力するのに用いられることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記第１のホワイトバランス補正値の信頼度が高いと判定される場合には前記第１のホワイトバランス補正値を前記画像データに適用する最終的なホワイトバランス補正値とし、
前記第１のホワイトバランス補正値の信頼度が高いと判定されない場合には前記第３のホワイトバランス補正値を前記画像データに適用する最終的なホワイトバランス補正値とする、ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記予め定められた色が、緑色または肌色であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第３の補正値算出手段は、前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とを加重加算して前記第３のホワイトバランス補正値を算出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記加重加算に用いる重みが、前記第１のホワイトバランス補正値と第２のホワイトバランス補正値との少なくとも一方の信頼度に基づくことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記加重加算に用いる重みが、撮影シーンが特定シーンである信頼度にさらに基づくことを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記特定シーンが屋外シーンであることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記第２の補正値算出手段は、前記特定の色と、光源の色温度とに基づいて前記第２のホワイトバランス補正値を算出することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。

【請求項11】

前記第２の補正値算出手段は、前記画像データのうち予め定められた範囲に含まれる色を有するデータに基づいて前記光源の色温度を推定することを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

撮像素子と、
前記撮像素子によって得られた画像データからホワイトバランス補正値を算出し、算出したホワイトバランス補正値を用いて前記画像データに対して現像処理を適用する請求項１から１１のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。

【請求項13】

画像処理装置が実行する画像処理方法であって、
画像データから白色領域を検出する白検出工程と、
前記白色領域のデータに基づいて第１のホワイトバランス補正値を算出する第１の補正値算出工程と、
機械学習を用いて、前記画像データから予め定められた特定の色を有する被写体の領域を検出する被写体検出工程と、
前記被写体検出工程により検出された被写体の領域の色に基づいて、第２のホワイトバランス補正値を算出する第２の補正値算出工程と、
前記第１のホワイトバランス補正値と、前記第２のホワイトバランス補正値とに基づいて、前記画像データに適用する最終的なホワイトバランス補正値である第３のホワイトバランス補正値を算出する第３の補正値算出工程と、
前記第３のホワイトバランス補正値を用いた現像処理を前記画像データに適用する適用工程と、を有し、
前記被写体検出工程では、機械学習を用いて出力された情報に基づいて、前記被写体の領域の検出結果を示す検出マップを生成し、
前記第２の補正値算出工程では、前記検出マップに基づいて特定された領域の色に基づいて前記第２のホワイトバランス補正値を算出し、
前記検出マップは、前記画像データを分割した部分領域ごとに前記検出結果に基づく信頼度を示す、
ことを特徴とする画像処理方法。

【請求項14】

コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置および画像処理方法に関し、特にはホワイトバランス制御技術に関する。

【背景技術】

【0002】

適切な色調を有する撮影画像を生成するためには、画像のホワイトバランスを精度よく制御する必要がある。また、精度のよいホワイトバランス制御を行うには、被写体色と光源色とを精度よく区別する必要がある。

【0003】

特に、草木の緑色や、人の肌色など、特定の色がイメージされる被写体の色は、光源色と精度良く区別することが重要である。特許文献１には、撮影シーンの赤外線量を検出し、日陰など暗い場所における草木の緑色と、光源色に起因する緑色とを区別する技術が提案されている。

【0004】

一方、晴天、日陰、電球、蛍光灯のそれぞれについて機械学習したサポートベクタマシン（ＳＶＭ）を用いて環境光との類似度を算出し、それぞれの類似度に基づいてニューラルネットワークが光源の種類を特定する技術が提案されている（特許文献２）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１５－２２８５４６号公報

【文献】特開２０１３－１６８７２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１で提案される技術は、赤外線量を検出するための構成が必要である。そのため、必要な部品のコストや実装スペースが問題となりうる。
一方、特許文献２で提案される技術は、赤外線量を検出するための構成が不要であるが、ホワイトバランス制御の精度が、ＳＶＭによる類似度の精度やニューラルネットワークの判定精度が低いと、適切なホワイトバランス制御が実現できない。

【0007】

本発明は、赤外線量を検出するための部品などの特別な部品の使用を抑えつつ、信頼性の高いホワイトバランス制御を実現する画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上述の目的は、画像データから白色領域を検出する白検出手段と、白色領域のデータに基づいて第１のホワイトバランス補正値を算出する第１の補正値算出手段と、機械学習を用いて、画像データから予め定められた特定の色を有する被写体の領域を検出する被写体検出手段と、被写体検出手段により検出された被写体の領域の色に基づいて、第２のホワイトバランス補正値を算出する第２の補正値算出手段と、第１のホワイトバランス補正値と、第２のホワイトバランス補正値とに基づいて、画像データに適用する最終的なホワイトバランス補正値である第３のホワイトバランス補正値を算出する第３の補正値算出手段と、第３のホワイトバランス補正値を用いた現像処理を画像データに適用する適用手段と、を有し、被写体検出手段は、機械学習を用いて出力された情報に基づいて、被写体の領域の検出結果を示す検出マップを生成し、第２の補正値算出手段は、検出マップに基づいて特定された領域の色に基づいて第２のホワイトバランス補正値を算出し、検出マップは、画像データを分割した部分領域ごとに検出結果に基づく信頼度を示す、ことを特徴とする画像処理装置によって達成される。

【発明の効果】

【0009】

本発明によれば、特別な部品の使用を抑えつつ、信頼性の高いホワイトバランス制御を実現する撮像装置および画像処理方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係るカメラの機能構成例を示すブロック図

【図2】図１の画像処理回路が実現するホワイトバランス制御部の構成例を示すブロック図

【図3】図１のカメラにおける撮影処理に関するフローチャート

【図4】実施形態におけるＷＢ補正値の演算処理に関するフローチャート

【図5】実施形態の白判定部の動作に関する図

【図6】実施形態における白ＷＢ補正値の信頼度算出処理に関するフローチャート

【図7】実施形態における信頼度算出処理に関する図

【図8】実施形態における検出マップ生成処理に関する図

【図9】実施形態における被写体判定処理に関するフローチャート

【図10】実施形態におけるＷＢ補正値算出処理に関する図

【図11】実施形態における、被写体検出に基く色温度推定処理に関するフローチャート

【図12】実施形態における混合ＷＢ補正値の生成動作に関するフローチャート

【図13】第２実施形態における画像処理回路が実現するホワイトバランス制御部の構成構成例を示すブロック図

【図14】第２実施形態における混合ＷＢ補正値の生成動作に関するフローチャート

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

なお、以下の実施形態では、本発明をレンズ交換式のデジタルカメラで実施する場合に関して説明する。しかし、本発明に撮像機能は必須でなく、任意の電子機器で実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。なお、本発明は撮影範囲における赤外線量を検出する機能を有しない電子機器において特に好適に実施可能であるが、撮影範囲における赤外線量を検出する機能を有する電子機器においても実施可能である。

【0013】

●（第１実施形態）
図１は、本発明の第１実施形態に係る撮像装置１００（以下、カメラ１００という）の機能構成例を示すブロック図である。
カメラ１００の光学系１０１はレンズユニットであり、複数のレンズ、シャッター、および絞りを備えている。光学系１０１は交換可能であってもなくてもよい。絞りはシャッターを兼ねても良い。なお、光学系１０１が交換可能な場合、シャッターはカメラ１００の本体側に設ける。なお、カメラ１００はメカニカルシャッターを有さなくてもよい。

【0014】

光学系１０１は、被写体の光学像を撮像素子１０２の結像面に形成する。光学系１０１の合焦距離は中央演算装置（ＣＰＵ）１０３がフォーカスレンズの位置を調整することによって制御可能である。また、光学系１０１がズームレンズの場合、光学系１０１の焦点距離（画角）は、ＣＰＵ１０３が変倍レンズの位置を調整することによって制御可能である。また、ＣＰＵ１０３は、光学系１０１の情報（フォーカスレンズ位置、焦点距離、絞り値など）を直接、あるいは光学系１０１のコントローラを通じて間接的に取得可能である。

【0015】

撮像素子１０２は、例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサであり、光電変換領域を有する画素が複数、２次元状に配列されている。また、撮像素子１０２は特定の色パターンを有するカラーフィルタを有し、各画素には色パターンに応じた１色のフィルタが設けられている。本発明はカラーフィルタの色パターンに依存しないが、ここでは原色ベイヤ配列のカラーフィルタが設けられているものとする。したがって、各画素にはＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが設けられている。撮像素子１０２は光学像を各画素で光電変換し、画素ごとの輝度情報を示すアナログ画像信号に変換する。

【0016】

撮像素子１０２が生成するアナログ画像信号は、Ａ／Ｄ変換器（図示せず）によってデジタル画像信号に変換される。なお、Ａ／Ｄ変換器は撮像素子１０２が有してもよいし、ＣＰＵ１０３がＡ／Ｄ変換を行ってもよい。Ａ／Ｄ変換器の出力するデジタル画像信号を構成する画素信号はその信号を生成した画素に設けられたカラーフィルタの色の輝度成分のみを有するＲＡＷデータである。ＣＰＵ１０３はＲＡＷデータを一次記憶装置１０４に記憶する。なお、撮像素子１０２の撮影感度（以下ＩＳＯ感度という）はＣＰＵ１０３によって設定される。

【0017】

ＣＰＵ１０３は二次記憶装置１０７に記憶されたプログラムを一次記憶装置１０４に転送して実行することにより、カメラ１００の各部を制御し、カメラ１００の様々な機能を実現する。なお、以下の説明において、ＣＰＵ１０３がプログラムを実行して実現する機能の少なくとも一部は、ＡＳＩＣなどの専用ハードウェアによって実現してもよい。

【0018】

一次記憶装置１０４は、例えばＲＡＭなどの揮発性記憶装置である。一次記憶装置１０４はＣＰＵ１０３がプログラムを実行するために用いるほか、画像データのバッファメモリ、画像処理用の作業領域、表示用のビデオメモリなどとして用いられる。

【0019】

二次記憶装置１０７は、例えばＥＥＰＲＯＭなどの書き換え可能な不揮発性記憶装置である。二次記憶装置１０７には、ＣＰＵ１０３が実行可能なプログラム（命令）や、カメラ１００の設定、ＧＵＩデータなどが記憶されている。

【0020】

記録媒体１０６は、例えば半導体メモリカードなどの書き換え可能な不揮発性記憶装置である。記録媒体１０６はカメラ１００に対して着脱可能であってもなくてもよい。カメラ１００が生成したデータ（静止画データ、動画データ、音声データなど）は、記録媒体１０６に記録することができる。つまり、カメラ１００は、記録媒体１０６の読み書き機能と、着脱機構（記録媒体１０６が着脱可能な場合）とを有する。なお、カメラ１００が生成したデータの記録先は記録媒体１０６に限定されない。カメラ１００が有する通信インターフェースを通じて外部機器に送信され、外部機器がアクセス可能な記録装置に記録してもよい。

【0021】

表示部１０８は、例えば液晶ディスプレイである。ＣＰＵ１０３は表示部１０８の表示制御装置として機能する。撮影スタンバイ状態や動画像の記録中、表示部１０８には撮影した動画像がリアルタイムに表示され、表示部１０８は電子ビューファインダーとして機能する。また、表示部１０８には、記録媒体１０６に記録されている画像データや、メニュー画面などのＧＵＩ(Graphical User Interface)画像も表示される。

【0022】

操作部１０９は、ユーザ操作を受け付ける入力デバイス群の総称である。操作部１０９には、例えば、ボタン、レバー、およびタッチパネルなどが用いられる。操作部１０９は音声や視線など、物理的な操作が不要な入力デバイスを有してもよい。操作部１０９が有する入力デバイスは割り当てられた機能に応じた名前が付けられる。代表例としては、シャッターボタン、メニューボタン、方向キー、決定（セット）ボタン、モード切り替えダイヤルなどが挙げられる。なお１つの入力デバイスに異なる機能が選択的に割り当てられてもよい。

【0023】

画像処理回路１０５は画像データ（ＲＡＷデータであっても、現像処理後の画像データであってもよい）に対して予め定められた画像処理を適用し、異なる形式の画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理回路１０５例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

【0024】

ここで、画像処理回路１０５が適用する画像処理には、前処理、色補間処理、補正処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理や同時化処理とも呼ばれる。補正処理には、ホワイトバランス制御、階調補正（ガンマ処理）、光学系１０１の光学収差や周辺減光の影響を補正する処理、色を補正する処理などが含まれる。データ加工処理には、合成処理、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理は、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の算出処理などである。特殊効果処理には、ぼかしの付加、色調の変更、リライティング処理などが含まれる。なお、これらは画像処理回路１０５が適用可能な画像処理の例示であり、画像処理回路１０５が適用する画像処理を限定するものではない。

【0025】

画像処理回路１０５がＲＡＷデータに対して適用する画像処理のうち、ＲＡＷデータを写真のデータとして表示や印刷などに利用可能な汎用的な形式の画像データに変換するための一連の画像処理を現像処理と呼ぶ。一般に現像処理はホワイトバランス制御処理および色補完処理を含み、その他にもレンズ収差補正処理、ノイズ低減（ＮＲ）処理、ガンマ（階調変換）処理などが含まれうる。

【0026】

また、画像処理回路１０５は、カメラ１００に設定可能な撮影モードに対応した一連の画像処理セットが予め登録されている。これにより、例えば夜景や夕焼けといった特定のシーンを撮影して得られた画像データに対し、シーンに適した画像処理が実行される。

【0027】

なお、本実施形態では画像処理回路１０５がホワイトバランス制御に関する処理を実行するが、ホワイトバランス制御に関する処理の少なくとも一部を、ＣＰＵ１０３が実行してもよい。

【0028】

図２は、カメラ１００においてホワイトバランス補正値を算出してホワイトバランスを制御するホワイトバランス制御部２００の機能構成例を示すブロック図である。以下、ホワイトバランスをＷＢと略記する。ＷＢ制御部２００は、画像処理回路１０５（および／またはＣＰＵ１０３）が実行するＷＢ制御処理を１つの制御部として表現したものである。

【0029】

ＷＢ制御部２００は、白と推定される画素に適用するＷＢ補正値（以下、白ＷＢ補正値という）と、被写体の画素に適用するＷＢ補正値（以下、被写体ＷＢ補正値という）とから最終的なＷＢ補正値を算出する。ＷＢ制御部２００の各ブロックの動作については後述する。

【0030】

図３は、カメラ１００の撮影処理に関するフローチャートである。このフローチャートは、カメラ１００が起動して撮影スタンバイ状態になった時点から、ユーザ指示に基づいて静止画を撮影し、静止画データを記録するまでの一連の処理を示している。

【0031】

カメラ１００は起動すると撮影スタンバイ状態になり、操作部１０９に対する操作を監視しながら、予め定められたスタンバイ動作を継続的に実行する（Ｓ３０１）。具体的には、ＣＰＵ１０３は、スタンバイ動作として、動画の撮影および表示処理を継続的に実行し、表示部１０８をビューファインダーとして機能させる。ＣＰＵ１０３は、操作部１０９に対して予め定められた静止画の撮影準備指示に相当する操作が行われたことが検出されるまで、スタンバイ動作を継続して実行する。また、ＣＰＵ１０３は、静止画の撮影準備指示に相当しない操作に対しては、スタンバイ動作を継続しながら、操作に応じた処理を実行する。例えば、光学系１０１の画角を変更する操作が検出された場合、ＣＰＵ１０３は操作に応じて光学系１０１の変倍レンズを駆動する。また、撮影条件（シャッター速度、絞り値、撮影感度、露出補正値など）を変更する操作が検出された場合、ＣＰＵ１０３は操作に応じてカメラ１００の設定値を変更する。またＣＰＵ１０３は必要に応じてライブビュー画面の表示内容に設定値の変更を反映させる。

【0032】

Ｓ３０５でＣＰＵ１０３は、撮影準備指示に相当する操作として、シャッターボタンの半押しでＯＮするＳＷ１の状態を確認する。ＳＷ１がＯＮであればＣＰＵ１０３はＳ３０６を実行する。ＳＷ１がＯＦＦであれば、ＣＰＵ１０３はＳ３０１およびＳ３０５を繰り返し実行する。

【0033】

Ｓ３０６およびＳ３０７は、静止画の撮影準備動作である。カメラ１００に自動露出（ＡＥ）モードや自動焦点検出（ＡＦ）モードが設定されている場合、ＣＰＵ１０３は撮影準備動作としてＡＥやＡＦを実行する。

【0034】

Ｓ３０６でＣＰＵ１０３は、画像処理回路１０５から撮影画像の輝度情報を取得する。画像処理回路１０５は撮影画像（ライブビュー表示用に撮影した動画のフレーム画像）について、予め定められた輝度情報を算出してＣＰＵ１０３に出力する。ＣＰＵ１０３は、輝度情報に基づいて撮影条件（シャッター速度、絞り値、およびＩＳＯ感度）を決定する。

【0035】

Ｓ３０７でＣＰＵ１０３は、画像処理回路１０５からＡＦを行うための評価値や信号を取得する。あるいは、カメラ１００がＡＦセンサを有する場合にはＡＦセンサから信号を取得してもよい。ＣＰＵ１０３は、コントラスト法や位相差検出法など公知の方法を用いて光学系１０１が焦点検出領域内の被写体に合焦するよう、光学系１０１のフォーカスレンズを駆動する。

【0036】

Ｓ３０８でＣＰＵ１０３は、撮影指示に相当する操作として、シャッターボタンの全押しでＯＮするＳＷ２の状態を確認する。ＳＷ２がＯＮであればＣＰＵ１０３はＳ３０９を実行する。ＳＷ２がＯＦＦであれば、ＣＰＵ１０３はＳ３０５を実行する。

【0037】

Ｓ３０９でＣＰＵ１０３は、Ｓ３０６で決定した撮影条件（あるいはユーザが設定した撮影条件）で静止画撮影を実行し、一次記憶装置１０４にＲＡＷデータを記憶する。

【0038】

Ｓ３１０でＣＰＵ１０３は、一次記憶装置１０４に記憶されたＲＡＷデータに対する現像処理を画像処理回路１０５に行わせる。画像処理回路１０５は現像処理の１工程としてＷＢ補正値を算出する（Ｓ３１０Ａ）。画像処理回路１０５は、現像処理によって得られた画像データに基づいて表示用の画像データを生成したり、記録用の画像データを格納したデータファイルを生成したりする。画像処理回路１０５は、生成した画像データやデータファイルを一次記憶装置１０４に記憶する。画像処理回路１０５におけるＷＢ補正値の算出処理の詳細については後述する。

【0039】

Ｓ３１２でＣＰＵ１０３は、表示用の画像データに基づく画像を表示部１０８に表示させる。
Ｓ３１３でＣＰＵ１０３は、画像データファイルを記録媒体１０６に記録する。

【0040】

なお、ここではＳ３１３で処理が終了しているが、実際には再び撮影スタンバイ動作（Ｓ３０１）に復帰してもよい。また、ＲＡＷデータを格納したデータファイルを記録媒体１０６に記録してもよい。

【0041】

図４は、図３のＳ３１０における現像処理の一工程として画像処理回路１０５（ＷＢ制御部２００）が実行するＷＢ補正値の算出処理（Ｓ３１０Ａ）の詳細に関するフローチャートである。図２および図４を参照し、ＷＢ補正値の算出処理の詳細を説明する。

【0042】

（Ｓ４０１：白検出）
ブロック分割部２０１は、一次記憶装置１０４に記憶されたＲＡＷデータを複数のブロックデータに分割する。１つのブロックデータは、撮影画像を水平方向および垂直方向に複数に分割した複数のブロック領域の１つに対応するデータである。そして、ブロック分割部２０１は、ブロックデータに含まれる画素データの値を、カラーフィルタの色ごとに積分する。これにより、各ブロックデータについて、Ｒ成分、Ｇ成分、およびＢ成分の積分値が得られる。続いて、ブロック分割部２０１は、ブロックデータごとに、Ｇ成分に対するＲ成分とＢ成分の割合（Ｒ／ＧおよびＢ／Ｇ）を求め、白判定部および検出マップ作成部に出力する。

【0043】

白判定部２０２は、ブロックデータのうち、予めＲ／Ｇ－Ｂ／Ｇ座標系に設定した白色領域（白検出範囲）に含まれるＲ／ＧおよびＢ／Ｇを有するブロックデータを、白色ブロックのデータと判定する。白判定部２０２は、すべての白色ブロックのデータについて色成分ごとの積分値Ｒｉｎｔｅｇ、Ｇｉｎｔｅｇ、およびＢｉｎｔｅｇを算出し、白ＷＢ補正値算出部２０３に出力する。

【0044】

図５は、白色ブロックの判定に用いる白色領域の設定例を示す図である。図５において、横軸はＲ／Ｇを示し、縦軸はＢ／Ｇを示す。５０１は黒体輻射軌跡、５０２は白色領域である。白色領域５０２は、カメラ１００において太陽光（日向および日陰）、タングステン光、水銀灯、蛍光灯、フラッシュ光などの様々な光源下で無彩色被写体を撮影した画像について求めたＲ／Ｇ、Ｂ／Ｇを含むように設定する。

【0045】

（Ｓ４０２：白ＷＢ補正値の算出）
白ＷＢ補正値算出部２０３は第１の補正値算出手段である。白ＷＢ補正値算出部２０３は、Ｒ／ＧおよびＢ／Ｇが白色領域５０２内に含まれる白色ブロックのデータについて算出した色成分ごとの積分値Ｒｉｎｔｅｇ、Ｇｉｎｔｅｇ、およびＢｉｎｔｅｇに基づき、式（１）によってＷＢ補正値（白ＷＢ補正値）を算出する。ＷＢ補正値は、各色成分に適用するゲイン（係数）である。
白ＷＢ補正値のＲゲインＷ＿ＷＢ＿Ｒｇａｉｎ＝Ｇｉｎｔｅｇ／Ｒｉｎｔｅｇ
白ＷＢ補正値のＧゲインＷ＿ＷＢ＿Ｇｇａｉｎ＝Ｇｉｎｔｅｇ／Ｇｉｎｔｅｇ
白ＷＢ補正値のＢゲインＷ＿ＷＢ＿Ｂｇａｉｎ＝Ｇｉｎｔｅｇ／Ｂｉｎｔｅｇ （１）
白ＷＢ補正値算出部２０３は、算出した白ＷＢ補正値を、混合ＷＢ補正値算出部２１４と第１信頼度算出部２０４とに出力する

【0046】

（Ｓ４０３：白ＷＢ補正値の信頼度算出）
第１信頼度算出部２０４は、白ＷＢ補正値の信頼度を算出する。図６は、Ｓ４０３における白ＷＢ補正値の信頼度算出の詳細を示すフローチャートである。

【0047】

（Ｓ６０１：割合信頼度算出）
第１信頼度算出部２０４は、Ｓ４０１において白ブロックのデータと判定されたブロックデータの数の、全ブロックデータの数に対する割合に基づいて、白ＷＢ補正値の信頼度（割合信頼度Ｔｒａｔｉｏ）を算出する。この割合は、画像全体に占める白ブロックの割合でもある。

【0048】

割合信頼度Ｔｒａｔｉｏを算出する際、第１信頼度算出部２０４は図７（Ａ）に示す、白ブロックの割合と割合信頼度との関係に基づいて、割合信頼度Ｔｒａｔｉｏ（％）を算出する。図７（Ａ）においては、横軸は白ブロックの割合、縦軸は割合信頼度Ｔｒａｔｉｏ（％）を示しており、白ブロックの割合が多い程、割合信頼度Ｔｒａｔｉｏが高くなる。なお、横軸は白ブロックの総数としてもよい。第１信頼度算出部２０４は、図７（Ａ）に示す関係をテーブル（割合信頼度テーブル）として保持し、白ブロックの数を用いてテーブルを参照することにより、割合信頼度Ｔｒａｔｉｏ（％）を取得することができる。

【0049】

（Ｓ６０２：距離信頼度の算出）
続いて、第１信頼度算出部２０４は、Ｓ４０２で白ＷＢ補正値算出部２０３が算出した白ＷＢ補正値のうち、Ｗ＿ＷＢ＿ＲｇａｉｎおよびＷ＿ＷＢ＿Ｂｇａｉｎに基づいて、式（２）から、白ＷＢ補正値のＲ／Ｇ－Ｂ／Ｇ空間における座標を求める。
白ＷＢ補正値に対応するＲ／Ｇ＝１／Ｗ＿ＷＢ＿Ｒｇａｉｎ
白ＷＢ補正値に対応するＢ／Ｇ＝１／Ｗ＿ＷＢ＿Ｂｇａｉｎ （２）

【0050】

そして、第１信頼度算出部２０４は、図５に示すように、白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標５０３と、黒体輻射軌跡５０１との最短距離５０４を算出する。第１信頼度算出部２０４は、図７（Ｂ）に示す最短距離５０４と距離信頼度との関係に基づいて、距離信頼度Ｔｄｉｓｔ（％）を算出する

【0051】

図７（Ｂ）において、横軸は白ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標５０３と黒体輻射軌跡５０１との最短距離５０４を示し、縦軸は黒体輻射軌跡５０１からの距離信頼度Ｔｄｉｓｔ（％）を示す。なお、距離信頼度Ｔｄｉｓｔ（％）は、最短距離５０４が短いほど高くなるように設定することができる。図７（Ｂ）において、距離信頼度Ｔｄｉｓｔが１００％となる最小距離Ｄｍｉｎと、０％となる最大距離Ｄｍａｘとは例えば実験的に予め設定することができる。なお、最短距離５０４が短いほど、すなわち、Ｒ／Ｇ－Ｂ／Ｇ座標系における白ＷＢ補正値の座標が黒体輻射軌跡５０１上の点に近いほど、水銀灯下ではなく自然光下の無彩色のブロック領域が白ブロックと判定されている可能性が高いことを示す。

【0052】

（Ｓ６０３：白ＷＢ補正値の信頼度算出）
次に、第１信頼度算出部２０４は、割合信頼度Ｔｒａｔｉｏ（％）と距離信頼度Ｔｄｉｓｔ（％）とに基づいて、式（３）によって白ＷＢ補正値の最終的な信頼度Ｔｗｈｉｔｅ（％）を算出する。
Ｔｗｈｉｔｅ（％）＝Ｔｒａｔｉｏ（％）×Ｔｄｉｓｔ（％）／１００ （３）
第１信頼度算出部２０４は、算出した信頼度Ｔｗｈｉｔｅ（％）を重み算出部２１３と、ＣＰＵ１０３とに出力する。以上が、白ＷＢ補正値の信頼度算出処理である。

【0053】

（Ｓ４０４：白ＷＢ補正値の信頼度判定）
次に、ＣＰＵ１０３は、Ｓ４０３で算出された白ＷＢ補正値の信頼度Ｔｗｈｉｔｅが高信頼度であるか低信頼度であるか判定する。ここでは一例として、ＣＰＵ１０３は信頼度Ｔｗｈｉｔｅ（％）が所定の閾値以上であれば高信頼度であると判定する。高信頼度とは、自然光下で無彩色が検出されている可能性が高いことを示す。また、信頼度Ｔｗｈｉｔｅ（％）が所定の閾値未満であれば低信頼度であると判定する。

【0054】

信頼度Ｔｗｈｉｔｅが高信頼度であると判定された場合、ＣＰＵ１０３は画像処理回路１０５にＷＢ補正値算出処理を終了させ、算出した白ＷＢ補正値を用いてＲＡＷデータの現像処理を行うよう、画像処理回路１０５を制御する。
一方、信頼度Ｔｗｈｉｔｅが低信頼度であると判定された場合、ＣＰＵ１０３は、被写体に基づくＷＢ補正値を画像処理回路１０５に算出させる。
なお、Ｓ４０４の判定処理は、画像処理回路１０５で実施してもよい。また、Ｓ４０４の判定処理を行わず、常にＳ４０５以降の処理を実行するようにしてもよい。

【0055】

（Ｓ４０５：被写体領域の検出）
簡易現像処理部２０５は、一次記憶装置１０４に記憶されたＲＡＷデータに対して簡易的な現像処理を適用する。簡易的な現像処理とは、例えば、解像度を低下させたＲＡＷデータと、白ＷＢ補正値算出部２０３で算出済みの白ＷＢ補正値とを用いた現像処理であってよい。簡易現像処理部２０５は、現像処理を適用して得られた画像データを被写体検出部２０６と被写体判定部２０８に出力する。

【0056】

被写体検出部２０６は、簡易現像済みの画像データに対し、被写体検出処理を適用する。被写体検出部２０６が検出する被写体は、ホワイトバランス制御が難しいとされる色（例えば草木の緑色や人の肌色など）を有する被写体であってよいが、これらに限定されない。

【0057】

被写体検出方法に特に制限はないが、例えば畳み込みニューラルネットワーク（ＣＮＮ）などを用いた機械学習、特には深層学習を用いることができる。学習方法に特に制限はないが、例えば検出したい色の被写体を様々な光源下かつ明るさで撮影した画像データを用いた教師あり学習であってよい。検出する被写体の種類が複数の場合、学習は被写体ごとに行う。

【0058】

被写体検出部２０６が検出する被写体は、例えば予め二次記憶装置１０７に記憶されている複数の被写体候補の中から、例えばカメラ１００に設定されている撮影モードなどに応じて自動的に、あるいはユーザ設定に従って選択することができる。なお、同一のＲＡＷデータから異なる被写体を検出するために、被写体検出処理を複数回適用してもよい。

【0059】

ここでは、被写体検出部２０６が、入力画像データの画素ごとに、検出対象の被写体（色）の画素であるか否かを判定し、判定結果を表す値（例えば１か０）を有する画素から形成される二値画像を生成するものとする。あるいは、２次元のブロックデータを入力として、特定色の被写体の画像ブロックであるか、他の被写体の画像ブロックであるか分類するものであってもよい。

【0060】

検出マップ作成部２０７は、被写体検出部２０６における検出結果から、被写体検出マップを作成する。検出マップ作成部２０７は、簡易現像された画像データの、例えばブロック分割部２０１が生成するブロック領域に対応する部分領域ごとに、特定色を有すると判定された画素が占める割合を求め、割合に応じた検出マップを生成する。あるいは、検出マップ生成部は、被写体検出部２０６が求めた、特定色の被写体の画像ブロックである確率に基づいて検出マップを生成してもよい。

【0061】

例えば、検出対象の被写体が「草木の緑」の画素であるとする。図８（ａ）に示すシーンを撮影して得られるＲＡＷデータに基づく現像ずみ画像データが被写体検出部２０６に入力された場合を考える。この場合、検出マップ作成部２０７は、図８（ｂ）に示すような検出マップを生成する。検出マップは、部分領域ごとに、特定色を有すると判定された画素が占める割合を信頼度と見なし、０％から１００％の間の値で示している。図８（ｂ）の例では信頼度を１０％単位に丸めているが、信頼度は１％単位であってもよい。信頼度が１００％に近いほど、検出対象の被写体（色）を有する領域である信頼度が高い。

【0062】

（Ｓ４０６：被写体検出に基づく色温度推定）
検出マップ作成部２０７は、生成した検出マップを被写体判定部２０８に出力する。被写体判定部２０８は、検出マップにおいて高い信頼度を有する部分領域に対し、その信頼度の信憑性を判定する。判定は例えば色に基づくものであってよい。以下、色に基づく判定方法について説明する。

【0063】

図９は、被写体判定部２０８による被写体判定処理に関するフローチャートである。
Ｓ９０１で被写体判定部２０８は、簡易現像された画像データから、検出マップにおいて信頼度が高い（例えば閾値（例えば８０％）以上の部分領域の画像データを抽出する。

【0064】

Ｓ９０２で被写体判定部２０８は、抽出した画像データに含まれる画素のうち、検出被写体について予め設定された色検出領域（色検出枠）に含まれる色の画素を抽出する。被写体判定部２０８は、抽出した画素の（Ｒ／Ｇ，Ｂ／Ｇ）座標と、色検出領域との関係に応じて各画素に対する色信頼度Ｔｃｏｌｏｒを求める。図７（Ｃ）は、画素の色座標と色信頼度Ｔｃｏｌｏｒ（％）との関係例を示す図である。

【0065】

図７（Ｃ）において、座標１００１、１００２は図１０（Ａ）において同じ参照数字を付した領域の外縁に対応する座標である。外側の領域１００１は色検出枠である。図７（Ｃ）は、色検出枠１００１の内側に設定された領域１００２に含まれる色座標を有する画素は色信頼度Ｔｃｏｌｏｒが１００（％）、色検出枠１００１より外の色座標を有する画素は色信頼度Ｔｃｏｌｏｒが０（％）であることを示している。領域１００２の外縁から色検出枠１００１の外縁までの間の領域に含まれる色座標を有する画素については、色信頼度Ｔｃｏｌｏｒが１００％より小さく０％より大きい。被写体判定部２０８は、画素ごとに求めた色信頼度Ｔｃｏｌｏｒを例えば平均して、部分領域の色信頼度Ｔｃｏｌｏｒを求める。

【0066】

Ｓ９０３でＲＧＢ値加算部２０９は、検出マップで高い信頼度を有する部分領域について、色検出枠内に含まれる色を有する画素の色成分を積分する。この際、対応する色信頼度Ｔｃｏｌｏｒを重みとして用いる。
Ｒ，Ｇ，Ｂ各成分の積分値をＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡとすると、以下の式（４）によって積分値が得られる。
ＲｉｎｔｅｇＡ＝ＲｉｎｔｅｇＡ＋Ｒｉｊ×（Ｔｃｏｌｏｒ／１００）
ＧｉｎｔｅｇＡ＝ＧｉｎｔｅｇＡ＋Ｇｉｊ×（Ｔｃｏｌｏｒ／１００）
ＢｉｎｔｅｇＡ＝ＢｉｎｔｅｇＡ＋Ｂｉｊ×（Ｔｃｏｌｏｒ／１００） （４）
ここで、Ｒｉｊは、水平方向にｉ番目、垂直方向にｊ番目（ｉ，ｊは１以上の整数）の部分領域におけるＲ成分の積分値である。ＧｉｊおよびＢｉｊについても同様である。検出マップにおける信頼度が低い部分領域は積分対象でないため、ｉ，ｊは連続値とは限らない。

【0067】

このように、色信頼度Ｔｃｏｌｏｒを考慮して積分値を求めることによって、機械学習に基づく被写体検出の信頼度が高いものの、対象とする被写体の色を有しない画素が多いブロック領域の影響を抑制することができる。このため、機械学習による被写体検出の精度が低い場合においても精度の高いホワイトバランス制御が可能となる。

【0068】

色信頼度Ｔｃｏｌｏｒを考慮した積分値の算出では、図１０（Ａ）の色座標１００６のように、色検出枠１００１の外側の座標に該当する画素の色成分は積分されない。一方、色検出枠１００１の内側に設定された領域１００２に含まれる、色座標１００３に該当する画素の色成分はそのまま加算（積分）される。また、色検出枠１００１には含まれるが、領域１００２には含まれない色座標１００４に該当する画素の色成分は、色座標に応じて０％より大きく１００％より小さい割合で加算される。例えば、色座標１００４から最も近い色検出枠１００１上の座標Ａと、色座標１００４から最も近い領域１００２上の座標Ｂとの距離を１００とした時の、色座標１００４から座標Ｂまでの距離の大きさを色信頼度Ｔｃｏｌｏｒとすることができる。

【0069】

簡易現像された画像データのうち、検出マップで高い信頼度を有する全ての部分領域についての加算処理が終了すると、積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡに基づいて、（Ｒ／Ｇ，Ｂ／Ｇ）座標が得られる。参照数字１００７は、座標（ＲｉｎｔｅｇＡ／ＧｉｎｔｅｇＡ，ＢｉｎｔｅｇＡ／ＧｉｎｔｅｇＡ）を示している。

【0070】

ＲＧＢ値加算部２０９は、Ｓ９０３で１つの部分領域についての加算処理を終了すると、ＣＰＵ１０３にその時点での積分値を出力する。
Ｓ９０４でＣＰＵ１０３は、この積分値を１つ前の部分領域について得られた積分値と比較することにより、積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡの全てが更新されているか否かを判定する。ＣＰＵ１０３は、判定結果を第２信頼度算出部に出力する。

【0071】

積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡの全てが更新されていると判定されると、ＣＰＵ１０３は、Ｓ９０３で加算処理を適用した部分領域が、検出対象の色を有する部分領域であるとみなす。積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡの少なくとも一つが更新されていないと判定されると、ＣＰＵ１０３は検出対象の色を有しない部分領域であるとみなす。

【0072】

Ｓ９０５で第２信頼度算出部２１２は、ＣＰＵ１０３によって、積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡの全てが更新されていると判定された部分領域を、以下の式（５）にしたがって計数する。計数値Ｎｔｏｔａｌは、検出対象の色を有する部分領域の総数を示す。
Ｎｔｏｔａｌ＝Ｎｔｏｔａｌ＋１ （５）

【0073】

Ｓ９０６でＣＰＵ１０３は、検出マップにおいて高い信頼度を有する部分領域の全てについてＳ９０４の判定を実施したか否かを判定する。ＣＰＵ１０３は、検出マップにおいて高い信頼度を有する部分領域の全てについてＳ９０４の判定を実施した判定されれば被写体判定処理を終了する。ＣＰＵ１０３は、検出マップにおいて高い信頼度を有する部分領域の全てについてＳ９０４の判定を実施したと判定されなければ被写体判定部２０８に次の部分領域に対する処理を実施させる。

【0074】

第２信頼度算出部２１２は、計数値Ｎｔｏｔａｌに基づいて、簡易現像された画像データに占める、検出対象の色を有する部分領域の割合Ｎｒａｔｉｏを以下の式（６）によって算出し、重み算出部２１３へ出力する。
Ｎｒａｔｉｏ＝Ｎｔｏｔａｌ／総分割数×１００ （６）
ここで、総分割数は、ブロック分割部２０１が生成するブロック領域の数に等しい。したがって、割合Ｎｒａｔｉｏは、ＲＡＷデータが表す画像全体に占める、特定色を有する領域の割合でもある。

【0075】

一方、光源色推定部２１０は、ＲＧＢ加算部２０９が算出した積分値ＲｉｎｔｅｇＡ、ＧｉｎｔｅｇＡ、およびＢｉｎｔｅｇＡから得られる、Ｒ／Ｇ－Ｂ／Ｇ座標系における座標（図１０（Ａ）の座標１００７）に基づいて、環境光の色温度を推定する。

【0076】

図１１は、光源色推定部２１０における色温度推定処理に関するフローチャートである。また、図１０（Ｂ）は、図１０（Ａ）に記載した要素のうち、色温度推定に関連する要素と座標とを示している。

【0077】

色検出枠１００１の頂点に対応する座標１００８～１０１１について、光源の逆色温度（色温度の逆数）が例えば光源色推定部２１０に予め記憶されているものとする。座標１００８および１０１０は低色温度側の頂点、座標１００９および１０１１は高色温度側の頂点である。

【0078】

Ｓ１１０１で光源色推定部２１０は、座標１００７のＲ／Ｇ成分に対応する色検出枠１００１の上側の外縁上の座標１０１２（逆色温度）を求めるため、座標１００８と１００９とを線形補間する。

【0079】

Ｓ１１０２で光源色推定部２１０は、座標１００７のＲ／Ｇ成分に対応する色検出枠１００１の下側の外縁上の座標１０１３（逆色温度）を求めるため、座標１０１０と１０１１とを線形補間する。

【0080】

Ｓ１１０３で光源色推定部２１０は座標１０１２に対応する光源の逆色温度と、座標１０１３に対応する光源の逆色温度とを線形補間して、座標１００７のＢ／Ｇ成分に対応する逆色温度を算出する。

【0081】

Ｓ１１０４で光源色推定部２１０は、Ｓ１１０３で算出した逆色温度を色温度に変換することにより、撮影時の環境光の色温度を推定する。光源色推定部２１０は、得られた色温度を被写体ＷＢ補正値算出部２１１に出力する。

【0082】

（Ｓ４０７：推定された光源色温度に基づくＷＢ補正値の算出）
被写体ＷＢ補正値算出部２１１（第２の補正値算出手段）は、光源色推定部２１０が出力する、座標１００７に対応する光源の色温度の推定値に基づくＷＢ補正値（被写体ＷＢ補正値）を算出する。図１０（Ｃ）を用いて、被写体ＷＢ補正値について説明する。図１０（Ｃ）において、図１０（Ａ）と同じ要素には同じ参照数字が付してある。

【0083】

被写体ＷＢ補正値算出部２１１は、被写体検出部２０６で検出した特定の色に対応する色温度に対応する黒体輻射軌跡５０１上の点の座標（ＲＧｇ，ＢＧｇ）を算出する。そして、被写体ＷＢ補正値算出部２１１は、式（７）を用いて座標（ＲＧｇ，ＢＧｇ）に対応する被写体ＷＢ補正値を算出する。
被写体ＷＢ補正値のＲゲインＩＲ＿ＷＢ＿Ｒｇａｉｎ＝１／ＲＧｇ
被写体ＷＢ補正値のＧゲインＩＲ＿ＷＢ＿Ｇｇａｉｎ＝１
被写体ＷＢ補正値のＢゲインＩＲ＿ＷＢ＿Ｂｇａｉｎ＝１／ＢＧｇ （７）

【0084】

（Ｓ４０８：最終的なＷＢ補正値の算出）
混合ＷＢ補正値算出部２１４（第３の補正値算出手段）は、白ＷＢ補正値と被写体ＷＢ補正値とを、重み算出部２１３で算出される所定の割合で加算して最終的なＷＢ補正値（混合ＷＢ補正値）を算出する。

【0085】

図１２に示すフローチャートと、図１０（Ｄ）とを用いて、白ＷＢ補正値と被写体ＷＢ補正値とから、最終的なＷＢ補正値を算出する処理について説明する。図１０（Ｄ）において、図１０（Ｃ）と同じ要素には同じ参照数字を付してある。

【0086】

Ｓ１２０１で重み算出部２１３は、簡易現像された画像データに占める、検出対象の色を有する部分領域の割合Ｎｒａｔｉｏに基づいて、被写体信頼度Ｔｓｐｅｃｉｆｉｃを算出する。なお、割合Ｎｒａｔｉｏと被写体信頼度Ｔｓｐｅｃｉｆｉｃとの関係は例えば図７（Ｄ）に示すようなものであってよい。なお、図７（Ｄ）において、割合Ｎｒａｔｉｏの代わりに、計数値Ｎｔｏｔａｌを用いてもよい。基本的に、割合Ｎｒａｔｉｏまたは計数値Ｎｔｏｔａｌが大きくなるほど、被写体信頼度Ｔｓｐｅｃｉｆｉｃが高くなるような関係とすることができる。重み算出部２１３は、図７（Ｄ）の関係を表すテーブルまたは数式を記憶しており、割合Ｎｒａｔｉｏまたは計数値Ｎｔｏｔａｌを用いて被写体信頼度Ｔｓｐｅｃｉｆｉｃを算出する。

【0087】

Ｓ１２０２で重み算出部２１３は、被写体信頼度Ｔｓｐｅｃｉｆｉｃに基づいて、式（８）によって被写体ＷＢ補正値の重みＲａｔｉｏ＿ＷＢを算出する。なお、ここではＳ４０３で算出された白ＷＢ補正値の信頼度Ｔｗｈｉｔｅを加味しているが、白ＷＢ補正値および被写体ＷＢ補正値の一方の信頼度を用いて重みＲａｔｉｏ＿ＷＢを算出してもよい。
Ｒａｔｉｏ＿ＷＢ＝Ｔｗｈｉｔｅ×Ｔｓｐｅｃｉｆｉｃ／１００ （８）

【0088】

Ｓ１２０３で混合ＷＢ補正値算出部２１４は、重みＲａｔｉｏ＿ＷＢに基づいて、式（９）によって白ＷＢ補正値と被写体ＷＢ補正値と加重加算し、最終的なＷＢ補正値（混合ＷＢ補正値）ＷＢ＿Ｒｍｉｘを算出する。
ＷＢ＿Ｒｍｉｘ＝（ＷＢ＿Ｒｗ×（１００－Ｒａｔｉｏ＿ＷＢ）＋ＷＢ＿Ｒｓｐｅｃｉｆｉｃ×Ｒａｔｉｏ＿ＷＢ）／１００ （９）

【0089】

ここで、ＷＢ＿Ｒｗは白ＷＢ補正値のＲゲイン、ＷＢ＿Ｒｓｐｅｃｉｆｉｃは被写体ＷＢ補正値のＲゲイン、ＷＢ＿Ｒｍｉｘは混合ＷＢ補正値のＲゲインである。混合ＷＢ補正値算出部２１４は、ＧゲインおよびＢゲインについてもＲゲインと同様にして算出する。

【0090】

図１０（Ｄ）において、（Ｒ／Ｇ，Ｂ／Ｇ）座標１０１４は被写体ＷＢ補正値、（Ｒ／Ｇ，Ｂ／Ｇ）座標１０１５は白ＷＢ補正値、（Ｒ／Ｇ，Ｂ／Ｇ）座標１０１６は混合ＷＢ補正値にそれぞれ対応する。
図１０（Ｄ）に示すように、（Ｒ／Ｇ，Ｂ／Ｇ）座標１０１４と（Ｒ／Ｇ，Ｂ／Ｇ）座標１０１５とを結ぶ直線を、重みＲａｔｉｏ＿ＷＢに応じて分割した座標が、混合ＷＢ補正値に対応する（Ｒ／Ｇ，Ｂ／Ｇ）座標１０１６である。このように加重加算を行うことにより、白ＷＢ補正値と被写体ＷＢ補正値との遷移（すなわち、重みの変化による混合ＷＢ補正値の変化）を滑らかにすることができる。

【0091】

画像処理回路１０５は、このようにして得られた混合ＷＢ補正値を、一次記憶装置１０４に記憶されたＲＡＷデータの現像処理に用いる。

【0092】

本実施形態では、白色画素の検出に基づいて算出した白ＷＢ補正値と、被写体検出に基づいて算出した被写体ＷＢ補正値とに基づいて、最終的なＷＢ補正値を得ることができる。そのため、例えば白ＷＢ補正値の信頼度が高くないと判定された場合に被写体ＷＢ補正値を反映したＷＢ補正値を算出することで、より信頼度の高いＷＢ補正値が得られる。

【0093】

また、被写体検出に機械学習を用いることで、従来赤外光を用いて検出出していた、例えばＷＢ制御において難しい色とされる自然の緑を精度よく検出することができる。また、機械学習であれば自然の緑だけでなく、人の肌色など赤外光では対応が難しかった色の被写体も学習させることが可能である。さらに、機械学習による被写体検出結果の信憑性を判定し、白ＷＢ補正値に加味する被写体ＷＢ補正値の重みを制御することで、被写体検出の精度が高くないことが混合ＷＢ補正値に与える影響を抑制することができる。

【0094】

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態はＷＢ制御部における重み算出処理以外は第１実施形態と共通であるため、相違点について重点的に説明する。本実施形態では、特定の撮影シーンであるかどうかの信頼度を、被写体ＷＢ補正値の重みに反映させる。以下では、特定の撮影シーンが屋外シーンである場合を一例として説明するが、屋外シーン以外であっても同様に適用可能である。

【0095】

図１３は、本実施形態におけるＷＢ制御部２００’の機能構成例を示すブロック図で、第１実施形態と同様の構成には図２と同じ参照数字を付すことにより重複する説明を省略する。ＷＢ制御部２００’はシーン判定部１３０１を有している。

【0096】

シーン判定部１３０１は、ブロック分割部２０１の出力するＲＡＷデータに基づいて撮影シーンが特定シーンである信頼度（確からしさ）を算出する。なお、ＳＷ２のＯＮが検出される直前に生成された表示用画像データを用いてシーン判定を行ってもよい。また、特定シーンは撮影モードに応じて、あるいはユーザ設定に応じて変更されうる。特定シーンは、被写体検出部２０６において検出する特定色の被写体が存在する可能性が高いシーンとすることができる。これにより、被写体検出結果の信頼度が高い場合であっても、特定色の被写体が存在しうるシーンである可能性が低い場合には、被写体ＷＢ補正値が混合ＷＢ補正値に与える影響を抑制することができる。

【0097】

シーン判定部は、特定シーンごとの判定条件を予め記憶しているものとする。シーン判定は公知の技術を用いて行うことができるため、各シーンの判定方法の詳細については説明を省略する。なお、シーン判定には他の情報や外部装置を利用してもよい。例えば、カメラ１００がＧＰＳや無線基地局などを利用した測位方法による位置情報を取得可能な場合、取得した位置情報を外部装置に送信し、どのような場所であるかを問い合わせてシーンを判定すると言ったことも可能である。

【0098】

ここでは屋外シーンである信頼度を得るため、シーン判定部１３０１はブロックデータごとに輝度情報を生成し、例えば撮影画像全体の平均輝度の大きさに基づいて屋外シーンである信頼度Ｔｏｕｔｄｏｏｒを算出するものとする。ここでは、輝度が高いシーンは屋外シーンである可能性が高いものとする。そのため、図７（Ａ）における横軸を輝度、縦軸を屋外シーンの信頼度Ｔｏｕｔｄｏｏｒとした関係に従って、屋外シーン信頼度Ｔｏｕｔｄｏｏｒを算出することができる。輝度と屋外シーン信頼度Ｔｏｕｔｄｏｏｒとの関係は、シーン判定部１３０１が例えばテーブルや計算式の形式で予め記憶している。

【0099】

図１４は、第２実施形態における図４のＳ４０８で行う、最終的なＷＢ補正値を算出する処理に関するフローチャートである。第１実施形態と同様の処理ステップには図１２と同じ参照数字を付すことにより、重複する説明を省略する。

【0100】

Ｓ１４０１で重み算出部２１３は、Ｓ１２０１と同様にして被写体信頼度Ｔｓｐｅｃｉｆｉｃを算出する。また、シーン判定部１３０１が、特定シーンの信頼度（ここでは屋外シーン信頼度Ｔｏｕｔｄｏｏｒ）を算出する。

【0101】

Ｓ１４０２で重み算出部２１３は、被写体信頼度Ｔｓｐｅｃｉｆｉｃと、シーン判定部１３０１で算出した屋外シーン信頼度Ｔｏｕｔｄｏｏｒとに基づいて、式（１０）によって被写体ＷＢ補正値の重みＲａｔｉｏ＿ＷＢ２を算出する。
Ｒａｔｉｏ＿ＷＢ２＝Ｔｓｐｅｃｉｆｉｃ×Ｔｏｕｔｄｏｏｒ／１００ （１０）

【0102】

Ｓ１４０３で混合ＷＢ補正値算出部２１４は、重みＲａｔｉｏ＿ＷＢ２に基づいて、式（９）によって白ＷＢ補正値と被写体ＷＢ補正値と加重加算し、最終的なＷＢ補正値（混合ＷＢ補正値）ＷＢ＿Ｒｍｉｘを算出する。
ＷＢ＿Ｒｍｉｘ＝（ＷＢ＿Ｒｗ×（１００－Ｒａｔｉｏ＿ＷＢ２）＋ＷＢ＿Ｒｓｐｅｃｉｆｉｃ×Ｒａｔｉｏ＿ＷＢ２）／１００ （９）’

【0103】

本実施形態では、被写体ＷＢ補正値の重みに、特定の撮影シーンである信頼度を反映させるようにした。例えば特定の撮影シーンを検出対象の被写体が存在する可能性が高いシーンとすることで、混合ＷＢ補正値の精度をより高めることが可能になる。

【0104】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0105】

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0106】

２００…ＷＢ制御部、２０３…白ＷＢ補正値算出部、２０５…簡易現像処理部、２０６…被写体検出部、２０７…検出マップ作成部、２０８…被写体判定部、２１１…被写体ＷＢ補正値算出部、２１３…重み算出部、２１４…混合ＷＢ補正値算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】