特許 7516446 画像処理装置、画像処理方法、プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-05

(45)【発行日】2024-07-16

(54)【発明の名称】画像処理装置、画像処理方法、プログラム及び記憶媒体

(51)【国際特許分類】

   H04N 23/10 20230101AFI20240708BHJP

【ＦＩ】

H04N23/10

【請求項の数】 14

(21)【出願番号】P 2022042912

(22)【出願日】2022-03-17

(65)【公開番号】P2023136957

(43)【公開日】2023-09-29

【審査請求日】2022-12-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】西尾 太介

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２００６－３１４６１６（ＪＰ，Ａ）

【文献】特開２０１６－１８７１２１（ＪＰ，Ａ）

【文献】特開２００４－０８６０３１（ＪＰ，Ａ）

【文献】特開平０５－２８４５２１（ＪＰ，Ａ）

【文献】特開２００５－０４５５５９（ＪＰ，Ａ）

【文献】特開平０７－３０７９４５（ＪＰ，Ａ）

【文献】実開昭６１－００７１７９（ＪＰ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ９／０１ － ９／１１

Ｈ０４Ｎ ９／４４ － ９／７８

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／１０

Ｈ０４Ｎ ２３／１２ －２３／１７

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｈ０４Ｎ ２５／１０ －２５／１７

Ｈ０４Ｎ ２５／６１１

(57)【特許請求の範囲】

【請求項1】

入力画像におけるブラックバランスのずれを検出する検出手段と、
前記入力画像に適用するホワイトバランスに関する情報を取得する取得手段と、
前記検出手段によって前記ブラックバランスのずれを検出した場合、前記ホワイトバランスに関する情報に基づいて、前記ブラックバランスのずれを補正する補正値を算出する算出手段と、
前記算出手段によって算出された補正値に従って、前記ブラックバランスのずれを調整する調整手段と、
前記入力画像に対する赤外光の影響の有無を判定する判定手段と、を有し、
前記算出手段は、前記検出手段によって前記ブラックバランスのずれを検出した場合、前記入力画像に対する赤外光の影響の有無に基づいて前記補正値を算出する、
ことを特徴とする画像処理装置。

【請求項2】

前記ホワイトバランスに関する情報はホワイトバランスのずれに関する情報である、ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記取得手段は、前記入力画像の撮影環境に関する情報を取得し、
前記算出手段は、前記検出手段によって前記ブラックバランスのずれを検出した場合、前記撮影環境に関する情報に基づいて前記補正値を算出する、
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記撮影環境に関する情報は、撮影環境の光源の色温度であることを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記撮影環境に関する情報は、撮影環境の赤外光の量である、ことを特徴とする請求項３または４に記載の画像処理装置。

【請求項6】

画像のホワイトバランスを制御する制御手段をさらに備え、
前記制御手段は、前記ホワイトバランスに関する情報に応じて前記画像のホワイトバランスをずらすように制御することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記制御手段は、前記検出手段が検出したブラックバランスのずれに基づいて、前記ホワイトバランスを制御することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記検出手段は、前記入力画像におけるセンサゲイン、シャッタ速度、温度、撮像装置の稼働時間及び撮影環境の赤外光の光量のうちの少なくとも１つを検出することにより、前記ブラックバランスのずれを検出することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記検出手段は、前記入力画像における前記センサゲインが大きいほど、前記シャッタ速度が速いほど、前記温度が高いほど、撮像装置の稼働時間が長いほど、撮影環境の赤外光の光量が多いほど、前記ブラックバランスのずれを大きく検出することを特徴とする請求項８に記載の画像処理装置。

【請求項10】

階調値の優先度を設定する設定手段を更に備え、前記算出手段は、前記階調値の優先度に応じて前記補正値を算出することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。

【請求項11】

入力画像におけるブラックバランスのずれを検出する検出ステップと、
前記入力画像に適用するホワイトバランスに関する情報を取得する取得ステップと、
前記検出ステップで前記ブラックバランスのずれを検出した場合、前記ホワイトバランスに関する情報に基づいて、前記ブラックバランスのずれを補正する補正値を算出する算出ステップと、
前記算出ステップで算出された補正値に従って、前記ブラックバランスのずれを調整する調整ステップと、
前記入力画像に対する赤外光の影響の有無を判定する判定ステップを更に有し、
前記算出ステップでは、前記検出ステップで前記ブラックバランスのずれを検出した場合、前記入力画像に対する赤外光の影響の有無に基づいて前記補正値を算出する、
ことを特徴とする画像処理方法。

【請求項12】

前記取得ステップでは、前記入力画像の撮影環境に関する情報を取得し、
前記算出ステップでは、前記検出ステップで前記ブラックバランスのずれを検出した場合、前記撮影環境に関する情報に基づいて前記補正値を算出する、
ことを特徴とする請求項１１に記載の画像処理方法。

【請求項13】

請求項１１または１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。

【請求項14】

請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。

【背景技術】

【0002】

従来、撮影環境の光源に応じてホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ：ＷＢ）制御を行い、カラー画像を出力する撮像装置が知られている。また、撮像センサの特性に応じてブラックバランス（Ｂｌａｃｋ Ｂａｌａｎｃｅ：ＢＢ）を補正する撮像装置が知られている。

【0003】

撮像センサの入出力特性は、個体ばらつき、温度特性、感度（センサゲイン）特性などの影響で変わってしまうことがあり、撮像センサの入出力特性が変化するとブラックバランスがずれてしまうことがある。ブラックバランスがずれてしまうと、撮像画像において本来存在しない色づきが生じてしまい、被写体の色再現性が低下してしまう。

【0004】

それに対して、例えば、特許文献１では輝度信号と色差信号のオフセット値とを対応付けるテーブルデータを記憶し、輝度信号に応じて色差信号のオフセット値を決定する技術が開示されている。この技術によれば、製造時に決まり、使用時の状況によって変動しないオプティカルブラックのずれ量を考慮して適切なホワイトバランス制御を行うことができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００７－２０８８８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、撮影条件やホワイトバランスに適したブラックバランス補正を行うことである。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の一態様に係る画像処理装置は、入力画像におけるブラックバランスのずれを検出する検出手段と、前記入力画像に適用するホワイトバランスに関する情報を取得する取得手段と、前記検出手段によって前記ブラックバランスのずれを検出した場合、前記ホワイトバランスに関する情報に基づいて、前記ブラックバランスのずれを補正する補正値を算出する算出手段と、前記算出手段によって算出された補正値に従って、前記ブラックバランスのずれを調整する調整手段と、前記入力画像に対する赤外光の影響の有無を判定する判定手段と、を有し、前記算出手段は、前記検出手段によって前記ブラックバランスのずれを検出した場合、前記入力画像に対する赤外光の影響の有無に基づいて前記補正値を算出する。

【発明の効果】

【0008】

本発明によれば、撮影条件やホワイトバランスに適したブラックバランス補正を行うことができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態に係る画像処理装置の機能構成の一例を示す図。

【図2】本発明に係るテーブルデータの一例を示す図。

【図3】本発明に係るホワイトバランス制御の一例を示す図。

【図4】本発明に係る処理フローの一部の一例を示すフローチャート。

【図5】第１の実施形態に係るブラックバランス制御の一例を示す図。

【図6】第１の実施形態に係るブラックバランス制御の一例を示す図。

【図7】第２の実施形態に係る画像処理装置の機能構成の一例を示す図。

【図8】第２の実施形態に係るブラックバランス制御の一例を示す図。

【図9】第２の実施形態に係るブラックバランス制御の一例を示す図。

【図10】第３の実施形態に係る画像処理装置の機能構成の一例を示す図。

【図11】第３の実施形態に係るブラックバランス制御の一例を示す図。

【図12】第３の実施形態に係るブラックバランス制御の一例を示す図。

【図13】第４の実施形態に係る画像処理装置の機能構成の一例を示す図。

【図14】第４の実施形態に係るブラックバランス制御の一例を示す図。

【図15】第５の実施形態に係る画像処理装置の機能構成の一例を示す図。

【図16】本発明に係るテーブルデータの一例を示す図。

【図17】第５の実施形態に係るブラックバランス制御の一例を示す図。

【図18】本発明に係る画像処理装置のハードウェア構成の一例を示す図。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

【0011】

＜実施形態１＞
以下、図１を参照して、本発明の第１の実施形態に係る画像処理装置について説明する。

【0012】

入力画像は不図示のレンズおよび撮像センサからなる撮像ユニットで撮像される。また、入力画像は複数の画素からなる画像データ、または、画像信号であり、複数の色情報を含む。複数の色は、例えば、赤（Ｒｅｄ：Ｒ）、緑（Ｇｒｅｅｎ：Ｇ）、青（Ｂｌｕｅ：Ｂ）の各色であり、画像データ（信号）は、不図示の撮像センサ上に設けられた各色に対応するカラーフィルタを透過して、撮像センサで電気信号に変換された光量に相当する。カラーフィルタは赤色、緑色、青色に相当する可視光だけでなく、一部の赤外光（非可視光）も透過する。そのため、一般的な撮像装置では、赤外カットフィルタ（Ｉｎｆｒａ－Ｒｅｄ Ｃｕｔ－оｆｆ Ｆｉｌｔｅｒ：ＩＲＣＦ）を設けて、赤外光成分を除去することにより、ヒトの視覚に近い画像が得られるようにしている。

【0013】

出力画像は入力画像の色毎の画素値に、オフセット値を加算することでブラックバランス（ＢＢ）を適切に補正し、ホワイトバランスゲイン（ＷＢゲイン）を乗じることでホワイトバランスが適切に補正された画像である。ホワイトバランスゲインは、例えば、出力画像の赤みを調整するＲｅｄゲインと出力画像の青みを調整するＢｌｕｅゲインとがある。オフセット値は色毎に、Ｒｅｄ（赤）のオフセット値、Ｇｒｅｅｎ（緑）のオフセット値、Ｂｌｕｅ（青）のオフセット値がある。

【0014】

本実施形態は、入力画像にオフセット加算した後で、ホワイトバランスゲインを乗じる構成において、ブラックバランスのずれ量とホワイトバランスのずれ量に基づいて、ブラックバランスを補正するためのオフセット量を決定するものである。また、本実施形態は、赤外光を取り込んで撮像する場合に、設定値に応じてホワイトバランスを意図的にずらすことができるものである。

【0015】

ＢＢ検知部（検出手段）１０１は、ブラックバランス（Ｂｌａｃｋ Ｂａｌａｎｃｅ：ＢＢ）のずれ量を検知（検出）して、ブラックバランスのずれ量をＢＢオフセット算出部１０３に出力する。センサ内、または、センサの出力信号に乗じられるゲイン（センサゲイン）が大きいほどブラックバランスのずれが大きくなるので、ＢＢ検知部１０１は、例えば、センサゲインの値をブラックバランスのずれ量として、ＢＢオフセット算出部１０３に出力する。ゲインの値は、例えば、デシベル（ｄＢ）値で表される。

【0016】

ＷＢ補正設定部１０２は、ホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ：ＷＢ）のずれ量を設定され、赤外光検知部１０４から検知結果を取得し、ホワイトバランスのずれ量をＢＢオフセット算出部１０３とＷＢゲイン制御部１０５に出力する。ホワイトバランスのずれ量は、例えば、ユーザが設定できる０～１０の値（ＷＢ補正設定）で表し、値が小さいほどマゼンタ（紫）側へのずれ量が大きくなり、値が大きいほどグリーン（緑）側へのずれ量が大きくなるようにする。

【0017】

また、ＷＢ補正設定部１０２は、赤外光検知部１０４から取得した検知結果に基づき、入力画像の色が赤外光の影響を受けている場合に、設定されたホワイトバランスのずれ量をＢＢオフセット算出部１０３とＷＢゲイン制御部１０５に出力する。入力画像の色が赤外光の影響を受けていない場合には、設定されたホワイトバランスのずれ量をＢＢオフセット算出部１０３とＷＢゲイン制御部１０５に出力せず、ホワイトバランスのずれが無いことを表す情報を出力する。

【0018】

ＢＢオフセット算出部１０３は、ＢＢ検知部１０１からブラックバランスのずれ量を取得する。さらに、ＢＢオフセット算出部１０３は、ＷＢ補正設定部１０２からホワイトバランスのずれ量を取得し、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）のオフセット量を算出し、ＢＢオフセット加算部１０６に出力する。オフセット量は、例えば、図２に示すようなセンサゲイン（ブラックバランスのずれ量）とＷＢ補正設定（ホワイトバランスのずれ量）とに紐づけられたテーブルデータ（Ｌｏｏｋ－Ｕｐ Ｔａｂｌｅ：ＬＵＴ）を参照して決定すればよい。なお、図２においてＭはＷＢ補正設定値の最大値を、Ｎはセンサゲインの最大値を表している。

【0019】

赤外光検知部（判定手段）１０４は、入力画像の色が、撮像センサで取り込んだ赤外光の影響を受けているか否かを判定し、その検知結果をＷＢ補正設定部１０２とＷＢゲイン制御部１０５に出力する。赤外光検知部１０４は、例えば、不図示のＩＲＣＦが前記撮像ユニットのレンズの光軸上に挿入されている場合に、入力画像の色は赤外光の影響を受けていないことを検知する。一方、赤外光検知部１０４は、ＩＲＣＦが前記撮像ユニットのレンズの光軸上に挿入されていない（光軸上から抜去されている）場合に、入力画像の色は赤外光の影響を受けていることを検知する。

【0020】

ＷＢゲイン制御部（制御手段）１０５は、ＷＢ補正設定部１０２からホワイトバランスのずれ量を、赤外光検知部１０４から検知結果を取得し、ホワイトバランスゲインを算出するためのパラメータを決定し、ＷＢゲイン算出部１０８に出力する。ホワイトバランスゲインを算出するためのパラメータは、例えば、ホワイトバランスゲインの有効範囲を決定するパラメータである。

【0021】

ホワイトバランスゲインの有効範囲は、例えば、入力画像に対する赤外光の影響がある場合において、ホワイトバランスのマゼンタ（紫）側へのずれ量が大きいほど、ＲｅｄゲインとＢｌｕｅゲインが大きな値となり得るように決定される（例えば図３のＡ１）。一方、ホワイトバランスゲインの有効範囲は、入力画像に対する赤外光の影響がある場合において、ホワイトバランスのグリーン（緑）側へのずれ量が大きいほど、ＲｅｄゲインとＢｌｕｅゲインが小さな値となり得るように決定される（例えば図３のＡ２）。

【0022】

ＢＢオフセット加算部１０６は、ＢＢオフセット算出部１０３から、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）のオフセット量を取得し、入力画像に加算して、オフセット加算後の画像を特徴量取得部１０７とＷＢゲイン乗算部１０９に出力する。

【0023】

特徴量取得部１０７は、ＢＢオフセット加算部１０６からオフセット加算後の画像を取得し、色に関する特徴量を算出し、ＷＢゲイン算出部１０８に出力する。より具体的には、画像を複数の矩形領域に分割した場合の各矩形領域内に含まれる画像データによって決定される矩形領域毎の色情報を算出する。色情報は、例えば、矩形領域毎の色差信号の代表値であり、代表値は、例えば、平均値や最頻値などである。

【0024】

ＷＢゲイン算出部１０８は、ＷＢゲイン制御部１０５からホワイトバランスゲインの有効範囲を決定するパラメータを、特徴量取得部１０７から領域毎の色情報を取得して、ホワイトバランスゲイン（ＷＢゲイン）を算出し、ＷＢゲイン乗算部１０９に出力する。

【0025】

より具体的には、ＷＢゲイン算出部１０８は、取得した領域毎の色情報の代表値を算出する。そして、色情報の代表値が所定の目標値となるような第１ホワイトバランスゲイン（例えば図３のＷ０）を算出する。また、ＷＢゲイン算出部１０８は、ホワイトバランスゲインの有効範囲を決定するパラメータに基づいて、ホワイトバランスゲインの有効範囲を決定する。そして、ＷＢゲイン算出部１０８は、第１ホワイトバランスゲインがホワイトバランスゲインの有効範囲に含まれる場合に、第１ホワイトバランスゲインをＷＢゲイン乗算部１０９に出力する。一方、ＷＢゲイン算出部１０８は、第１ホワイトバランスゲインがホワイトバランスゲインの有効範囲に含まれない場合には、第１ホワイトバランスゲインを修正して得られる第２ホワイトバランスゲイン（例えば図３のＷ１やＷ２）をＷＢゲイン乗算部１０９に出力する。第２ホワイトバランスゲインは、例えば、ホワイトバランスゲインの有効範囲に含まれ、かつ、第１ホワイトバランスゲインに最も近いホワイトバランスゲインである。

【0026】

ＷＢゲイン乗算部１０９は、ＢＢオフセット加算部１０６からオフセット加算後の画像を、ＷＢゲイン算出部１０８からホワイトバランスゲインを取得し、オフセット加算後の画像にＷＢゲインを乗じることで出力画像を生成して、出力する。

【0027】

本実施形態に係る画像処理装置の処理フローの一例について、図４を用いて説明する。

【0028】

図３は、本実施形態に係る画像処理装置の処理の一部の流れの一例を示すフローチャートである。

【0029】

Ｓ０１では、赤外光検知部１０４が、入力画像の色が撮像センサで取り込んだ赤外光の影響を受けているか否かを検知する。入力画像の色が赤外光の影響を受けていることが検知された場合にはＳ０２に進み、入力画像の色が赤外光の影響を受けていないことが検知された場合には処理を終了する。

【0030】

Ｓ０２では、ＢＢ検知部１０１が、ブラックバランスがずれているか否かを検知する。ブラックバランスがずれていることが検知された場合にはＳ０３に進み、ブラックバランスがずれていないことが検知された場合には処理を終了する。

【0031】

Ｓ０３では、ＷＢ補正設定部１０２が、ホワイトバランスがＧｒｅｅｎ（緑）方向にずれているか否かを検知する。ホワイトバランスが緑方向にずれていることが検知された場合にはＳ０４に進み、ホワイトバランスが緑方向にずれていないことが検知された場合にはＳ０５に進む。

【0032】

Ｓ０４では、ＢＢオフセット算出部１０３が、ホワイトバランスが緑方向にずれている場合に適したオフセット値Ｐを出力し、処理を終了する。

【0033】

Ｓ０５では、ＷＢ補正設定部１０２が、ホワイトバランスがＭａｇｅｎｔａ（紫）方向にずれているか否かを検知する。ホワイトバランスが紫方向にずれていることが検知された場合にはＳ０６に進み、ホワイトバランスが紫方向にずれていないことが検知された場合にはＳ０７に進む。

【0034】

Ｓ０６では、ＢＢオフセット算出部１０３が、ホワイトバランスが紫方向にずれている場合に適したオフセット値Ｑを出力し、処理を終了する。

【0035】

Ｓ０７では、ＢＢオフセット算出部１０３が、ホワイトバランスがずれていない場合に適したオフセット値Ｒを出力し、処理を終了する。

【0036】

ＢＢオフセット算出部１０３で算出されたオフセット値（補正値）に従って、ＢＢオフセット加算部（調整手段）１０６によりブラックバランスのずれが調整される。

【0037】

以下、本発明の効果について説明する。図５と図６は、本実施形態に係るブラックバランス補正値（オフセット）の制御の一例を表している。

【0038】

図５と図６のグラフは黒（Ｂｌａｃｋ）から白（Ｗｈｉｔｅ）までの無彩色の被写体を撮影したときの入力画像の画素値と出力画像の画素値の特性を表している。一番左の図５（ａ）、図６（ａ）はブラックバランスの補正をしない場合、中央の図５（ｂ）、図６（ｂ）と一番右の図５（ｃ）、図６（ｃ）はブラックバランスの補正を行った場合の例を表している。図５（ｂ）、図６（ｂ）と図５（ｃ）、図６（ｃ）のオフセット量は異なるが、図５（ｂ）と図６（ｂ）、あるいは、図５（ｃ）と図６（ｃ）のオフセット量はそれぞれ等しい。図５（ｂ）、図６（ｂ）のＢｌｕｅ（青）のオフセットをＢｏ１、Ｒｅｄ（赤）のオフセットをＲｏ１、Ｇｒｅｅｎ（緑）のオフセットをＧｏ１で表している。一方、図５（ｃ）、図６（ｃ）のＢｌｕｅ（青）のオフセットをＢｏ２、Ｒｅｄ（赤）のオフセットをＲｏ２、Ｇｒｅｅｎ（緑）のオフセットをＧｏ２で表している。それぞれのオフセット量の大きさを矢印の長さで表しており、上向きの矢印は正のオフセット（加算）、下向きの矢印は負のオフセット（減算）を表している。また、矢印の表記がない場合はオフセットなし（０）を表している。図５（ｂ）、図６（ｂ）は図５（ｃ）、図６（ｃ）と比較してオフセット量が小さくなっており、ブラックバランスの補正を控えめにしている。一方、図５（ｃ）、図６（ｃ）は図５（ｂ）、図６（ｂ）と比較してオフセット量が大きくなっており、ブラックバランスの補正を積極的に行っている。また、簡単化のため、Ｒｅｄ（赤）とＢｌｕｅ（青）の特性は同じにしており、Ｇｒｅｅｎ（緑）だけ異なる。

【0039】

図５（ａ）の補正なしの場合、Ｂｌａｃｋの出力画素値は、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりも大きくなっており、ブラックバランスはマゼンタ（紫）にずれていることを表している。このような現象は、センサゲインが大きいほど生じやすく、センサゲインが大きいほどブラックバランスのずれ量も大きくなる。一方、Ｗｈｉｔｅの出力画素値は、ＧｒｅｅｎがＢｌｕｅとＲｅｄよりも大きくなっており、ホワイトバランスはＷＢ補正設定部１０２の設定値に基づいてＧｒｅｅｎ（緑）にずらしていることを表している。即ち、ホワイトバランスとブラックバランスが互いに逆方向にずれている場合である。

【0040】

図６（ａ）の補正なしの場合、Ｂｌａｃｋの出力画素値は、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりも大きくなっており、ブラックバランスはマゼンタ（紫）にずれていることを表している。一方、Ｗｈｉｔｅの出力画素値は、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりも大きくなっており、ホワイトバランスはＷＢ補正設定部１０２の設定値に基づいてマゼンタ（紫）にずらしていることを表している。即ち、ホワイトバランスとブラックバランスが互いに同方向にずれている場合である。

【0041】

図５（ｂ）の場合、ブラックバランス補正後であっても、Ｂｌａｃｋの出力画素値は、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりもやや大きくなっており、ブラックバランスはマゼンタ（紫）にずれていることを表している。この場合、ＷｈｉｔｅとＢｌａｃｋが異なる色にずれているため、ブラックバランスのずれが目立ちやすい。

【0042】

一方、図６（ｂ）の場合、図５（ｂ）と同じオフセット量だが、ＷｈｉｔｅとＢｌａｃｋがともにマゼンタ（紫）にずれているため、ブラックバランスのずれが目立ちにくい。

【0043】

同様に、図５（ｃ）の場合、ブラックバランス補正後において、ＷｈｉｔｅとＢｌａｃｋがともにＧｒｅｅｎ（緑）にずれているため、ブラックバランスのずれが目立ちにくい。

【0044】

一方、図６（ｃ）の場合、ホワイトバランスはマゼンタ（紫）に、ブラックバランスはＧｒｅｅｎ（緑）にずれており、ＷｈｉｔｅとＢｌａｃｋが異なる色にずれているため、ブラックバランスのずれが目立ちやすい。

【0045】

以上のことから、ブラックバランス補正前にＷｈｉｔｅとＢｌａｃｋが異なる色にずれている場合においては、補正不足となることを避けた方が良い。一方、ブラックバランス補正前にＷｈｉｔｅとＢｌａｃｋが同色にずれている場合においては、過補正となることを避けた方が良い。換言すると、ＷｈｉｔｅとＢｌａｃｋが異なる色にずれている場合においては、オフセット量を大きめにした方が良い、一方、ＷｈｉｔｅとＢｌａｃｋが同じ色にずれている場合においては、オフセット量を小さめにした方が良い。つまり、図５のケースにおいては図５（ｃ）のオフセット量を、図６のケースにおいては図６（ｂ）のオフセット量を適用するのが望ましい。

【0046】

本実施形態のブラックバランス補正においては、ＢＢオフセット算出部１０３が、ブラックバランスのずれ量と、ホワイトバランスのずれ量とを参照して、オフセット量を決定できる構成としている。そのため、ホワイトバランスのずれ方に応じて適切なオフセット量を適用することができる。それゆえ、上述したような、ＷｈｉｔｅとＢｌａｃｋが異なる色にずれている場合においてはオフセット量を大きめに、ＷｈｉｔｅとＢｌａｃｋが同じ色にずれている場合においてはオフセット量を小さめにすることができる。即ち、ホワイトバランスに適したブラックバランス補正を行うことが可能となる。

【0047】

なお、本実施形態においては、ブラックバランスのずれ量を、センサゲインの大きさとしたが、これに限らない。例えば、シャッタ速度、センサ温度、環境温度、または撮像装置の連続稼働時間などでも良い。

【0048】

なお、本実施形態においては、ホワイトバランスのずれ量を、ＷＢ補正設定部１０２が設定するＷＢ補正設定値としたが、これに限らない。ホワイトバランスのずれ量は、例えば、過去（例えば１フレーム前）にＷＢゲイン算出部１０８が算出した、第１ホワイトバランスゲインと第２ホワイトバランスゲインの差分などでも良い。

【0049】

＜実施形態２＞
以下、図７を参照して、本発明の第２の実施形態による画像処理装置について説明する。

【0050】

本実施形態は、入力画像にオフセット加算した後で、ホワイトバランスゲインを乗じる構成において、ブラックバランスのずれ量と赤外光の影響の有無に基づいて、ブラックバランスを補正するためのオフセット量を決定するものである。また、本実施形態は、赤外光を取り込んで撮像する場合でもホワイトバランスを適切に保つことができるものである。

【0051】

図７は、本実施形態に係る画像処理装置の機能構成の一例を示す構成図である。

【0052】

なお、実施形態１と同じ機能部には同じ符号を付し、その説明は省略する。

【0053】

ＢＢオフセット算出部２０３は、ＢＢ検知部１０１からブラックバランスのずれ量を、赤外光検知部２０４から赤外光の影響の検知結果を取得し、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）のオフセット量を算出し、ＢＢオフセット加算部１０６に出力する。

【0054】

赤外光検知部２０４は、入力画像の色が、撮像センサで取り込んだ赤外光の影響を受けているか否かを検知し、その検知結果をＢＢオフセット算出部２０３とＷＢゲイン制御部２０５に出力する。

【0055】

ＷＢゲイン制御部２０５は、赤外光検知部２０４から検知結果を取得し、ホワイトバランスゲインを算出するためのパラメータを決定し、ＷＢゲイン算出部１０８に出力する。ホワイトバランスゲインを算出するためのパラメータは、例えば、ホワイトバランスゲインの有効範囲を決定するパラメータである。

【0056】

ホワイトバランスゲインの有効範囲は、例えば、入力画像に対する赤外光の影響がある場合において、赤外光の影響が無い場合よりもＲｅｄゲインとＢｌｕｅゲインが小さな値となり得るように決定される。入力画像に対する赤外光の影響がある場合、ホワイトバランスはマゼンタ方向にずれるため、赤外光の影響が無い場合よりもＲｅｄゲインとＢｌｕｅゲインを小さな値とすることで、赤外光の影響がある場合であっても適切なホワイトバランスを保つことができる。

【0057】

以下、本実施形態の効果について説明する。図８と図９は、本実施形態に係るブラックバランス補正値（オフセット）の制御の一例を表している。図８は入力画像に対する赤外光の影響が無い場合の例を表しており、図９は入力画像に対する赤外光の影響がある場合の例を表している。

【0058】

図８（ａ）の補正なしの場合、Ｂｌａｃｋの出力画素値は、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりも大きくなっており、ブラックバランスはマゼンタ（紫）にずれていることを表している。このような現象は、センサゲインが大きいほど生じやすく、センサゲインが大きいほどブラックバランスのずれ量も大きくなる。一方、Ｗｈｉｔｅの出力画素値は、適切なホワイトバランスとなっており、ＲｅｄとＧｒｅｅｎとＢｌｕｅの画素値がほぼ一致していて、色づきが生じていない。

【0059】

図９（ａ）の補正なしの場合も、Ｂｌａｃｋの出力画素値は、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりも大きくなっており、ブラックバランスはマゼンタ（紫）にずれていることを表している。ただし、赤外光の影響を受けているため、赤外光の影響が無い場合と比較してブラックバランスのずれが大きくなっている。一方、Ｗｈｉｔｅの出力画素値は、適切なホワイトバランスとなっており、ＲｅｄとＧｒｅｅｎとＢｌｕｅの画素値がほぼ一致していて、色づきが生じていない。

【0060】

図８（ｂ）の場合、ブラックバランス補正後、Ｂｌａｃｋの出力画素値は、ＲｅｄとＧｒｅｅｎとＢｌｕｅの画素値がほぼ一致していて、色づきが生じていない。

【0061】

一方、図９（ｂ）の場合、図８（ｂ）と同じオフセット量だが、赤外光の影響でブラックバランスのずれが拡大した分補正不足となっており、ブラックバランスはマゼンタ（紫）にずれている。

【0062】

図８（ｃ）の場合、図８（ｂ）の場合と比較して、ブラックバランスの補正量を大きくしている。そのため、ブラックバランスは過補正となり、ブラックバランスはＧｒｅｅｎ（緑）にずれている。

【0063】

一方、図９（ｃ）の場合、図８（ｃ）と同じオフセット量だが、Ｂｌａｃｋの出力画素値は、ＲｅｄとＧｒｅｅｎとＢｌｕｅの画素値がほぼ一致していて、ブラックバランスがずれていない。

【0064】

以上のことから、赤外光の影響が無い場合に最適なオフセット量とすると、赤外光の影響がある場合においてブラックバランスは補正不足となってしまう。一方、赤外光の影響がある場合に最適なオフセット量とすると、赤外光の影響が無い場合においてブラックバランスは過補正となってしまう。つまり、赤外光の影響が無い場合においては図８（ｂ）のオフセット量を、赤外光の影響がある場合においては図９（ｃ）のオフセット量を適用するのが望ましい。

【0065】

本実施形態のブラックバランス補正においては、ＢＢオフセット算出部１０３が、ブラックバランスのずれ量と、赤外光の影響の有無を参照して、オフセット量を決定できる構成としている。そのため、赤外光の影響の有無に応じて適切なオフセット量を適用することができる。それゆえ、上述したような、赤外光の影響がある場合においてはオフセット量を大きめに、赤外光の影響が無い場合においてはオフセット量を小さめにすることができる。即ち、赤外光の影響の有無に応じて好適なブラックバランス補正を行うことが可能となる。

【0066】

＜実施形態３＞
以下、図１０を参照して、本発明の第３の実施形態による画像処理装置について説明する。

【0067】

本実施形態は、入力画像にホワイトバランスゲインを乗じた後で、オフセット加算する構成において、ブラックバランスのずれ量とホワイトバランスのずれ量に基づいて、ブラックバランスを補正するためのオフセット量を決定するものである。また、本実施形態は、赤外光を取り込んで撮像する場合に、設定値に応じてホワイトバランスを意図的にずらすことができるものである。

【0068】

本来であれば、オフセット加算によりブラックバランスを調整した後で、ホワイトバランスゲイン乗算によりホワイトバランスを調整するのが望ましい。しかし、システム構成の都合などにより、ホワイトバランスゲイン乗算後に、ブラックバランス調整するためのオフセット加算を行う場合がある。本実施形態は、このような場合において、本発明を適用するものである。

【0069】

図１０は、本実施形態に係る画像処理装置の機能構成の一例を示す構成図である。

【0070】

なお、実施形態１と同じ機能部には同じ符号を付し、その説明は省略する。

【0071】

ＢＢオフセット加算部３０６は、ＷＢゲイン乗算部３０９からホワイトバランスゲイン乗算後の画像を、ＢＢオフセット算出部１０３から、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）のオフセット量を取得する。そして、ホワイトバランスゲイン乗算後の画像にオフセット量を加算することで出力画像を生成して、出力する。

【0072】

ＷＢゲイン乗算部３０９は、ＷＢゲイン算出部１０８からホワイトバランスゲインを取得し、入力画像に乗算して、ホワイトバランスゲイン乗算後の画像をＢＢオフセット加算部３０６に出力する。

【0073】

以下、本実施形態の効果について説明する。図１１と図１２は、本実施形態に係るブラックバランス補正値（オフセット）の制御の一例を表している。

【0074】

図１１（ａ）の補正なしの場合、Ｂｌａｃｋの出力画素値は、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりも大きくなっており、ブラックバランスはマゼンタ（紫）にずれていることを表している。このような現象は、センサゲインが大きいほど生じやすく、センサゲインが大きいほどブラックバランスのずれ量も大きくなる。一方、Ｗｈｉｔｅの出力画素値は、ＧｒｅｅｎがＢｌｕｅとＲｅｄよりも大きくなっており、ホワイトバランスはＷＢ補正設定部１０２の設定値に基づいてＧｒｅｅｎ（緑）にずらしていることを表している。即ち、ホワイトバランスとブラックバランスが互いに逆方向にずれている場合である。

【0075】

図１２（ａ）の補正なしの場合、Ｂｌａｃｋの出力画素値は、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりも大きくなっており、ブラックバランスはマゼンタ（紫）にずれていることを表している。一方、Ｗｈｉｔｅの出力画素値も、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりも大きくなっており、ホワイトバランスはＷＢ補正設定部１０２の設定値に基づいてマゼンタ（紫）にずらしていることを表している。即ち、ホワイトバランスとブラックバランスが互いに同方向にずれている場合である。

【0076】

図１１（ｂ）の場合、ブラックバランス補正後、Ｂｌａｃｋの出力画素値は、ＲｅｄとＧｒｅｅｎとＢｌｕｅの画素値がほぼ一致していて、色づきが生じていない。一方、本実施形態ではホワイトバランスゲインを乗算した後でオフセット加算をするため、図１１（ａ）と比べてホワイトバランスのずれ量が拡大している。結果として、図１１（ｂ）の場合、出力画像の緑がかりが目立ってしまう。

【0077】

一方、図１２（ｂ）の場合、ブラックバランス補正後、Ｂｌａｃｋの出力画素値は、ＲｅｄとＧｒｅｅｎとＢｌｕｅの画素値がほぼ一致していて、色づきが生じていない。ホワイトバランスは図１２（ａ）のホワイトバランスを維持できないものの、ホワイトバランスのずれ量が減少する方向、つまり、色づきが減る方向の変化のため、画質上の違和感は少ない。

【0078】

図１１（ｃ）の場合、図１１（ｂ）の場合よりもオフセット量を小さくしている。そのため、ブラックバランスとホワイトバランスのずれは、図１１（ａ）の場合と図１１（ｂ）の場合との中間になる。すなわち、図１１（ａ）の場合と比べてブラックバランスがマゼンタにずれることを改善しつつ、図１１（ｂ）の場合と比べてホワイトバランスが過剰にＧｒｅｅｎにずれることを抑制できる。

【0079】

図１２（ｃ）の場合も、図１２（ｂ）の場合よりもオフセット量を小さくしている。そのため、ブラックバランスとホワイトバランスのずれは、図１２（ａ）の場合と図１２（ｂ）の場合との中間になる。すなわち、図１２（ａ）の場合と比べてブラックバランスがマゼンタにずれることを改善しつつ、図１２（ｂ）の場合と比べて図１２（ａ）の場合のホワイトバランスを維持しやすくなる。

【0080】

以上のことから、ブラックバランス補正前にＷｈｉｔｅとＢｌａｃｋが異なる色にずれている場合においては、ブラックバランスを補正すると、ホワイトバランスのずれが拡大してしまう。ずれが大きく拡大すると画質上の違和感が増大してしまうので、ブラックバランス補正前にＷｈｉｔｅとＢｌａｃｋが異なる色にずれている場合においては、オフセット量は小さめにしておく方が良い。つまり、図１１のように、ブラックバランス補正前にＷｈｉｔｅとＢｌａｃｋが異なる色にずれている場合においては、図１１（ｃ）のオフセット量を適用するのが望ましい。

【0081】

一方、ブラックバランス補正前にＷｈｉｔｅとＢｌａｃｋが同じ色にずれている場合においては、ブラックバランスを補正しても、ホワイトバランスのずれが拡大しない。したがって、オフセット量を大きくしても、画質上の違和感は少ない。つまり、図１２のように、ブラックバランス補正前にＷｈｉｔｅとＢｌａｃｋが同じ色にずれている場合においては、図１２（ｂ）のオフセット量を適用するのが望ましい。

【0082】

本実施形態は、入力画像にホワイトバランスゲインを乗じた後でオフセット加算する場合に、ＢＢオフセット算出部１０３が、ブラックバランスのずれ量と、ホワイトバランスのずれ量とを参照して、オフセット量を決定できる構成としている。そのため、ホワイトバランスのずれ方に応じて適切なオフセット量を適用することができる。それゆえ、上述したような、ＷｈｉｔｅとＢｌａｃｋが異なる色にずれている場合においてはオフセット量を小さめに、ＷｈｉｔｅとＢｌａｃｋが同じ色にずれている場合においてはオフセット量を大きめにすることができる。即ち、ホワイトバランスに適したブラックバランス補正を行うことが可能となる。

【0083】

＜実施形態４＞
以下、図１３を参照して、本発明の第４の実施形態による画像処理装置について説明する。

【0084】

本実施形態は、ＢｌａｃｋからＷｈｉｔｅの間の中間階調のうち、何れかの階調を優先階調として設定し、優先階調を優先してブラックバランス補正を行うものである。

【0085】

本実施形態は、実施形態３と同様に、入力画像にホワイトバランスゲインを乗じた後で、オフセット加算する構成において、ブラックバランスのずれ量とホワイトバランスのずれ量に基づいて、ブラックバランスを補正するためのオフセット量を決定するものである。また、本実施形態は、赤外光を取り込んで撮像する場合に、設定値に応じてホワイトバランスを意図的にずらすことができるものである。

【0086】

図１３は、本実施形態に係る画像処理装置の機能構成の一例を示す構成図である。

【0087】

なお、実施形態１、実施形態３と同じ機能部には同じ符号を付し、その説明は省略する。

【0088】

ＢＢオフセット算出部４０３は、ＢＢ検知部１０１からブラックバランスのずれ量を、ＷＢ補正設定部１０２からホワイトバランスのずれ量を、優先度設定部４１０から優先階調値を取得する。そして、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）のオフセット量を算出し、ＢＢオフセット加算部１０６に出力する。

【0089】

優先度設定部４１０は、ＢｌａｃｋからＷｈｉｔｅの間の中間階調のうち、何れかの階調を優先階調として設定し、優先階調値をＢＢオフセット算出部４０３に出力する。

【0090】

本実施形態に係るＢＢオフセット算出部４０３の動作と本実施形態の効果について図１４を用いて説明する。図１４は、本実施形態に係るブラックバランス補正値（オフセット）の制御の一例を表している。

【0091】

図１４（ａ）の補正なしの場合、Ｂｌａｃｋの出力画素値は、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりも大きくなっており、ブラックバランスはマゼンタ（紫）にずれていることを表している。このような現象は、センサゲインが大きいほど生じやすく、センサゲインが大きいほどブラックバランスのずれ量も大きくなる。一方、Ｗｈｉｔｅの出力画素値は、ＧｒｅｅｎがＢｌｕｅとＲｅｄよりも大きくなっており、ホワイトバランスはＷＢ補正設定部１０２の設定値に基づいてＧｒｅｅｎ（緑）にずらしていることを表している。即ち、ホワイトバランスとブラックバランスが互いに逆方向にずれている場合である。

【0092】

このような場合に、入力画像にホワイトバランスゲインを乗じた後で、オフセット加算する構成とすると、オフセット量を大きくするとブラックバランスのずれが小さくなる一方で、ホワイトバランスのずれが大きくなってしまう。逆に、オフセット量を小さくするとブラックバランスのずれを小さくできないものの、ホワイトバランスのずれが大きくなってしまうことを防止できる。つまり、ブラックバランスのずれ量とホワイトバランスのずれ量とがトレードオフになってしまう。

【0093】

そこで、本実施形態では、ＢＢオフセット算出部４０３が優先度設定部４１０から取得した優先階調を優先してオフセット量を決定する。具体的には、例えば、優先階調のホワイトバランスのずれが無くなるように、オフセット量を決定する。

【0094】

図１４（ｂ）は優先階調としてＢｌａｃｋとＷｈｉｔｅのちょうど中間の階調を設定した場合を表している。図１４（ｂ）の場合、ブラックバランスのずれは図１４（ａ）と比べて小さくなっており、優先階調に係るホワイトバランスのずれは無い。

【0095】

一方、図１４（ｃ）は優先階調として図１４（ｂ）の場合よりも低階調の階調値を設定した場合を表している。オフセット量は、図１４（ｂ）の場合よりも大きくなっている。そのため、Ｗｈｉｔｅのホワイトバランスずれは大きくなっているものの、ブラックバランスのずれは図１４（ｂ）と比べて小さくなっており、優先階調に係るホワイトバランスのずれは無い。

【0096】

なお、本実施形態では優先度設定部４１０が優先階調を設定する際に直接階調値を設定したが、これに限らない。例えば、不図示の撮像装置の明るさ設定値、撮像装置の露出をアンダー側やオーバー側にシフトする設定値、入力画像の輝度ヒストグラムの最頻値などに基づいて、優先階調を設定するようにしても良い。

【0097】

＜実施形態５＞
以下、図１５を参照して、本発明の第５の実施形態による画像処理装置について説明する。

【0098】

本実施形態は、入力画像にオフセット加算した後で、ホワイトバランスゲインを乗じる構成において、ブラックバランスのずれ量と撮影環境の光源の色温度に基づいて、ブラックバランスを補正するためのオフセット量を決定するものである。

【0099】

図１５は、本実施形態に係る画像処理装置の機能構成の一例を示す構成図である。

【0100】

なお、実施形態１と同じ機能部には同じ符号を付し、その説明は省略する。

【0101】

ＢＢオフセット算出５０３は、ＢＢ検知部１０１からブラックバランスのずれ量を、ＷＢゲイン算出部５０８から撮影環境の色温度を取得し、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）のオフセット量を算出し、ＢＢオフセット加算部１０６に出力する。

【0102】

オフセット量は、例えば、図１６に示すようなセンサゲイン（ブラックバランスのずれ量）と撮影環境の色温度とに紐づけられたテーブルデータ（Ｌｏｏｋ－Ｕｐ Ｔａｂｌｅ：ＬＵＴ）を参照して決定すればよい。

【0103】

ＷＢゲイン算出部５０８は、特徴量取得部１０７から画像の領域毎の色情報を取得して、ホワイトバランスゲイン（ＷＢゲイン）を算出し、ＷＢゲイン乗算部１０９に出力する。また、ＷＢゲイン算出部５０８は、特徴量取得部１０７から取得した色情報、または、算出したＷＢゲインから撮影環境の色温度を算出し、ＢＢオフセット算出５０３に出力する。色温度は、予め作成したホワイトバランスゲインと色温度の対応を表すテーブルデータ、または、画像の色情報と色温度の対応を表すテーブルデータを参照して算出するなどすればよい。

【0104】

以下、本実施形態の効果について説明する。図１７は、本実施形態に係るブラックバランス補正値（オフセット）の制御の一例を表している。

【0105】

図１７のグラフは黒（Ｂｌａｃｋ）から白（Ｗｈｉｔｅ）までの無彩色の被写体を撮影したときの入力画像の画素値と出力画像の画素値の特性を表している。図１７のグラフは、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）の各色の画素値の特性を表している。

【0106】

図１７（ａ）の補正なしの場合、Ｂｌａｃｋの出力画素値は、ＢｌｕｅとＲｅｄがＧｒｅｅｎよりも大きくなっており、また、ＲｅｄがＢｌｕｅよりも大きくなっており、ブラックバランスは赤～紫にずれていることを表している。このような現象は、センサゲインが大きいほど生じやすく、センサゲインが大きいほどブラックバランスのずれ量も大きくなる。

【0107】

図１７（ｂ）の場合、Ｂｌａｃｋの出力画素値は、ＲｅｄがＧｒｅｅｎよりも大きく、ＢｌｕｅがＧｒｅｅｎより小さくなっている。従って、ブラックバランスはアンバーにずれている。即ち、ブラックバランスは低色温度の照明の色に近い色にずれている。撮影環境の照明の色温度が低色温度である場合は、ブラックバランスが低色温度側にずれても違和感は少ない。一方、撮影環境の照明の色温度が高色温度である場合に、ブラックバランスが低色温度側にずれると違和感が大きい。

【0108】

図１７（ｃ）の場合、図１７（ｂ）の場合と比較してオフセット量が大きくなっている。また、図１７（ｃ）の場合、Ｂｌａｃｋの出力画素値は、ＢｌｕｅがＧｒｅｅｎよりも大きく、ＲｅｄがＧｒｅｅｎより小さくなっている。従って、ブラックバランスは青～シアンにずれている。即ち、ブラックバランスは高色温度の照明の色に近い色にずれている。撮影環境の照明の色温度が高色温度である場合は、ブラックバランスが高色温度側にずれても違和感は少ない。一方、撮影環境の照明の色温度が低色温度である場合に、ブラックバランスが高色温度側にずれると違和感が大きい。

【0109】

以上のことから、ブラックバランスが赤～紫にずれている場合において、撮影環境の照明の色温度が低色温度である場合は、オフセット量は図１７（ｂ）のように比較的小さい方が望ましい。一方、ブラックバランスが赤～紫にずれている場合において、撮影環境の照明の色温度が高色温度である場合は、オフセット量は図１７（ｃ）のように比較的大きい方が望ましい。

【0110】

なお、ブラックバランスがシアン～青にずれている場合においては、これらは逆になる。即ち、ブラックバランスがシアン～青にずれている場合において、撮影環境の照明の色温度が低色温度である場合は、オフセット量は図１７（ｃ）のように比較的大きい方が望ましい。一方、ブラックバランスがシアン～青にずれている場合において、撮影環境の照明の色温度が高色温度である場合は、オフセット量は図１７（ｂ）のように比較的小さい方が望ましい。

【0111】

本実施形態において、ＢＢ検知部１０１で検出されたブラックバランスのずれに基づいて、ＷＢゲイン制御部１０６がホワイトバランスを制御するようにしても良い。例えば、ブラックバランスのオフセット値に応じたホワイトバランスを制御する。これにより、ブラックバランスのオフセットによって、中間輝度以降の被写体の色味をユーザの意図通りに維持しやすくなる。

【0112】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0113】

図１８は本発明に係る画像処理装置のハードウェア構成の一例を示す図である。画像処理装置は入力Ｉ／Ｆ１、出力Ｉ／Ｆ２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５を有している。入力Ｉ／Ｆ１は入力画像を受け入れるためのインターフェースである。ＣＰＵ３がＲＯＭ５に格納されたプログラムをＲＡＭ４にロードし、実行することによって上述の実施形態の１以上の機能を実現する。出力Ｉ／Ｆ２は入力画像に対して上述の画像処理が実行された後の画像を出力するインターフェースである。

【0114】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを読み出し実行する処理によって実現可能である。このプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサによって読み出され、実行される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0115】

１０１ ＢＢ検知部
１０２ ＷＢ補正設定部
１０３ ＢＢオフセット算出部
１０４ 赤外光検知部
１０５ ＷＢゲイン制御部
１０６ ＢＢオフセット加算部
１０７ 特徴量取得部
１０８ ＷＢゲイン算出部
１０９ ＷＢゲイン乗算部
４１０ 優先度設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】