特開 2022-186166 撮像装置、その制御方法、プログラムおよび記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186166

(43)【公開日】2022-12-15

(54)【発明の名称】撮像装置、その制御方法、プログラムおよび記憶媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221208BHJP

   H04N 5/235 20060101ALI20221208BHJP

   H04N 5/243 20060101ALI20221208BHJP

   H04N 9/07 20060101ALI20221208BHJP

   G03B 7/093 20210101ALI20221208BHJP

   G03B 7/28 20210101ALI20221208BHJP

【ＦＩ】

H04N5/232 290

H04N5/235 300

H04N5/243

H04N5/235 100

H04N9/07 A

G03B7/093

G03B7/28

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

(21)【出願番号】P 2021094252

(22)【出願日】2021-06-04

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】藤原 裕也

(72)【発明者】

【氏名】金子 成悟

【テーマコード（参考）】

2H002

5C065

5C122

【Ｆターム（参考）】

2H002CC01

2H002DB02

2H002DB27

2H002DB31

2H002EB09

5C065AA03

5C065BB02

5C065DD02

5C065DD15

5C065DD17

5C065EE05

5C065EE06

5C065EE10

5C065GG23

5C122EA18

5C122FF11

5C122FF15

5C122FF23

5C122FG13

5C122FG14

5C122FH01

5C122FH09

5C122FH11

5C122FH15

5C122HA88

5C122HB01

5C122HB09

5C122HB10

(57)【要約】

【課題】 領域別に露出を制御可能な撮像装置において、ホワイトバランスの評価値の精度を向上させること。
【解決手段】 撮像装置１００は、撮像部１０１と露出制御部１０４と抽出部１０２と算出部１０５と補正部１０６とを有する。被写体の像を撮像して画像を生成する撮像部１０１は、露出制御部１０４によって１以上の画素からなる画素グループ毎に露出を制御される。撮像部１０１が撮像した画像から抽出部１０２が無彩色の領域を抽出し、抽出された領域に含まれる１以上の前記画素グループ毎に第一の算出部は第一の評価値を算出する。第一の評価値は前記画素グループの露出に基づいてそれぞれ重みづけされ、抽出された領域における第二の評価値を第二の算出部が算出する。補正部１０６は第二の評価値に基づいて、撮像部１０１が撮像した画像を補正する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

被写体の像を撮像して画像を生成する撮像部と、
前記撮像部の撮像面の画素または画素グループ毎にゲインまたは露光時間を制御する露出制御部と、
前記画像から無彩色の領域を抽出する抽出部と、
前記抽出部によって抽出された領域に基づいて決定された評価領域に含まれる前記画素または画素グループ毎に第一の評価値を算出する第一の算出部と、
前記画素または画素グループ毎の前記露出制御部が制御したゲインに基づいてそれぞれ重みづけされた前記第一の評価値から、前記評価領域における第二の評価値を算出する第二の算出部と、
前記第二の算出部が算出した第二の評価値に基づいて、前記画像を補正する補正部と、
を有することを特徴とする撮像装置。

【請求項2】

前記抽出部によって抽出された領域内の画素または画素グループを含むように前記評価領域を決定する領域決定部をさらに有する請求項１に記載の撮像装置。

【請求項3】

前記評価領域は、動く被写体を含まないことを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記第一の評価値と前記第二の評価値とは、ホワイトバランス、色相、彩度のうちいずれかの評価値であることを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。

【請求項5】

前記露出制御部は、前記評価領域における画素または画素グループの露光時間が前記評価領域以外の領域における画素または画素グループの露光時間よりも長秒となるように制御することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。

【請求項6】

前記露出制御部は、前記評価領域における画素グループのアナログゲインが前記評価領域以外の領域における画素または画素グループのアナログゲインよりも低くなるように制御することを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。

【請求項7】

前記補正部は、前記画像に含まれる複数の色信号のデジタルゲインを制御することで前記画像のホワイトバランスを補正することを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。

【請求項8】

前記第二の算出部は、複数の前記第一の評価値を加重平均することによって算出することを特徴とする請求項１乃至７のいずれか一項に記載の撮像装置。

【請求項9】

前記評価領域における前記画素または前記画素グループを前記ゲインの閾値に基づいて複数の領域に分類し、前記分類された領域毎に前記第一の評価値に重みづけをすることを特徴とする請求項１乃至８のいずれか一項に記載の撮像装置。

【請求項10】

前記第二の算出部は、前記評価領域が複数あった場合に、前記評価領域における前記第二の評価値をそれぞれ算出し、前記評価領域における輝度の標準偏差に基づいて重みづけされた前記第二の評価値を加重平均することで算出することを特徴とする請求項１乃至９のいずれか一項に記載の撮像装置。

【請求項11】

被写体の像を撮像して画像を生成する撮像ステップと、
前記撮像ステップにおける、画素または画素グループ毎のゲインまたは露光時間を制御する露出制御ステップと、
前記画像から無彩色の領域を抽出する抽出ステップと、
前記抽出ステップにおいて抽出された領域に基づいて決定された評価領域に含まれる前記画素または前記画素グループ毎に第一の評価値を算出する第一の算出ステップと、
前記露出制御ステップで制御された前記画素または画素グループ毎のゲインに基づいてそれぞれ重みづけされた前記第一の評価値から、前記評価領域における第二の評価値を算出する第二の算出ステップと、
前記第二の算出ステップで算出した第二の評価値に基づいて、前記画像を補正する補正ステップと、
を有することを特徴とする撮像装置の制御方法。

【請求項12】

前記抽出ステップで抽出された領域内の画素または前記画素グループを含むように前記評価領域を決定する領域決定ステップをさらに有する請求項１１に記載の撮像装置の制御方法。

【請求項13】

前記評価領域は、動く被写体を含まないことを特徴とする請求項１１または１２に記載の撮像装置の制御方法。

【請求項14】

前記第一の評価値と前記第二の評価値は、ホワイトバランス、色相、彩度のうちいずれかの評価値であることを特徴とする請求項１１乃至１３のいずれか一項に記載の撮像装置の制御方法。

【請求項15】

前記露出制御ステップでは、前記評価領域における画素または画素グループの露光時間が前記評価領域以外の画素または画素グループの露光時間よりも長秒となるように制御することを特徴とする請求項１１乃至１４のいずれか一項に記載の撮像装置の制御方法。

【請求項16】

前記露出制御ステップでは、前記評価領域における画素または画素グループのアナログゲインが前記評価領域以外の領域における画素または画素グループにおけるアナログゲインよりも低くなるように制御することを特徴とする請求項１１乃至１５のいずれか１項に記載の撮像装置の制御方法。

【請求項17】

前記補正ステップでは、前記画像に含まれる複数の色信号のデジタルゲインを制御することで前記画像のホワイトバランスを補正することを特徴とする請求項１１乃至１６のいずれか一項に記載の撮像装置の制御方法。

【請求項18】

前記第二の算出ステップでは、複数の前記第一の評価値を加重平均することによって算出することを特徴とする請求項１１乃至１７のいずれか一項に記載の撮像装置の制御方法。

【請求項19】

前記評価領域における前記画素または前記画素グループを、前記ゲインの閾値に基づいて複数の領域に分類し、前記分類された領域毎に前記第一の評価値に重みづけすることを特徴とする請求項１１乃至１８のいずれか一項に記載の撮像装置の制御方法。

【請求項20】

前記第二の算出ステップでは、前記評価領域が複数あった場合に、前記評価領域における前記第二の評価値をそれぞれ算出し、前記評価領域における輝度の標準偏差に基づいて重みづけされた前記第二の評価値の加重平均を算出することを特徴とする請求項１１乃至１９のいずれか１項に記載の撮像装置の制御方法。

【請求項21】

請求項１１乃至２０のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。

【請求項22】

請求項１１乃至２０のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、その制御方法、プログラムおよび記憶媒体に関する。

【背景技術】

【0002】

従来、領域を複数に分けて、最高輝度の領域からホワイトバランスの補正値を取得することで、ホワイトバランスの評価値の精度を高める技術が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００－２９５６３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、領域別に露出を制御可能な撮像装置において、ホワイトバランスの評価値の精度を向上させることである。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明の一態様に係る撮像装置は、被写体の像を撮像して画像を生成する撮像部と、前記撮像部の１以上の画素からなる画素グループ毎に露出を制御する露出制御部と、前記画像から無彩色の領域を抽出する抽出部と、前記抽出部によって抽出された前記領域に含まれる１以上の前記画素グループ毎に第一の評価値を算出する第一の算出部と、前記画素グループの露出に基づいてそれぞれ重みづけされた前記第一の評価値から、前記領域における第二の評価値を算出する第二の算出部と、前記第二の算出部が算出した第二の評価値に基づいて、前記画像を補正する補正部と、を有することを特徴とする撮像装置。

【発明の効果】

【0006】

本発明によれば、ホワイトバランスの評価値の精度をより高めることができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態１に係る撮像装置の構成例を示すブロック図。

【図2】本発明の実施形態１に係る撮像装置によって撮像された画像を示す図。

【図3】本発明の実施形態１に係る撮像装置の動作を示すフローチャート。

【図4】本発明の実施形態１に係る撮像装置の露光条件と重みづけ値のテーブル。

【図5】本発明の実施形態１に係る撮像装置の露光領域と露光条件とホワイトバランス評価値についての表。

【図6】本発明の実施形態２に係る撮像装置によって撮像された画像を示す図。

【図7】本発明の実施形態２に係る撮像装置の動作を示すフローチャート。

【図8】本発明の実施形態２に係る撮像装置のゲイン領域と重みづけ値の対応表。

【図9】本発明の実施形態３に係る撮像装置によって撮像された画像を示す図。

【発明を実施するための形態】

【0008】

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。いかに説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

【0009】

＜実施形態１＞
本実施形態では、画像から無彩色の領域を抽出し、ホワイトバランスの評価値を算出する評価領域を決める。評価領域における画素グループ毎にホワイトバランス評価値１を算出し、画素グループ毎の露出にしたがってホワイトバランス評価値１に重みづけする。評価領域内の重みづけしたホワイトバランス評価値１を加重平均することによってホワイトバランス評価値２を決定する。ホワイトバランス評価値２の値にしたがって画像全体のホワイトバランスを補正する。なお、本実施形態ではホワイトバランスについて説明するが、ホワイトバランスだけでなく、彩度または色相を補正する色補正にかかわる評価値であってもよい。

【0010】

（機能構成）
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。図１に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能提供するためのプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに記憶される。そして、そのプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。なお、図１に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

【0011】

図１において、撮像装置１００は、撮像部１０１、抽出部１０２、領域決定部１０３、露出制御部１０４、算出部１０５、補正部１０６および通信部１０７を備える。

【0012】

撮像部１０１はレンズ群１０１ａ、撮像素子１０１ｂおよび増幅器１０１ｃを備える。

【0013】

撮像部１０１は、被写体からの光に基づいて被写体の像を撮像し画像を生成する。レンズ群１０１ａは、被写体からの光を撮像素子１０１ｂの受光面に集光する。図１では、１枚のレンズのみ示しているが、複数のレンズを備えてもよく、例えば、ズームレンズ、フォーカスレンズおよびぶれ補正レンズなどが含まれていてもよい。撮像素子１０１ｂは、被写体からの光を画素ごとに電気信号に変換して出力する。撮像素子１０１ｂは、１以上の画素を含む画素グループごと（すなわち複数の分割領域毎）に露光条件を変更できる。撮像素子１０１ｂは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの半導体素子および周辺回路である。増幅器１０１ｃは、撮像素子１０１ｂから出力された電気信号を増幅して撮像信号を出力する。増幅器１０１ｃの増幅率は画素グループごとに変更できる。不図示の画像処理部は、デジタル信号である映像信号に対して、現像処理を含めた画像処理を行う。映像信号を画像データ（ＪＰＥＧ形式など）に変換する。このとき増幅部１０１ｃから出力されるＲＧＢの色情報を持った映像信号は、ＹＵＶ形式などの色差信号に変換されてデジタル信号処理される。最終的に映像信号が画像データとして変換（現像）され、画像データは画像出力部２０５を介して出力される。現像処理とは、後述するホワイトバランス補正、彩度補正、色調補正（色相補正）、シャープネス補正、ガンマ補正、階調補正などである。ホワイトバランスは固定の現像パラメーターでなく、映像信号からホワイトバランス評価値（現像パラメーター）を算出する。算出された現像パラメーターを適用してホワイトバランス補正を行う。また、不図示の画像処理部はＹＵＶ変換することで輝度情報および色差情報を算出することが可能である。また、画像処理部は画素グループごとの露光条件に基づいて、各画素グループに対応する画像情報に明るさ補正をする。

【0014】

抽出部１０２は、不図示の画像処理部によってＡ／Ｄ変換された画像信号（色信号）から白色であると判別される画像領域を検出する。例えば、撮像素子１０１ｂの各画素グループから得られる画像信号（ＲＧＢ信号）に基づいて算出した色評価値が所定の白範囲の評価値に含まれる画素グループの画像領域を白領域として検出する。なお、以降、「白領域」は白に限られず、グレイすなわち無彩色の領域を含むものとする。

【0015】

領域決定部１０３は、不図示の画像処理部から出力された画像信号に対し、ホワイトバランスを補正するための評価値を算出する領域を決定する。図２は、本実施形態に係る撮像装置１００によって撮像された画像の一例である。画像２０１は、ホワイトバランスを補正するための全体の画像である。評価領域２０２は、画像２０１のホワイトバランスを補正するためのホワイトバランス評価値２を算出する領域である。評価領域２０２は画像２０１と同じ領域でもよいし、抽出部１０２によって抽出された白領域に基づいて決定してもよい。最小露光領域２０３は、前述した画素グループに対応する画像領域であり、領域毎に露光条件が設定可能な最小の領域である。評価領域２０２は複数の最小露光領域２０３から構成されることが好ましい。なお、本実施形態では評価領域２０２が１つの場合について説明するが、後述する実施形態３のように評価領域を２つ以上決定してもよい。

【0016】

露出制御部１０４は画素グループ毎に露光時間やアナログゲイン等の露出を制御する。最小露光領域毎に露光条件を割り当て、撮像素子１０１ａを制御する。露出制御部１０４は被写体の明るさに対するダイナミックレンジを向上するために、例えば最小露光領域２０３内の平均輝度値が、出力可能なデータ諧調の中央値となるように露光条件を設定する。なお、抽出部１０２によって抽出、あるいは領域決定部によって決定された評価領域２０２に対応する画素グループにおいて、抽出・決定されなかった他の画素グループよりも露光時間を長秒にかつアナログゲインが低くなるように制御をする。これにより、後述するホワイトバランス評価値の算出において、ノイズの増幅量が小さい評価値を取得することができ、より精度の高いホワイトバランス補正をすることが可能となる。

【0017】

算出部１０５は、領域決定部１０３によって決定された評価領域２０２におけるホワイトバランス評価値２を算出する。より具体的には、評価領域２０２内の最小露光領域２０３毎にホワイトバランス評価値１を算出し、最小露光領域２０３毎に割り当てられた露光条件に基づいた重みづけに従って、ホワイトバランス評価値２を算出する。なお、算出部１０５を第一の算出部と第二の算出部とに分け、それぞれホワイトバランス評価値１とホワイトバランス評価値２とを算出するように構成してもよい。

【0018】

補正部１０６は、算出部１０５によって算出されたホワイトバランス評価値２に基づいて、画像全体のホワイトバランスを補正する。より具体的には、ホワイトバランス評価値２に従って、画像２０１における複数の色信号のデジタルゲインを制御することで画像のホワイトバランスを補正する。ここでいう色信号とはＲＧＢ信号（Ｒ：赤、Ｇ：緑、Ｂ：青の３色に分解された信号）やＹＵＶ信号（Ｙ：輝度、Ｕ：青色成分の差、Ｖ：赤色成分の差の１つの輝度と２つの色差で表される信号）などである。なお、補正部１０６はホワイトバランス補正に限らず、彩度補正、色調補正、シャープネス補正、ガンマ補正、階調補正などを行ってもよい。

【0019】

抽出部１０２、領域決定部１０３、算出部１０５および補正部１０６は前述した不図示の画像処理部に含まれていてもよい。

【0020】

通信部１０７は、クライアント装置やサーバーなどの不図示の外部装置とのネットワーク１０８を介した通信によって、撮像装置１００が撮像した画像を送信する。また、同通信によって、外部装置からＣＰＵへの制御信号を受信し、撮像装置１００の各部に係る制御が行われてもよい。

【0021】

（動作説明）
次に、図３を参照して、本実施形態に係るホワイトバランス（ＷＢ）補正について説明する。ＷＢ補正には様々な手法があるが、本実施形態では、画像から白領域を検出し、その画像領域を白にするようにホワイトバランス評価値を決定する方法を用いたＷＢ補正について説明する。図３は、本実施形態におけるホワイトバランスの補正処理を示すフローチャートである。図３のフローチャートは、撮像装置１００内の不図示の制御部によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

【0022】

ステップＳ３０１において、抽出部１０２は、不図示の画像処理部によってデジタルデータとなった画像信号を参照して無彩色の領域を抽出する。抽出された領域の領域情報は領域決定部１０３へと出力される。

【0023】

ステップＳ３０２において、領域決定部１０３は抽出部１０２から出力された領域情報に基づいて、評価領域２０２を決定する。評価領域２０２は出力された領域情報の全てを評価領域２０２としてもよいし、一部を評価領域２０２としてもよい。抽出部１０２によって抽出された領域をそのまま評価領域２０２として使用する場合はステップＳ３０２を介さずステップＳ３０３へと移る。すなわち、抽出部１０２が領域決定部１０３に含まれるように構成してもよい。また、ユーザーや設計者が評価領域２０２を指定してもよい。なお、評価領域２０２は動体領域以外に設定することが好ましい。動体領域とは、最小露光領域毎にフレーム間の輝度変化量を算出し、輝度変化が閾値を超えた場合に、動体領域として判定する。動体領域では、動体の動きブレを抑制するために、露光時間を短秒に設定することが好ましい。逆に非動体領域では動体がいないため、ブレを抑制する必要がなく、露光時間が長秒に設定することが可能である。そのため、露光時間を長秒に設定した分だけ、ゲインを低く設定することが可能となり、非動体領域のＳＮＲが向上し、適切に評価値を算出することが可能となる。

【0024】

ステップＳ３０３では、ステップＳ３０２で決定した評価領域２０２における最小露光領域２０３に対応する画素グループの露光条件を参照する。参照した各露光条件が全て同じ露光条件であった場合は、露光条件毎にホワイトバランス評価値１の重みづけをする必要がないため、ステップＳ３０６へと移り、評価領域２０２におけるホワイトバランス評価値２を算出して終了する。異なる露光条件を有する最小露光領域２０３が評価領域２０２に存在する場合はステップＳ３０４へと進む。

【0025】

ステップＳ３０４では、最小露光領域２０３ごとにホワイトバランス評価値１を算出部１０５が算出する。

【0026】

ステップＳ３０５では、ステップＳ３０４で算出したホワイトバランス評価値１に対して、評価領域２０２における各最小露光領域２０３に対応する画素グループの露光条件を参照して重みづけする。各最小露光領域２０３における重みづけ値は重みづけ値と露光条件とのテーブルを用意することによって決定してもよいし、露光条件の設定値を用いて算出してもよい。その場合は算出部１０５が重みづけ値を算出する。

【0027】

図４は露光条件Ｇから重みづけ値αを求めるためのテーブルを示している。露光条件ＧがＧ１より大きくＧ２以下である場合、重みづけ値αはＡ１となり、露光条件ＧがＧ２より大きくＧ３以下である場合、重みづけ値αはＡ２となる。このように露光条件の範囲に対して重みづけ値αを設定して露光条件から重みづけ値を決定する。図４の場合は、露光条件ＧがＧｎより大きくＧ（ｎ＋１）以下である場合、重みづけ値αはＡｎとなるように、ｎ番目の条件まで設定している。

【0028】

下式（１）は露光条件Ｘから重みづけ値αを求めるための式である。下式（１）の具体的な例は後述するが、下式（１）は露光条件Ｇの設定値を入力すると、重みづけ値αを返す関数となっている。
α＝ｆ（Ｘ） 式（１）

【0029】

ステップＳ３０６では、ステップＳ３０４で算出した、各最小露光領域２０３におけるホワイトバランス評価値１と、Ｓ３０６で取得した重みづけ値とを用いて下式（２）によって、評価領域２０２におけるホワイトバランス評価値２を算出する。

【0030】

【数1】

【0031】

Ｗはホワイトバランス評価値２であり、数式の計算結果である。αは露光条件から決定した重みづけ値である。ｉは評価値算出領域２０２におけるｉ番目の最小露光領域２０３を示す数であり、α＿ｉはｉ番目の最小露光領域に対応する画素グループの露光条件から決定した重みづけの値である。Ｗ＿ｉはステップ３０２で算出したｉ番目のホワイトバランス評価値１であり、ｉ番目の最小露光領域２０３にそれぞれ対応している。ステップＳ３０４で算出したホワイトバランス評価値１とステップＳ３０５で取得した重みづけ値とを用いた加重平均によって、ホワイトバランス評価値２を求めることができる。なお、ステップＳ３０３において評価領域２０２における露光条件が全て同じである場合には、ホワイトバランス評価値１は重みづけされないため、ホワイトバランス評価値１の平均値がホワイトバランス評価値２として算出される。

【0032】

ステップＳ３０７では、ステップＳ３０６で算出したホワイトバランス評価値２に基づいて、画像全体のホワイトバランスを補正部１０６が補正する。

【0033】

図５を用いて、本実施形態におけるホワイトバランス補正をより具体的に説明する。前提として、評価領域２０２における最小露光領域２０３が４つあり、それぞれに対応する画素グループのゲイン値がそれぞれ、０、１、－１、０であったとする。また、式（１）が下式（３）であるとする。

【0034】

【数2】

【0035】

Ｇはゲイン値を示しており、この場合、各最小露光領域２０３におけるホワイトバランス評価値１の重みづけ値は算出部１０５によって、それぞれ１、０．５、２、１と算出される。

【0036】

なお、ここでは露光条件としてアナログゲインを用いて重みづけ値を決定するが、その他の露光条件（例えばシャッタースピード）を用いてもよい。各最小露光領域２０３のホワイトバランス評価値１がそれぞれＷ１、Ｗ２、Ｗ３、Ｗ４とすると、重みづけ値αと式（３）により、ホワイトバランス評価値２は下式（４）のようになる。

【0037】

【数3】

【0038】

上記のように算出されたホワイトバランス評価値２を用いて、前述したように画面全体のホワイトバランスを補正部１０６が補正する。

【0039】

本実施形態においては、評価領域２０２が複数の最小露光領域２０３から構成される場合について説明したが、評価領域２０２と最小露光領域２０３の領域が一致しない場合にについて補足で説明する。このとき、評価領域２０２と最小露光領域２０３の領域が不一致の画素分だけ、評価領域２０２のサイズまたは最小露光領域２０３のサイズを変更することが好ましい。これにより、評価領域２０２が複数の最小露光領域２０３から構成されるため、適切に評価値の算出が可能となる。また、サイズを変更できない場合には、最小露光領域２０３内で評価領域２０２に含まれない画素は評価値の算出時に除外して算出することが望ましい。また、一部のみ評価領域２０２に含まれる最小露光領域２０３に対しては、最小露光領域２０３の画素数に対して、評価領域２０２に含まれる画素数の比率を掛け合わせて、最小露光領域２０３ごとに重み付けを変更する。これらの処理により、評価領域２０２と最小露光領域２０３の領域が一致しない場合においても適切に評価値を算出することが可能となる。

【0040】

評価領域２０２に含まれる最小露光領域２０３は、画像中のＲＧＢの輝度が最小値以下、または最大値以上に設定可能な範囲を超えないことが好ましい。最小値以下の場合は露光条件を変更して、露光量を増やす。最大値以上の場合は露光量を減らす。このようにして露光量を変更することで、ＲＧＢ画素で飽和していない映像データを使用することができるため、適切に評価値を算出することが可能となる。評価値の算出後に明るさ補正を行い変更した露光量を補正する。

【0041】

本実施形態によれば、ホワイトバランスの評価領域内に露光条件の異なる画素グループが複数混在する場合であっても、好適なホワイトバランス評価値を算出することができるしたがって、ホワイトバランス補正の精度が向上する。

【0042】

＜実施形態２＞
本実施形態では、実施形態１とは異なるホワイトバランス評価値の算出方法について説明する。本実施形態では、評価領域における複数の最小露光領域を露光条件によって分類し、分類ごとに重みづけ値を決定する。なお、本実施形態に係る撮像装置１００の機能構成については、前述した実施形態１と同一なので説明を省略する。

【0043】

以下、図６、図７および図８を参照して、本実施形態における画像のホワイトバランス評価値の取得方法について説明する。

【0044】

図６は本実施形態に係る撮像装置１００によって撮像された画像の一例である。画像６０１において、評価領域６０２は実施形態１と同様に決定される。評価領域６０２内には最小露光領域６０３が複数あり、本実施形態では最小露光領域６０３の各領域における露光条件が異なる場合について説明する。低ゲイン領域６０４および高ゲイン領域６０５は後述するホワイトバランス補正処理内で最小露光領域６０３を分類することで決定される。

【0045】

図７は本実施形態におけるホワイトバランス補正処理を示すフローチャートである。本実施形態において、ステップＳ７０１、ステップＳ７０２、ステップＳ７０３、ステップＳ７０７およびステップＳ７０８は実施形態１と同様であるため、説明は省略する。

【0046】

ステップＳ７０４では、評価領域６０２内の最小露光領域６０３を最小露光領域６０３に対応する画素グループの露光条件によって分類する、本実施形態では露光条件としてゲインを用いて分類しているが、露光時間を用いて分類してもよい。図６は分類後の評価領域６０２を示しており、低ゲイン領域６０４は所定の閾値よりも低いゲインである最小露光領域６０３を示し、高ゲイン領域６０５は所定の閾値よりも高いゲインである最小露光領域６０３を示している。この、所定の閾値は画像６０１内で設定されているアナログゲインのうち、平均値や中央値などを閾値と設定することで、領域を２つに大きく分けることができる。また、画像６０１内の設定値ではなく、撮像装置１００が設定可能なアナログゲインに対して、平均値や中央値でもよく、設計者やユーザーが任意に設定してもよい。なお、本実施形態では所定の閾値を１つとして２つの領域に分類したが、閾値は２以上であってもよく、その場合、最小露光領域６０３は３つまたはそれ以上に分類される。本実施形態において分類された領域はゲイン領域と呼称する。

【0047】

ステップＳ７０５では、分類されたゲイン領域毎にホワイトバランス評価値１を算出部１０６が算出する。

【0048】

ステップＳ７０６では、ステップＳ７０５で算出されたゲイン領域毎のホワイトバランス評価値１に重みづけをする。重みづけ値は図８のようにゲイン領域毎に決められた重みづけ値を用いてもよいし、各ゲイン領域における各最小露光領域６０３の露光条件の平均値から決定してもよい。

【0049】

本実施形態によれば、実施形態１と比べてホワイトバランス評価値１およびその重みづけ値の算出に必要な演算回数が少なく済むため、計算によるメモリの使用量およびＣＰＵの負荷を軽減することができる。

【0050】

＜実施形態３＞
本実施形態では、評価領域が複数ある場合について説明する。本実施形態において、抽出部１０２および領域決定部１０３によって決定された評価領域が複数存在する場合、評価領域毎にホワイトバランス評価値２を算出する。次に、各評価領域におけるホワイトバランス評価値２に対して再び重みづけし、画像全体のホワイトバランス評価値を算出して補正する。なお、本実施形態に係る撮像装置１００の機能構成は実施形態１および実施形態２と同様であるため、説明は省略する。

【0051】

以下、図９を参照して本実施形態におけるホワイトバランス補正処理について説明する。

【0052】

図９は、図９は本実施形態に係る撮像装置１００によって撮像された画像の一例である。画像９０１は、ホワイトバランスを補正するための全体の画像である。評価領域９０２は、画像９０１のホワイトバランスを補正するための評価値を算出する領域のうちの１つである。最小露光領域９０３は、領域毎に露光条件を設定できる撮像素子が設定可能な最小の領域である。評価領域９０４は、９０２とは別の評価領域であり、画像９０１のホワイトバランスを補正するための評価値を算出する領域のうちの１つである。最小露光領域９０５は、領域毎に露光条件を設定できる撮像素子が設定可能な最小の領域である。なお、本実施形態では評価領域が２つ存在する場合について説明するが、３つ以上あってもよい。本実施形態において、ホワイトバランス評価値の計算は評価領域９０２および評価領域９０４のそれぞれで計算される。各評価領域におけるホワイトバランス評価値の計算は実施形態１または実施形態２と同様に計算されるため、各領域におけるホワイトバランス評価値の算出処理については説明を省略する。

【0053】

各評価領域ではホワイトバランス評価値２がそれぞれ算出される。算出されたホワイトバランス評価値が同一である場合は実施形態１または実施形態２と同様に、ホワイトバランス評価値２にしたがって画像全体のホワイトバランスを好適に補正することが可能となる。しかし、２つの評価領域が同一のホワイトバランス評価値となることはまれであり、一般的には異なる。

【0054】

本実施形態では算出された各評価領域におけるホワイトバランス評価値２が同一でなかった場合について説明する。この場合、各評価領域におけるホワイトバランス評価値２のそれぞれに対して、再び重みづけを行い、画像全体のホワイトバランス評価値を算出する。具体的には、評価領域９０２および評価領域９０４に対して、評価領域におけるＲＧＢの輝度の標準偏差が小さいほど重いづけが大きくなるように重みづけ値を決定する。重みづけした後の画像全体のホワイトバランス評価値の算出方法については実施形態１および実施形態２におけるホワイトバランス評価値２の算出と同様であるため省略する。

【0055】

本実施形態によれば、評価領域が２つ以上存在する場合には、輝度がより均一な評価領域の重みづけを大きくすることによって、精度の高いホワイトバランス評価値を算出することができる。

【0056】

＜その他の実施形態＞
本発明は、上述の実施形態１、実施形態２および実施形態３の１以上の機能を実現するプログラムを読み出し実行する処理によって実現可能である。このプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサによって読み出され、実行される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0057】

１００ 撮像装置
１０１ 撮像部
１０１ａ レンズ群
１０１ｂ 撮像素子
１０１ｃ 増幅器
１０２ 抽出部
１０３ 領域決定部
１０４ 露出制御部
１０５ 算出部
１０６ 補正部
１０７ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】