知財求人 - 知財ポータルサイト「IP Force」
特開2022-115503画像処理装置、画像処理方法およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022115503
(43)【公開日】2022-08-09
(54)【発明の名称】画像処理装置、画像処理方法およびコンピュータプログラム
(51)【国際特許分類】
H04N 9/04 20060101AFI20220802BHJP
H04N 9/73 20060101ALI20220802BHJP
【ＦＩ】
H04N9/04 B
H04N9/73 A
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021012122
(22)【出願日】2021-01-28
(71)【出願人】
【識別番号】319006047
【氏名又は名称】シャープセミコンダクターイノベーション株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】岸上 真也
【テーマコード（参考）】
5C065
5C066
【Ｆターム（参考）】
5C065AA03
5C065BB02
5C065CC01
5C065CC02
5C065CC03
5C065GG21
5C065GG22
5C065GG23
5C066AA01
5C066CA05
5C066GA01
5C066GA02
5C066GA05
5C066KE02
5C066KE03
(57)【要約】 （修正有）
【課題】ホワイトバランスを調整する際の演算量を低減することが可能な画像処理装置、画像処理方法およびコンピュータプログラムを提供する。
【解決手段】画像処理装置１において、画像分割部１１は、入力画像をブロックに分割し、各ブロックの代表値Ｒ、Ｇ、Ｂを求める。第１の色空間変換部１２は、ブロックの代表値を、色差空間に変換し、色評価値とする。第１の座標変換部１３は、入力画像の色評価値を、直交座標から極座標に変換する。制限枠判定部１４は、色評価値と楕円形の制限枠との位置関係を、ルックアップテーブル１５を参照して判定する。演算部１６は、判定された位置関係に基づいて、出力画像を求めるためのゲインを演算する。ホワイトバランス調整部１９は、演算されたゲインに基づいて、ホワイトバランスを調整する。
【選択図】図１
【解決手段】画像処理装置１において、画像分割部１１は、入力画像をブロックに分割し、各ブロックの代表値Ｒ、Ｇ、Ｂを求める。第１の色空間変換部１２は、ブロックの代表値を、色差空間に変換し、色評価値とする。第１の座標変換部１３は、入力画像の色評価値を、直交座標から極座標に変換する。制限枠判定部１４は、色評価値と楕円形の制限枠との位置関係を、ルックアップテーブル１５を参照して判定する。演算部１６は、判定された位置関係に基づいて、出力画像を求めるためのゲインを演算する。ホワイトバランス調整部１９は、演算されたゲインに基づいて、ホワイトバランスを調整する。
【選択図】図１
【特許請求の範囲】
【請求項1】
入力画像を複数のブロックに分割する画像分割部と、
前記画像分割部によって分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換する第１の色空間変換部と、
前記第２の色空間に変換された前記複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定する制限枠判定部と、
前記制限枠判定部によって判定された位置関係に基づいて、出力画像を求めるためのゲインを演算する演算部と、
前記演算部によって演算された前記ゲインに基づいて、前記入力画像のホワイトバランスを調整するホワイトバランス調整部とを備える、画像処理装置。
前記画像分割部によって分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換する第１の色空間変換部と、
前記第２の色空間に変換された前記複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定する制限枠判定部と、
前記制限枠判定部によって判定された位置関係に基づいて、出力画像を求めるためのゲインを演算する演算部と、
前記演算部によって演算された前記ゲインに基づいて、前記入力画像のホワイトバランスを調整するホワイトバランス調整部とを備える、画像処理装置。
【請求項2】
前記画像処理装置はさらに、角度をアドレスとし、当該角度における、直交座標における前記色評価値の傾きと、原点から前記制限枠までの距離とをデータとするルックアップテーブルを備え、
前記制限枠判定部は、前記ルックアップテーブルを参照して、前記複数のブロックの色評価値が前記制限枠内にあるか否かを判定する、請求項１に記載の画像処理装置。
前記制限枠判定部は、前記ルックアップテーブルを参照して、前記複数のブロックの色評価値が前記制限枠内にあるか否かを判定する、請求項１に記載の画像処理装置。
【請求項3】
前記画像処理装置はさらに、前記第２の色空間に変換された前記複数のブロックの色評価値を、直交座標から極座標に変換する第１の座標変換部を備え、
前記制限枠判定部は、極座標に変換された前記複数のブロックの色評価値と前記制限枠との位置関係を判定する、請求項１に記載の画像処理装置。
前記制限枠判定部は、極座標に変換された前記複数のブロックの色評価値と前記制限枠との位置関係を判定する、請求項１に記載の画像処理装置。
【請求項4】
前記画像処理装置はさらに、前記極座標における角度をアドレスとし、当該角度における、原点から前記制限枠までの距離をデータとするルックアップテーブルを備え、
前記制限枠判定部は、前記ルックアップテーブルを参照して、極座標に変換された前記複数のブロックの色評価値が前記制限枠内にあるか否かを判定する、請求項３に記載の画像処理装置。
前記制限枠判定部は、前記ルックアップテーブルを参照して、極座標に変換された前記複数のブロックの色評価値が前記制限枠内にあるか否かを判定する、請求項３に記載の画像処理装置。
【請求項5】
前記演算部は、前記制限枠判定部によって前記制限枠内にあると判定された色評価値のブロック数に応じて、入力画像の代表値を求め、
前記第１の色空間変換部は、前記入力画像の代表値を、前記第１の色空間から前記第２の色空間に変換して前記入力画像の色評価値とし、
前記第１の座標変換部は、前記入力画像の色評価値を、直交座標から極座標に変換する、請求項４に記載の画像処理装置。
前記第１の色空間変換部は、前記入力画像の代表値を、前記第１の色空間から前記第２の色空間に変換して前記入力画像の色評価値とし、
前記第１の座標変換部は、前記入力画像の色評価値を、直交座標から極座標に変換する、請求項４に記載の画像処理装置。
【請求項6】
前記制限枠は、原点を含む楕円形の第１制限枠と、該第１制限枠を覆う楕円形の第２制限枠とを含み、
前記ルックアップテーブルは、前記極座標における角度をアドレスとし、当該角度における、原点から前記第１制限枠までの距離および前記第１制限枠から前記第２制限枠までの距離をデータとして構成され、
前記制限枠判定部は、前記ルックアップテーブルを参照して、極座標に変換された前記入力画像の色評価値が第１制限枠内にあるか、前記第１制限枠から前記第２制限枠までの範囲内にあるか、前記第２制限枠の外にあるかを判定する、請求項４または５に記載の画像処理装置。
前記ルックアップテーブルは、前記極座標における角度をアドレスとし、当該角度における、原点から前記第１制限枠までの距離および前記第１制限枠から前記第２制限枠までの距離をデータとして構成され、
前記制限枠判定部は、前記ルックアップテーブルを参照して、極座標に変換された前記入力画像の色評価値が第１制限枠内にあるか、前記第１制限枠から前記第２制限枠までの範囲内にあるか、前記第２制限枠の外にあるかを判定する、請求項４または５に記載の画像処理装置。
【請求項7】
前記演算部は、極座標に変換された前記入力画像の色評価値が、前記第１制限枠および前記第２制限枠のどの位置にあるかに基づいて、前記入力画像の目標値を求めるための前記ゲインを算出し、当該ゲインを用いて前記入力画像の目標値を演算する、請求項６に記載の画像処理装置。
【請求項8】
前記画像処理装置はさらに、前記演算部によって演算された前記入力画像の目標値を、極座標から直交座標に変換する第２の座標変換部と、
前記第２の座標変換部によって直交座標に変換された前記入力画像の目標値を、前記第２の色空間から前記第１の色空間に変換する第２の色空間変換部とを含む、請求項７に記載の画像処理装置。
前記第２の座標変換部によって直交座標に変換された前記入力画像の目標値を、前記第２の色空間から前記第１の色空間に変換する第２の色空間変換部とを含む、請求項７に記載の画像処理装置。
【請求項9】
前記ホワイトバランス調整部は、前記第２の色空間変換部によって第１の色空間に変換された前記入力画像の目標値に基づいてホワイトバランスゲインを求め、該ホワイトバランスゲインに応じて前記入力画像のホワイトバランスを調整する、請求項８に記載の画像処理装置。
【請求項10】
入力画像を複数のブロックに分割するステップと、
前記分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換するステップと、
前記第２の色空間に変換された前記複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定するステップと、
前記判定された位置関係に基づいて、出力画像を求めるためのゲインを演算するステップと、
前記演算されたゲインに基づいて、前記入力画像のホワイトバランスを調整するステップとを含む、画像処理方法。
前記分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換するステップと、
前記第２の色空間に変換された前記複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定するステップと、
前記判定された位置関係に基づいて、出力画像を求めるためのゲインを演算するステップと、
前記演算されたゲインに基づいて、前記入力画像のホワイトバランスを調整するステップとを含む、画像処理方法。
【請求項11】
コンピュータに画像処理方法を行わせるためのコンピュータプログラムであって、
前記画像処理方法は、入力画像を複数のブロックに分割するステップと、
前記分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換して色評価値とするステップと、
前記第２の色空間に変換された前記複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定するステップと、
前記判定された位置関係に基づいて、出力画像を求めるためのゲインを演算するステップと、
前記演算されたゲインに基づいて、前記入力画像のホワイトバランスを調整するステップとを含む、コンピュータプログラム。
前記画像処理方法は、入力画像を複数のブロックに分割するステップと、
前記分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換して色評価値とするステップと、
前記第２の色空間に変換された前記複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定するステップと、
前記判定された位置関係に基づいて、出力画像を求めるためのゲインを演算するステップと、
前記演算されたゲインに基づいて、前記入力画像のホワイトバランスを調整するステップとを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ホワイトバランスを調整する画像処理装置、画像処理方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
従来、ホワイトバランス処理を自動的に行う撮像装置として、例えば、デジタルスチルカメラ、デジタルビデオカメラ等が提供されている。ホワイトバランス処理とは、ある光源の照明下において白色の被写体を撮像したときに、カメラシステムから得られ原色信号Ｒ，Ｇ，Ｂがすべて等しくなるように各信号のゲインを変える処理である。
【0003】
撮像装置は、ホワイトバランス処理を行うことによって、自然光（太陽光）、白熱電灯の光、蛍光灯の光等の様々な光源の違いから色づいて見える白色（例えば、低い色温度の場合は赤っぽくなり、高い色温度の場合は青っぽくなる）を、白に合わせられる。そして、色温度の変化を表す黒体放射カーブを用いて、自動的にホワイトバランスをとる処理を、オートホワイトバランス処理という。
【0004】
ところで、曲線で表される黒体放射カーブ(色温度の変化)を厳密、かつ、一義的に数式で表すことは難しい。例えば、下記の特許文献１においては、黒体放射カーブを含むように引き込み制限枠を矩形で定義している。
【0005】
特許文献１は、固体撮像素子の撮像結果の色信号のホワイトバランスをとる色信号処理回路等に関する。色信号処理回路は、色信号の２次元座標が、色調整を行う範囲を示す第１の引き込み制限枠と第１の引き込み制限枠内に規定され２次元座標系の原点を含む第２の引き込み制限枠内との双方の内側に位置するか否かを判定し、双方の内側に位置する場合に、色信号が示す色を、２次元座標系の原点に規定された白色に引き込むことを決定する引き込み判定回路と、引き込むことが決定された色信号が示す色が、２次元座標系の原点に引き込まれるように、増幅回路の増幅率（ゲイン）を調整するゲイン調整回路とを有する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平１１－１３６６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述の特許文献１において、第１の引き込み制限枠および第２の引き込み制限枠は、矩形で定義されている。例えば、引き込み制限枠が６角形で定義される場合、６本の１次直線で引き込み制限枠を定義する必要がある。１本の１次直線は、ａｘ＋ｂｙ＋ｃ＝０で表されるため、３つのパラメータが必要となる。したがって、１つの引き込み制限枠を定義するためには、合計１８個のパラメータが必要となり、引き込み制限枠の調整を行う場合には、演算量が多くなる。
【0008】
本発明の一態様は、ホワイトバランスを調整する際の演算量を低減することが可能な画像処理装置を実現することを目的とする。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、入力画像を複数のブロックに分割する画像分割部と、画像分割部によって分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換する第１の色空間変換部と、第２の色空間に変換された複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定する制限枠判定部と、制限枠判定部によって判定された位置関係に基づいて、出力画像を求めるためのゲインを演算する演算部と、演算部によって演算されたゲインに基づいて、入力画像のホワイトバランスを調整するホワイトバランス調整部とを備える。
【発明の効果】
【0010】
本発明の一態様によれば、ホワイトバランスを調整する際の演算量を低減することが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態１に係る画像処理装置の機能的構成を示すブロック図である。
【図2】複数のブロックに分割された入力画像の一例を示す図である。
【図3】直交座標系における黒体輻射軌跡および制限枠を説明するための図である。
【図4】制限枠Ｌの傾きを０とした場合を示す図である。
【図5】極座標変換した後の（ｕ，ｖ）座標における制限枠を示す図である。
【図6】入力画像の色評価値が第１制限枠Ｌ１内にある場合を示す図である。
【図7】入力画像の色評価値が第１制限枠Ｌ１の外にあり、第２制限枠Ｌ２内にある場合を示す図である。
【図8】入力画像の色評価値が第２制限枠Ｌ２の外にある場合を示す図である。
【図9】入力画像の色評価値の角度がθの場合の原点から第１制限枠Ｌ１までの距離および原点から第２制限枠Ｌ２までの距離を示す図である。
【図10】入力画像の目標値ｒｔを求めるためのゲインＧａｉｎを説明するための図である。
【図11】本発明の実施形態１に係る画像処理装置の処理手順を説明するためのフローチャートである。
【図13】本発明の実施形態２に係る画像処理装置の機能的構成を示すブロック図である。
【図14】入力画像の目標値ｒｔを求めるためのゲインＧａｉｎを説明するための図である。
【図15】本発明の実施形態２に係る画像処理装置の処理手順を説明するためのフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態について、詳細に説明する。なお、説明の便宜上、同一の部材には同一の符号を付し、それらの名称および機能も同一である。したがって、それらの詳細な説明は繰り返さない。
【0013】
（実施形態１）
＜画像処理装置１の構成および動作＞
図１は、本発明の実施形態に係る画像処理装置１の機能的構成を示すブロック図である。画像処理装置１は、画像分割部１１と、第１の色空間変換部１２と、第１の座標変換部１３と、制限枠判定部１４と、ルックアップテーブル１５と、演算部１６と、第２の座標変換部１７と、第２の色空間変換部１８と、ホワイトバランス調整部１９とを含む。
＜画像処理装置１の構成および動作＞
図１は、本発明の実施形態に係る画像処理装置１の機能的構成を示すブロック図である。画像処理装置１は、画像分割部１１と、第１の色空間変換部１２と、第１の座標変換部１３と、制限枠判定部１４と、ルックアップテーブル１５と、演算部１６と、第２の座標変換部１７と、第２の色空間変換部１８と、ホワイトバランス調整部１９とを含む。
【0014】
画像分割部１１は、入力画像を複数のブロックに分割する。この複数のブロックは、正方形、長方形等の矩形であってもよいし、矩形以外の形状であってもよく、特に限定されるものではない。
【0015】
また、画像分割部１１は、各ブロックの代表値Ｒ，Ｇ，Ｂを求める。各ブロックの代表値は、各ブロック内の各画素のＲ，Ｇ，Ｂそれぞれの平均値、最大値、中央値等であり、色を表現できるものであればよい。
【0016】
図２は、複数のブロックに分割された入力画像の一例を示す図である。図２に示すように、画像分割部１１は、入力画像を同じ大きさの長方形のブロックとなるように分割している。ブロックの大きさや形状は任意であり、領域によってブロックの大きさや形状を変更するようにしてもよい。
【0017】
第１の色空間変換部１２は、各ブロックの代表値Ｒ，Ｇ，Ｂを、第１の色空間から第２の色空間に変換する。本実施形態においては、第１の色空間をＲ，Ｇ，Ｂで表される色空間とし、第２の色空間を輝度信号ＹとＵ，Ｖ等の色差信号で表される色空間（以下、色差空間と呼ぶことにする。）とするが、これらに限定されるものではない。
【0018】
第１の色空間変換部１２は、次式（式１）～（式３）を用いて、各ブロックの代表値Ｒ，Ｇ，Ｂを色差空間に変換する。
【0019】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ ・・・（式１）
Ｕ＝－０．１６９×Ｒ－０．３３１×Ｇ＋０．５００×Ｂ ・・・（式２）
Ｖ＝０．５００×Ｒ－０．４１９×Ｇ－０．０８１×Ｂ ・・・（式３）
ここで、上記（式２）および（式３）で求められた色差信号Ｕ，Ｖをそのまま使用してもよいし、輝度値の影響を除去するために、Ｕ，Ｖのそれぞれを上記（式１）で求められた輝度信号Ｙで除したものを使用してもよい。このようにして各ブロックの代表値を色差空間に変換した値を、色評価値と呼ぶことにする。
Ｕ＝－０．１６９×Ｒ－０．３３１×Ｇ＋０．５００×Ｂ ・・・（式２）
Ｖ＝０．５００×Ｒ－０．４１９×Ｇ－０．０８１×Ｂ ・・・（式３）
ここで、上記（式２）および（式３）で求められた色差信号Ｕ，Ｖをそのまま使用してもよいし、輝度値の影響を除去するために、Ｕ，Ｖのそれぞれを上記（式１）で求められた輝度信号Ｙで除したものを使用してもよい。このようにして各ブロックの代表値を色差空間に変換した値を、色評価値と呼ぶことにする。
【0020】
第１の座標変換部１３は、第１の色空間変換部１２によって色差空間に変換された各ブロックの色評価値を、直交座標系から極座標系に変換する。本実施の形態においては、極座標として円座標を用いるものとするが、これに限定されるものではない。
【0021】
また、極座標変換することにより、後述のようにルックアップテーブル１５の構成を簡単にすることができるが、直交座標系のまま後述の制限枠判定を行うことも可能である。この場合、ルックアップテーブル１５のアドレスとしてＵ，Ｖの座標を用い、データとして制限枠の内か外かを示す１ビットの値が記憶されることになる。
【0022】
なお、ＹＵＶで表される３次元の色空間を第２の色空間とするが、色差信号ＵＶのみで表される２次元座標を（ｕ，ｖ）座標と呼ぶことにし、以下、色差信号ＵＶの値および座標を、ｕ，ｖで表記することにする。
【0023】
図３は、直交座標系における黒体輻射軌跡および制限枠を説明するための図である。図３においては、直交座標系（ｕ，ｖ）における黒体輻射軌跡を示しており、制限枠Ｌは黒体輻射軌跡を含むような楕円によって表される。直交座標系（ｕ，ｖ）において、黒体輻射軌跡は原点を通る直線に近い線で表される。制限枠Ｌは、長軸が黒体輻射軌跡に沿うように配置される。そのため制限枠Ｌは、直交座標系（ｕ，ｖ）に対して所定の傾きを有している。
【0024】
なお、制限枠Ｌに関し、上述した楕円の他、黒体輻射軌跡を含む任意の形状によって制限枠Ｌを表すことで、本実施形態を実現しても良い。
【0025】
図４は、制限枠Ｌの傾きを０とした場合を示す図である。図４に示すように、簡単のために傾きを０としており、楕円は、次式（式４）によって表すことができる。ここで、ａおよびｂは、楕円の長辺および短辺を表している。なお、図４に示す（ｘ，ｙ）座標系に対し、（ｕ，ｖ）座標系は、（ｘ，ｙ）座標系を所定角度だけ回転させたものとなる。したがって、楕円を定義するパラメータとして、長辺ａ、短辺ｂおよび上記所定角度の３つとなる。
【0026】
ｘ２／ａ２＋ｙ２／ｂ２＝１ ・・・（式４）
制限枠Ｌの内であれば、（式４）のｘ，ｙに、ｕ，ｖの座標値を代入したときに、（式４）の左辺が１未満となる。また、制限枠Ｌの外であれば、（式４）の左辺が１よりも大きくなる。また、制限枠Ｌ上であれば、（式４）の左辺が１となる。
制限枠Ｌの内であれば、（式４）のｘ，ｙに、ｕ，ｖの座標値を代入したときに、（式４）の左辺が１未満となる。また、制限枠Ｌの外であれば、（式４）の左辺が１よりも大きくなる。また、制限枠Ｌ上であれば、（式４）の左辺が１となる。
【0027】
このように１次式、２次式等の制限枠Ｌに、ｕ，ｖの座標値を当てはめて式を計算し、座標値が制限枠Ｌの内にあるか、外にあるかを判定する必要がある。本実施形態においては、上述のように制限枠を楕円形とし、色評価値が制限枠の内にあるか、外にあるかを評価するが、演算量を減らすために以下のように直交座標を極座標に変換し、ルックアップテーブルを用いる。
【0028】
第１の座標変換部１３は、各ブロックの色評価値を極座標変換し、原点からの距離ｒ、および角度θへ変換する。第１の座標変換部１３は、次式（式５）および（式６）を用いて色評価値を極座標に変換する。
【0029】
ｒ＝ｓｑｒ（ｕ２＋ｖ２） ・・・（式５）
θ＝ＩＮＴ（ａｒｃｔａｎ（ｖ／ｕ）） ・・・（式６）
ここで、ｓｑｒ（）は、平方根を算出するための関数、ＩＮＴ（）は、括弧内の数値を整数化するための関数を示す。また、ａｒｃｔａｎ（）関数は、ｔａｎの逆関数である。ａｔａｎ２（）関数を用いることができる場合は、ａｔａｎ２（）関数を用いてもよい。また、平方根、ａｒｃｔａｎ（）関数、ａｔａｎ２（）関数を使用できない場合には、近似式による計算であってもよい。
θ＝ＩＮＴ（ａｒｃｔａｎ（ｖ／ｕ）） ・・・（式６）
ここで、ｓｑｒ（）は、平方根を算出するための関数、ＩＮＴ（）は、括弧内の数値を整数化するための関数を示す。また、ａｒｃｔａｎ（）関数は、ｔａｎの逆関数である。ａｔａｎ２（）関数を用いることができる場合は、ａｔａｎ２（）関数を用いてもよい。また、平方根、ａｒｃｔａｎ（）関数、ａｔａｎ２（）関数を使用できない場合には、近似式による計算であってもよい。
【0030】
このように、色評価値を直交座標から極座標に変換して得られた角度θの値を用いることにより、原点から制限枠までの距離を一意に決定することができるようになる。角度θをアドレスとし、原点から制限枠までの距離をデータとしたルックアップテーブル１５は、以下の通りとなる。
【0031】
【表1】
【0032】
制限枠判定部１４は、色評価値を極座標変換した後の角度θを用いてルックアップテーブル１５からデータを読み出すことにより、原点から第１制限枠Ｌ１までの距離ｄ０Ｂと、第１制限枠Ｌ１から第２制限枠Ｌ２までの距離ｄＢＣとを取得することができる。制限枠判定部１４は、色評価値を極座標変換して得られたｒと、距離ｄ０Ｂおよび距離ｄＢＣとに基づいて、色評価値が、第１制限枠Ｌ１の内にあるのか外にあるのか、第１制限枠Ｌ１から第２制限枠Ｌ２までの間にあるのか、第２制限枠Ｌ２の外にあるのかを判定する
図５は、極座標変換した後の（ｕ，ｖ）座標における制限枠を示す図である。図５に示すように、角度がθの場合、原点Ｏから第１制限枠Ｌ１までの距離が、原点Ｏから点Ｂまでの距離となる。また、第１制限枠Ｌ１から第２制限枠Ｌ２までの距離が、点Ｂから点Ｃまでの距離となる。表１に示すルックアップテーブル１５には、θ＝０°～３５９°の１度ごとの値が記憶されている。
図５は、極座標変換した後の（ｕ，ｖ）座標における制限枠を示す図である。図５に示すように、角度がθの場合、原点Ｏから第１制限枠Ｌ１までの距離が、原点Ｏから点Ｂまでの距離となる。また、第１制限枠Ｌ１から第２制限枠Ｌ２までの距離が、点Ｂから点Ｃまでの距離となる。表１に示すルックアップテーブル１５には、θ＝０°～３５９°の１度ごとの値が記憶されている。
【0033】
なお、図５～図９の説明においては、楕円の第１制限枠Ｌ１と第２制限枠Ｌ２について、それぞれの制限枠の中心位置を原点Ｏとし、傾きを同じとしているが、それぞれが異なっていてもよい。２つの制限枠の中心位置および傾きを揃えるのではなく、例えば、実施の状況や設計事項に応じて、第１制限枠Ｌ１および第２制限枠Ｌ２の中心位置を互いにずらしたり、傾きを互いに異ならせたりしてもよい。
【0034】
本実施形態においては、ホワイトバランスを調整することを目的としており、色の微調整のための色相調整を目的とはしないため、１度単位でルックアップテーブル１５を構成すればよく、これ以上詳細なルックアップテーブルを構成する必要はない。なお、角度θの精度を上げる必要がある場合、演算量は増加するが、線形補間等を用いることも可能である。
【0035】
制限枠判定部１４は、各ブロックの色評価値に関し、各ブロックの輝度Ｙが所定値の範囲内にあるか否かを判定する。輝度Ｙの範囲として、閾値１および閾値２（閾値１＜閾値２）が予め設定されており、制限枠判定部１４は、ブロックの輝度Ｙが閾値１から閾値２の範囲内にあるか否かを判定し、輝度Ｙが閾値１から閾値２の範囲内にあるブロックの色評価値のみを使用する。輝度Ｙが小さ過ぎたり、大き過ぎたりする場合、色のバランスが崩れており、真実の色を表していない可能性が高いため、これらの値は用いない。
【0036】
制限枠判定部１４は、輝度Ｙが閾値１および閾値２の範囲内であれば、ルックアップテーブル１５を参照して、ブロックの色評価値（ｒ，θ）の角度θに対応する、原点から第１制限枠Ｌ１までの距離ｄ０Ｂと、第１制限枠Ｌ１から第２制限枠Ｌ２までの距離ｄＢＣとを読み出す。原点から第２制限枠Ｌ２までの距離ｄ０Ｃは、以下の通りとなる。
【0037】
ｄ０Ｃ＝ｄ０Ｂ＋ｄＢＣ ・・・（式７）
制限枠判定部１４は、色評価値の距離ｒと、原点から第２制限枠までの距離ｄ０Ｃとを比較し、ｒがｄ０Ｃよりも小さければ色評価値が第２制限枠内にあると判定し、ｒがｄ０Ｃよりも大きければ色評価値が第２制限枠の外にあると判定する。
制限枠判定部１４は、色評価値の距離ｒと、原点から第２制限枠までの距離ｄ０Ｃとを比較し、ｒがｄ０Ｃよりも小さければ色評価値が第２制限枠内にあると判定し、ｒがｄ０Ｃよりも大きければ色評価値が第２制限枠の外にあると判定する。
【0038】
ここで、画像分割部１１によって分割されたブロックの数をｎとし、各ブロックの代表値をＲｉ、Ｇｉ、Ｂｉ（ｉ＝０，１，２，…ｎ）とすると、色評価値が第２制限枠の内にある場合、演算部１６は、以下の式を用いる。ここで、ＳｕｍＲｉｎ、ＳｕｍＧｉｎ、ＳｕｍＢｉｎは、第２制限枠内にあるブロックの各代表値を加算した値が代入される変数である。また、Ｃｎｔｉｎは、第２制限枠内にあるブロックの数を示す変数である。これらの変数は、初期値として０が代入されている。
【0039】
ＳｕｍＲｉｎ＝ＳｕｍＲｉｎ＋Ｒｉ ・・・（式８）
ＳｕｍＧｉｎ＝ＳｕｍＧｉｎ＋Ｇｉ ・・・（式９）
ＳｕｍＢｉｎ＝ＳｕｍＢｉｎ＋Ｂｉ ・・・（式１０）
Ｃｎｔｉｎ＝Ｃｎｔｉｎ＋１ ・・・（式１１）
また、色評価値が第２制限枠の外にある場合、演算部１６は、以下の式を用いる。ここで、ＳｕｍＲｏｕｔ、ＳｕｍＧｏｕｔ、ＳｕｍＢｏｕｔは、第２制限枠の外にあるブロックの各代表値を加算した値が代入される変数である。また、Ｃｎｔｏｕｔは、第２制限枠の外にあるブロックの数を示す変数である。これらの変数は、初期値として０が代入されている。
ＳｕｍＧｉｎ＝ＳｕｍＧｉｎ＋Ｇｉ ・・・（式９）
ＳｕｍＢｉｎ＝ＳｕｍＢｉｎ＋Ｂｉ ・・・（式１０）
Ｃｎｔｉｎ＝Ｃｎｔｉｎ＋１ ・・・（式１１）
また、色評価値が第２制限枠の外にある場合、演算部１６は、以下の式を用いる。ここで、ＳｕｍＲｏｕｔ、ＳｕｍＧｏｕｔ、ＳｕｍＢｏｕｔは、第２制限枠の外にあるブロックの各代表値を加算した値が代入される変数である。また、Ｃｎｔｏｕｔは、第２制限枠の外にあるブロックの数を示す変数である。これらの変数は、初期値として０が代入されている。
【0040】
ＳｕｍＲｏｕｔ＝ＳｕｍＲｏｕｔ＋Ｒｉ ・・・（式１２）
ＳｕｍＧｏｕｔ＝ＳｕｍＧｏｕｔ＋Ｇｉ ・・・（式１３）
ＳｕｍＢｏｕｔ＝ＳｕｍＢｏｕｔ＋Ｂｉ ・・・（式１４）
Ｃｎｔｏｕｔ＝Ｃｎｔｏｕｔ＋１ ・・・（式１５）
演算部１６は、第２制限枠内にあるブロックの数が所定数以上であれば、入力画像の代表値をＳｕｍＲｉｎ、ＳｕｍＧｉｎ、ＳｕｍＢｉｎとする。ここで、入力画像の代表値を、ＳｕｍＲｉｎ、ＳｕｍＧｉｎ、ＳｕｍＢｉｎを、Ｃｎｔｉｎで除した値としてもよい。なお、所定数は、例えば、１である。
ＳｕｍＧｏｕｔ＝ＳｕｍＧｏｕｔ＋Ｇｉ ・・・（式１３）
ＳｕｍＢｏｕｔ＝ＳｕｍＢｏｕｔ＋Ｂｉ ・・・（式１４）
Ｃｎｔｏｕｔ＝Ｃｎｔｏｕｔ＋１ ・・・（式１５）
演算部１６は、第２制限枠内にあるブロックの数が所定数以上であれば、入力画像の代表値をＳｕｍＲｉｎ、ＳｕｍＧｉｎ、ＳｕｍＢｉｎとする。ここで、入力画像の代表値を、ＳｕｍＲｉｎ、ＳｕｍＧｉｎ、ＳｕｍＢｉｎを、Ｃｎｔｉｎで除した値としてもよい。なお、所定数は、例えば、１である。
【0041】
また、第２制限枠内にあるブロックの数が所定数未満であれば、入力画像の代表値をＳｕｍＲｏｕｔ、ＳｕｍＧｏｕｔ、ＳｕｍＢｏｕｔとする。ここで、入力画像の代表値を、ＳｕｍＲｏｕｔ、ＳｕｍＧｏｕｔ、ＳｕｍＢｏｕｔを、Ｃｎｔｏｕｔで除した値としてもよい。
【0042】
以下、入力画像の代表値をＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢとして説明する。
【0043】
第１の色空間変換部１２は、入力画像の代表値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを、色差信号を用いた色差空間（第２の色空間）に変換して色評価値とする。そして、第１の座標変換部１３は、入力画像の色評価値を、直交座標から極座標に変換して距離ｒｉｎおよび角度θｉｎを求める。
【0044】
制限枠判定部１４は、ルックアップテーブル１５を参照して、入力画像の色評価値（ｒｉｎ，θｉｎ）が第１制限枠Ｌ１の内にあるか外にあるか、第２制限枠Ｌ２の内にあるか外にあるかを判定する。
【0045】
図６は、入力画像の色評価値が第１制限枠Ｌ１内にある場合を示す図である。この場合、演算部１６は、図６に示すように、入力画像の目標値（ｒｔ，θｔ）を原点とする引き込み処理を行う。すなわち、入力画像の色評価値の角度をθｉｎとすると、ｒｔ＝０、θｔ＝θｉｎとなり、入力画像の目標値ｒｔを求めるためのゲインＧａｉｎは０となる。
【0046】
目標値とは、例えば人間が知覚する白色の実際の色に近い（ｕ，ｖ）座標である。図６の原点は白色に相当する。この時、第１制限枠Ｌ１は撮影画像の白色部を白色と人間が知覚する範囲を設定する事が多い。色評価値が第１制限枠Ｌ１内に存在する場合は、人間の知覚に合う様に色評価値を原点とする事が好ましい。従って、色評価値が第１制限枠Ｌ１に存在する場合は、目標値を原点として引き込み処理を行う。
【0047】
図７は、入力画像の色評価値が第１制限枠Ｌ１の外にあり、第２制限枠Ｌ２内にある場合を示す図である。この場合、演算部１６は、図７に示すように、入力画像の目標値（ｒｔ，θｔ）を原点方向に移動させる引き込み処理を行う。すなわち、入力画像の目標値ｒｔを求めるためのゲインＧａｉｎは、次式の通りとなる。なお、入力画像の色評価値の距離をｒｉｎとする。
【0048】
Ｇａｉｎ＝（ｒｉｎ－ｄ０Ｂ）／ｄＢＣ ・・・（式１６）
図８は、入力画像の色評価値が第２制限枠Ｌ２の外にある場合を示す図である。この場合、ホワイトバランスを調整する必要はないため、入力画像の目標値ｒｔを求めるためのゲインＧａｉｎは１となる。なお、図８に示すように、演算部１６は、入力画像の目標値ｒｔを第２制限枠Ｌ２上に引き込むようにＧａｉｎを定めるようにしてもよい。
図８は、入力画像の色評価値が第２制限枠Ｌ２の外にある場合を示す図である。この場合、ホワイトバランスを調整する必要はないため、入力画像の目標値ｒｔを求めるためのゲインＧａｉｎは１となる。なお、図８に示すように、演算部１６は、入力画像の目標値ｒｔを第２制限枠Ｌ２上に引き込むようにＧａｉｎを定めるようにしてもよい。
【0049】
図９は、入力画像の色評価値の角度がθｉｎの場合の原点から第１制限枠Ｌ１までの距離および原点から第２制限枠までの距離を示す図である。入力画像の色評価値の角度がθｉｎの場合の原点から第１制限枠Ｌ１までの距離はｄ０Ｂ、原点から第２制限枠までの距離はｄＢＣとなる。上述のように、このｄ０ＢおよびｄＢＣは、ルックアップテーブル１５を参照することによって求めることができる。
【0050】
図１０は、入力画像の目標値ｒｔを求めるためのゲインＧａｉｎを説明するための図である。図１０は、図９に示す色評価値の角度がθｉｎの場合を示しており、入力画像の色評価値ｒｉｎがｄ０Ｂ以下であれば、Ｇａｉｎは０となる。入力画像の色評価値ｒｉｎがｄ０Ｂ以上、ｄ０Ｃ以下であれば、Ｇａｉｎは、図１０に示すものとなる。また、入力画像の色評価値ｒｉｎがｄ０Ｃ以上であれば、Ｇａｉｎは１となる。
【0051】
演算部１６は、入力画像の目標値（ｒｔ，θｔ）を次式（式１７）および（式１８）によって求める。
（Ｇａｉｎが１未満の場合）
ｒｔ＝ｒｉｎ×Ｇａｉｎ ・・・（式１７）
θｔ＝θｉｎ ・・・（式１８）
（Ｇａｉｎが１の場合）
ｒｔ＝ｄ０Ｃ ・・・（式１７’）
θｔ＝θｉｎ ・・・（式１８’）
第２の座標変換部１７は、入力画像の目標値（ｒｔ，θｔ）を、極座標から直交座標に変換する。この極座標から直交座標への座標変換は、次式（式１９）および（式２０）を用いて行うことができる。
（Ｇａｉｎが１未満の場合）
ｒｔ＝ｒｉｎ×Ｇａｉｎ ・・・（式１７）
θｔ＝θｉｎ ・・・（式１８）
（Ｇａｉｎが１の場合）
ｒｔ＝ｄ０Ｃ ・・・（式１７’）
θｔ＝θｉｎ ・・・（式１８’）
第２の座標変換部１７は、入力画像の目標値（ｒｔ，θｔ）を、極座標から直交座標に変換する。この極座標から直交座標への座標変換は、次式（式１９）および（式２０）を用いて行うことができる。
【0052】
ｕｔ＝ｒｔ×ｃｏｓθｔ ・・・（式１９）
ｖｔ＝ｒｔ×ｓｉｎθｔ ・・・（式２０）
第２の色空間変換部１８は、直交座標に変換された入力画像の目標値を、第２の色空間（色差空間）から第１の色空間（Ｒ，Ｇ，Ｂ）に変換する。この色変換は、次式（式２１）～（式２３）を用いて行うことができる。
ｖｔ＝ｒｔ×ｓｉｎθｔ ・・・（式２０）
第２の色空間変換部１８は、直交座標に変換された入力画像の目標値を、第２の色空間（色差空間）から第１の色空間（Ｒ，Ｇ，Ｂ）に変換する。この色変換は、次式（式２１）～（式２３）を用いて行うことができる。
【0053】
Ｒｔ＝１．０×Ｙ＋１．４０２×ｖｔ ・・・（式２１）
Ｇｔ＝１．０×Ｙ－０．３４４×ｕｔ－０．７１４×ｖｔ ・・・（式２２）
Ｂｔ＝１．０×Ｙ＋１．７７２×ｕｔ ・・・（式２３）
ホワイトバランス調整部１９は、入力画像の目標値（Ｒｔ，Ｇｔ，Ｂｔ）からホワイトバランスを調整する際に用いるホワイトバランスゲインＧａｉｎＲ、ＧａｉｎＧ、ＧａｉｎＢを次式（式２４）～（式２６）を用いて算出する。なお、本実施形態においては、輝度成分をよく表すＧ信号に対するゲインを１．０とする。
Ｇｔ＝１．０×Ｙ－０．３４４×ｕｔ－０．７１４×ｖｔ ・・・（式２２）
Ｂｔ＝１．０×Ｙ＋１．７７２×ｕｔ ・・・（式２３）
ホワイトバランス調整部１９は、入力画像の目標値（Ｒｔ，Ｇｔ，Ｂｔ）からホワイトバランスを調整する際に用いるホワイトバランスゲインＧａｉｎＲ、ＧａｉｎＧ、ＧａｉｎＢを次式（式２４）～（式２６）を用いて算出する。なお、本実施形態においては、輝度成分をよく表すＧ信号に対するゲインを１．０とする。
【0054】
ＧａｉｎＲ＝Ｇｔ／Ｒｔ ・・・（式２４）
ＧａｉｎＧ＝１．０ ・・・（式２５）
ＧａｉｎＢ＝Ｇｔ／Ｂｔ ・・・（式２６）
ホワイトバランス調整部１９は、入力画像のＲｉｎ，Ｇｉｎ，Ｂｉｎ信号のそれぞれに、ゲインＧａｉｎＲ、ＧａｉｎＧ、ＧａｉｎＢを乗算することによって、ホワイトバランス調整後の出力画像Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを得る。なお、入力画像の各画素を（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）とする。
ＧａｉｎＧ＝１．０ ・・・（式２５）
ＧａｉｎＢ＝Ｇｔ／Ｂｔ ・・・（式２６）
ホワイトバランス調整部１９は、入力画像のＲｉｎ，Ｇｉｎ，Ｂｉｎ信号のそれぞれに、ゲインＧａｉｎＲ、ＧａｉｎＧ、ＧａｉｎＢを乗算することによって、ホワイトバランス調整後の出力画像Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを得る。なお、入力画像の各画素を（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）とする。
【0055】
Ｒｏｕｔ＝Ｒｉｎ×ＧａｉｎＲ ・・・（式２７）
Ｇｏｕｔ＝Ｇｉｎ×ＧａｉｎＧ ・・・（式２８）
Ｂｏｕｔ＝Ｂｉｎ×ＧａｉｎＢ ・・・（式２９）
＜画像処理装置１の処理手順＞
図１１は、本発明の実施形態に係る画像処理装置の処理手順を説明するためのフローチャートである。まず、画像分割部１１は、入力画像を複数のブロックに分割し（Ｓ１）、各ブロックの代表値Ｒ，Ｇ，Ｂを求める（Ｓ２）。
Ｇｏｕｔ＝Ｇｉｎ×ＧａｉｎＧ ・・・（式２８）
Ｂｏｕｔ＝Ｂｉｎ×ＧａｉｎＢ ・・・（式２９）
＜画像処理装置１の処理手順＞
図１１は、本発明の実施形態に係る画像処理装置の処理手順を説明するためのフローチャートである。まず、画像分割部１１は、入力画像を複数のブロックに分割し（Ｓ１）、各ブロックの代表値Ｒ，Ｇ，Ｂを求める（Ｓ２）。
【0056】
次に、第１の色空間変換部１２は、各ブロックの代表値Ｒ，Ｇ，Ｂを、色差空間に変換し、色評価値とする（Ｓ３）。そして、第１の座標変換部１３は、色評価値を直交座標から極座標に変換する（Ｓ４）。
【0057】
次に、制限枠判定部１４は、ルックアップテーブル１５を参照して、極座標に変換された色評価値の距離ｒと、原点から第２制限枠Ｌ２までの距離ｄ０Ｃとを比較し、色評価値が第２制限枠Ｌ２内にあるか否かを判定する（Ｓ５）。
【0058】
次に、演算部１６は、第２制限枠Ｌ２内に色評価値があるブロック数に応じて、入力画像の代表値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを求め、入力画像の代表値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢから入力画像の目標値（ｒｔ，θｔ）を演算する（Ｓ６）。なお、この処理の詳細は後述する。
【0059】
次に、第２の座標変換部１７は、入力画像の目標値（ｒｔ，θｔ）を、極座標から直交座標に変換する（Ｓ７）。そして、第２の色空間変換部１８は、直交座標に変換された入力画像の目標値を第１の色空間の目標値（Ｒｔ，Ｇｔ，Ｂｔ）に変換する（Ｓ８）。
【0060】
ホワイトバランス調整部１９は、入力画像の目標値（Ｒｔ，Ｇｔ，Ｂｔ）からホワイトバランスを調整する際に用いるホワイトバランスゲインＧａｉｎＲ、ＧａｉｎＧ、ＧａｉｎＢを算出する。そして、ホワイトバランス調整部１９は、入力画像のＲｉｎ，Ｇｉｎ，Ｂｉｎ信号のそれぞれに、ゲインＧａｉｎＲ、ＧａｉｎＧ、ＧａｉｎＢを乗算して、ホワイトバランスを調整する（Ｓ９）。
【0061】
図１２は、図１１に示すステップＳ６の処理を詳細に説明するためのフローチャートである。まず、演算部１６は、第２制限枠Ｌ２内に色評価値があるブロック数に応じて、入力画像の代表値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを求める（Ｓ６１）。
【0062】
次に、第１の色空間変換部１２は、入力画像の代表値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを、色差空間に変換して色評価値とする（Ｓ６２）。そして、第１の座標変換部１３は、色評価値を極座標変換して入力画像の色評価値（ｒｉｎ，θｉｎ）とする（Ｓ６３）。
【0063】
次に、演算部１６は、入力画像の色評価値（ｒｉｎ，θｉｎ）からゲインＧａｉｎを演算する（Ｓ６４）。そして、演算部１６は、ゲインＧａｉｎを用いてホワイトバランスを行う目標値（ｒｔ，θｔ）を求める（Ｓ６５）。
【0064】
以上説明したように、本実施形態に係る画像処理装置１によれば、制限枠判定部１４が、楕円の制限枠Ｌを用いて、色評価値が制限枠Ｌの内にあるか外にあるかを判定するようにした。したがって、制限枠を定義するパラメータの数を削減でき、制限枠の調整を行う際の演算量を低減することが可能となった。
【0065】
また、制限枠判定部１４が、第１の座標変換部１３によって極座標に変換された色評価値を用いて、色評価値が制限枠Ｌの内にあるか外にあるかを判定するようにした。したがって、色評価値の距離ｒと、角度θにおける原点から制限枠Ｌまでの距離とを比較するだけで、色評価値が制限枠Ｌの内にあるか外にあるかを判定することができ、さらに演算量を低減することが可能となった。
【0066】
また、ルックアップテーブル１５が、角度θをアドレスとし、原点から制限枠までの距離をデータとして構成されるため、角度θに基づいて原点から制限枠までの距離を容易に求めることが可能となった。
【0067】
また、演算部１６が、第２制限枠内にあると判定された色評価値のブロック数に応じて入力画像の代表値を求める。そして、第１の色空間変換部１２が、入力画像の代表値を第２の色空間に変換して入力画像の色評価値とし、第１の座標変換部１３が、入力画像の色評価値を直交座標から極座標に変換するようにした。したがって、制限枠判定部１４は、ルックアップテーブル１５を参照して、入力画像の色評価値が第２制限枠内にあるか否かを容易に判定することが可能となった。
【0068】
また、ルックアップテーブル１５は、極座標における角度をアドレスとし、当該角度における、原点から第１制限枠Ｌ１までの距離および第１制限枠Ｌ１から第２制限枠Ｌ２までの距離をデータとして構成される。したがって、制限枠判定部１４は、入力画像の色評価値が第１制限枠および第２制限枠のどの位置にあるかを容易に判定することが可能となった。
【0069】
また、演算部１６は、極座標に変換された入力画像の色評価値が、第１制限枠Ｌ１および第２制限枠Ｌ２のどの位置にあるかに基づいて、入力画像の目標値を求めるためのゲインを算出し、当該ゲインを用いて入力画像の目標値を演算する。したがって、演算部１６は、入力画像の目標値を求めるためのゲインを容易に算出することが可能となった。
【0070】
また、第２の座標変換部１７は、演算部１６によって演算された入力画像の目標値を、極座標から直交座標に変換する。そして、第２の色空間変換部１８は、第２の座標変換部１７によって極座標に変換された入力画像の目標値を、第２の色空間から第１の色空間に変換する。したがって、第１の色空間における入力画像の目標値を算出することが可能となった。
【0071】
また、ホワイトバランス調整部１９は、第２の色空間変換部１８によって第１の色空間に変換された入力画像の目標値に基づいてホワイトバランスゲインを求め、当該ホワイトバランスゲインに応じて入力画像のホワイトバランスを調整する。したがって、ホワイトバランス調整後の出力画像を容易に求めることが可能となった。
【0072】
（実施形態２）
＜画像処理装置１’の構成および動作＞
本発明の実施形態１においては、第１の座標変換部１３が、各ブロックの色評価値を極座標変換し、原点からの距離ｒ、および角度θへ変換するものであった。本発明の実施形態２においては、各ブロックの色評価値を極座標変換せずに、処理を行うものである。
＜画像処理装置１’の構成および動作＞
本発明の実施形態１においては、第１の座標変換部１３が、各ブロックの色評価値を極座標変換し、原点からの距離ｒ、および角度θへ変換するものであった。本発明の実施形態２においては、各ブロックの色評価値を極座標変換せずに、処理を行うものである。
【0073】
図１３は、本発明の実施形態２に係る画像処理装置の機能的構成を示すブロック図である。なお、説明の便宜上、上記実施形態１において説明した部材と同じ機能を有する部材については、同じ符号を付記し、その詳細な説明を繰り返さない。
【0074】
画像処理装置１’は、画像分割部１１と、第１の色空間変換部１２と、制限枠判定部１４’と、ルックアップテーブル１５’と、演算部１６’と、第２の色空間変換部１８と、ホワイトバランス調整部１９とを含む。
【0075】
本実施形態においては、極座標変換を行わないため、角度情報θを取得することができない。そこで、直交座標における座標（ｘ，ｙ）と原点とを結ぶ直線の傾きを次式（式３０）によって求める。
【0076】
傾き＝ｙ／ｘ ・・・（式３０）
ここで、原点を中心とする半径１の円を考えると、角度θに対する座標（ｘ，ｙ）は、次式（式３１）となる。
ここで、原点を中心とする半径１の円を考えると、角度θに対する座標（ｘ，ｙ）は、次式（式３１）となる。
【0077】
（ｘ，ｙ）＝（ｃｏｓθ，ｓｉｎθ） ・・・（式３１）
角度θに対する傾きは、次式（式３２）の通りとなる。
角度θに対する傾きは、次式（式３２）の通りとなる。
【0078】
傾き＝ｓｉｎθ／ｃｏｓθ＝ｔａｎθ ・・・（式３２）
したがって、角度θに相当する傾きｔａｎθと、原点から第１制限枠Ｌ１までの距離ｄ０Ｂと、第１制限枠Ｌ１から第２制限枠Ｌ２までの距離ｄＢＣとでルックアップテーブル１５’を以下の表２のように構成する。
したがって、角度θに相当する傾きｔａｎθと、原点から第１制限枠Ｌ１までの距離ｄ０Ｂと、第１制限枠Ｌ１から第２制限枠Ｌ２までの距離ｄＢＣとでルックアップテーブル１５’を以下の表２のように構成する。
【0079】
【表2】
【0080】
ここで、ｔａｎθの特性より、９０°と２７０°との値が無限大となる。制限枠判定部１４’は、ルックアップテーブル１５’を参照する前に、色評価値（ｕ，ｖ）から求めた傾きの絶対値が５７．２９以上であり、かつ色評価値（ｕ，ｖ）が１象限または第２象限にあれば、角度θを９０°とする。また、制限枠判定部１４’は、色評価値（ｕ，ｖ）から求めた傾きの絶対値が５７．２９以上であり、かつ色評価値（ｕ，ｖ）が第３象限または第４象限にあれば、角度θを２７０°とする。
【0081】
次に、制限枠判定部１４’は、角度θが９０°ではなく、２７０°でもなければ、求めた傾きと、ルックアップテーブル１５’に格納される傾き情報とを比較し、一致する色評価値（ｕ，ｖ）の角度θを取得する。そして、制限枠判定部１４’は、取得した角度θを参照して、ルックアップテーブル１５’から、原点から第１制限枠Ｌ１までの距離ｄ０Ｂと、第１制限枠Ｌ１から第２制限枠Ｌ２までの距離ｄＢＣとを取得する。そして、実施形態１と同様に、色評価値が第１制限枠Ｌ１および第２制限枠Ｌ２のどの位置にあるかを判定する。ここで、ｒｉｎは、上記（式５）を用いて算出するものとする。
【0082】
演算部１６’は、色評価値ｒｉｎがどの位置にあるかによって、以下のようにＧａｉｎを算出する。なお、実施形態１において説明した方法によって、Ｇａｉｎを算出するようにしてもよい。
（ｄ０Ｂ≦ｒｉｎ≦ｄ０Ｃの場合）
Ｇａｉｎ＝（ｒｉｎ－ｄ０Ｂ）／ｄＢＣ ・・・（式３３）
（ｒｉｎ＞ｄ０Ｃの場合）
Ｇａｉｎ＝ｄ０Ｃ／ｒｉｎ ・・・（式３４）
図１４は、入力画像の目標値ｒｔを求めるためのゲインＧａｉｎを説明するための図である。入力画像の色評価値ｒｉｎがｄ０Ｂ以下であれば、Ｇａｉｎは０となる。入力画像の色評価値ｒｉｎがｄ０Ｂ以上、ｄ０Ｃ以下であれば、Ｇａｉｎは、図１４に示すものとなる。また、入力画像の色評価値ｒｉｎがｄ０Ｃ以上であれば、Ｇａｉｎは図１４に示すようなものとなる。
（ｄ０Ｂ≦ｒｉｎ≦ｄ０Ｃの場合）
Ｇａｉｎ＝（ｒｉｎ－ｄ０Ｂ）／ｄＢＣ ・・・（式３３）
（ｒｉｎ＞ｄ０Ｃの場合）
Ｇａｉｎ＝ｄ０Ｃ／ｒｉｎ ・・・（式３４）
図１４は、入力画像の目標値ｒｔを求めるためのゲインＧａｉｎを説明するための図である。入力画像の色評価値ｒｉｎがｄ０Ｂ以下であれば、Ｇａｉｎは０となる。入力画像の色評価値ｒｉｎがｄ０Ｂ以上、ｄ０Ｃ以下であれば、Ｇａｉｎは、図１４に示すものとなる。また、入力画像の色評価値ｒｉｎがｄ０Ｃ以上であれば、Ｇａｉｎは図１４に示すようなものとなる。
【0083】
演算部１６’は、入力画像の目標値（ｕｔ，ｖｔ）を次式（式３５）および（式３６）によって求める。
【0084】
ｕｔ＝ｕ×Ｇａｉｎ ・・・（式３５）
ｖｔ＝ｖ×Ｇａｉｎ ・・・（式３６）
実施形態１において説明したように、距離ｒｉｎに対してＧａｉｎを乗算し、三角関数を用いて目標値（ｕ，ｖ）を求めるようにしてもよいが、本実施形態においては、演算量を削減するために、色評価値（ｕ，ｖ）に直接Ｇａｉｎを乗算するようにしている。
ｖｔ＝ｖ×Ｇａｉｎ ・・・（式３６）
実施形態１において説明したように、距離ｒｉｎに対してＧａｉｎを乗算し、三角関数を用いて目標値（ｕ，ｖ）を求めるようにしてもよいが、本実施形態においては、演算量を削減するために、色評価値（ｕ，ｖ）に直接Ｇａｉｎを乗算するようにしている。
【0085】
図１５は、本発明の実施形態２に係る画像処理装置１’の処理手順を説明するためのフローチャートである。まず、画像分割部１１は、入力画像を複数のブロックに分割し（Ｓ１）、各ブロックの代表値Ｒ，Ｇ，Ｂを求める（Ｓ２）。
【0086】
次に、第１の色空間変換部１２は、各ブロックの代表値Ｒ，Ｇ，Ｂを、色差空間に変換し、色評価値とする（Ｓ３）。
【0087】
次に、制限枠判定部１４’は、ルックアップテーブル１５’を参照して、色評価値の距離ｒと、原点から第２制限枠Ｌ２までの距離ｄ０Ｃとを比較し、色評価値が第２制限枠Ｌ２内にあるか否かを判定する（Ｓ５’）。
【0088】
次に、演算部１６’は、第２制限枠Ｌ２内に色評価値があるブロック数に応じて、入力画像の代表値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを求め、入力画像の代表値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢから入力画像の目標値（ｕｔ，ｖｔ）を演算する（Ｓ６’）。
【0089】
次に、第２の色空間変換部１８は、入力画像の目標値を第１の色空間の目標値（Ｒｔ，Ｇｔ，Ｂｔ）に変換する（Ｓ８’）。
【0090】
ホワイトバランス調整部１９は、入力画像の目標値（Ｒｔ，Ｇｔ，Ｂｔ）からホワイトバランスを調整する際に用いるホワイトバランスゲインＧａｉｎＲ、ＧａｉｎＧ、ＧａｉｎＢを算出する。そして、ホワイトバランス調整部１９は、入力画像のＲｉｎ，Ｇｉｎ，Ｂｉｎ信号のそれぞれに、ゲインＧａｉｎＲ、ＧａｉｎＧ、ＧａｉｎＢを乗算して、ホワイトバランスを調整する（Ｓ９）。
【0091】
図１６は、図１３に示すステップＳ６’の処理を詳細に説明するためのフローチャートである。まず、演算部１６’は、第２制限枠Ｌ２内に色評価値があるブロック数に応じて、入力画像の代表値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを求める（Ｓ６１）。
【0092】
次に、第１の色空間変換部１２は、入力画像の代表値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを、色差空間に変換して色評価値とする（Ｓ６２）。
【0093】
次に、演算部１６’は、入力画像の色評価値（ｕ，ｖ）からゲインＧａｉｎを演算する（Ｓ６４’）。そして、演算部１６’は、ゲインＧａｉｎを用いてホワイトバランスを行う目標値（ｕｔ，ｖｔ）を求める（Ｓ６５’）。
【0094】
以上説明したように、本実施形態に係る画像処理装置においては、直交座標における色評価値の傾きと、原点から制限枠までの距離とをデータとするルックアップテーブルを用いるようにした。したがって、制限枠判定部は、ルックアップテーブルを参照して、入力画像の色評価値が制限枠内にあるか否かを容易に判定することができ、演算量を低減することが可能となった。
【0095】
＜ソフトウェアによる実現例＞
画像処理装置１，１’の制御ブロック（特に、画像分割部１１、第１の色空間変換部１２、第１の座標変換部１３、制限枠判定部１４，１４’、演算部１６，１６’、第２の座標変換部１７、第２の色空間変換部１８、ホワイトバランス調整部１９）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
画像処理装置１，１’の制御ブロック（特に、画像分割部１１、第１の色空間変換部１２、第１の座標変換部１３、制限枠判定部１４，１４’、演算部１６，１６’、第２の座標変換部１７、第２の色空間変換部１８、ホワイトバランス調整部１９）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【0096】
後者の場合、制御部ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0097】
［まとめ］
本発明の態様１に係る画像処理装置は、入力画像を複数のブロックに分割する画像分割部と、画像分割部によって分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換する第１の色空間変換部と、第２の色空間に変換された複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定する制限枠判定部と、制限枠判定部によって判定された位置関係に基づいて、出力画像を求めるためのゲインを演算する演算部と、演算部によって演算されたゲインに基づいて、入力画像のホワイトバランスを調整するホワイトバランス調整部とを備える。
本発明の態様１に係る画像処理装置は、入力画像を複数のブロックに分割する画像分割部と、画像分割部によって分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換する第１の色空間変換部と、第２の色空間に変換された複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定する制限枠判定部と、制限枠判定部によって判定された位置関係に基づいて、出力画像を求めるためのゲインを演算する演算部と、演算部によって演算されたゲインに基づいて、入力画像のホワイトバランスを調整するホワイトバランス調整部とを備える。
【0098】
上記の構成によれば、制限枠を定義するパラメータの数を削減でき、制限枠の調整を行う際の演算量を低減することが可能となる。
【0099】
本発明の態様２に係る画像処理装置は、上記態様１において、画像処理装置はさらに、角度をアドレスとし、当該角度における、直交座標における色評価値の傾きと、原点から制限枠までの距離とをデータとするルックアップテーブルを備え、制限枠判定部は、ルックアップテーブルを参照して、複数のブロックの色評価値が制限枠内にあるか否かを判定する。
【0100】
上記の構成によれば、制限枠判定部は、ルックアップテーブルを参照して、入力画像の色評価値が制限枠内にあるか否かを容易に判定することができ、さらに演算量を低減することが可能となる。
【0101】
本発明の態様３に係る画像処理装置は、上記態様１において、画像処理装置はさらに、第２の色空間に変換された複数のブロックの色評価値を、直交座標から極座標に変換する第１の座標変換部を備え、制限枠判定部は、極座標に変換された複数のブロックの色評価値と制限枠との位置関係を判定する。
【0102】
上記の構成によれば、色評価値の距離と、角度における原点から制限枠までの距離とを比較するだけで、色評価値と制限枠との位置関係を判定することができ、さらに演算量を低減することが可能となる。
【0103】
本発明の態様４に係る画像処理装置は、上記態様３において、画像処理装置はさらに、極座標における角度をアドレスとし、当該角度における、原点から制限枠までの距離をデータとするルックアップテーブルを備え、制限枠判定部は、ルックアップテーブルを参照して、極座標に変換された複数のブロックの色評価値が制限枠内にあるか否かを判定する。
【0104】
上記の構成によれば、制限枠判定部は、ルックアップテーブルを参照して、入力画像の色評価値が制限枠内にあるか否かを容易に判定することができ、さらに演算量を低減することが可能となる。
【0105】
本発明の態様５に係る画像処理装置は、上記態様４において、演算部は、制限枠判定部によって制限枠内にあると判定された色評価値のブロック数に応じて、入力画像の代表値を求め、第１の色空間変換部は、入力画像の代表値を、第１の色空間から第２の色空間に変換して入力画像の色評価値とし、第１の座標変換部は、入力画像の色評価値を、直交座標から極座標に変換する。
【0106】
上記の構成によれば、制限枠判定部は、入力画像の色評価値が制限枠内にあるか否かを容易に判定することが可能となる。
【0107】
本発明の態様６に係る画像処理装置は、上記態様４または５において、制限枠は、原点を含む楕円形の第１制限枠と、第１制限枠を覆う楕円形の第２制限枠とを含み、ルックアップテーブルは、極座標における角度をアドレスとし、当該角度における、原点から第１制限枠までの距離および第１制限枠から第２制限枠までの距離をデータとして構成され、制限枠判定部は、ルックアップテーブルを参照して、極座標に変換された入力画像の色評価値が第１制限枠内にあるか、第１制限枠から第２制限枠までの範囲内にあるか、第２制限枠の外にあるかを判定する。
【0108】
上記の構成によれば、制限枠判定部は、入力画像の色評価値が第１制限枠および第２制限枠のどの位置にあるかを容易に判定することが可能となる。
【0109】
本発明の態様７に係る画像処理装置は、上記態様６において、演算部は、極座標に変換された入力画像の色評価値が、第１制限枠および第２制限枠のどの位置にあるかに基づいて、入力画像の目標値を求めるためのゲインを算出し、当該ゲインを用いて入力画像の目標値を演算する。
【0110】
上記の構成によれば、演算部は、入力画像の目標値を求めるためのゲインを容易に算出することが可能となる。
【0111】
本発明の態様８に係る画像処理装置は、上記態様７において、画像処理装置はさらに、演算部によって演算された入力画像の目標値を、極座標から直交座標に変換する第２の座標変換部と、第２の座標変換部によって直交座標に変換された入力画像の目標値を、第２の色空間から第１の色空間に変換する第２の色空間変換部とを含む。
【0112】
上記の構成によれば、第１の色空間における入力画像の目標値を算出することが可能となる。
【0113】
本発明の態様９に係る画像処理装置は、上記態様８において、ホワイトバランス調整部は、第２の色空間変換部によって第１の色空間に変換された入力画像の目標値に基づいてホワイトバランスゲインを求め、ホワイトバランスゲインに応じて入力画像のホワイトバランスを調整する。
【0114】
上記の構成によれば、ホワイトバランス調整後の出力画像を容易に求めることが可能となる。
【0115】
本発明の態様１０に係る画像処理方法は、入力画像を複数のブロックに分割するステップと、分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換するステップと、第２の色空間に変換された複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定するステップと、判定された位置関係に基づいて、出力画像を求めるためのゲインを演算するステップと、演算されたゲインに基づいて、入力画像のホワイトバランスを調整するステップとを含む。
【0116】
上記の構成によれば、制限枠を定義するパラメータの数を削減でき、制限枠の調整を行う際の演算量を低減することが可能となる。
【0117】
本発明の態様１１に係るコンピュータプログラムは、コンピュータに画像処理方法を行わせるためのコンピュータプログラムであって、画像処理方法は、入力画像を複数のブロックに分割するステップと、分割された複数のブロックのそれぞれの第１の色空間における代表値を、色差信号を用いた第２の色空間に変換するステップと、第２の色空間に変換された複数のブロックの代表値に基づく色評価値と楕円形の制限枠との位置関係を判定するステップと、判定された位置関係に基づいて、出力画像を求めるためのゲインを演算するステップと、演算されたゲインに基づいて、入力画像のホワイトバランスを調整するステップとを含む。
【0118】
上記の構成によれば、制限枠を定義するパラメータの数を削減でき、制限枠の調整を行う際の演算量を低減することが可能となる。
【0119】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【0120】
１，１’ 画像処理装置
１１ 画像分割部
１２ 第１の色空間変換部
１３ 第１の座標変換部
１４，１４’ 制限枠判定部
１５，１５’ ルックアップテーブル
１６，１６’ 演算部
１７ 第２の座標変換部
１８ 第２の色空間変換部
１９ ホワイトバランス調整部
１１ 画像分割部
１２ 第１の色空間変換部
１３ 第１の座標変換部
１４，１４’ 制限枠判定部
１５，１５’ ルックアップテーブル
１６，１６’ 演算部
１７ 第２の座標変換部
１８ 第２の色空間変換部
１９ ホワイトバランス調整部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】