特許 7583898 オートホワイトバランス処理方法および装置、撮影装置、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-06

(45)【発行日】2024-11-14

(54)【発明の名称】オートホワイトバランス処理方法および装置、撮影装置、記憶媒体

(51)【国際特許分類】

   H04N 9/73 20230101AFI20241107BHJP

   G06T 7/90 20170101ALI20241107BHJP

   H04N 23/88 20230101ALI20241107BHJP

【ＦＩ】

H04N9/73 B

G06T7/90 D

H04N23/88

【請求項の数】 11

(21)【出願番号】P 2023195971

(22)【出願日】2023-11-17

【審査請求日】2023-11-17

(73)【特許権者】

【識別番号】323014029

【氏名又は名称】アキュートロジック株式会社

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(74)【代理人】

【識別番号】100185269

【弁理士】

【氏名又は名称】小菅 一弘

(72)【発明者】

【氏名】新井 恵美

(72)【発明者】

【氏名】吉田 敏明

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】特開２００７－１３４１５（ＪＰ，Ａ）

【文献】特開２０１４－７６１１（ＪＰ，Ａ）

【文献】特開２０２１－１６８４６５（ＪＰ，Ａ）

【文献】国際公開第２０１６／１７５１７８（ＷＯ，Ａ１）

【文献】特表２００９－５０６７００（ＪＰ，Ａ）

【文献】特開２０１５－２０４５３２（ＪＰ，Ａ）

【文献】特開２０１４－７５２８（ＪＰ，Ａ）

【文献】特開２０１４－６７４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ９／００－９／８９８

Ｈ０４Ｎ ２３／８３－２３／８８

Ｈ０４Ｎ １／４０－１／６４

Ｇ０９Ｇ ５／００－５／４２

Ｇ０６Ｔ １／００－７／９０

(57)【特許請求の範囲】

【請求項1】

画像をブロック分割し、各画像ブロック毎に含まれる画素の明るさ情報を算出し、前記各画像ブロック毎に前記明るさ情報の統計処理を行う統計解析ステップと、
前記各画像ブロックの前記統計処理の結果に基づいて、前記各画像ブロックのそれぞれを同一の物体色とみなすグループに分類する分類処理ステップと、
前記分類の結果に基づいて、ホワイトバランスゲイン算出用の画像ブロックを抽出する抽出処理ステップと、
抽出された画像ブロックにおける鏡面反射成分からホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、を含み、
前記統計解析ステップにおいて、各画像ブロックの画素の明るさ情報に基づいて、各画像ブロックの明るさレベルが異なる複数の画素群のうち、最も明るいレベルの画素群と次に明るいレベルの画素群を特定し、特定した前記最も明るいレベルの画素群と次に明るいレベルの画素群の画素値平均を算出し、
前記分類処理ステップにおいて、各画像ブロック毎に、前記統計解析ステップで算出された最も明るいレベルの画素群の前記画素値平均と次に明るいレベルの画素群の前記画素値平均のそれぞれに基づいて前記分類を行う、
ことを特徴とするオートホワイトバランス処理方法。

【請求項2】

前記分類処理ステップにおいて、前記統計解析ステップで算出された各画素の明るさ情報の平均が所定の値よりも低い画像ブロック、および各画素の画素値情報の平均が前記画像ブロックのすべてに基づいた画素値情報の平均から所定値以上外れている画像ブロックを除去して、前記分類を行う、ことを特徴とする請求項１に記載のオートホワイトバランス処理方法。

【請求項3】

前記抽出処理ステップにおいて、
前記統計解析ステップで算出された各画像ブロックの前記最も明るいレベルの画素群の明るさ情報で前記画像ブロックをソートし、ソートに基づいて所定数の画像ブロックを第１の画像ブロックとして抽出し、
前記統計解析ステップで算出された各画像ブロックの前記次に明るいレベルの画素群の明るさ情報で前記画像ブロックをソートし、ソートに基づいて前記所定数の画像ブロックを第２の画像ブロックとして抽出する、ことを特徴とする請求項１に記載のオートホワイトバランス処理方法。

【請求項4】

前記抽出処理ステップにおいて、前記分類の結果に基づいて、前記所定数の前記第１の画像ブロックの分類されたグループの類別と前記所定数の前記第２の画像ブロックの分類されたグループの類別とが同じになるように、前記第１の画像ブロックと前記第２の画像ブロックをホワイトバランスゲイン算出用の画像ブロックとして抽出する、ことを特徴とする請求項３に記載のオートホワイトバランス処理方法。

【請求項5】

前記抽出処理ステップにおいて、彩度又は色相範囲が前記最も明るいレベルの画素群に対して所定の値以上外れている前記次に明るいレベルの画素群をもつ画像ブロックを除去する、ことを特徴とする請求項３に記載のオートホワイトバランス処理方法。

【請求項6】

前記抽出処理ステップにおいて、前記最も明るいレベルの画素群および前記次に明るいレベルの画素群の画素数が、前記第１の画像ブロックと前記第２の画像ブロックのもつ前記最も明るいレベルの画素群および前記次に明るいレベルの画素群の画素数の平均より、所定の値以上小さい画像ブロックを除去する、ことを特徴とする請求項３に記載のオートホワイトバランス処理方法。

【請求項7】

前記ホワイトバランスゲイン算出ステップにおいて、前記抽出処理ステップで抽出された、ホワイトバランスゲイン算出用の画像ブロックの最も明るいレベルの画素群の画素値平均と次に明るいレベルの画素群の画素値平均に基づいて、鏡面反射成分を求め、前記鏡面反射成分に基づいてホワイトバランスゲインを算出する、ことを特徴とする請求項３に記載のオートホワイトバランス処理方法。

【請求項8】

前記ホワイトバランスゲイン算出ステップは、前記統計解析ステップで算出された各画像ブロックの画素値平均の標準偏差が所定の値よりも小さくなる場合、前記抽出処理ステップで抽出されたホワイトバランスゲイン算出用の画像ブロックの前記最も明るいレベルの画素群の画素値平均に基づいて、ホワイトバランスゲインを算出するステップを含む、ことを特徴とする請求項３に記載のオートホワイトバランス処理方法。

【請求項9】

画像をブロック分割し、各画像ブロック毎に含まれる画素の明るさ情報を算出し、前記各画像ブロック毎に前記明るさ情報の統計処理を行う統計解析部と、
前記各画像ブロックの前記統計処理の結果に基づいて、前記各画像ブロックのそれぞれを同一の物体色とみなすグループに分類する分類処理部と、
前記分類の結果に基づいて、ホワイトバランスゲイン算出用の画像ブロックを抽出する抽出処理部と、
抽出された画像ブロックにおける鏡面反射成分からホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、を含み、
前記統計解析部は、各画像ブロックの画素の明るさ情報に基づいて、各画像ブロックの明るさレベルが異なる複数の画素群のうち、最も明るいレベルの画素群と次に明るいレベルの画素群を特定し、特定した前記最も明るいレベルの画素群と次に明るいレベルの画素群の画素値平均を算出し、
前記分類処理部は、各画像ブロック毎に、前記統計解析部が算出した最も明るいレベルの画素群の前記画素値平均と次に明るいレベルの画素群の前記画素値平均のそれぞれに基づいて前記分類を行う、
ことを特徴とするオートホワイトバランス処理装置。

【請求項10】

プロセッサと、
プロセッサにより実行可能な命令を記憶するための記憶部と、を含み、
前記プロセッサは、前記記憶部に記憶されている命令を実行すると、請求項１～８のいずれか一項に記載のオートホワイトバランス処理方法を実行するように構成される、ことを特徴とする撮影装置。

【請求項11】

コンピュータプログラム命令が記憶されている不揮発性コンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１～８のいずれか一項に記載のオートホワイトバランス処理方法を実現させる、ことを特徴とする不揮発性コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、デジタル映像分野に関し、特にオートホワイトバランス処理方法および装置、撮影装置、不揮発性コンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

携帯電話などのデジタルカメラやビデオカメラを搭載した機器には、センサから出力される画像に対して自動的にホワイトバランス調整を行うオートホワイトバランス機能が搭載されていることが多い。

【0003】

オートホワイトバランス機能は、一般的に、シーンの平均色が無彩色であると仮定して全ての画素の積分値からホワイトバランスの補正係数を求める方法や、白色領域に含まれる画素の積分値から補正係数を求める方法がある。また、あらかじめ標準光源についてセンサのＲＧＢ感度を測定しておき補正係数の算出精度を上げるキャリブレーション手法が併用されることが多い。

【0004】

前述の手法では、シーンに含まれる彩度・色相が偏っていたり、白色領域が存在しない場合には正しい結果が得られない。また、白色領域はユーザーが調整できるパラメータで指定することが多く、調整結果が性能に大きな影響を及ぼし、本来の性能より大きく劣化することもある。キャリブレーションについては正しく校正された機材が必要であり、コスト面で問題が発生する場合がある。また、調整やキャリブレーションのための測定には多大な工数を要する。

【0005】

シーンに含まれる情報から光源を推定し、光源色が白色になるようにホワイトバランスの補正係数を求めることは前述の問題を解決するために有効な方法である。光源の推定には、二色性反射モデルに基づき、反射光を鏡面反射成分と拡散反射成分に分離して鏡面反射成分を光源として抽出する手法が開発されている。

【0006】

従来手法では、２種類の充分明るい領域を用いて、これらの両領域に含まれる拡散反射成分を除去し、鏡面反射成分のみを抽出する。この処理の前提として、両領域の拡散反射成分すなわち物体色は同じであり、鏡面反射成分は強度のみ異なる同じ光源でなければならない。しかし、その条件を満たす両領域の選択方法は明確になっていない。画像全体から両領域を選定して平均的な値を取り扱う、または同じ物体の同じ光源による反射光はおそらく明るさも近いであろうという仮定の基に画像の一部から両領域を選定する方法が提案されているが、これらの方法は、必ずしも正しい光源推定結果を得られるものではない。

【発明の概要】

【0007】

本開示は、上記実情に鑑みて、光源推定の精度を向上させ、オートホワイトバランス処理の性能を改善することができるオートホワイトバランス処理方法および装置、撮影装置、不揮発性コンピュータ読み取り可能な記憶媒体を提案する。

【0008】

本開示の一の態様によれば、画像をブロック分割し、各画像ブロック毎に含まれる画素の明るさ情報を算出し、前記各画像ブロック毎に前記明るさ情報の統計処理を行う統計解析ステップと、
前記各画像ブロックの前記統計処理の結果に基づいて、前記各画像ブロックのそれぞれを同一の物体色とみなすグループに分類する分類処理ステップと、前記分類の結果に基づいて、ホワイトバランスゲイン算出用の画像ブロックを抽出する抽出処理ステップと、抽出された画像ブロックにおける鏡面反射成分からホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、を含むオートホワイトバランス処理方法を提供する。

【0009】

本開示の別の態様によれば、画像をブロック分割し、各画像ブロック毎に含まれる画素の明るさ情報を算出し、前記各画像ブロック毎に前記明るさ情報の統計処理を行う統計解析部と、前記各画像ブロックの前記統計処理の結果に基づいて、前記各画像ブロックのそれぞれを同一の物体色とみなすグループに分類する分類処理部と、前記分類の結果に基づいて、ホワイトバランスゲイン算出用の画像ブロックを抽出する抽出処理部と、抽出された画像ブロックにおける鏡面反射成分からホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、を含むオートホワイトバランス処理装置を提供する。

【0010】

本開示の別の態様によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するための記憶部と、を含み、前記プロセッサは、前記記憶部に記憶されている命令を実行すると、上述したオートホワイトバランス処理方法を実行するように構成される撮影装置を提供する。

【0011】

本開示の別の態様によれば、コンピュータプログラム命令が記憶されている不揮発性コンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上述したオートホワイトバランス処理方法を実現させる不揮発性コンピュータ読み取り可能な記憶媒体を提供する。

【0012】

本開示の別の態様によれば、コンピュータ読み取り可能なコード又はコンピュータ読み取り可能なコードを記憶する不揮発性コンピュータ読み取り可能な記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて動作すると、前記電子機器のプロセッサに上述したオートホワイトバランス処理方法を実行させるコンピュータプログラム製品を提供する。

【0013】

本開示の各態様のオートホワイトバランス処理方法および装置、撮影装置、コンピュータ読み取り可能な記憶媒体によれば、画像信号の明るさ情報を参照することで鏡面反射成分と拡散反射成分を含む領域を抽出して分類し、同一グループに分類された領域を同一の物体色による反射光とみなすことで、適切な光源色が得られ、適切なホワイトバランス補正係数を求めることを可能とする。これにより、高精度の光源推定を実現し、オートホワイトバランス処理の性能を改善することができる。

【0014】

以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴及び方面は明瞭になる。

【図面の簡単な説明】

【0015】

明細書の一部をなす図面は明細書と共に、本開示の例示的な実施例、特徴及び態様を示し、本開示の原理を解釈するために用いられる。

【図1】図１は本開示の一実施例に係るオートホワイトバランス処理方法のフローチャートを示す。

【図2】図２は本開示の別の実施例に係るオートホワイトバランス処理方法のフローチャートを示す。

【図3】図３はセンサから出力される画像をブロック分割する例を示す。

【図4】図４は一つの画像ブロックにおける各画素のレベル分けの例を示す。

【図5】図５は最も明るいレベルの画素群と次に明るいレベルの画素群の画素値平均、画素数を格納した表の一例を示す。

【図6】図６はＢｌｏｃｋＩｄｘ、Ｒ／Ｇ、Ｂ／Ｇ、ｕｓｅＩｄｘを格納した表の一例を示す。

【図7】図７は明るさ情報によるブロック除去処理の一例を示す。

【図8】図８は画像ブロックに対する分類を格納した表の一例を示す。

【図9】図９はソートされたｕｓｅＩｄｘ１及びｕｓｅＩｄｘ２と、図５のＲ１、Ｇ１、Ｂ１、Ｃｎｔ１、Ｒ２、Ｇ２、Ｂ２及びＣｎｔ２と、図８のＧｒｏｕｐ１、Ｇｒｏｕｐ２とを統合した表の一例を示す。

【図10】図１０は図９の表からｕｓｅＩｄｘ１＝２４が除去された場合の更新後の表の一例を示す。

【図11】図１１の（Ａ）、（Ｂ）、（Ｃ）はＤＮＧに保存されているホワイトバランスゲイン、従来手法で求めたホワイトバランスゲイン、本開示の提案手法により求めたホワイトバランスゲインをそれぞれ適用してホワイトバランス処理した写真の一例を示す。

【図12】図１２は例示的な実施例に係るオートホワイトバランス処理装置のブロック図である。

【図13】図１３は実施例に係るオートホワイトバランス処理装置を適用した撮影装置の構成例を示す。

【発明を実施するための形態】

【0016】

以下、図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面において、同じ符号は、機能が同じまたは類似する要素を表す。図面において実施例の様々な態様を示したが、特に明記されていない限り、図面は、必ずしも原寸に比例しているとは限らない。

【0017】

ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は、必ずしも他の実施例より好ましい又は優れたものであると解釈されるとは限らない。

【0018】

また、本開示をより良く説明するために、以下の具体的な実施形態には多くの具体的な細部が示されている。当業者であれば、何らかの具体的な細部がなくても、本開示は同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、素子および回路について、詳細な説明を行わない。

【0019】

関連技術では、オートホワイトバランス処理の手法として、二色性反射モデルに基づき、画素の明るさに着目した鏡面反射成分と拡散反射成分を分離する手法が提案されているが、ホワイトバランス処理性能が必ずしも十分でないという課題がある。この問題を解決するために、２種類の充分明るい領域を抽出する際に、似た色の領域を選定することで処理の精度を向上することを検討して、本開示を達成した。本開示では、同一の物体色と見なされる反射光の領域の抽出により光源推定の精度を向上させることで、上記の課題を解決した。

【0020】

本開示では、図１に示すように、携帯電話、デジタルスチルカメラ・ビデオカメラ、カメラモジュール、イメージシグナルプロセッサ、画像処理ソフトウェア等、ホワイトバランス補正を必要とする製品群で実行されるオートホワイトバランス処理方法を提案する。

【0021】

図１に示す実施例では、オートホワイトバランス処理方法は以下のステップを含んでもよい。

【0022】

ステップＳ１１０（統計解析ステップ）：画像をブロック分割し、各画像ブロック毎に含まれる画素の明るさ情報を算出し、前記各画像ブロック毎に前記明るさ情報の統計処理を行う。

【0023】

本実施例では、センサから出力されたＲａｗ画像をブロック分割し、各画像ブロック毎に含まれる画素の明るさ情報を算出し、各画像ブロック毎に明るさ情報の統計処理を行う。

【0024】

１つの可能な実現形態では、各画像ブロックの画素の明るさ情報に基づいて、各画像ブロックの、明るさレベルが異なる複数の画素群のうち、最も明るいレベルの画素群と次に明るいレベルの画素群を特定し、特定した最も明るいレベルの画素群と次に明るいレベルの画素群の画素値平均を算出する。

【0025】

また、最も明るいレベルの画素群の画素が飽和画素である場合、最も明るいレベルの画素群から一段暗い画素群を最も明るいレベルの画素群とし、次に明るいレベルの画素群から一段暗い画素群を次に明るいレベルの画素群とすることが可能である。

【0026】

ステップＳ１２０（分類処理ステップ）：前記各画像ブロックの前記統計処理の結果に基づいて、前記各画像ブロックのそれぞれを同一の物体色とみなすグループに分類する。

【0027】

本実施例では、各画像ブロックの明るさ情報の統計処理結果を任意の空間に変換して、各画像ブロックの画素値情報が生成され、各画像ブロックの画素値情報に基づいて、各画像ブロックのそれぞれを同一の物体色とみなされるグループに分類する。つまり、各画像ブロックの明るさ情報の統計処理結果を任意の空間に変換して、各画像ブロックの画素値情報が生成され、各画像ブロックの画素値情報に基づいて、各画像ブロックを異なるグループに分け、グループ毎の画像ブロックは、同一の物体色からの反射によるものとみなされる。

【0028】

１つの可能な実現形態では、各画像ブロック毎に、統計解析ステップで算出された最も明るいレベルの画素群の前記画素値平均と次に明るいレベルの画素群の前記画素値平均のそれぞれに基づいて分類を行う。例えば、統計解析ステップで算出された各ブロックの最も明るいレベルの画素群と次に明るいレベルの画素群の画素値平均について任意の空間でグループ化処理を行う。また、統計解析ステップで算出された各画素の明るさ情報の平均が所定の値よりも低い画像ブロック、および各画素の画素値情報の平均が画像ブロックのすべてに基づいた画素値情報の平均から所定値以上外れている画像ブロックを除去して、分類を行ってもよい。

【0029】

ステップＳ１３０（抽出処理ステップ）：分類の結果に基づいて、ホワイトバランスゲイン算出用の画像ブロックを抽出する。

【0030】

本実施例では、分類の結果に基づいて、ホワイトバランスゲイン算出用の鏡面反射成分と拡散反射成分を含む画像ブロックを抽出する。

【0031】

１つの可能な実現形態では、統計解析ステップで算出された各画像ブロックの前記最も明るいレベルの画素群の明るさ情報で画像ブロックをソートし、ソートに基づいて所定数の画像ブロックを第１の画像ブロックとして抽出し、統計解析ステップで算出された各画像ブロックの次に明るいレベルの画素群の明るさ情報で画像ブロックをソートし、ソートに基づいて前記所定数の画像ブロックを第２の画像ブロックとして抽出する。例えば、ソートに採用される明るさ情報は、最も明るいレベルの画素群又は次に明るいレベルの画素群の画素値平均である。

【0032】

また、分類の結果に基づいて、前記所定数の第１の画像ブロックの分類されたグループの類別と前記所定数の第２の画像ブロックの分類されたグループの類別とが同じになるように、前記第１の画像ブロックと前記第２の画像ブロックをホワイトバランスゲイン算出用の画像ブロックとして抽出してもよい。例えば、同一の物体色とみなされる画像ブロックが鏡面反射成分と拡散反射成分を含む場合にその彩度・色相がほぼ同じとなることを利用し、分類の結果を参照して、第１の画像ブロックの分類されたグループのグループ番号の種類と第２の画像ブロックの分類されたグループのグループ番号の種類とが同じように、第１の画像ブロックと第２の画像ブロックをホワイトバランスゲイン算出用の画像ブロックとして抽出してもよい。

【0033】

また、彩度又は色相範囲が最も明るいレベルの画素群に対して所定の値以上外れている次に明るいレベルの画素群をもつ画像ブロックを除去してもよい。例えば、最も明るいレベルの画素群と次に明るいレベルの画素群の彩度・色相がほぼ同じ範囲に分布することから、彩度・色相範囲が最も明るいレベルの画素群に対して所定の値以上外れている次に明るいレベルの画素群をもつ画像ブロックを除去してもよい。

【0034】

また、最も明るいレベルの画素群および次に明るいレベルの画素群の画素数が、第１の画像ブロックと第２の画像ブロックのもつ最も明るいレベルの画素群および次に明るいレベルの画素群の画素数の平均より、所定の値以上小さい画像ブロックを除去してもよい。例えば、ブロックの最も明るいレベルの画素群および次に明るいレベルの画素群の画素数が、第１の画像ブロックと第２の画像ブロックのもつ最も明るいレベルの画素群および次に明るいレベルの画素群の画素数の平均より、所定の値以上小さい場合、該当のブロックをノイズとして除去してもよい。

【0035】

ステップＳ１４０（ホワイトバランスゲイン算出ステップ）：抽出された画像ブロックにおける鏡面反射成分からホワイトバランスゲインを算出する。

【0036】

１つの可能な実現形態では、抽出処理ステップで抽出されたホワイトバランスゲイン算出用の画像ブロックの最も明るいレベルの画素群の画素値平均と次に明るいレベルの画素群の画素値平均に基づいて、鏡面反射成分を求め、鏡面反射成分に基づいてホワイトバランスゲインを算出する。例えば、画像ブロックの画素値統計量の差分をとることで鏡面反射成分と拡散反射成分を分離し、鏡面反射成分及び画素値統計量からホワイトバランスゲインを算出してもよい。

【0037】

また、統計解析ステップで算出された各画像ブロックの画素値平均の標準偏差が所定の値よりも小さくなる場合、抽出処理ステップで抽出されたホワイトバランスゲイン算出用の画像ブロックの最も明るいレベルの画素群の画素値平均に基づいて、ホワイトバランスゲインを算出してもよい。例えば、ホワイトチャートやカラーチャートの白パッチなど、ほぼ光源色の拡散反射成分で構成されるものである場合には、鏡面反射成分と拡散反射成分の分離は必要ない。そのような場合に、鏡面反射成分でなく、白色成分である拡散反射成分のみでホワイトバランスを計算する。

【0038】

実施例によれば、画像信号の明るさ情報を参照することで鏡面反射成分と拡散反射成分を含む領域を抽出して分類し、同一グループに分類された領域を同一の物体色による反射光とみなすことで、適切な光源色が得られ、適切なホワイトバランス補正係数を求めることを可能とする。これにより、高精度の光源推定を実現し、オートホワイトバランス処理の性能を改善することができる。

【0039】

二色性反射モデルによるホワイトバランスゲインの算出では、最も明るい領域、およびそれより少し暗い、次に明るい領域は、鏡面反射成分と拡散反射成分を含むと考え、それぞれ下記のように記述できる。
I1 = f1*Spec + Diff
I2 = f2*Spec + Diff … (1)
Ｉ１は最も明るい領域の強度を示し、Ｉ２は次に明るい領域の強度を示す。Ｓｐｅｃは鏡面反射成分の強度であり、Ｄｉｆｆは拡散反射成分の強度である。ｆ１は最も明るい領域における鏡面反射成分の比率を示し、ｆ２は次に明るい領域における鏡面反射成分の比率を示す。この強度についての式は、３刺激値の各値に適用することができる（ＲＧＢであれば、Ｒ、Ｇ、Ｂのそれぞれに適用できる）。

【0040】

拡散反射成分は共通のため、Ｉ１とＩ２を減算すれば、拡散反射成分を除去した式が得られる。
I1-I2 = (f1-f2)*Spec … (2)

【0041】

Ｒ、Ｇ、Ｂの各刺激値に適用した場合、下記のように記述することができる。
R1-R2 = (f1-f2)*Spec_r
G1-G2 = (f1-f2)*Spec_g
B1-B2 = (f1-f2)*Spec_b … (3)
Ｒ１、Ｇ１、Ｂ１はＩ１の各刺激値の値であり、Ｒ２、Ｇ２、Ｂ２はＩ２の各刺激値の値であり、Ｓｐｅｃ＿ｒ、Ｓｐｅｃ＿ｇ、Ｓｐｅｃ＿ｂはＳｐｅｃの各刺激値の値である。

【0042】

鏡面反射成分のＲＧＢ比、即ちＳｐｅｃ＿ｒ／Ｓｐｅｃ＿ｇ、Ｓｐｅｃ＿ｂ／Ｓｐｅｃ＿ｇは、（３）における（Ｒ１－Ｒ２）／（Ｇ１－Ｇ２）、（Ｂ１－Ｂ２）／（Ｇ１－Ｇ２）と同値であることは明らかである。つまり、最も明るい領域の強度と次に明るい領域の強度の差分をとることで、光源である鏡面反射成分のＲＧＢ比を取得でき、それをホワイトバランスゲインの計算に用いることができる。

【0043】

前述の計算の前提として、Ｉ１とＩ２のＳｐｅｃ及びＤｉｆｆは同じである必要がある。
本発明では、できるだけ近いＳｐｅｃとＤｉｆｆを持つＩ１、Ｉ２を抽出する手法を提供する。

【0044】

図２は本開示の別の実施例に係るオートホワイトバランス処理方法のフローチャートを示す。図２に示すように、当該オートホワイトバランス処理方法は、以下のステップを含んでもよい。

【0045】

ステップＳ２０１：センサから出力された画像をブロック分割して複数の画像ブロックが得られる。

【0046】

センサから出力された画像を任意のブロック数に分割してもよい。例えば、図３に示すように、５行６列の３０分割とし、分割した各画像ブロックにはＩＤ番号をつける。

【0047】

ステップＳ２０２：各画像ブロックの画素値を明るさレベル毎に分類する。

【0048】

例えば、各画像ブロックの画素値を、任意の分割数にレベル分けされた明るさレベル毎に分類する。具体的には、各画像ブロックの画素を、画素値の明るさを基準にｎレベルに分ける（例：ｎ＝１６）。例えばＲＧＧＢ等のＢａｙｅｒ配列の場合、２×２の単位を１画素として扱い、ＧｒとＧｂの画素値平均を明るさとする。

【0049】

図４は一つの画像ブロックにおける各画素のレベル分けの例を示す。Ｌｖ０、Ｌｖ１は暗い部分を示し、Ｌｖ１４、Ｌｖ１５は明るい部分を示す。

【0050】

ステップＳ２０３：画素値を明るさレベル毎に集計する。

【0051】

例えば、レベル分けされた明るさレベル毎に各チャネル（例：ＲＧＢ）の画素値の積算値と画素数を算出し、メモリに格納する。

【0052】

ステップＳ２０４：最も明るいレベルの画素群および次に明るいレベルの画素群の画素値平均を算出する。

【0053】

ステップＳ２０３でレベル分けした画素のうち、上位ｍ１レベル（例：ｍ１＝３）の画素値の平均値を求める。これをＲ１、Ｇ１、Ｂ１と置く。さらに、対象の画素数Ｃｎｔ１も求める。

【0054】

次に、上位ｍ１レベルのすぐ下のレベルからｍ２レベル（例：ｍ２＝３）の画素値の平均値を求める。これをＲ２、Ｇ２、Ｂ２と置く。さらに、対象の画素数Ｃｎｔ２も求める。

【0055】

最も明るいレベルの画素群および次に明るいレベルの画素群の画素値平均を算出する前に、飽和領域判定処理を行うことが好ましい。

【0056】

具体的には、明るさレベルが最高レベルに属する画素値が飽和画素と認められる場合（ＲＧＢチャネル全ての画素値が画素値のビット幅で示せる最大の値である場合、または、センサから出力された画像が飽和画素値のスレッショルドを持つ場合にＲＧＢチャネル全ての画素値が当該スレッショルドを超える場合）、飽和画素数が予め設定した数を超えており、飽和画素が含まれる画像ブロックが予め設定した数を超えている場合、センサから出力された画像は飽和領域を持つと判断する。

【0057】

センサから出力された画像が飽和領域を持つと判断された場合、上位ｍ１レベルの選択に最高レベル（例：Ｌｖ１５）を含めず、一段低いＬｖ１４から下にシフトすることで、飽和画素による不正確性を回避することができる。当該処理に伴い、ｍ２レベルも下にシフトする。

【0058】

上記計算は各ブロックについて実施する。求めた平均値及び画素数は、図５の表に示すメモリ領域に格納してもよい。図５の表のＢｌｏｃｋＩｄｘ１、ＢｌｏｃｋＩｄｘ２はそれぞれ、ステップＳ２０１で分割した画像ブロックのブロック番号を示す。

【0059】

ステップＳ２０５：算出された最も明るいレベルの画素群および次に明るいレベルの画素群の画素値平均について色空間変換を行う。

【0060】

具体的には、ステップＳ２０４で算出されたＲ１、Ｇ１、Ｂ１について、Ｇ１を分母とした比を計算する。また、Ｒ２、Ｇ２、Ｂ２についても同様に計算する。計算したＲ１／Ｇ１、Ｒ２／Ｇ２は、一列のデータとして取り扱う。Ｂ１／Ｇ１、Ｂ２／Ｇ２も同様に扱う。ＢｌｏｃｋＩｄｘは、ＢｌｏｃｋＩｄｘ１と、ＢｌｏｃｋＩｄｘ２にＢｌｏｃｋＩｄｘ１の要素数を加算した配列を連結して求める。

【0061】

また、ＢｌｏｃｋＩｄｘは別変数にコピーし管理する。ここで、当該変数名をｕｓｅＩｄｘとする。

【0062】

例えば、ＢｌｏｃｋＩｄｘ、Ｒ／Ｇ、Ｂ／Ｇ、ｕｓｅＩｄｘは、図６の表に示すメモリ領域に格納する。

【0063】

ステップＳ２０６：画像ブロックを分類処理、即ちグループ化処理する。

【0064】

図６の表に示すメモリ領域を参照し、ｕｓｅＩｄｘに含まれる画像ブロック群のＲ／Ｇ、Ｂ／Ｇを抽出し、当該抽出したデータ列を入力とし、各種グループ化手法を適用してグループ番号を取得する。グループ化手法としては、例えばｋｍｅａｎｓ法、階層的クラスタリング法などの一般的なクラスタリング手法を用いることができる。これらのクラスタリング手法で、クラスタ数、各種オプションは任意で指定できる（例：クラスタ数３）。

【0065】

グループ化処理の結果は図８の表に示すメモリ領域に格納する。ｕｓｅＩｄｘをＢｌｏｃｋＩｄｘ１、ＢｌｏｃｋＩｄｘ２に対応する値に換算し、ｕｓｅＩｄｘ１、ｕｓｅＩｄｘ２とおき、対応するグループ番号をＧｒｏｕｐ１、Ｇｒｏｕｐ２に格納する。

【0066】

好ましくは、分類処理で、明るさ情報によるブロック除去処理を行ってもよい。例えば、図６の表に示すメモリ領域を参照し、Ｒ／Ｇ＝Ｂ／Ｇ＝０となる画像ブロック、またＧの値が一定値より低い画像ブロック（最大値の１％以下などの画像ブロック）のブロック番号をｕｓｅＩｄｘから除去する。図７の表に、処理後のｕｓｅＩｄｘの例を示す。

【0067】

好ましくは、分類処理で、平均・標準偏差によるブロック除去処理を行ってもよい。例えば、図６の表に示すメモリ領域を参照し、ｕｓｅＩｄｘに含まれる画像ブロック群のＲ／Ｇの平均値と標準偏差を求め、標準偏差のｎ倍（例：ｎ＝２又は３が適当）の範囲から外れている画像ブロックのブロック番号をｕｓｅＩｄｘから除去する。Ｂ／Ｇについても同様の処理を行う。処理後のｕｓｅＩｄｘは、図７に示す例と同様に更新される。

【0068】

図８の表でｕｓｅＩｄｘ１、ｕｓｅＩｄｘ２に記載されている数値は一例であり、明るさ情報や平均・標準偏差によるブロック除去処理を行う場合、図６、図７の結果に応じて変化する。

【0069】

ステップＳ２０７：明るさでソートした画像ブロックのうち上位ｎ画像ブロックを抽出する。

【0070】

ｕｓｅＩｄｘ１、ｕｓｅＩｄｘ２に含まれる画像ブロック群を、図５の表を参照して明るさ（例：Ｇの画素値）で降順にソートし、上位ｎ画像ブロックを抽出する（ｎは任意の自然数）。

【0071】

例えば、降順にソートした結果が、
useIdx1: 5, 15, 24, 23, 4…
useIdx2: 6, 5, 23, 22, 7, …
であった場合、かつｎ＝３の場合に、抽出されるブロック番号は、ｕｓｅＩｄｘ１、ｕｓｅＩｄｘ２についてそれぞれ［５， １５， ２４］、［６， ５， ２３］である。これらのブロック番号配列をＩｄｘ１＿ｓｅｌ、Ｉｄｘ２＿ｓｅｌと置くことにする。つまり、
Idx1_sel = [5, 15, 24]
Idx2_sel = [6, 5, 23]
と表現できる。

【0072】

図９は、ソートされたｕｓｅＩｄｘ１及びとｕｓｅＩｄｘ２と、図５の表におけるＲ１、Ｇ１、Ｂ１、Ｃｎｔ１、Ｒ２、Ｇ２、Ｂ２、Ｃｎｔ２と、図８の表におけるＧｒｏｕｐ１、Ｇｒｏｕｐ２とを統合した表を示す。但し、Ｇｒｏｕｐ１、Ｇｒｏｕｐ２の番号は一例である。

【0073】

好ましくは、上記抽出の処理で、画素数によるブロック除去処理を行ってもよい。例えば、Ｉｄｘ１＿ｓｅｌに含まれるブロックのＣｎｔ数を図９の表を参照することで抽出し、抽出したＣｎｔ数の平均値を求め（Ｃｎｔ＿ｍｅａｎと置く）、ｕｓｅＩｄｘ１に含まれる全てのブロックのＣｎｔ数とＣｎｔ＿ｍｅａｎを比較し、例えばＣｎｔ＿ｍｅａｎの１％未満など極端にＣｎｔ数が少ない画像ブロックが存在した場合は、その画像ブロックをｕｓｅＩｄｘ１から除去し、改めて画像ブロックの抽出処理を行い、上位ｎ画像ブロックを抽出することでＩｄｘ１＿ｓｅｌを更新する。Ｉｄｘ２＿ｓｅｌ、ｕｓｅＩｄｘ２に関しても同様の処理を行う。図１０に、図９の表からｕｓｅＩｄｘ１＝２４が除去された場合の更新後の表を示す。

【0074】

好ましくは、上記抽出の処理で、彩度・色相範囲によるブロック除去処理を行ってもよい。例えば、ｕｓｅＩｄｘ２に含まれる画像ブロックの彩度・色相がＩｄｘ１＿ｓｅｌに含まれる画像ブロックの分布範囲から所定の値以上離れている場合に、当該画像ブロックのブロック番号をｕｓｅＩｄｘ２から除去し、改めて画像ブロックの抽出処理を行い、上位ｎ画像ブロックを抽出することでＩｄｘ２＿ｓｅｌを更新する。彩度・色相の色空間は任意であり、例えばＲ／Ｇ対Ｂ／Ｇ空間等を用いる。

【0075】

好ましくは、上記抽出の処理で、分類の結果を参照して上位ｎ画像ブロックを更新してもよい。例えば、Ｇｒｏｕｐ１に存在し、Ｇｒｏｕｐ２に存在しないグループ番号が存在する場合には、当該グループ番号に対応する画像ブロックをｕｓｅＩｄｘ１から除去し、改めて画像ブロックの抽出処理を行い、Ｉｄｘ１＿ｓｅｌを更新する。

【0076】

例えば、図８の表を参照し、Ｉｄｘ１＿ｓｅｌに対応するグループ番号とＩｄｘ２＿ｓｅｌに対応するグループ番号の種類が一致しない、即ち、Ｉｄｘ１＿ｓｅｌに対応するグループの類別とＩｄｘ２＿ｓｅｌに対応するグループの類別が一致しない場合には、Ｉｄｘ２＿ｓｅｌのブロックを更新することでグループ番号の種類を一致させる。例えば、図１０の表では、Ｉｄｘ１＿ｓｅｌ、Ｉｄｘ２＿ｓｅｌに対応するグループ番号が下記のようになる。
Idx1_sel = 5, 15, 23 Group1[Idx1_sel]= 0, 2, 2
Idx2_sel = 6, 5, 23 Group2[Idx2_sel]= 0, 0, 0

【0077】

Ｉｄｘ１＿ｓｅｌに対応するグループ番号が０、２であり、Ｉｄｘ２＿ｓｅｌに対応するグループ番号が０のみであるので、Ｉｄｘ２＿ｓｅｌの最下位の画像ブロック（２３）を除去し、代わりに上位ｎ＋１画像ブロック以下から最も上位の、グループ番号２の画像ブロックをＩｄｘ２＿ｓｅｌに追加する。

【0078】

本例では、追加するブロック番号が２２であるので、Ｉｄｘ２＿ｓｅｌは下記のように更新される。
Idx2_sel = 6, 5, 22 Group2[Idx2_sel] = 0, 0, 2

【0079】

ステップＳ２０８：画像ブロックの主成分が光源色の拡散反射成分か否かを判定する。

【0080】

図６の表に示すメモリ領域を参照し、ｕｓｅＩｄｘに含まれる画像ブロック群を抽出し、抽出した画像ブロック群のＲ／ＧとＢ／Ｇの分布における標準偏差がある一定の値より小さい場合は、最も明るいレベルの画素群と次に明るいレベルの画素群の正規化された色空間での色度はほぼ同じとみなせることから、抽出した画像ブロック群の主成分は拡散反射成分であるとみなす。また、抽出したブロック群のＲ／ＧとＢ／Ｇの分布における標準偏差が当該一定の値以上である場合は、抽出した画像ブロック群の主成分が鏡面反射成分と拡散反射成分を含むと判定する。抽出した画像ブロック群の主成分が光源色の鏡面反射成分と拡散反射成分を含むと判定する場合、ステップＳ２０９へ移行し、抽出した画像ブロック群の主成分が光源色の拡散反射成分であると判定する場合、ステップＳ２１１へ移行する。

【0081】

なお、ｕｓｅＩｄｘは、画素数によるブロック除去処理、彩度・色相範囲によるブロック除去処理、分類処理の結果によるブロック更新処理で更新したｕｓｅＩｄｘ１、ｕｓｅＩｄｘ２を反映して更新しても良い。

【0082】

ステップＳ２０９：鏡面反射成分と拡散反射成分の分離計算を行う。

【0083】

以上のように述べた（３）式に従って、拡散反射成分を除去するために、図５に示す表を参照し、Ｉｄｘ１＿ｓｅｌ及びＩｄｘ２＿ｓｅｌに含まれる画像ブロック群に対応するＲＧＢの強度の平均値を求め、これらの平均の差分を計算する。式を下記に示す。
F*Spec_r = mean(R1[Idx1_sel])-mean(R2[Idx2_sel])
F*Spec_g = mean(G1[Idx1_sel])-mean(G2[Idx2_sel])
F*Spec_b = mean(B1[Idx1_sel])-mean(B2[Idx2_sel])
但し、Ｆ＝ｆ１－ｆ２とする。

【0084】

ステップＳ２１０：鏡面反射成分を用いてホワイトバランスゲインを算出する。

【0085】

ステップＳ２０９で求めた鏡面反射成分を用いてホワイトバランスゲイン（Ｗｈｉｔｅ ｂａｌａｎｃｅ ｇａｉｎ）を算出する。すなわち、下記の式のようになる。
White balance gain R = Spec_g/Spec_r
White balance gain G = 1.0
White balance gain B = Spec_g/Spec_b

【0086】

ステップＳ２１１：最も明るいレベルの画素群を光源色とみなし、ホワイトバランスゲインを算出する。

【0087】

抽出した画像ブロックの主成分が光源色の拡散反射成分であると判定する場合、最も明るいレベルの画素群を白領域と扱い、白領域の強度の平均値から以下の式でホワイトバランスゲインを算出する。
White_r = mean(R1[Idx1_sel])
White _g = mean(G1[Idx1_sel])
White _b = mean(B1[Idx1_sel])
White balance gain R = White_g/White_r
White balance gain G = 1.0
White balance gain B = White_g/White_b

【0088】

図１１の（Ａ）、（Ｂ）、（Ｃ）に示す写真は、ＭＩＴ－Ａｄｏｂｅ ＦｉｖｅＫ Ｄａｔａｓｅｔ（ｈｔｔｐｓ：／／ｄａｔａ．ｃｓａｉｌ．ｍｉｔ．ｅｄｕ／ｇｒａｐｈｉｃｓ／ｆｉｖｅｋ／）に公開されているＤＮＧファイルを使って、ＤＮＧに保存されているホワイトバランスゲイン、従来手法で求めたホワイトバランスゲイン、本公開の提案手法により求めたホワイトバランスゲインをそれぞれ適用して現像した例である。図１１の（Ａ）に示す写真は、ＤＮＧに保存されている理想なホワイトバランスゲインによる正解の画像である。図１１の（Ｂ）示す写真は、図１１の（Ａ）に示す写真に対して、色調がより暖かい（赤っぽい）といった差異がある。図１１の（Ｃ）示す写真は、図１１の（Ｂ）示す写真と比べて、色調などが望ましい画像である図１１の（Ａ）に示す写真に近づく。したがって、本公開の提案手法では、従来手法より画質が向上していることがわかる。

【0089】

実施例によれば、画像信号の明るさ情報を参照することで鏡面反射成分と拡散反射成分を含む領域を抽出して分類し、同一グループに分類された領域を同一の物体色による反射光とみなすことで、適切な光源色が得られ、適切なホワイトバランス補正係数を求めることを可能とする。これにより、高精度の光源推定を実現し、オートホワイトバランス処理の性能を改善することができる。

【0090】

図１２は、例示的な実施例に係るオートホワイトバランス処理装置のブロック図である。図１２に示すように、このオートホワイトバランス処理装置は、画像をブロック分割し、各画像ブロック毎に含まれる画素の明るさ情報を算出し、各画像ブロック毎に明るさ情報の統計処理を行う統計解析部１２０１と、各画像ブロックの統計処理の結果に基づいて、各画像ブロックのそれぞれを同一の物体色とみなすグループに分類する分類処理部１２０２と、分類の結果に基づいて、ホワイトバランスゲイン算出用の画像ブロックを抽出する抽出処理部１２０３と、抽出された画像ブロックにおける鏡面反射成分からホワイトバランスゲインを算出するホワイトバランスゲイン算出部１２０４と、を含んでもよい。

【0091】

１つの可能な実現形態では、統計解析部１２０１は、各画像ブロックの画素の明るさ情報に基づいて、各画像ブロックの明るさレベルが異なる複数の画素群のうち、最も明るいレベルの画素群と次に明るいレベルの画素群を特定し、特定した最も明るいレベルの画素群と次に明るいレベルの画素群の画素値平均を算出する。

【0092】

１つの可能な実現形態では、統計解析部１２０１は、最も明るいレベルの画素群の画素が飽和画素である場合、最も明るいレベルの画素群から一段暗い画素群を最も明るいレベルの画素群とし、次に明るいレベルの画素群から一段暗い画素群を次に明るいレベルの画素群とする。

【0093】

１つの可能な実現形態では、分類処理部１２０２は、各画像ブロック毎に、統計解析部１２０１で算出された最も明るいレベルの画素群の画素値平均と次に明るいレベルの画素群の画素値平均のそれぞれに基づいて分類を行う。

【0094】

１つの可能な実現形態では、分類処理部１２０２は、統計解析部１２０１で算出された各画素の明るさ情報の平均が所定の値よりも低い画像ブロック、および各画素の画素値情報の平均が画像ブロックのすべてに基づいた画素値情報の平均から所定値以上外れている画像ブロックを除去して、分類を行う。

【0095】

１つの可能な実現形態では、抽出処理部１２０３は、統計解析部１２０１で算出された各画像ブロックの最も明るいレベルの画素群の明るさ情報で画像ブロックをソートし、ソートに基づいて所定数の画像ブロックを第１の画像ブロックとして抽出し、統計解析部１２０１で算出された各画像ブロックの次に明るいレベルの画素群の明るさ情報で画像ブロックをソートし、ソートに基づいて前記所定数の画像ブロックを第２の画像ブロックとして抽出する。

【0096】

１つの可能な実現形態では、抽出処理部１２０３は、分類の結果に基づいて、前記所定数の第１の画像ブロックの分類されたグループの類別と前記所定数の第２の画像ブロックの分類されたグループの類別とが同じになるように、前記第１の画像ブロックと前記第２の画像ブロックをホワイトバランスゲイン算出用の画像ブロックとして抽出する。

【0097】

１つの可能な実現形態では、抽出処理部１２０３は、彩度又は色相範囲が最も明るいレベルの画素群に対して所定の値以上外れている次に明るいレベルの画素群をもつ画像ブロックを除去する。

【0098】

１つの可能な実現形態では、抽出処理部１２０３は、最も明るいレベルの画素群および次に明るいレベルの画素群の画素数が、第１の画像ブロックと第２の画像ブロックのもつ最も明るいレベルの画素群および次に明るいレベルの画素群の画素数の平均より、所定の値以上小さい画像ブロックを除去する。

【0099】

１つの可能な実現形態では、ホワイトバランスゲイン算出部１２０４は、抽出処理部１２０３で抽出されたホワイトバランスゲイン算出用の画像ブロックの最も明るいレベルの画素群の画素値平均と次に明るいレベルの画素群の画素値平均に基づいて、鏡面反射成分を求め、鏡面反射成分に基づいてホワイトバランスゲインを算出する。

【0100】

１つの可能な実現形態では、ホワイトバランスゲイン算出部１２０４は、統計解析部１２０１で算出されたホワイトバランスゲイン算出用の各画像ブロックの画素値平均の標準偏差が所定の値よりも小さくなる場合、抽出処理部１２０３で抽出された画像ブロックの最も明るいレベルの画素群の画素値平均に基づいて、ホワイトバランスゲインを算出する。

【0101】

上記の実施例における装置について、各ユニットが動作を実行する具体的な方法は、当該方法に係る実施例において詳細に説明されているため、ここでは詳細な説明を省略する。

【0102】

図１３は実施例に係るオートホワイトバランス処理装置を適用した撮影装置の構成例を示す。本撮影装置は、光学レンズ部１３０１と、イメージセンサー部１３０２と、シェーディング補正部１３０３と、オートホワイトバランス処理装置１３０４と、ホワイトバランス補正部１３０５と、を含む。オートホワイトバランス処理装置１３０４は、以上のように、統計解析部１２０１と、分類処理部１２０２と、抽出処理部１２０３と、ホワイトバランスゲイン算出部１２０４と、を含む。

【0103】

オートホワイトバランス処理装置は、ハードウェアにより実現してもよいし、ソフトウェアにより実現してもよいし、ハードウェアとソフトウェアの連携により実現してもよい。

【0104】

実施例によれば、画像信号の明るさ情報を参照することで鏡面反射成分と拡散反射成分を含む領域を抽出して分類し、同一グループに分類された領域を同一の物体色による反射光とみなすことで、適切な光源色が得られ、適切なホワイトバランス補正係数を求めることを可能とする。これにより、高精度の光源推定を実現し、オートホワイトバランス処理の性能を改善することができる。

【0105】

本開示の実施例は、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上述したオートホワイトバランス処理方法を実現させるコンピュータ読み取り可能な記憶媒体をさらに提供する。コンピュータ読み取り可能な記憶媒体は、揮発性または不揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。

【0106】

本開示の実施例は、プロセッサと、プロセッサにより実行可能な命令を記憶するための記憶部と、を含み、前記プロセッサは、前記記憶部に記憶されている命令を実行すると、上述したオートホワイトバランス処理方法を実行するように構成される撮影装置をさらに提供する。

【0107】

本開示の実施例は、コンピュータ読み取り可能なコード又はコンピュータ読み取り可能なコードを記憶している不揮発性コンピュータ読み取り可能な記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて動作すると、前記電子機器のプロセッサに上述したオートホワイトバランス処理方法を実行させるコンピュータプログラム製品をさらに提供する。

【0108】

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

【要約】      （修正有）

【課題】オートホワイトバランス処理の性能を改善することができるオートホワイトバランス処理方法、装置、撮影装置及び不揮発性コンピュータ読み取り可能な記憶媒体を提供する。
【解決手段】オートホワイトバランス処理方法は、画像をブロック分割し、各画像ブロック毎に含まれる画素の明るさ情報を算出し、前記各画像ブロック毎に前記明るさ情報の統計処理を行う統計解析ステップと、前記各画像ブロックの前記統計処理の結果に基づいて、前記各画像ブロックのそれぞれを同一の物体色とみなすグループに分類する分類処理ステップと、前記分類の結果に基づいて、ホワイトバランスゲイン算出用の画像ブロックを抽出する抽出処理ステップと、抽出された画像ブロックにおける鏡面反射成分からホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、を含む。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】