知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-03
(45)【発行日】2022-10-12
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
H04N 9/04 20060101AFI20221004BHJP
H04N 9/73 20060101ALI20221004BHJP
【ＦＩ】
H04N9/04 B
H04N9/73 A
【請求項の数】
3
(21)【出願番号】P 2021132352
(22)【出願日】2021-08-16
(62)【分割の表示】P 2017038725の分割
【原出願日】2017-03-01
(65)【公開番号】P2021180527
(43)【公開日】2021-11-18
【審査請求日】2021-09-13
(73)【特許権者】
【識別番号】501418867
【氏名又は名称】株式会社ブライセン
(74)【代理人】
【識別番号】100166338
【弁理士】
【氏名又は名称】関口 正夫
(72)【発明者】
【氏名】木村 賢嗣
(72)【発明者】
【氏名】松尾 光浩
(72)【発明者】
【氏名】蔡 文杰
【審査官】鈴木 明
(56)【参考文献】
【文献】特開２００９－０３８７１２（ＪＰ，Ａ）
【文献】特表２０１０－５０８７２９（ＪＰ，Ａ）
【文献】特開２０１６－１３９９５５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ９／０４－９／１１
Ｈ０４Ｎ ９／７３
(57)【特許請求の範囲】
【請求項1】
所定光源の下で撮像された画像データから、撮像に使用されたものとして推定される光源の初期推定ベクトルを特徴空間に写像する写像手段と、
前記特徴空間が既存の光源の種類毎に境界線で区分された複数の区分空間のうち、前記特徴空間に写像された前記初期推定ベクトルが属する区分空間を所定の分類器を用いて判定する判定手段と、
前記判定手段により判定された前記区分空間において予め設定されている最適ＷＢＧａｉｎを、前記初期推定ベクトルの代わりに前記画像データのホワイトバランス処理に用いるものとして設定する設定手段と、
を備え、前記所定の分類器を生成するための機械学習を行う画像処理装置であって、
予め撮像された複数の画像の画像データと、当該複数の画像の夫々が撮影されたシーンの前記既存の光源の種類を示すカテゴリ番号と、からなる教示データに基づいて、各画像データから抽出された特徴ベクトルから前記既存の光源の種類を判定するための基準についての機械学習をすることで、前記特徴空間において前記既存の光源の種類毎の境界線を確定できる前記所定の分類器を生成する学習手段、
を備える画像処理装置。
【請求項2】
前記学習手段は、前記初期推定ベクトルが属する前記区分空間における位置と前記区分空間上の最適ＷＢＧａｉｎの位置とが一定の距離以上に離れている場合、さらに、前記機械学習をすることで、新たな分類器を生成する、
請求項１に記載の画像処理装置。
【請求項3】
所定光源の下で撮像された画像データから、撮像に使用されたものとして推定される光源の初期推定ベクトルを特徴空間に写像する写像手段と、
前記特徴空間が既存の光源の種類毎に境界線で区分された複数の区分空間のうち、前記特徴空間に写像された前記初期推定ベクトルが属する区分空間を所定の分類器を用いて判定する判定手段と、
前記判定手段により判定された前記区分空間において予め設定されている最適ＷＢＧａｉｎを、前記初期推定ベクトルの代わりに前記画像データのホワイトバランス処理に用いるものとして設定する設定手段と、
を備え、前記所定の分類器を生成するための機械学習を行う画像処理装置のコンピュータに、
予め撮像された複数の画像の画像データと、当該複数の画像の夫々が撮影されたシーンの前記既存の光源の種類を示すカテゴリ番号と、からなる教示データに基づいて、各画像データから抽出された特徴ベクトルから前記既存の光源の種類を判定するための基準についての機械学習をすることで、前記特徴空間において前記既存の光源の種類毎の境界線を確定できる前記所定の分類器を生成する学習ステップ、
を含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関する。
【背景技術】
【0002】
従来より、撮像機器として分類されるデジタルカメラ、デジタルビデオカメラ、カメラ付き通信端末（携帯電話、スマートフォン、タブレット等）等においては、撮影された画像に対して色再現補正処理が施されている。
即ち、一般的には、ＣＭＯＳイメージセンサ等の撮像素子で得られた画像データに、イメージシグナルプロセッサー（ＩＳＰ）を含んだシステムオンチップ（ＳｏＣ）等の半導体を用いて、自動露出補正、自動ホワイトバランス、自動フォーカス、シェーディング補正等の画像処理が行われる。
即ち、一般的には、ＣＭＯＳイメージセンサ等の撮像素子で得られた画像データに、イメージシグナルプロセッサー（ＩＳＰ）を含んだシステムオンチップ（ＳｏＣ）等の半導体を用いて、自動露出補正、自動ホワイトバランス、自動フォーカス、シェーディング補正等の画像処理が行われる。
【0003】
ここで、イメージシグナルプロセッサーを含むシステムオンチップでは、画像データに対して、色再現性を向上させるための色調整処理等の各種画像処理が行われる。このため、その前段である撮像素子で受光した画像データの補正は、色再現性を大きく左右され、画像処理装置および画像処理方法において重要な役割を果たすことになる。
【0004】
また、撮像素子が受ける光は様々な外的要因を受けて決定される。例えば、建物の外で撮影されるシーンでは、天候や時間、建物の影のような暗い状態等の様々な外的要因に影響される。また、例えば、建物の中で撮影されるシーンにおいては、照明器具の種類や明るさ等の様々な外的要因に影響される。そのため、ＣＣＤセンサやＣＭＯＳイメージセンサ等の撮像素子で得られた画像データから、撮影されているシーンにおいて、影響している外的要因の種類（例えば、環境光の種類）を特定し、特定された夫々の外的要因（例えば、環境光が太陽光か、蛍光灯か等）に対応した色補正を施すことが必要となる。
【0005】
この点、機械学習等を用いて、撮影されているシーンにおける、環境光の種類を特定するための技術が提案されている（例えば、特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１２－１３４６２５号公報
【文献】特開２０１４－５１５５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献１および特許文献２を含む従来の技術では、機械学習を用いる具体的な手段などが明示されておらず、技術的に実現が困難な内容との指摘があった。
他方、従来、「所定の色」に基づいて環境光の種類を特定するための手法が知られている。撮影されたシーンの光源として、複数の環境光が存在していると仮定すると、当該「所定の色」は、各環境光から照射された光によって当該環境光に近似した色として存在していることになる。
また、例えば、物体に照射された光は、当該物体表面の状態、材質、光沢、反射等、あらゆる状況によって常に一定の色を保つことは困難である。そのため、撮影された画像データは、必ずしも特定の色の環境光のみで構成されている訳ではなく、所定の色から環境光の種類を特定することは困難である。
さらに、入力された画像データに合わせて画像処理の組み合わせや方法を変更することを可能とする技術も存在する。しかし、入力される画像データは無限に存在するものであり、現実的な使用が困難なことは容易に想像できる。
他方、従来、「所定の色」に基づいて環境光の種類を特定するための手法が知られている。撮影されたシーンの光源として、複数の環境光が存在していると仮定すると、当該「所定の色」は、各環境光から照射された光によって当該環境光に近似した色として存在していることになる。
また、例えば、物体に照射された光は、当該物体表面の状態、材質、光沢、反射等、あらゆる状況によって常に一定の色を保つことは困難である。そのため、撮影された画像データは、必ずしも特定の色の環境光のみで構成されている訳ではなく、所定の色から環境光の種類を特定することは困難である。
さらに、入力された画像データに合わせて画像処理の組み合わせや方法を変更することを可能とする技術も存在する。しかし、入力される画像データは無限に存在するものであり、現実的な使用が困難なことは容易に想像できる。
【0008】
本発明は、このような状況に鑑みてなされたものであり、機械学習によって得られた分類カテゴリを用いて、より最適色補正係数（ＷＢＧａｉｎ：Ｗｈｉｔｅ Ｂａｌａｎｃｅ Ｇａｉｎ）を設定することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の一態様の画像処理装置は、
所定の画像データから所定のパラメータを取得し、前記パラメータに基づく値を、所定の特徴空間上に写像することで、前記特徴空間上の所定の光源推定ベクトルを取得する第１取得手段と、
前記第１取得手段で取得された光源推定ベクトルを、予め機械学習された分類器によって、前記光源推定ベクトルの前記特徴空間上のカテゴリに分類する分類手段と、
前記光源推定ベクトルと前記分類手段により分類されたカテゴリに基づいて、前記画像データのうちの所定のフレームのデータから最適ＷＢＧａｉｎを取得する第２取得手段と、
を備える。
これにより、機械学習によって得られた分類カテゴリを用いて、より最適ＷＢＧａｉｎを設定することができる。
所定の画像データから所定のパラメータを取得し、前記パラメータに基づく値を、所定の特徴空間上に写像することで、前記特徴空間上の所定の光源推定ベクトルを取得する第１取得手段と、
前記第１取得手段で取得された光源推定ベクトルを、予め機械学習された分類器によって、前記光源推定ベクトルの前記特徴空間上のカテゴリに分類する分類手段と、
前記光源推定ベクトルと前記分類手段により分類されたカテゴリに基づいて、前記画像データのうちの所定のフレームのデータから最適ＷＢＧａｉｎを取得する第２取得手段と、
を備える。
これにより、機械学習によって得られた分類カテゴリを用いて、より最適ＷＢＧａｉｎを設定することができる。
【発明の効果】
【0010】
本発明によれば、機械学習によって得られた分類カテゴリを用いて、より最適ＷＢＧａｉｎを設定することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図4】所定の光源から取得された複数の教示データから写像して得られた初期推定ベクトルの分布イメージを示す図である。
【図5】機械学習で得られた分類器の出力イメージを示す図である。
【図6】フレームのデータから写像された初期推定ベクトルを示す図である。
【図7】各カテゴリの光源の最適ＷＢＧａｉｎを説明するためのイメージ図である。
【図8】特殊カテゴリが存在するイメージ図である。
【図9】特殊カテゴリに対応した最適ＷＢＧａｉｎを説明するためのイメージ図である。
【図10】初期推定ベクトルがＢ光源とＣ光源の重複分布範囲内にある場合を説明するためのイメージ図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態について、図面を参照して説明する。
【0013】
図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
画像処理装置１は、センサベイヤデータ取得部２と、イメージパイプ３と、出力画像データ出力部４とを備えている。
画像処理装置１は、センサベイヤデータ取得部２と、イメージパイプ３と、出力画像データ出力部４とを備えている。
【0014】
センサベイヤデータ取得部２は、図示せぬ撮像装置により撮像された動画像を構成する各フレームのデータの夫々を、センサベイヤデータの形態で順次取得して、イメージパイプ３に出力する。
【0015】
イメージパイプ３は、各フレームのデータに対して各種画像処理を施すべく、シェーディング補正処理部５と、ホワイトバランス処理部６と、色補間処理部７と、色再現ゲイン処理部８と、ガンマ処理部９と、色空間変換処理部１０とを備えている。
【0016】
シェーディング補正処理部５は、センサベイヤデータ取得部２から供給されたフレームのデータ（センサベイヤデータ）に対して、シェーディング補正処理を施す。シェーディング補正処理が施されたフレームのデータは、ホワイトバランス処理部６に供給される。
【0017】
ホワイトバランス処理部６は、シェーディング補正処理部５から供給されたフレームのデータに対して、ホワイトバランス処理を施す。ホワイトバランス処理が施されたフレームのデータは、色補間処理部７に供給される。
【0018】
色補間処理部７は、ホワイトバランス処理部６から供給されたフレームのデータに対して、色補間処理を施す。色補間処理が施されたフレームのデータは、色再現ゲイン処理部８に供給される。
【0019】
色再現ゲイン処理部８は、色補間処理部７から供給されたフレームのデータに対して、色再現ゲイン処理を施す。色再現ゲイン処理が施されたフレームのデータは、ガンマ処理部９に供給される。
【0020】
ガンマ処理部９は、色再現ゲイン処理部８から供給されたフレームのデータに対して、ガンマ処理を施す。ガンマ処理が施されたフレームのデータは、色空間変換処理部１０に供給される。
【0021】
色空間変換処理部１０は、ガンマ処理部９から供給されたフレームのデータに対して、色空間変換処理を施す。色空間変換処理が施されたフレームのデータは、出力画像データ出力部４に供給される。
【0022】
出力画像データ出力部４は、イメージパイプ３から順次出力される各フレームのデータの夫々を、出力画像のデータとして、後述する図示せぬ回路に出力する。
【0023】
【0024】
ホワイトバランス処理部６においては、ＲＧＢ算出部６１と、初期推定部６２と、特徴空間写像部６３と、光源判定部６４と、ホワイトバランス補正部６５と、補正データ出力部６６とが機能する。
ＲＧＢ算出部６１乃至補正データ出力部６６の各機能等の詳細については、図３以降のフローチャート等を参照して画像処理装置１の処理を説明する際に合わせて説明する。
ＲＧＢ算出部６１乃至補正データ出力部６６の各機能等の詳細については、図３以降のフローチャート等を参照して画像処理装置１の処理を説明する際に合わせて説明する。
【0025】
光源判定部６４においては、教示データ記憶部６４１と、機械学習部６４２と、関連パラメータ記憶部６４３と、光源識別部６４４とが機能する。
教示データ記憶部６４１は、複数の画像データと当該各画像の夫々を撮影したシーンの光源のカテゴリ番号とからなる教示データを記憶している。
機械学習部６４２は、教示データ記憶部６４１に記憶された教示データに基づいて、各画像データから抽出した特徴ベクトルから光源のカテゴリを判定するための基準を機械学習し、学習した判定基準（分類器）を関連パラメータ記憶部６４３に記憶する。なお、機械学習の方法としては、例えば、ＳＶＭ（サポート・ベクター・マシーン）等を採用することができる。
光源識別部６４４は、後述のフレームのデータから特徴空間写像部６３によって特徴空間上に写像され光源判定部６４に供給された初期推定ベクトルを、関連パラメータ記憶部６４３に記憶された分類器を用いてカテゴリ分類し、当該フレームを撮影したシーンの一つ以上の光源のカテゴリ、及び当該一つ以上の光源のカテゴリと前記初期推定ベクトルとの特徴空間上での距離等のデータをホワイトバランス補正部６５に出力する。
教示データ記憶部６４１は、複数の画像データと当該各画像の夫々を撮影したシーンの光源のカテゴリ番号とからなる教示データを記憶している。
機械学習部６４２は、教示データ記憶部６４１に記憶された教示データに基づいて、各画像データから抽出した特徴ベクトルから光源のカテゴリを判定するための基準を機械学習し、学習した判定基準（分類器）を関連パラメータ記憶部６４３に記憶する。なお、機械学習の方法としては、例えば、ＳＶＭ（サポート・ベクター・マシーン）等を採用することができる。
光源識別部６４４は、後述のフレームのデータから特徴空間写像部６３によって特徴空間上に写像され光源判定部６４に供給された初期推定ベクトルを、関連パラメータ記憶部６４３に記憶された分類器を用いてカテゴリ分類し、当該フレームを撮影したシーンの一つ以上の光源のカテゴリ、及び当該一つ以上の光源のカテゴリと前記初期推定ベクトルとの特徴空間上での距離等のデータをホワイトバランス補正部６５に出力する。
【0026】
次に、図３を参照して、画像処理装置１のホワイトバランス処理部６が実行するホワイトバランス処理について説明する。
ここで、「ホワイトバランス処理」とは、各フレームが撮影されたシーンの光源を判定して、各フレームのデータに対してホワイトバランス補正を施していく一連の処理をいう。
ここで、「ホワイトバランス処理」とは、各フレームが撮影されたシーンの光源を判定して、各フレームのデータに対してホワイトバランス補正を施していく一連の処理をいう。
【0027】
図３は、画像処理装置１のホワイトバランス処理部６により実行されるホワイトバランス処理を説明するフローチャートである。
【0028】
ホワイトバランス処理は、シェーディング補正処理部５からホワイトバランス処理部６にシェーディング補正処理済のフレームの画素群のデータ（以下、「フレームのデータ」と呼ぶ）が供給される毎にその都度実行される。なお、Ｓｔａｔｉｓｔｉｃｓデータとは、フレームのデータと同一のデータである。
【0029】
ステップＳ１１において、ＲＧＢ算出部６１は、フレームのデータにおける（Ｒ値，Ｇ値，Ｂ値）を三つのチャンネルとして算出し、初期推定部６２に供給する。
【0030】
ステップＳ１２において、初期推定部６２は、ステップＳ１１で算出された（Ｒ値，Ｇ値，Ｂ値）の夫々について最大値を抽出する。なお、この（Ｒ値，Ｇ値，Ｂ値）の夫々の最大値は、光源色の初期推定値（Ｒｍａｘ値，Ｇｍａｘ値，Ｂｍａｘ値）として特徴空間写像部６３に供給される。
【0031】
ステップＳ１３において、特徴空間写像部６３は、ステップＳ１２で抽出された光源色の初期推定値（Ｒｍａｘ値，Ｇｍａｘ値，Ｂｍａｘ値）を特徴空間に写像して、得られた特徴ベクトルを光源判定部６４に供給する。なお、本実施形態では、特徴空間は（Ｒ／Ｇ，Ｂ／Ｇ）の二次元空間として説明を行う。
前記特徴空間上の特徴ベクトル（Ｒ／Ｇ，Ｂ／Ｇ）とは、即ち、Ｇで正規化された光源色の値であるが、この逆数が所定光源の最適ホワイトバランスゲインとして用いられる場合には、以下では「最適ＷＢＧａｉｎ」と省略表記する。また、ステップＳ１２で抽出された初期推定値（Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘ）を特徴空間に写像した特徴ベクトル（Ｒｍａｘ／Ｇｍａｘ，Ｂｍａｘ／Ｇｍａｘ）を、以下では「初期推定ベクトル」と呼ぶ。
前記特徴空間上の特徴ベクトル（Ｒ／Ｇ，Ｂ／Ｇ）とは、即ち、Ｇで正規化された光源色の値であるが、この逆数が所定光源の最適ホワイトバランスゲインとして用いられる場合には、以下では「最適ＷＢＧａｉｎ」と省略表記する。また、ステップＳ１２で抽出された初期推定値（Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘ）を特徴空間に写像した特徴ベクトル（Ｒｍａｘ／Ｇｍａｘ，Ｂｍａｘ／Ｇｍａｘ）を、以下では「初期推定ベクトル」と呼ぶ。
【0032】
ステップＳ１４において、光源判定部６４は、ステップＳ１３で特徴空間に写像された初期推定ベクトルの分類される光源の種類を判定する。
即ち、ステップＳ１４において、光源判定部６４は、初期推定ベクトルが分類される一つ以上の光源カテゴリを、分類器に基づいて判定する。なお、この分類器は、予め機械学習した関連パラメータが格納された各種関連パラメータと共に、関連パラメータ記憶部６４３に格納されている。
即ち、ステップＳ１４において、光源判定部６４は、初期推定ベクトルが分類される一つ以上の光源カテゴリを、分類器に基づいて判定する。なお、この分類器は、予め機械学習した関連パラメータが格納された各種関連パラメータと共に、関連パラメータ記憶部６４３に格納されている。
【0033】
ステップＳ１５において、ステップＳ１５において、ホワイトバランス補正部６５はステップＳ１４で光源判定部６４により判定された光源のカテゴリに基づいて、各光源のホワイトバランス補正のために予め準備された図示せぬＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）を用いて、フレームのデータに対して最適なホワイトバランス補正を行う。なお、複数の光源カテゴリに近いと判定された場合のホワイトバランス補正については、図１０を参照して後述する。
【0034】
ステップＳ１６において、補正データ出力部６６は、ステップＳ１５で導出されたホワイトバランス補正された画像データを、画像処理装置１における後続段である色補間処理部７に供給する。
【0035】
図４は、所定の光源から取得された複数の教示データから特徴空間上に写像して得られた初期推定ベクトルの分布イメージを示す図である。
【0036】
図４において、Ａ～Ｅの記号は、複数の教示データから得られた初期推定ベクトルが分類されるカテゴリの番号を示している。
即ち、任意に選択したカテゴリの光源のもとで撮像した教示データが、夫々のカテゴリに分類されて、クラスタ化されているのである。
図４の例では、カテゴリＡに分類される光源（以下、「Ａ光源」と呼ぶ）は、太陽光であるとする。つまり、Ａ光源に分類されるクラスタとは、太陽光のもとで撮像された教示データが分類されて、クラスタ化されたものである。
ここで、同様にカテゴリＢ～Ｅに分類される光源については、Ａ光源と同様に、Ｂ光源～Ｅ光源と呼ぶ。
このようにして算出された分類器の出力イメージについて、引き続き、図５を用いて説明を行う。なお、本実施形態において撮像されたシーンの各フレームのデータは、上記Ａ～Ｅの単独あるいは複数の光源が含まれる可能性がある。
即ち、任意に選択したカテゴリの光源のもとで撮像した教示データが、夫々のカテゴリに分類されて、クラスタ化されているのである。
図４の例では、カテゴリＡに分類される光源（以下、「Ａ光源」と呼ぶ）は、太陽光であるとする。つまり、Ａ光源に分類されるクラスタとは、太陽光のもとで撮像された教示データが分類されて、クラスタ化されたものである。
ここで、同様にカテゴリＢ～Ｅに分類される光源については、Ａ光源と同様に、Ｂ光源～Ｅ光源と呼ぶ。
このようにして算出された分類器の出力イメージについて、引き続き、図５を用いて説明を行う。なお、本実施形態において撮像されたシーンの各フレームのデータは、上記Ａ～Ｅの単独あるいは複数の光源が含まれる可能性がある。
【0037】
図５は、本実施形態に係る特徴空間において、複数の教示データの機械学習によって得られた分類器の出力イメージを示す図である。
なお、Ａ～Ｅの記号は、図４と同様に、複数の教示データから得られた初期推定ベクトルが分類されるカテゴリの番号を示している。
なお、Ａ～Ｅの記号は、図４と同様に、複数の教示データから得られた初期推定ベクトルが分類されるカテゴリの番号を示している。
【0038】
図５の例では、教示データの機械学習によって、Ａ～Ｅの光源を表す各クラスタの境界が画定されている。
即ち、前述の機械学習によって、Ａ～Ｅの光源を表す各クラスタの境界を確定することができ、各クラスタの分類を容易に実現することができる。
本実施形態における、分類器とは、このように機械学習によって、各種光源（Ａ～Ｅ）の光源を表す各クラスタの境界を確定する機能を有している。この分類器を用いることで、後述するように、容易に最適ＷＢＧａｉｎを算出することができるのである。
次に、このようにして算出された分類器を用いて、実際に入力された所定のフレームデータから算出された初期推定光源のＷＢＧａｉｎの取得方法について、以降の図面を用いて説明していく。
即ち、前述の機械学習によって、Ａ～Ｅの光源を表す各クラスタの境界を確定することができ、各クラスタの分類を容易に実現することができる。
本実施形態における、分類器とは、このように機械学習によって、各種光源（Ａ～Ｅ）の光源を表す各クラスタの境界を確定する機能を有している。この分類器を用いることで、後述するように、容易に最適ＷＢＧａｉｎを算出することができるのである。
次に、このようにして算出された分類器を用いて、実際に入力された所定のフレームデータから算出された初期推定光源のＷＢＧａｉｎの取得方法について、以降の図面を用いて説明していく。
【0039】
図６は、本実施形態に係る特徴空間において、所定のフレームのデータから算出された初期推定ベクトルを示す図である。
【0040】
図６の例では、当該フレームのデータから算出された初期推定ベクトルＨがＡ光源のカテゴリ範囲内に存在している。
この新たに算出された初期推定ベクトルＨのＷＢＧａｉｎの取得方法について、引き続き、図７を用いて説明していく。
この新たに算出された初期推定ベクトルＨのＷＢＧａｉｎの取得方法について、引き続き、図７を用いて説明していく。
【0041】
即ち、図７は、本実施形態に係る特徴空間において、Ａ～Ｅの各カテゴリに分類された光源の最適ＷＢＧａｉｎを説明するためのイメージ図である。
【0042】
図７の例では、Ａ光源に分類された初期推定ベクトルＨについて、最適ＷＢＧａｉｎを設定する場合の例を示している。
ここで、分類器によって分けられた各カテゴリに区分された空間に分布する初期推定ベクトルは、前述の通り、様々な要因で各カテゴリの最適ＷＢＧａｉｎから外れている可能性がある。そのため、初期推定ベクトルＨをそのまま用いてホワイトバランス補正を行うことは望ましくない。
したがって、図７の例では初期推定ベクトルＨは、Ａ光源に分類される特徴空間内に存在しているため、当該初期推定ベクトルの代わりに、前述の機械学習により設定されたＡ光源の最適ＷＢＧａｉｎを設定する。
ここで、分類器によって分けられた各カテゴリに区分された空間に分布する初期推定ベクトルは、前述の通り、様々な要因で各カテゴリの最適ＷＢＧａｉｎから外れている可能性がある。そのため、初期推定ベクトルＨをそのまま用いてホワイトバランス補正を行うことは望ましくない。
したがって、図７の例では初期推定ベクトルＨは、Ａ光源に分類される特徴空間内に存在しているため、当該初期推定ベクトルの代わりに、前述の機械学習により設定されたＡ光源の最適ＷＢＧａｉｎを設定する。
【0043】
図８は、本実施形態に係る特徴空間において、特殊カテゴリが存在するイメージ図である。
【0044】
図８の例では、Ｃ光源のカテゴリの空間内に、新しく一定の分布を持つ特殊カテゴリが存在している場合が示されている。
即ち、複数のフレームのデータが入力されていくと、上述のＡ～Ｅの何れのカテゴリにも分類が困難な特徴空間内の所定の領域に新たなクラスタを作る場合がある。
このような場合に、フレームのデータが蓄積された結果として生成された新たなクラスタを特殊カテゴリとして呼び、別の光源として識別することができる。そこで、初期推定ベクトルが、この特殊カテゴリに分類される場合について、図９を用いて、引き続き説明を行う。
即ち、複数のフレームのデータが入力されていくと、上述のＡ～Ｅの何れのカテゴリにも分類が困難な特徴空間内の所定の領域に新たなクラスタを作る場合がある。
このような場合に、フレームのデータが蓄積された結果として生成された新たなクラスタを特殊カテゴリとして呼び、別の光源として識別することができる。そこで、初期推定ベクトルが、この特殊カテゴリに分類される場合について、図９を用いて、引き続き説明を行う。
【0045】
図９は、本実施形態に係る特徴空間において、特殊カテゴリに対応した最適ＷＢＧａｉｎを説明するためのイメージ図である。
【0046】
図９を見ると、初期推定ベクトルは、図８で新しく設定された特殊カテゴリに分類されている。このような特殊カテゴリが設定された場合、その特殊カテゴリに対して、前述の機械学習によって再び新たな分類器が算出される。そして、その特殊カテゴリに対応した最適ＷＢＧａｉｎが別途設定される。
即ち、図９の例では、初期推定ベクトルは、ここで別途設定された特殊カテゴリに対応した最適ＷＢＧａｉｎが、初期推定ベクトルの最適ＷＢＧａｉｎとして設定される。
即ち、図９の例では、初期推定ベクトルは、ここで別途設定された特殊カテゴリに対応した最適ＷＢＧａｉｎが、初期推定ベクトルの最適ＷＢＧａｉｎとして設定される。
【0047】
図１０は、本実施形態に係る特徴空間において、初期推定ベクトルがＢ光源とＣ光源の重複分布範囲内にある場合を説明するためのイメージ図である。
【0048】
図１０を見ると、例えば、初期推定ベクトルは、Ｂ光源とＣ光源の重複分布範囲内に存在している。
このような場合、まず、光源識別部６４４は、初期推定ベクトルと各光源の最適ＷＢＧａｉｎとをアルゴリズムから類似度を算出する。そして、その類似度に基づいて、初期推定ベクトルがＢ光源に分類されるのか、あるいはＣ光源に分類されるのか、が選択される。
図１０の例では、光源識別部６４４は、類似度の算出結果として、初期推定ベクトルをＣ光源の最適ＷＢＧａｉｎとして選択している。
このような場合、まず、光源識別部６４４は、初期推定ベクトルと各光源の最適ＷＢＧａｉｎとをアルゴリズムから類似度を算出する。そして、その類似度に基づいて、初期推定ベクトルがＢ光源に分類されるのか、あるいはＣ光源に分類されるのか、が選択される。
図１０の例では、光源識別部６４４は、類似度の算出結果として、初期推定ベクトルをＣ光源の最適ＷＢＧａｉｎとして選択している。
【0049】
以上本発明の画像処理装置の一実施形態について説明したが、本発明は上述した本実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果の列挙に過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【0050】
例えば、上述の本実施形態では、機械学習の方法としては、ＳＶＭを用いると説明を行ったが、機械学習の方法は、これに特に限定されない。
さらに、例えば、この機械学習は、ホワイトバランス処理の実行前に完了することを前提として説明を行ったが、これに特に限定されない。即ち、ホワイトバランス処理を実行する際に、並列して機械学習を行うことも可能である。
さらに、例えば、この機械学習は、ホワイトバランス処理の実行前に完了することを前提として説明を行ったが、これに特に限定されない。即ち、ホワイトバランス処理を実行する際に、並列して機械学習を行うことも可能である。
【0051】
例えば、上述の本実施形態では、初期推定部６２が（Ｒ，Ｇ，Ｂ）の各チャンネルの最大値（Ｒｍａｘ値，Ｇｍａｘ値，Ｂｍａｘ値）を抽出すると記述したが、これに特に制限されない。
例えば、（Ｒ値，Ｇ値，Ｂ値）を（Ｙ値，Ｕ値，Ｖ値）に変換して、その最大値を抽出してもよい。
さらに例えば、（Ｒｍａｘ値，Ｇｍａｘ値，Ｂｍａｘ値）を抽出せず、各チャンネルの平均値（Ｒａｖｅ値,Ｇａｖｅ値,Ｂａｖｅ値）を抽出してもよい。
例えば、（Ｒ値，Ｇ値，Ｂ値）を（Ｙ値，Ｕ値，Ｖ値）に変換して、その最大値を抽出してもよい。
さらに例えば、（Ｒｍａｘ値，Ｇｍａｘ値，Ｂｍａｘ値）を抽出せず、各チャンネルの平均値（Ｒａｖｅ値,Ｇａｖｅ値,Ｂａｖｅ値）を抽出してもよい。
【0052】
例えば、上述の本実施形態では、特徴空間写像部６３が（Ｒ／Ｇ，Ｂ／Ｇ）二次元空間を特徴空間として写像すると記述したが、これに特に制限されない。例えば、さらに多くの特徴量を追加して、多次元の特徴空間として写像してもよい。
【0053】
例えば、図１０の例では、光源識別部６４４は、類似度の概念を用いて、初期推定ベクトルの分類を選択するものとして説明を行ったが、類似度の概念をどのように定義するか、また、どのように初期推定ベクトルの分類を選択するのかは、自由に決定することができる。
例えば、算出した類似度によって重み付けしたＢ光源とＣ光源の最適ＷＢＧａｉｎの平均値を用いて、初期推定ベクトルの最適ＷＢＧａｉｎを選択してもよい。
例えば、算出した類似度によって重み付けしたＢ光源とＣ光源の最適ＷＢＧａｉｎの平均値を用いて、初期推定ベクトルの最適ＷＢＧａｉｎを選択してもよい。
【0054】
また、図１に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0055】
また、図２に示すブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がホワイトバランス処理部６に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に図２の例に限定されない。
さらに、機能ブロックの存在場所も、図２に限定されず、任意でよい。
そして、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェアとの組み合わせで構成してもよい。
さらに、機能ブロックの存在場所も、図２に限定されず、任意でよい。
そして、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェアとの組み合わせで構成してもよい。
【0056】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【0057】
以上まとめると、本発明が適用される画像処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される画像処理装置（例えば図１の画像処理装置１）は、
所定の画像データから所定のパラメータを取得し、前記パラメータに基づく値を、所定の特徴空間上に写像することで、前記特徴空間上の所定の光源推定ベクトルを取得する取得手段（例えば図２の初期推定部６２や特徴空間写像部６３）と、
前記第１取得手段で取得された光源推定ベクトルを、予め機械学習された分類器によって、前記光源推定ベクトルの前記特徴空間上のカテゴリを分類する分類手段（例えば図２の光源識別部６４４）と、
前記光源推定ベクトルと前記分類手段により分類されたカテゴリに基づいて、前記画像データのうちの所定のフレームのデータから最適ＷＢＧａｉｎを取得し、ＷＢ補正を行う補正手段（例えば図２のホワイトバランス補正部６５）と、
を備えていれば足りる。
即ち、本発明が適用される画像処理装置（例えば図１の画像処理装置１）は、
所定の画像データから所定のパラメータを取得し、前記パラメータに基づく値を、所定の特徴空間上に写像することで、前記特徴空間上の所定の光源推定ベクトルを取得する取得手段（例えば図２の初期推定部６２や特徴空間写像部６３）と、
前記第１取得手段で取得された光源推定ベクトルを、予め機械学習された分類器によって、前記光源推定ベクトルの前記特徴空間上のカテゴリを分類する分類手段（例えば図２の光源識別部６４４）と、
前記光源推定ベクトルと前記分類手段により分類されたカテゴリに基づいて、前記画像データのうちの所定のフレームのデータから最適ＷＢＧａｉｎを取得し、ＷＢ補正を行う補正手段（例えば図２のホワイトバランス補正部６５）と、
を備えていれば足りる。
【0058】
これにより、撮影されたシーンの中に複数の光源が環境光として存在していた場合でも、予め機械学習して得られた分類器を用いて、フレームのデータから取得された特徴ベクトルをカテゴリ分類して光源を特定することで、より容易に最適ＷＢＧａｉｎを取得することができる。
そのため、フレームのデータから推定された光源色に基づいて、（直接）ホワイトバランス補正を行う従来の技術と比較して、より容易に最適ホワイトバランス補正を行うことが可能となる。
そのため、フレームのデータから推定された光源色に基づいて、（直接）ホワイトバランス補正を行う従来の技術と比較して、より容易に最適ホワイトバランス補正を行うことが可能となる。
【符号の説明】
【0059】
１・・・画像処理装置
２・・・センサベイヤデータ取得部
３・・・イメージパイプ
４・・・出力画像データ出力部
５・・・シェーディング補正処理部
６・・・ホワイトバランス処理部
７・・・色補間処理部
８・・・色再現ゲイン処理部
９・・・ガンマ処理部
１０・・・色空間変換処理部
６１・・・ＲＧＢ算出部
６２・・・初期推定部
６３・・・特徴空間写像部
６４・・・光源判定部
６５・・・ホワイトバランス補正部
６６・・・補正データ出力部
６４１・・・教示データ記憶部
６４２・・・機械学習部
６４３・・・関連パラメータ記憶部
６４４・・・光源識別部
２・・・センサベイヤデータ取得部
３・・・イメージパイプ
４・・・出力画像データ出力部
５・・・シェーディング補正処理部
６・・・ホワイトバランス処理部
７・・・色補間処理部
８・・・色再現ゲイン処理部
９・・・ガンマ処理部
１０・・・色空間変換処理部
６１・・・ＲＧＢ算出部
６２・・・初期推定部
６３・・・特徴空間写像部
６４・・・光源判定部
６５・・・ホワイトバランス補正部
６６・・・補正データ出力部
６４１・・・教示データ記憶部
６４２・・・機械学習部
６４３・・・関連パラメータ記憶部
６４４・・・光源識別部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】