特許 7023490 高精度色補正処理方法及び高精度色補正処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-14

(45)【発行日】2022-02-22

(54)【発明の名称】高精度色補正処理方法及び高精度色補正処理装置

(51)【国際特許分類】

   H04N 9/04 20060101AFI20220215BHJP

【ＦＩ】

H04N9/04 B

【請求項の数】 20

(21)【出願番号】P 2017203365

(22)【出願日】2017-10-20

(65)【公開番号】P2019080100

(43)【公開日】2019-05-23

【審査請求日】2020-10-12

(73)【特許権者】

【識別番号】391040320

【氏名又は名称】株式会社朋栄

(74)【代理人】

【識別番号】100148851

【弁理士】

【氏名又は名称】鎌田 和弘

(72)【発明者】

【氏名】松永 力

【審査官】大室 秀明

(56)【参考文献】

【文献】特開２０１１－２５９０４７（ＪＰ，Ａ）

【文献】特開２０１６－２２００８３（ＪＰ，Ａ）

【文献】松永力，３次元幾何学変換と幾何学的モデル選択による最適カラーマッチング/カラーキャリブレーション，第23回画像センシングシンポジウム(SSII2017)講演論文集，日本，2017年06月07日，p.1-p.8

【文献】松永 力 趙 延軍 和田 雅徳，カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正，第16回画像センシングシンポジウム(SSII2010)講演論文集，日本，2010年06月10日，p.1-p.8

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－９／４０

Ｈ０４Ｎ ５／２２２－５／２８

Ｈ０４Ｎ ９／０４－９／１１

Ｈ０４Ｎ ９／４４－９／７８

(57)【特許請求の範囲】

【請求項1】

カラーチャートを撮影したカラーチャートｓｏｕｒｃｅ画像とカラーチャートｔａｒｇｅｔ画像からそれぞれのＲＧＢデータ、およびそれらの共分散行列を抽出するデータ抽出部と、
３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮した統計的に推定するパラメータ推定部と、
色補正モデルのパラメータ推定結果を白または黒のレベル制約を満たすように事後的にホワイトバランスを補正するパラメータ補正部と、
複数の異なる自由度の３次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するモデル選択部と、
モデル選択された３次元幾何学変換による色補正処理の３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３次元ルックアップテーブル（３ＤＬＵＴ）生成部と、
モデル選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する色補正処理部とを備える
ことを特徴とする高精度色補正処理装置。

【請求項2】

請求項１に記載の高精度色補正処理装置において、
前記パラメータ推定部による、前記誤差の共分散行列を考慮した統計的な推定は、超精度くりこみ法を利用した推定である
ことを特徴とする高精度色補正処理装置。

【請求項3】

請求項１または請求項２に記載の高精度色補正処理装置において、
前記複数の異なる自由度の３次元幾何学変換モデルは、全次項（フル）の２次多項式変換（Ｐｏｌｙ２ｆｕｌｌ）と、２次項のみの２次多項式変換（Ｐｏｌｙ２）と、アフィン変換（Ａｆｆｉｎｅ）と、射影変換（Ｈｏｍｏ）と、双線形変換（Ｂｉｌｉｎｅａｒ）のうち少なくとも一つを含む
ことを特徴とする高精度色補正処理装置。

【請求項4】

請求項１乃至請求項３のいずれか一項に記載の高精度色補正処理装置において、
前記３次元幾何学変換モデルを前記モデル選択部が選択するのは、幾何学的ＡＩＣ（Ｇ－ＡＩＣ）または幾何学的ＭＤＬ（Ｇ－ＭＤＬ）による選択である
ことを特徴とする高精度色補正処理装置。

【請求項5】

請求項１乃至請求項４のいずれか一項に記載の高精度色補正処理装置において、
選択された前記３次元幾何学変換モデルは、２次項のみの２次多項式変換モデルである
ことを特徴とする高精度色補正処理装置。

【請求項6】

請求項１乃至請求項５のいずれか一項に記載の高精度色補正処理装置において、
選択された前記３次元幾何学変換モデルによる色補正処理を計算する前記色補正処理部による計算処理は、３次元ルックアップテーブル（３ＤＬＵＴ）補間による計算処理である
ことを特徴とする高精度色補正処理装置。

【請求項7】

請求項２に記載の高精度色補正処理装置において、
前記超精度くりこみ法を利用した推定は、カラーチャートを撮影した画像から抽出したＲＧＢデータと前記共分散行列とを用いる
ことを特徴とする高精度色補正処理装置。

【請求項8】

カラーチャートを撮影した画像からＲＧＢデータ、およびそれらの共分散行列を抽出す
るデータ抽出部と、
３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮した統計的に推定するパラメータ推定部と、
色補正モデルのパラメータ推定結果を白または黒のレベル制約を満たすように事後的にホワイトバランスを補正するパラメータ補正部と、
複数の異なる自由度の３次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するモデル選択部と、
モデル選択された３次元幾何学変換による色補正処理の３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３次元ルックアップテーブル（３ＤＬＵＴ）生成部と、
モデル選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する色補正処理部とを備える
ことを特徴とする画像処理装置。

【請求項9】

カラーチャートを撮影した画像からＲＧＢデータ、およびそれらの共分散行列を抽出するデータ抽出工程と、
３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮した統計的に推定するパラメータ推定工程と、
色補正モデルのパラメータ推定結果を白または黒のレベル制約を満たすように事後的にホワイトバランスを補正するパラメータ補正工程と、
複数の異なる自由度の３次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するモデル選択工程と、
モデル選択された３次元幾何学変換による色補正処理の３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３次元ルックアップテーブル（３ＤＬＵＴ）生成工程と、
モデル選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する色補正処理工程とを有する
ことを特徴とする高精度色補正処理方法。

【請求項10】

請求項８に記載の画像処理装置は、
ベースバンドビデオ信号を処理するハードウェア装置により実現された画像処理装置であるか、
ＭＸＦファイルを処理するソフトウェアを有し、前記ソフトウェアを実行するコンピュータをベースとした画像処理装置であるか、 前記ＭＸＦファイルをベースバンドビデオ信号に変換するか、または逆変換する装置を用いて構成された画像処理装置であるか、のいずれか一つである
ことを特徴とする画像処理装置。

【請求項11】

請求項１乃至請求項７のいずれか一項に記載の高精度色補正処理装置は、
カメラ映像を動画像圧縮したもの、またはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で前記高精度色補正処理装置による処理を遂行される
ことを特徴とする高精度色補正処理装置。

【請求項12】

請求項１乃至請求項７のいずれか一項に記載の高精度色補正処理装置において、
ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、前記高精度色補正処理装置によるカラーマッチング処理またはカラーキャリブレーション処理を行った結果を再び圧縮してストリーム配信する
ことを特徴とする高精度色補正処理装置。

【請求項13】

請求項１乃至請求項８及び請求項１０乃至請求項１２のいずれか一項に記載の前記パラメータ推定部は、下記の手順に従って、超精度くりこみ法を利用して前記誤差の共分散行列を考慮した統計的な推定処理を遂行する、

【数1】

ことを特徴とする装置。

【請求項14】

請求項１乃至請求項８及び請求項１０乃至請求項１２のいずれか一項に記載のパラメータ補正部による色補正モデルのパラメータ推定結果をレベル制約を満たすように事後的にホワイトバランスを補正する処理は、下記の手順に従う、

【数2】

ことを特徴とする装置。

【請求項15】

請求項１乃至請求項８及び請求項１０乃至請求項１２のいずれか一項に記載のモデル選択部による複数の異なる自由度の３次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する処理は、下記の手順に従う、

【数3】

ことを特徴とする装置。

【請求項16】

請求項９に記載のパラメータ推定工程は、下記の手順に従って、超精度くりこみ法を利用して前記誤差の共分散行列を考慮した統計的な推定処理を遂行する、

【数4】

ことを特徴とする高精度色補正処理方法。

【請求項17】

請求項９または請求項１６に記載のパラメータ補正工程による色補正モデルのパラメータ推定結果をレベル制約を満たすように事後的にホワイトバランスを補正する処理は、下記の手順に従う、

【数5】

ことを特徴とする高精度色補正処理方法。

【請求項18】

請求項９または請求項１６または請求項１７に記載のモデル選択工程による複数の異なる自由度の３次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する処理は、下記の手順に従う、

【数6】

ことを特徴とする高精度色補正処理方法。

【請求項19】

請求項１４に記載の装置において、３次元アフィン変換に代えて３次元アフィン変換以外の３次元幾何学変換が適用される
ことを特徴とする装置。

【請求項20】

請求項１７に記載の方法において、３次元アフィン変換に代えて３次元アフィン変換以外の３次元幾何学変換が適用される
ことを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ホワイトバランスを考慮した高精度色補正処理方法及び高精度色補正処理装置に関する。

【背景技術】

【0002】

カラーチャートを含むシーンを撮影した異なる機種の様々なカメラ間のカラーマッチングや、理想カラーチャート画像間のカラーキャリブレーションを含む画像・映像の色補正処理全般に関する色補正モデルとしては、高次の多項式モデルや明示的なモデルは未知としてニューラルネットワークが従来用いられている。また、モデルのパラメータ推定の方法としては、従来いずれも最小二乗法を用いている。このような方法は、下記非特許文献に記載されている。

【先行技術文献】

【非特許文献】

【0003】

【文献】G.D.Finlayson,S.D.Hordley and l.TastI,Gamut constrained illuminant estimation, Ninth IEEE International Conference on Computer Vision （ICCV'03）,Volume 2, 2003, pp.792-799.

【文献】V.Cheung,S.Westland,D.Connah and C.Ripamonti,A comparative study of the characterisation of colour cameras by means of neural networks and polynomial transforms,Coloration Technology,120-1,2004,pp.19-25.

【文献】A.Ilie and G.Welch,Ensuring color consistency across multiple cameras,Tenth IEEE International Conference on Computer Vision （ICCV'05）,volume 2,2005,pp.1268-1275.

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のカラーマッチングのための色補正モデルとしては、多項式モデルやニューラルネットワーク等、様々な色補正モデルが用いられてきたが、カメラの撮像や映像圧縮によるノイズ（誤差）の影響を考慮した推定方法は用いられていない。また、色補正モデルのパラメータの推定精度が低いと、十分な色補正結果が得られない。また、色補正結果を色域内に収めるためにＲＧＢ毎にクリップすると、ホワイトバランスが崩れてしまう。

【0005】

また、色補正モデルのパラメータ自由度の高いモデルの当てはまりがよくなるのは当然であるが、そのモデルの妥当性が示されているとは言い難い。具体的には、高い自由度を有するモデル（すなわち、パラメータの数が多いモデル）の場合には、参照板（カラーチャート）には良好に適用可能となるが、それ以外の現実の画像に適用しようとすると不適切な色補正結果が生じることも少なくない。また、自由度の高い複雑な色補正モデルを実現するためには、計算コスト（典型的には処理時間）が掛かることが知られており、現実的ではない。

【0006】

上述のように、従来、カメラの撮像や映像圧縮に起因するノイズを考慮しつつ、適切なパラメータ自由度を有する色補正モデルを選択・決定して、これを用いてカラーマッチング処理を遂行する最適カラーマッチング処理方法は知られていない。従って、本発明は、カメラの撮像や映像圧縮に起因するノイズを考慮しつつ、適切なパラメータ自由度を有する色補正モデルを選択・決定して、当該色補正モデルを用いてホワイトバランスを考慮したカラーマッチング処理を遂行する高精度色補正処理方法及び高精度色補正処理装置を提案することを目的とする。

【課題を解決するための手段】

【0007】

上述の問題点に鑑み、本発明では、カラーチャートを撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法により推定する。また、厳密なホワイトバランス補正を実現するために、幾何学変換の推定結果に対して、カラーチャート白レベルが指定した理想的な白レベルとなるように事後的な補正を行う。白レベルの制約を課すことにより、画像全体としての色補正結果が十分とは言えなくなるので、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。そして、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する。

【0008】

ここで、誤差の共分散行列を考慮した統計的に最適な推定方法は、後述するいわゆる超精度くりこみ法である。また、複数の異なる自由度の幾何学変換モデルは、例えば、全次項（フル）の２次多項式変換や２次項のみの２次多項式変換やアフィン変換等である。また、幾何学的モデル選択は、例えば、幾何学的ＡＩＣや幾何学的ＭＤＬである。さらに、モデルの複雑さと当てはまりのよさをバランスする最適な選択・決定された３次元幾何学変換モデルは、本発明においては典型的には、幾何学的ＭＤＬにより選択された２次項のみの２次多項式変換となる。

【発明の効果】

【0009】

本発明では、誤差の共分散行列を考慮した統計的に最適な推定方法を用いることによって、最高精度の色補正モデルのパラメータを推定することが可能となり、色補正の精度が向上する。また、推定した色補正モデルのパラメータに対して、白レベル制約を満たすように事後的な補正を行うことにより、厳密なホワイトバランス補正が実現できるパラメータが得られる。幾何学的モデル選択により、モデルの複雑さと当てはまりのよさをバランスする最適かつ現実的なモデルを決定することができる。さらに、カラーチャート以外の未知の画像に対しても適切な色補正処理が行われる。３次元幾何学変換による色補正処理の計算を３次元ルックアップテーブル（３ＤＬＵＴ）補間により行うことで、色補正処理の計算に掛かるコストを固定できる。

【図面の簡単な説明】

【0010】

【図1】カラーマッチング処理を説明するブロック図である。

【図2】カラーキャリブレーション処理手順を説明するブロック図である。

【図3】（ａ）は３ＤＬＵＴデータを用いた３ＤＬＵＴ補間処理を説明する図であり、（ｂ）は３ＤＬＵＴから読みだされる８個のデータ出力の配置を説明する図である。

【図4】参照板（カラーチャート）による事前の色校正を説明する概念図である。

【図5】画像処理のパイプラインを説明する図である。

【図6】評価用画像を説明する図である。

【図7】色補正の画像例（Ｄ９３（９３００Ｋ）の場合）を説明する図である。

【図8】色補正の画像例（Ｄ５０（５００３Ｋ）の場合）を説明する図である。

【発明を実施するための形態】

【0011】

（発明の概要１）
本実施形態の高精度色補正処理方法では、カラーチャートを撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法により推定する色補正／色校正処理において、厳密なホワイトバランス補正を実現するために、カラーチャート白レベルが指定した／理想的な白レベルになるように、３次元幾何学変換の推定結果を最適に補正する。白レベル制約を課すことにより、画像全体としての色補正結果が十分とは言えなくなるので、複数の異なる自由度の幾何学変換モデルを推定して、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。

【0012】

本実施形態の高精度色補正処理方法では、３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮して推定する構造とする。そして、色補正モデルのパラメータ推定結果にレベル制約を満たすように事後的な補正により、厳密なホワイトバランス補正を実現するためのパラメータを補正計算する構造とする。また、複数の異なる自由度の３次元幾何学変換モデルを推定して、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する構造とする。さらに、モデル選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、色補正処理に掛かる計算コストを固定化する構造とする。

【0013】

このため、カラーチャートを撮影した画像からＲＧＢデータ、およびそれらの共分散行列を抽出するデータ抽出部と、３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮した統計的に最適な方法により推定するパラメータ推定部と、色補正モデルのパラメータ推定結果をレベル制約を満たすように事後的に補正するパラメータ補正部と、複数の異なる自由度の幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するモデル選択部と、モデル選択された３次元幾何学変換による色補正処理の３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３次元ルックアップテーブル（３ＤＬＵＴ）生成部と、モデル選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する色補正処理部とを備えるものとしてもよい。

【0014】

上述の技術思想の具体的な実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、カラーマッチングのための色補正／色校正処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。
（発明の概要２）

【0015】

図１は、カラーマッチング処理を説明するブロック図である。カラーマッチング処理の手順は、次に説明する１）乃至５）のようになる。

【0016】

１）参照板（カラーチャート）を撮影したカラーチャートｓｏｕｒｃｅ画像とカラーチャートｔａｒｇｅｔ画像を入力し、それぞれのＲＧＢデータ、およびそれらの共分散行列を抽出する（データ抽出部）。

【0017】

２）ＲＧＢデータ、およびそれらの共分散行列を入力として、統計的に最適な推定方法である超精度くりこみ法により、カラーチャートｔａｒｇｅｔ画像を基準として、カラーチャートｓｏｕｒｃｅ画像をカラーマッチングするための３次元ＲＧＢ色空間における３次元幾何学変換モデルのパラメータを推定する。また、パラメータ推定結果に対して、白レベル制約を満たすようにパラメータを補正する（パラメータ推定・補正部）。

【0018】

３）複数の異なる自由度の３次元幾何学変換モデルのパラメータ推定の結果から、ＲＧＢデータ、およびそれらの共分散行列による当てはめ残差を計算し、最も自由度の高い一般モデルから二乗ノイズレベルを推定し、パラメータ推定したすべてのモデルにおける幾何学的モデル選択規準を計算する。そして、幾何学的モデル選択規準が最小になるモデルのパラメータを出力する（モデル選択部）。

【0019】

４）選択された幾何学変換モデルのパラメータベクトルみを用いて、３ＤＬＵＴデータを生成する（３ＤＬＵＴ生成部）。

【0020】

５）基準となるカラーチャートｔａｒｇｅｔ画像にカラーマッチングしたいｓｏｕｒｃｅ画像／映像入力に対して、３ＤＬＵＴデータを用いた３ＤＬＵＴ補間により色補正処理を行い、ｓｏｕｒｃｅ画像／映像色補正出力する（色補正処理部）。

【0021】

上述のように、カラーマッチング処理の上記手順１）乃至４）までは、事前に行う“最適パラメータ学習”である。また、上記手順５）は、最適パラメータ学習の結果である最適パラメータベクトルｈから生成した３ＤＬＵＴデータを用いた３ＤＬＵＴ補間処理による色補正処理である。また、ＲＧＢデータ及びそれらの共分散行列については、下記［式１］に説明する。

【0022】

【数1】

【0023】

また、図２は、カラーキャリブレーション処理手順を説明するブロック図である。３次元ＲＧＢ色空間における３次元幾何学変換モデルの定義、および超精度くりこみ法による最適なパラメータを推定・補正するパラメータ推定・補正部、幾何学的モデル選択によるモデル選択部については、後述する。

【0024】

図２を参照しつつ下記に説明するカラーキャリブレーション処理の手順は、次の１）乃至５）に示すようになる。
１）参照板（カラーチャート）を撮影したカラーチャートｓｏｕｒｃｅ画像と理想カラーチャート画像を入力し、それぞれのＲＧＢデータ、およびカラーチャートｓｏｕｒｃｅ画像の共分散行列を抽出する（データ抽出部）。ただし、理想カラーチャート画像のＲＧＢデータは予めメモリに格納しておいたものを読み出して用いればよい。注意すべきは、理想的なＲＧＢデータのため誤差は含まれない。したがって、理想カラーチャートのＲＧＢデータの共分散行列は、

【0025】

【数2】

【0026】

２）ＲＧＢデータ、およびそれらの共分散行列を入力として、統計的に最適な推定方法である超精度くりこみ法により、理想カラーチャート画像を基準として、カラーチャートｓｏｕｒｃｅ画像をカラーマッチングするための３次元ＲＧＢ色空間における３次元幾何学変換モデルのパラメータを推定する。パラメータ推定結果に対して、白レベル制約を満たすようにパラメータを補正する（パラメータ推定・補正部）。

【0027】

３）複数の異なる自由度の３次元幾何学変換モデルのパラメータ推定の結果から、ＲＧＢデータ、およびそれらの共分散行列による当てはめ残差を計算し、最も自由度の高い一般モデルから二乗ノイズレベルを推定し、パラメータ推定したすべてのモデルにおける幾何学的モデル選択規準を計算する。そして、幾何学的モデル選択規準が最小になるモデルのパラメータを出力する（モデル選択部）。

【0028】

４）選択された幾何学変換モデルのパラメータベクトルみを用いて、３ＤＬＵＴデータを生成する（３ＤＬＵＴ生成部）。

【0029】

５）基準となる理想カラーチャート画像にカラーマッチングしたいｓｏｕｒｃｅ画像／映像入力に対して、３ＤＬＵＴデータを用いた３ＤＬＵＴ補間により色補正処理を行い、ｓｏｕｒｃｅ画像／映像色補正出力する（色補正処理部）。

【0030】

また、カラーキャリブレーション処理の上記手順１）乃至４）までは、事前に行う“最適パラメータ学習”である。手順５）は最適パラメータ学習の結果である最適パラメータベクトルみから生成した３ＤＬＵＴデータを用いた３ＤＬＵＴ補間処理による色補正処理である。

【0031】

（３ＤＬＵＴデータ生成について）

【数3】

（３ＤＬＵＴ補間処理について）

【数4】

【0032】

（Ａｂｓｔｒａｃｔ）
カラーチャートを撮影した画像からカラーチャートＲＧＢ画素値データを抽出して、観測誤差の共分散行列を考慮した統計的に最適な超精度くりこみ法により３次元ＲＧＢ色空間における３次元幾何学変換を推定する。推定結果に対して、特定の色レベルにおけるレベル制約を満たすように事後的な最適補正を行い、厳密なホワイトバランスを実現する高精度な色補正を行う。レベル制約を課すことにより、色補正モデルの自由度が低下して、全体としての色補正結果が十分とは言えない場合がある。色補正モデルを高自由度のものとすればよいが、高自由度のモデルの推定には過当てはめの問題が発生する。そこで、複数の異なる自由度の色補正モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適な色補正モデルを幾何学的モデル選択により決定する。色補正処理にデノイジング処理を統合した画像処理パイプラインの構築を目指す。

【0033】

（１ はじめに）
次世代テレビ放送としての４Ｋ／８Ｋ（スーパーハイビジョン）超高精細映像は、解像度だけではなく、広色域、高フレームレート、高ビット深度がＩＴＵ－Ｒ勧告ＢＴ．２０２０規格（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange (2014)）として規定されている。映像の明るさを拡張するハイダイナミックレンジ（ＨＤＲ）も、拡張された信号レベルを圧縮するための非線形の伝達関数が国際標準として規定された（Recommendation ITU-R BT.2100, Image parameter values for high dynamic range television for use in production and international programme exchange (2016)）。

【0034】

色域変換やＨＤＲ変換を含む色補正処理、あるいはカラーグレーディング（Color grading）と呼ばれている処理は映像制作の基本である。参照板（カラーチャート、後述の参照文献［２３］をご参照）を用いたカメラの色調整は、色校正（カラーキャリブレーション）として、異なる機種のカメラ間の色合わせは、カラーマッチングとして知られている（参照文献［２０］、以下”［数字］”と記載する）。

【0035】

松永［２０］は、参照板（カラーチャート）を撮影した画像からＲＧＢ画素値データを抽出して、観測誤差の性質を考慮した統計的に最適な超精度くりこみ法［１２］，［１３］，［１４］により３次元ＲＧＢ色空間における３次元幾何学変換を推定した。そして、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択［９］，［１０］により、モデルの複雑さと当てはまりのよさをバランスする最適な変換モデルを決定し、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間［１５］により計算して、異なる機種の様々なデジタルカメラ間のカラーマッチングの結果を示した。

【0036】

紋野ら［２４］は、デジタルカメラの画像処理パイプラインにおける色補正として、ノイズの増幅を抑制しつつ色補正を行う空間可変色補正（Spatially Variying Color Correction、SVCC）［１７］と高精度デノイジング手法を組み合わせた。

【0037】

色の表現できる範囲を色域（ガマット）と呼び、その限界を越えた場合にクリップ処理により限界値に置き換えることが行われる。３次元ＲＧＢ色空間において、８ビットＲＧＢ画素値は、それぞれ［０，２５５］範囲内が色域であり、それを越えた場合には、クリップ処理により限界値０、あるいは２５５に置き換える。そのような置き換えにより発生する誤差をガマット誤差と呼ぶ［２５］，［２２］。

【0038】

色域の変換は、プリンタやディスプレイヘカラー表示するための色域（ガマット）マッピング（gamut mapping）処理と呼ばれ、カラーマネジメント技術として、様々な方法が研究されてきた［６］，［２５］。松永［１９］は、次世代テレビ放送４Ｋ／８Ｋ（スーパーハイビジョン）におけるＢＴ．２０２０（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange (2014)）色空間から、現行地上デジタル放送におけるＢＴ．７０９（Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international programme exchange (2002)）色空間へ色域の変換を行うために、均等色空間であるＣＩＥＬＡＢ表色系にて、色相毎に最大色差平均の最小化による色域マッピング値を計算した。そして、ＲＧＢ表色系を入出力とする３次元ルックアップテーブル（３ＤＬＵＴ）補間［１５］による計算精度を実験的に評価した。

【0039】

色補正処理における困難は、撮像における観測誤差の影響だけではない。線形な色変換であっても、画素によっては色域限界を越えて、ガマット誤差になる場合もある。そうすると、真の変換の逆変換により色補正を行っても、厳密には元の画像には戻らず、色補正において重要なホワイトバランスも崩れてしまう。

【0040】

松永ら［２２］は、ガマット誤差の影響により崩れたホワイトバランスを厳密に補正するために、カラーチャートにおける白レベルが一致するようにレベル制約を課して色校正を行った。しかし、レベル制約を課すことにより、色補正モデルの自由度が低下して、全体としての色補正結果は十分とは言えない場合もある。色補正モデルを高自由度のものとすればよいが、高自由度のモデルの推定には、過当てはめの問題が生じる。松永ら［２２］は、レベル制約付き最適推定として拡張ＦＮＳ法［１１］，［１２］，［１４］を用いて、厳密なホワイトバランスを実現するとともに、レベル制約を課した場合の高自由度な色補正モデルの推定における過当てはめを幾何学的モデル選択により回避する方法を示した。

【0041】

松永ら［２２］は、レベル制約を課した色補正処理のために、３次元アフィン変換を拡張ＦＮＳ法により推定したが、レベル制約を課した色補正モデルの推定における過当てはめを幾何学的モデル選択により回避する方法については、単純な１次元輝度補正のシミュレーション例を示したのみである。

【0042】

本書面では、参照板（カラーチャート）を撮影した画像からカラーチャートＲＧＢ画素値データを抽出して、観測誤差を考慮した統計的に最適な超精度くりこみ法により３次元ＲＧＢ色空間における３次元幾何学変換を推定する。推定結果に対して、特定の色レベルにおけるレベル制約を満たすように事後的な最適補正［９］，［１２］，［１４］を行い、厳密なホワイトバランスを実現する高精度な色補正を行う。レベル制約を課すことにより、色補正モデルの自由度が低下するが、全体として十分な色補正結果を得るために、高自由度モデルによる色補正を行う。高自由度モデルの推定における過当てはめを幾何学的モデル選択により回避する。

【0043】

本書面の以下の構成は、２章で３次元ＲＧＢ色空間における３次元幾何学変換として、３次元射影変換を定義する。３章で、３次元幾何学変換を推定するための超精度くりこみ法の手順を示し、４章で、厳密なホワイトバランスを実現するための特定の色レベルにおけるレベル制約を満たすための事後的な最適補正について説明する。過当てはめを回避するための幾何学的モデル選択について、５章で説明する。６章で、画像シミュレーションとして、色温度を変換した画像を用いて、デノイジング処理を含めた画像処理パイプラインとしての色補正処理を評価する（図５参照）。

【0044】

（２ ３次元幾何学変換）
３次元ＲＧＢ色空間における「３次元射影変換」による色補正を考える。空間点（ｒ，ｇ，ｂ），（ｒ´，ｇ´，ｂ´）をスケ－ル定数ｆ_０によって各成分のオーダーを揃えた４次元同次ベクトルｘ，ｘ´で表し、３次元射影変換行列を４×４行列Ｈで表す。

【0045】

【数5】

【0046】

ただし、ベクトルａ，ｂの内積を（ａ，ｂ）と書く。

【0047】

平面内の場合と同様に、射影変換によって直線性や平面性は保たれる。すなわち、同一直線上の点は同一直線上の点に写像され、同一平面上の点は同一平面上の点に写像される。しかし、長さや角度や比は保たれないので、たとえば立方体は一般の六面体に写像される［１４］，［１２］。３次元射影変換モデルの自由度（＝パラメータ数－１）は１５である（ベクトルｈのノルムが１になるように正規化するから）。表１に３次までの多項式による変換モデルの項を示す。３次元１次多項式変換はアフィン変換である。射影変換以外の幾何学変換の定義は、［２０］を参照するものとする。

【0048】

【表1】

【0049】

（３ 最適推定）

【0050】

３．１ 最小二乗法

【0051】

【数6】

【0052】

３．２ 誤差と共分散行列

【0053】

【数7】

【0054】

（カラーキャリブレーションは、一方が誤差を含まない理想的なカラーチャート［２３］画像の場合に相当する。異なるカメラによる２画像間のカラーマッチングは、２画像ともに誤差を含む）。

【0055】

これらはいずれも誤差の分布が一様等方であることを仮定しているが、センサによっては誤差の分布が不均一な非等方性であることは珍しくない（ＲＧＢデータの場合、各値には相関があり、カメラの分光感度特性から、Ｒ，Ｇに対してＢの感度は相対的に低い。）［９］，［１８］，［２１］，［１１］。

【0056】

３．３ 超精度くりこみ法
超精度くりこみ法［１２］，［１３］，［１４］の手順は次のようになる。

【0057】

【数8】

【0058】

（４ 最適レベル補正）

【0059】

【数9】

３次元アフィン変換以外の３次元幾何学変換に対しても、同様に拡張できる。

【0060】

（５ 幾何学的モデル選択）

【0061】

【数10】

【0062】

（６ 画像シミュレーション）
分光画像データセットから生成されたｓＲＧＢ（ＢＴ．７０９（Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international programme exchange (2002)））画像（TokyoTech 5-band Multispectral Image Dataset, http://www.ok.sce.titech.ac. jp/res/MSI/MSIdata.html）を真の画像として、Ｄ６５光源環境下におけるＤ９３（９３００Ｋ）、およびＤ５０（５００３Ｋ）の色温度に変換した画像により、色補正処理を評価する。色順応変換には、ＣＩＥＣＡＭ９７ｓ［５］を用いる。

【0063】

図６に評価用画像を示す。画像中のカラーチャートにおける２４色のＲＧＢ画素値データを用いて複数の異なる自由度の色補正モデルを超精度くりこみ法により推定する色校正を行う。推定結果がカラーチャート白・黒レベル制約を満たすように最適補正して、幾何学的モデル選択により最適な色補正モデルを決定する。白・黒２色によるレベル制約は６個の制約式となり、各色補正モデルの自由度がそれぞれ６低下することに注意する。

【0064】

そして、ＲＧＢ毎に独立に正規ノイズを付加して、デノイジング処理、および事前の色校正結果による色補正を行う。デノイジング処理には、ＢＭ３Ｄ［３］をカラー画像対応させたＣＢＭ３Ｄ［４］を用いる。

【0065】

表２、表４は、それぞれ評価用画像の事前の色校正における残差Ｊの平均値である。残差は、画像中に写っているカラーチャート２４色のＲＧＢ画素値データを用いて色校正した結果から計算されるものであり、高自由度のモデルになるほど、小さくなっていく。
［表２、表３］

【0066】

【表2】

【0067】

【表3】

【0068】

これは、理論的に当然である。モデル選択による残差の結果は、最も自由度の高い一般モデルである２次多項式モデル（フル）の残差より大きい。これは、２次多項式変換（フル）以外の低い自由度のモデルが選ばれた結果である。幾何学的ＭＤＬ（Ｇ－ＭＤＬ）による残差は、幾何学的ＡＩＣ（Ｇ－ＡＩＣ）による残差よりも大きい。Ｇ－ＭＤＬは自由度の低い退化モデルを選ぶ傾向にあり、残差項に続くペナルティ項がＧ－ＡＩＣよりも大きいことから説明される［９］，［１０］，［２２］，［２１］，［１１］，［２０］。

【0069】

しかし、評価用画像の色補正結果のＣＰＳＮＲの平均値の表３、表５の結果から、残差は自由度が高くなるにつれて小さくなっていくが、画像全体のＣＰＳＮＲの結果は、必ずしも高自由度のモデルによる色補正結果がよいわけではない。むしろ、最も自由度の高い２次多項式変換（フル）の結果が低自由度のモデルより悪かったりする。これは、過当てはめが発生している証拠と言えるだろう。
［表４、表５］

【0070】

【表4】

【0071】

【表5】

【0072】

色温度Ｄ９３に変換した画像の色補正結果が最大ＣＰ－ＳＮＲになるのはモデル選択（Ｇ－ＭＤＬ）による結果である。色温度Ｄ５０に変換した画像の色補正結果が最大ＣＰＳＮＲになるのは双線形変換による結果であり、モデル選択による結果ではない。しかし、モデル選択による結果は、ほぼ次点のモデルであり、その差は僅かである。

【0073】

図７、図８は、色補正の画像例である。真値画像をそれぞれＤ６５光源環境下におけるＤ９３（９３００Ｋ）、およびＤ５０（Ｄ５００３Ｋ）の色温度変換して、ノイズレベルσ_ｎ＝３０の正規ノイズを付加した入力画像をデノイジング処理、および事前の色校正結果により色補正処理した。

【0074】

Ｄ９３の場合、事前の色校正において、モデル選択（Ｇ－ＭＤＬ）により選ばれたのは、射影変換であった。真値画像と射影変換による色補正画像間のＣＰＳＮＲは３２．０４［ｄＢ］であり、２次多項式変換（フル）による結果３１．７３［ｄＢ］を僅かに上回った。

【0075】

Ｄ５０の場合、事前の色校正において、モデル選択（Ｇ－ＭＤＬ）により選ばれたのは、アフィン変換（フル）であった。真値画像とアフィン変換（フル）による色補正画像間のＣＰＳＮＲは３３．２０［ｄＢ］であり、２次多項式変換（フル）による結果３３．１７［ｄＢ］を僅かに上回った。

【0076】

実際には、ベイヤー配列［１］の単板センサのカメラの場合、画像処理パイプラインとしては、デモザイキング処理が必要になる［２６］。デモザイキング処理は、ＲＧＢ間の内挿補間処理であるから、結果として、ＲＧＢ間に相関が生じる。デモザイキング処理に引き続き行われる多くのデノイジング処理は、ＲＧＢ毎に独立な正規ノイズを仮定しているため、影響を受ける。そこで、デモザイキング処理とデノイジング処理を結合した処理が提案されている［８］，［２］，［７］，［１６］。

【0077】

ＳＶＣＣ［１７］では、３×３色補正行列（４×４行列の３次元アフィン変換行列の左上３×３行列に相当する。）を仮定して、その行列係数からノイズレベルを計算しているが、これを高自由度の変換モデルに拡張することは難しいだろう。画像内容からノイズレベルを推定して、デノイジング処理を全自動化した研究がある［２７］。

【0078】

（７ まとめ）
カラーチャートを撮影した画像からカラーチャートＲＧＢ画素値データを抽出して、観測誤差の共分散行列を考慮した統計的に最適な超精度くりこみ法により３次元ＲＧＢ色空間における３次元幾何学変換を推定する色校正において、厳密なホワイトバランスを実現するための最適レベル補正と高自由度モデルの推定における過当てはめを回避する幾何学的モデル選択により、高精度な色補正処理を行った。正規ノイズを付加した色温度変換画像を用いた画像シミュレーションにより、その有効性を確認した。最適レベル補正と幾何学的モデル選択の組み合わせは強力であり、高精度な色補正処理の結果が期待できる。

【0079】

今後の課題としては、デノイジング処理におけるノイズレベルの推定や、デモザイキング処理をデノイジング処理、および色補正処理に統合した画像処理パイプラインの構築が挙げられる。

【0080】

上記文章中の［※］（※は数字のみ）は下記対応参考文献の参照を意味するものです。
（参考文献一覧）
[1] B. E. Bayer, Color imaging array, July 20 1976,US Patent 3,971,065.
[2] P. Chatterjee, N. Joshi, Sing Bing Kang, and Y. Matsushita, Noise suppression in low-light images through joint denoising and demosaicing, Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR '11), Washington, DC, USA, (2011), pp. 321-328.
[3] K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, Image denoising by sparse 3-d transform-domain collaborative filtering, IEEE Transactions on Image Processing, 16-8 (August 2007), 2080-2095. http://www.cs.tut.fi/~foi/GCF-BM3D/
[4] K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, Color image denoising via sparse 3D collaborative filtering with grouping constraint in luminance-chrominance space, Proceedings of IEEE International Conference on Image Processing (ICIP 2007), San Antonio, TX, USA, (September 2007), pp. I-313-I-316.
[5] M. D. Fairchild, Color Appearance Models, Second Edition, John Wiley & Sons Ltd, July 2005.
[6] 画像電子学会編，「カラーマネジメント技術一拡張色空間とカラーアピアランス」，東京電機大学出版局, 2008年7月．
[7] F. Heide, M. Steinberger, Y.-T. Tsai, M. Rouf, D. Pajak, D. Reddy, O. Gallo, J. Liu, W. Heidrich, K. Egiazarian, J. Kautz, and K. Pulli, FlexISP: a flexible camera image processing framework, ACM Transactions on Graphics, 33-6, Article 231 (November 2014).
[8] K. Hirakawa and T. W. Parks, Joint demosaicing and denoising, IEEE Transactions on Image Processing, 15-8 (August 2006), 2146-2157.
[9] K. Kanatani, Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science, Amsterdam, The Netherlands, April 1996, reprinted Dover Publications, New York, U.S.A., July 2005.
[10] K. Kanatani, Uncertainty modeling and model selection for geometric inference, IEEE Transactions on Pattern Analysis and Machine Intelligence, 26-10 (2004), 1307-1319.
[11] K. Kanatani and C. Matsunaga, Computing internally constrained motion of 3-D sensor data for motion interpretation, Pattern Recognition, 46-6 (2013-6), 1700-1709.
[12] K. Kanatani, Y. Sugaya, and Y. Kanazawa, Guide to 3D Vision Computation: Geometric Analysis and Implementation, Springer International, Cham, Switzerland, December 2016.
[13] K. Kanatani, A. Al-Sharadqah, N. Chernov and Y. Sugaya, Hyper-renormalization: Nonminimization approach for geometric estimation, IPSJ Transactions on Computer Vision Applications, Vol. 6 (2014), 143-159.
[14]金谷健一，菅谷保之，金庫靖，「３次元コンピュータビジョン計算ハンドブック」，森北出版，２０１６年１０月．
[15] H. R. Kang, Computational Color Technology,SPIE Publications, May 2006.
[16] D. Khashabi, S. Nowozin, J. Jancsary and A. W. Fitzgibbon, Joint demosaicing and denoising via learned nonparametric random fields, IEEE Transactions on Image Processing, 23-12 (December 2014), 4968-4981.
[17] S. Lim and A. Silverstein, Spatially varying colorcorrection (SVCC) matrices for reduced noise, Proceedings of 12th Color and Imaging Conference fCIC). Scottsdale. (2004). dd. 76-81.
[18] 松永力，２次元/3次元幾何学変換の統一的な最適計算，第18回画像センシングシンポジウム (SSII2012)講演論文集，横浜(パシフィコ横浜)，2012年6月.
[19] 松永力,広色域映像のための最適色域マッピング，第22回画像センシングシンポジウム(SSII2016)講演論文集,横浜(パシフィコ横浜), 2016年6月．
[20] 松永力，３次元幾何学変換と幾何学的モデル選択による最適カラーマッチング/カラーキャリブレーション，第23回画像センシングシンポジウム(SSII2017)講演論文集,横浜(パシフィコ横浜)， 2017年6月.
[21]松永力,金谷健一,内部拘束を持つ３次元運動の最適計算法と幾何学的モデル選択への応用,ビジョン技術の実利用ワークショップ(ViEW2012),横浜(パシフィコ横浜), 2012年12月・
[22]松永力，趙延軍，和田雅徳,カラーチャートを用いた複数の再撮モニタとカメラの最適色補正,第16回画像センシングシンポジウム(SSII2010)講演論文集、横浜(パシフイコ横浜）,2010年6月
[23] C. S. McCamy, H. Marcus and J. G. Davidson, A color-rendition chart, Journal of Applied Photographic Engineering, 2-3 (Summer 1976), 95-99. http://www.xrite.com/
[24]紋野雄介,高橋健太,田中正行,奥富正敏,ノイズを含む画像に対する高精度な色補正パイプライン，第23回画像センシングシンポジウム(SSII2017)講演論文集,横浜(パシフィコ横浜), 2017年6月．
[25] J. Morovic, Color Gamut Mapping, John Wiley & Sons Ltd., August 2008.
[26] R. Ramanath, W. E. Snyder, Y. Yoo and M. S. Drew, Color image processing pipeline, IEEE Signal Processing Magazine, 22-1, (January 2005), 34-43.
[27] 田中正行,劉新豪,奥富正敏,パラメータフリー全自動画像デノイジング,第18回画像センシングシンポジウム(SSII2012)講演論文集,横浜(パシフイコ横浜), 2012年6月．

【産業上の利用可能性】

【0081】

本発明は、画像・映像の色補正処理全般（例えば、色域変換、ＨＤＲ変換を行うカラーグレーディング処理も含む）に適用可能であり、４Ｋ／８Ｋ（スーパーハイビジョン）超高精細映像にも好適である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】