【文献】
寺川 雅嗣,被写体の色分布を考慮した4原色LCDの色彩設計,電子情報通信学会論文誌 A Vol.J94-A No.12,日本,社団法人電子情報通信学会,2011年12月 1日,Vol.J94-A No.12,P.1013-1024,ISSN 0913-5707
【文献】
下平 美文,撮像−画像処理−表示系の連携による高画質映像システム,映像情報メディア学会誌 第65巻 第10号,日本,(社)映像情報メディア学会,2011年10月 1日,Vol.65, No.10,P.1360-1364,ISSN 1342-6907
(58)【調査した分野】(Int.Cl.,DB名)
入力映像の色空間における色域の外周の彩度を、明度および色相に対する関数として生成するとともに、出力映像の色空間における色域の外周の彩度を、明度および色相に対する関数として生成する彩度関数生成部と、
入力映像の色域の前記外周の彩度と、出力映像の色域の前記外周の彩度の彩度比を算出する彩度比算出部と、
色域変換対象の入力映像を取得する入力映像取得部と、
明度と色度を測定可能な測定装置から、所定のシーンの明度および色度を画素単位で取得する明度・色度取得部と、
取得された色度が、前記入力映像の色空間の色域外に存在する画素を選択する色域外画素選択部と、
色域外の画素として選択された各画素の明度および色度から、各画素の色相を算出する色相算出部と、
色域外の画素として選択された複数の画素を、明度および色相の組ごとにカウントしたヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラムをもとに明度および色相の組ごとに、前記色域変換対象の入力映像の色度に乗算すべき倍率を1以上前記彩度比以下の範囲で決定する倍率決定部と、
前記色域変換対象の入力映像の各画素の明度および色相を算出する色空間変換部と、
前記色域変換対象の入力映像の対象画素の色度に、当該対象画素の明度および色相の組に応じた倍率を乗算する色度拡大部と、
色域が拡大された映像を元の色空間の映像に変換する色空間逆変換部と、
を備えることを色域変換装置。
前記倍率決定部は、前記ヒストグラムの度数が設定値以上の明度および色相の組の倍率を1より大きく前記彩度比以下の値に決定し、前記設定値未満の明度および色相の組の倍率を1に決定することを特徴とする請求項1に記載の色域変換装置。
入力映像の色空間における色域の外周の彩度を、明度および色相に対する関数として生成するとともに、出力映像の色空間における色域の外周の彩度を、明度および色相に対する関数として生成するステップと、
入力映像の色域の前記外周の彩度と、出力映像の色域の前記外周の彩度の彩度比を算出するステップと、
色域変換対象の入力映像を取得するステップと、
明度と色度を測定可能な測定装置から、所定のシーンの明度および色度を画素単位で取得するステップと、
取得された色度が、前記入力映像の色空間の色域外に存在する画素を選択するステップと、
色域外の画素として選択された各画素の明度および色度から、各画素の色相を算出するステップと、
色域外の画素として選択された画素を、明度および色相の組ごとにカウントしたヒストグラムを生成するステップと、
前記ヒストグラムをもとに明度および色相の組ごとに、前記色域変換対象の入力映像の色度に乗算すべき倍率を1以上前記彩度比以下の範囲で決定するステップと、
前記色域変換対象の入力映像の各画素の明度および色相を算出するステップと、
前記色域変換対象の入力映像の対象画素の色度に、当該対象画素の明度および色相の組に応じた倍率を乗算するステップと、
色域が拡大された映像を元の色空間の映像に変換するステップと、
を備えることを色域変換方法。
入力映像の色空間における色域の外周の彩度を、明度および色相に対する関数として生成するとともに、出力映像の色空間における色域の外周の彩度を、明度および色相に対する関数として生成する処理と、
入力映像の色域の前記外周の彩度と、出力映像の色域の前記外周の彩度の彩度比を算出する処理と、
色域変換対象の入力映像を取得する処理と、
明度と色度を測定可能な測定装置から、所定のシーンの明度および色度を画素単位で取得する処理と、
取得された色度が、前記入力映像の色空間の色域外に存在する画素を選択する処理と、
色域外の画素として選択された各画素の明度および色度から、各画素の色相を算出する処理と、
色域外の画素として選択された画素を、明度および色相の組ごとにカウントしたヒストグラムを生成する処理と、
前記ヒストグラムをもとに明度および色相の組ごとに、前記色域変換対象の入力映像の色度に乗算すべき倍率を1以上前記彩度比以下の範囲で決定する処理と、
前記色域変換対象の入力映像の各画素の明度および色相を算出する処理と、
前記色域変換対象の入力映像の対象画素の色度に、当該対象画素の明度および色相の組に応じた倍率を乗算する処理と、
色域が拡大された映像を元の色空間の映像に変換する処理と、
をコンピュータに実行させることを色域変換プログラム。
【発明を実施するための形態】
【0011】
図1は、本発明の実施の形態に係る色域変換装置100を説明するためのブロック図である。色域変換装置100は制御部10、入出力部20、操作部30、表示部40、記憶部50を備える。色域変換装置100は例えばPCで構築できる。カメラ200は、撮像した映像信号を入出力部20を介して制御部10に出力する。カメラ200と色域変換装置100間は、USBケーブルなどの有線ケーブルで接続されてもよいし、無線LANや短距離無線通信などの無線通信で接続されてもよい。また記録メディアを介して撮像された映像信号が色域変換装置100に入力されてもよい。
【0012】
本実施の形態ではカメラ200で撮像された映像信号が色域変換対象の映像信号となる。以下に説明する例では、カメラ200で撮像される映像信号の色域をsRGBの色域とし、拡張後の色域をITU−R BT.2020規格に従ったスーパーハイビジョンの色域とする。なお本実施の形態に係る色域変換方法は、sRGBからAdobeRGBへの変換など、他の色空間の間における色域変換にも適用できる。
【0013】
色彩輝度計300は、カメラ200で撮像されたシーンに対応するシーンの明度・色度を画素単位で測定し、測定した明度・色度を入出力部20を介して制御部10に出力する。色彩輝度計300は、各画素のRGB値は検知できず、各画素の明度・色度を検知する。色彩輝度計300は、人間の目の感度とされているCIE1931等色関数に近似した分光応答度を有する。従ってカメラ200の色域外の色も検知できる。本実施の形態では、カメラ200と色彩輝度計300を併用して同時に同じシーンを撮影または測定し、カメラ200で撮影した映像の色域を色彩輝度計300の測定データをもとに拡張することを基本とする。ただし、カメラ200と色彩輝度計300で時間的および/または場所的に離れた類似シーンを撮影または測定して色域拡張することも許容する。
【0014】
図2は、
図1の制御部10の構成を示すブロック図である。制御部10は、彩度関数生成部11a、彩度比算出部11b、明度・色度取得部12a、色域外画素選択部12b、色相算出部12c、ヒストグラム生成部12d、倍率決定部13、入力映像取得部14a、色空間変換部14b、色度拡大部14c、及び色空間逆変換部14dを含む。これらの機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
【0015】
彩度関数生成部11aは、入力映像の色空間(本実施の形態ではsRGB)における色域の外周の彩度を、明度・色相に対する関数として生成する。また彩度関数生成部11aは、出力映像の色空間(本実施の形態ではスーパーハイビジョン)における色域の外周の彩度を、明度・色相に対する関数として生成する。彩度比算出部11bは、入力映像の色域外周の彩度関数と、出力映像の色域外周の彩度関数の比率(以下、彩度比pという)を算出する。
【0016】
明度・色度取得部12aは色彩輝度計300から、入力映像に対応するシーンの明度・色度を画素単位で取得する。色域外画素選択部12bは、明度・色度取得部12aにより取得された全画素の内、色度が入力映像の色空間の色域外に存在する画素を選択する。色相算出部12cは、選択された各画素の明度・色度から、選択された各画素の色相を算出する。ヒストグラム生成部12dは、色域外に存在する画素として選択された複数の画素を、明度・色相の組ごとにカウントしたヒストグラムを生成する。
【0017】
倍率決定部13は、生成されたヒストグラムをもとに明度・色相の組ごとに、入力映像の色度に乗算すべき倍率mを(1≦m≦p)の範囲で決定する。例えば、ヒストグラムの度数が設定値以上の明度・色相の組の倍率mを(1<m≦p)の範囲内の値に決定し、当該設定値未満の明度および色相の組の倍率mを1に決定する。
【0018】
上記設定値は入力映像の色空間の色域内の明度・色相の組か、色域外の明度・色相の組かを判別するための値である。即ち、色相拡大の対象とする明度・色相の組と、色相拡大の対象としない明度・色相の組を分類するための値である。例えば、カメラ200と色彩輝度計300が撮影または測定しているシーンのフレームが完全に一致し、色彩輝度計300が理想的な色彩輝度計であれば、上記設定値を1に設定する。この条件では、1画素でも存在する明度・色相の組は色域外の画素と判定できる。実際には色彩輝度計300の画角などの仕様に応じて上記設定値を決定する。一般的な色彩輝度計300を使用する場合、例えば20〜30画素に設定する。
【0019】
ヒストグラムの度数が設定値以上の明度・色相の組の倍率mには固定値(例えば1.2〜1.3)を設定してもよいし、表示部40に色域拡大対象の映像を表示させて、ユーザが映像を見ながらトライアンドエラーで指定した値を設定してもよい。
【0020】
入力映像取得部14aは、カメラ200からRGB入力映像を取得する。色空間変換部14bは、取得されたRGB色空間の映像をL*a*b*色空間の映像に変換して、各画素の明度・色相を算出する。色度拡大部14cは入力映像の対象画素の色度に、倍率決定部13により決定された、当該対象画素の明度・色相の組に応じた倍率mを乗算する。色空間逆変換部14dは、色域が拡大されたL*a*b*色空間の映像を元のRGB色空間の映像に変換する。
【0021】
図3は、
図1の色域変換装置100を使用した色域変換方法の詳細を説明するためのフローチャートである。ユーザは操作部30から、入力映像の色空間の色域(以下、入力側色域という)をCIE xy色度図の座標で入力する。通常、RGB3点の座標を指定する。彩度関数生成部11aはRGB3点の座標を入力側色域情報として取得する(S10)。本実施の形態では入力側色域が三角形であると想定する。例えばD65光源下のsRGBを入力側色域とする場合、R点(0.640,0.330)、G点(0.300,0.600)、B点(0.150,0.060)が指定される。
【0022】
図4は、入力側色域と出力側色域がプロットされたCIE xy色度図である。上記のR点(0.640,0.330)、G点(0.300,0.600)、B点(0.150,0.060)は、
図4のinner triangle Aの(xr_in,yr_in)、(xg_in,yg_in)、(xr_in,yg_in)に相当する。
【0023】
彩度関数生成部11aは、0〜100の明度L*について入力側色域外周の彩度Cを算出する(S11)。以下、具体的に説明する。まずinner triangle Aの各辺の直線の方程式を求める。次に各辺を例えば1000分割し、各点のxy座標に対するzを下記式(1)を用いて算出する。明度L*を0〜100の整数単位とし、Yを下記式(2)、式(5)を用いて算出する。このときのX、Zを下記式(8)、式(9)を用いて算出する。算出した三刺激値X,Y,Zをもとに下記式(11)〜式(14)を用いて色度a*,b*を算出する。色度a*,b*を成分とするベクトルの長さが彩度Cとなる。
【0024】
z=1−x−y …(1)
Y=fy^3*Yn (fy>6/29の場合),Y=(3/29)^3*(116fy−16)Yn (fy<6/29の場合) …(2)
X=fx^3*Xn (fx>6/29の場合),X=(3/29)^3*(116fx−16)Xn (fx<6/29の場合) …(3)
Z=fz^3*Zn (fz>6/29の場合),Z=(3/29)^3*(116fz−16)Zn (fz<6/29の場合) …(4)
fy=((L*)+16)/116 …(5)
fx=fy+((a*)/500) …(6)
fz=fy−((b*)/200) …(7)
X=x*Y/y …(8)
Z=z*Y/y …(9)
(L*)=116f(Y/Yn)−16 …(10)
(a*)=500[f(X/Xn)−f(Y/Yn)] …(11)
(b*)=200[f(Y/Yn)−f(Z/Zn)] …(12)
f(t)=t^(1/3) (t>(6/29)^3=0.008856の場合) …(13)
f(t)=[(29/3)^3t+16]/116 (その他の場合) …(14)
D65光源下ではXn=95.045,Yn=100,Zn=108.892
【0025】
彩度関数生成部11aは、入力側色域外周の彩度Cを明度L・色相hに対する関数として構成する(S12)。以下、具体的に説明する。まずステップS11で求めた各明度の1000点のデータについて、下記式(15)を用いて色相h’を算出し、色相h’を度数換算して色相hを導出する。
h’=atan(b*/a*) …式(15)
atanは逆タンジェント。
【0026】
色相hが最も整数に近い場合の明度L*,彩度Cを配列に組み込む。全辺を一周することで、色相hが0°〜360°の明度L*,彩度Cの配列が得られる。当該処理を明度L*を変化させて行うことにより、彩度Cは明度L*,色相hの2つを変数とする配列となる。
【0027】
ユーザは操作部30から、出力映像の色空間の色域(以下、出力側色域という)をCIE xy色度図の座標で入力する。彩度関数生成部11aはRGB3点の座標を出力側色域情報として取得する(S13)。本実施の形態では出力側色域も三角形であると想定する。例えばスーパーハイビジョンの色域を出力側色域とする場合、R点(0.7140,0.2859)、G点(0.1702,0.7965)、B点(0.1314,0.0459)が指定される。
【0028】
上記のR点(0.7140,0.2859)、G点(0.1702,0.7965)、B点(0.1314,0.0459)は、
図4のouter triangle Bの(xr_out,yr_out)、(xg out,yg_out)、(xr_out,yg_out)に相当する。なお馬蹄形の領域Cは、人間の目で認識可能な色域を示している。
【0029】
彩度関数生成部11aは、0〜100の明度L*について出力側色域外周の彩度Cを算出する(S14)。上述のステップS11の処理と同様の処理を行う。彩度関数生成部11aは、出力側色域外周の彩度Cを明度L・色相hに対する関数として構成する(S15)。上述のステップS12の処理と同様の処理を行う。彩度比算出部11bは、ステップS14で算出した出力側色域外周の彩度を、ステップS12で算出した入力側色域外周の彩度で除して彩度比pを算出する(S16)。
【0030】
明度・色度取得部12aは色彩輝度計300から、カメラ200の撮影シーンと同様のシーンの測定データ(具体的には、明度L*、色度x,y)を画素単位で取得する(S17)。色域外画素選択部12bは、取得した測定データの内、入力側色域外の測定データを選択する(S18)。以下、具体的に説明する。測定データの内、色度のx,y座標値が入力側色域外に存在する画素の測定データのみを選択する。即ち、
図4におけるinner triangle Aの外側に位置する測定データのみを選択する。この選択により、カメラ200では色域外として取得できなかった色データを持つ画素のみが選択されることになる。
【0031】
図4におけるR点(xr_in,yr_in)とG点(xg_in,yg_in)を結ぶ直線を求める。傾きa_rg=(yr_in−yg_in)/(xr_in−xg_in)と、切片b_rg=yr_in−a_rg*xr_inを算出し、R点とG点を結ぶ直線を一次関数(y=a_rg*x+b_rg)として導出する。
【0032】
同様にG点(xg_in,yg_in)とB点(xb_in,yb_in)を結ぶ直線を求める。傾きa_gb=(yg_in−yb_in)/(xg_in−xb_in)と、切片b_gb=yg_in−a_gb*xg_inを算出し、G点とB点を結ぶ直線を一次関数(y=a_gb*x+b_gb)として導出する。
【0033】
同様にB点(xb_in,yb_in)とR点(xr_in,yr_in)を結ぶ直線を求める。傾きa_br=(yb_in−yr_in)/(xb_in−xr_in)と、切片b_br=yb_in−a_br*xb_inを算出し、B点とR点を結ぶ直線を一次関数(y=a_br*x+b_br)として導出する。
【0034】
選択すべき測定データは、これら3本の直線がなす三角形の外側の領域に位置する測定データとなるため、(y>a_rg*x+b_rg)∩(y>a_gb*x+b_gb)∩(y<a_br*x+b_br)を満たす領域に位置する測定データを選択する。
【0035】
色相算出部12cは、色域外として選択された測定データの色度x,yから色相hを算出する(S19)。以下、具体的に説明する。色域外として選択された測定データ(明度L*、色度x,y)から上記式(1)、式(2)、式(5)、式(8)、式(9)を用いて三刺激値X,Y,Zを算出する。三刺激値X,Y,Zから上記式(11)〜式(14)を用いて色度a*,b*を算出し、上記式(15)を用いて色相hを求める。ここでも度数換算された色相hを求める。
【0036】
ヒストグラム生成部12dは、色域外として選択された測定データを母集団として、明度と色相の組ごとの画素数のヒストグラムを生成する(S20)。具体的には、明度L*と色相hの各組み合わせのデータが、それぞれいくつ存在するかをカウントする。測定データは画素単位で取得されるため、明度L*と色相hの組に対する画素数のヒストグラムが生成される。これにより被写体全体の色データの内、入力側色域から外れた色データがどのくらい存在し、それらがどのような色相のデータであるかが分かる。
【0037】
入力映像取得部14aは、カメラ200からRGB映像信号を取得する(S21)。このRGB映像信号が色域拡大対象となる。色空間変換部14bは、RGB色空間の映像信号をLinear RGB色空間の映像信号に変換する(S22)。即ち、RGB色空間の映像信号に対して、一般的な正規化処理および逆ガンマ変換処理が施される。
【0038】
色空間変換部14bは、linear RGB色空間の映像信号をCIE XYZ色空間の映像信号に変換する(S23)。例えば入力側色域が、D65光源下のsRGB色空間の色域の場合、下記式(16)〜式(18)を用いて変換する。
X=100*(0.4124*R+0.3576*G+0.1805*B) …(16)
Y=100*(0.2126*R+0.7152*G+0.0722*B) …(17)
Z=100*(0.0193*R+0.1192*G+0.9505*B) …(18)
【0039】
色空間変換部14bは、CIE XYZ色空間の映像信号をL*a*b*色空間の映像信号に変換する(S24)。色度拡大部14cは、導出された色度a*,b*から上記式(15)を用いて色相hを算出する(S25)。ここでも度数換算された色相hを算出する。
【0040】
倍率決定部13は、ステップS16にて導出された彩度比pと、ステップS20にて導出されたヒストグラムをもとに、入力映像信号の各画素の色度a*,b*を拡大するための倍率を決定する(S26)。ヒストグラムの度数が上記設定値以上の度数の明度L*と色相hの組の倍率mは、彩度比pを上限として1以上の倍率を設定する。ヒストグラムの度数が少なくともゼロの明度L*と色相hの組の倍率は1に留める。これにより、被写体の色域がカメラ200の色域内の場合には色域の拡張を行わず、色域外のものが存在する場合にその色に合わせて拡張を行うことが可能になる。
【0041】
色度拡大部14cは、ステップS26にて決定された倍率mを、入力映像信号の各画素の色度a*,b*に乗じて色域を拡大する(S27)。色空間逆変換部14dは、色域が拡大されたL*a*b*色空間の映像信号をCIE XYZ色空間の映像信号に、上記式(10)〜式(14)を用いて変換する(S28)。
【0042】
色空間逆変換部14dは、CIE XYZ色空間の映像信号をlinear RGB色空間の映像信号に変換する(S29)。例えば、出力側色域がスーパーハイビジョンの色域の場合、下記式(20)〜式(22)を用いて変換する。
R=0.01*(1.719307*X−0.356741*Y−0.254701*Z) …(20)
G=0.01*(−0.637302*X+1.591579*Y+0.012991*Z) …(21)
B=0.01*(0.017116*X−0.043076*Y+0.942840*Z) …(22)
【0043】
色空間逆変換部14dは、linear RGB色空間の映像信号をRGB色空間の映像信号に変換する(S30)。即ち、linear RGB色空間の映像信号に対して、一般的なガンマ変換処理および定数倍処理(例えば8ビットであれば255倍)が施される。色空間逆変換部14dは、RGB色空間の映像信号を色域拡大後のRGB映像信号として出力する(S31)。
【0044】
以上説明したように本実施の形態によれば、入力側色域と出力側色域をCIE xy色度図の座標で予め指定することにより、彩度拡大の倍率mを明度・色相に応じて決定することができ、色域の有効利用を担保できる。さらに色彩輝度計300の併用によりカメラ200の色域を超えている色について明度・色相を測定してヒストグラム化し、この結果をもとに色域外の色が存在する色相を中心に彩度拡大の倍率mを制御する。これにより実物に近い色域拡大が可能になる。即ち、カメラ200で撮像された映像の明度・色相および色彩輝度計300で測定されたデータを併用することにより、カメラ200の色域から外れた明度・色相の色を特定して色域拡大することが可能になり、現物の色に近い映像提示が可能になる。
【0045】
彩度の幅は均一なものではなく、明度および/または色相に応じてばらついている。従って、カメラ200で撮像された映像の明度・色相を解析して、その明度・色相に応じた倍率mを彩度に乗じることにより、より最適化された、より効率の良い色域拡大を実現できる。即ち、入力側の狭い色域にて取得された映像信号を、できるだけ現物に近い形で、出力側の広い色域へとその色相に応じて適切にマッピングできる。
【0046】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0047】
簡単な例としては、ヒストグラムと彩度比pによる倍率決定関数についてヒストグラムで度数が1以上の特定の明度・色相の組のみでなく、その周辺の度数がゼロの明度と色相の組においても1以上彩度比p未満の倍率mを採用する等が考えられる。また上述の実施の形態では色域の設定・演算をxy色度図上で行っているが、u”v”色度図上などで行っても本質的に同一の処理を行うことが可能である。