(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
従来、撮像装置においては、目的とする表色系に合致する色再現を得るために、リニアマトリクスを用いた色補正処理が行われる。このリニアマトリクスを用いた色補正処理は、撮像素子から得られるRGB信号の値に対し、3行3列の行列を掛け合わせることにより、RGB信号の値を目的とする信号の値に近くなるように補正する処理である。
【0003】
リニアマトリクスの色補正処理により、撮像素子及び光学系によって生じる誤差を補正することができると共に、一般的な表色系において必要となる負の撮像特性を再現することができる。このため、この処理は非常に広く用いられている。
図9は、負の撮像特性の例を示す図であり、ITU-R rec.BT2020に規定された超高精細映像に定められる広色域表色系の理想撮像特性を示す。横軸は波長(nm)、縦軸は感度(任意単位)である。リニアマトリクスの色補正処理により、
図9に示すように、RGB信号のそれぞれについて負の撮像特性を再現することができる。
【0004】
一方で、撮像装置においては、撮像素子から得られるRGB信号の値を伝送または表示可能な範囲に納めるために、ニー、クリップ等の非線形な信号処理(ダイナミックレンジ圧縮処理)が行われることが多い。
【0005】
このようなリニアマトリクスの色補正処理及びダイナミックレンジ圧縮処理等を含む、撮像素子から得られたRGB信号に対する信号処理を行う撮像装置が知られている(例えば、特許文献1〜3を参照)。
【0006】
図7は、従来の信号処理回路の構成例を示すブロック図である。この信号処理回路100は、リニアマトリクス回路101及びダイナミックレンジ圧縮回路102を備えている。撮像素子から得られたRGB信号に対する従来の処理では、リニアマトリクスの色補正処理を行った後に、ダイナミックレンジ圧縮処理を行うことが一般的である。
【0007】
図8は、従来の信号処理回路100の処理例を説明する図である。
図8(a)〜(c)において、横軸は入射光強度を示し、縦軸はRGB信号の信号値を示す。青が支配的な被写体光のRGB信号が撮像素子から出力されたものと仮定し、当該RGB信号が信号処理回路100に入力されるものとする。
【0008】
図8(a)は、リニアマトリクス回路101に入力されるRGB信号の特性を示し、
図8(b)は、リニアマトリクス回路101から出力され、ダイナミックレンジ圧縮回路102に入力されるRGB信号の特性を示す。また、
図8(c)は、ダイナミックレンジ圧縮回路102から出力されるRGB信号の特性を示す。尚、
図8(a)〜(c)の特性は、信号処理回路100の処理例を説明するために、彩度の程度及び階調の程度を直感的に把握できるように便宜的に示した概略である。
【0009】
図7には図示しない撮像素子から得られたRGB信号に対し、ゲイン調整、ノイズ除去等の処理が行われた後、RGB信号が、リニアマトリクス回路101に入力される。一般に、撮像素子から得られたRGB信号は、負の特性を実現できないことや、クロストークの影響を受けることから、理想的な信号値に比べて彩度が落ち、くすんだ色の信号となってしまう。そこで、リニアマトリクス回路101により、色補正処理が行われる。すなわちRGB信号の各成分の色に対してバランスを整える処理、及び彩度を上げる処理が行われる。
【0010】
リニアマトリクス回路101は、RGB信号の値に対し、予め設定された3行3列の行列LMorgを掛け合わせることで、リニアマトリクスの色補正処理を行う(色再現の補正を行う)。3行3列の行列LMorgの各要素であるマトリクス係数は、目的とする色再現を実現するべく、任意の値をとることができる。
【0011】
例えば、
図8(a)に示すRGB信号がリニアマトリクス回路101に入力されたものとする。
図8(a)に示すRGB信号に対しリニアマトリクスの色補正処理が行われることで、B信号の信号値が大きくなり、R,G信号の信号値が小さくなり、
図8(b)に示すRGB信号が生成される。これにより、RGB信号の彩度が上がる。
【0012】
ダイナミックレンジ圧縮回路102は、リニアマトリクス回路101によりリニアマトリクスの色補正処理が行われたRGB信号の値に対し、ニー処理、クリップ処理等のダイナミックレンジ圧縮処理を行う。ニー処理は、閾値(ニーポイント)を超えたRGB信号の値を、ある比率(ニースロープ)に従って減少させる処理である。クリップ処理は、閾値(クリップポイント)を超えたRGB信号の値を、閾値に制限する処理である。ここでは、階調表現を線形から変化させる処理を一般的に、ダイナミック圧縮処理と定義する。
【0013】
例えば、
図8(b)に示すRGB信号に対しダイナミック圧縮処理(クリップ処理)が行われることで、ダイナミックレンジ圧縮処理された領域ではB信号の信号値が上限値に制限され、
図8(c)に示すRGB信号が生成される。
図8(c)に示すRGB信号は、入射光強度の全範囲において、青色となる。
【発明を実施するための形態】
【0037】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔実施例1〕
まず、本発明の第1の実施形態(実施例1)について説明する。
図1は、実施例1の信号処理回路の構成例を示すブロック図である。この信号処理回路1は、リニアマトリクス回路10−1,11−1及びダイナミックレンジ圧縮回路102を備えている。
【0038】
例えば信号処理回路1が撮像装置に使用される場合、
図1には図示しない撮像素子から得られた信号が、適宜必要とされるゲイン調整、ノイズ除去等の処理が行われた後に、信号処理回路1に入力される。
図7に示した従来技術の場合と同様に、撮像素子から得られたRGB信号は、隣接する異なる素子の影響を受けてしまうことから、実際の被写体光に比べて彩度が落ち、くすんだ色の信号となってしまう。そこで、信号処理回路1は、目的とする表色系における最適な信号値に色補正すると共に、ダイナミックレンジ圧縮処理に起因する高彩度光の階調潰れを軽減する。
【0039】
信号処理回路1は、撮像装置の他、映像信号に対して変換処理等を行う映像信号処理装置にも適用がある。変換処理の例としては、HDR(High Dynamic Range:高ダイナミックレンジ)の信号をSDR(Standard Dynamic Range:標準ダイナミックレンジ)の信号に変換する処理がある。後述する実施例2の信号処理回路2及び実施例3の信号処理回路3についても同様である。
【0040】
リニアマトリクス回路10−1は、RGB信号を入力し、RGB信号の値に対し、予め設定された3行3列の行列LM1を掛け合わせることで、1回目のリニアマトリクスの色補正処理を行う。これにより、
図7に示した従来のリニアマトリクス回路101により出力されるRGB信号よりも彩度を落としたRGB信号が生成される。
【0041】
リニアマトリクス回路10−1は、1回目のリニアマトリクスの色補正処理後のRGB信号(Rmid,Gmid,Bmid信号)をダイナミックレンジ圧縮回路102に出力する。予め設定された行列LM1の詳細については後述する。
【0042】
ダイナミックレンジ圧縮回路102は、リニアマトリクス回路10−1から1回目のリニアマトリクスの色補正処理が行われたRGB信号(Rmid,Gmid,Bmid信号)を入力する。そして、ダイナミックレンジ圧縮回路102は、
図7に示したダイナミックレンジ圧縮回路102と同様に、RGB信号(Rmid,Gmid,Bmid信号)の値に対し、ニー処理、クリップ処理等のダイナミックレンジ圧縮処理を行う。これにより、従来よりも彩度を落としたRGB信号(Rmid,Gmid,Bmid信号)に対してダイナミックレンジ圧縮処理が行われるから、従来に比べて階調潰れが抑制されたRGB信号(Rmid’,Gmid’,Bmid信号’)が生成される。
【0043】
ダイナミックレンジ圧縮回路102は、ダイナミックレンジ圧縮処理後のRGB信号(Rmid’,Gmid’,Bmid’信号)をリニアマトリクス回路11−1に出力する。
【0044】
尚、ダイナミックレンジ圧縮回路102は、ダイナミックレンジ圧縮処理として、ニー処理のみを行うようにしてもよいし、クリップ処理のみを行うようにしてもよい。また、ダイナミックレンジ圧縮回路102は、ニー処理及びクリップ処理以外のダイナミックレンジ圧縮処理を行うようにしてもよい。また、ダイナミックレンジ圧縮回路102は、ニー処理及びクリップ処理等の複数の処理を行うようにしてもよい。
【0045】
リニアマトリクス回路11−1は、ダイナミックレンジ圧縮回路102からダイナミックレンジ圧縮処理が行われたRGB信号(Rmid’,Gmid’,Bmid’信号)を入力する。そして、リニアマトリクス回路11−1は、RGB信号(Rmid’,Gmid’,Bmid’信号)の値に対し、予め設定された3行3列の行列LM2を掛け合わせることで、2回目のリニアマトリクスの色補正処理を行う。この2回目のリニアマトリクスの色補正処理により、所望する色再現が実現される。これにより、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制されたRGB信号(Rfin,Gfin,Bfin信号)が生成される。
【0046】
リニアマトリクス回路11−1は、2回目のリニアマトリクスの色補正処理後のRGB信号(Rfin,Gfin,Bfin信号)を出力する。予め設定された行列LM2の詳細については後述する。
【0047】
(行列LM1,LM2)
次に、予め設定された行列LM1,LM2について詳細に説明する。行列LM1,LM2は、所定の手法にて設計者の演算により得られ、予め設定される。この設定手法には2種類ある。第1は、最初に行列LM1が算出され、次に行列LM2が算出される手法であり、第2は、最初に行列LM2が算出され、次に行列LM1が算出される手法である。
【0048】
いずれの手法も、行列LM1,LM2の要素であるリニアマトリクス係数は、リニアマトリクス回路10−1,11−1による1番目及び2番目のリニアマトリクスの色補正処理を合わせることで、目的とする色補正処理が行われるように決定される。すなわち、行列LM1,LM2のリニアマトリクス係数は、行列LM1,LM2の積であるLM2・LM1=LMorgで表現される色補正処理(信号処理回路1全体で目的とする色補正処理)が行われるように決定される。言い換えると、リニアマトリクス回路10−1により行列LM1を用いて行われる色補正処理及びリニアマトリクス回路11−1により行列LM2を用いて行われる色補正処理と、行列LM1,LM2の積であるLM2・LM1=LMorgの行列を用いて行われる色補正処理とが等価であるものとして、リニアマトリクス係数が決定される。行列LMorgは、
図7に示したリニアマトリクス回路101が用いる行列である。
【0049】
(第1の手法)
行列LM1,LM2を設定する第1の手法は、前述のとおり、最初に行列LM1が算出され、次に行列LM2が算出される。まず、行列LM1のリニアマトリクス係数は、正の実数であるαをパラメータとして、以下のように定義することで決定される。
【数1】
【0050】
パラメータαは、
図7に示した従来技術のダイナミックレンジ圧縮回路102の入力信号よりも彩度の落ちたRGB信号(Rmid,Gmid,Bmid信号)が実施例1のダイナミックレンジ圧縮回路102に入力されるように、リニアマトリクス回路10−1に入力されるRGB信号(撮像素子の出力信号)を基準として、彩度を落とす度合いを決定するパラメータである。パラメータαの値が大きいほど、RGB信号(Rmid,Gmid,Bmid信号)の彩度が落ちる程度は大きく、パラメータαの値が小さいほど彩度が落ちる程度は小さい。
【0051】
この行列LM1は、
図7に示した従来のリニアマトリクス回路101による色補正処理の行列LMorgと比較して、色バランスの補正を主たる目的とせず、入力信号に対して彩度を落とした信号を生成するように機能する。
【0052】
ただし、リニアマトリクスの色補正処理は、当該処理を行う行列をLMとすると、入力信号であるRGB信号に対して以下の式のように作用し、出力信号であるRGB信号(Rout, Gout, Bout)が得られるものとする。
【数2】
【0053】
次に、行列LM2のリニアマトリクス係数は、信号処理回路1全体の色補正を最適値とするために、以下のように定義することで決定される。
【数3】
LM1
-1は、LM1の逆行列を示す。行列LMorgは、
図7に示した従来のリニアマトリクス回路101の色補正処理に用いられ、全体として目的とする色補正処理を行うための行列であり、行列LM1,LM2の積である。
【0054】
この行列LM2は、
図7に示した従来のリニアマトリクス回路101による色補正処理の行列LMorgと同様に、色バランス処理を行うが、加えて、行列LM1による彩度の低下を補償するように機能する。
【0055】
次に、第1の手法により設定された行列LM1,LM2を用いた場合の処理について説明する。
図5は、第1の手法の行列LM1,LM2を用いた信号処理回路1の処理例を説明する図である。
図5(a)〜(d)において、横軸は入射光強度を示し、縦軸はRGB信号の信号値を示す。
図5(a)は、リニアマトリクス回路10−1に入力されるRGB信号の特性を示し、
図5(b)は、リニアマトリクス回路10−1から出力され、ダイナミックレンジ圧縮回路102に入力されるRGB信号の特性を示す。また、
図5(c)は、ダイナミックレンジ圧縮回路102により出力され、リニアマトリクス回路11−1に入力されるRGB信号の特性を示し、
図5(d)は、リニアマトリクス回路11−1により出力されるRGB信号の特性を示す。尚、
図5(a)〜(d)は、信号処理回路1の処理例を説明するために、彩度の程度及び階調の程度を直感的に把握できるように便宜的に示した概略である。
【0056】
リニアマトリクス回路10−1は、RGB信号の値に対し、第1の手法により設定された行列LM1を用いて、1回目のリニアマトリクスの色補正処理を行う。そして、リニアマトリクス回路10−1は、
図7に示した従来のリニアマトリクス回路101により色補正処理が行われた信号と比較して、彩度を落としたRGB信号(Rmid,Gmid,Bmid信号)を生成する。
【0057】
図5(a)に示すRGB信号に対し、行列LM1を用いて1回目のリニアマトリクスの色補正処理が行われる。これにより、B信号の信号値が小さくなり、R,G信号の信号値が大きくなることで、
図5(b)に示すように、RGB信号よりも彩度の落ちたRGB信号(Rmid,Gmid,Bmid信号)が生成される。
【0058】
ダイナミックレンジ圧縮回路102は、従来よりも彩度が低い状態のRGB信号(Rmid,Gmid,Bmid信号)に対してダイナミックレンジ圧縮処理を行う。
【0059】
図5(b)に示すRGB信号(Rmid,Gmid,Bmid信号)に対し、ダイナミックレンジ圧縮処理が行われる。これにより、ダイナミックレンジ圧縮処理の対象でない入射光強度の領域において、階調潰れがなく、かつRGB信号(Rmid,Gmid,Bmid信号)と同様に彩度が低い状態のままの、
図5(c)に示すRGB信号(Rmid’,Gmid’,Bmid’信号)が生成される。また、ダイナミックレンジ圧縮処理の対象の入射光強度の領域において、B信号の信号値が上限値に制限され、RGB信号(Rmid,Gmid,Bmid信号)よりも彩度がさらに落ちた、
図5(c)に示すRGB信号(Rmid’,Gmid’,Bmid’信号)が生成される。
【0060】
リニアマトリクス回路11−1は、彩度が低いRGB信号(Rmid’,Gmid’,Bmid’信号)に対し、第1の手法により設定された行列LM2を用いて、2回目のリニアマトリクスの色補正処理(この場合は色バランス処理)を行う。そして、リニアマトリクス回路11−1は、階調潰れのない、かつ彩度の高いRGB信号(Rfin,Gfin,Bfin信号)を出力する。
【0061】
図5(c)に示すRGB信号(Rmid’,Gmid’,Bmid’信号)に対し、行列LM2を用いて2回目のリニアマトリクスの色補正処理が行われる。これにより、ダイナミックレンジ圧縮処理の対象の入射光強度の領域において、R,G信号の信号値が大きくなる。つまり、
図5(d)に示すように、階調潰れのない、かつ彩度の高いRGB信号(Rfin,Gfin,Bfin信号)が生成される。このRGB信号(Rfin,Gfin,Bfin信号)は、入射光強度の低い領域から高い領域へ、青色から白色へ変化する自然な階調となる。
【0062】
以上のように、第1の手法にて設定された行列LM1,LM2を用いることにより、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れを抑制することができる。
【0063】
尚、行列LM1は、前記数式(1)の代わりに、以下の数式を用いるようにしてもよい。この行列LM1のリニアマトリクス係数は、RGB信号毎の正の実数であるα
R,α
G,α
Bをパラメータとして決定される。
【数4】
パラメータα
R,α
G,α
Bは、RGB信号の各色に対して彩度を落とす度合いを決定するパラメータである。α
R=α
G=α
B=αの場合、行列LM1は、前記数式(1)となる。
【0064】
(第2の手法)
行列LM1,LM2を設定する第2の手法は、前述のとおり、最初に行列LM2が算出され、次に行列LM1が算出される。まず、行列LM2のリニアマトリクス係数は、正の実数であるβをパラメータとして、以下のように定義することで決定される。
【数5】
【0065】
パラメータβは、
図7に示した従来技術のダイナミックレンジ圧縮回路102の入力信号よりも彩度の落ちたRGB信号(Rmid,Gmid,Bmid信号)が実施例1のダイナミックレンジ圧縮回路102に入力されるように、リニアマトリクス回路11−1により出力されるRGB信号(Rfin,Gfin,Bfin信号)を基準として、彩度を落とす度合いを決定するパラメータである。パラメータβの値が大きいほど、RGB信号(Rmid,Gmid,Bmid信号)の彩度が落ちる程度は大きく、パラメータβの値が小さいほど彩度が落ちる程度は小さい。
【0066】
この行列LM2は、入力信号に対して、色バランス処理を行わず、彩度を上げた信号を生成するように機能する。
【0067】
次に、行列LM1のリニアマトリクス係数は、全体の色補正を最適値とするために、以下のように定義することで決定される。
【数6】
LM2
-1は、LM2の逆行列を示す。
【0068】
この行列LM1は、
図7に示した従来のリニアマトリクス回路101による色補正処理の行列LMorgと同様に、色バランス処理を行うが、行列LMorgに比較して、彩度の低い信号を生成するように機能する。
【0069】
第2の手法により設定された行列LM1,LM2を用いた場合も、第1の手法の場合と同様に、従来と同様の目的とする色補正が行われ、かつ、従来に比べて階調潰れを抑制することができる。
【0070】
尚、行列LM2は、前記数式(5)の代わりに、以下の数式を用いるようにしてもよい。この行列LM2のリニアマトリクス係数は、RGB信号毎の正の実数であるβ
R,β
G,β
Bをパラメータとして決定される。
【数7】
パラメータβ
R,β
G,β
Bは、RGB信号の各色に対して彩度を落とす度合いを決定するパラメータである。β
R=β
G=β
B=βの場合、行列LM2は、前記数式(5)となる。
【0071】
第1の手法と第2の手法との違いは、ダイナミックレンジ圧縮回路102の入力信号であるRGB信号(Rmid,Gmid,Bmid信号)の違いにある。
【0072】
第1の手法では、ダイナミックレンジ圧縮回路102の入力信号であるRGB信号(Rmid,Gmid,Bmid信号)を、当該信号処理回路1の入力信号であるRGB信号(例えば撮像素子から得られたRGB信号)を基準として、
図7に示した従来技術のダイナミックレンジ圧縮回路102の入力信号よりも彩度の落ちた信号とすることができる。これに対し、第2の手法では、ダイナミックレンジ圧縮回路102の入力信号であるRGB信号(Rmid,Gmid,Bmid信号)を、当該信号処理回路1の出力信号であるRGB信号(Rfin,Gfin,Bfin信号)を基準として、
図7に示した従来技術のダイナミックレンジ圧縮回路102の入力信号よりも彩度の落ちた信号とすることができる。
【0073】
したがって、例えば撮像素子の特性に応じて、第1の手法または第2の手法を適宜選択して使用することにより、より好適な結果を得ることができる。
【0074】
また、入射する光がR,G,Bそれぞれの場合であって、撮像素子から得られるRGB信号の彩度に大きな違いが無い場合には、RGB信号に共通のパラメータαによる前記数式(1)の行列LM1、またはRGB信号に共通のパラメータβによる前記数式(5)の行列LM2が用いられる。
【0075】
一方、彩度に違いがある場合には、RGB信号毎のパラメータα
R,α
G,α
Bによる前記数式(4)の行列LM1、またはRGB信号毎のパラメータβ
R,β
G,β
Bによる前記数式(7)の行列LM2が用いられる。
【0076】
つまり、前記数式(4)の行列LM1または前記数式(7)の行列LM2は、彩度に違いがある場合に用いられ、階調潰れを効果的に抑制することができる。例えば、青の被写体を撮影した場合のRGB信号の彩度が、赤または緑の被写体を撮影した場合のRGB信号の彩度よりも大きい場合、B信号のパラメータα
Bまたはβ
Bが他のパラメータα
R,α
Gまたはβ
R,β
Gよりも大きい値に設定された行列LM1または行列LM2が用いられる。
【0077】
(実施例1の実験結果)
次に、実施例1の計算機シミュレーションによる実験結果について説明する。
図6は、高彩度のRGB信号を入力したときの実施例1の実験結果を説明する図である。(1)は、
図7に示した従来技術の信号処理回路100による信号値の変化を示し、(2)は、(1)における映像信号の変化を示す。また、(3)は、
図1に示した実施例1の信号処理回路1による信号値の変化を示し、(4)は、(3)における映像信号の変化を示す。ただし、(1)及び(3)に示す信号値は、ガンマ補正後の値を記載しており、信号値の変化が曲線となって表されている。
【0078】
図6(1)及び(3)において、横軸は入射光強度を示し、縦軸はRGB信号の信号値を示す。このRGB信号は、
図1に示した信号処理回路1の出力信号、すなわちRGB信号(Rfin,Gfin,Bfin信号)である。また、
図6(2)及び(4)において、横軸は
図6(1)及び(3)と同じ入射光強度を示す。
図6(2)及び(4)は、入射光強度の全範囲における階調を示している。
【0079】
図6(1)〜(4)は、従来技術の信号処理回路100にて用いるリニアマトリクス回路101の行列LMorgと、実施例1の信号処理回路1にて用いるリニアマトリクス回路10−1,11−1の行列LM1,LM2の積とを同一とした場合の実験結果である。すなわち、前記数式(3)(6)に示すように、LMorg=LM2・LM1である。
【0080】
青が支配的な被写体光のRGB信号が撮像素子から出力されるものと仮定し、当該RGB信号が信号処理回路100及び実施例1の信号処理回路1に入力されるものとする。
【0081】
図6(1)から、従来技術では、入射光強度が約80以上かつ600以下の範囲において、ダイナミックレンジ圧縮処理によりB信号の信号値が抑えられているが、R,G信号の信号値は増加しておらず、信号値全体として停滞していることがわかる。このため、
図6(2)に示すように、映像信号の階調が潰れている。
【0082】
これに対し、
図6(3)から、実施例1では、入射光強度が約80以上かつ600以下の範囲において、ダイナミックレンジ圧縮処理によりB信号の信号値が抑えられ、R,G信号の信号値が増加しており、入射光強度が高くなるほど、白色に近づいていることがわかる。このため、
図6(4)に示すように、映像信号は、潰れのない自然な階調が保たれる。
【0083】
以上のように、実施例1の信号処理回路1によれば、リニアマトリクス回路10−1は、RGB信号の値に対し、予め設定された行列LM1を掛け合わせることで、1回目のリニアマトリクスの色補正処理を行い、RGB信号(Rmid,Gmid,Bmid信号)を生成する。ダイナミックレンジ圧縮回路102は、RGB信号(Rmid,Gmid,Bmid信号)の値に対し、ニー処理、クリップ処理等のダイナミックレンジ圧縮処理を行い、RGB信号(Rmid’,Gmid’,Bmid’信号)を生成する。リニアマトリクス回路11−1は、RGB信号(Rmid’,Gmid’,Bmid’信号)の値に対し、予め設定された行列LM2を掛け合わせることで、2回目のリニアマトリクスの色補正処理を行い、RGB信号(Rfin,Gfin,Bfin信号)を生成する。
【0084】
これにより、RGB信号(Rfin,Gfin,Bfin信号)は、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制された信号となる。RGB信号(Rfin,Gfin,Bfin信号)が従来と同様の目的とする色補正処理が行われた信号となるのは、LMorg=LM2・LM1が成り立つように、リニアマトリクス回路10−1,11−1の処理が行われるからである。また、RGB信号(Rfin,Gfin,Bfin信号)が従来に比べて階調潰れの抑制された信号となるのは、従来よりも彩度を落としたRGB信号(Rmid,Gmid,Bmid信号)に対しダイナミックレンジ圧縮処理が行われ、ダイナミックレンジ圧縮処理後のRGB信号(Rmid’,Gmid’,Bmid’信号)が従来よりも階調のある信号となるからである。
【0085】
したがって、入力したRGB信号に対して、目的とする表色系における最適な信号値に色補正することができ、かつ、ダイナミックレンジ圧縮処理に起因する高彩度光の階調潰れを軽減し、ダイナミックレンジ圧縮処理後にも、自然な階調を保つことができる。つまり、リニアマトリクスの色補正処理及びダイナミックレンジ圧縮処理を行う際に、高彩度のRGB信号の階調を保つことができる。
【0086】
〔実施例2〕
次に、本発明の第2の実施形態(実施例2)について説明する。
図2は、実施例2の信号処理回路の構成例を示すブロック図である。この信号処理回路2は、リニアマトリクス回路10−2,11−2及びダイナミックレンジ圧縮回路102を備えている。信号処理回路2は、全体としてみるとリニアマトリクスの色補正処理を行わず、ダイナミックレンジ圧縮処理のみを行う。
【0087】
図1に示した実施例1の信号処理回路1と
図2に示す実施例2の信号処理回路2とを比較すると、全体として同じ構成の下で、ダイナミックレンジ圧縮回路102を備えている点で共通する。一方、実施例2の信号処理回路2は、実施例1の信号処理回路1のリニアマトリクス回路10−1,11−1とは異なるリニアマトリクス回路10−2,11−2を備えている点で相違する。具体的には、実施例1では、リニアマトリクス回路11−1にて行列LM2が用いられるのに対し、実施例2では、リニアマトリクス回路11−2にて行列LM1
-1(リニアマトリクス回路10−2にて用いる行列LM1の逆行列)が用いられる。
【0088】
リニアマトリクス回路10−2は、RGB信号の値に対し、予め設定された3行3列の行列LM1を掛け合わせることで、1回目のリニアマトリクスの色補正処理を行う。
【0089】
ダイナミックレンジ圧縮回路102は、
図1に示したダイナミックレンジ圧縮回路102と同様の処理を行う。
【0090】
リニアマトリクス回路11−2は、RGB信号(Rmid’,Gmid’,Bmid’信号)の値に対し、予め設定された3行3列の行列LM1
-1を掛け合わせることで、2回目のリニアマトリクスの色補正処理を行う。
【0091】
リニアマトリクス回路11−2は、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制されたRGB信号(Rfin,Gfin,Bfin信号)を出力する。当該信号処理回路2の出力信号であるRGB信号(Rfin,Gfin,Bfin信号)は、入力信号であるRGB信号と比較して、ダイナミックレンジ圧縮処理が行われた信号である点で相違するのみである。つまり、信号処理回路2の処理によっては、ダイナミックレンジ圧縮処理による信号値の変化が起きない範囲において、リニアマトリクス回路10−2による特性とリニアマトリクス回路11−2による特性とが互いに打ち消され、RGB信号の色は変化しない。
【0092】
行列LM1,LM2(=LM1
-1)は、所定の手法にて設計者の演算により得られ、予め設定される。この設定手法は、実施例1と同様の第1の手法が用いられ、さらに、LM2をLM1の逆行列とする条件(LM2・LM1=I)が追加される。Iは3行3列の単位行列である。
【0093】
以上のように、実施例2の信号処理回路2によれば、リニアマトリクス回路10−2は、実施例1のリニアマトリクス回路10−1と同様に、RGB信号の値に対し、予め設定された行列LM1を掛け合わせることで、1回目のリニアマトリクスの色補正処理を行い、RGB信号(Rmid,Gmid,Bmid信号)を生成する。ダイナミックレンジ圧縮回路102は、RGB信号(Rmid,Gmid,Bmid信号)の値に対し、ニー処理、クリップ処理等のダイナミックレンジ圧縮処理を行い、RGB信号(Rmid’,Gmid’,Bmid’信号)を生成する。リニアマトリクス回路11−2は、RGB信号(Rmid’,Gmid’,Bmid’信号)の値に対し、予め設定された行列LM1
-1を掛け合わせることで、2回目のリニアマトリクスの色補正処理を行い、RGB信号(Rfin,Gfin,Bfin信号)を生成する。
【0094】
これにより、RGB信号(Rfin,Gfin,Bfin信号)は、ダイナミックレンジ圧縮の影響を受けない信号の範囲においては入力したRGB信号と同じ色となり、かつ、従来に比べて階調潰れが抑制された信号となる。したがって、実施例1と同様に、リニアマトリクスの色補正処理及びダイナミックレンジ圧縮処理を行う際に、高彩度のRGB信号の階調を保つことができる。
【0095】
尚、信号処理回路2は、第1の手法にて設定された行列LM1,LM1
-1を用いる代わりに、第2の手法にて設定された行列LM2
-1,LM2を用いるようにしてもよい。具体的には、リニアマトリクス回路10−2は、RGB信号の値に対し、予め設定された3行3列の行列LM2
-1を掛け合わせることで、1回目のリニアマトリクスの色補正処理を行う。リニアマトリクス回路11−2は、RGB信号(Rmid’,Gmid’,Bmid’信号)の値に対し、予め設定された3行3列の行列LM2を掛け合わせることで、2回目のリニアマトリクスの色補正処理を行う。
【0096】
この場合の行列LM1(=LM2
-1),LM2は、所定の手法にて設計者の演算により得られ、予め設定される。この設定手法は、実施例1と同様の第2の手法が用いられ、さらに、LM1をLM2の逆行列とする条件(LM2・LM1=I)が追加される。
【0097】
〔実施例3〕
次に、本発明の第3の実施形態(実施例3)について説明する。
図3は、実施例3の信号処理回路の構成例を示すブロック図である。この信号処理回路3は、リニアマトリクス回路10−1,11−1及びレベルダイヤ調整回路103を備えている。
【0098】
図1に示した実施例1の信号処理回路1と
図3に示す実施例3の信号処理回路3とを比較すると、全体として同じ構成をしており、リニアマトリクス回路10−1,11−1を備えている点で共通する。一方、実施例3の信号処理回路3は、実施例1の信号処理回路1のダイナミックレンジ圧縮回路102とは異なるレベルダイヤ調整回路103を備えている点で相違する。
【0099】
リニアマトリクス回路10−1は、
図1に示したリニアマトリクス回路10−1と同様に、予め設定された3行3列の行列LM1を用いて、1回目のリニアマトリクスの色補正処理を行う。そして、リニアマトリクス回路10−1は、RGB信号(Rmid,Gmid,Bmid信号)をレベルダイヤ調整回路103に出力する。
【0100】
レベルダイヤ調整回路103は、リニアマトリクス回路10−1からRGB信号(Rmid,Gmid,Bmid信号)を入力する。そして、レベルダイヤ調整回路103は、RGB信号(Rmid,Gmid,Bmid信号)間の飽和点を揃えるためのクリップ処理を行うことで、レベルダイヤ調整処理を行う。レベルダイヤ調整回路103は、RGB信号(Rmid’,Gmid’,Bmid’信号)をリニアマトリクス回路11−1に出力する。
【0101】
これにより、カラーバランス処理が行われたRGB信号(Rmid,Gmid,Bmid信号)は、これらの信号間で差異が生じたとき同一の信号値にクリップされるから、飽和後に正しい白色のRGB信号(Rmid’,Gmid’,Bmid’信号)が出力される。
【0102】
リニアマトリクス回路11−1は、レベルダイヤ調整回路103からレベルダイヤ調整処理(クリップ処理)が行われたRGB信号(Rmid’,Gmid’,Bmid’信号)を入力する。そして、リニアマトリクス回路11−1は、
図1に示したリニアマトリクス回路11−1と同様に、予め設定された3行3列の行列LM2を用いて、2回目のリニアマトリクスの色補正処理を行う。
【0103】
リニアマトリクス回路11−1は、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制されたRGB信号(Rfin,Gfin,Bfin信号)を出力する。
【0104】
以上のように、実施例3の信号処理回路3によれば、リニアマトリクス回路10−1,11−1は、実施例1と同様の処理を行い、レベルダイヤ調整回路103は、RGB信号(Rmid,Gmid,Bmid信号)間の飽和点を揃えるためのクリップ処理を行うことで、レベルダイヤ調整処理を行う。
【0105】
この場合も、リニアマトリクス回路11−1が出力するRGB信号(Rfin,Gfin,Bfin信号)は、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制された信号となる。したがって、リニアマトリクスの色補正処理及びレベルダイヤ調整処理を行う際に、高彩度のRGB信号の階調を保つことができる。実施例3は、当該信号処理回路3を撮像装置に適用した場合、特に、HDR撮影において有効となる。
【0106】
尚、信号処理回路3は、
図1に示した実施例1と同様にリニアマトリクス回路10−1,11−1を備えるようにしたが、これらの代わりに、
図2に示した実施例2のリニアマトリクス回路10−2,11−2を備えるようにしてもよい。
【0107】
〔実施例4〕
次に、本発明の第4の実施形態(実施例4)について説明する。
図4は、実施例4の撮像装置の構成例を示すブロック図である。この撮像装置20は、撮像素子21、ブラックバランス/ホワイトバランス回路22、信号処理回路1,2,3及び映像処理回路23を備えている。
【0108】
実施例4は、
図1に示した実施例1の信号処理回路1、
図2に示した実施例2の信号処理回路2及び
図3に示した実施例3の信号処理回路3を、撮像装置20に適用した例である。信号処理回路1,2,3は、
図1に示した実施例1の信号処理回路1、
図2に示した実施例2の信号処理回路2、及び
図3に示した実施例3の信号処理回路3のうち、いずれか1つの回路である。
【0109】
撮像素子21は、図示しない光学系を介して被写体光を入射し、その光量を電気信号に変換し、RGB信号として出力する。このRGB信号は増幅され、アナログのRGB信号がデジタルのRGB信号に変換される。
【0110】
ブラックバランス/ホワイトバランス回路22は、撮像素子21からRGB信号を入力し、RGB信号の値に対し、黒レベル調整処理、白レベル調整処理等の各種処理を行い、調整処理後のRGB信号を信号処理回路1,2,3に出力する。
【0111】
信号処理回路1,2,3は、前述のとおり、信号処理回路1,2,3のうちのいずれか1つの回路であり、ブラックバランス/ホワイトバランス回路22から調整後のRGB信号を入力する。そして、信号処理回路1,2,3は、1回目のリニアマトリクスの色補正処理を行い、ダイナミックレンジ圧縮処理またはレベルダイヤ調整処理を行い、2回目のリニアマトリクスの色補正処理を行う。信号処理回路1,2,3は、RGB信号(Rfin,Gfin,Bfin信号)を映像処理回路23に出力する。
【0112】
映像処理回路23は、信号処理回路1,2,3からRGB信号(Rfin,Gfin,Bfin信号)を入力し、RGB信号(Rfin,Gfin,Bfin信号)の値に対し、ノイズリダクション処理、ディテール強調処理等の各種の映像処理を行う。そして、映像処理回路23は、映像処理後のRGB信号を映像信号として出力する。
【0113】
以上のように、実施例4の撮像装置20によれば、信号処理回路1,2,3を撮像装置20に適用することができる。したがって、実施例1〜3と同様に、リニアマトリクスの色補正処理、及び、ダイナミックレンジ圧縮処理またはレベルダイヤ調整処理を行う際に、高彩度のRGB信号の階調を保つことができる。
【0114】
尚、
図4に示した撮像装置20は、ブラックバランス/ホワイトバランス回路22を備えているが、必ずしもブラックバランス/ホワイトバランス回路22を備えていなくてもよい。この場合、信号処理回路1,2,3は、撮像素子21からRGB信号を入力する。
【0115】
〔実施例5〕
次に、本発明の第5の実施形態(実施例5)について説明する。前述のとおり、実施例1,2,3の信号処理回路1,2,3により、従来と同様の目的とする色補正処理が行われ、かつ、従来に比べて階調潰れが抑制されたRGB信号(Rfin,Gfin,Bfin信号)を得ることができる。
【0116】
しかしながら、信号処理回路1,2,3の色補正処理により色域外信号が生成され、階調潰れを十分に抑制することができない場合がある。ここで、色域外信号とは、色補正処理が施された後のRGB信号のそれぞれの信号において、当該信号の何れかの値が色域の所定範囲に含まれず、所定範囲の最小値である基準値よりも小さい値(例えば負値)の信号をいう。
【0117】
図12は、
図1に示した実施例1の信号処理回路1における信号値の変移、すなわち後述する色域外信号処理部30による色域外信号処理がない場合の信号値の変移を説明する図である。青が支配的な被写体光のRGB信号が信号処理回路1に入力されるものとする。
【0118】
図12(a)〜(d)において、横軸は入射光強度を示し、縦軸はRGB信号の信号値を示す。
図12(a)は、リニアマトリクス回路10−1に入力されるRGB信号の特性を示し、
図12(b)は、リニアマトリクス回路10−1から出力され、ダイナミックレンジ圧縮回路102に入力されるRGB信号(Rmid,Gmid,Bmid信号)の特性を示す。また、
図12(c)は、ダイナミックレンジ圧縮回路102により出力され、リニアマトリクス回路11−1に入力されるRGB信号(Rmid’,Gmid’,Bmid’信号)の特性を示し、
図12(d)は、リニアマトリクス回路11−1により出力されるRGB信号(Rfin,Gfin,Bfin信号)の特性を示す。
図12(a)(b)(c)に示す信号値の変移は、
図5(a)(b)(c)と同様である。
【0119】
図12(d)を参照して、信号処理回路1の色補正処理により生成されるRGB信号(Rfin,Gfin,Bfin信号)において、R,G信号の信号値の潜り込みが発生し、信号値が負値となる領域が存在する。具体的には、B信号がダイナミックレンジ圧縮回路102によって抑制された入射光強度の領域に、R,G信号が負値から正値へ変化する所定位置(点P2)があり、これよりも左側の領域では、R,G信号の信号値は負値となる。
【0120】
したがって、点P1と点P2との間の入射光強度の領域(B信号の信号値が抑制された開始点からR,G信号の信号値が負値から正値に変化する点までの間の領域)において、B信号の信号値に変化がなく、R,G信号の信号値に変化はあるが当該信号値は負値である。この領域のR,G信号は、色域外信号である。このため、点P1と点P2との間の入射光強度の領域では、階調潰れが生じる。後述のとおり、実施例5では、この色域外信号を基準値にクリップする。
【0121】
このように、信号処理回路1,2,3の色補正処理により色域外信号が生成され、点P1と点P2との間の入射光強度の領域では、階調潰れを十分に抑制することができない。つまり、高彩度のRGB信号に対して階調を保つ効果は得られるが、色域外信号が存在する所定領域では、その効果が十分ではない場合がある。
【0122】
そこで、実施例5では、色補正処理により色域外信号が生成されないように、色補正処理に先立って、予め色域外信号を色域範囲の基準値にクリップするようにした。
【0123】
図10は、実施例5の信号処理回路の構成例を示すブロック図である。この信号処理回路4は、前述した信号処理回路1,2,3に加え、その前段に色域外信号処理部30を備えている。信号処理回路1,2,3は、
図1に示した実施例1の信号処理回路1、
図2に示した実施例2の信号処理回路2、及び
図3に示した実施例3の信号処理回路3のうち、いずれか1つの回路である。
【0124】
図1〜3に示した実施例1,2,3の信号処理回路1,2,3と
図10に示す実施例5の信号処理回路4とを比較すると、実施例5の信号処理回路4は、信号処理回路1,2,3を備えており、さらに色域外信号処理部30を備えている点で、実施例1,2,3の信号処理回路1,2,3と相違する。
【0125】
色域外信号処理部30は、リニアマトリクス回路31,33及びクリップ回路32を備えている。リニアマトリクス回路31は、RGB信号を入力し、RGB信号の値に対し、予め設定された3行3列の行列LMorgを掛け合わせることで、リニアマトリクスの色補正処理を行う。行列LMorgは、前記数式(3)(6)のとおり、後段の信号処理回路1,2,3全体で施されるリニアマトリクス係数からなる行列であり、行列LM2と行列LM1との積の値が用いられる。これにより、後段の信号処理回路1,2,3による色補正処理にて得られる出力信号が再現される。
【0126】
リニアマトリクス回路31は、リニアマトリクスの色補正処理後のRGB信号(R1,G1,B1信号)をクリップ回路32に出力する。
【0127】
クリップ回路32は、リニアマトリクス回路31からリニアマトリクスの色補正処理が行われたRGB信号(R1,G1,B1信号)を入力し、RGB信号(R1,G1,B1信号)のそれぞれの信号に対して、予め設定された基準値よりも小さい信号である色域外信号を基準値にクリップする処理を施す。
【0128】
予め設定された基準値は、例えば一般的な画像信号について0が用いられる。尚、RGB信号として取り得る色域範囲の最小の信号値が規格により定められている場合には、その最小値が基準値として用いられる。例えば、10ビットのSDI信号の最小値は4であるから、基準値として4が用いられる。また、基準値としてマイナスの値が用いられる場合もある。
【0129】
クリップ回路32は、クリップ処理後のRGB信号(R2,G2,B2信号)をリニアマトリクス回路33に出力する。
【0130】
リニアマトリクス回路33は、クリップ回路32からクリップ処理が行われたRGB信号(R2,G2,B2信号)を入力し、予め設定された3行3列の行列LMorg
-1を掛け合わせることで、リニアマトリクスの色補正処理を行う。リニアマトリクス回路33で用いる行列LMorg
-1は、リニアマトリクス回路31で用いた行列LMorgの逆行列である。これにより、クリップの影響を受けない色域内信号については、元の入力信号であるRGB信号が再現される。また、色域外信号については、色域内にクリップされたRGB信号が再現される。
【0131】
リニアマトリクス回路33は、リニアマトリクスの色補正処理後のRGB信号(R’,G’,B’信号)を信号処理回路1,2,3に出力する。
【0132】
このように、色域外信号処理部30に備えたリニアマトリクス回路31,33及びクリップ回路32により、色域外信号(後段の信号処理回路1,2,3が当該信号処理回路4の入力信号であるRGB信号に対し色補正処理を行った場合に発生する色域外信号)が色域内にクリップされる。つまり、信号処理回路1,2,3にて色補正処理が行われた場合に色域外信号が発生しないように、当該信号処理回路1,2,3に入力されるRGB信号(R’,G’,B’信号)が生成される。
【0133】
信号処理回路1,2,3は、色域外信号処理部30のリニアマトリクス回路33からリニアマトリクスの色補正処理後のRGB信号(R’,G’,B’信号)を入力し、
図1〜
図3にて説明した同様の処理を行う。そして、信号処理回路1,2,3は、所望する色再現を実現すると共に、階調潰れが抑制されたRGB信号(Rfin,Gfin,Bfin信号)を出力する。
【0134】
尚、行列LMorg,LMorg
-1は、所定の手法にて設計者の演算により得られ、予め設定される。この場合、行列LMorgと行列LMorg
-1との積は単位行列である(LMorg
-1・LMorg=I、Iは3行3列の単位行列)。
【0135】
以上のように、実施例5の信号処理回路4によれば、色域外信号処理部30のリニアマトリクス回路31は、RGB信号の値に対し、予め設定された行列LMorgを掛け合わせることで、リニアマトリクスの色補正処理を行い、RGB信号(R1,G1,B1信号)を生成する。クリップ回路32は、RGB信号(R1,G1,B1信号)のそれぞれの値に対し、予め設定された基準値よりも小さい信号を基準値にクリップし、RGB信号(R2,G2,B2信号)を生成する。リニアマトリクス回路33は、RGB信号(R2,G2,B2信号)の値に対し、予め設定された行列LMorg
-1を掛け合わせることで、リニアマトリクスの色補正処理を行い、RGB信号(R’,G’,B’信号)を生成する。
【0136】
これにより、RGB信号(R’,G’,B’信号)に対する後段の信号処理回路1,2,3の色補正処理により、色域外信号が生成されることがない。
【0137】
そして、信号処理回路1,2,3は、RGB信号(R’,G’,B’信号)の値に対し、実施例1,2,3と同様の処理を行い、RGB信号(Rfin,Gfin,Bfin信号)を生成する。
【0138】
つまり、信号処理回路1,2,3の前段に設けられた色域外信号処理部30は、信号処理回路1,2,3と同様の色補正処理を行った後にクリップ処理を行い、色域外信号を色域内の信号に変化させ、色補正処理を行う前の元のRGB信号に対応するRGB信号(R’,G’,B’信号)に戻す。そして、信号処理回路1,2,3は、このRGB信号(R’,G’,B’信号)に対して色補正処理を行い、RGB信号(Rfin,Gfin,Bfin信号)を生成する。
【0139】
これにより、RGB信号(Rfin,Gfin,Bfin信号)には、色域外信号が含まれることがなく、階調潰れを十分に抑制することができる。したがって、リニアマトリクスの色補正処理、及び、ニーまたはリミットの処理を行う際に、高彩度のRGB信号の階調を十分に保つことが可能となる。
【0140】
尚、実施例5の信号処理回路4は、
図4に示した実施例4の撮像装置20に適用がある。つまり、実施例4の撮像装置20は、信号処理回路1,2,3の代わりに信号処理回路4を備えるようにしてもよい。
【0141】
〔実施例6〕
次に、本発明の第6の実施形態(実施例6)について説明する。実施例6は、実施例5において、色域外信号処理部30のリニアマトリクス回路33と、信号処理回路1,2,3のリニアマトリクス回路10−1,10−2とを結合し、1つのリニアマトリクス回路を構成する例である。これにより、実施例5に比べ、回路の数を少なくすることができ、全体として小型化及びコスト低減を図ることができる。
【0142】
図11は、実施例6の信号処理回路の構成例を示すブロック図である。この信号処理回路5は、リニアマトリクス回路31,40、クリップ回路32、ダイナミックレンジ圧縮回路102またはレベルダイヤ調整回路103、及びリニアマトリクス回路11−1またはリニアマトリクス回路11−2を備えている。
【0143】
図10に示した実施例5の信号処理回路4と
図11に示す実施例6の信号処理回路5とを比較すると、両信号処理回路4,5は等価である。一方、信号処理回路5は、信号処理回路4のリニアマトリクス回路33と信号処理回路1,2,3のリニアマトリクス回路10−1,10−2とを結合したリニアマトリクス回路40を備えている点で、信号処理回路4と相違する。
【0144】
色域外信号処理部30のリニアマトリクス回路31及びクリップ回路32、並びに信号処理回路1,2,3のダイナミックレンジ圧縮回路102、レベルダイヤ調整回路103及びリニアマトリクス回路11−1,11−2は前述のとおりであるから、説明を省略する。
【0145】
リニアマトリクス回路40は、クリップ回路32からクリップ処理が行われたRGB信号(R2,G2,B2信号)を入力し、予め設定された3行3列の行列LM1・LMorg
-1を掛け合わせることで、リニアマトリクスの色補正処理を行う。
【0146】
行列LM1は、リニアマトリクス回路10−1,10−2にて用いる予め設定された3行3列の行列である。行列LMorg
-1は、リニアマトリクス回路33にて用いる予め設定された3行3列の行列である。リニアマトリクス回路40では、行列LM1及び行列LMorg
-1の積である行列LM1・LMorg
-1が用いられる。
【0147】
リニアマトリクス回路40は、リニアマトリクスの色補正処理後のRGB信号(Rmid,Gmid,Bmid信号)をダイナミックレンジ圧縮回路102またはレベルダイヤ調整回路103に出力する。
【0148】
以上のように、実施例6の信号処理回路5によれば、リニアマトリクス回路40は、リニアマトリクス回路33とリニアマトリクス回路10−1,10−2とを結合して構成され、クリップ回路32によりクリップ処理が施されたRGB信号(R2,G2,B2信号)の値に対し、予め設定された行列LM1・LMorg
-1を掛け合わせることで、リニアマトリクスの色補正処理を行い、RGB信号(Rmid,Gmid,Bmid信号)を生成する。
【0149】
この信号処理回路5は、実施例5のリニアマトリクス回路33及びリニアマトリクス回路10−1,10−2からなる2つの回路の代わりに、これらの回路と等価の1つのリニアマトリクス回路40を備える。
【0150】
これにより、実施例5と同様に、リニアマトリクスの色補正処理、及び、ニーまたはリミットの処理を行う際に、高彩度のRGB信号の階調を十分に保つことが可能となる。また、実施例5に比べ、回路の数を少なくすることができ、全体として小型化及びコスト低減を図ることができる。
【0151】
尚、実施例6の信号処理回路5は、
図4に示した実施例4の撮像装置20に適用がある。つまり、実施例4の撮像装置20は、信号処理回路1,2,3の代わりに信号処理回路5を備えるようにしてもよい。
【0152】
次に、実施例6の信号処理回路5における信号値の変移について説明する。
図13は、
図11に示した実施例6の信号処理回路5における信号値の変移、すなわち色域外信号処理がある場合の信号値の変移を説明する図である。青が支配的な被写体光のRGB信号が信号処理回路5に入力されるものとする。
【0153】
図13(a)〜(f)において、横軸は入射光強度を示し、縦軸はRGB信号の信号値を示す。
図13(a)は、リニアマトリクス回路31に入力されるRGB信号の特性を示し、
図13(b)は、リニアマトリクス回路31から出力され、クリップ回路32に入力されるRGB信号(R1,G1,B1信号)の特性を示す。また、
図13(c)は、クリップ回路32により出力され、リニアマトリクス回路40に入力されるRGB信号(R2,G2,B2信号)の特性を示し、
図13(d)は、リニアマトリクス回路40により出力され、ダイナミックレンジ圧縮回路102に入力されるRGB信号(Rmid,Gmid,Bmid信号)の特性を示す。
【0154】
また、
図13(e)は、ダイナミックレンジ圧縮回路102により出力され、リニアマトリクス回路11−1に入力されるRGB信号(Rmid’,Gmid’,Bmid’信号)の特性を示し、
図13(f)は、リニアマトリクス回路11−1により出力されるRGB信号(Rfin,Gfin,Bfin信号)の特性を示す。
【0155】
図13(a)に示すRGB信号に対し、リニアマトリクス回路31により、行列LMorgを用いてリニアマトリクスの色補正処理が行われ、
図13(b)に示すRGB信号(R1,G1,B1信号)が生成される。これにより、B信号の信号値が大きくなり、R,G信号の信号値が小さくなって色域外信号となる。
【0156】
図13(b)に示すRGB信号(R1,G1,B1信号)のそれぞれに対し、クリップ回路32により、基準値(0値)よりも小さい信号(負値の信号)が基準値にクリップされ、
図13(c)に示すRGB信号(R2,G2,B2信号)が生成される。これにより、負値のR,G信号である色域外信号は、基準値である0値にクリップされる。
【0157】
図13(c)に示すRGB信号(R2,G2,B2信号)に対し、リニアマトリクス回路40により、行列LM1・LMorg
-1を用いてリニアマトリクスの色補正処理が行われ、
図13(d)に示すRGB信号(Rmid,Gmid,Bmid信号)が生成される。これにより、RGB信号(Rmid,Gmid,Bmid信号)は、
図13(b)よりも彩度の落ちた信号となる。
【0158】
図13(d)に示すRGB信号(Rmid,Gmid,Bmid信号)に対し、ダイナミックレンジ圧縮回路102により、ダイナミックレンジ圧縮処理が行われ、
図13(e)に示すRGB信号(Rmid’,Gmid’,Bmid’信号)が生成される。
図13(e)は、
図5(c)及び
図12(c)に対応している。
【0159】
図13(e)に示すRGB信号(Rmid’,Gmid’,Bmid’信号)に対し、リニアマトリクス回路11−1により、行列LM2を用いてリニアマトリクスの色補正処理が行われ、
図13(f)に示すRGB信号(Rfin,Gfin,Bfin信号)が生成される。これにより、
図13(f)に示すR,G信号(Rfin,Gfin信号)は、
図12(d)に示したR,G信号(Rfin,Gfin信号)と異なり、負値を含まない信号となる。したがって、R,G信号の信号値の潜り込みを回避することができ、負値の信号値に起因する階調潰れを抑制することが可能となる。
【0160】
(実施例6の実験結果)
次に、実施例6の計算機シミュレーションによる実験結果について説明する。
図14は、高彩度のRGB信号を入力したときの実施例6の実験結果を説明する図である。(1)は、
図7に示した従来技術の信号処理回路100による信号値の変化を示し、(2)は、(1)における映像信号の変化を示す。また、(3)は、
図1に示した実施例1の信号処理回路1による信号値の変化を示し、(4)は、(3)における映像信号の変化を示す。そして、(5)は、
図11に示した実施例6の信号処理回路5による信号値の変化を示し、(6)は、(5)における映像信号の変化を示す。
【0161】
図14(1)(3)及び(5)において、横軸は入射光強度を示し、縦軸はRGB信号の信号値を示す。このRGB信号は、それぞれ信号処理回路100,1,5の出力信号、すなわちRGB信号(Rfin,Gfin,Bfin信号)である。また、
図14(2)(4)及び(6)において、横軸は
図14(1)(3)及び(5)と同じ入射光強度を示す。
図14(2)(4)及び(6)は、入射光強度の全範囲における階調を示している。
【0162】
図14(1)〜(6)は、
図6(1)〜(4)と同様に、従来技術の信号処理回路100にて用いる行列LMorgと、実施例1の信号処理回路1及び実施例6の信号処理回路5にて用いる行列LM1,LM2の積とを同一とした場合の実験結果である。また、従来技術の信号処理回路100にて用いる行列LMorgと、実施例6の信号処理回路5にて用いる行列LMorgとは同一である。
【0163】
青が支配的な被写体光のRGB信号が撮像素子から出力されるものと仮定し、当該RGB信号が、それぞれ信号処理回路100,1,5に入力されるものとする。
【0164】
図14(1)から、従来技術では、入射光強度が約80以上かつ600以下の範囲において、ダイナミックレンジ圧縮処理によりB信号の信号値が抑えられているが、R,G信号の信号値は増加しておらず、信号値全体として停滞していることがわかる。このため、
図14(2)に示すように、映像信号の階調が潰れている。
【0165】
また、
図14(3)から、実施例1のB信号の信号値は、入射光強度が約80以上かつ600以下の範囲において、ダイナミックレンジ圧縮処理により抑えられ、R,G信号の信号値は、入射光強度が約250以上かつ600以下の範囲において、それぞれ増加しており、入射光強度が高くなるほど、白色に近づいていることがわかる。
【0166】
しかしながら、実施例1のRGB信号全ての信号値は、入射光強度が約80以上かつ約250以下の範囲において変化がない(この範囲のR,G信号は、
図12(d)に示したように、色域外信号となっている)。このため、
図14(4)に示すように、映像信号は、全範囲に渡って階調の変化は見られるものの、一部の範囲(入射光強度が約80以上かつ約250以下の範囲)では階調の変化がなく、部分的な階調潰れが発生している。
【0167】
これに対し、
図14(5)から、実施例6のB信号の信号値は、入射光強度が約80以上かつ600以下の範囲において、ダイナミックレンジ圧縮処理により抑えられ、R,G信号の信号値は、入射光強度が約110以上かつ600以下の範囲において、それぞれ増加しており、入射光強度が高くなるほど、白色に近づいていることがわかる。このため、
図14(6)に示すように、映像信号は、
図14(4)よりも広い範囲で階調の変化が見られ、潰れのない自然な階調が保たれている。
【0168】
このように、実施例1は、従来技術に比べて階調潰れを抑制することができ、実施例6は、実施例1に比べて階調潰れを一層抑制することができる。
【0169】
尚、本発明の実施例1,2,3,5,6による信号処理回路1,2,3,4,5のハードウェア構成としては、通常のコンピュータを使用することができる。信号処理回路1,2,3,4,5は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。信号処理回路1に備えたリニアマトリクス回路10−1,11−1及びダイナミックレンジ圧縮回路102の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、信号処理回路2に備えたリニアマトリクス回路10−2,11−2及びダイナミックレンジ圧縮回路102の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、信号処理回路3に備えたリニアマトリクス回路10−1,11−1及びレベルダイヤ調整回路103の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0170】
また、信号処理回路4に備えたリニアマトリクス回路31,33及びクリップ回路32等の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。さらに、信号処理回路5に備えたリニアマトリクス回路31,40及びクリップ回路32等の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0171】
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【0172】
また、本発明の実施例1,2,3,5,6において、
図1に示した実施例1の信号処理回路1のリニアマトリクス回路10−1からリニアマトリクス回路11−1までの各構成部の処理、
図2に示した実施例2の信号処理回路2のリニアマトリクス回路10−2からリニアマトリクス回路11−2までの各構成部の処理、
図3に示した実施例3の信号処理回路3のリニアマトリクス回路10−1からリニアマトリクス回路11−1までの各構成部の処理、
図10に示した実施例5の信号処理回路4のリニアマトリクス回路31から信号処理回路1,2,3に備えたリニアマトリクス回路11−1,11−2までの各構成部の処理、及び、
図11に示した実施例6の信号処理回路5のリニアマトリクス回路31からリニアマトリクス回路11−1,11−2までの各構成部の処理は、それぞれ信号処理回路1,2,3,4,5に搭載される集積回路であるLSIのチップにより実現されるようにしてもよい。これらは、個別に1チップ化されていてもよいし、これらの一部または全部が1チップ化されていてもよい。
【0173】
また、LSIの代わりに、集積度の異なるVLSI、ULSI等のチップにより実現されるようにしてもよい。さらに、LSI等のチップに限るものではなく、専用回路または汎用プロセッサを用いるようにしてもよいし、FPGA(Field Programmable Gate Array)を用いるようにしてもよい。