(58)【調査した分野】(Int.Cl.,DB名)
赤色の画素値と、緑色の画素値と、青色の画素値とにより映像を表す第1のフォーマットの映像信号を、前記第1のフォーマットにより表現可能な色域よりも狭い色域を対象とするフォーマットであって、輝度値と色差値とにより映像を表すフォーマットである第2のフォーマットの映像信号に変換し、
前記第1のフォーマットの映像信号を前記第2のフォーマットの映像信号に変換する際に、前記第1のフォーマットの映像信号のうち、前記第2のフォーマットにおける定義域を超えている部分の信号値を、前記第2のフォーマットの定義域において使用されていない信号値に割り当て、
前記部分であって、連続している部分のうち、少なくとも一部は、前記割り当てによる割り当て先においても連続していることを特徴とする信号変換装置。
前記第2のフォーマットにおける定義域を超えている部分の信号値を割り当てる信号値は、前記第1のフォーマットにより表現可能な色域に対応する、前記第2のフォーマットにおける信号域から、少なくとも所定の距離離れていることを特徴とする請求項1に記載の信号変換装置。
前記逆変換の途中過程の信号であって、第2のフォーマットに対応するフォーマットであり、赤色の画素値と、緑色の画素値と、青色の画素値とにより映像を表すフォーマットである第3のフォーマットの信号に対して、前記第3のフォーマットの定義域外部のクリッピングを行うクリッピング部を有することを特徴とする請求項3に記載の信号復元装置。
【発明を実施するための形態】
【0016】
以下、図面を参照して、本発明の実施の形態について説明する。
図1は、この発明の一実施形態による映像システム1の構成を示す概略ブロック図である。映像システム1は、広色域カメラ10、信号変換装置20、信号変換装置21、狭色域伝送システム30、狭色域蓄積装置40、信号復元装置50、狭色域表示装置60、広色域編集装置70、広色域表示装置80を含む。
【0017】
広色域カメラ10は、広色域の映像を撮像するテレビジョンカメラである。広色域カメラ10は、撮像結果の映像を、2020RGBを用いたフォーマット(第1のフォーマット)の映像信号B0で出力する。映像信号B0は、2020RGBを用いたフォーマットの信号であるので、広色域の映像信号である。また、映像信号B0は、アナログ信号である。
【0018】
信号変換装置20は、映像信号B0を、709YCを用いたフォーマット(第2のフォーマット)の映像信号T0に変換する。信号変換装置20は、2020RGBを709YCに変換する際に、2020RGBのうち、709YCにおける定義域を超えている部分の信号値を、709YCにおいて2020RGBにより使用されていない信号値に割り当てる。これにより、映像信号T0は、709YCを用いたフォーマットであるので、2020RGBにより表現可能な色域よりも色域の狭い狭色域の映像信号であるが、広色域の情報を失わずに保持している。また、映像信号T0は、デジタル信号である。
【0019】
狭色域伝送システム30は、映像信号T0を伝送する。例えば、狭色域伝送システム30は、ロケ地から放送局まで映像信号を伝送する。狭色域蓄積装置40は、映像信号T0など、入力された映像信号を蓄積する。信号復元装置50は、狭色域蓄積装置40が蓄積している映像信号を、映像信号T1として読出し、2020RGBを用いたフォーマットの映像信号B1に変換する。また、信号復元装置50は、映像信号T1を、709RGBを用いたフォーマット(第3のフォーマット)の映像信号Nに変換する。
【0020】
狭色域表示装置60は、709RGBに対応した表示装置であり、映像信号Nが表す映像を表示する。広色域編集装置70は、2020RGBに対応した映像編集装置であり、映像信号B1が表す映像を編集し、編集結果の映像を表す映像信号B2を生成する。なお、映像信号B2は、2020RGBを用いたフォーマットの映像信号である。
【0021】
広色域表示装置80は、2020RGBに対応した表示装置であり、映像信号B1が表す映像を表示する。信号変換装置21は、信号変換装置20と同様に、映像信号B2を、第2のフォーマットの映像信号に変換し、変換結果の映像信号を狭色域蓄積装置40に蓄積させる。ただし、映像信号B2は、デジタル信号である。
【0022】
図2は、信号変換装置20の構成を示す概略ブロック図である。信号変換装置20は、入力部200、XYZ変換部201、709RGB変換部202、YC変換部203、量子化部204、定義域外マッピング部205、出力部206を含む。入力部200は、2020RGBで表されている映像信号B0を取得する。XYZ変換部201は、入力部200が取得した映像信号B0の各画素値を、XYZ表色系に変換する。変換方法として、例えば、映像信号B0の赤色、緑色、青色、それぞれの画素値に逆ガンマ処理を行った値を要素とするベクトルに、下記行列T
709を乗じることで、X、Y、Zを要素とするベクトルに変換する方法が用いられる。なお、逆ガンマ処理は、いわゆるガンマ処理(非線形伝達関数(Non-linear transfer function)ともいう)の逆処理である。XYZ変換部201は、2020RGBで用いられているガンマ処理の逆処理を、逆ガンマ処理として行う。
【0024】
709RGB変換部202は、XYZ変換部201によりXYZ表色系に変換された各画素値を、709RGBに変換する。709RGB変換部202は、画素値が709RGBの定義域を超えていても、定義域内の場合と同様の変換を行う。変換方法として、例えば、X、Y、Zを要素とするベクトルに、下記行列T
2020の逆行列を乗じて得られるベクトルの要素各々にガンマ処理を行うことで、赤色、緑色、青色、それぞれの画素値を要素とするベクトルに変換する方法が用いられる。なお、709RGB変換部202は、709RGBで用いられているガンマ処理を行う。
【0026】
YC変換部203は、709RGB変換部202により変換された各画素値を、輝度値Yと、色差値Cb、Crとに変換する。なお、色差値Cbは、青色の色差に関する色差値であり、色差値Crは、赤色の色差に関する色差値である。変換方法として、YC変換部203は、画素値が709RGBの定義域を超えていても、定義域内の場合と同様の変換を行う。変換方法として、ITU−R BT.709に記載されている方法が用いられる。例えば、YC変換部203は、以下に示す式(1)を用いて変換する。
【0028】
量子化部204は、YC変換部203の変換によって得られた輝度値Y、色差値Cb、Crを量子化(デジタル化)する。定義域外マッピング部205は、量子化部204によって量子化された各画素の輝度値Y、色差値Cb、Crのうち、709YCの定義域外となっている画素のものを、予め記憶しているLUT(Look Up Table)を用いて、709YCの定義域内に変換する。定義域外マッピング部205は、709YCの定義域内となっている画素のものは、そのままとする。なお、定義域外マッピング部205は、|Cb|>0.5、または、|Cr|>0.5のときに、709YCの定義域外と判定する。出力部206は、定義域外マッピング部205による処理結果を、映像信号Tとして出力する。
【0029】
図3は、信号変換装置21の構成を示す概略ブロック図である。信号変換装置21は、入力部200a、XYZ変換部201a、709RGB変換部202a、YC変換部203a、定義域外マッピング部205、出力部206を含む。入力部200aは、映像信号B2を取得する。XYZ変換部201aは、入力部200aが取得した映像信号B2に対して、
図2のXYZ変換部201と同様の変換を行うが、対象の信号がデジタル信号である点がXYZ変換部201と異なる。709RGB変換部202aは、XYZ変換部201aの変換結果に対して、
図2の709RGB変換部202と同様の変換を行うが、対象の信号がデジタル信号である点が709RGB変換部202と異なる。
【0030】
YC変換部203aは、709変換部202aの変換結果に対して、
図2のYC変換部203と同様の変換を行うが、対象の信号がデジタル信号である点がYC変換部203と異なる。定義域外マッピング部205は、
図2の定義域外マッピング部205と同様である。出力部206は、定義域外マッピング部205の処理結果を、映像信号T2として出力する。
【0031】
図4、
図5、
図6は、709YCの定義域と、YC変換部203の変換結果が占める領域とを示すグラフである。
図4は、輝度値Y、青色の色差値Cb、赤色の色差値Crの3つの軸を有する。
図5は、
図4の、輝度値Yと赤色の色差値Crとの平面への正射影である。
図6は、
図4の、輝度値Yと青色の色差値Cbとの平面への正射影である。
【0032】
図4から
図6において、領域Dは、709YCの定義域である。709YCにおいて、輝度値Yの定義域は、0.0から1.0であり、色差値Cb、Crの定義域は、ともに−0.5から0.5である。領域Dは、各辺の長さが1.0の立方体である。
【0033】
また、
図4から
図6において、領域Rは、YC変換部203およびYC変換部203aの変換結果が取り得る領域である。すなわち、2020RGBにより表現可能な色域に対応する709YCおける信号域である。なお、
図4から
図6では、2020RGBおよび709RGBにおいてγ=1.0である場合を示した。γが1.0でないときは、領域Rの頂点の位置はγが1.0のときと同じであるが、各辺は直線とならない。
【0034】
領域Rの8つの頂点R1からR8の座標(Y,Cb,Cr)は、それぞれR1(0,0,0)、R2(0.68,−0.42,−0.80)、R3(0.74,0.15,−0.89)、R4(0.06,0.57,−0.08)、R5(0.94,−0.57、0.08)、R6(0.26,−0.15,0.89)、R7(0.32,0.42,0.80)、R8(1.00,0.00,0.00)である。
【0035】
これらから、辺R1R2の長さは、1.13であり、辺R2R3の長さは、0.58であり、辺R3R4の長さは、1.13であり、辺R1R4の長さは、0.58である。すなわち、四角形R1R2R3R4は、底辺の長さ1.13であり、斜辺の長さが0.58の平行四辺形であり、その面積は1.13×0.58=0.66よりも小さい。また、辺R5R6の長さは、1.14であり、辺R6R7の長さは、0.58であり、辺R7R8の長さは、1.13であり、辺R8R5の長さは、0.58である。すなわち、四角形R5R6R7R8の面積は、底辺の長さが1.14、斜辺の長さが0.58の平行四辺形よりも小さい。すなわち、四角形R5R6R7R8の面積は、1.14×0.58=0.66よりも小さい。
【0036】
また、辺R1R6、辺R2R5、辺R3R8、辺R4R7の長さは、全て0.94であるので、四角形R1R2R3R4と、四角形R5R6R7R8との距離は、0.94よりも短い。これらから、領域Rの体積は、0.66×094=0.62よりも小さい。上述したように、領域Dの体積は1.0であるので、領域Rの体積は、領域Dの体積よりも小さい。したがって、領域R内の各点を、領域Dのいずれかの点にマッピングするLUTを作成することは可能である。
【0037】
YC変換部203およびYC変換部203aの変換結果は、2020RGBをXYZ表色系に変換した後、709RGBに変換し、さらに709YCに変換した結果である。すなわち、この変換結果は、元は2020RGBで表されていたため、709YCの定義域外となる部分がある。また、上述したように、2020RGBをいったんXYX表色系に変換しているため、元の画素値が表す色が709RGBの色域に含まれているときの変換結果は、その色を709YCで表したときの値となっている。
【0038】
定義域外マッピング部205が予め記憶するLUTは、変換結果の領域Rのうち、定義域Dの外側にある部分を、定義域D内にマッピングしている。このLUTは、領域Rにおける点間の距離と、これらの点のマッピング結果での距離とが出来るだけ変化しないようになっていることが望ましい。これにより、信号変換装置20、21による変換結果に対して、MPEG(Moving Picture Experts Group)などの符号化と、復号とを行ったときの色の変化を抑えることができる。
【0039】
領域Rにおける点間の距離と、これらの点のマッピング結果での距離とが変わってしまう点を少なくするには、領域Rのうち、定義域Dの外側にある部分を、出来るだけ分割せずに、そのまま、定義域D内にマッピングする。
【0040】
図7は、定義域外マッピング部205が記憶するLUTの生成方法の例を示すフローチャートである。まず、領域Rのうち定義域Dの外側にある各部分(以降、各部分を定義域外部という)のうち、最も体積の大きいものを選択する(S1)。なお、領域Rの定義域Dの外側にある部分のうち、連続した部分を、一つの定義域外部とする。次に、選択した当該定義域外部の複数の移動先候補を作成する(S2)。複数の移動先候補は、例えば、定義域D内のY、Cb、Cr各々の方向について、所定の間隔毎の点である。移動先候補には、点だけでなく、Y、Cb、Cr軸各々の向きなど、当該定義域外部の向きも含んでよい。なお、例えばY軸の負の向きは、定義域外部を、CbCr平面に面対象に移動させた向きであり、Y軸の正の向きは、面対象に移動させていない向きである。なお、向きとして、各軸回りの回転を含めてもよい。
【0041】
次に、ステップS2にて生成された移動先候補で、当該定義域外部について未選択なものの中から一つを選択する(S3)。次に、ステップS3にて選択した移動先候補に重心が来るように当該定義域外部を移動させたときに、当該定義域外部のうち定義域Dの未使用領域に含まれる体積を算出する(S4)。ここで未使用領域とは、定義域Dのうち、領域Rに含まれず、かつ、いずれの定義域外部もマッピングされていない領域である。次に、ステップSa3にて全ての移動先候補を選択済みであるか否かを判定する(S5)。全ての移動先候補を選択済みでないときは(S5−No)、ステップS3に戻る。全ての移動先を選択済みであるときは(S5−Yes)、ステップS4で算出した体積が最大となったときの移動先候補をマッピング先として、LUTを作成する(S6)。これにより、選択した当該定義域外部の全部分のマッピングが完了していないとき(S7−No)、すなわち、当該定義域外部の一部が移動先候補において未使用領域の外にあるときは、未だマッピングしていない部分、すなわち未使用領域の外にある部分を定義域外部の一つとし(S9)、ステップS1に戻る。
【0042】
一方、ステップS6にて選択した移動先候補で当該定義域外部の全部分のマッピングが完了しているときは(S7−Yes)、全ての定義域外部のマッピングが完了しているか判定する(S8)。マッピングが完了していない定義域外部があるときは(S8−No)、ステップS1に戻り、全ての定義域外部のマッピングが完了しているときは(S8−Yes)、終了する。
【0043】
なお、ステップS6において選択した移動先候補において、未使用領域に含まれている部分内では、マッピング前における点間の距離と、マッピング後における点間の距離とが変化しない。そこで、ステップS6では、未使用領域に含まれる体積が最大となったときの移動先候補を選択してLUTを作成することで、マッピング前における点間の距離と、マッピング後における点間の距離とが変化してしまう点を出来るだけ減らしている。すなわち、マッピング前における点間の距離と、マッピング後における点間の距離とが、出来るだけ変化しないようにしている。
【0044】
図7では、定義域外部の移動先を、総当たりで探索し、未使用領域と重複する体積が最大となる移動先を選択したが、
図8に示す方法で移動先を決定してもよい。
図8に示す方法では、定義域外部を、定義域外部が定義域Dと接している面の一辺を軸として、線対称な位置に移動する。例えば、定義域外部Raを、線対称な位置Rbに移動する。そして、移動先において、定義域Dの外部となっている部分Rcを、部分Rcが定義域Dと接している面の一辺を軸として、線対称な位置Rdに移動する。
図8では、位置Rdに移動した時点で、定義域Dの外部となっている部分が無くなっているが、無くならないときは、さらに同様に移動させる。
【0045】
また、
図7、
図8に示す方法において、未使用領域のうち、領域Rから所定の距離の領域Rr、および、定義域外部をマッピングした領域から所定の距離の領域をマッピング先にしないようにしてもよい。
図9は、領域Rから所定の距離の領域Rrの例を示す図である。このようにすることで、領域Rと、定義域外部各々をマッピングした領域とは、互いい所定の距離以上離れることになる。このため、MPEGなどの符号化と、復号とを行い、画素値が小量変化したときに、画素値が領域R内だった画素の画素値が、定義域外部をマッピングした領域に移動するなどして、その画素の色が大きく変化してしまうのを、抑えることができる。
【0046】
図10は、信号復元装置50の構成を示す概略ブロック図である。信号復元装置50は、入力部500、逆マッピング部501、709RGB変換部502、XYZ変換部503、2020RGB変換部504、出力部505、クリッピング部506、出力部507を含む。入力部500は、映像信号B0を取得する。逆マッピング部501は、定義域外マッピング部205と逆の変換を、入力部500が取得した映像信号B0に対して行う。これにより、定義域D内に収まっていた画素値が、領域R内に収まるようになる。
【0047】
逆マッピング部501は、例えば、定義域外マッピング部205と逆の変換を行うLUTを予め記憶しており、このLUTを用いて変換を行う。逆マッピング部501は、例えば、このLUTによる変換を行わずに、709RGB変換部502から2020RGB変換部504までと同様の処理した結果の画素値が、2020RGBの定義域を超えているか否かで、定義域外からマッピングされたか画素か否かの判定をする。そして、定義域外からマッピングされたか画素についてのみ、このLUTを用いた変換を行う。なお、逆マッピング部501は、この判定を行わず、このLUTは、領域Rのうち、定義域D内の画素値については、変換前後で画素値が変わらないようになっていてもよい。
【0048】
709RGB変換部502は、逆マッピング部501の変換結果に対して、YC変換部203と逆の変換をする。これにより、輝度値Y、色差値Cb、Crで表されていた各画素の色が、709RGBを基準とした赤色の画素値、緑色の画素値、青色の画素値により表されるようになる。XYZ変換部503は、709RGB変換部502の変換結果に対して、709RGB変換部202と逆の変換をする。これにより、709RGBを基準とした赤色の画素値、緑色の画素値、青色の画素値により表されていた各画素の色が、XYZ表色系で表されるようになる。
【0049】
2020RGB変換部504は、XYZ変換部503の変換結果に対して、XYZ変換部201と逆の変換をし、映像信号B1を得る。これにより、XYZ表色系で表されていた各画素の色が、2020RGBにより表されるようになる。出力部505は、映像信号B1を出力する。クリッピング部506は、709変換部502の変換結果に対して、定義域D外となっている画素値をクリッピングし、映像信号Nを得る。具体的には、クリッピング部506は、709変換部502の変換結果の画素値を、709RGBの定義域に収まるようにクリッピングする。出力部507は、映像信号Nを出力する。
【0050】
なお、信号変換装置20、21では、2020RGBからXYZ表色系に変換した後、709RGBに変換し、さらに709YCに変換し、定義域外をマッピングするというように、4段階の変換をしているが、これらのうち、2つを合成した変換を用いて、3段階の変換をしてもよいし、これらのうち、3つを合成した変換を用いて、2段階の変換をしてもよいし、これら全てを合成した変換を用いて、1段階の変換をしてもよい。信号復元装置50も同様である。なお、ガンマ処理および逆ガンマ処理は、非線形演算であるため、合成した変換にこれらの処理が含まれる場合は、合成した変換は、例えば、LUTなどを用いて行う。
また、上述の実施形態において、広色域の映像信号として2020RGB、狭色域の映像信号として709YCを挙げたが、これらに限定されない。
【0051】
このように、信号変換装置20、21は、2020RGBの映像信号を709YCの映像信号に変換する際に、2020RGBの映像信号のうち、709YCにおける定義域を超えている部分の信号値を、709YCにおいて使用されていない信号値に割り当てる。
これにより、709YC(狭色域)を対象とした映像の伝送、蓄積などを行う装置で、広色域(2020RGB)の映像を扱うことができる。
【0052】
さらに、2020RGBの映像信号において表す色が、709RGBの色域に含まれているときの変換結果は、その色を709YCで表したときの輝度値と色差値とになっている。
これにより、信号変換装置20、21による変換結果は、画素値の1ビットが表す色の変化の幅が、2020RGBにおける変化の幅と同様になっているので、変換による情報の劣化を抑えることができる。また、元の映像信号において表す色が709RGBの色域に含まれている画素については、信号変換装置20、21による変換結果を狭色域の表示装置に入力したときに、元の映像信号において表す色で表示される。
【0053】
さらに、709YCにおける定義域を超えている部分の信号値を割り当てる信号値は、709RGBの色域に含まれている色を表す信号値から、少なくとも所定の距離離れている。
これにより、信号変換装置20、21による変換結果に対して、MPEGなどの符号化と復号とを行ったときに、色が大きく変化してしまうことを抑えることができる。
【0054】
また、信号復元装置50は、信号変換装置20、21が行う変換の逆変換を行う。
これにより、信号変換装置20、21による変換結果を、伝送、蓄積などした後でも、2020RGBの映像信号に戻すことができる。
【0055】
さらに、信号復元装置50は、この逆変換の途中過程の信号であって、709RGBの映像信号に対して、709RGBの定義域外部のクリッピングを行うクリッピング部506を有する。
これにより、信号変換装置20、21による変換結果を、伝送、蓄積などした後に、709RGBの映像信号とすることができる。
【0056】
また、
図1における信号変換装置20、21、信号復元装置50の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの装置を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0057】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0058】
また、上述した
図1における信号変換装置20、21、信号復元装置50の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はLSIに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、LSIに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【0059】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。