(58)【調査した分野】(Int.Cl.,DB名)
輝度信号と2つの色差信号で表された色ベクトルが取り得る範囲を第1の範囲としたときに、前記第1の範囲である映像信号であって、前記第1の範囲の一部である第2の範囲が、表示対象の色に対応付けられている映像信号を取得する映像信号取得部と、
情報を取得する情報取得部と、
前記映像信号取得部が取得した映像信号に含まれている色ベクトルのうち、予め決められた第3の範囲に含まれている変換対象色ベクトルを、前記情報取得部が取得した情報に応じた色ベクトルに変換する色変換部と
を具備し、
前記色変換部によって変換された色ベクトルは、前記第1の範囲のうち、前記第2の範囲に含まれていない範囲内の色ベクトルと、前記変換対象色ベクトルとのうちのいずれかであり、
前記第3の範囲に含まれる全ての色ベクトルは、前記第2の範囲の端に位置すること
を特徴とする情報多重化装置。
前記色変換部によって変換された色ベクトルは、前記変換対象色ベクトルとの距離が、前記第3の範囲に含まれる前記変換対象色ベクトル以外のベクトルとの距離よりも、小さいことを特徴とする請求項1に記載の情報多重化装置。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、電子透かし技術を用いて、映像に情報を埋め込む方法においては、映像そのものにパターンが重畳されるため、画質が劣化したり、ノイズとして見えたりすることがあるという問題がある。一方、垂直帰線消去期間に情報を埋め込んだり、アンシラリデータとして埋め込んだりする場合には、伝送、蓄積などされる際に、伝送装置が、情報が埋め込まれている映像信号区間を削除してしまうことがある。
【0006】
本発明は、このような事情に鑑みてなされたもので、画質の劣化を抑えつつ、伝送、蓄積などの際に削除されないように、映像領域に情報を埋め込むことができる情報多重化装置、情報分離装置、およびそれらのプログラムを提供する。
【課題を解決するための手段】
【0007】
(1)この発明は上述した課題を解決するためになされたもので、本発明の一態様は、輝度信号と2つの色差信号で表された色ベクトルが取り得る範囲を第1の範囲としたときに、前記第1の範囲である映像信号であって、前記第1の範囲の一部である第2の範囲が、表示対象の色に対応付けられている映像信号を取得する映像信号取得部と、情報を取得する情報取得部と、前記映像信号取得部が取得した映像信号に含まれている色ベクトルのうち、予め決められた第3の範囲に含まれている変換対象色ベクトルを、前記情報取得部が取得した情報に応じた色ベクトルに変換する色変換部とを具備し、前記色変換部によって変換された色ベクトルは、前記第1の範囲のうち、前記第2の範囲に含まれていない範囲内の色ベクトルと、前記変換対象色ベクトルとのうちのいずれかであることを特徴とする情報多重化装置である。
【0008】
(2)また、本発明の他の態様は、(1)に記載の情報多重化装置であって、前記第3の範囲に含まれる全ての色ベクトルは、前記第2の範囲の端に位置することを特徴とする。
【0009】
(3)また、本発明の他の態様は、(2)に記載の情報多重化装置であって、前記色変換部によって変換された色ベクトルは、前記変換対象色ベクトルとの距離が、前記第3の範囲に含まれる前記変換対象色ベクトル以外のベクトルとの距離よりも、小さいことを特徴とする。
【0010】
(4)また、本発明の他の態様は、輝度信号と2つの色差信号で表された色ベクトルが取り得る範囲を第1の範囲としたときに、前記第1の範囲である映像信号を取得する映像信号取得部と、前記映像信号取得部が取得した映像信号に含まれている色ベクトルのうち、予め決められた所定の範囲に含まれている変換済み色ベクトルを、表示対象の色の変換先色ベクトルに変換するとともに、前記変換済み色ベクトルが表す情報を抽出する情報抽出・色逆変換部とを具備し、前記情報抽出・色逆変換部は、前記変換済み色ベクトルが、前記所定の範囲の内のどの位置に在るかによって前記情報を決定することを特徴とする情報分離装置である。
【0011】
(5)また、本発明の他の態様は、(4)に記載の情報分離装置であって、前記変換済み色ベクトルは、前記第1の範囲の一部であり、かつ、表示対象の色に対応付けられている第2の範囲の端に位置することを特徴とする。
【0012】
(6)また、本発明の他の態様は、(5)に記載の情報分離装置であって、前記変換済み色ベクトルは、前記変換対象色ベクトルとの距離が、変換対象色ベクトルになり得る他の色ベクトルとの距離よりも、小さいことを特徴とする。
【0013】
(7)また、本発明の他の態様は、コンピュータを、(1)から(3)のいずれか一つに記載の情報多重化装置として機能させるためのプログラム。
【0014】
(8)また、本発明の他の態様は、コンピュータを、(4)から(6)のいずれか一つに記載の情報分離装置として機能させるためのプログラム。
【発明の効果】
【0015】
この発明によれば、画質の劣化を抑えつつ、伝送、蓄積などの際に削除されないように、映像領域に情報を埋め込むことができる。
【発明を実施するための形態】
【0017】
以下、図面を参照して、本発明の実施の形態について説明する。
図1は、この発明の一実施形態による情報多重・分離システムの構成を示す概略ブロック図である。本実施形態における情報多重・分離システムは、映像信号Ycに情報Mを多重した映像信号Ymを伝送する。そして、情報多重・分離システムは、伝送された映像信号Ymから、情報Mnと映像信号Ynとを分離する。情報Mn、映像信号Ynは、それぞれ、情報M、映像信号Ycを近似したもの、もしくは情報M、映像信号Ycと同一である。
【0018】
情報多重・分離システムは、情報多重化装置10、映像伝送システム20、情報分離装置30を含む。情報多重化装置10は、映像信号Ycに、情報Mを多重し、映像信号Ymを生成する。映像伝送システム20は、映像信号Ymを伝送する。情報分離装置30は、映像伝送システム20が伝送した映像信号Ymを分離して、情報多重化装置10が多重した情報Mと映像信号Ycとに、それぞれ近い、もしくは同一の情報Mn、映像信号Ynを出力する。
【0019】
映像信号Ycは、輝度値Y、青色の色差値Cb、赤色の色差値Crで、映像を構成する画素の色を表す信号である。情報Mは、字幕など、映像に関連する情報であってもよいし、映像に無関係な情報であってもよい。映像信号Ym、Ynは、映像信号Ycと同じ信号形式の信号である。
【0020】
なお、映像伝送システム20に変えて、映像信号Ymを蓄積する映像蓄積システムを有していてもよい。その場合、映像蓄積システムは、情報多重化装置10が生成した映像信号Ymを蓄積し、任意のタイミングで、蓄積していた映像信号Ymを情報分離装置30に入力する。なお、映像伝送システム20や、映像蓄積システムは、MPEG(Moving Picture Experts Group)−2、H.264など、非可逆な情報圧縮方式で、映像信号Ymに対して符号化を行った後に、復号したものを、出力するようにしてもよい。ただし、その場合、情報分離装置30にて分離される情報と、映像信号とは、非可逆な情報圧縮方式による劣化の影響を受ける。
【0021】
図2は、映像信号Ycを説明する色空間の斜視図である。映像信号Ycは、輝度値Y、青色の色差値Cb、赤色の色差値Crの3つを要素とする色ベクトルにより、画素の色を表している。輝度値Y、青色の色差値Cb、赤色の色差値Crの各々に、取り得る範囲があるので、この色ベクトルが取り得る範囲100(以降、色域Aという)は、直方体となる。一方、ディスプレイ装置などで表示対象となっている色の範囲110(以降、色域Bという)は、色域Aの一部分である。この表示対象となっている色の範囲110は、テレビジョンカメラなどで撮像することで生成される色ベクトルの範囲でもあるし、赤緑青(RGB)の3つの画素値で表されるRGB信号により表現可能な色の範囲でもある。したがって、色域Bは、赤色Kr、緑色Kg、および青色Kbの軸を辺に持つ六面体となっている。
【0022】
このため、映像信号Ycを扱うことができる映像伝送システム20などは、色域Aに含まれる色ベクトルであれば、そのまま扱うことができるが、映像信号Ycに、色域B外の色ベクトルは含まれていない。そこで、情報多重化装置10は、映像信号Ycに含まれている色ベクトルを、色域A内であり、かつ、色域B外の色ベクトル、あるいはその色ベクトルそのもののうち、情報Mに応じたものに変換する。
【0023】
図3は、映像信号Ycを説明する色空間の断面図である。例えば、輝度値Yがある値の平面による断面を考えると、色域A(範囲100)の断面は、四角形200となり、色域B(範囲110)の断面は、多角形210(
図2の場合は3角形)となる。
【0024】
図4は、情報多重化装置10の構成を示す概略ブロック図である。情報多重化装置10は、情報取得部11、映像信号取得部12、色変換部13、変換テーブル記憶部14、映像信号出力部15を含む。情報取得部11は、情報Mを取得する。例えば、情報取得部11は、他装置から情報Mを受信する、記録媒体に格納されている情報Mを読み出すなどの方法で、情報Mを取得する。
【0025】
映像信号取得部12は、映像信号Ycを取得する。例えば、映像信号取得部12は、他装置から映像信号Ycを受信する、記録媒体に格納されている映像信号Ycを読み出す、他の形式の映像信号を変換するなどの方法で、映像信号Ycを取得する。色変換部13は、映像信号Ycに含まれる色ベクトルを、情報Mと、変換テーブル記憶部14が記憶するテーブルとを参照して、変換する。なお、色変換部13は、色ベクトルが特定の範囲(後述する色域B1)に含まれているときにのみ、情報Mを含める変換を行い、情報Mを含める変換を行う度に、情報Mのうち参照する部分を変更する。本実施形態では、情報Mの先頭から順に2ビットずつ参照する。
【0026】
変換テーブル記憶部14は、映像信号Ycの色ベクトルと、情報Mとの組み合わせに、映像信号Ymにおける色ベクトルを対応付けたテーブルを記憶する。変換テーブル記憶部14が記憶するテーブルは、色域Bのうち、一部のみ(以降、色域B1という)を、変換対象とし、その他は、色ベクトルをそのままにするようになっていてもよい。映像信号出力部15は、色変換部13が変換した色ベクトルの映像信号Ymを生成し、出力する。
【0027】
なお、色域B1の要素数は、色域A、かつ、色域B外の要素数以下であることが好ましい。これは、情報分離装置30が出力する映像信号Ynを、情報多重化装置10が取得した映像信号Ycと等しくするための必要条件である。したがって、色域Aの要素数が色域Bの要素数の2倍以上であるときは、色域B1を色域Bと一致させることができる。
【0028】
図5は、変換テーブル記憶部14が記憶する変換テーブルの例を示す図である。
図5に示すように、変換テーブルは、映像信号Ycの輝度値Y、青色の色差値Cb、赤色の色差値Crと、情報Mとの組み合わせと、映像信号Ymの輝度値MY、青色の色差値MCb、赤色の色差値MCrとを対応付けている。説明の簡易のために、
図5では、輝度値、青色の色差値、赤色の色差値ともに、0から7の整数値をとる場合を例にする。例えば、映像信号Ycの輝度値Y「6」、青色の色差値Cb「3」、赤色の色差値Cr「2」と、情報M「0」との組み合わせには、映像信号Ymの輝度値MY「6」、青色の色差値MCb「3」、赤色の色差値MCr「2」が対応付けられている。また、映像信号Ycの輝度値Y「6」、青色の色差値Cb「3」、赤色の色差値Cr「2」と、情報M「1」との組み合わせには、映像信号Ymの輝度値MY「6」、青色の色差値MCb「2」、赤色の色差値MCr「1」が対応付けられている。
【0029】
図6は、色空間の特定の輝度値における断面図である。説明の簡易のために、
図6では、青色の色差値Cb、赤色の色差値Crともに、0から7の整数値をとる場合を例にする。
図6において、各矩形は色ベクトルを表す。網掛けした矩形は、表示可能な色の範囲である範囲CPに含まれている色ベクトルである。これら網掛けした矩形のうち、色変換部13による変換の対象となっている変換対象色ベクトルは、色ベクトルS10、S20、S30、S40、S50、S60である。色ベクトルB0は、範囲CPに含まれているが、変換の対象となっていない色ベクトルである。
【0030】
また、範囲CP外の色ベクトルのうち、色ベクトルS11、S12、S13は、それぞれ、情報Mが「1」、「2」、「3」であるときの、色ベクトルS10の変換後の色ベクトルである。同様に、色ベクトルS21、S22、S23は、それぞれ、情報Mが「1」、「2」、「3」であるときの、色ベクトルS20の変換後の色ベクトルである。色ベクトルS31〜S63も同様である。
【0031】
このように、変換対象の色ベクトルS10、S20、S30、S40、S50、S60は、範囲CPの端に位置している方が、好ましい。これは、映像信号Ymが、そのまま表示装置に入力されたときに、映像信号Ycが入力されたときに表示する映像と近いものとなることがあるからである。なぜなら、一般的に表示装置は、表示可能な色以外の色ベクトルを、クリッピングして、表示可能な色の範囲のうち、端の色に変換するからである。
なお、本実施形態において、範囲CPの端とは、範囲CP内のうち、上下左右に隣接する色ベクトルのうち、いずれかが範囲CPに属していない位置である。なお、上下左右のみでなく、右上、左上、右下、左下も含んでいてもよい。
【0032】
さらに、変換対象の色ベクトルを変換した変換済み色ベクトルは、範囲CPの重心CCと、変換対象の色ベクトルとを通る直線に近いものであることが好ましい。これは、上述したように、表示装置がクリッピングを行ったときに、変換済み色ベクトルが、元の変換対象の色ベクトルそのもの、もしくは、近いものにクリッピングされる可能性が高くなるからである。また、このようにすることで、映像信号Ymに対して、MPEG(Moving Picture Experts Group)−2などの符号化と復号とを行ったときに、符号化による劣化の影響が大きくなるのを防いでくれることがある。
【0033】
図6の例では、変換済み色ベクトルは、変換元の変換対象の色ベクトルとの距離が、他の変換対象の色ベクトルとの距離よりも小さくしている。例えば、変換対象の色ベクトルS10、S20、S30、S40、S50、S60のうち、変換済み色ベクトルS21に最も近いのは、変換元の変換対象色ベクトルS20である。これにより、変換対象の色ベクトルを変換した変換済み色ベクトルが、範囲CPの重心CCと、変換対象の色ベクトルとを通る直線に近いものとなる。なお、距離として、ユークリッド距離を用いてもよいし、その他の距離を用いてもよい。
【0034】
図7は、情報分離装置30の構成を示す概略ブロック図である。情報分離装置30は、映像信号取得部31、情報抽出・色逆変換部32、逆変換テーブル記憶部33、情報出力部34、映像信号出力部35を含む。映像信号取得部31は、情報多重化装置10により情報が多重化された映像信号Ymを取得する。情報抽出・色逆変換部32は、逆変換テーブル記憶部33が記憶するテーブルを参照して、映像信号Ymに含まれる色ベクトルから、情報を抽出し、その色ベクトルを、表示可能な色の色ベクトルに変換する。
【0035】
この変換は、
図4の色変換部13と逆の変換である。したがって、情報抽出・色逆変換部32が変換の対象とする色ベクトルは、色変換部13が変換した色ベクトルが取り得る範囲の色ベクトルとなる。色変換部13が変換した色ベクトルが取り得る範囲は、色域Aのうち、色域B以外の部分と、色変換部13による変換の対象となっている色ベクトルである。
【0036】
逆変換テーブル記憶部33は、変換テーブル記憶部14と同様のテーブルを記憶する。ただし、逆変換テーブル記憶部33が記憶するテーブルが参照される順序は、変換テーブル記憶部14が記憶するテーブルとは、逆である。逆変換テーブル記憶部33が記憶するテーブルは、映像信号Ymの輝度値MY、色差値MCb、MCrの組合せに対して、情報Mnと、映像信号Ynの輝度値Y、色差値Cb、Crが取得される。情報出力部34は、情報抽出・色逆変換部32により抽出された情報を、抽出された順に連結して情報Mを復元し、情報Mnとして出力する。映像信号出力b35は、情報抽出・色逆変換部32により色ベクトルが変換された映像信号を、映像信号Ynとして出力する。
【0037】
なお、本実施形態では、色ベクトルを変換する際に、輝度値はそのままとしたが、輝度値も変換するようにしてもよい。
また、本実施形態では、色変換部13は、色ベクトルを変換する度に、情報Mのうち参照する部分を変更しているが、所定の回数変換する度に、参照する部分を変更するなどしてもよい。あるいは、色変換部13は、偶数回目の変換で参照する部分と、奇数回目の変換で参照する部分とが、一部重複していてもよい。このようにすることで、情報分離装置30にて情報を分離する際に、分離した情報に誤りが含まれている否かの判定や、誤りの訂正を行うことができる。
【0038】
このように、情報多重化装置は、映像信号に含まれている色ベクトルのうち、予め決められた第3の範囲(例えば、
図6の範囲CPの端)に含まれている変換対象色ベクトルを、情報に応じた色ベクトルに変換する色変換部13を有する。この映像信号は、色を表す色ベクトルが取り得る範囲が第1の範囲(例えば、
図2の範囲100(色域A))であり、第1の範囲の一部である第2の範囲(例えば、
図2の範囲110(色域B))が、表示対象の色に対応付けられている。そして、色変換部13によって変換された色ベクトルは、第1の範囲のうち、第2の範囲に含まれていない範囲内の色ベクトルと、変換対象色ベクトルとのうちのいずれかである。
【0039】
これにより、画質の劣化を抑えつつ、伝送、蓄積などの際に削除されないように、映像領域に情報を埋め込むことができる。
【0040】
また、情報分離装置30は、映像信号に含まれている色ベクトルのうち、予め決められた所定の範囲(色変換部13が変換した色ベクトルが取り得る範囲)に含まれている変換済み色ベクトルを、表示対象の色の変換対象色ベクトルに変換するとともに、この変換済み色ベクトルが表す情報を抽出する情報抽出・色逆変換部32を有する。情報抽出・色逆変換部32は、変換済み色ベクトルが、上述の所定の範囲の内のどの位置に在るかによって、上述の情報を決定する。
【0041】
これにより、画質の劣化を抑えつつ、伝送、蓄積などの際に削除されないように、映像領域に埋め込まれた情報を分離することができる。
【0042】
さらに、情報多重化装置10、情報分離装置30において、第3の範囲に含まれる全ての色ベクトルは、第2の範囲の端に位置する。
これにより、情報が埋め込まれた映像信号を、表示装置で表示したときの色の変化を抑えることができる。これは、表示装置においては、第3の範囲に含まれる色ベクトルは、クリッピングにより第2の範囲の色ベクトルに変換されて表示されることが多いためである。
【0043】
また、
図1における情報多重化装置10、情報分離装置30の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報多重化装置10、情報分離装置30を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0044】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0045】
また、上述した
図1における情報多重化装置10、情報分離装置30の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はLSIに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、LSIに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【0046】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。