【実施例】
【0058】
図2に記載の電子透かし付加装置1の実施例について、
図6のフローチャートを用いて説明する。
【0059】
周波数分析器10−Lが、ステレオオーディオ信号のLch信号s1−Lを周波数成分毎に周波数成分信号s3−L
0〜s3−L
nに分解する。同様に、周波数分析器10−RがRch信号s1−Rを、周波数成分毎に周波数成分信号s3−R
0〜s3−R
nに分解する(ステップS101)。出力される周波数成分信号は、前記式1および式2に相当する。
【0060】
周波数分析器10−Lで分解された周波数成分信号s3−L
0は周波数分析器10−Rで分解された周波数成分信号s3−R
0とともに、位相変換器30−L
0に入力される。また同様に、周波数分析器10−Rで分解された周波数成分信号s3−R
0は周波数分析器10−Lで分解された周波数成分信号s3−L
0とともに、位相変換器30−R
0に入力される。
【0061】
これら位相変換器は、L/Rch毎、および周波数成分毎に備わる。
【0062】
すなわち、1≦x≦nであり、xが整数とすると、周波数成分信号s3−L
xとs3−R
xの双方が、位相変換器30−L
xと30−R
xに入力される(ステップS102)。
【0063】
図4の位相制御器20に、電子透かしとなる画像信号s2が入力される(ステップS103)。すると、画素の点に対応する位置の周波数成分に対して、画素の濃淡値から、各周波数成分に対応する位相決定器200−xが、位相変換器30−L
x及び30−R
xにおけるモノラル加算のON/OFFと、位相シフト量とを決定する(ステップS104)。各位相決定器200−xは、モノラル加算及び位相シフト量を制御する制御信号s4−L
x及びs4−R
xそれぞれを、対応する位相変換器30−L
x及び30−R
xに出力する(ステップS105)。
【0064】
図3の位相変換器30−X
nに、周波数成分信号s3−L
nとs3−R
nと、制御信号s4−X
nが入力される。ここで、nは周波数成分番号、X,YはL又はRのチャンネル識別記号とする。制御信号s4−X
nは、加算制御スイッチ302−X
nを制御する。加算制御スイッチ302−X
nがモノラル加算をする場合(ステップS106のON)は、周波数成分信号S3−Y
nが加算制御スイッチ302−X
nを介して加算器300−X
nに入力される。この場合、加算器300−X
nが周波数成分信号S3−X
nとS3−Y
nとをモノラル加算し、加算出力信号(式3)を、位相シフトアンプ301−X
nに出力する(ステップS107)。加算制御スイッチ302−X
nがモノラル加算しない場合は、周波数成分信号s3−X
nのみが加算器300−X
nに入力され、加算器300−X
nはオリジナル信号である周波数成分信号s3−X
nを位相シフトアンプ301−X
nに出力する。(ステップS108)。その後、制御信号s4−X
nによって制御される位相シフトアンプ301−X
nが加算出力信号又はオリジナル信号の位相をシフトし、位相変換出力信号s5−X
nを出力する。(式5、式6)(ステップS109)。
【0065】
位相変換器30−X
0〜30−X
n−1においても同様である。
【0066】
その後、周波数成分合成器50−L及び50−Rが、位相変換出力信号s5−L
1〜s5−L
n及びs5−R
1〜s5―R
nのそれぞれを合成し、疑似ステレオオーディオ信号である電子透かし付加信号s6−L及びs6−Rを出力する(ステップS110)。
【0067】
周波数分析器10−L及び10−R、位相制御器20、位相変換器30−Lx及び30−Rx(1≦x≦nであり、xは整数)、周波数成分合成器50−L及び50−Rは、単位時間経過毎に上記の動作を繰り返す。
【0068】
位相変換器30−X
0〜30−X
nの制御例を、
図7の表に示す。
【0069】
例えば、電子透かしの画素として最も白く表示したい点に対しては、Lch側、すなわち位相変換器30−L
xにおいて、制御信号s4−L
xにより、モノラル加算スイッチをONにし位相シフト量を0[rad]とする。Rch側、すなわち位相変換器30−R
xにおいては、制御信号s4−R
xにより、モノラル加算スイッチをONにし位相シフト量をπ[rad]とする。
【0070】
また逆に、最も黒く表示したい点に対しては、Lch側、すなわち位相変換器30−L
xにおいて、制御信号s4−L
xにより、モノラル加算スイッチをONにし位相シフト量を0[rad]とする。Rch側、すなわち位相変換器30−R
xにおいても、制御信号s4−R
xにより、モノラル加算スイッチをONにし、位相シフト量を0[rad]とする。
【0071】
なお、画素がない点に対しては、Lch側、すなわち位相変換器30−L
xにおいて、制御信号s4−L
xにより、モノラル加算スイッチをOFFにし位相シフト量を0[rad]とする。Rch側、すなわち位相変換器30−R
xにおいても、制御信号s4−R
xにより、モノラル加算スイッチをOFFにし位相シフト量を0[rad]とする。これは、画素がない点では、オリジナル信号のそのままを出力とするものである。
【0072】
図5に記載の電子透かし表示装置6の実施例について、
図8のフローチャートを用いて説明する。
【0073】
疑似ステレオオーディオ信号である電子透かし付加信号の、Lch信号s6−L及びRch信号s6−Rを加算器60が加算し、モノラル加算信号s7−Mを出力する(ステップS201)。
【0074】
表示器70において、周波数分析器700が、モノラル加算信号s7−Mを、周波数成分毎の周波数成分信号s70−M
0〜s70−M
nに分解する(ステップS202)。この周波数分析器700は、代表的なFFT演算器であってよいが、本発明の実施の態様はこれには限られない。
【0075】
濃淡表示器701が、各周波数成分毎の周波数成分信号s70−M
0〜s70−M
nのパワーを算出し、各周波数が対応する位置に画像濃淡や輝度として表示する(式7および式8)(ステップS203)。濃淡表示器701は、固定されたフレーム時間毎に、周波数分析と表示を繰り返し(ステップS204のNO)、縦軸に周波数、横軸に時刻とした2次元画面として表示する。
【0076】
本発明により電子透かしを付加した疑似ステレオオーディオ信号の、Lch信号s−6Lのスペクトログラムを
図9の上段画像に、また、Rch信号s−6Rのスペクトログラムを
図9の下段画像に示す。
【0077】
周波数成分の強い信号は黒く、弱い信号は白く表示されており、どちらのチャネル信号においても、電子透かしの画像データは認識できない。すなわち、オーディオ信号の劣化が少ないことを示している。
【0078】
さらに、これらの電子透かしが付加された疑似ステレオオーディオ信号を加算して、モノラル信号に変換した時のスペクトログラムを
図10に示す。電子透かし画像(文字画像の例)が、下方(低域周波数位置)に、白く全体に浮かび上がっていることが認識できる。
【0079】
なお、上記の信号処理装置の各部分は、ハードウェア、ソフトウェアのいずれか又はこれらの組み合わせにより実現することができる。また、上記の信号処理装置により行われる信号処理方法も、ハードウェア、ソフトウェアのいずれか又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0080】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0081】
本発明によれば、電子透かし付加装置において、オーディオコンテンツが複製された場合でも電子透かし情報を欠落させないこと、電子透かし情報を付加したオーディオ信号はオーディオ品質の劣化が少ないこと、及び、電子透かし情報を取り去ることがオーディオ品質の著しい劣化となることが可能となる。
【0082】
また、本発明によれば、電子透かし表示装置において、電子透かしの表示方法が容易であること、及び、電子透かしの判別も容易となることが可能となる。
【0083】
上記の実施形態の一部または全部は、以下の付記のようにも記載されるが、以下には限られない。
【0084】
(付記1)
入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に前記電子透かしとしての2次元画像を付加することを特徴とする電子透かし付加装置。
【0085】
(付記2)
付記1に記載の電子透かし付加装置であって、
前記2次元画像の各画素に対応する位置にある時間・周波数成分の位相をその画素の値に応じてシフトすることを特徴とする電子透かし付加装置。
【0086】
(付記3)
付記2に記載の電子透かし付加装置であって、
入力した前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、その足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせることを特徴とする電子透かし付加装置。
【0087】
(付記4)
付記2又は3に記載の電子透かし付加装置であって、
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数であることを特徴とする電子透かし付加装置。
【0088】
(付記5)
付記4に記載の電子透かし付加装置であって、
前記関数が、前記画素の輝度をz[x]、前記シフト量をφ[x]とした場合、
【0089】
【数9】
であることを特徴とする電子透かし付加装置。
【0090】
(付記6)
ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての2次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置。
【0091】
(付記7)
付記6に記載の電子透かし検出装置であって、
各時間・各周波数成分の位相シフト量を検出し、その位相シフト量を基に、前記2次元画像を検出することを特徴とする電子透かし検出装置。
【0092】
(付記8)
付記6又は7に記載の電子透かし検出装置であって、
前記付加後のステレオ信号に含まれる両チャネルの信号を足し合わせてから、周波数成分の信号に変換し、その変換後の周波数軸と時間軸とを2次元の2軸として、その変換後の信号を2次元出力する手段を備えることを特徴とする電子透かし検出装置。
【0093】
(付記9)
入力したステレオ信号を周波数領域の信号に変換するステップと、
変換された信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に前記電子透かしとしての2次元画像を付加するステップと、
を有することを特徴とする電子透かし付加方法。
【0094】
(付記10)
付記9に記載の電子透かし付加方法であって、
前記2次元画像の各画素に対応する位置にある時間・周波数成分の位相をその画素の値に応じてシフトすることを特徴とする電子透かし付加方法。
【0095】
(付記11)
付記10に記載の電子透かし付加方法であって、
入力した前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、その足し合わせた信号の各時間・各周波数成分の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせることを特徴とする電子透かし付加方法。
【0096】
(付記12)
付記10又は11に記載の電子透かし付加方法であって
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数であることを特徴とする電子透かし付加方法。
【0097】
(付記13)
付記12に記載の電子透かし付加方法であって、
前記関数が、前記画素の輝度をz[x]、前記シフト量をφ[x]とした場合、
【0098】
【数10】
であることを特徴とする電子透かし付加方法。
【0099】
(付記14)
ステレオ信号を周波数領域の信号に変換するステップと、
変換された信号の時間軸と周波数軸の組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての2次元画像を、前記付加後のステレオ信号から検出するステップと、
を有することを特徴とする電子透かし検出方法。
【0100】
(付記15)
付記14に記載の電子透かし検出方法であって、
各時間・各周波数成分の位相シフト量を検出し、その位相シフト量を基に、前記2次元画像を検出することを特徴とする電子透かし検出方法。
【0101】
(付記16)
付記14又は15に記載の電子透かし検出方法であって、
前記付加後のステレオ信号に含まれる両チャネルの信号を足し合わせてから、周波数成分の信号に変換し、その変換後の周波数軸と時間軸とを2次元の2軸として、その変換後の信号を2次元出力するステップを備えることを特徴とする電子透かし検出方法。
【0102】
(付記17)
電子透かし付加装置としてコンピュータを機能させるためのプログラムにおいて、
コンピュータを、
入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に前記電子透かしとしての2次元画像を付加することを特徴とする電子透かし付加装置として機能させるための電子透かし付加用プログラム。
【0103】
(付記18)
付記17に記載の電子透かし付加用プログラムであって、
前記2次元画像の各画素に対応する位置にある時間・周波数成分の位相をその画素の値に応じてシフトすることを特徴とする電子透かし付加用プログラム。
【0104】
(付記19)
付記18に記載の電子透かし付加用プログラムであって、
入力した前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、その足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせることを特徴とする電子透かし付加用プログラム。
【0105】
(付記20)
付記18又は19に記載の電子透かし付加用プログラムであって
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数であることを特徴とする電子透かし付加用プログラム。
【0106】
(付記21)
付記20に記載の電子透かし付加用プログラムであって、
前記関数が、前記画素の輝度をz[x]、前記シフト量をφ[x]とした場合、
【0107】
【数11】
であることを特徴とする電子透かし付加用プログラム。
【0108】
(付記22)
電子透かし検出装置としてコンピュータを機能させるためのプログラムにおいて、
コンピュータを、
ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての2次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置として機能させるための電子透かし検出用プログラム。
【0109】
(付記23)
付記22に記載の電子透かし検出用プログラムであって、
各時間・各周波数成分の位相シフト量を検出し、その位相シフト量を基に、前記2次元画像を検出することを特徴とする電子透かし検出用プログラム。
【0110】
(付記24)
付記22又は23に記載の電子透かし検出用プログラムであって、
前記付加後のステレオ信号に含まれる両チャネルの信号を足し合わせてから、周波数成分の信号に変換し、その変換後の周波数軸と時間軸とを2次元の2軸として、その変換後の信号を2次元出力する手段を備えることを特徴とする電子透かし検出用プログラム。