特許第6317078号(P6317078)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ NECプラットフォームズ株式会社の特許一覧

特許6317078オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム
<>
  • 特許6317078-オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム 図000014
  • 特許6317078-オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム 図000015
  • 特許6317078-オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム 図000016
  • 特許6317078-オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム 図000017
  • 特許6317078-オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム 図000018
  • 特許6317078-オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム 図000019
  • 特許6317078-オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム 図000020
  • 特許6317078-オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム 図000021
  • 特許6317078-オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム 図000022
  • 特許6317078-オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム 図000023
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6317078
(24)【登録日】2018年4月6日
(45)【発行日】2018年4月25日
(54)【発明の名称】オーディオ信号電子透かし付加装置及び表示装置、それらの方法、及びそれらのプログラム
(51)【国際特許分類】
   G10L 19/018 20130101AFI20180416BHJP
   H04N 1/387 20060101ALI20180416BHJP
【FI】
   G10L19/018
   H04N1/387
【請求項の数】8
【全頁数】20
(21)【出願番号】特願2013-149554(P2013-149554)
(22)【出願日】2013年7月18日
(65)【公開番号】特開2015-22114(P2015-22114A)
(43)【公開日】2015年2月2日
【審査請求日】2016年6月10日
(73)【特許権者】
【識別番号】000227205
【氏名又は名称】NECプラットフォームズ株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100124154
【弁理士】
【氏名又は名称】下坂 直樹
(72)【発明者】
【氏名】佐々田 泰祐
【審査官】 大野 弘
(56)【参考文献】
【文献】 特表2004−538498(JP,A)
【文献】 特開2001−119555(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 19/018
H04N 1/387
(57)【特許請求の範囲】
【請求項1】
入力したステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、前記足し合わせた信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させ、前記足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせて、前記位相を前記シフト量に応じて各々シフトすることにより、前記足し合わせた信号に前記電子透かしとしての2次元画像を付加することを特徴とする電子透かし付加装置。
【請求項2】
請求項に記載の電子透かし付加装置であって、
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数で
あることを特徴とする電子透かし付加装置。
【請求項3】
請求項に記載の電子透かし付加装置であって、
前記関数が、前記画素の輝度をz[x]、前記シフト量をφ[x]とした場合、
【数1】
であることを特徴とする電子透かし付加装置。
【請求項4】
ステレオ信号をモノラル信号に変換し、前記モノラル信号を周波数領域の信号に変換し、前記変換された信号から電子透かしとしての2次元画像を検出する電子透かし検出装置であって、
前記電子透かしとしての2次元画像は、
前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、前記足し合わせた信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させ、前記足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせて、前記位相を前記シフト量に応じて各々シフトすることにより、前記足し合わせた信号に付加された2次元画像である
ことを特徴とする電子透かし検出装置。
【請求項5】
入力したステレオ信号をチャネル毎に周波数領域の信号に変換するステップと、
変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成するステップと、
前記足し合わせた信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させ、前記足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせるステップと、
前記位相を前記シフト量に応じて各々シフトすることにより、前記足し合わせた信号に前記電子透かしとしての2次元画像を付加するステップと、
を有することを特徴とする電子透かし付加方法。
【請求項6】
ステレオ信号をモノラル信号に変換するステップと、
前記モノラル信号を周波数領域の信号に変換するステップと、
前記変換された信号から電子透かしとしての2次元画像を検出するステップと、を有する電子透かし検出方法であって、
前記電子透かしとしての2次元画像は、
前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、前記足し合わせた信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させ、前記足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせて、前記位相を前記シフト量に応じて各々シフトすることにより、前記足し合わせた信号に付加された2次元画像である
ことを特徴とする電子透かし検出方法。
【請求項7】
電子透かし付加装置としてコンピュータを機能させるためのプログラムにおいて、
コンピュータを、
入力したステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、前記足し合わせた信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させ、前記足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせて、前記位相を前記シフト量に応じて各々シフトすることにより、前記足し合わせた信号に前記電子透かしとしての2次元画像を付加することを特徴とする電子透かし付加装置として機能させるための電子透かし付加用プログラム。
【請求項8】
電子透かし検出装置としてコンピュータを機能させるためのプログラムにおいて、
コンピュータを、
ステレオ信号をモノラル信号に変換し、前記モノラル信号を周波数領域の信号に変換し、前記変換された信号から電子透かしとしての2次元画像を検出する電子透かし検出装置として機能させるための電子透かし検出用プログラムであって、
前記電子透かしとしての2次元画像は、
前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、前記足し合わせた信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させ、前記足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせて、前記位相を前記シフト量に応じて各々シフトすることにより、前記足し合わせた信号に付加された2次元画像である
ことを特徴とする電子透かし検出用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ信号変換に関し、特に電子透かしを付加する装置、電子透かしを表示する装置、それらの方法、及びそれらのプログラムに関する。
【背景技術】
【0002】
通常の電子透かし付加装置の技術の一実施例を、図1を元に説明する。
【0003】
電子透かし情報をオーディオ信号中に付加するには、電子透かし情報を、音として目立たないように付加するのが望ましい。
【0004】
最も単純な図1の方式は、入力されるオーディオ信号s100をローパスフィルタ1000で高域周波数信号を抑圧し、電子透かし情報を高域周波数の振幅値等で表現した電子透かし信号s200を、電子透かし付加装置1001で加算し、オーディオ信号s102とするものである。
【0005】
電子透かし信号s200を人間の聴き取りづらい高域周波数(例えば15Hz以上)にすれば、音として目立たない信号となりオーディオ品質の劣化は避けられるが、高域周波数がカットされるようなアナログ機器を使ってオーディオコンテンツが複製されるような場合には、電子透かし情報が欠落してしまう。また、オーディオ品質を劣化させることなく、電子透かし情報を取り去ることが容易なため、オーディオコンテンツの著作権保護の目的で使用されるような電子透かしとしては好ましくない。
【0006】
また、特許文献1は、ディジタルオーディオデータの符号化処理に適した電子透かしの挿入手法を実現するために、時間領域の信号から周波数領域の信号に変換され量子化処理を施されたオーディオデータに対して電子透かし情報を挿入するようにしたことを特徴とする電子透かし埋め込み装置を開示する。しかし、量子化されたオーディオデータに対して電子透かし情報を挿入するための手段を兼ね備えた可逆的置換処理回路が記載されているが、該可逆的置換処理回路は第1のスイッチ回路を備え、該第1のスイッチ回路は電子透かし情報と、選択サブバンド内の極大値とのどちらか一方を選択して出力する。すなわち、電子透かしを埋め込む位置を、オーディオデータの各周波数成分のうち人の聴覚特性に関して重要である周波数成分の位置としているため、電子透かしの挿入により、オーディオ品質の劣化が大きいことが推察される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平11−316599号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
したがって、本発明は、電子透かし情報を付加したオーディオ信号のオーディオ品質の劣化が少ないことを可能とする電子透かし付加装置、その方法、及びそのプログラムを提供することを目的とする。
【0009】
また、電子透かしの表示方法が容易であることを可能とする電子透かし表示装置、その方法、及びそのプログラムを提供することも目的とする。
【課題を解決するための手段】
【0010】
本発明の第1の観点によれば、入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に前記電子透かしとしての2次元画像を付加することを特徴とする電子透かし付加装置が提供される。
【0011】
また、本発明の第2の観点によれば、ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての2次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置が提供される。
【0012】
更に、本発明の第3の観点によれば、入力したステレオ信号を周波数領域の信号に変換するステップと、変換された信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に前記電子透かしとしての2次元画像を付加するステップと、を有することを特徴とする電子透かし付加方法が提供される。
【0013】
加えて、本発明の第4の観点によれば、ステレオ信号を周波数領域の信号に変換するステップと、変換された信号の時間軸と周波数軸の組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての2次元画像を、前記付加後のステレオ信号から検出するステップと、を有することを特徴とする電子透かし検出方法が提供される。
【0014】
加えて、本発明の第5の観点によれば、電子透かし付加装置としてコンピュータを機能させるためのプログラムにおいて、コンピュータを、入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に前記電子透かしとしての2次元画像を付加することを特徴とする電子透かし付加装置として機能させるための電子透かし付加用プログラムが提供される。
【0015】
加えて、本発明の第6の観点によれば、電子透かし検出装置としてコンピュータを機能させるためのプログラムにおいて、コンピュータを、ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての2次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置として機能させるための電子透かし検出用プログラムが提供される。
【発明の効果】
【0016】
本発明によれば、電子透かし付加装置において、電子透かし情報を付加したオーディオ信号のオーディオ品質の劣化が少ないことが可能となる。
【0017】
また、本発明によれば、電子透かし表示装置において、電子透かしの表示方法が容易であることが可能となる。
【図面の簡単な説明】
【0018】
図1】通常の電子透かし付加装置の構成図である。
図2】本発明の実施形態による電子透かし付加装置の構成図である。
図3】本発明の実施形態による電子透かし付加装置に含まれる位相変換器の構成図である。
図4】本発明の実施形態による電子透かし付加装置に含まれる位相制御器の構成図である。
図5】本発明の実施形態による電子透かし表示装置の構成図である。
図6】本発明の実施形態による電子透かし付加装置の動作を示すフローチャートである。
図7】本発明の実施形態による電子透かし付加装置に含まれる位相変換器の制御モードを示す表である。
図8】本発明の実施形態による電子透かし表示装置の動作を示すフローチャートである。
図9】電子透かしを付加したLch及びRchの疑似ステレオ信号のスペクトログラムを示す図である。
図10】電子透かしが付加された疑似ステレオ信号を変換したモノラル信号のスペクトログラムを示す図である。
【発明を実施するための形態】
【0019】
(構成の説明)
図2は、本発明に係る電子透かし付加装置1の構成図である。当該電子透かし付加装置1は、Lch及びRchそれぞれの周波数分析器10−L及び10−Rと、位相制御器20と、位相変換器30−L〜30−L及び30−R〜30−Rと、Lch及びRchそれぞれの周波数成分合成器50−L及び50−Rとを含む。
【0020】
周波数分析器10−Lは、Lchオーディオ信号s1−Lを入力とし、周波数分析した上で周波数毎の周波数成分信号s3−L〜s3−Lを各々が対応するLchの位相変換器30−L〜30−L及びRchの位相変換器30−R〜30−Rに出力する。
【0021】
同様に、周波数分析器10−Rは、Rchオーディオ信号s1−Rを入力とし、周波数分析した上で周波数毎の周波数成分信号s3−R〜s3−Rを各々が対応するLchの位相変換器30−L〜30−L及びRchの位相変換器30−R〜30−Rに出力する。
【0022】
ここで、nは周波数分析のサンプリング点数であり、任意の複数である。
【0023】
位相制御器20は、電子透かし信号s2を入力とし、付加する電子透かしの2次元画像の画素に対応した制御信号s4−L〜s4−L及びs4−R〜s4−Rのそれぞれを、各々が対応する位相変換器30−L〜30−L及び30−R〜30−Rに出力する。
【0024】
位相変換器30−L(0≦x≦nであり、xは整数である)は、周波数分析器10−Lからの周波数成分信号s3−Lと周波数分析器10−Rからの周波数成分信号s3−R、及び位相制御器20からの制御信号s4−Lを入力とし、位相変換出力信号s5−LをLchの周波数成分合成器50−Lに出力する。
【0025】
同様に、位相変換器30−R(0≦x≦nであり、xは整数である)は、周波数分析器10−Lからの周波数成分信号s3−Lと周波数分析器10−Rからの周波数成分信号s3−R、及び位相制御器20からの制御信号s4−Rを入力とし、位相変換出力信号s5−RをRchの周波数成分合成器50−Rに出力する。
【0026】
Lchの周波数成分合成器50−Lは、位相変換器30−L〜30−Lからの位相変換出力信号s5−L〜s5−Lを入力とし、入力された位相変換出力信号s5−L〜s5−Lから電子透かしが付加された電子透かし付加信号s6−Lを合成し、出力する。
【0027】
同様に、Rchの周波数成分合成器50−Rは、位相変換器30−R〜30−Rからの位相変換出力信号s5−R〜s5−Rを入力とし、入力された位相変換出力信号s5−R〜s5−Rから電子透かしが付加された電子透かし付加信号s6−Rを合成し、出力する。
【0028】
位相変換器30−L及び30−Rの構成の例として、位相変換器30−Xの構成を図3に示す。ここで、XはL又はRでありYはR又はLである。すなわちX=Lの時はY=Rであり、X=Rの時はY=Lである。位相変換器30−Xは、加算器300−Xと、位相シフトアンプ301−Xと、加算制御スイッチ302−Xとを含む。
【0029】
位相変換器30−Xは、周波数分析器10−Xからの周波数成分信号s3−Xと周波数分析器10−Yからの周波数成分信号s3−Y、及び位相制御器20からの制御信号s4−Xを入力とする。
【0030】
制御信号s4−Xは、加算制御スイッチ302−Xを制御することにより、加算器300−Xにおいて、周波数成分信号s3−Xに周波数成分信号s3−Yを加算するか否かを制御する。
【0031】
また、制御信号s4−Xは、位相シフトアンプ301−Xも制御する。その結果、周波数成分信号s3−Xと周波数成分信号s3−Yとをモノラル加算した信号、または周波数成分信号s3−Xのみのオリジナル信号の位相が、位相シフトアンプ301−Xによって位相シフトされ、位相変換出力信号s5−Xとして位相変換器30−Xから出力される。
【0032】
位相変換器30−X〜30−Xn−1も同様である。
【0033】
図4に位相制御器20の構成を示す。位相制御器20はn個の位相決定器200−0〜200−nを含む。上記のように、nは周波数分析器10−L及び10−Rにおけるサンプリング点数に一致し、各位相決定器200−x(0≦x≦nであり、xは整数である)は、位相変換器30−L及び30−Rに対応する。位相制御器20に入力された電子透かし信号s2は、各位相決定器200−0〜200−nに入力される。後述のように、電子透かしとしての2次元画像のxy軸は、オーディオ信号のtf軸に対応するが、各位相決定器は、各周波数に対応する。
【0034】
各位相決定器200−0〜200−nのうち200−nを例にとると、位相決定器200−nは画素の濃淡値に応じて、位相変換器30−Xに対して、加算器300−Xによるモノラル加算のon/offと、位相シフトアンプ301−Xによる位相シフト量を制御する制御信号s4−Xを出力する。すなわち、位相決定器200−nは、制御信号s4−Lを位相変換器30−Lに出力し、制御信号s4−Yを位相変換器30−Yに出力する。
【0035】
電子透かしを挿入する場合は、モノラル加算をonとし、位相シフトを行う。
【0036】
電子透かしを挿入しない場合は、モノラル加算をoffとし、位相シフト量はゼロとする。これにより、電子透かし付加装置1が出力する疑似ステレオ信号は、通常のステレオ信号となる。例えば、音楽などのステレオオーディオ信号を扱う場合、最初の数ミリ秒だけに電子透かしを挿入し、残りの時間では電子透かしを挿入しないようにしたり、末尾部に挿入したりすることにより、コンテンツの品位を下げることを回避できる。
【0037】
位相決定器200−0〜200−n−1も同様である。
【0038】
なお、電子透かしの2次元画像の画像信号を1次元の走査信号にして、位相制御器20に順次供給することにより、2次元画像のx軸及びy軸のそれぞれが、電子透かし付加信号s6−L及びs6−Rの時間軸と周波数軸に対応することとなる。具体的には、2次元画像中のあるラインの上端から下端の画素が、ある時刻における各周波数成分に対応する。位相制御器20に、あるラインの上端から下端の画素信号が入力され、処理が終了すると、位相制御器20に、次のラインの上端から下端の画素信号が入力される。この次のラインの上端から下端の画素信号が、次の時刻における各周波数成分に対応する。これを繰り返すことにより、電子透かしの2次元画像のx軸及びy軸は、電子透かし付加信号s6−L及びs6−Rの時間軸と周波数軸に対応することとなる。
【0039】
ここで2次元画像のx軸及びy軸のそれぞれが、電子透かし付加信号s6−L及びs6−Rの時間軸と周波数軸に対応すると述べたが、本発明の実施形態はこれには限られず、x軸が周波数軸に、y軸が時間軸に対応してもよい。また、2次元画像の直交しない任意の2軸が、電子透かし付加信号s6−L及びs6−Rの時間軸と周波数軸に対応してもよい。
【0040】
図5は、本発明に係る電子透かし表示装置6の構成図である。当該電子透かし表示装置2は、加算器60と表示器70とを含み、該表示器70は周波数分析器700と濃淡表示器701とを含む。
【0041】
加算器60は、疑似ステレオオーディオ信号である電子透かし付加信号s6−Lとs6−Rとを入力とし、モノラル加算した上でモノラル信号s7−Mを表示器70の周波数分析器700に出力する。該周波数分析器700は、モノラル信号s7−Mを周波数分析し、周波数成分信号s70−M〜s70−Mを濃淡表示器701に出力する。
(動作の説明)
周波数分析器10−L及び10−Rを代表的なFFT演算器、また周波数合成器50−L及び50−Rを代表的な逆FFT演算器として動作原理を説明するが、本発明の実施の態様は、これには限られない。
【0042】
FFT演算器の出力であるLch複素信号をL[x]、Rch信号複素信号をR[x]とし、式1及び式2で表す。a[x]及びa[x]は実部成分、b[x]及びb[x]は虚数部成分である。
【0043】
【数1】
(式1)
【0044】
【数2】
(式2)
xは周波数成分の番号であり、0、1、2、・・・nの整数とする。ここで、L[x]及びR[x]はそれぞれ、図2の周波数成分信号s3−L及びs3−Rに対応する。
【0045】
電子透かしの画像情報を付加する周波数成分信号に対しては、式3でモノラル信号M[x]に変換する。
【0046】
【数3】
(式3)
なお、電子透かしを挿入しない期間においては、周波数成分信号に対して、入力信号のまま変換せず、オリジナル信号のままとする。
【0047】
モノラル化された周波数成分に対して、式4でシフトする位相角φ[x]を求める。
【0048】
【数4】
(式4)
ここで、z[x]は表示させたい電子透かし画素の輝度(または濃淡階調)を示す値であり、0≦z[x]≦2とする。画素の輝度が最大の場合は、z[x]=0に対応し、画素の輝度が最小の場合は、z[x]=2に対応する。0≦z[x]≦2の範囲において、φ[x]は単調に減少する関数となる。例えば、z[x]が“0”の時は、最も白く表示したい値であり、φ[n]=πとなる。また、z[x]が“2”の時は、最も黒く表示したい値であり、φ[n]=0となる。
【0049】
なお、式4はあくまで一例であり、極性の反転した、0≦z[x]≦2の範囲における単調増加関数でもよい。
【0050】
一例として、位相変換器30−Lが生成するLchの信号L’[x]は、モノラル信号M[x]をそのまま出力させたものとする。
【0051】
【数5】
(式5)
それに対して、位相変換器30−Rxが生成するRchの信号R’[x]は、回転演算の式6によって、L’[x]、すなわちモノラル信号M[x]の位相をシフトさせたものとする。
【0052】
【数6】
(式6)
これらの演算をFFTポイント分で行う。その後、逆FFT演算器である周波数合成器50−L及び50−Rのそれぞれが、L’[x]及びR’[x]のそれぞれを合成し、それぞれの周波数合成器は、疑似ステレオ信号である電子透かし付加信号s6−L及びs6−Rを出力する。
【0053】
電子透かし挿入期間においては、Lchから出力されるs6−Lと、Rchから出力されるs6−Rの双方が、L[x]とR[x]を加算した信号を合成したものとなるため、モノラル信号となる。一方、電子透かしを挿入しない期間においては、加算も位相シフトも行われないため、s6−L及びs6−Rはステレオ信号となる。電子透かしを挿入する期間を短くしたり、挿入する場所を末尾部などにすることにより、ステレオ信号として認識される。
またこれらには、単位時間経過毎に、電子透かしデータの2次元画像の情報を付加していくため、上記の動作を繰り返す。
【0054】
電子透かし表示装置6が電子透かしを表示する場合は、加算器60が疑似ステレオ信号である電子透かし付加信号s6−L及びs6−Rをモノラル加算して、モノラル信号s7−Mに変換し、周波数分析器700が周波数分析をする。
【0055】
上記のように、最も白く表示したい画素の場合は、z[x]=0よりφ[x]=πとなるため、式7において、モノラル信号s70−Mは0となり、スペクトル成分は消滅する。
【0056】
【数7】
(式7)
また、最も黒く表示したい画素の場合は、z[x]=2.0よりφ[x]=0となるため、式8において、モノラル信号s70−Mはモノラル信号M[x]のままとなる。
【0057】
【数8】
(式8)
これらの動作原理で、合成されたオーディオ信号をFFT演算によるパワースペクトログラムとして表示させ、電子透かしが画像情報として浮かびあがることを可能とする。
【実施例】
【0058】
図2に記載の電子透かし付加装置1の実施例について、図6のフローチャートを用いて説明する。
【0059】
周波数分析器10−Lが、ステレオオーディオ信号のLch信号s1−Lを周波数成分毎に周波数成分信号s3−L〜s3−Lに分解する。同様に、周波数分析器10−RがRch信号s1−Rを、周波数成分毎に周波数成分信号s3−R〜s3−Rに分解する(ステップS101)。出力される周波数成分信号は、前記式1および式2に相当する。
【0060】
周波数分析器10−Lで分解された周波数成分信号s3−Lは周波数分析器10−Rで分解された周波数成分信号s3−Rとともに、位相変換器30−Lに入力される。また同様に、周波数分析器10−Rで分解された周波数成分信号s3−Rは周波数分析器10−Lで分解された周波数成分信号s3−Lとともに、位相変換器30−Rに入力される。
【0061】
これら位相変換器は、L/Rch毎、および周波数成分毎に備わる。
【0062】
すなわち、1≦x≦nであり、xが整数とすると、周波数成分信号s3−Lとs3−Rの双方が、位相変換器30−Lと30−Rに入力される(ステップS102)。
【0063】
図4の位相制御器20に、電子透かしとなる画像信号s2が入力される(ステップS103)。すると、画素の点に対応する位置の周波数成分に対して、画素の濃淡値から、各周波数成分に対応する位相決定器200−xが、位相変換器30−L及び30−Rにおけるモノラル加算のON/OFFと、位相シフト量とを決定する(ステップS104)。各位相決定器200−xは、モノラル加算及び位相シフト量を制御する制御信号s4−L及びs4−Rそれぞれを、対応する位相変換器30−L及び30−Rに出力する(ステップS105)。
【0064】
図3の位相変換器30−Xに、周波数成分信号s3−Lとs3−Rと、制御信号s4−Xが入力される。ここで、nは周波数成分番号、X,YはL又はRのチャンネル識別記号とする。制御信号s4−Xは、加算制御スイッチ302−Xを制御する。加算制御スイッチ302−Xがモノラル加算をする場合(ステップS106のON)は、周波数成分信号S3−Yが加算制御スイッチ302−Xを介して加算器300−Xに入力される。この場合、加算器300−Xが周波数成分信号S3−XとS3−Yとをモノラル加算し、加算出力信号(式3)を、位相シフトアンプ301−Xに出力する(ステップS107)。加算制御スイッチ302−Xがモノラル加算しない場合は、周波数成分信号s3−Xのみが加算器300−Xに入力され、加算器300−Xはオリジナル信号である周波数成分信号s3−Xを位相シフトアンプ301−Xに出力する。(ステップS108)。その後、制御信号s4−Xによって制御される位相シフトアンプ301−Xが加算出力信号又はオリジナル信号の位相をシフトし、位相変換出力信号s5−Xを出力する。(式5、式6)(ステップS109)。
【0065】
位相変換器30−X〜30−Xn−1においても同様である。
【0066】
その後、周波数成分合成器50−L及び50−Rが、位相変換出力信号s5−L〜s5−L及びs5−R〜s5―Rのそれぞれを合成し、疑似ステレオオーディオ信号である電子透かし付加信号s6−L及びs6−Rを出力する(ステップS110)。
【0067】
周波数分析器10−L及び10−R、位相制御器20、位相変換器30−Lx及び30−Rx(1≦x≦nであり、xは整数)、周波数成分合成器50−L及び50−Rは、単位時間経過毎に上記の動作を繰り返す。
【0068】
位相変換器30−X〜30−Xの制御例を、図7の表に示す。
【0069】
例えば、電子透かしの画素として最も白く表示したい点に対しては、Lch側、すなわち位相変換器30−Lにおいて、制御信号s4−Lにより、モノラル加算スイッチをONにし位相シフト量を0[rad]とする。Rch側、すなわち位相変換器30−Rにおいては、制御信号s4−Rにより、モノラル加算スイッチをONにし位相シフト量をπ[rad]とする。
【0070】
また逆に、最も黒く表示したい点に対しては、Lch側、すなわち位相変換器30−Lにおいて、制御信号s4−Lにより、モノラル加算スイッチをONにし位相シフト量を0[rad]とする。Rch側、すなわち位相変換器30−Rにおいても、制御信号s4−Rにより、モノラル加算スイッチをONにし、位相シフト量を0[rad]とする。
【0071】
なお、画素がない点に対しては、Lch側、すなわち位相変換器30−Lにおいて、制御信号s4−Lにより、モノラル加算スイッチをOFFにし位相シフト量を0[rad]とする。Rch側、すなわち位相変換器30−Rにおいても、制御信号s4−Rにより、モノラル加算スイッチをOFFにし位相シフト量を0[rad]とする。これは、画素がない点では、オリジナル信号のそのままを出力とするものである。
【0072】
図5に記載の電子透かし表示装置6の実施例について、図8のフローチャートを用いて説明する。
【0073】
疑似ステレオオーディオ信号である電子透かし付加信号の、Lch信号s6−L及びRch信号s6−Rを加算器60が加算し、モノラル加算信号s7−Mを出力する(ステップS201)。
【0074】
表示器70において、周波数分析器700が、モノラル加算信号s7−Mを、周波数成分毎の周波数成分信号s70−M〜s70−Mに分解する(ステップS202)。この周波数分析器700は、代表的なFFT演算器であってよいが、本発明の実施の態様はこれには限られない。
【0075】
濃淡表示器701が、各周波数成分毎の周波数成分信号s70−M〜s70−Mのパワーを算出し、各周波数が対応する位置に画像濃淡や輝度として表示する(式7および式8)(ステップS203)。濃淡表示器701は、固定されたフレーム時間毎に、周波数分析と表示を繰り返し(ステップS204のNO)、縦軸に周波数、横軸に時刻とした2次元画面として表示する。
【0076】
本発明により電子透かしを付加した疑似ステレオオーディオ信号の、Lch信号s−6Lのスペクトログラムを図9の上段画像に、また、Rch信号s−6Rのスペクトログラムを図9の下段画像に示す。
【0077】
周波数成分の強い信号は黒く、弱い信号は白く表示されており、どちらのチャネル信号においても、電子透かしの画像データは認識できない。すなわち、オーディオ信号の劣化が少ないことを示している。
【0078】
さらに、これらの電子透かしが付加された疑似ステレオオーディオ信号を加算して、モノラル信号に変換した時のスペクトログラムを図10に示す。電子透かし画像(文字画像の例)が、下方(低域周波数位置)に、白く全体に浮かび上がっていることが認識できる。
【0079】
なお、上記の信号処理装置の各部分は、ハードウェア、ソフトウェアのいずれか又はこれらの組み合わせにより実現することができる。また、上記の信号処理装置により行われる信号処理方法も、ハードウェア、ソフトウェアのいずれか又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0080】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0081】
本発明によれば、電子透かし付加装置において、オーディオコンテンツが複製された場合でも電子透かし情報を欠落させないこと、電子透かし情報を付加したオーディオ信号はオーディオ品質の劣化が少ないこと、及び、電子透かし情報を取り去ることがオーディオ品質の著しい劣化となることが可能となる。
【0082】
また、本発明によれば、電子透かし表示装置において、電子透かしの表示方法が容易であること、及び、電子透かしの判別も容易となることが可能となる。
【0083】
上記の実施形態の一部または全部は、以下の付記のようにも記載されるが、以下には限られない。
【0084】
(付記1)
入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に前記電子透かしとしての2次元画像を付加することを特徴とする電子透かし付加装置。
【0085】
(付記2)
付記1に記載の電子透かし付加装置であって、
前記2次元画像の各画素に対応する位置にある時間・周波数成分の位相をその画素の値に応じてシフトすることを特徴とする電子透かし付加装置。
【0086】
(付記3)
付記2に記載の電子透かし付加装置であって、
入力した前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、その足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせることを特徴とする電子透かし付加装置。
【0087】
(付記4)
付記2又は3に記載の電子透かし付加装置であって、
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数であることを特徴とする電子透かし付加装置。
【0088】
(付記5)
付記4に記載の電子透かし付加装置であって、
前記関数が、前記画素の輝度をz[x]、前記シフト量をφ[x]とした場合、
【0089】
【数9】
であることを特徴とする電子透かし付加装置。
【0090】
(付記6)
ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての2次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置。
【0091】
(付記7)
付記6に記載の電子透かし検出装置であって、
各時間・各周波数成分の位相シフト量を検出し、その位相シフト量を基に、前記2次元画像を検出することを特徴とする電子透かし検出装置。
【0092】
(付記8)
付記6又は7に記載の電子透かし検出装置であって、
前記付加後のステレオ信号に含まれる両チャネルの信号を足し合わせてから、周波数成分の信号に変換し、その変換後の周波数軸と時間軸とを2次元の2軸として、その変換後の信号を2次元出力する手段を備えることを特徴とする電子透かし検出装置。
【0093】
(付記9)
入力したステレオ信号を周波数領域の信号に変換するステップと、
変換された信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に前記電子透かしとしての2次元画像を付加するステップと、
を有することを特徴とする電子透かし付加方法。
【0094】
(付記10)
付記9に記載の電子透かし付加方法であって、
前記2次元画像の各画素に対応する位置にある時間・周波数成分の位相をその画素の値に応じてシフトすることを特徴とする電子透かし付加方法。
【0095】
(付記11)
付記10に記載の電子透かし付加方法であって、
入力した前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、その足し合わせた信号の各時間・各周波数成分の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせることを特徴とする電子透かし付加方法。
【0096】
(付記12)
付記10又は11に記載の電子透かし付加方法であって
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数であることを特徴とする電子透かし付加方法。
【0097】
(付記13)
付記12に記載の電子透かし付加方法であって、
前記関数が、前記画素の輝度をz[x]、前記シフト量をφ[x]とした場合、
【0098】
【数10】
であることを特徴とする電子透かし付加方法。
【0099】
(付記14)
ステレオ信号を周波数領域の信号に変換するステップと、
変換された信号の時間軸と周波数軸の組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての2次元画像を、前記付加後のステレオ信号から検出するステップと、
を有することを特徴とする電子透かし検出方法。
【0100】
(付記15)
付記14に記載の電子透かし検出方法であって、
各時間・各周波数成分の位相シフト量を検出し、その位相シフト量を基に、前記2次元画像を検出することを特徴とする電子透かし検出方法。
【0101】
(付記16)
付記14又は15に記載の電子透かし検出方法であって、
前記付加後のステレオ信号に含まれる両チャネルの信号を足し合わせてから、周波数成分の信号に変換し、その変換後の周波数軸と時間軸とを2次元の2軸として、その変換後の信号を2次元出力するステップを備えることを特徴とする電子透かし検出方法。
【0102】
(付記17)
電子透かし付加装置としてコンピュータを機能させるためのプログラムにおいて、
コンピュータを、
入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に前記電子透かしとしての2次元画像を付加することを特徴とする電子透かし付加装置として機能させるための電子透かし付加用プログラム。
【0103】
(付記18)
付記17に記載の電子透かし付加用プログラムであって、
前記2次元画像の各画素に対応する位置にある時間・周波数成分の位相をその画素の値に応じてシフトすることを特徴とする電子透かし付加用プログラム。
【0104】
(付記19)
付記18に記載の電子透かし付加用プログラムであって、
入力した前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、その足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせることを特徴とする電子透かし付加用プログラム。
【0105】
(付記20)
付記18又は19に記載の電子透かし付加用プログラムであって
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数であることを特徴とする電子透かし付加用プログラム。
【0106】
(付記21)
付記20に記載の電子透かし付加用プログラムであって、
前記関数が、前記画素の輝度をz[x]、前記シフト量をφ[x]とした場合、
【0107】
【数11】
であることを特徴とする電子透かし付加用プログラム。
【0108】
(付記22)
電子透かし検出装置としてコンピュータを機能させるためのプログラムにおいて、
コンピュータを、
ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての2次元画像の2軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての2次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置として機能させるための電子透かし検出用プログラム。
【0109】
(付記23)
付記22に記載の電子透かし検出用プログラムであって、
各時間・各周波数成分の位相シフト量を検出し、その位相シフト量を基に、前記2次元画像を検出することを特徴とする電子透かし検出用プログラム。
【0110】
(付記24)
付記22又は23に記載の電子透かし検出用プログラムであって、
前記付加後のステレオ信号に含まれる両チャネルの信号を足し合わせてから、周波数成分の信号に変換し、その変換後の周波数軸と時間軸とを2次元の2軸として、その変換後の信号を2次元出力する手段を備えることを特徴とする電子透かし検出用プログラム。
【産業上の利用可能性】
【0111】
本発明の活用例として、オーディオコンテンツ作成ツールのソフトウェアや、コンテンツ配信局、放送局の通信設備、また、演奏楽器の音に画像を挿入して表現するエフェクタとしても活用できる。
【符号の説明】
【0112】
1 電子透かし付加装置
6 電子透かし表示装置
10−L 周波数分析器
10−R 周波数分析器
20 位相制御器
30−L 位相変換器
30−L 位相変換器
30−L 位相変換器
30−R 位相変換器
30−R 位相変換器
30−R 位相変換器
50−L 周波数成分合成器
50−R 周波数成分合成器
60 加算器
70 表示器
200−0 位相決定器
200−1 位相決定器
200−n 位相決定器
300−X 加算器
301−X 位相シフトアンプ
302−X 加算制御スイッチ
700 周波数分析器
701 濃淡表示器
1000 ローパスフィルタ
1001 電子透かし表示装置
s1−L オーディオ信号
s1−R オーディオ信号
s2 電子透かし信号
s3−L 周波数成分信号
s3−L 周波数成分信号
s3−L 周波数成分信号
s3−L 周波数成分信号
s3−R 周波数成分信号
s3−R 周波数成分信号
s3−R 周波数成分信号
s3−R 周波数成分信号
s3−X 周波数成分信号
s3−Y 周波数成分信号
s4−L 制御信号
s4−L 制御信号
s4−L 制御信号
s4−L 制御信号
s4−R 制御信号
s4−R 制御信号
s4−R 制御信号
s4−R 制御信号
s4−X 制御信号
s5−L 位相変換出力信号
s5−L 位相変換出力信号
s5−L 位相変換出力信号
s5−L 位相変換出力信号
s5−R 位相変換出力信号
s5−R 位相変換出力信号
s5−R 位相変換出力信号
s5−R 位相変換出力信号
s5−X 位相変換出力信号
s6−L 電子透かし付加信号
s6−R 電子透かし付加信号
s7−M モノラル加算信号
s70−M 周波数成分信号
s70−M 周波数成分信号
s70−M 周波数成分信号
s100 オーディオ信号
s101 オーディオ信号
s102 オーディオ信号
s200 電子透かし信号
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10