特開 2024-109984 オーディオ配信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024109984

(43)【公開日】2024-08-14

(54)【発明の名称】オーディオ配信システム

(51)【国際特許分類】

   G10L 19/018 20130101AFI20240806BHJP

【ＦＩ】

G10L19/018

【審査請求】有

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2024090638

(22)【出願日】2024-06-04

(62)【分割の表示】P 2021083638の分割

【原出願日】2021-05-18

(71)【出願人】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】佐々田 泰祐

(57)【要約】

【課題】オーディオの品質に劣化を生じさせないように電子透かしを付加したオーディオ信号を配信するに際し、電子透かしから違法行為を行った個人の情報を素早く且つ容易に認識可能な状態で読み出せるようにする。
【解決手段】復号装置１は、第１入力部１ａ、第２入力部１ｂ、復号部１ｃ、及び減算部１ｄを備える。第１入力部１ａは、オーディオ信号に配信先の個人を特定する特定情報が電子透かしとして付加され、符号化されて配信された配信オーディオ信号を入力する。第２入力部１ｂは、上記オーディオ信号を入力する。復号部１ｃは、上記配信オーディオ信号を復号する。減算部１ｄは、復号部１ｃで復号された信号である復号オーディオ信号から上記オーディオ信号を減算することで、上記特定情報を読み出す。
【選択図】図１

【特許請求の範囲】

【請求項1】

オリジナルオーディオ信号を記憶する記憶部と、
前記記憶部に記憶された前記オリジナルオーディオ信号に２次元画像で配信先の個人を特定する情報が表現される特定情報が電子透かしとして付加され、符号化されて前記配信先に配信された配信オーディオ信号を、入力する入力部と、
前記記憶部から前記オリジナルオーディオ信号を取得する取得部と、
前記配信オーディオ信号を復号する復号部と、
前記復号部で復号された信号である復号オーディオ信号から、前記取得部で前記記憶部から取得された前記オリジナルオーディオ信号を減算することで、前記特定情報を読み出す減算部と、
前記減算部で読み出した前記特定情報を２次元画像で表示する表示部と、
を備え、前記表示部は、前記減算部で減算された結果の信号を周波数分析し、周波数成分のパワーを周波数軸と時間軸とで表される２次元領域に諧調表示する、復号装置を備え、
前記特定情報を前記オリジナルオーディオ信号に前記電子透かしとして付加して符号化を実行する符号化装置と、
前記符号化装置で符号化された信号である前記配信オーディオ信号を前記配信先に配信する配信装置と、
をさらに備えたオーディオ配信システム。

【請求項2】

前記符号化装置は、
前記オリジナルオーディオ信号を周波数分析し周波数成分毎に出力する分析部と、
前記オリジナルオーディオ信号の前記周波数分析による周波数軸と時間軸とで表される２次元領域に、前記特定情報である２次元画像の画素の位置を対応させ、前記画素の位置に対応する前記オリジナルオーディオ信号の周波数成分信号を、前記画素の濃淡に応じて位相シフトさせる変換部と、
全ての周波数成分信号をチャネル毎に合成させた電子透かし付加信号を、前記配信オーディオ信号として前記配信装置に出力する出力部と、
を備えた、
請求項１に記載のオーディオ配信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、復号装置、オーディオ配信システム、復号方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、電子透かし情報を付加したオーディオ信号のオーディオ品質の劣化が少ないことを可能とする電子透かし付加装置が記載されている。上記電子透かし付加装置は、入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、上記変換された信号に上記電子透かしとしての２次元画像を付加する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－０２２１１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

著作権のある有料オーディオコンテンツの配信には、違法複製、無断再配信などの違法行為を防止、抑制する必要がある。無料で配信されるオーディオコンテンツについても著作権があるものについては同様である。また、オーディオコンテンツ内に配信した先の個人情報が特定されるような情報を電子透かしとして刻印してオーディオコンテンツを配信し、刻印されていることが周知されることになれば、違法行為の抑止につながる。

【0005】

よって、オーディオの品質に劣化を生じさせないように電子透かしを付加して配信するオーディオコンテンツについて、違法行為がなされないような電子透かしを素早く且つ容易に認識可能な状態で読み出すことが可能な技術が望まれる。即ち、オーディオコンテンツの配信元において、配信したコンテンツの電子透かしから違法行為を行った個人を特定する情報を素早く且つ容易に確認できるような技術が望まれる。なお、特許文献１に記載の技術は、オーディオの品質に劣化を生じさせないように電子透かしをオーディオコンテンツに付加することはできるが、このような課題に対応できるものではない。

【0006】

本開示の目的は、上記課題を解決する復号装置、オーディオ配信システム、復号方法、及びプログラムを提供することにある。上記課題は、オーディオの品質に劣化を生じさせないように電子透かしを付加したオーディオ信号を配信するに際し、電子透かしから違法行為を行った個人の情報を素早く且つ容易に認識可能な状態で読み出せるようにすることにある。

【課題を解決するための手段】

【0007】

本開示の第１の態様に係る復号装置は、オーディオ信号に配信先の個人を特定する特定情報が電子透かしとして付加され、符号化されて配信された配信オーディオ信号を入力する第１入力部と、前記オーディオ信号を入力する第２入力部と、前記配信オーディオ信号を復号する復号部と、前記復号部で復号された信号である復号オーディオ信号から前記オーディオ信号を減算することで、前記特定情報を読み出す減算部と、を備えたものである。

【0008】

本開示の第２の態様に係る復号方法は、オーディオ信号に配信先の個人を特定する特定情報が電子透かしとして付加され、符号化されて配信された配信オーディオ信号を入力し、前記オーディオ信号を入力し、前記配信オーディオ信号を復号し、復号された信号である復号オーディオ信号から前記オーディオ信号を減算することで、前記特定情報を読み出すものである。

【0009】

本開示の第３の態様に係るプログラムは、コンピュータに、オーディオ信号に配信先の個人を特定する特定情報が電子透かしとして付加され、符号化されて配信された配信オーディオ信号を入力し、前記オーディオ信号を入力し、前記配信オーディオ信号を復号し、復号された信号である復号オーディオ信号から前記オーディオ信号を減算することで、前記特定情報を読み出す、処理を実行させるためのプログラムである。

【発明の効果】

【0010】

本開示により、オーディオの品質に劣化を生じさせないように電子透かしを付加したオーディオ信号を配信するに際し、電子透かしから違法行為を行った個人の情報を素早く且つ容易に認識可能な状態で読み出せるようになる。

【図面の簡単な説明】

【0011】

【図1】実施形態１に係る復号装置の一構成例を示すブロック図である。

【図2】実施形態２に係るオーディオ配信システムにおける符号化装置の一構成例を示すブロック図である。

【図3】実施形態２に係るオーディオ配信システムにおける復号装置の一構成例を示すブロック図である。

【図4】比較例に係る電子透かし付加装置を示すブロック図である。

【図5】図２の符号化装置における電子透かし付加部の一構成例を示すブロック図である。

【図6】図５の電子透かし付加部における位相変換器の一構成例を示すブロック図である。

【図7】図５の電子透かし付加部における位相制御器の一構成例を示すブロック図である。

【図8】図６の位相変換器における位相制御の一例を示す図である。

【図9】図３の復号装置における電子透かし表示部の一構成例を示すブロック図である。

【図10】オリジナルオーディオ信号のスペクトログラムの一例を示す図である。

【図11】電子透かしを付加したオーディオ信号のスペクトログラムの一例を示す図である。

【図12】電子透かしの表示例を示す図である。

【図13】装置に含まれるハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明を省略する場合がある。また、以下に説明する図面には一方向性の矢印を描いている図面があるが、この矢印はある信号（データ）の流れの方向を端的に示したもので、双方向性を排除するものではない。

【0013】

＜実施形態１＞
図１を参照しながら実施形態１に係る復号装置について説明する。図１は、実施形態１に係る復号装置の一構成例を示すブロック図である。

【0014】

図１に示すように、本実施形態に係る復号装置１は、第１入力部１ａ、第２入力部１ｂ、復号部１ｃ、及び減算部１ｄを備える。

【0015】

第１入力部１ａは配信オーディオ信号を入力する。この配信オーディオ信号は、オーディオ信号（オリジナルオーディオ信号）に配信先の個人を特定する特定情報が電子透かしとして付加された後、符号化されて配信された信号である。

【0016】

このような電子透かしの付加処理及び符号化処理は図示しない符号化装置が行うことができ、配信処理は図示しない配信装置又は上記符号化装置に設けられた配信部が実行することができる。復号装置１は、これらの符号化装置及び配信装置あるいは配信部が設けられた符号化装置とともに、オーディオ配信システムを構成する。

【0017】

また、電子透かしに付加する特定情報は、例えば配信要求元であるユーザのＩＤ、ユーザ使用端末のＩＤ等の情報として符号化装置が取得した情報とすることができる。あるいは、この特定情報は、配信要求元からそのようにして取得した情報に加工（一部の抽出等）を加えたものとすることができる。

【0018】

本実施形態に係る復号装置１では、さらに第２入力部１ｂが上記オリジナルオーディオ信号を入力する。復号部１ｃは、上記配信オーディオ信号を復号する。減算部１ｄは、復号部１ｃで復号された信号である復号オーディオ信号から上記オリジナルオーディオ信号を減算することで、上記特定情報を読み出す。

【0019】

つまり、減算部１ｄは、配信オーディオ信号から電子透かしとして付加されていた配信先の個人を特定する情報を減算という簡易な処理で取り出すことができ、違法行為の確認作業を素早く且つ容易に実施することができるようになる。

【0020】

なお、復号装置１はその全体を制御する制御部（図示せず）を有することができる。この制御部は、例えば、ＣＰＵ（Central Processing Unit）、作業用メモリ、及び上述のような処理を実行するプログラム（ファームウェア等）を記憶した不揮発性の記憶装置などによって実現されることができる。この制御部は、その一部又は全部を集積回路（Integrated Circuit）とすることができる。上述した符号化装置（又は配信装置）も同様に、図示しないが、その全体を制御する制御部を有することができる。この制御部は、例えば、ＣＰＵ、作業用メモリ、及び上述のような付加及び符号化の処理（又は配信処理）を行うプログラムを記憶した不揮発性の記憶装置などによって実現されることができる。この制御部は、その一部又は全部を集積回路とすることができる。

【0021】

以上のように、本実施形態によれば、オーディオの品質に劣化を生じさせないように電子透かしを付加したオーディオ信号を配信するに際し、電子透かしから違法行為を行った個人の情報を素早く且つ容易に認識可能な状態で読み出せるようになる。そして、本実施形態によれば、その結果として、配信元では違法行為の有無を確認する作業、つまり電子透かしの確認作業を素早く且つ容易にすることができる。

【0022】

本実施形態の活用例として、オーディオコンテンツ作成ツールのソフトウェアや、コンテンツ配信局、放送局の通信設備において、コンテンツを配信する毎に、シリアル番号等の唯一無二の透かしを簡単に挿入させることができる。よって、この活用例においては、配信後のオーディオコンテンツが拡散した場合、どこから漏れたものか、誰から漏れたものかを特定でき、結果として、違法複製、無断再配信（不法再配信）のけん制につながる。

【0023】

＜実施形態２＞
実施形態２について、実施形態１との相違点を中心に説明するが、実施形態１で説明した様々な例が適用できる。まず、図２及び図３を参照しながら、実施形態２に係るオーディオ配信システムについて説明する。図２は、実施形態２に係るオーディオ配信システムにおける符号化装置の一構成例を示すブロック図である。図３は、実施形態２に係るオーディオ配信システムにおける復号装置の一構成例を示すブロック図である。

【0024】

本実施形態に係るオーディオ配信システムは、図２に示す符号化装置１０と図３に示す復号装置２０とを備えて構成されることができる。

【0025】

図２に示すように、符号化装置１０は、電子透かし付加部１１及びオーディオ符号化部１２を備えることができる。なお、電子透かし付加部１１、オーディオ符号化部１２はそれぞれ電子透かし付加器、オーディオ符号化器としていずれも単体で機能する機器とすることもできる。但し、例えばこれらの構成要素の一部又は全部はプログラムで制御される制御部として符号化装置１０に搭載することもできる。

【0026】

電子透かし付加部１１は、オリジナルのオーディオコンテンツの信号であるオリジナルオーディオ信号ｓ１０と、配信先の個人を特定できる特定情報を示す情報信号ｓ１１を入力する。オリジナルオーディオ信号ｓ１０は例えばＰＣＭ（Pulse Code Modulation）オーディオ信号とすることができる。特定情報は、例えば有料コンテンツ契約のユーザＩＤなどとすることができるが、コンテンツＩＤ、コンテンツ提供元ＩＤ、サービスプロバイダＩＤ等を含むこともできる。情報信号ｓ１１は、配信先の個人を特定する特定情報を２次元画像で描画した入力画像信号とすることができる。

【0027】

電子透かし付加部１１は、そのオリジナルオーディオ信号ｓ１０に特定情報を示す情報信号ｓ１１を付加し、付加されたオーディオ信号ｓ１２をオーディオ符号化部１２に出力する。オーディオ信号ｓ１２も例えばＰＣＭオーディオ信号とすることができる。オーディオ符号化部１２は、オーディオ信号ｓ１２をＭＰ３やＡＡＣ等に圧縮符号化し、配信信号（符号化オーディオ信号）ｓ１３として出力する。符号化装置１０は図示しない通信部を備え、この通信部から配信先に配信信号ｓ１３を配信する。

【0028】

図３に示すように、復号装置２０は、オーディオ復号部２１、減算部２２、及び電子透かし表示部２３を備えることができる。なお、オーディオ復号部２１、減算部２２、及び電子透かし表示部２３はそれぞれオーディオ復号器、減算器、及び電子透かし表示器としていずれも単体で機能する機器とすることができる。但し、例えばこれらの構成要素の一部又は全部はプログラムで制御される制御部として復号装置２０に搭載することもできる。

【0029】

符号化装置１０から配信された配信信号ｓ１３は、電子透かし付きオーディオコンテンツが圧縮符号化された信号であり、ここでは圧縮符号化信号ｓ２０として説明する。復号装置２０では、図示しない通信部及び記憶部を備え、圧縮符号化信号ｓ２０を通信部で受信すること、並びに記憶部からオリジナルオーディオ信号ｓ２１（ｓ１０）を取得することが可能に構成されている。

【0030】

オーディオ復号部２１は、圧縮符号化信号ｓ２０を入力し、ＭＰ３やＡＡＣ等にデコードし、その結果として、特定情報が付加されているオーディオ信号（例えば特定情報が付加されたＰＣＭオーディオ信号）ｓ２２を出力する。減算部２２は、その信号ｓ２２から配信したオリジナルオーディオ信号ｓ２１（ｓ１０）を減算して減算信号ｓ２３を得て、電子透かし表示部２３に出力する。

【0031】

電子透かし表示部２３は、入力された減算信号ｓ２３に基づき電子透かしを表示させる。電子透かし表示部２３は、２次元画像で配信先の個人を特定する情報が表現されるような特定情報が電子透かしとして付加された場合において、減算部２２で読み出したその特定情報を２次元画像で表示する表示部の例である。減算信号ｓ２３は、減算部２２により電子透かしが強調された信号となるため、電子透かし表示部２３では確認がし易い特定情報として表示させることができる。

【0032】

（符号化装置１０の電子透かし付加部１１）
電子透かしは配信先においてオーディオ品質を劣化させることなく電子透かしを取り去ることが容易でないことが好ましく、電子透かし付加部１１はそれに対応するような構成を採用することが好ましい。つまり、電子透かし付加部１１は、付加（刻印）する特定情報をオーディオ信号中に付加するに際し、この特定情報を、音として目立たないように付加し、且つ配信先での電子透かしの除去を困難にすることが望ましい。

【0033】

このような電子透かし付加部１１の具体な構成例の説明に先立ち、図４を参照して比較例に係る電子透かし付加装置について説明する。図４は、比較例に係る電子透かし付加装置を示すブロック図である。

【0034】

図４に示す電子透かし付加装置は、ローパスフィルタ９１及び電子透かし付加器９２を備える。ローパスフィルタ９１は、入力されるオリジナルオーディオ信号ｓ９０に対し高域周波数信号を抑圧して低域周波数信号（帯域制限信号）ｓ９２を生成し、電子透かし付加器９２に出力する。電子透かし付加器９２は、電子透かし情報を高域周波数の振幅値等で表現した電子透かし信号ｓ９１を入力し、ローパスフィルタ９１から入力された低域周波数信号ｓ９２に電子透かし信号ｓ９１を加算し、電子透かしが付加されたオーディオ信号ｓ９３を出力する。

【0035】

ここで、電子透かし信号ｓ９１を人間の聴き取りづらい高域周波数（例えば１５ｋＨｚ以上）にすれば、音として目立たない信号となりオーディオ品質の劣化は避けられる。しかし、高域周波数がカットされるようなアナログ機器を使ってオーディオコンテンツが複製されるような場合には、電子透かしが欠落してしまうことになる。また、このオーディオ信号ｓ９３は、オーディオ品質を劣化させることなく電子透かしを取り去ることが容易なため、オーディオコンテンツの著作権保護の目的で使用されるような電子透かしとしては好ましくない。

【0036】

図５を参照しながら図２の電子透かし付加部１１の具体的な構成例について説明する。図５は、図２の符号化装置１０における電子透かし付加部１１の一構成例を示すブロック図である。

【0037】

図５に示すように、電子透かし付加部１１は、周波数分析器３１、位相制御器（位相制御回路）３２、複数の位相変換器３３－０～３３－ｎ、及び周波数合成器３４を備えることができる。なお、ここでは説明の簡略化のためモノラルのオーディオ信号について説明している。マルチチャネルのオーディオ信号の場合には例えば各チャネルに周波数分析器３１、複数の位相変換器３３－０～３３－ｎ、及び周波数合成器３４を備えておけばよい。

【0038】

周波数分析器３１は、オリジナルオーディオ信号ｓ３１（ｓ１０，ｓ２１）を入力とし、周波数分析された周波数成分信号（周波数分析出力信号）ｓ３５－０～ｓ３５－ｎを、各周波数に対応して設けられた位相変換器３３－０～３３－ｎに出力する。

【0039】

位相制御器３２は、特定情報を示す画像データである電子透かし信号ｓ３３（ｓ１１）を入力し、位相変換器３３－０～３３－ｎのそれぞれに対し、画素に応じた制御信号（位相制御信号）ｓ３４－０～ｓ３４－ｎで電子透かし信号を付加させる制御を行う。位相変換器３３－０～３３－ｎは、それぞれ、周波数成分信号ｓ３５－０～ｓ３５－ｎを入力し、画素に応じた制御信号ｓ３４－０～ｓ３４－ｎに従い、周波数成分信号ｓ３５－０～３５－ｎの位相を変更することで電子透かし信号の付加を行う。位相変換器３３－０～３３－ｎは、それぞれ電子透かし信号が付加された信号（位相変換出力信号）ｓ３６－０～ｓ３６－ｎを周波数合成器３４に出力する。

【0040】

周波数合成器３４は、位相変換器３３－０～３３－ｎからそれぞれ出力される信号（位相変換出力信号）ｓ３６－０～ｓ３６－ｎを合成し、電子透かしが付加された信号ｓ３２（ｓ１２）を出力する。

【0041】

次に、図６を参照しながら位相変換器３３－０～３３－ｎの構成例について説明する。図６は、図２及び図５の電子透かし付加部１１における各位相変換器の一構成例を示すブロック図であり、図６では代表して位相変換器３３－ｎで示している。

【0042】

図６に示すように、位相変換器３３－ｎは、位相シフト制御スイッチ３３１－ｎ及び位相シフト器３３２－ｎを備えることができる。位相変換器３３－ｎは、周波数成分信号ｓ３５－ｎ及び画素に応じた制御信号ｓ３４－ｎを入力し、それらを位相シフト制御スイッチ３３１－ｎ及び位相シフト器３３２－ｎに渡す。位相変換器３３－ｎは、周波数成分信号ｓ３５－ｎから、位相シフト制御スイッチ３３１－ｎを介して、位相シフト器３３２－ｎで位相をシフトし、位相変換出力信号ｓ３６－ｎを出力する。

【0043】

具体的には、位相シフト器３３２－ｎは、周波数成分信号ｓ３５－ｎに対し、制御信号ｓ３４－ｎに従って位相をシフトさせ、位相をシフトさせた信号ｓ３７を位相シフト制御スイッチ３３１－ｎに出力する。位相シフト制御スイッチ３３１－ｎは、制御信号ｓ３４－ｎに合わせて、周波数成分信号ｓ３５－ｎとそこから位相をシフトさせた信号ｓ３７とのいずれかを選択し、位相変換出力信号ｓ３６－ｎとして出力する。

【0044】

次に、図７を参照しながら位相制御器３２の構成例について説明する。図７は、図２及び図５の電子透かし付加部１１における位相制御器３２の一構成例を示すブロック図である。

【0045】

図７に示すように、位相制御器３２は、複数の位相決定部３２０－０～３２０－ｎを備えることができる。位相制御器３２は、画像データである電子透かし信号ｓ３３を入力とする。この入力先は、位相決定部３２０－０～３２０－ｎとなる。位相決定部３２０－０～３２０－ｎは、それぞれ、画素に応じた周波数成分に対応する位相変換器３３－０～３３－ｎに対する位相制御信号を決定し、位相変換器３３－０～３３－ｎに決定した位相制御信号を出力する。

【0046】

次に、図８を参照しながら位相制御の例について説明する。図８は図６の位相変換器３３－ｎにおける位相制御の一例を示す図である。図８に例示するように、制御信号ｓ３４－０～３４－ｎはそれぞれ位相決定部３２０－０～３２０－ｎにおいて、例えば次のように決定することができる。無論、ここでの説明は一例に過ぎず、また他の位相変換器３３－０等についても同様である。

【0047】

この例では、電子透かしの画素としてもっとも白く表示したい点に対しては、制御信号ｓ３４－ｎを次のような制御を行う信号とする。即ち、この信号は、位相シフト制御スイッチ３３１－ｎをＯＮにし、位相シフト器３３２－ｎでの位相シフト量を０［ｒａｄ］とする。また逆に、最も黒く表示したい点に対しては、制御信号ｓ３４－ｎで、位相シフト制御スイッチ３３１－ｎをＯＮにし、位相シフト器３３２－ｎでの位相シフト量をπ［ｒａｄ］とする。なお、画素がない点に対しては、制御信号ｓ３４－ｎで、位相シフト制御スイッチ３３１－ｎをＯＦＦにし、位相シフト器３３２－ｎでの位相シフト量を０［ｒａｄ］とする。これは、画素がない点では、オリジナル信号のそのままを出力とするためのものである。

【0048】

このように、本実施形態に係る符号化装置１０は、周波数分析器３１で例示した分析部と、位相変換器３３－０～３３－ｎで例示した変換部と、周波数合成器３４及びオーディオ符号化部１２で例示した出力部と、を備えることができる。上記の分析部は、オーディオ信号を周波数分析し周波数成分毎に出力する。上記の変換部は、オーディオ信号の周波数分析による周波数軸と時間軸とで表される２次元領域に、特定情報である２次元画像の画素の位置を対応させ、画素の位置に対応するオーディオ信号の周波数成分信号を、画素の濃淡に応じて位相シフトさせる。上記の出力部は、全ての周波数成分信号をチャネル毎に合成させた電子透かし付加信号を、配信オーディオ信号として配信装置に出力する。

【0049】

（符号化装置１０での電子透かし付加処理の原理）
周波数分析器３１を代表的なＦＦＴ（Fast Fourier Transform）演算器とし、周波数合成器３４を逆ＦＦＴ演算器として例示し、付加処理の動作原理を説明する。

【0050】

ＦＦＴ演算器の出力である複素信号をＬ［ｎ］とし、式（１）で表す。ａ［ｎ］は実部成分、ｂ［ｎ］は虚数部成分である。
Ｌ［ｎ］＝ａ［ｎ］＋ｂ［ｎ］ｊ ・・・（１）

【0051】

ここで、ｎは周波数成分の番号であり、０，１，２，・・・，ｎの整数とする。
画像信号として付加する周波数成分信号に対しては、式（２）でシフトする位相角φ［ｎ］を求める。

【0052】

【数1】

【0053】

ここで、ｚ［ｎ］は表示させたい電子透かし画素の輝度（又は濃淡階調）を示す値であり、０≦ｚ［ｎ］≦２とする。例えば、ｚ［ｎ］が”０”の時は、最も黒く表示したい値であり、φ［ｎ］＝πとする。また、ｚ［ｎ］が”２”の時は、白く表示したい値であり、φ［ｎ］＝０とする。

【0054】

生成する信号Ｌ’［ｎ］は、信号Ｌ［ｎ］をφ［ｎ］位相シフトさせたものであり、式（３）で示す。

【0055】

Ｌ’［ｎ］＝（ａ［ｎ］＊ｃｏｓφ［ｎ］－ｂ［ｎ］＊ｓｉｎφ［ｎ］）＋（ａ［ｎ］＊ｓｉｎφ［ｎ］＋ｂ［ｎ］＊ｃｏｓφ［ｎ］）ｊ
・・・（３）

【0056】

これらの演算をＦＦＴポイント分で行い、逆ＦＦＴ演算で合成しオーディオ信号として出力する。また、単位時間経過毎に繰り返すことで、電子透かしデータの画像を付加していく。

【0057】

（復号装置２０の電子透かし表示部２３）
図９を参照しながら電子透かしを表示する電子透かし表示部２３の構成例について説明する。図９は図３の復号装置２０における電子透かし表示部２３の一構成例を示すブロック図である。

【0058】

図９に示すように、電子透かし表示部２３は、周波数分析器４４及び濃淡表示器４５を備えたスペクトログラム表示器４３で例示することができる。なお、図９において、減算器４２は減算部２２の一例である。

【0059】

減算器４２は、電子透かしの信号が付加されていないオリジナルオーディオ信号ｓ４１（ｓ２１）から、電子透かしの信号が付加されたオーディオ信号ｓ４２（ｓ２２）を、減算器４２で減算する。無論、減算は信号ｓ４２から信号ｓ４１でも同様である。減算器４２は、減算信号ｓ４３をスペクトログラム表示器４３の周波数分析器４４に出力する。周波数分析器４４は、減算信号ｓ４３を分析し、周波数成分信号（周波数分析出力信号）ｓ４４－０～ｓ４４－ｎを濃淡表示器（周波数成分表示器）４５に出力する。

【0060】

濃淡表示器４５は、周波数成分信号ｓ４４－０～ｓ４４－ｎを入力し、各周波数成分のパワーに応じた濃淡を表示する。スペクトログラム表示器４３は、減算器４２で減算された結果の信号を周波数分析し、周波数成分のパワーを周波数軸と時間軸とで表される２次元領域に諧調表示する表示部の例である。

【0061】

（復号装置２０での電子透かし表示処理の原理）
周波数分析器４４を代表的なＦＦＴ（Fast Fourier Transform）演算器とし、濃淡表示器４５に設けられる周波数合成器を逆ＦＦＴ演算器として例示し、表示処理の動作原理を説明する。

【0062】

電子透かしを表示する場合は、オリジナルオーディオ信号Ｌ［ｎ］から、電子透かし付加信号Ｌ’［ｎ］を減算する。

【0063】

先の例で、最も白く表示したいｚ［ｎ］＝２の時は、φ［ｎ］＝０であるため、式（４）により、０となり、スペクトル成分は消滅する。

【0064】

（Ｌ［ｎ］－Ｌ’［ｎ］）／２
＝｛ａ［ｎ］＋ｂ［ｎ］ｊ－（ａ［ｎ］＊ｃｏｓφ［ｎ］－ｂ［ｎ］＊ｓｉｎφ［ｎ］）－（ａ［ｎ］＊ｓｉｎφ［ｎ］＋ｂ［ｎ］＊ｃｏｓφ［ｎ］）ｊ｝／２
＝（ａ［ｎ］＋ｂ［ｎ］ｊ－ａ［ｎ］－ｂ［ｎ］ｊ）／２
＝０
・・・（４）

【0065】

また、最も黒く表示したいｚ［ｎ］＝０の時は、φ［ｎ］＝πであるため、式（５）より、オリジナル信号Ｌ［ｎ］のままとなる。

【0066】

（Ｌ［ｎ］－Ｌ’［ｎ］）／２
＝｛ａ［ｎ］＋ｂ［ｎ］ｊ－（ａ［ｎ］＊ｃｏｓφ［ｎ］－ｂ［ｎ］＊ｓｉｎφ［ｎ］）－（ａ［ｎ］＊ｓｉｎφ［ｎ］＋ｂ［ｎ］＊ｃｏｓφ［ｎ］）ｊ｝／２
＝（ａ［ｎ］＋ｂ［ｎ］ｊ＋ａ［ｎ］＋ｂ［ｎ］ｊ）／２
＝ａ［ｎ］＋ｂ［ｎ］ｊ＝Ｌ［ｎ］
・・・（５）

【0067】

以上のような動作原理により合成されたオーディオ信号を、ＦＦＴ演算によるパワースペクトログラムとして表示させ、電子透かしが画像情報として浮かびあがることを可能とする。

【0068】

（動作例）
次に、このようなオーディオ配信システムにおける動作例について簡単に説明する。
図５を参照して説明したように、電子透かし付加部１１は、オリジナルオーディオ信号ｓ３１を周波数分析器３１で周波数成分毎に分解し、分解した周波数成分信号ｓ３５－０～３５－ｎをそれぞれ周波数毎に設けられた位相変換器３３－０～３３－ｎに出力する。ここで、ｎは周波数成分番号の識別記号とする。出力される周波数成分信号ｓ３５－０～３５－ｎは、式（１）に相当する。

【0069】

図６に示すように、位相変換器３３－ｎは、周波数成分信号ｓ３５－ｎを入力し、周波数成分信号ｓ３５－ｎ側には、位相シフト制御スイッチ３３１－ｎを介して、位相シフト器３３２－ｎで位相シフトし、位相変換出力信号ｓ３６－ｎを得る。位相変換器３３－０等の他の位相変換器も同様である。位相変換出力信号ｓ３６－０～３６－ｎは、式（３）に相当する。

【0070】

ここでの位相シフトは、上述したように位相制御器３２からの値で制御される。図７で説明したように、位相制御器３２では、電子透かしとなる画像信号ｓ３３を入力する。そして、位相制御器３２では、画像信号ｓ３３における画素の点に対応する位置の周波数成分に対して、画素の濃淡値から、バイパス制御する位相シフト制御スイッチのＯＮ／ＯＦＦと、位相シフト量とを位相変換器３３－０～３３－ｎのそれぞれに与える。位相制御器３２における位相変換器３３－０～３３－ｎに対する位相制御の例については、図８を参照して説明した通りである。

【0071】

このようにして配信先に配信されたオーディオコンテンツは配信先の個人の違法行為により頒布される場合がある。流通しているオーディオコンテンツに対し、電子透かしを表示させる場合には、復号装置２０でそのオーディオコンテンツを取得してから実行されることになる。

【0072】

図９に示したように、減算器４２は、電子透かしの信号が付加されていないオリジナルオーディオ信号ｓ４１から、電子透かしの信号が付加されたオーディオ信号ｓ４２を減算する。減算信号ｓ４３は、スペクトログラム表示器４３において、周波数分析器４４により周波数成分毎の信号に分解され、濃淡表示器（周波数成分パワー表示器）４５で、パワーを算出し画像濃淡や輝度で表示される。この表示例は、式（４）、式（５）で例示した通りである。固定されたフレーム時間毎に、周波数分析と表示を繰り返し、縦軸に周波数、横軸に時刻とした２次元画像として、濃淡表示器４５の表示画面に表示される。

【0073】

具体的な表示例として、図１０～図１２を参照しながら電子透かし信号のスペクトログラムの表示例について説明する。図１０はオリジナルオーディオ信号ｓ４１のスペクトログラムの一例を示す図で、図１１は電子透かしを付加したオーディオ信号ｓ４２のスペクトログラムの一例を示す図である。また、図１２は、図１１におけるオーディオ信号ｓ４２に含まれる電子透かし信号ｓ４３の表示例を示す図である。

【0074】

図１０～図１２において、周波数成分の強い信号は黒く、弱い信号は白く表示されており、図１１で例示したように電子透かしを付加した信号を表示させた場合でも、電子透かしの画像データは認識できない。これは、オーディオ信号の劣化が少ないことを示している。さらに、オリジナルオーディオ信号ｓ４１から、電子透かしが付加されたオーディオ信号ｓ４２を減算した時の信号（つまり電子透かしの信号）ｓ４３は、図１２にそのスペクトログラムを示すように電子透かし画像が認識し易くなる。即ち、信号ｓ４３を表示させると、図１２に示すように、電子透かし画像（文字画像の例）が下方（低域周波数位置）において、黒く全体に浮かび上がっていることが認識できる。

【0075】

なお、図１０～図１２では、いずれもモノラル信号を前提として上述した構成ではなく、２ｃｈのオーディオ信号に適用した例を示しており、この場合、上述した各ブロック図においてＬｃｈとＲｃｈの双方の信号を対象とする処理が可能なように各装置を構成しておけばよい。無論、２ｃｈ以外のマルチチャンネルに対応した装置に構成することも可能であることは言及するまでもない。

【0076】

以上のように、本実施形態によれば、電子透かしを表示又は検出する装置（復号装置２０）において、電子透かしの表示方法が容易であり、且つ、電子透かしの判別（確認）も容易となる。また、符号化装置１０では、オーディオコンテンツ内に電子透かしとして特定情報を付加するが、そのオーディオコンテンツが複製された場合でも特定情報を欠落させず、且つ、特定情報を付加したオーディオ信号についてもオーディオ品質の劣化を少なくできる。さらには、符号化装置１０で符号化したオーディオ信号は、電子透かしを取り去ることがオーディオ品質の著しい劣化となり、電子透かしを取り去る意味合いをなくすことができる。

【0077】

以上のように、本実施形態によれば、オーディオの品質に劣化を生じさせないように電子透かしを付加したオーディオ信号を配信するに際し、電子透かしから違法行為を行った個人の情報を素早く且つ容易に認識可能な状態で読み出せるようになる。そして、本実施形態によれば、その結果として、配信元では違法行為の有無を確認する作業、つまり電子透かしの確認作業を素早く且つ容易にすることができる。よって、本実施形態では、オーディオコンテンツの配信において、違法複製、無断再配信などの違法行為を防止、抑制する効果があると言える。

【0078】

＜他の実施形態＞
実施形態１，２で説明した各装置は、いずれも次のようなハードウェア構成を有することができる。図１３は、装置に含まれるハードウェア構成の一例を示す図である。

【0079】

図１３に示す装置１００は、実施形態１，２に係る各装置であり、プロセッサ１０１、メモリ１０２、及び通信インターフェース１０３を有する。実施形態１，２で説明した各装置における各部位の機能は、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで通信インターフェース１０３と協働しながら実行することにより実現されることができる。

【0080】

復号装置、符号化装置に組み込まれるプログラムは、コンピュータに、それぞれ復号処理、符号化処理として説明した処理を実行させるためのプログラムであり、その他の例については各実施形態で説明した通りである。

【0081】

プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、又はその他の形式の伝搬信号を含む。

【0082】

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。

【符号の説明】

【0083】

１、２０ 復号装置
１ａ 第１入力部
１ｂ 第２入力部
１ｃ 復号部
１ｄ、２２ 減算部
１０ 符号化装置
１１ 電子透かし付加部
１２ オーディオ符号化部
２１ オーディオ復号部
２３ 電子透かし表示部
３１ 周波数分析器
３２ 位相制御器
３３－０、３３－１、３３－ｎ 位相変換器
３４ 周波数合成器
４２ 減算器
４３ スペクトログラム表示器
４４ 周波数分析器
４５ 濃淡表示器
９１ ローパスフィルタ
９２ 電子透かし付加器
１００ 装置
１０１ プロセッサ
１０２ メモリ
１０３ 通信インターフェース
３２０－０、３２０－１、３２０－ｎ 位相決定部
３３１－ｎ 位相シフト制御スイッチ
３３２－ｎ 位相シフト器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】