特許 6574551 音響を用いた任意信号の伝達方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6574551

(24)【登録日】2019年8月23日

(45)【発行日】2019年9月11日

(54)【発明の名称】音響を用いた任意信号の伝達方法

(51)【国際特許分類】

   G10L 19/018 20130101AFI20190902BHJP

【ＦＩ】

   G10L19/018

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2014-74180(P2014-74180)

(22)【出願日】2014年3月31日

(65)【公開番号】特開2015-197497(P2015-197497A)

(43)【公開日】2015年11月9日

【審査請求日】2017年2月23日

(73)【特許権者】

【識別番号】515053885

【氏名又は名称】唐沢 培雄

(74)【代理人】

【識別番号】100094226

【弁理士】

【氏名又は名称】高木 裕

(74)【代理人】

【識別番号】100087066

【弁理士】

【氏名又は名称】熊谷 隆

(72)【発明者】

【氏名】柏 浩太郎

(72)【発明者】

【氏名】唐沢 培雄

(72)【発明者】

【氏名】リン，タオ

【審査官】 山下 剛史

(56)【参考文献】

【文献】 特開平１１−２１９１７２（ＪＰ，Ａ）

【文献】 特開２００４−０６２０２４（ＪＰ，Ａ）

【文献】 特開２００１−２８２２３４（ＪＰ，Ａ）

【文献】 特開２００３−２３３３７２（ＪＰ，Ａ）

【文献】 国際公開第００／０５７３９９（ＷＯ，Ａ１）

【文献】 W.Li, X.Y.Xue and P.Z. Lu，Robust audio watermarking based on rhythm region detecion，ELECTRONICS LETTERS，２００５年 ２月１７日，Vol.41, No.4，pp.218-219

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００−１９／２６

(57)【特許請求の範囲】

【請求項1】

共振体から発せられる複数の音によって構成される音響中に、任意信号を挿入して伝達させる、音響を用いた任意信号伝達方法であって、
前記共振体に対して振動エネルギーを受け渡すときに発生し１つの音の認識に付随的に寄与する打音からなる付随部分と、前記付随部分で振動エネルギーを受け取った共振体が自身の共振モードとなって前記１つの音の認識に主体的に寄与する共振音からなる本質部分とを時間軸上又は周波数軸上で分離可能に有する分離可能音を、前記音響を構成する複数の音の中から見つけ出すか、或いは前記音響を構成する複数の音の中に挿入し、
前記見つけ出すか或いは挿入する分離可能音の付随部分を削除して、前記任意信号の信号パターンに置き換え、置き換えた音響によって前記任意信号を伝達することを特徴とする音響を用いた任意信号伝達方法。

【請求項2】

請求項１に記載の音響を用いた任意信号伝達方法であって、
前記任意信号の信号パターンは、前記付随部分の期間と同等の期間、又は前記付随部分の周波数成分と類似の周波数成分、又は前記付随部分の音圧レベルと類似の音圧レベル、であることを特徴とする音響を用いた任意信号伝達方法。

【請求項3】

請求項１に記載の音響を用いた任意信号伝達方法であって、
前記分離可能音は、ハンドクラップ音、ドラムスの音、パーカッションの音、シンバルの音、銅鑼の音、自動車のクラクションの音、電話の呼出音、ドアフォンの音、サイレンの音、または各種効果音の内の何れかであることを特徴とする音響を用いた任意信号伝達方法。

【請求項4】

複数の音によって構成される音響中に、任意信号を挿入して伝達させる、音響を用いた任意信号伝達方法であって、
１つの音の認識に主体的に寄与する本質部分と、前記１つの音の認識に付随的に寄与する付随部分とを時間軸上又は周波数軸上で分離可能に有する分離可能音を、前記音響を構成する複数の音の中から見つけ出すか、或いは前記音響を構成する複数の音の中に挿入し、
前記見つけ出すか或いは挿入する分離可能音の付随部分を、前記任意信号の信号パターンに変更し、変更した音響によって前記任意信号を伝達し、
前記付随部分が複数ある場合は、何れかの付随部分を前記任意信号の正信号の信号パターンに変更し、他の何れかの付随部分を前記任意信号の正信号とは補の関係にある信号パターンに変更し、
前記任意信号を受け取った側において、前記正と補の関係が合っていない場合は、正と補の信号パターンを比較してＳ／Ｎ比の高い方の信号パターンを採用することを特徴とする音響を用いた任意信号伝達方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽曲などの音響に、可聴周波数帯域の任意信号を加えても、元の音響の品質に影響を与え難い、音響を用いた任意信号の伝達方法に関するものである。

【背景技術】

【0002】

従来、楽曲等の音響の中に、人が識別できない又は人が識別し難い周波数領域の任意信号を埋め込み、音響と共に任意信号を伝達する、各種電子透かし技術が開発されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−５３０９３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来の音響を用いた任意信号の伝達方法の場合、以下のような問題があった。
（１）人が識別できない周波数帯域の任意信号を用いた場合、人はその音を全く聞くことができないので、音響の品質に影響を与えることなく、任意信号を伝達できる。しかしながらこの方法の場合、人の可聴周波数帯域（人が識別できる周波数帯域）の音響データ以外の周波数帯域のデータも必要になり、その分、データ量が増加してしまう。また、可聴周波数帯域を前提に設計されている、汎用の音響機器を使用しての発信、受信が制限されるため、専用の機器を改めて製作しなければならない場合がある。

【0005】

（２）人が識別し難い周波数帯域の任意信号を用いた場合、その任意信号の周波数は識別し難いとは言え人の可聴領域にあるため、元の音響の雰囲気に影響（ノイズ、音割れ、音階の違和感等）を与える恐れがあった。また、挿入する時間的、周波数的な位置が元の音響の音圧レベル、周波数成分によって制限される恐れもある。

【0006】

本発明は上述の点に鑑みてなされたものでありその目的は、楽曲などの音響に、可聴周波数帯域の任意信号を加えても、元の音響の雰囲気（品質）に影響を与え難い、音響を用いた任意信号の伝達方法を提供することにある。

【課題を解決するための手段】

【0007】

本発明は、共振体から発せられる複数の音によって構成される音響中に、任意信号を挿入して伝達させる、音響を用いた任意信号伝達方法であって、前記共振体に対して振動エネルギーを受け渡すときに発生し１つの音の認識に付随的に寄与する打音からなる付随部分と、前記付随部分で振動エネルギーを受け取った共振体が自身の共振モードとなって前記１つの音の認識に主体的に寄与する共振音からなる本質部分とを時間軸上又は周波数軸上で分離可能に有する分離可能音を、前記音響を構成する複数の音の中から見つけ出すか、或いは前記音響を構成する複数の音の中に挿入し、前記見つけ出すか或いは挿入する分離可能音の付随部分を削除して、前記任意信号の信号パターンに置き換え、置き換えた音響によって前記任意信号を伝達することを特徴としている。
ここで前記１つの音の認識に付随的に寄与する付随部分とは、共振体（共鳴体）に対して振動のエネルギーを受け渡すときに発生する音と言える。例えば、ギターで言うと、弦をピックではじく瞬間の音がそれにあたる。それ自体はギターの本質的な音では無い。ハンドクラップやドラムの場合は、掌やバチ等が相手の掌やドラムに衝突する瞬間の音がそれにあたる。これらの音を以下「打音」という。
一方、前記打音等で振動エネルギーを受け取った物体（共振体、即ち楽器、掌等）は、自身の共振（共鳴）モードに従って音を奏でる。その物体固有の音は、この共振（共鳴）モードによるものであり、これが音の認識に主体的に寄与する本質部分である。
本願発明者は、実験を行うことにより、前記分離可能音においては、本質部分がその音を特徴づける本質的な部分であり、付随部分は音の雰囲気を与える部分としてしか認識されないことを、発見した。そしてこの音の中から付随部分を削除すると、人は本質部分によってその音本来の特徴は認識できるが、音の雰囲気が変わることも発見した。そこで、前記付随部分に、任意信号の信号パターンを挿入することで、任意信号の伝達を可能にすると同時に、音の雰囲気も元の音の雰囲気と同様になるようにした。即ち、本発明によれば、楽曲等の音響中に可聴周波数帯域の任意信号を加えても、その雰囲気も含めて、元の音響とほとんど同一の音響として人に認識させることができる。

【0008】

また本発明は、上記音響を用いた任意信号伝達方法であって、前記任意信号の信号パターンが、前記付随部分の期間と同等の期間、又は前記付随部分の周波数成分と類似の周波数成分、又は前記付随部分の音圧レベルと類似の音圧レベル、であることを特徴としている。本発明によれば、任意信号の信号パターンと、本来の付随部分の信号パターンが略同じ信号パターンとなる。これにより、任意信号の信号パターンによって音に雰囲気を与える効果が、本来の付随部分によって音に雰囲気を与える効果と同等になり、元の音響とほとんど同一の音響として人に認識させることができる。

【0009】

また本発明は、上記音響を用いた任意信号伝達方法であって、前記分離可能音が、ハンドクラップ音、ドラムスの音、パーカッションの音、シンバルの音、銅鑼の音、自動車のクラクションの音、電話の呼出音、ドアフォンの音、サイレンの音、または各種効果音の内の何れかであることを特徴としている。これによって、これらの音を、元の音響とほとんど同一の音響として人に認識させることができる。

【0010】

また本発明は、複数の音によって構成される音響中に、任意信号を挿入して伝達させる、音響を用いた任意信号伝達方法であって、１つの音の認識に主体的に寄与する本質部分と、前記１つの音の認識に付随的に寄与する付随部分とを時間軸上又は周波数軸上で分離可能に有する分離可能音を、前記音響を構成する複数の音の中から見つけ出すか、或いは前記音響を構成する複数の音の中に挿入し、前記見つけ出すか或いは挿入する分離可能音の付随部分を、前記任意信号の信号パターンに変更し、変更した音響によって前記任意信号を伝達し、前記付随部分が複数ある場合は、何れかの付随部分を前記任意信号の正信号の信号パターンに変更し、他の何れかの付随部分を前記任意信号の正信号とは補の関係にある信号パターンに変更し、前記任意信号を受け取った側において、前記正と補の関係が合っていない場合は、正と補の信号パターンを比較してＳ／Ｎ比の高い方の信号パターンを採用することを特徴としている。これによって、複数の付随部分を何れも有効に利用でき、より高精度の任意信号の伝達を行うことが可能になる。

【発明の効果】

【0012】

本発明によれば、楽曲などの音響中に可聴周波数帯域の任意信号を加えても、その雰囲気（品質）も含めて、元の音響とほとんど同一の音響として人に認識させることができる。

【図面の簡単な説明】

【0013】

【図1】連続時間の異なる４ｋＨｚと８ｋＨｚの単音を聴き比べ、音程として感じるか否かを実験した結果を示す図である。

【図2】ハンドクラップ音の例を示す波形図である。

【図3】ハンドクラップ音を周波数帯に応じて分解した周波数分析図である。

【図4】図４（ａ）は、オリジナルのハンドクラップ音中の１つの打音の近似波形図、図４（ｂ）は前記打音に変えて挿入する任意信号の近似波形を示す図である。

【図5】任意信号を挿入したハンドクラップ音の一例を示す波形図である。

【図6】任意信号の信号パターンｂ１−１を拡大して示す波形図である。

【図7】図５に示す任意信号ｂ１を模式的に示した図である。

【図8】データ系列部ｃ３のデータ内容の一例を模式的に示す図である。

【図9】他のデータ系列ｃ３−２を示す図である。

【図10】他のデータ系列ｃ３−３を示す図である。

【図11】ある楽曲の一部分の波形図と、その波形図中に挿入されたハンドクラップ音の波形図とを示す図である。

【図12】任意信号を挿入した音響から、任意信号を取り出す検出装置１０のシステム構成を示すブロック図である。

【図13】検出部１７のブロック図である。

【図14】１回目の信号系列を正データ値とし、２回目の信号系列をその補間値とした場合の１例を示す図である。

【図15】正データ値と補間データ値の正補関係が一致しない場合の判断方法を示す図である。

【図16】リズム同期システムの一例を示す概略ブロック図である。

【発明を実施するための形態】

【0014】

本発明は、楽曲等の音響に対して違和感なく任意信号を挿入することができる方法を提供するものである。ここで、「違和感なく任意信号を挿入する」とは、任意信号を挿入した際に、元の音の特徴が変化しないばかりか、元の音の雰囲気と同等の音の雰囲気を得ることができることを言う。

【0015】

まず上記方法を実現するためのマスキング効果について説明する。マスキング効果とは、複数の単音があり、ある条件が成り立つと片方が聞こえにくいという人間の脳処理による特性である。マスキング効果には、２種類あり、一方は同時マスキング、他方は経時マスキングである。

【0016】

同時マスキングとは、２つの同時に鳴っている音の間でのマスキングであり、周波数マスキングとも言う。例えば、４４０Ｈｚと４５０Ｈｚの正弦波の音は、別々に聞けば区別できるが、ほぼ同じ周波数帯であるため、同時に鳴っていると、明確に区別できない。但し、２音の周波数差が数Ｈｚ以下になるとその周波数差のうなりが発生するためマスキングとは分けて考慮する必要がある。

【0017】

経時マスキングとは、突然大きな音がしたときに、その前後の音が聞こえなくなるような現象をいう。先行する音がマスクされる場合を逆行マスキング、後続の音がマスクされる場合を順行マスキングと呼ぶ。マスクする音（マスカ）とマスクされる音（マスキ）の時間間隔が大きくなると、その効果は指数関数的に弱まる。逆行マスキングの場合は約２０ミリ秒まで、順行マスキングの場合は約１００ミリ秒までが限度である。

【0018】

次に、音程の認識について説明する。人間の音程に関する感度は敏感であるが、高音域においては音程の鮮明さが減少する。例えば、リズム楽器（ドラムスやパーカッション等）は、明らかに周波数（音程）を持った音であるが、高音域のため、音楽理論による和音などの音程要素が少なくなる。即ち、人間の耳は、約２０Ｈｚ〜約２０ｋＨｚ程度の音を聴き取ることができるが、音程として聞き分けることができる上限はせいぜい４ｋＨｚ位までである。４ｋＨｚ位以上になると、音程感のない音となって聞こえる。但し、４ｋＨz以上の高音域であっても、長時間の連続演奏がなされた場合は、当然、不鮮明ながらも音程として聴こえ、即ち音程として感じなくなる演奏時間には限界がある。

【0019】

図１は、連続時間（５０ｍｓ、２５ｍｓ、１２ｍｓ、６ｍｓ、３ｍｓ、２ｍｓ、１ｍｓ）の異なる４ｋＨｚと８ｋＨｚの単音（正弦波）を聴き比べ、音程として感じるか否かの限界長を実験した結果を示す図である。同図に示すように、４ｋＨzは２ｍｓあたりから、８ｋＨｚは３ｍｓあたりから音程感が無くなり、サイドバンドの“フッ”というような音に変化した。即ちこの実験から、高音域においては、数ｍｓ以下の連続音は音程が認識し難いという結論を得た。

【0020】

次に、打楽器として人体を用いたハンドクラップ音（疑似拍手音）を一例として説明する。ハンドクラップ音は、本来、人間の両掌を素早く打ち合わせたときの音である。しかし現代音楽においては電子的に波形合成を行い、楽器として使用し易いチューンを行っている。図２（ａ）、（ｂ）はハンドクラップ音の例を示す波形図である。同図に示すように、ハンドクラップ音には、１１ｍｓ周期程度のインパルス応答のような波形が２，３個続いた後に、長い波形が現れる。そして図２（ａ），（ｂ）に示す波形のハンドクラップ音を分解し、前半の波形ａ１のみの部分を実際に聴くと、高音域の“カッ”とか“プッ”という音に聴こえた。これは打楽器（ハンドクラップも人体を用いた打楽器による音である）特有の音である。また、特徴的な１１ｍｓや１２ｍｓの周期は人間の手の物理的な形状、大きさ、皮膚の粘度等に起因するものである。連続時間は数ｍｓ程度であり、上述のように、音程として聴き取り難い音であった。以下この明細書では、波形ａ１の部分を「打音」と呼ぶことにする。

【0021】

一方、図２（ａ），（ｂ）に示す波形の後半の波形ａ２のみの部分を聴くと、ハンドクラップ音の音程を構成する主音であることが分かった。即ち、後半部分は、掌という物質の固有振動数が掌周辺の共鳴条件下で減衰していくハンドクラップ音を特徴づける支配的な音と言えることが分かった。以下この明細書では、波形ａ２の部分を「本質音」と呼ぶことにする。

【0022】

さらに、図２（ａ）に示す波形ａ１中に３つある打音を、時間的に早いものから順に１つずつ消去した場合の音を聴き比べた。この実験によれば、打音の数が多いほどハンドクラップ音に厚みが出てくる（即ち、これら打音によってハンドクラップ音の雰囲気（品質）が向上する）が、基本的には打音の数が１個でも２個でも３個でも、ハンドクラップ音としての音程には大きな変化がなかった。これは前記した経時マスキング（特に逆向マスキング）の効果によるものと考えられ、特に本質音から約２０ｍｓにある二つの打音はマスキング対象であるから、完全な被支配的な目立たない音になっている（但し、前述のように、これら打音の雰囲気への寄与は大きい）。また、前記図２（ａ）のハンドクラップ音の本質音の部分のみを半分のレベル（つまり図２（ａ）の波形ａ２の部分の振幅のみを半分の振幅（−６ｄＢ））に減衰して、減衰しないハンドクラップ音と聴き比べた場合、ハンドクラップ音の雰囲気は変わらず、全体の音の大きさが下がっていることを確認した。

【0023】

以上のことから、ハンドクラップ音は、後半部の本質音が連続音的にもマスキング的にも支配的であり、前半部の打音の部分は雰囲気のみを向上する音（以下「雰囲気音」という）としか認識されない、ことが分かった。

【0024】

そこで本願発明者は、ハンドクラップ音の後半部分（本質音部分）を既存のハンドクラップ音として使用し、前半部分（打音部分）を任意信号の信号パターンに変更することとした。このとき挿入する信号パターンとしては、元々の打音の期間と同等の期間、元々の打音の周波数成分と類似の周波数成分、元々の打音の音圧レベルと類似の音圧レベルを用いるのが好ましい。これによって元々の打音の雰囲気音と同様の雰囲気音の効果を任意信号が有することになる。従って、元々のハンドクラップ音とほとんど同じ音響にすることができる。

【0025】

次にハンドクラップ音の分析結果を説明する。図３は、前記図２（ｂ）に示すハンドクラップ音を周波数帯に応じて分解した周波数分析図である。各抽出周波数帯は、音程周波数帯（Ｏｃｔａｖｅ Ｎｕｍｂｅｒ）を切りの良い整数値で近似している。ちなみにＯｃｔａｖｅ＃３が、主旋律帯域（ピアノ８８鍵盤の中心あたり）である。同図に示すようにハンドクラップ音の場合、中高域の全周波数帯に渡って成分が分散しているが、打音のインパルス応答的な形状に注目して分析すると、点線で囲った箇所（３箇所）の成分が特に寄与していることが分かった。即ち、ハンドクラップ音の中心は、４〜８ｋＨｚ辺りにある。

【0026】

このようにハンドクラップ音の中心が４〜８ｋＨｚ辺りにあることと、上述のように４ｋＨｚ以上の周波数帯で、数ｍｓ程度の連続音は音程が認識し難いという結論から、ハンドクラップ音の代用（単純化）として挿入する任意信号の周波数としては、Ｏｃｔａｖｅ＃７（４〜８ｋＨｚ）の単音（正弦波）が好適であると考えられる。

【0027】

そこで、本実施形態に用いる任意信号の周波数としては、Ｏｃｔａｖｅ＃７の代表として４ｋＨｚと８ｋＨｚを選択し、さらに１６ｋＨｚを選択した。４ｋＨｚと８ｋＨｚを選択した理由は、周波数抽出の際のバンドパスフィルタの性能を考慮したからである。即ち、一般的にバンドパスフィルタは、次数が上がると複雑、高価になる。そこで目安としてアナログ受動回路にて実現が容易な２次フィルタを想定して検出回路を考えると、その減衰率が−１２ｄＢ／Ｏｃｔであるから、素子のバラつきを考慮しても隣接単音の影響が１／４〜１／２程度（透過帯域が単音からオクターブ）になり、波形歪が比較的小さいからである。また、倍音であるため、位相管理を行えば、波形歪も単純化できる（分かりやすい）ため、実設計を容易にすることができるからである。さらに１６ｋＨｚを選んだのは、非可聴域に近くなるが、８ｋＨｚの倍音であり、またＳ／Ｎ比（Signal to Noise ratio）向上や楽曲にほとんど影響を与えない信号であること等からである。

【0028】

図４（ａ）は、オリジナルのハンドクラップ音の１つの打音（図２（ａ）又は（ｂ）の１つの波形ａ１中の１つの打音）の近似波形（包絡線）、図４（ｂ）は前記打音に変えて挿入する任意信号の近似波形（包絡線）を示している。ただし、何れの波形もプラス側部分のみ（即ち半波として）を示している。図４（ａ）に示す打音の近似波形は、打音の周期（十数ｍｓ）の約半分の時間で減衰する。一方、任意信号の波形としては、図４（ｂ）に示すように、同一振幅、同一波形の断続的な波形を用いている。そして、図４（ａ）に示す打音の波形と図４（ｂ）に示す任意信号の波形のエネルギー積算が略同一になるようにした（即ち面積が略同一になるようにした）。任意信号の波形をこのような波形にしたのは、元々の打音と同様の減衰波形を用いての信号伝達は、これを受信した側の信号検出に困難が予想されるからである。このため、任意信号の波形を、同一の振幅の単純な波形を複数回に分けた波形とすることで、これを受信する側の信号検出が容易になるようにした。打音は、上述のように、音程として認識されないので、このように変更しても、ハンドクラップ音の音程にはほとんど影響を与えない。一方、上述のように、元々の打音の波形と任意信号の波形のエネルギー積算を略同一になるように構成したので、雰囲気音としては同等の影響が得られる。従って上記任意信号は疑似打音ということもできる。

【0029】

図５は元々の打音（前半の２箇所）に代えて、それぞれ任意信号（疑似打音）を挿入したハンドクラップ音の一例を示す波形図である。同図に示すようにこの波形の前半の２箇所には、それぞれ任意信号の信号パターンｂ１−１，ｂ１−２が挿入されている。後半の本質音ｂ２については、ハンドクラップ音の元々の本質音と同じものを用いている。また図６は、１つの任意信号の信号パターンｂ１−１（又はｂ１−２）を拡大して示す波形図である。同図に示すように、信号パターンｂ１−１（ｂ１−２）は、前後に設けた検出マーカ（プリアンブル部とポストアンブル部）ｃ１，ｃ２の間に、データ系列部（信号系列）ｃ３を配置する構成となっている。この任意信号ｂ１−１（ｂ１−２）の波形は、４ｋＨｚ，８ｋＨｚ，１６ｋＨｚの同一振幅の正弦波を全て加算した波形によって形成されている。基本的には、１段目の信号パターンｂ１−１でデータ伝送は完結するので、２段目の信号パターンｂ１−２は、１段目の信号パターンｂ１−１のフォロー（ユニーク性の補間や誤り補正など）に使用することが得策である。フォローには様々な方法が考えられるが、この例では同じデータ系列ｃ３を繰り返している。下記するが、検出精度を補うために、２段目の信号パターンｂ１−２に補データ（４に対して０、３に対して１など）を入れた場合、Ｓ／Ｎ比には有利に働く。

【0030】

図７は、前記図５に示す１つの任意信号（疑似打音）ｂ１−１（ｂ１−２）を模式的に示した図である。同図に示すように、任意信号ｂ１−１（ｂ１−２）のデータの始まりを表すプリアンブル部ｃ１は２ｍｓ以上のネゲート区間の後に、それぞれ１．５ｍｓのアサート、ネゲートで構成されている。またデータの終わりを表すポストアンブル部ｃ２は、１．５ｍｓのネゲート、アサートで構成されている。この任意信号ｂ１−１（ｂ１−２）は、受信側に受信された後、各周波数帯（４ｋＨｚ，８ｋＨｚ，１６ｋＨｚ）のバンドパスフィルタを通した後に、エンベロープ検波（全波整流）を行い、さらに２ｋＨｚ（−１２ｄＢ／Ｏｃｔ）程度のローパスフィルタを通す。

【0031】

図８は、前記図５，図７に示すデータ系列部ｃ３のデータ内容の一例を模式的に示す図である。このデータ系列部ｃ３は、データカウント方式のデータ系列であり、そのデータ内容は系列内でのアサートカウント数による。この方式は、図８に示すように、５通りの内容伝達に限定されるが、ビット位置の検出が無く、Ｓ／Ｎ比的に非常に有効である。なお、図５に示す２つの任意信号ｂ１−１，ｂ１−２は、何れも図８のＤａｔａ４となっている。

【0032】

図９，図１０は、他のデータ系列部ｃ３−２，ｃ３−３を示している。図９に示すデータ系列は、通常のデジタルビット（４ｂｉｔ）方式である。この方式は１６通りの内容伝達が可能であるが、ビット位置の検出が必要である。図１０に示すデータ系列は、ビット間にネゲートを挟まないデジタルビット（７ｂｉｔ）方式である。この方式は１２８通りの内容伝達が可能であるが、十分な精度のビット位置検出が必要である。

【0033】

図１１の上段に表示してある波形図は、ある楽曲の一部分の波形図であり、本発明に係るハンドクラップ音を複数挿入している。即ち、図１１の中段に示す波形であるダブルのハンドクラップ音（チャッチャッ）と、図１１の下段に示す波形である４回のシングルのハンドクラップ音（チャッ）を入れている。元の楽曲にハンドクラップ音が入っていなかった場合は、ハンドクラップ音が新たに挿入されることになる。また元の楽曲にハンドクラップ音が入っていた場合は、それに代えて上記図５に示すようなハンドクラップ音を入れ替えることで、元通りの楽曲が維持される。そして、各ハンドクラップ音の打音の部分は任意信号になっているので、これを受信側で取り出すことで、その任意信号を利用することができる。例えば、前記楽曲を受信していた携帯端末のＬＥＤを、ハンドクラップ音に合わせて光らせること等ができる。

【0034】

ところで、１つの音の認識に主体的に寄与する本質音（本質部分）と、前記１つの音の認識に付随的に寄与する打音（付随部分）とを分離可能に有する分離可能音は、上記ハンドクラップ音だけでなく、その他の各種リズム楽器の音もこれに該当する。即ち各種リズム楽器音は、１つの音の中に本質音と打音を有する。さらにこれらリズム楽器音の中には、上記ハンドクラップ音と同様に、打音と本質音が時間軸上で分離可能なものがある他、周波数軸上で分離可能なものもある。時間軸上で分離可能な音とは、上記ハンドクラップ音のように、本質音と打音が異なる時間に存在する音をいう。周波数軸上で分離可能な音とは、本質音と打音の周波数が異なるため、周波数によって分離できる音をいう。特に、打音と本質音とが時間的に重複している場合は周波数によって分離することが有効になるが、必ずしも両音が重複していなくても利用できる。このような周波数によって分離する分離可能音の場合は、本質音とは異なる周波数にある打音を任意信号に代えれば良い。

【0035】

さらに本発明は、本質部分と付随部分とを時間軸上又は周波数軸上で分離可能に有する分離可能音であれば、各種リズム楽器音のみでなく、その他の各種音響にも適用できる。

【0036】

また上記ハンドクラップ音を用いた実施形態では、任意信号の信号パターンとして、付随部分の期間と同等の期間、及び付随部分の周波数成分と類似の周波数成分、及び付随部分の音圧レベルと類似の音圧レベル、の信号パターンを用いた。即ち上記３つの条件を全て満たす信号パターンとした。これによって任意信号挿入後の音響を、音程ばかりでなく雰囲気音も含めて、元の音響と略同じにすることができた。但し、任意信号の信号パターンとしては、上記３つの条件の内の１つの条件を満足するだけでも、元の音響の雰囲気に近づける効果を生じる。

【0037】

〔挿入音の検出〕
図１２は任意信号を挿入した音響から、任意信号を取り出す検出装置１０のシステム構成を示すブロック図である。同図に示すようにこの検出装置１０は、マイク１１と、ＡＤＣ／ＡＧＣ１３と、入力段エンベロープ検波部１５と、検出部１７と、制御部１９とを具備して構成されている。

【0038】

ＡＤＣはAnalogue/Digital Converter、ＡＧＣはAutomatic Gain Controllerのことである。スピーカ２１からマイク１１に入力されたアナログ音響信号は、ＡＤＣにてサンプリングされてデジタルデータに変換される。一方、ＡＧＣは、入力段エンベロープ検波部１５から入力される時間積分された直流信号と基準電圧が等しくなるようにゲインを調節する。

【0039】

図１３は検出部１７のブロック図である。同図に示すように、ＡＤＣ／ＡＧＣ１３から入力されたデジタル音響信号は、３つのバンドパスフィルタ１７１，１７３，１７５によって、それぞれ４ｋＨｚ抽出信号，８ｋＨｚ抽出信号，１６ｋＨｚ抽出信号が抽出される。次に各抽出信号は、それぞれ絶対値回路１７７，１７９，１８１とローパスフィルタ１８３，１８５，１８７からなるエンベロープ検波部１８９，１９１，１９３によって、それぞれ各抽出信号の振幅の包絡線からなる４ｋＨｚ振幅信号，８ｋＨｚ振幅信号，１６ｋＨｚ振幅信号とされる。そしてこれら各振幅信号を合算し、合算振幅信号を２値化し、２値化信号を判別回路１９５に入力する。そして判別回路１９５では、２値化されたデータから検出マーカやデータ系列の確かさが確認され、最終的な検出データが出力される。

【0040】

上記図５に示す１回目と２回目の疑似打音の信号パターンｂ１−１，ｂ１−２では、これらを同じ信号パターンとしている。即ち、図６に示すように、１回目と２回目のデータ系列ｃ３は、何れもこのデータ系列ｃ３をデータカウント方式とした場合、「４」となっている。一方、図５のように同じ内容を連続して入れるよりも、補完的な内容を入れた方がＳ／Ｎ的に有利になる。図１４は、１回目の疑似打音のデータ系列を正データ値とし、２回目の疑似打音のデータ系列をその補間値（両者を足して４になる値）とした場合の１例を示している。なぜＳ／Ｎ的に有利になるかというと、データ系列の数の少ない数字の時のネゲート区間を広げて配置すれば、それだけ検出位置が明確になり、確度が上がるためである。従って、図１５に示すように、正データ値と補間データ値の正補関係が一致しない場合は、数の少ない方のデータを優先すればデータの精度をより高めることができる。

【0041】

図１２に戻って、検出部１７から出力された検出データは制御部１９に入力され、各種制御指示が行われる。制御部１９はアプリケーション層であって、各種の制御が考えられるが、ここではリズム同期制御について説明する。

【0042】

受信側が楽曲から任意信号を受け取り、楽曲に関連する事柄を受信側が行うとするならば、楽曲のリズム抽出が不可欠になる。例えば、楽曲のリズムに応じて、受信側の例えば携帯端末のＬＥＤを点滅させようとしても、もしそれが楽曲のリズムから離れていたら興ざめだからである。

【0043】

図１６はリズム同期システムの一例を示す概略ブロック図である。同図に示すように、この例では、楽曲中から検出した任意信号の内、ある値のデータを受信したら、リズム同期を行うこととする。リズムカウンタはフルカウントでリミットがかかるカウンタであり、ある値のデータをリズム同期指示信号（リセット信号）としてリズムカウンタ５０が受信すると、カウンタをリセットする。そして、リズムカウンタがフルカウント以外の時にリズム同期指示信号が来たらその値をプリセット値として保持することによりフライホイールが機能する。従ってリズム同期に必要なタイミングで２回連続して信号を送る必要がある。さらに、伝送データの個数に余裕がある場合は、シンコペーション等のような複雑な動作が可能になる。つまり、８分音符のシンコペーションであるならば、シンコペーションのタイミングでリズム同期指示が来ても、カウンタの値を８分音符分過去に戻して小節の先頭位置を確定できる。

【0044】

以上本発明の実施形態を説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲、及び明細書と図面に記載された技術的思想の範囲内において種々の変形が可能である。なお直接明細書及び図面に記載がない何れの構成であっても、本願発明の作用・効果を奏する以上、本願発明の技術的思想の範囲内である。例えば、上記実施形態では、任意信号を挿入する音響として楽曲を示したが、本発明は楽曲のみでなく、その他の各種音響（例えば自動車のクラクション、電話の呼出音、ドアフォン、サイレン、各種効果音等）にも同様に挿入することができる。

【符号の説明】

【0045】

ａ１ 波形（打音）
ａ２ 波形（本質音）
ｂ１−１ 信号パターン
ｂ１−２ 信号パターン
ｂ２ 本質音（本質部分）
ｃ１ プリアンブル（検出マーカ）
ｃ２ ポストアンブル（検出マーカ）
ｃ３ データ系列部（信号系列）
ｃ３−２，ｃ３−３ データ系列
１０ 検出装置
１１ マイク
１３ ＡＤＣ／ＡＧＣ
１５ 入力段エンベロープ検波部
１７ 検出部
１７１，１７３，１７５ バンドパスフィルタ
１７７，１７９，１８１ 絶対値回路
１８３，１８５，１８７ ローパスフィルタ
１８９，１９１，１９３ エンベロープ検波部
１９５ 判別回路
１９ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】