特開 2023-54890 音信号処理方法および音信号処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023054890

(43)【公開日】2023-04-17

(54)【発明の名称】音信号処理方法および音信号処理装置

(51)【国際特許分類】

   H04R 3/00 20060101AFI20230410BHJP

【ＦＩ】

H04R3/00 310

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

(21)【出願番号】P 2021163852

(22)【出願日】2021-10-05

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】須山 明彦

【テーマコード（参考）】

5D220

【Ｆターム（参考）】

5D220AA50

(57)【要約】

【課題】伝達経路の各種の影響を受けずに、音信号に情報を重畳することができる音信号処理方法を提供する。
【解決手段】音信号処理方法は、所定の基準入力値を定めて、入力対象データから、前記基準入力値に対する相対入力値を算出し、音信号を受け付けて、前記音信号の第１周波数領域に前記基準入力値を重畳し、第２周波数領域に前記相対入力値を重畳し、重畳後の音信号を出力する。
【選択図】図４

【特許請求の範囲】

【請求項1】

音信号を受け付けて、
所定の基準入力値を定めて、
入力対象データから、前記基準入力値に対する相対入力値を算出し、
前記音信号の第１周波数領域に前記基準入力値を重畳し、第２周波数領域に前記相対入力値を重畳し、
重畳後の音信号を出力する、
音信号処理方法。

【請求項2】

音信号を受け付けて、
前記音信号の第１周波数領域に含まれる成分を基準入力値として取り出し、
前記音信号の第２周波数領域に含まれる成分を前記基準入力値に対する相対入力値として取り出し、
前記相対入力値に基づいて、前記音信号に重畳された入力対象データを復号し、
復号した前記入力対象データを出力する、
音信号処理方法。

【請求項3】

前記基準入力値のレベルは、最大値と最小値の間を周期的に変動する
請求項１または請求項２に記載の音信号処理方法。

【請求項4】

前記基準入力値のレベルは、所定時間をかけて前記最大値および前記最小値の間を変化する、
請求項３に記載の音信号処理方法。

【請求項5】

前記基準入力値のサンプル数は、該基準入力値を周波数成分に変更する場合に必要なサンプル数の倍以上である、
請求項３または請求項４に記載の音信号処理方法。

【請求項6】

前記入力対象データは、前記基準入力値が最小値から最大値に変化するタイミングで変化し、
前記基準入力値が最大値から最小値に変化するタイミングで前記相対入力値を取り出す、
請求項３乃至請求項５のいずれか１項に記載の音信号処理方法。

【請求項7】

前記入力対象データは、色情報を含む、
請求項１乃至請求項６のいずれか１項に記載の音信号処理方法。

【請求項8】

前記入力対象データは、照明信号を含む、
請求項７に記載の音信号処理方法。

【請求項9】

前記第１周波数領域および前記第２周波数領域は、非可聴域である、
請求項１乃至請求項８のいずれか１項に記載の音信号処理方法。

【請求項10】

前記第１周波数領域および前記第２周波数領域の中心周波数は、それぞれ前記音信号の周波数分解能に一致する、
請求項１乃至請求項９のいずれか１項に記載の音信号処理方法。

【請求項11】

前記音信号を受け付けて、
前記第１周波数領域および前記第２周波数領域の成分を分離して、分離した後の音信号を再生する、
請求項１乃至請求項１０のいずれか１項に記載の音信号処理方法。

【請求項12】

所定の基準入力値を定めて、
入力対象データから、前記基準入力値に対する相対入力値を算出し、
音信号を受け付けて、
前記音信号の第１周波数領域に前記基準入力値を重畳し、第２周波数領域に前記相対入力値を重畳し、
重畳後の音信号を出力する、
音信号処理部を備えた音信号処理装置。

【請求項13】

音信号を受け付けて、
前記音信号の第１周波数領域に含まれる成分を基準入力値として取り出し、
前記音信号の第２周波数領域に含まれる成分を前記基準入力値に対する相対入力値として取り出し、
前記相対入力値に基づいて、前記音信号に重畳された入力対象データを復号する、
音信号処理部を備えた音信号処理装置。

【請求項14】

前記基準入力値のレベルは、最大値と最小値の間を周期的に変動する
請求項１２または請求項１３に記載の音信号処理装置。

【請求項15】

前記基準入力値のレベルは、所定時間をかけて前記最大値および前記最小値の間を変化する、
請求項１４に記載の音信号処理装置。

【請求項16】

前記基準入力値のサンプル数は、該基準入力値を周波数成分に変更する場合に必要なサンプル数の倍以上である、
請求項１４または請求項１５に記載の音信号処理装置。

【請求項17】

前記入力対象データは、前記基準入力値が最小値から最大値に変化するタイミングで変化し、
前記音信号処理部は、前記基準入力値が最大値から最小値に変化するタイミングで前記相対入力値を取り出す、
請求項１４乃至請求項１６のいずれか１項に記載の音信号処理装置。

【請求項18】

前記入力対象データは、色情報を含む、
請求項１２乃至請求項１７のいずれか１項に記載の音信号処理装置。

【請求項19】

前記入力対象データは、照明信号を含む、
請求項１８に記載の音信号処理装置。

【請求項20】

前記第１周波数領域および前記第２周波数領域は、非可聴域である、
請求項１２乃至請求項１９のいずれか１項に記載の音信号処理装置。

【請求項21】

前記第１周波数領域および前記第２周波数領域の中心周波数は、それぞれ前記音信号の周波数分解能に一致する、
請求項１２乃至請求項２０のいずれか１項に記載の音信号処理装置。

【請求項22】

前記音信号処理部は、
前記音信号を受け付けて、
前記第１周波数領域および前記第２周波数領域の成分を分離して、分離した後の音信号を再生する、
請求項１２乃至請求項２１のいずれか１項に記載の音信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、音信号にデータを重畳する音信号処理方法に関する。

【背景技術】

【0002】

特許文献１には、入力音声信号の周波数分布状態に基づいて、照明色の変更および照明パターンを変更する構成が記載されている。特許文献２には、音信号をアップサンプリングして情報を埋め込むこと、１８ｋＨｚの非可聴域にＡＭ変調で情報を埋め込むこと、等が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－９５４７２号公報

【特許文献2】国際公開第２０１７／１６４１５６号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の構成は、周波数分布で情報を取り出す。そのため、特許文献１の構成では、音量調整またはスピーカ等の伝達経路の様々な要素により信号レベルが変化して周波数特性が崩れた場合に情報が崩れる。

【0005】

特許文献２の構成もＡＭ変調を行うと信号レベルが変化した場合に情報が崩れる場合がある。また、音信号をアップサンプリングすると、そのままでは再生できない場合がある。

【0006】

また、いずれの文献でも音信号をデジタル圧縮すること（例えばＭＰ３等への変換）は想定されていない。先行技術文献に開示されたいずれの構成においても、デジタル圧縮を行うと情報が崩れる。

【0007】

そこで、本発明の一実施形態は、伝達経路の各種の影響を受けずに、音信号に情報を重畳することができる音信号処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一実施形態に係る音信号処理方法は、所定の基準入力値を定めて、入力対象データから、前記基準入力値に対する相対入力値を算出し、音信号を受け付けて、前記音信号の第１周波数領域に前記基準入力値を重畳し、第２周波数領域に前記相対入力値を重畳し、重畳後の音信号を出力する。

【発明の効果】

【0009】

本発明の一実施形態によれば、伝達経路の各種の影響を受けずに、音信号に情報を重畳することができる。

【図面の簡単な説明】

【0010】

【図1】音信号処理システム１の構成を示すブロック図である。

【図2】音信号処理装置１１の主要構成を示すブロック図である。

【図3】本発明の最小構成を示す機能的ブロック図である。

【図4】音信号処理部１５４における照明信号の重畳動作を示すフローチャートである。

【図5】基準入力値の時間軸成分の包絡線、および基準入力値の周波数軸成分を示す概念図である。

【図6】所定時間をかけて滑らかに最大値および最小値の間を変化する場合と、ステップ状に最大値および最小値の間を変化する場合の比較図である。

【図7】基準入力値と、ＲＧＢの相対入力値と、を重畳した音信号の周波数軸成分を示す概念図である。

【図8】基準入力値と、ＲＧＢの相対入力値と、を重畳した音信号の周波数軸成分を示す概念図である。

【図9】基準入力値と、ＲＧＢの相対入力値と、を重畳した音信号の周波数軸成分を示す概念図である。

【図10】再生時における音信号処理装置１１の動作を示すフローチャートである。

【図11】ＲＧＢの相対入力値の変化タイミングと、相対入力値の読取タイミングを示す図である。

【図12】サンプル数を示す図である。

【発明を実施するための形態】

【0011】

図１は、音信号処理システム１の構成を示すブロック図である。音信号処理システム１は、音信号処理装置１１、照明コントローラ１２、およびミキサ１３を備えている。

【0012】

音信号処理装置１１は、例えばパーソナルコンピュータ等の情報処理装置である。音信号処理装置１１、照明コントローラ１２、およびミキサ１３は、例えば、ＵＳＢケーブル、ＨＤＭＩ（登録商標）、イーサネット（登録商標）、またはＭＩＤＩ等の通信規格で接続されている。照明コントローラ１２およびミキサ１３は、例えばライブ演奏等のイベントを行う会場に設置される。

【0013】

ミキサ１３は、マイク、楽器、またはアンプ等の複数の音響機器を接続する。ミキサ１３は、複数の音響機器からデジタルまたはアナログの音信号を受信する。ミキサ１３は、アナログのオーディオ信号を受信した場合、当該アナログ音信号を例えばサンプリング周波数４８ｋＨｚのデジタル音信号に変換する。ミキサ１３は、複数の音信号をミキシングする。ミキサ１３は、信号処理後のデジタル音信号を音信号処理装置１１に送信する。

【0014】

照明コントローラ１２は、ライブ演奏等のイベントの演出に利用される各種の照明をコントロールする。照明コントローラ１２は、照明をコントロールするための照明信号を出力する。照明信号は、例えばＤＭＸ５１２規格のデータである。ＤＭＸ５１２規格のデータは、８ビットのＲＧＢの輝度値を示す色情報を含む。照明コントローラ１２は、照明機器に該照明信号を出力することで、照明をコントロールする。また、照明コントローラ１２は、照明信号を音信号処理装置１１に送信する。

【0015】

図２は、音信号処理装置１１の主要構成を示すブロック図である。音信号処理装置１１は、一般的なパーソナルコンピュータ等からなり、表示器１０１、ユーザインタフェース（Ｉ／Ｆ）１０２、フラッシュメモリ１０３、ＣＰＵ１０４、ＲＡＭ１０５、および通信インタフェース（Ｉ／Ｆ）１０６を備えている。

【0016】

表示器１０１は、例えばＬＣＤ（Liquid Crystal Display）またはＯＬＥＤ（Organic Light-Emitting Diode）等からなり、種々の情報を表示する。ユーザＩ／Ｆ１０２は、スイッチ、キーボード、マウス、トラックボール、またはタッチパネル等からなり、ユーザの操作を受け付ける。ユーザＩ／Ｆ１０２がタッチパネルである場合、該ユーザＩ／Ｆ１０２は、表示器１０１とともに、ＧＵＩ（Graphical User Interface以下略）を構成する。

【0017】

通信Ｉ／Ｆ１０６は、ＵＳＢケーブル、ＨＤＭＩ（登録商標）、イーサネット（登録商標）、またはＭＩＤＩ等の通信線を介して、照明コントローラ１２およびミキサ１３に接続される。通信Ｉ／Ｆ１０６は、ミキサ１３からデジタル音信号を受信する。また、通信Ｉ／Ｆ１０６は、照明コントローラ１２から照明信号を受信する。

【0018】

ＣＰＵ１０４は、記憶媒体であるフラッシュメモリ１０３に記憶されているプログラムをＲＡＭ１０５に読み出して、所定の機能を実現する。例えば、ＣＰＵ１０４は、表示器１０１にユーザの操作を受け付けるための画像を表示し、ユーザＩ／Ｆ１０２を介して、当該画像に対する選択操作等を受け付けることで、ＧＵＩを実現する。ＣＰＵ１０４は、通信Ｉ／Ｆ１０６を介してミキサ１３からデジタル音信号を受信する。また、ＣＰＵ１０４は、通信Ｉ／Ｆ１０６を介して照明コントローラ１２から照明信号を受信する。

【0019】

ＣＰＵ１０４は、ミキサ１３から受信した音信号に、照明コントローラ１２から受信した照明信号を重畳する。ＣＰＵ１０４は、例えば、音信号の非可聴域（例えば１８ｋＨｚ）に、照明信号に基づく正弦波の成分を重畳する。詳細は後述する。

【0020】

なお、ＣＰＵ１０４が読み出すプログラムは、自装置内のフラッシュメモリ１０３に記憶されている必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、ＣＰＵ１０４は、該サーバから都度プログラムをＲＡＭ１０５に読み出して実行すればよい。

【0021】

図３は、本発明の最小構成を示す機能的ブロック図である。図３に示す音信号処理部１５４は、ＣＰＵ１０４の実行するプログラムにより実現される。図４は、音信号処理部１５４における照明信号の重畳動作を示すフローチャートである。

【0022】

音信号処理部１５４は、音信号および照明信号を受け付ける（Ｓ１１）。すなわち、上述の様に、ＣＰＵ１０４（音信号処理部１５４）は、通信Ｉ／Ｆ１０６を介してミキサ１３からデジタル音信号を受信し、照明コントローラ１２から照明信号を受信する。

【0023】

音信号処理部１５４は、基準入力値を決定する（Ｓ１２）。基準入力値とは、照明信号の基準となる値である。照明信号は、上述の様に、ＲＧＢの輝度値を示す色情報を含む。色情報は、ＲＧＢのそれぞれの輝度値を例えば０～２５５の８ビットの情報で示したものである。

【0024】

図５は、基準入力値の時間軸成分の包絡線、および基準入力値の周波数軸成分を示す概念図である。

【0025】

基準入力値は、一例として正弦波の音信号からなる。基準入力値は、時間軸上で最大値に対応するレベルと、最小値に対応するレベルと、を周期的に変動する。最大値であっても最小値であっても、周波数は変わらない。該基準入力値の音信号に高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）処理を行うと、図５に示す様な１８ｋＨｚを中心周波数とする周波数成分のレベルを示す。基準入力値は、周波数軸上で最大値に対応するレベルと、最小値に対応するレベルと、を周期的に変動する。

【0026】

なお、図５に示す様に、基準入力値は、所定時間をかけて滑らかに最大値および最小値の間を変化することが好ましい。図５の例では、基準入力値は、最大値（または最小値）から徐々にレベルが変化する様な曲線状（Ｓ字状）のレベル変化を示す。あるいは、基準入力値は、所定時間、最大値（または最小値）から最小値（または最大値）にかけて正弦波状に変化してもよい。図６は、所定時間をかけて滑らかに最大値および最小値の間を変化する場合と、ステップ状に最大値および最小値の間を変化する場合の比較図である。

【0027】

図６に示す様に、時間軸上で短時間に急激にレベルが変化すると、正弦波と異なる成分が多数含まれる。そのため、図６右側の周波数軸成分に示す様に、基準入力値の周波数特性が拡がり、ノイズとなる。基準入力値は、所定時間をかけて滑らかに最大値および最小値の間を変化することで、図６左側の周波数軸成分に示す様に、より単一周波数の正弦波の成分に近づけることができ、周波数特性の拡がりを抑え、ノイズを抑えることができる。所定時間は、例えば１０ｍｓｅｃ～１５ｍｓｅｃである。ノイズの影響を抑えたい場合には、所定時間をより長くしてより正弦波に近づける。データの転送量を大きくしたい場合には、所定時間はより短くすればよい。 音信号処理部１５４は、以上の様にして基準入力値を決定する（Ｓ１２）。そして、音信号処理部１５４は、重畳対象となる入力対象データから、基準入力値に対する相対入力値を算出する。入力対象データは、照明信号であり、ＲＧＢの輝度値を示す色情報を含む。音信号処理部１５４は、例えば、Ｒの輝度値が２５５であれば、Ｒの相対入力値を基準入力値の最大値と同じレベルとして算出する。例えば、Ｒの輝度値が０であれば、Ｒの相対入力値は、基準入力値の最小値と同じレベルとなる。例えば、Ｒの輝度値が１２７であれば、Ｒの相対入力値は、基準入力値の最大値および最小値の中間値のレベルとなる。例えば、基準入力値の最大基値の振幅を２．０、最小値の振幅を１．０とすれば、Ｒの輝度値が２５５であれば、Ｒの相対入力値の振幅は２．０となる。また、Ｒの輝度値が０であれば、Ｒの相対入力値の振幅は１．０となる。Ｒの輝度値が１２７であれば、Ｒの相対入力値の振幅は１．５となる。すなわち、音信号処理部１５４は、ＲＧＢの値に応じて、基準入力値の最大値および最小値の間を２５６のレベルに区分して、Ｒの相対入力値、Ｇの相対入力値、およびＢの相対入力値を算出する。なお、この例ではリニアスケールのレベルを示しているが、音信号処理部１５４は、ログスケールのレベルを用いて相対入力値を比例計算してもよい。

【0028】

なお、基準入力値の最小値は、暗騒音と区別できる程度に十分に高いレベルで、かつミキサ１３からデジタル音信号（コンテンツに係る音信号）の高周波数成分と区別できる程度に十分に高いレベルであることが好ましい。また、基準入力値の最大値は、例えば、スピーカに大きな負荷をかけない程度のレベルで、最大値および最小値のレベル差が十分に取れる値でることが好ましい。音信号処理部１５４は、最小値と最大値の差を大きくするほど、重畳するデータのビット数を高くしたり、同じビット数での精度を向上させたりすることができる。また、最大値および最小値は、ユーザから受け付けてもよい。あるいは、最大値および最小値は、受け付けた音信号の高周波数成分のレベルに応じて自動的に決定してもよい。

【0029】

そして、音信号処理部１５４は、基準入力値と、算出したＲＧＢの相対入力値と、を音信号に重畳する（Ｓ１４）。本実施形態では、音信号処理部１５４は、音信号の第１周波数領域に照明信号の基準入力値を重畳し、第２周波数領域に照明信号の相対入力値を重畳する。第１周波数領域および第２周波数領域は、重畳する情報が聞こえないように非可聴域であることが好ましい。また、基準入力値、Ｒの相対入力値、Ｇの相対入力値、およびＢの相対入力値は、それぞれ異なる周波数に重畳する。なお、音信号処理部１５４は、ミキサ１３から受信した音信号の１８ｋＨｚ以上の成分を除去するローパスフィルタ処理を施すことが好ましい。これにより、ミキサ１３から受信した音信号に含まれる主成分（コンテンツ音）と重畳成分が混じることがない。

【0030】

図７は、基準入力値と、ＲＧＢの相対入力値と、を重畳した音信号の周波数軸成分を示す概念図である。図７は、照明信号のＲＧＢが全て最大値である白色の情報を重畳する場合の例を示す。この場合、ＲＧＢの相対入力値のレベルは、すべて基準入力値の最大値のレベルと同じである。

【0031】

音信号処理部１５４は、一例として、基準入力値を１８ｋＨｚに重畳する。また、音信号処理部１５４は、一例として、ＲＧＢの相対入力値をそれぞれ１８．３７５ｋＨｚ、１８．７５０ｋＨｚ、１９．１２５ｋＨｚに重畳する。この様に、基準入力値、Ｒの相対入力値、Ｇの相対入力値、およびＢの相対入力値は、それぞれ異なる周波数に重畳する。また、互いの成分の干渉が少なくなる様に、基準入力値、Ｒの相対入力値、Ｇの相対入力値、およびＢの相対入力値は、間隔を空けて重畳することが好ましい。この例では、音信号処理部１５４は、３７５Ｈｚの間隔を空けて基準入力値、Ｒの相対入力値、Ｇの相対入力値、およびＢの相対入力値を重畳する。

【0032】

基準入力値、Ｒの相対入力値、Ｇの相対入力値、およびＢの相対入力値の中心周波数は、音信号の周波数分解能に一致することが好ましい。例えば、ＦＦＴ処理に用いる時間軸上のサンプル数が１０２４サンプルであり、音信号のサンプリング周波数が４８ｋＨｚである場合、周波数分解能Ｆｏは、Ｆｏ＝４８０００／１０２４＝４６．８７５（Ｈｚ）となる。周波数分解能Ｆｏは、８倍すると整数値４６．８７５×８＝３７５となる。したがって、音信号処理部１５４は、基準入力値を３７５×４８＝１８０００Ｈｚに重畳し、Ｒの相対入力値を３７５×４９＝１８３７５Ｈｚ、Ｇの相対入力値を３７５×５０＝１８７５０Ｈｚ、Ｂの相対入力値を３７５×５１＝１９１２５Ｈｚに重畳する。これらの周波数は、全て周波数分解能Ｆｏに一致する。したがって、時間軸の音信号にＦＦＴ処理を行うと、これらの基準入力値、Ｒの相対入力値、Ｇの相対入力値、およびＢの相対入力値のピーク成分は、周波数分解能と一致し、最も高レベルを示すピーク成分となる。

【0033】

なお、図８に示す様に、音信号処理部１５４は、Ｒの相対入力値を１８ｋＨｚ、Ｇの相対入力値を１８．３７５ｋＨｚ、Ｂの相対入力値を１８．７５０ｋＨｚ、基準入力値を１９．１２５ｋＨｚに重畳してもよい。この場合、基準入力値が最も可聴域から最も遠い周波数領域となる。基準入力値は、上述のように、時間軸上で最大値に対応するレベルと、最小値に対応するレベルと、を周期的に変動する。そのため、基準入力値は、図６に示した様に周波数特性の拡がりを有する。そこで、基準入力値は、可聴域から遠い周波数に重畳することで、ノイズの影響をさらに低減することができる。

【0034】

さらに、図９に示す様に、音信号処理部１５４は、基準入力値をさらに高い周波数（例えば１９．５ｋＨｚ）に重畳してもよい。これにより、基準入力値の周波数成分が、ＲＧＢ（図９ではＢ）の相対入力値に干渉することをさらに低減できる。なお、基準入力値を低い周波数側に重畳する場合も、音信号処理部１５４は、基準入力値と相対入力値とを重畳する周波数に間隔を空けてもよい。例えば、基準入力値は１８ｋＨｚに重畳し、Ｒの相対入力値は１８．７５０ｋＨｚ、Ｇの相対入力値は１９．１２５ｋＨｚ、Ｂの相対入力値は１９．５ｋＨｚに重畳する。この場合、基準入力値によるノイズ成分が相対入力値に影響することを軽減できる。

【0035】

音信号処理部１５４は、以上の様にして基準入力値と、算出したＲＧＢの相対入力値と、を重畳した音信号を出力する（Ｓ１５）。例えば、音信号処理装置１１は、オーディオコンテンツの配信プラットフォームのサーバ（不図示）に対し、当該音信号を送信する。あるいは、音信号処理装置１１は、自装置のフラッシュメモリ１０３に音信号を記録してもよい。送信する音信号または記録する音信号は、ＭＰ３等の圧縮処理を施してもよい。

【0036】

図１０は、再生時における音信号処理装置１１の動作を示すフローチャートである。音信号処理装置１１は、サーバを介して当該音信号を受け付ける（Ｓ２１）。あるいは、音信号処理装置１１は、自装置のフラッシュメモリ１０３に音信号を記録している場合には、フラッシュメモリ１０３から音信号を読み出す。

【0037】

音信号処理装置１１は、受け付けた音信号にＦＦＴ処理を行い、周波数軸成分の音信号に変換する（Ｓ２２）。そして、音信号処理装置１１は、基準入力値および相対入力値を取り出す（Ｓ２３）。すなわち、音信号処理装置１１は、音信号の第１周波数領域に含まれる成分を基準入力値として取り出し、第２周波数領域に含まれる成分を相対入力値として取り出す。なお、音信号処理装置１１は、どの周波数領域にどの様なデータを重畳し、どの周波数領域の信号をどの様なデータとして取り出すかを、予め決定している。例えば、図７に示した例であれば、音信号処理装置１１は、１８ｋＨｚを中心周波数とする所定周波数領域（例えば周波数幅３７５Ｈｚ）の成分を基準入力値として取り出す。音信号処理装置１１は、１８．３７５ｋＨｚを中心周波数とする周波数領域の成分をＲの相対入力値として取り出す。音信号処理装置１１は、１８．７５ｋＨｚを中心周波数とする周波数領域の成分をＧの相対入力値として取り出す。音信号処理装置１１は、１９．１２５ｋＨｚを中心周波数とする周波数領域の成分をＢの相対入力値として取り出す。

【0038】

そして、音信号処理装置１１は、復号処理を行う（Ｓ２４）。相対入力値のレベルは、基準入力値の最小値および最大値の間のいずれかの値を示す。そこで、音信号処理装置１１は、まず基準入力値の最小値のレベルおよび最大値のレベルを求める。例えば、音信号処理装置１１は、１８ｋＨｚを中心周波数とする所定周波数領域の成分のレベルを複数回測定し、最小値のレベルおよび最大値のレベルを測定する。ＦＦＴ処理に用いる時間軸上のサンプル数が例えば１０２４サンプルである場合、音信号処理装置１１は、例えば５回のＦＦＴ処理分のサンプル（５１２０サンプル）を用いて最小値のレベルおよび最大値のレベルを測定する。また、音信号処理装置１１は、測定した最小値のレベルと最大値のレベルとの差が、所定値以上であるか確認してもよい。音信号処理装置１１は、最小値のレベルと最大値のレベルとの差が、所定値未満であった場合、復号処理を中止してもよい。これにより、音信号処理装置１１は、無駄な処理を省略することができる。

【0039】

音信号処理装置１１は、基準入力値の最小値のレベル、および最大値のレベルに基づいて、ＲＧＢのそれぞれの相対入力値のレベルを求め、ＲＧＢの輝度値に換算する。音信号処理装置１１は、基準入力値の最大値および最小値の間を２５６のレベルに区分して、Ｒの相対入力値、Ｇの相対入力値、およびＢの相対入力値のレベルを、Ｒの輝度値、Ｇの輝度値、およびＢの輝度値にそれぞれ換算する。例えば、相対入力値のレベルが基準入力値の最大値のレベルと同じであれば輝度値は２５５となる。相対入力値のレベルが基準入力値の最小値のレベルと同じであれば輝度値は０となる。相対入力値のレベルが基準入力値の最大値および最小値の中間値のレベルであれば、輝度値は１２７となる。この様にして、音信号処理装置１１は、ＲＧＢの輝度値を求めて、音信号に重畳された照明信号を復号する。

【0040】

そして、音信号処理装置１１は、復号したデータを出力する（Ｓ２５）。例えば、照明信号はＤＭＸ５１２規格のデータとして出力される。音信号処理装置１１は、ＤＭＸ５１２のデータを照明コントローラ１２に出力する。照明コントローラ１２は、ＤＭＸ５１２に基づいて、照明機器に照明信号を出力することで、照明をコントロールする。あるいは、音信号処理装置１１は、復号したデータをＰＣ等の他の機器に出力してもよい。ＰＣは、受信したデータに基づいて表示器の表示色等を制御してもよい。

【0041】

なお、音信号処理装置１１は、図１０に示す動作を行うとともに、受け付けた音信号を再生する。再生した音信号は、ミキサ１３に出力され、ライブ会場のスピーカから放音される。このとき、音信号処理装置１１は、ローパスフィルタ処理を施し、音信号の第１周波数領域および第２周波数領域の成分を分離し除去した後の音信号を再生することが好ましい。なお、音信号処理装置１１は、音信号をＰＣ等の他の機器に出力してもよい。ＰＣは、受信したデータに基づいて音信号を再生し、かつ表示器の表示色等を制御してもよい。

【0042】

以上の様にして、音信号処理装置１１は、過去のライブ演奏の録音データの再生を行うとともに、照明信号を出力することで、ライブ会場におけるライブ演奏等のイベントの演出を再現することができる。

【0043】

上記の実施形態では、照明信号を重畳した音信号処理装置と、照明信号を復号した音信号処理は、同じ装置であるが、無論、異なる装置であってもよい。また、照明信号を重畳した信号は、音信号であるため、ＵＳＢ等のデータ通信経路に限らず、オーディオケーブル等のアナログ音信号の伝達経路を介して送受信することもできる。照明信号は、基準入力値に対する相対入力値として音信号に重畳されているため、仮に、音信号に圧縮処理を施しても、基準入力値および相対入力値は同じ処理が施される。また、音信号にレベル変更処理を行った場合でも、基準入力値のレベルも相対入力値のレベルも同じ様に変化する。したがって、本実施形態の音信号処理方法は、音信号のレベルが変化した場合でも、圧縮処理を施した場合でも、各種の影響を受けずに、重畳したデータを確実に送受信することができる。

【0044】

また、照明信号を重畳した信号は、音信号であるため、スピーカやマイク等の空間を介して送受信することもできる。この場合も、空間の伝達特性の影響で音信号のレベルが変化したとしても、基準入力値のレベルも相対入力値のレベルも同じ様に変化する。したがって、本実施形態の音信号処理方法は、空間の伝達特性の影響を受けた場合でも、重畳したデータを確実に送受信することができる。

【0045】

特に、本実施形態で示した照明信号は、ＲＧＢの値に多少の誤差を生じたとしても照明の色にわずかなずれが生じるだけである。本実施形態の音信号処理方法は、この様なビットパーフェクトに復号する必要の無いデータの送受信に好適である。

【0046】

（変形例１）
ＲＧＢの相対入力値を変化させるタイミングは、どの様なタイミングであってもよいが、例えば、基準入力値が最小値から最大値に変化するタイミングに合わせてもよい。また、相対入力値を取り出すタイミングは、基準入力値が最大値から最小値に変化するタイミングであってもよい。

【0047】

図１１は、ＲＧＢの相対入力値の変化タイミングと、相対入力値の読取タイミングを示す図である。図中の破線は基準入力値の時間軸波形であり、実線は相対入力値の時間軸波形である。

【0048】

ＲＧＢの相対入力値も正弦波であるが、時間軸上で短時間に急激にレベルが変化すると、正弦波と異なる成分が多数含まれ、周波数特性が拡がってノイズを生じる。したがって、図１１に示す様に、ＲＧＢの相対入力値を変化させるタイミングは、基準入力値が最小値から最大値に変化するタイミングに合わせる。また、相対入力値を取り出すタイミングは、基準入力値が最大値から最小値に変化するタイミングに合わせる。これにより、読み取り時にはＲＧＢの相対入力値は変化しないので、音信号処理装置１１は、ノイズに影響されずに正確にレベルを求めることができる。

【0049】

なお、図１１の例では、ＲＧＢの相対入力値はステップ状に変化しているが、ＲＧＢの相対入力値も基準入力値と同様に所定時間をかけて滑らかに変化してもよい。これにより、音信号処理装置１１は、ＲＧＢの値を変化させる場合にも、ノイズの影響を最小限に抑えることができる。

【0050】

（変形例２）
基準入力値のサンプル数は、時間軸の基準入力値を周波数成分に変更する場合に必要なサンプル数の倍以上であることが好ましい。図１２は、サンプル数を示す図である。一例として、ＦＦＴ処理に用いる時間軸上のサンプル数が１０２４サンプルである場合、基準入力値を最大値および最小値で維持するサンプル数は、それぞれ少なくとも１０２４×２＝２０４８サンプル以上とする。仮に基準入力値が最大値（最小値）から最小値（最大値）に変化する変化時間が１０２４サンプルの半分のサンプルである場合、変化時間の合計は１０２４サンプルである。よって、最大値で維持するサンプル２０４８と、最小値で維持するサンプル２０４８と、変化時間の１０２４サンプルと、の合計は５１２０サンプルとなる。したがって、音信号処理装置１１は、少なくとも５回（１０２４×５＝５１２０サンプル）のＦＦＴ処理を行うことで、確実に最大値および最小値を取得することができる。

【0051】

（変形例３）
音信号処理装置１１は、照明信号を取り出せなかった場合、前回取り出した照明信号の色情報を維持してもよい。あるいは、音信号処理装置１１は、照明信号を取り出せない状態が所定時間以上継続した場合に、照明信号の出力を停止してもよい。また、音信号処理装置１１は、前回までの複数回取り出した色情報の平均値を今回の色情報として使用してもよい。この場合、音信号処理装置１１は、突発的なノイズ成分を除去することもできる。

【0052】

（変形例４）
基準入力値のレベルは、１回の最大値および最小値の取り出し結果から求めてもよいが、所定回数の最大値および最小値の取り出し結果から求めてもよい。例えば、音信号処理装置１１は、所定回数の最大値の平均値を基準入力値の最大値のレベルとみなす。音信号処理装置１１は、所定回数の最小値の平均値を基準入力値の最小値のレベルとみなす。あるいは、音信号処理装置１１は、所定回数のうち最も大きい結果を最大値とし、最も小さい結果を最小値としてもよい。また、音信号処理装置１１は、所定回数以上、所定値以上のレベルの基準入力値を取り出した場合に、正常な基準入力値を取り出したものとみなしてもよい。あるいは、音信号処理装置１１は、基準入力値の最大値および最小値の差が所定値以上の時に正常な基準入力値を取り出したものとみなしてもよい。

【0053】

なお、所定回数は、少ないほど短時間で復号処理を行うことができるし、多いほど精度が向上する。

【0054】

（変形例５）
基準入力値は、１つの周波数領域に重畳するだけでなく、複数の周波数領域に重畳してもよい。例えば、音信号処理装置１１は、１９．１２５ｋＨｚに第１基準入力値を重畳し、１９．５ｋＨｚに第２基準入力値を重畳してもよい。音信号処理装置１１は、このように、複数の基準入力値を重畳することで、複数チャンネルの情報を送受信することもできる。この場合、第１基準入力値は、最大値および最小値のレベルを示す基準入力値である。第２基準入力値は、第１チャンネルの情報か、第２チャンネルの情報か、を示す基準入力値である。例えば、音信号処理装置１１は、第２基準入力値が最大値を示す場合、第１チャンネルの情報を重畳しているとみなして、第１チャンネルの輝度情報を復号する。音信号処理装置１１は、第２基準入力値が最小値を示す場合、第２チャンネルの情報を重畳しているとみなし、第２チャンネルの輝度情報を復号する。音信号処理装置１１は、さらに多数の基準入力値を重畳し、さらに多数チャンネルの情報を送受信してもよい。あるいは、音信号処理装置１１は、ステレオチャンネルの音信号の場合に、ＬチャンネルおよびＲチャンネルのそれぞれに基準入力値および相対入力値を重畳させてもよい。この場合、音信号処理装置１１は、ＬチャンネルにはＬチャンネル側の情報を重畳し、ＲチャンネルにはＲチャンネル側の情報を重畳すればよい。

【0055】

（その他の変形例）
音信号処理装置１１は、重畳する色情報に基づいて、あるデータをエンコードおよびデコードしてもよい。例えば、音信号処理装置１１は、黒、黒、黒の順の色情報、すなわち（０，０，０）（０，０，０）（０，０，０）の色情報をデータ００として重畳する。音信号処理装置１１は、（０，０，０）（０，０，０）（０，０，０）の色情報を復号した場合に、データ００を復号する。例えば、音信号処理装置１１は、黒、黒、赤の順の色情報をデータ０１として重畳する。音信号処理装置１１は、（０，０，０）（０，０，０）（２５５，０，０）の色情報を復号した場合に、データ０１を復号する。また、例えば、音信号処理装置１１は、黒、黒、緑の順の色情報をデータ０２として重畳する。音信号処理装置１１は、（０，０，０）（０，０，０）（０，２５５，０）の色情報を復号した場合に、データ０２を復号する。

【0056】

また、音信号処理装置１１は、チェックサムに相当する情報を重畳してもよい。チェックサムは、上記色情報のデータ（輝度値）を単純に加算した値とすればよい。なお、色情報も、０と２５５の２値でエンコード、デコードするだけでなく、例えば０，１２７，２５５の３値でエンコード、デコードしてもよいし、さらに多数の色情報を用いてエンコード、デコードしてもよい。さらに、それぞれの色情報の数に応じたチェックサムを重畳してもよい。

【0057】

なお、音信号に重畳する情報は、色情報に限らない。例えば、重畳する情報は、明度に係る情報であってもよい。例えば、重畳する情報は、音信号のエフェクト等のパラメータに係る情報であってもよい。この場合、再生する音信号のエフェクトが自動制御される。あるいは、重畳する情報は、電子楽器の操作子を操作するための情報であってもよい。例えば、重畳する情報は、電子ピアノのピッチベンド／モジュレーションホイールの位置情報であってもよい。

【0058】

また、重畳する情報は、ある平面座標あるいは空間座標における座標情報であってもよい。例えば、重畳する情報は、ペンタブレットの入力情報（入力オン情報、位置情報、および入力オフ情報）であってもよい。この場合、音信号処理装置１１は、音楽の再生に合わせてペンタブレットの入力情報を復号することで、音楽に合わせた文字や絵を描画することができる。また、重畳する情報は、ロボットの姿勢情報であってもよい。この場合、音信号処理装置１１は、音楽の再生に合わせてロボットの姿勢を制御することができる。これにより、音信号処理装置１１は、音楽に合わせてロボットを踊らせることもできる。

【0059】

また、重畳する情報は、音源の位置情報であってもよい。例えば、オブジェクトベース方式のコンテンツでは、音源毎に別々のチャンネルの音信号を格納している。したがって、音信号処理装置１１は、各音源の音信号に、それぞれの音源の位置情報を重畳する。音信号処理装置１１は、復号した音源の位置情報に基づいて音源の音像定位置を決定し、定位処理を行う。

【0060】

なお、情報の重畳および復号は、リアルタイムに行う必要はない。例えば、既に録音された音信号に対して照明信号を重畳してもよい。この場合、音信号処理装置１１は、録音された音信号を解析した後に照明信号等を重畳することができる。例えば、音信号処理装置１１は、録音された音信号の平均レベルを算出し、当該平均レベルに基づいて基準入力値の最大値および最小値を、音信号（コンテンツに係る音信号）と区別できる程度のレベルに決定してもよい。あるいは、音信号処理装置１１は、重畳する区間の音信号の高周波数成分のレベルに基づいて、基準入力値の最大値および最小値を、重畳する区間の音信号（コンテンツに係る音信号）の高周波数成分と区別できる程度に十分に高いレベルに設定してもよい。

【0061】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【0062】

例えば、本実施形態では、基準入力値の最大値および最小値に基づいて、相対入力値のデータを復号する求める例を示した。しかし、例えば、音信号処理装置１１は、基準入力値のレベルよりも大きいレベルの相対入力値を取り出した場合には、ビット１を復号し、基準入力値のレベル以下の相対入力値を取り出した場合には、ビット０を復号して、重畳されたデータを復号してもよい。

【符号の説明】

【0063】

１ ：音信号処理システム
１１ ：音信号処理装置
１２ ：照明コントローラ
１３ ：ミキサ
１０１ ：表示器
１０２ ：ユーザＩ／Ｆ
１０３ ：フラッシュメモリ
１０４ ：ＣＰＵ
１０５ ：ＲＡＭ
１０６ ：通信Ｉ／Ｆ
１５４ ：音信号処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】