IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤマハ株式会社の特許一覧

特開2024-173119音処理方法、音処理装置およびプログラム
<>
  • 特開-音処理方法、音処理装置およびプログラム 図1
  • 特開-音処理方法、音処理装置およびプログラム 図2
  • 特開-音処理方法、音処理装置およびプログラム 図3
  • 特開-音処理方法、音処理装置およびプログラム 図4
  • 特開-音処理方法、音処理装置およびプログラム 図5
  • 特開-音処理方法、音処理装置およびプログラム 図6
  • 特開-音処理方法、音処理装置およびプログラム 図7
  • 特開-音処理方法、音処理装置およびプログラム 図8
  • 特開-音処理方法、音処理装置およびプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173119
(43)【公開日】2024-12-12
(54)【発明の名称】音処理方法、音処理装置およびプログラム
(51)【国際特許分類】
   H04S 7/00 20060101AFI20241205BHJP
   H04R 3/00 20060101ALI20241205BHJP
【FI】
H04S7/00 300
H04R3/00 310
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023091289
(22)【出願日】2023-06-02
(71)【出願人】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110000970
【氏名又は名称】弁理士法人 楓国際特許事務所
(72)【発明者】
【氏名】四童子 広臣
【テーマコード(参考)】
5D162
5D220
【Fターム(参考)】
5D162AA06
5D162AA07
5D162BA08
5D162CA22
5D162CC33
5D220AA04
5D220AA50
(57)【要約】
【課題】3つ以上のスピーカにエフェクト信号を分配する場合にリバーブ効果を高める音処理方法を提供する。
【解決手段】音処理方法は、音信号を受け付けて、前記音信号にリバーブ処理を施したエフェクト信号を生成し、3つ以上の複数のスピーカのうち第1スピーカを選択して、該第1スピーカとの位置関係に基づいて該第1スピーカに対応する第2スピーカを選択し、選択した前記第1スピーカおよび前記第2スピーカに前記エフェクト信号を分配する。
【選択図】 図3
【特許請求の範囲】
【請求項1】
音信号を受け付けて、
前記音信号にリバーブ処理を施したエフェクト信号を生成し、
3つ以上の複数のスピーカのうち第1スピーカを選択して、該第1スピーカとの位置関係に基づいて該第1スピーカに対応する第2スピーカを選択し、
選択した前記第1スピーカおよび前記第2スピーカに前記エフェクト信号を分配する、
音処理方法。
【請求項2】
前記第1スピーカおよび前記第2スピーカに供給する前記エフェクト信号に相関低減処理を施す、
請求項1に記載の音処理方法。
【請求項3】
前記相関低減処理は、前記第1スピーカに供給する第1エフェクト信号および前記第2スピーカに供給する第2エフェクト信号にそれぞれ位相特性の異なるFIRフィルタ処理を施す、
請求項2に記載の音処理方法。
【請求項4】
前記位置関係は、3次元の位置関係を含む、
請求項1乃至請求項3のいずれか1項に記載の音処理方法。
【請求項5】
前記位置関係は、距離の情報を含む、
請求項1乃至請求項3のいずれか1項に記載の音処理方法。
【請求項6】
前記第1スピーカまたは前記第2スピーカの少なくとも1つは、音像定位処理により仮想的に定位する仮想スピーカを含む、
請求項1乃至請求項3のいずれか1項に記載の音処理方法。
【請求項7】
利用者から前記リバーブ処理による効果を生じさせる位置情報を受け付けて、
前記利用者から受け付けた前記位置情報に基づいて前記第1スピーカおよび前記第2スピーカを選択する、
請求項1乃至請求項3のいずれか1項に記載の音処理方法。
【請求項8】
音信号を受け付けて、
前記音信号にリバーブ処理を施したエフェクト信号を生成し、
3つ以上の複数のスピーカのうち第1スピーカを選択して、該第1スピーカとの位置関係に基づいて該第1スピーカに対応する第2スピーカを選択し、
選択した前記第1スピーカおよび前記第2スピーカに前記エフェクト信号を分配する、
プロセッサを備えた音処理装置。
【請求項9】
前記プロセッサは、前記第1スピーカおよび前記第2スピーカに供給する前記エフェクト信号に相関低減処理を施す、
請求項8に記載の音処理装置。
【請求項10】
前記相関低減処理は、前記第1スピーカに供給する第1エフェクト信号および前記第2スピーカに供給する第2エフェクト信号にそれぞれ位相特性の異なるFIRフィルタ処理を施す、
請求項9に記載の音処理装置。
【請求項11】
前記位置関係は、3次元の位置関係を含む、
請求項8乃至請求項10のいずれか1項に記載の音処理装置。
【請求項12】
前記位置関係は、距離の情報を含む、
請求項8乃至請求項10のいずれか1項に記載の音処理装置。
【請求項13】
前記第1スピーカまたは前記第2スピーカの少なくとも1つは、音像定位処理により仮想的に定位する仮想スピーカを含む、
請求項8乃至請求項10のいずれか1項に記載の音処理装置。
【請求項14】
前記プロセッサは、利用者から前記リバーブ処理による効果を生じさせる位置情報を受け付けて、前記利用者から受け付けた前記位置情報に基づいて前記第1スピーカおよび前記第2スピーカを選択する、
請求項8乃至請求項10のいずれか1項に記載の音処理装置。
【請求項15】
音信号を受け付けて、
前記音信号にリバーブ処理を施したエフェクト信号を生成し、
3つ以上の複数のスピーカのうち第1スピーカを選択して、該第1スピーカとの位置関係に基づいて該第1スピーカに対応する第2スピーカを選択し、
選択した前記第1スピーカおよび前記第2スピーカに前記エフェクト信号を分配する、
処理を情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一実施形態は、音処理方法、音処理装置およびプログラムに関する。
【背景技術】
【0002】
特許文献1には、マルチチャンネルサラウンド再生における残響音を無相関化するために、オールパスフィルタを用いるマルチチャンネルサラウンド再生装置が記載されている。これにより、特許文献1のマルチチャンネルサラウンド再生装置は、リバーブ効果を高めている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000-69598号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のマルチチャンネルサラウンド再生装置は、3つ以上のスピーカにエフェクト信号を分配する場合の課題を認識していない。例えば、あるチャンネルの音信号を常に同じ2つのスピーカに出力すると、これら2つのスピーカに近い位置ではリバーブ効果を得ることができても、2つのスピーカから遠い位置では所望のリバーブ効果を得ることができない場合がある。
【0005】
本発明の一実施形態は、3つ以上のスピーカにエフェクト信号を分配する場合にリバーブ効果を高める音処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一実施形態に係る音処理方法は、音信号を受け付けて、前記音信号にリバーブ処理を施したエフェクト信号を生成し、3つ以上の複数のスピーカのうち第1スピーカを選択して、該第1スピーカとの位置関係に基づいて該第1スピーカに対応する第2スピーカを選択し、選択した前記第1スピーカおよび前記第2スピーカに前記エフェクト信号を分配する。
【発明の効果】
【0007】
本発明の一実施形態によれば、3つ以上のスピーカにエフェクト信号を分配する場合にリバーブ効果を高めることができる。
【図面の簡単な説明】
【0008】
図1】音処理装置1の構成を示すブロック図である。
図2】プロセッサ12の動作を示すフローチャートである。
図3】プロセッサ12の機能的構成を示すブロック図である。
図4】ある部屋5に設置された複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23の設置態様を模擬的に示した平面図である。
図5】変形例1に係るプロセッサ12の機能的な構成を示すブロック図である。
図6】変形例3に係るある部屋5に設置された複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23の設置態様を模擬的に示した平面図である。
図7】変形例4に係る音処理方法を実施するためのアプリケーションプログラムの画面(GUI)の一例を示す図である。
図8】変形例5に係る音処理方法を実施するためのアプリケーションプログラムの画面(GUI)の一例を示す図である。
図9】変形例5に係る音処理方法を実施するためのアプリケーションプログラムの画面(GUI)の一例を示す図である。
【発明を実施するための形態】
【0009】
図1は、音処理装置1の構成を示すブロック図である。音処理装置1は、通信部11、プロセッサ12、RAM13、フラッシュメモリ14、表示器15、ユーザI/F16、およびオーディオI/F17を備えている。
【0010】
音処理装置1は、例えばパーソナルコンピュータ、スマートフォン、あるいはタブレット型コンピュータ等の情報処理装置からなる。
【0011】
通信部11は、サーバ等の他装置と通信する。通信部11は、例えばBluetooth(登録商標)またはWi-Fi(登録商標)等の無線通信機能、USBまたはLAN等の有線通信機能を有する。
【0012】
表示器15は、LCDやOLED等からなる。表示器15は、プロセッサ12の出力した映像を表示する。
【0013】
ユーザI/F16は、操作部の一例である。ユーザI/F16は、マウス、キーボード、あるいはタッチパネル等からなる。ユーザI/F16は、利用者の操作を受け付ける。なお、タッチパネルは、表示器15に積層されていてもよい。
【0014】
オーディオI/F17は、アナログオーディオ端子またはデジタルオーディオ端子等を有し、音響機器を接続する。本実施形態では、オーディオI/F17は、音響機器の一例として複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23を接続し、これらスピーカに音信号を出力する。オーディオI/F17は、音響機器の一例として複数のマイク29を接続し、マイク29から音信号を受け付ける。
【0015】
プロセッサ12は、CPU、DSP、またはSoC(System on a Chip)等からなる。プロセッサ12は、記憶媒体であるフラッシュメモリ14からプログラムを読み出し、RAM13に一時記憶することで、種々の動作を行う。なお、プログラムは、フラッシュメモリ14に記憶している必要はない。プロセッサ12は、例えば、サーバ等の他装置から必要な場合にダウンロードしてRAM13に一時記憶してもよい。
【0016】
図2は、プロセッサ12の動作を示すフローチャートである。プロセッサ12は、オーディオI/F17を介して音信号を受け付ける(S11)。プロセッサ12は、受け付けた音信号にリバーブ処理を施したエフェクト信号を生成する(S12)。プロセッサ12は、複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23にエフェクト信号を分配する(S13)。
【0017】
図3は、プロセッサ12の機能的構成を示すブロック図である。プロセッサ12は、機能的に、定位処理部121、リバーブ処理部122、分配処理部123、および加算部124を有する。
【0018】
定位処理部121およびリバーブ処理部122は、オーディオI/F17を介して音信号を受け付ける。定位処理部121は、直接音を定位させる位置を示す情報、複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23の位置に基づいて、音信号を複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23のそれぞれに所定のレベル比で分配する。同じ音信号を同レベルで2つのスピーカに出力すると、2つのスピーカを結ぶ線分の中心に音像が定位する。同じ音信号を異なるレベルで2つのスピーカに出力すると、2つのスピーカを結ぶ線分のうちレベルの高いスピーカの位置寄りに音像が定位する。したがって、定位処理部121は、直接音を定位させる位置を示す情報、複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23の位置に基づいて、出力先のスピーカと出力する音信号のレベル調整を行い、直接音の成分を定位させる。
【0019】
なお、スピーカの位置を示す情報は、ある音響空間内のある位置を原点とした2次元または3次元の座標で表される。音響空間とは、例えば教会、ライブハウス、またはコンサートホール等の会場に対応する3次元空間の形状を示す情報である。音響空間を示す情報は、実在の会場の3DCADデータに基づく座標情報であってもよいし、ある架空の会場の論理的な座標情報(0~1で正規化された情報)であってもよい。
【0020】
リバーブ処理部122は、音信号にリバーブ処理を施す。リバーブ処理は、例えば音信号に所定量の遅延を付与してレベル調整した複数のエフェクト信号(擬似反射音)を生成することで、残響音を強化する処理である。特に、本実施形態の音処理装置1は、複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23から順次、複数のエフェクト信号を出力することで、通常のリバーブ処理よりも複雑で広がりのある響きを実現する。
【0021】
本実施形態の音処理装置1は、3つ以上の複数のスピーカに順次、複数のエフェクト信号を出力する。仮に、2つのスピーカ(第1スピーカおよび第2スピーカ)に複数のエフェクト信号を出力する場合には、第1スピーカに第1エフェクト信号を出力した後、次の第2エフェクト信号は第2スピーカに出力すればよい。しかし、3つ以上のスピーカに順次、複数のエフェクト信号を出力する場合、エフェクト信号をどのスピーカに分配するかが課題になる。例えば、あるエフェクト信号を常に同じ2つのスピーカに出力すると、これら2つのスピーカに近い位置ではリバーブ効果を得ることができても、2つのスピーカから遠い位置では所望のリバーブ効果を得ることができない場合がある。
【0022】
そこで、本実施形態では、分配処理部123は、3つ以上の複数のスピーカのうち第1スピーカを選択して、該第1スピーカとの位置関係に基づいて該第1スピーカに対応する第2スピーカを選択し、選択した第1スピーカおよび第2スピーカに前記エフェクト信号を分配する。
【0023】
図4は、ある部屋5に設置された複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23の設置態様を模擬的に示した平面図である。スピーカ20は、リスニングポジション101の左前方に配置され、スピーカ21は、リスニングポジション101の左後方に配置され、スピーカ22は、リスニングポジション101の右前方に配置され、スピーカ23は、リスニングポジション101の右後方に配置されている。
【0024】
分配処理部123は、複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23の距離に基づいてエフェクト信号を分配する。分配処理部123は、例えば、第1スピーカに最も遠いスピーカを第2スピーカとして選択する。ただし、分配処理部123は、前回選択したスピーカを次に選択することはない。
【0025】
分配処理部123は、第1スピーカとしてスピーカ20を選択した場合、第1スピーカであるスピーカ20より最も遠いスピーカ23を第2スピーカとして選択する。そして、分配処理部123は、選択したスピーカ20に第1エフェクト信号を出力し、次に選択したスピーカ23に第2エフェクト信号を出力する。さらに、分配処理部123は、スピーカ23に対応するスピーカとして、スピーカ21を選択する。スピーカ23より最も遠いスピーカはスピーカ20であるが、スピーカ23の選択前にスピーカ20が選択されている。そのため、分配処理部123は、次に遠いスピーカ21を選択する。次に分配処理部123は、スピーカ21に対応するスピーカとしてスピーカ22を選択する。次に分配処理部123は、スピーカ22に対応するスピーカとしてスピーカ20を選択する。
【0026】
この様にして、分配処理部123は、複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23の位置に基づいてエフェクト信号を順次出力する。
【0027】
これにより、音処理装置1は、3つ以上のスピーカにエフェクト信号を分配する場合に無駄なく全てのスピーカにエフェクト信号を分配する。したがって、利用者は、設置されている全てのスピーカによる高いリバーブ効果(全体から包まれる様な効果)を実感することができるという新たな顧客体験を得ることができる。
【0028】
(変形例1)
図5は、変形例1に係るプロセッサ12の機能的な構成を示すブロック図である。図3と同じ構成については同一の符号を付し、説明を省略する。
【0029】
変形例1に係るプロセッサ12は、相関低減処理部125を有する。相関低減処理部125は、リバーブ処理部122から出力されるエフェクト信号に対して相関低減処理を施す。相関低減処理は、例えばオールパスフィルタによる位相調整である。オールパスフィルタは、振幅特性を変化させずに位相特性を変化させるフィルタである。相関低減処理部125は、オールパスフィルタにより第1エフェクト信号および第2エフェクト信号の相関を低減する。同じ音信号を2つのスピーカに出力すると、2つのスピーカを結ぶ線分上で同位相の位置に音像が定位する。相関低減処理部125は、相関を低減させることで、エフェクト信号の定位感を低減させる。
【0030】
これにより、利用者は、さらに高いリバーブ効果を実感することができるという新たな顧客体験を得ることができる。
【0031】
(変形例2)
変形例2の相関低減処理部125は、FIRフィルタからなる。相関低減処理部125は、あるインパルス応答を入力信号に畳み込む処理を行う。当該インパルス応答は、振幅特性を変化させず、位相特性だけを変化させるフィルタに相当する。当該インパルス応答は、ある時間長(例えばサンプリング周波数が48kHzの場合に1000サンプル分)のホワイトノイズの位相成分のみを用いたものである。変形例1のオールパスフィルタでは、位相の一致する周波数が必ず存在するが、ホワイトノイズでは位相の一致する周波数が存在しない。したがって、相関低減処理部125は、入力信号にこの様なインパルス応答を畳み込むことにより、相関を著しく低減させることができる。
【0032】
これにより、利用者は、さらに高いリバーブ効果を実感することができるという新たな顧客体験を得ることができる。
【0033】
(変形例3)
変形例3では、第1スピーカまたは第2スピーカの少なくとも1つは、音像定位処理により仮想的に定位する仮想スピーカを含む。図6は、変形例3に係るある部屋5に設置された複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23の設置態様を模擬的に示した平面図である。図4と共通する構成については同一の符号を付し、説明を省略する。
【0034】
変形例3に係る音処理装置1は、スピーカ20、スピーカ21、スピーカ22、スピーカ23および仮想スピーカ25にエフェクト信号を出力する。仮想スピーカ25は、スピーカ20およびスピーカ21に同じ音信号を同じタイミング、同じ音量で出力した場合に仮想的に音像定位することにより生成されるスピーカである。
【0035】
分配処理部123は、複数のスピーカ20、スピーカ21、スピーカ22、スピーカ23および仮想スピーカ25の位置に基づいてエフェクト信号を順次出力する。例えば、分配処理部123は、第1スピーカとしてスピーカ20を選択した場合、第1スピーカであるスピーカ20より最も遠いスピーカ23を第2スピーカとして選択する。そして、分配処理部123は、選択したスピーカ20に第1エフェクト信号を出力し、次に選択したスピーカ23に第2エフェクト信号を出力する。さらに、分配処理部123は、スピーカ23に対応するスピーカとして、最も遠い仮想スピーカ25を選択する。次に分配処理部123は、仮想スピーカ25に対応するスピーカとしてスピーカ21を選択する。次に分配処理部123は、スピーカ21に対応するスピーカとしてスピーカ22を選択する。次に分配処理部123は、スピーカ22に対応するスピーカとしてスピーカ20を選択する。
【0036】
このようにして、音処理装置1は、仮想スピーカ25を含むさらに多数のスピーカにエフェクト信号を順次出力する。
【0037】
変形例3によれば、例えば、室内の設備等によりスピーカを取り付けることができない位置にも仮想スピーカを配置することができるため、利用者は、所望のリバーブ効果を実感することができるという新たな顧客体験を得ることができる。
【0038】
(変形例4)
変形例4に係る音処理装置1は、利用者からリバーブ処理による効果を生じさせる位置情報を受け付けて、利用者から受け付けた前記位置情報に基づいて第1スピーカおよび第2スピーカを選択する。図7は、変形例4に係る音処理方法を実施するためのアプリケーションプログラムの画面(GUI)の一例を示す図である。プロセッサ12は、図7に示す様なスピーカ配置画面を表示器15に表示し、ユーザI/F16を介して利用者から位置情報の指定操作を受け付ける。
【0039】
図7の例では、音処理装置1は、利用者からリバーブ処理による効果を生じさせる位置情報として、楕円状の領域50を受け付ける。図7の領域50は、リスニングポジション101を含み、部屋の大きさよりも前方および左右に大きく広がる範囲をカバーする。
【0040】
分配処理部123は、指定された領域50の位置に基づいて複数のスピーカ20、スピーカ21、スピーカ22およびスピーカ23にエフェクト信号を順次出力する。例えば、分配処理部123は、スピーカ20およびスピーカ22の重み付けを大きくし、スピーカ20およびスピーカ22を優先的に選択する。
【0041】
これにより、利用者は、リバーブ効果を得たい位置を指定することができ、意図するリバーブ効果を実感することができるという新たな顧客体験を得ることができる。
【0042】
(変形例5)
図8は、変形例5に係る音処理方法を実施するためのアプリケーションプログラムの画面(GUI)の一例を示す図である。プロセッサ12は、図7の例で指定された領域50に基づいて、リバーブ効果による音圧分布を計算し、表示器15に表示する。
【0043】
音は、音源(スピーカ)から球面状に周囲に伝播する。音圧(エネルギー)は、音源からの距離の2乗に反比例する。また、音が空気中を伝わる速度、つまり音速Vは、V=331.5+0.61t(ただし、tは摂氏温度である。)で算出される。一方、リバーブ処理は、入力信号に所定量の遅延を付与してレベル調整した遅延を付与する処理である。したがって、プロセッサ12は、リバーブ処理における遅延およびレベル調整量を考慮して各位置における音圧の時間変化を求める。これにより、プロセッサ12は、リバーブ効果による音圧分布を計算することができる。
【0044】
これにより、利用者は、リバーブ効果を視覚的に認識することができるという新たな顧客体験を得ることができる。
【0045】
(変形例6)
図9は、変形例5に係る音処理方法を実施するためのアプリケーションプログラムの画面(GUI)の一例を示す図である。プロセッサ12は、図9に示す様なスピーカ配置画面を表示器15に表示し、ユーザI/F16を介して利用者から位置情報の指定操作を受け付ける。図9の例では、音処理装置1は、利用者からリバーブ処理による効果を生じさせる位置情報として、リスニングポジション101と各スピーカとの遅延量を受け付ける。図9の領域50は、前方に配置されたスピーカ20およびスピーカ22に対して大きな遅延量が設定され、後方に配置されたスピーカ21およびスピーカ23に対して小さな遅延量が設定されている。したがって、リスニングポジション101を含み、部屋の大きさよりも前方および左右に大きく広がるリバーブ効果が指定されている。
【0046】
この場合も、利用者は、リバーブ効果を得たい位置を指定することができ、意図するリバーブ効果を実感することができるという新たな顧客体験を得ることができる。
【0047】
(その他の例)
スピーカの位置関係とは、3次元の位置関係を含んでいてもよい。プロセッサ12は、高さ方向に離れたスピーカに重み付けを大きくし、高低差が大きいスピーカを優先的に選択してもよい。
【0048】
これにより、利用者は、高さ方向に広がるリバーブ効果を実感することができるという新たな顧客体験を得ることができる。例えば、建物の一室に設置された礼拝所でも、利用者は、ドーム型のモスクに居る様なリバーブ効果を実感することができる。
【0049】
本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。
【符号の説明】
【0050】
1:音処理装置、5:部屋、11:通信部、12:プロセッサ、13:RAM、14:フラッシュメモリ、15:表示器、16:ユーザI/F、17:オーディオI/F、20:スピーカ、21:スピーカ、22:スピーカ、23:スピーカ、25:仮想スピーカ、29:マイク、50:領域、101:リスニングポジション、121:定位処理部、122:リバーブ処理部、123:分配処理部、124:加算部、125:相関低減処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9