特開 2024-57795 音処理方法、音処理装置、および音処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024057795

(43)【公開日】2024-04-25

(54)【発明の名称】音処理方法、音処理装置、および音処理プログラム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240418BHJP

【ＦＩ】

H04S7/00 310

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022164700

(22)【出願日】2022-10-13

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】石川 克己

(72)【発明者】

【氏名】白木原 太

(72)【発明者】

【氏名】納戸 健太郎

(72)【発明者】

【氏名】井芹 大智

(72)【発明者】

【氏名】大谷 明央

(72)【発明者】

【氏名】森川 直

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA07

5D162CB07

5D162CD01

5D162DA01

5D162EG02

(57)【要約】

【課題】利用者が最適な響きの体験を得ることができる音処理方法を提供する。
【解決手段】音処理方法は、音源の音信号および前記音源の位置情報を含む音情報を受信し、前記音源の直接音の音像を、前記音源の位置情報に基づいて定位させる第１定位処理を前記音源の音信号に施し、前記音源の間接音の音像を、前記音源の位置情報に基づいて定位させる第２定位処理を前記音源の音信号に施し、前記音源または空間に関する条件を受け付けて、前記条件に基づいて、オブジェクトベース処理またはチャンネルベース処理のいずれかを選択して、前記第２定位処理を施す。
【選択図】 図２

【特許請求の範囲】

【請求項1】

音源の音信号および前記音源の位置情報を含む音情報を受信し、
前記音源の直接音の音像を、前記音源の位置情報に基づいて定位させる第１定位処理を前記音源の音信号に施し、
前記音源の間接音の音像を、前記音源の位置情報に基づいて定位させる第２定位処理を前記音源の音信号に施し、
前記音源または空間に関する条件を受け付けて、
前記条件に基づいて、オブジェクトベース処理またはチャンネルベース処理のいずれかを選択して、前記第２定位処理を施す、
音処理方法。

【請求項2】

前記条件は、前記音源または前記空間の重要度を含み、
前記重要度の高さに応じて、前記オブジェクトベース処理または前記チャンネルベース処理を選択する、
請求項１に記載の音処理方法。

【請求項3】

前記条件は、前記音源の種別、音質、音量、または前記位置情報に基づく前記音源と受聴点との位置関係、のいずれかを含む、
請求項１または請求項２に記載の音処理方法。

【請求項4】

前記条件は、前記空間の種別、または壁面と受聴点との位置関係、のいずれかを含む、
請求項１または請求項２に記載の音処理方法。

【請求項5】

さらに、前記第２定位処理を施す機器の処理能力に関する条件を受け付け、
前記処理能力に基づいて、前記オブジェクトベース処理または前記チャンネルベース処理を選択する、
請求項１または請求項２に記載の音処理方法。

【請求項6】

前記処理能力に関する条件は、前記機器の処理負荷に応じて変化する、
請求項５に記載の音処理方法。

【請求項7】

前記音情報は、複数の音源の音信号と、それぞれの位置情報と、前記複数の音源のグループ情報と、を含み、
同じグループに属する複数の音源は、同一の条件が設定される、
請求項１または請求項２に記載の音処理方法。

【請求項8】

音源の音信号および前記音源の位置情報を含む音情報を受信し、
前記音源の直接音の音像を、前記音源の位置情報に基づいて定位させる第１定位処理を前記音源の音信号に施し、
前記音源の間接音の音像を、前記音源の位置情報に基づいて定位させる第２定位処理を前記音源の音信号に施し、
前記音源または空間に関する条件を受け付けて、
前記条件に基づいて、オブジェクトベース処理またはチャンネルベース処理のいずれかを選択して、前記第２定位処理を施す、
処理を実行するプロセッサを備える音処理装置。

【請求項9】

前記条件は、前記音源または前記空間の重要度を含み、
前記プロセッサは、前記重要度の高さに応じて、前記オブジェクトベース処理または前記チャンネルベース処理を選択する、
請求項８に記載の音処理装置。

【請求項10】

前記条件は、前記音源の種別、音質、音量、または前記位置情報に基づく前記音源と受聴点との位置関係、のいずれかを含む、
請求項８または請求項９に記載の音処理装置。

【請求項11】

前記条件は、前記空間の種別、または壁面と受聴点との位置関係、のいずれかを含む、
請求項８または請求項９に記載の音処理装置。

【請求項12】

前記プロセッサは、さらに、前記第２定位処理を施す機器の処理能力に関する条件を受け付け、
前記処理能力に基づいて、前記オブジェクトベース処理または前記チャンネルベース処理を選択する、
請求項８または請求項９に記載の音処理装置。

【請求項13】

前記処理能力に関する条件は、前記機器の処理負荷に応じて変化する、
請求項１２に記載の音処理装置。

【請求項14】

前記音情報は、複数の音源の音信号と、それぞれの位置情報と、前記複数の音源のグループ情報と、を含み、
同じグループに属する複数の音源は、同一の条件が設定される、
請求項８または請求項９に記載の音処理装置。

【請求項15】

音源の音信号および前記音源の位置情報を含む音情報を受信し、
前記音源の直接音の音像を、前記音源の位置情報に基づいて定位させる第１定位処理を前記音源の音信号に施し、
前記音源の間接音の音像を、前記音源の位置情報に基づいて定位させる第２定位処理を前記音源の音信号に施し、
前記音源または空間に関する条件を受け付けて、
前記条件に基づいて、オブジェクトベース処理またはチャンネルベース処理のいずれかを選択して、前記第２定位処理を施す、
処理をコンピュータに実行させる音処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一実施形態は、音処理方法、音処理装置、および音処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、チャンネルベースの音をスピーカから出力させ、オブジェクトベースの音をヘッドフォンから出力させる情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２２／４４２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

先行技術文献に開示された情報処理装置は、直接音の定位に関する処理を行うものであって、室内の反射音等の間接音の定位に関する処理を行うものではない。

【0005】

ヘッドフォンで音源の音を聴く場合、所定の空間の響きを再現するために間接音の音像を定位させることが重要である。しかし、間接音の数が多くなると、演算量が膨大になり、適切な間接音の音像定位処理ができない。したがって、利用者は、最適な響きの体験を得ることができない。

【0006】

本発明の一実施形態は、適切な間接音の音像定位処理を実現し、利用者が最適な響きの体験を得ることができる音処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る音処理方法は、音源の音信号および前記音源の位置情報を含む音情報を受信し、前記音源の直接音の音像を、前記音源の位置情報に基づいて定位させる第１定位処理を前記音源の音信号に施し、前記音源の間接音の音像を、前記音源の位置情報に基づいて定位させる第２定位処理を前記音源の音信号に施し、前記音源または空間に関する条件を受け付けて、前記条件に基づいて、オブジェクトベース処理またはチャンネルベース処理のいずれかを選択して、前記第２定位処理を施す。

【発明の効果】

【0008】

本発明の一実施形態によれば、適切な間接音の音像定位処理を実現し、利用者が最適な響きの体験を得ることができる。

【図面の簡単な説明】

【0009】

【図1】音処理装置１の構成を示すブロック図である。

【図2】プロセッサ１２の機能的構成を示すブロック図である。

【図3】プロセッサ１２により実行される音処理方法の動作を示すフローチャートである。

【図4】コンテンツの作成者がコンテンツの作成時に利用するツールの画面（ＧＵＩ）の一例を示す図である。

【図5】音源と受聴者の位置関係を示す模式図である。

【図6】音源と受聴者の位置関係を示す模式図である。

【発明を実施するための形態】

【0010】

図１は、音処理装置１の構成を示すブロック図である。音処理装置１は、ＰＣ（パーソナルコンピュータ）、スマートフォン、セットトップボックス、あるいはオーディオレシーバ等の情報処理装置により実現される。音処理装置１は、ヘッドフォン２０に接続される。

【0011】

音処理装置１は、サーバ等のコンテンツ配信装置からコンテンツに係る音情報を受信し、該音情報を再生する。コンテンツは、音楽、演劇、ミュージカル、講演会、朗読会、あるいはゲーム等の音情報を含む。音処理装置１は、これら音情報に含まれる音源の直接音、および当該コンテンツに関わる空間の響き（間接音）を再生する。

【0012】

音処理装置１は、通信部１１、プロセッサ１２、ＲＡＭ１３、フラッシュメモリ１４、表示器１５、ユーザＩ／Ｆ１６、およびオーディオＩ／Ｆ１７を備えている。

【0013】

通信部１１は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）等の無線通信機能、あるいはＵＳＢまたはＬＡＮ等の有線通信機能を有する。

【0014】

表示器１５は、ＬＣＤやＯＬＥＤ等からなる。表示器１５は、プロセッサ１２の出力した映像を表示する。コンテンツ配信装置から配信されるコンテンツが映像情報を含む場合、プロセッサ１２は、該映像情報を再生し、コンテンツに係る映像を表示器１５に表示する。

【0015】

ユーザＩ／Ｆ１６は、操作部の一例である。ユーザＩ／Ｆ１６は、マウス、キーボード、あるいはタッチパネル等からなる。ユーザＩ／Ｆ１６は、利用者の操作を受け付ける。なお、タッチパネルは、表示器１５に積層されていてもよい。

【0016】

オーディオＩ／Ｆ１７は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）等の無線通信機能、あるいはアナログオーディオ端子またはデジタルオーディオ端子等を有し、音響機器を接続する。本実施形態では、音処理装置１は、ヘッドフォン２０を接続し、ヘッドフォン２０に音信号を出力する。

【0017】

プロセッサ１２は、ＣＰＵ、ＤＳＰ、またはＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）等からなる。プロセッサ１２は、記憶媒体であるフラッシュメモリ１４からプログラムを読み出し、ＲＡＭ１３に一時記憶することで、種々の動作を行う。なお、プログラムは、フラッシュメモリ１４に記憶している必要はない。プロセッサ１２は、例えば、サーバ等の他装置から必要な場合にダウンロードしてＲＡＭ１３に一時記憶してもよい。

【0018】

図２は、プロセッサ１２の機能的構成を示すブロック図である。図３は、プロセッサ１２により実行される音処理方法の動作を示すフローチャートである。プロセッサ１２は、フラッシュメモリ１４から読み出したプログラムにより、機能的に図２に示す構成を実現する。

【0019】

プロセッサ１２は、機能的に、受信部１２０および信号処理部１１０を有する。信号処理部１１０は、条件受付部１５０、選択部１５１、第１定位処理部１２１、および第２定位処理部１２２を有する。第１定位処理部１２１は、オブジェクトベース処理部１７１を有する。第２定位処理部１２２は、チャンネルベース処理部１９１およびオブジェクトベース処理部１９２を有する。

【0020】

受信部１２０は、通信部１１を介して、サーバ等のコンテンツ配信装置からコンテンツに係る音情報を受信する（Ｓ１１）。音情報は、音源の音信号および音源の位置情報を含む。音源とは、コンテンツを構成する歌唱音、話者の声、演奏音、効果音、あるいは環境音等を意味する。

【0021】

本実施形態の音情報は、オブジェクトベース方式に対応する。オブジェクトベース方式とは、音源毎に独立して音信号および位置情報を格納する方式である。これに対してチャンネルベース方式とは、音源毎の音信号を予め混合して１または複数のチャンネルの音信号に格納する方式である。

【0022】

受信部１２０は、受信した音情報から音源毎の音信号および位置情報を取り出す。そして、条件受付部１５０は、音源または空間に関する条件を受け付ける（Ｓ１２）。

【0023】

音源に関する条件とは、音源の属性、音源の静的特性、または音源の動的特性である。音源の属性とは、例えば音源の種別（歌唱音、話者の声、演奏音、効果音、あるいは環境音等）または音源の重要度に関する情報である。音源の静的特性とは、例えば音源の音量または周波数特性に関する情報である。音源の動的特性とは、例えば音源の位置と受聴点の位置との距離、または音源の移動量に関する情報である。

【0024】

空間の条件とは、空間の属性、空間の静的特性、または空間の動的特性である。空間の属性とは、空間の種別（ルーム、ホール、スタジアム、スタジオ、あるいはチャーチ等）または空間の重要度に関する情報である。空間の静的特性とは、空間の響きの数（反射音の数）に関する情報である。空間の動的特性とは、空間を構成する壁面の位置と受聴点の位置との距離に関する情報である。

【0025】

以上の様な音源または空間に関する条件は、コンテンツを再生する音処理装置１において、ユーザＩ／Ｆ１６を介して音処理装置１のユーザから受け付けてもよい。あるいは、コンテンツの作成者は、コンテンツの作成時に所定のツールを用いて、音源毎あるいは空間毎に条件を指定してもよい。

【0026】

図４は、コンテンツの作成者がコンテンツの作成時に利用するツールの画面（ＧＵＩ）の一例を示す図である。図４に示すツールのＧＵＩでは、コンテンツ作成者は、音源毎に、種別および重要度を設定することができる。この様な設定は、コンテンツ毎に行う場合もあるし、コンテンツ内のシーン毎に行う場合もある。また、図４に示すツールのＧＵＩでは、コンテンツ作成者は、空間毎に、種別および重要度を設定することができる。設定した音源または空間の種別および重要度に関する情報は、コンテンツの音情報に格納され、音処理装置１等の再生装置に配信される。条件受付部１５０は、コンテンツの音情報に格納されている音源または空間の種別および重要度に関する情報を取り出して、音源または空間に関する条件を受け付ける。

【0027】

次に、選択部１５１は、条件受付部１５０で受け付けた条件に基づいて、間接音に施す定位処理について、オブジェクトベース処理またはチャンネルベース処理のいずれかを選択する（Ｓ１３）。本実施形態では一例として、選択部１５１は、コンテンツの音情報に含まれる、音源の重要度に基づいてオブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。

【0028】

その後、プロセッサ１２は、音源毎の位置情報に基づいて、音源の直接音の音像をオブジェクトベース処理で定位させる第１定位処理と、音源の間接音の音像をオブジェクトベース処理またはチャンネルベース処理のいずれかで定位させる第２定位処理と、を音源の音信号に施す（Ｓ１４）。ただし、第１定位処理は、チャンネルベース処理で行ってもよい。

【0029】

オブジェクトベース処理は、例えばＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に基づく処理である。ＨＲＴＦは、音源の位置から受聴者の右耳および左耳に至る伝達関数を表す。

【0030】

図５は、ある空間Ｒ１における受聴者５０と音源５１の位置関係を示す模式図である。本実施形態では一例として平面視した２次元の空間Ｒ１を示すが、空間は２次元でも３次元でもよい。音源５１の位置情報は、空間Ｒ１内の所定の位置を基準とした２次元または３次元の座標、または受聴者５０の位置を基準とした２次元または３次元の座標で表される。また、音源５１の位置情報は、コンテンツの再生開始時からの経過時間に応じた時系列の２次元または３次元の座標で表される。音源は、再生開始から終了まで位置変化のない音源もあるし、演者の様に時系列に沿って位置変化する音源もある。

【0031】

空間Ｒ１の情報は、例えばライブハウスやコンサートホール等の所定の会場に対応する３次元空間の形状を示す情報であり、ある位置を原点とした３次元の座標で表される。空間情報は、実在のコンサートホール等の会場の３ＤＣＡＤデータに基づく座標情報であってもよいし、ある架空の会場の論理的な座標情報（０～１で正規化された情報）であってもよい。なお、空間の位置情報は、ワールド座標およびローカル座標を含んでいてもよい。例えばゲームのコンテンツでは、仮想的なワールド空間内に複数のローカル空間が存在する。

【0032】

空間の情報および受聴者の位置は、予めコンテンツの作成者が上記ＧＵＩ等のツールで指定してもよいし、音処理装置１の利用者がユーザＩ／Ｆ１６を介して指定してもよい。ゲームのコンテンツでは、利用者がユーザＩ／Ｆ１６を介して仮想的なワールド空間内のキャラクタのオブジェクト（受聴者の位置）を移動させる。

【0033】

図５の例では、歌唱者の音源５１の位置は、受聴者５０から見て正面から所定距離離れている。第１定位処理部１２１のオブジェクトベース処理部１７１は、歌唱者の音源５１に対応する音信号に、受聴者５０の正面の所定距離離れた位置に定位する様なＨＲＴＦを畳み込むバイノーラル処理を行う。より具体的には、オブジェクトベース処理部１７１は、音源５１の音信号に対して、音源５１の位置から受聴者５０の右耳に至るＨＲＴＦを畳み込むことでＲチャンネルの音信号を生成する。また、オブジェクトベース処理部１７１は、音源５１の音信号に対して、音源５１の位置から受聴者５０の左耳に至るＨＲＴＦを畳み込むことでＬチャンネルの音信号を生成する。これらＬチャンネルおよびＲチャンネルの音信号がオーディオＩ／Ｆ１７を介してヘッドフォン２０に出力される。音処理装置１の利用者は、ヘッドフォン２０でＬチャンネルおよびＲチャンネルの音を聴く。

【0034】

これにより、音処理装置１の利用者は、空間Ｒ１内の受聴者５０の位置に居て、自身の正面に歌唱者が居て、音源５１に対応する歌唱音を聴いている様に知覚することができる。

【0035】

第２定位処理部１２２は、歌唱者の音源５１の間接音の音像をオブジェクトベース処理またはチャンネルベース処理のいずれかで定位させる第２定位処理を行う。図５は、間接音の音像として、オブジェクトベース処理により、空間Ｒ１の壁面で６つの反射音５３Ｖ１～５３Ｖ６を定位させる例を示す。

【0036】

選択部１５１がオブジェクトベース処理を選択した場合、オブジェクトベース処理部１９２は、反射音５３Ｖ１～５３Ｖ６の位置に基づいて、歌唱者の音源５１の音信号に対し、ＨＲＴＦを畳み込む処理を行う。オブジェクトベース処理部１９２は、例えば音源の位置、３ＤＣＡＤデータ等に基づく会場の壁面の位置、および受聴点の位置に基づいて、受聴点から見た反射音の位置を計算し、当該反射音の位置に音像を定位させるＨＲＴＦを音源の音信号に畳み込む。すなわちこの場合、オブジェクトベース処理部１９２は、６つのＨＲＴＦの畳み込み処理を行う。なお、反射音５３Ｖ１～５３Ｖ６の位置は、例えばある会場（例えば実際のライブ会場）で複数のマイクを用いてインパルス応答を測定することで取得してもよい。

【0037】

これにより、音処理装置１の利用者は、空間Ｒ１における音源５１の響きを明瞭に知覚することできる。

【0038】

一方で、反射音の数が多くなるほど演算量は増大する。図５の例では説明のために６つの反射音を定位させる場合を示したが、実際の空間における反射音の数は、数十あるいは数百になる場合もある。

【0039】

そこで、本実施形態の音処理装置１は、選択部１５１において音源または空間に関する条件に基づいて、オブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。本実施形態の例では、選択部１５１は、音源の重要度または空間の重要度に基づいて、オブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。例えば、選択部１５１は、所定の閾値（例えば重要度６）以上の音源または空間についてオブジェクトベース処理を選択する。例えば図４の例では、選択部１５１は、重要度１０（ボーカル）および重要度６（ギター）の音源について、オブジェクトベース処理を選択する。あるいは、選択部１５１は、図４に示す重要度１０（教会）、重要度８（ホール）、重要度６（ルーム）の空間が指定された場合に、オブジェクトベース処理を選択する。上述した様に、空間の情報は、予めコンテンツの作成者が指定する場合もあるし、音処理装置１の利用者がユーザＩ／Ｆ１６を介して指定する場合もある。例えば予めコンテンツの作成者が教会の空間を指定した場合でも、音処理装置１の利用者が重要度２のスタジオの空間を指定した場合、選択部１５１は、重要度が閾値未満であると判断してチャンネルベース処理を選択してもよい。あるいは、コンテンツがゲーム等の複数の空間を含む場合に、利用者がユーザＩ／Ｆ１６を介して仮想的なワールド空間内のキャラクタのオブジェクト（受聴者の位置）を、ある空間（例えば教会）から別のある空間（例えばスタジオ）に移動させた場合、選択部１５１は、オブジェクトベース処理を選択した状態から、チャンネルベース処理を選択した状態に変更する。

【0040】

チャンネルベース処理は、複数の反射音に係る音信号を、所定のレベル比で複数チャンネル（本実施形態ではＬチャンネルおよびＲチャンネル）に分配する処理である。チャンネルベース処理部１９１は、反射音の位置情報および受聴点の位置に基づいて、反射音の到来方向を計算する。そして、チャンネルベース処理部１９１は、到来方向に基づくレベル比で、音源の音信号をＬチャンネルおよびＲチャンネルに分配する。例えば、ＬチャンネルおよびＲチャンネルに同じレベルで分配すれば、利用者は左右の中心に音源の定位感を得る。Ｒチャンネルの音信号のレベルが大きいほど利用者は右方向に音源の定位感を得る。Ｌチャンネルの音信号のレベルが大きいほど利用者は左方向に音源の定位感を得る。

【0041】

また、チャンネルベース処理部１９１は、反射音の位置情報および受聴点の位置に基づいて、受聴点と反射音の位置との距離を計算してもよい。チャンネルベース処理部１９１は、計算した距離に基づく遅延を音源の音信号に分配付与してもよい。遅延量が大きいほど利用者は遠い位置に音源の定位感を得る。遅延量が小さいほど利用者は近い位置に音源の定位感を得る。このように、チャンネルベース処理部１９１は、遅延を付与することで、距離感を与えてもよい。

【0042】

なお、音処理装置１は、チャンネルベース処理においても、ＬチャンネルおよびＲチャンネルに分配した後の音信号に、それぞれＨＲＴＦを畳み込む処理を行ってもよい。図６は、音源と受聴者の位置関係を示す模式図である。この場合のＨＲＴＦは、例えば、受聴者５０の前方、左側に存在するＬチャンネルスピーカ５３Ｌおよび右側に存在するＲチャンネルスピーカ５３Ｒの位置に音像が定位する様な伝達関数に対応する。これにより、ヘッドフォン２０で反射音を聴いている利用者は、頭内から離れた前方、左側および右側に仮想的に存在するスピーカからＬチャンネルおよびＲチャンネルの音が再生されている様に知覚できる。チャンネルベース処理部１９１は、この様な仮想的なスピーカから音が再生されている様に知覚する状態において上記の遅延を付与することで、利用者に反射音との距離感を強く感じさせることができ、間接音の定位感を向上させることができる。

【0043】

また、この例のチャンネル数は２つであるが、チャンネル数は２つに限らない。例えば、チャンネルは、受聴者の後方のサラウンドチャンネル、あるいは高さ方向のハイトチャンネルを含んでいてもよい。チャンネルベース処理部１９１は、サラウンドチャンネルあるいはハイトチャンネルに音信号を分配してもよい。チャンネルベース処理部１９１は、分配した後の音信号に、それぞれＨＲＴＦを畳み込む処理を行ってもよい。この場合のＨＲＴＦは、サラウンドチャンネルあるいはハイトチャンネルに対応するスピーカの位置に音像が定位する様な伝達関数に対応する。これにより、ヘッドフォン２０で反射音を聴いている利用者は、頭内から離れた後方または上方に仮想的に存在するスピーカから音が再生されている様に知覚することもできる。

【0044】

チャンネルベース処理では、複数の反射音をＬチャンネルおよびＲチャンネルの音信号に分配する処理であり、オブジェクトベース処理のように複雑なフィルタ処理を多数行うことがない。上記の様なＬチャンネルスピーカ５３ＬおよびＲチャンネルスピーカ５３Ｒの位置に音像が定位する様なＨＲＴＦを畳み込む処理を行っても、例えば１０個の反射音をＬチャンネルおよびＲチャンネルに分配すれば、ＨＲＴＦを畳み込む処理の負荷は１／１０に低下する。したがって、チャンネルベース処理では、反射音の数が膨大になった場合でもオブジェクトベース処理に比べて演算量を著しく抑えることができる。

【0045】

そして、上記の例では、コンテンツの作成者は、音源毎または空間毎に間接音の重要性を考えて、音源毎または空間毎に重要度を設定している。例えば歌唱音やセリフ等の声に関する音源は、受聴者の注目度が高くなる傾向があるため、間接音の重要性も高くなる。そこで、コンテンツの作成者は、歌唱音やセリフ等の声に関する音源に高い重要度を設定する。一方で、声以外の音源（特にベースのような低音の楽器の音）は、受聴者の注目度が低くなる傾向があるため、間接音の重要性も低くなる。そこで、コンテンツの作成者は、声以外の音源に低い重要度を設定する。

【0046】

あるいは、例えばホールや教会等の様に特徴的で響きの多い空間は、間接音の重要性が高くなる。そこで、コンテンツの作成者は、ホールや教会等の特徴的で響きの多い空間に高い重要度を設定する。一方で、スタジオ等の響きの少ない空間は、間接音の重要性も低くなる。そこで、コンテンツの作成者は、スタジオ等の響きの少ない空間に低い重要度を設定する。

【0047】

あるいは、コンテンツの作成者が意図的に響きを聴かせたい音源または空間に対して、意図的に高い重要度を設定する場合もある。

【0048】

本実施形態の音処理装置１は、この様な重要度の高い音源（図４の例ではボーカルおよびギターの音源）または重要度の高い空間（図４の例ではルーム、ホール、および教会）についてオブジェクトベース処理を選択し、重要度の低い音源（図４の例ではベースおよびドラムの音源）または重要度の低い空間（図４の例ではスタジアムおよびスタジオ）についてチャンネルベース処理を選択することで、演算量を抑えながらも利用者に対して最適な響きの体験を提供することができる。

【0049】

（変形例１）
変形例１に係る音処理装置１は、音源の種別に基づいてオブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。音源の種別は、例えば図４に示した様にコンテンツの作成者が指定する。あるいは、音処理装置１が音信号を解析して音源の種別を判定してもよい。

【0050】

変形例１では、選択部１５１は、音源の種別に基づいてオブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。

【0051】

例えば、選択部１５１は、歌唱音あるいはセリフ音等の声に関わる種別の音源である場合に、オブジェクトベース処理を選択する。また、選択部１５１は、声以外の種別の音源である場合にチャンネルベース処理を選択する。

【0052】

また、選択部１５１は、効果音に関わる種別の音源である場合に、オブジェクトベース処理を選択する。また、選択部１５１は、環境音に関わる種別の音源である場合にチャンネルベース処理を選択する。

【0053】

これにより、音処理装置１の利用者は、注目度の高い種別の音源の響きを知覚し易くなる。また、注目度の低い種別の音源はチャンネルベース処理により演算量を著しく抑えることができる。したがって、変形例１の音処理装置１は、演算量を抑えながらも利用者に対して最適な響きの体験を提供することができる。

【0054】

（変形例２）
変形例２では、選択部１５１は、空間の種別に基づいてオブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。空間の種別は、図４に示したように予めコンテンツの作成者がＧＵＩ等のツールで指定してもよいし、音処理装置１の利用者がユーザＩ／Ｆ１６を介して指定してもよい。例えば、音処理装置１の利用者は、あるコンサートのコンテンツを聴いている場合に、会場の種別をホールからルームに変更したり、教会に変更したりして、異なる響きを体感することができる。

【0055】

選択部１５１は、指定された空間の種別に基づいてオブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。例えば、選択部１５１は、教会あるいはホール等の特徴的で響きの多い種別の空間である場合に、オブジェクトベース処理を選択する。また、選択部１５１は、スタジオ等の響きの少ない種別の空間である場合にチャンネルベース処理を選択する。

【0056】

これにより、特徴的で響きの多い種別の空間に関わるコンテンツを再生する場合、音処理装置１の利用者は、該空間の響きを知覚し易くなり、該空間をよりリアルに体感することができる。また、響きの少ない種別の空間に関わるコンテンツを再生する場合には演算量を著しく抑えることができる。したがって、変形例２の音処理装置１は、演算量を抑えながらも利用者に対して最適な響きの体験を提供することができる。

【0057】

（変形例３）
変形例３では、選択部１５１は、音源の静的特性に基づいてオブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。

【0058】

音源の静的特性とは、例えば音源の音量または音質（周波数特性）に関する情報である。選択部１５１は、音量の大きい（例えば所定値以上のレベルを有する）音源である場合に、オブジェクトベース処理を選択する。また、選択部１５１は、音量の小さい（例えば所定値未満のレベルを有する）音源である場合にチャンネルベース処理を選択する。

【0059】

また、受聴者は、高周波数帯域の音について方向感を強く感じることができる。そこで、選択部１５１は、高周波数帯域に高いレベルを有する（例えば１ｋＨｚ以上の帯域のパワーが所定値以上である）音源である場合に、オブジェクトベース処理を選択する。選択部１５１は、高周波数帯域に低いレベルを有する（例えば１ｋＨｚ以上の帯域のパワーが所定値未満である）音源である場合に、チャンネルベース処理を選択する。

【0060】

これにより、音処理装置１の利用者は、注目度の高くなる特性を有する音源の響きを明瞭に知覚することできる。また、注目度の低くなる特性を有する音源はチャンネルベース処理により演算量を著しく抑えることができる。したがって、変形例３の音処理装置１は、演算量を抑えながらも利用者に対して最適な響きの体験を提供することができる。

【0061】

（変形例４）
変形例４では、選択部１５１は、音源の動的特性に基づいてオブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。

【0062】

音源の動的特性とは、例えば音源の位置と受聴点の位置との距離、または音源の移動量に関する情報である。受聴点に近い、あるいは移動量の大きい音源は受聴者の注目度が高くなる。

【0063】

選択部１５１は、例えば音源に近い（音源の位置と受聴点の位置との距離が所定値以下になる）音源である場合に、オブジェクトベース処理を選択する。選択部１５１は、音源から遠い（音源の位置と受聴点の位置との距離が所定値より大きい）音源である場合に、チャンネルベース処理を選択する。

【0064】

また、選択部１５１は、例えば移動量の多い（単位時間あたりの移動量が所定値以上となる）音源である場合に、オブジェクトベース処理を選択する。選択部１５１は、例えば移動量の少ない（単位時間あたりの移動量が所定値未満となる）音源である場合に、チャンネルベース処理を選択する。

【0065】

これにより、音処理装置１の利用者は、注目度の高い音源の響きを明瞭に知覚することできる。また、注目度の低くなる音源はチャンネルベース処理により演算量を著しく抑えることができる。したがって、変形例４の音処理装置１は、演算量を抑えながらも利用者に対して最適な響きの体験を提供することができる。

【0066】

（変形例５）
変形例５では、選択部１５１は、空間の静的特性に基づいてオブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。

【0067】

空間の静的特性とは、空間の響きの数（反射音の数）に関する情報である。反射音の数は、例えば空間を構成する壁面の反射率によって定まる。壁面の反射率が高い場合、反射音の数は多くなる。壁面の反射率が低い場合、反射音の数は少なくなる。選択部１５１は、反射音の多い（壁面の反射率が所定以上となる）空間である場合に、オブジェクトベース処理を選択する。選択部１５１は、例えば反射音の少ない（壁面の反射率が所定値未満となる）空間である場合に、チャンネルベース処理を選択する。

【0068】

これにより、反射音の多い空間に関わるコンテンツを再生する場合、音処理装置１の利用者は、該空間の響きを知覚し易くなり、該空間をよりリアルに体感することができる。また、反射音の少ない空間に関わるコンテンツを再生する場合には演算量を著しく抑えることができる。したがって、変形例５の音処理装置１は、演算量を抑えながらも利用者に対して最適な響きの体験を提供することができる。

【0069】

（変形例６）
変形例６では、選択部１５１は、空間の動的特性に基づいてオブジェクトベース処理またはチャンネルベース処理のいずれかを選択する。

【0070】

空間の動的特性とは、空間を構成する壁面の位置と受聴点の位置との距離に関する情報である。選択部１５１は、例えば受聴点と壁面の位置が近い（受聴点の位置と壁面の位置との距離が所定値以下になる）場合に、オブジェクトベース処理を選択する。選択部１５１は、受聴点と壁面の位置が遠い（受聴点の位置と壁面の位置との距離が所定値より大きい）である場合に、チャンネルベース処理を選択する。

【0071】

これにより、受聴者は、壁面に近く、反射音に注目しやすい状況の場合により響きを知覚し易くなり、空間の響きを明瞭に知覚することできる。また、壁面から遠く、反射音の注目度が低くなる場合に演算量が著しく抑制される。したがって、変形例６の音処理装置１は、演算量を抑えながらも利用者に対して最適な響きの体験を提供することができる。

【0072】

（変形例７）
変形例７の音処理装置１は、第２定位処理を施す機器の処理能力に関する条件を受け付け、該処理能力に基づいて、オブジェクトベース処理またはチャンネルベース処理を選択する。

【0073】

処理能力は、例えば、プロセッサのコア数、スレッド数、クロック周波数、キャッシュ容量、バス速度、あるいは使用率等である。選択部１５１は、例えばプロセッサのコア数、スレッド数、クロック周波数、キャッシュ容量、およびバス速度が所定値以上である場合に、オブジェクトベース処理を選択する。選択部１５１は、プロセッサのコア数、スレッド数、クロック周波数、キャッシュ容量、およびバス速度が所定値未満である場合に、チャンネルベース処理を選択する。

【0074】

選択部１５１は、プロセッサの使用率が所定値以下である場合に、オブジェクトベース処理を選択してもよい。選択部１５１は、プロセッサの使用率が所定値より高い場合に、チャンネルベース処理を選択してもよい。プロセッサの使用率は、機器の処理負荷に応じて変化する。この場合、選択部１５１は、プロセッサの処理負荷に応じてオブジェクトベース処理またはチャンネルベース処理の選択を動的に切り替える。なお、オブジェクトベース処理とチャンネルベース処理を切り替える閾値は、音処理装置１の利用者が指定してもよい。利用者は、例えば省電力を重視したい場合には、閾値を低い値に指定する。

【0075】

これにより、変形例７の音処理装置１は、演算量を抑えながらも利用者に対して最適な響きの体験を提供することができる。

【0076】

（変形例８）
音情報は、複数の音源のグループ情報を含んでいてもよい。コンテンツの作成者は、コンテンツの作成時に所定のツールを用いて、複数の音源をあるグループに指定する。コンテンツの作成者は、例えばあるキャラクタのセリフの音源と、当該キャラクタの装着している物の音、足音、当該キャラクタに付随する効果音等を同じグループに指定する。同じグループに指定された複数の音源は、同一の条件が設定される。

【0077】

選択部１５１は、例えば声に関わる種別の音源である場合、あるいは重要度の高い音源である場合に、当該音源と同じグループに属する全ての音源について、オブジェクトベース処理を選択する。

【0078】

これにより、注目度の高い音源に付随する効果音には全てオブジェクトベース処理が適用される。したがって、変形例８の音処理装置１は、演算量を抑えながらも利用者に対してより違和感の無い、最適な響きの体験を提供することができる。

【0079】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【符号の説明】

【0080】

１ ：音処理装置
１１ ：通信部
１２ ：プロセッサ
１３ ：ＲＡＭ
１４ ：フラッシュメモリ
１５ ：表示器
１６ ：ユーザＩ／Ｆ
１７ ：オーディオＩ／Ｆ
２０ ：ヘッドフォン
５０ ：受聴者
５１ ：音源
５３Ｌ ：Ｌチャンネルスピーカ
５３Ｒ ：Ｒチャンネルスピーカ
５３Ｖ１ ：反射音
１１０ ：信号処理部
１２０ ：受信部
１２１ ：第１定位処理部
１２２ ：第２定位処理部
１５０ ：条件受付部
１５１ ：選択部
１７１ ：オブジェクトベース処理部
１９１ ：チャンネルベース処理部
１９２ ：オブジェクトベース処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】