特開 2023-120129 情報処理方法、情報処理システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023120129

(43)【公開日】2023-08-29

(54)【発明の名称】情報処理方法、情報処理システムおよびプログラム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20230822BHJP

   G10K 15/00 20060101ALI20230822BHJP

【ＦＩ】

H04S7/00 300

G10K15/00 L

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022083957

(22)【出願日】2022-05-23

(31)【優先権主張番号】63/311,054

(32)【優先日】2022-02-17

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】トレビーニョ ホルヘ

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA13

5D162BA14

5D162CC22

5D162CC23

5D162DA02

5D162DA41

5D162EG02

(57)【要約】

【課題】多様な音場を再現する。
【解決手段】情報処理システムは、第１音場の特徴を表す第１音場パラメータと、第１音場とは音響特性が相違する第２音場の特徴を表す第２音場パラメータとを取得し、第１音場パラメータと第２音場パラメータとを利用して、第１音場および第２音場とは異なる音響特性を有する第３音場の特徴を表す第３音場パラメータを生成する。
【選択図】図８

【特許請求の範囲】

【請求項1】

第１音場の特徴を表す第１音場パラメータと、前記第１音場とは音響特性が相違する第２音場の特徴を表す第２音場パラメータとを取得し、
前記第１音場パラメータと前記第２音場パラメータとを利用して、前記第１音場および前記第２音場とは異なる音響特性を有する第３音場の特徴を表す第３音場パラメータを生成する
コンピュータシステムにより実現される情報処理方法。

【請求項2】

前記第３音場パラメータの生成においては、前記第１音場パラメータおよび前記第２音場パラメータの各々が利用者からの指示に応じた度合で反映された前記第３音場パラメータを生成する
請求項１の情報処理方法。

【請求項3】

前記第３音場パラメータの生成においては、前記利用者からの操作に応じて連続的に変化する指示値を適用した演算により、前記第１音場パラメータと前記第２音場パラメータとから前記第３音場パラメータを生成する
請求項２の情報処理方法。

【請求項4】

さらに、相異なるスピーカに供給される複数の音響信号の各々を、前記第３音場パラメータに応じて加重する
請求項１から請求項３の何れかの情報処理方法。

【請求項5】

前記第１音場パラメータおよび前記第２音場パラメータの各々は、相異なる球面調和関数に対応する複数の展開係数を含む
請求項１から請求項３の何れかの情報処理方法。

【請求項6】

前記第１音場パラメータおよび前記第２音場パラメータの各々は、１個の球面上における音響エネルギーの分布を表すパラメータである
請求項１から請求項３の何れかの情報処理方法。

【請求項7】

前記第３音場パラメータの生成においては、前記第１音場パラメータと前記第２音場パラメータとの加重和により前記第３音場パラメータを生成する
請求項１から請求項３の何れかの情報処理方法。

【請求項8】

前記第３音場パラメータの生成においては、前記第３音場において、前記第１音場の音響エネルギーのピークと前記第２音場の音響エネルギーのピークとの中間に音響エネルギーが位置するように、前記第３音場パラメータを生成する
請求項１から請求項３の何れかの情報処理方法。

【請求項9】

第１音場の特徴を表す第１音場パラメータと、前記第１音場とは音響特性が相違する第２音場の特徴を表す第２音場パラメータとを取得する取得部と、
前記第１音場パラメータと前記第２音場パラメータとを利用して、前記第１音場および前記第２音場とは異なる音響特性を有する第３音場の特徴を表す第３音場パラメータを生成する生成部と
を具備する情報処理システム。

【請求項10】

第１音場の特徴を表す第１音場パラメータと、前記第１音場とは音響特性が相違する第２音場の特徴を表す第２音場パラメータとを取得する取得部、および、
前記第１音場パラメータと前記第２音場パラメータとを利用して、前記第１音場および前記第２音場とは異なる音響特性を有する第３音場の特徴を表す第３音場パラメータを生成する生成部、
としてコンピュータシステムを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音場を制御する技術に関する。

【背景技術】

【0002】

受聴者が知覚する音場を制御するための各種の技術が従来から提案されている。例えば特許文献１には、複数のマイクにより収録された信号から音場情報パラメータ群を算出し、音場情報パラメータ群の原点を移動作用素により移動することで、新規な音場情報パラメータ群を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１９１９８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば高次アンビソニックス技術等の音響再生技術の普及を背景として、多様な音場を再現することが高度に要求されている。以上の事情を考慮して、本開示のひとつの態様は、多様な音場を再現することを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本開示のひとつの態様に係る情報処理方法は、第１音場の特徴を表す第１音場パラメータと、前記第１音場とは音響特性が相違する第２音場の特徴を表す第２音場パラメータとを取得し、前記第１音場パラメータと前記第２音場パラメータとを利用して、前記第１音場および前記第２音場とは異なる音響特性を有する第３音場の特徴を表す第３音場パラメータを生成する。

【0006】

本開示のひとつの態様に係る情報処理システムは、第１音場の特徴を表す第１音場パラメータと、前記第１音場とは音響特性が相違する第２音場の特徴を表す第２音場パラメータとを取得する取得部と、前記第１音場パラメータと前記第２音場パラメータとを利用して、前記第１音場および前記第２音場とは異なる音響特性を有する第３音場の特徴を表す第３音場パラメータを生成する生成部とを具備する。

【0007】

本開示のひとつの態様に係るプログラムは、第１音場の特徴を表す第１音場パラメータと、前記第１音場とは音響特性が相違する第２音場の特徴を表す第２音場パラメータとを取得する取得部、および、前記第１音場パラメータと前記第２音場パラメータとを利用して、前記第１音場および前記第２音場とは異なる音響特性を有する第３音場の特徴を表す第３音場パラメータを生成する生成部、としてコンピュータシステムを機能させる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態における情報システムの構成を例示するブロック図である。

【図2】情報提供システムの構成を例示するブロック図である。

【図3】球状マイクロホンアレイの説明図である。

【図4】解析処理のフローチャートである。

【図5】離散ウェーブレット変換の説明図である。

【図6】球面調和関数の説明図である。

【図7】情報処理システムの構成を例示するブロック図である。

【図8】再生処理のフローチャートである。

【図9】合成処理のフローチャートである。

【図10】合成処理の説明図である。

【図11】第２実施形態における合成処理の説明図である。

【図12】第３実施形態における電子楽器の構成を例示するブロック図である。

【発明を実施するための形態】

【0009】

Ａ：第１実施形態
図１は、第１実施形態における情報システム１００の構成を例示するブロック図である。第１実施形態の情報システム１００は、情報提供システム１０と情報処理システム２０とを具備する。情報処理システム２０は、例えばインターネット等の通信網２００を介して情報提供システム１０と通信可能である。情報提供システム１０は例えばサーバシステムで実現され、情報処理システム２０は、例えばスマートフォン、タブレット端末またはパーソナルコンピュータ等の情報装置で実現される。

【0010】

情報提供システム１０は、特定の音場の特徴を表す音場パラメータＺ（Ｚ1，Ｚ2）を生成するコンピュータシステムである。音場の特徴とは、例えば、受聴点に対する到来音の音圧の分布である。具体的には、受聴点を中心とする球面上における音響エネルギーの分布が、音場パラメータＺにより表現される。特定の音場の音場パラメータＺは、当該音場を任意の空間において再現するためのパラメータとも表現される。

【0011】

第１実施形態の情報提供システム１０は、第１音場の特徴を表す音場パラメータＺ1と、第２音場の特徴を表す音場パラメータＺ2とを生成する。第１音場と第２音場とは、音響特性が相違する音響空間に形成される音場である。例えば、第１音場と第２音場とは、相異なる音響ホールに対応する音場である。具体的には、第１音場と第２音場との間においては、音響空間の形状、サイズまたは吸音率等、音波の伝播に関する各種の条件が相違する。なお、第１音場または第２音場は、特定の音響特性に設計された音響ホールのほか、内壁面での反射が殆ど発生しない無響室でもよい。以下の説明において、第１音場と第２音場とを区別する必要がない場合には、両者を「観測音場」と総称する。音場パラメータＺ1および音場パラメータＺ2は、通信網２００を介して情報処理システム２０に提供される。なお、音場パラメータＺ1は「第１音場パラメータ」の一例であり、音場パラメータＺ2は「第２音場パラメータ」の一例である。

【0012】

情報処理システム２０は、利用者Ｕが所在する音響空間Ｒに設置される。情報処理システム２０は、音場パラメータＺ1と音場パラメータＺ2を利用して音場パラメータＺ3を生成する。音場パラメータＺ3は、第１音場および第２音場とは異なる音響特性を有する第３音場の特徴を表すパラメータである。具体的には、第３音場は、第１音場と第２音場との中間的な音響特性を有する音場である。すなわち、第３音場は、第１音場の音響特性と第２音場の音響特性との双方が反映された音場である。なお、第３音場は、第１音場の音響特性と第２音場の音響特性とが均等に反映された音場には限定されない。例えば、第２音場と比較して第１音場が優勢に反映された音場、または第１音場と比較して第２音場が優勢に反映された音場も「第３音場」には包含される。情報処理システム２０は、音場パラメータＺ3を利用して第３音場を音響空間Ｒに再現する。すなわち、情報処理システム２０は、音響空間Ｒ内の利用者Ｕが第３音場を知覚するように音響再生を制御する。なお、音場パラメータＺ3は「第３音場パラメータ」の一例である。

【0013】

［情報提供システム１０］
図２は、情報提供システム１０の構成を例示するブロック図である。情報提供システム１０は、制御装置１１と記憶装置１２と通信装置１３とを具備する。なお、情報提供システム１０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。

【0014】

制御装置１１は、情報提供システム１０の各要素を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置１１が構成される。

【0015】

通信装置１３は、通信網２００を介して情報処理システム２０と通信する。例えば、通信装置１３は、音場パラメータＺ1および音場パラメータＺ2を情報処理システム２０に送信する。なお、通信装置１３と通信網２００との間の通信は有線通信および無線通信の何れでもよい。

【0016】

記憶装置１２は、制御装置１１が実行するプログラムと、制御装置１１が使用する各種のデータとを記憶する単数または複数のメモリである。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として利用される。なお、例えば、情報提供システム１０に対して着脱される可搬型の記録媒体、または、制御装置１１が通信網２００を介してアクセス可能な記録媒体（例えばクラウドストレージ）が、記憶装置１２として利用されてもよい。

【0017】

記憶装置１２は、第１音場および第２音場の各々についてＱ個の観測信号Ｘ(1)～Ｘ(Q)を記憶する。第１音場に対応するＱ個の観測信号Ｘ(1)～Ｘ(Q)は、第１音場において相互に並列に収音された音波の波形を表す信号である。同様に、第２音場に対応するＱ個の観測信号Ｘ(1)～Ｘ(Q)は、第２音場において相互に並列に収音された音波の波形を表す信号である。

【0018】

観測音場（第１音場／第２音場）におけるＱ個の観測信号Ｘ(1)～Ｘ(Q)の生成には、図３の球状マイクロホンアレイ３０が利用される。球状マイクロホンアレイ３０は、半径ｒの球状の筐体３１の表面にＱ個のマイクロホン３２が分散的に設置された収音装置である。任意の１個の観測信号Ｘ(q)は、Ｑ個のマイクロホン３２のうち第ｑ番目（ｑ＝１～Ｑ）のマイクロホン３２が観測音場で収音した音響の波形を表す信号である。第１音場の観測信号Ｘ(q)は、球状マイクロホンアレイ３０が第１音場に設置された状態で収録され、第２音場の観測信号Ｘ(q)は、球状マイクロホンアレイ３０が第２音場に設置された状態で収録される。したがって、各観測信号Ｘ(q)には観測音場の音響特性が反映される。

【0019】

図４は、制御装置１１が音場パラメータＺを生成する処理（以下「解析処理」という）のフローチャートである。第１音場および第２音場の各々について解析処理が実行される。すなわち、第１音場に関する解析処理により音場パラメータＺ1が生成され、第２音場に関する解析処理により音場パラメータＺ2が生成される。

【0020】

制御装置１１は、観測音場（第１音場／第２音場）で収録されたＱ個の観測信号Ｘ(1)～Ｘ(Q)を記憶装置１２から取得する（Ｓa1）。制御装置１１は、各観測信号Ｘ(q)をＫ個の音響成分Ｃ(q,1)～Ｃ(q,K)に分解する（Ｓa2）。Ｋ個の音響成分Ｃ(q,1)～Ｃ(q,K)は、観測信号Ｘ(q)において相異なる周波数帯域に対応する成分である。

【0021】

第１実施形態の制御装置１１は、離散ウェーブレット変換により観測信号Ｘ(q)から音響成分Ｃ(q,1)～Ｃ(q,K)を生成する。具体的には、各音響成分Ｃ(q,k)の生成には、図５に例示されるハール（Haar）ウェーブレットが利用される。図５の符号「Ｈ」は高域通過フィルタ（HPF：high-pass filter）を意味し、符号「Ｌ」は低域通過フィルタ（LPF：Low-pass filter）を意味する。また、符号「ＤＳ」は、サンプリング周波数を半分に低減するダウンサンプリングを意味する。

【0022】

図５に例示される通り、離散ウェーブレット変換により、１個の近似成分ｃ(q,0)とＫ個の詳細成分ｃ(q,1)～ｃ(q,K)とが生成される。制御装置１１は、以下の数式(1)の演算により、Ｋ個の音響成分Ｃ(q,1)～Ｃ(q,K)を生成する。

【数1】

数式(1)の記号λは所定の正数であり、例えば観測信号Ｘ(q)のＳＮ（signal-to-noise）比に応じて設定される。音響成分Ｃ(q,k)は、球状マイクロホンアレイ３０の第ｑ番目のマイクロホン３２に対する到来音のうち第ｋ番目の成分の音圧に相当する。

【0023】

図４に例示される通り、制御装置１１は、観測音場の音場パラメータＺを生成する（Ｓa3）。音場パラメータＺは、Ｑ個の観測信号Ｘ(1)～Ｘ(Q)の各々における音響成分Ｃ(q,k)（Ｃ(1,k)～Ｃ(Q,k)）に対応する展開係数Ｂnm(k)の集合である。展開係数Ｂnm(k)は、図６に例示される通り、次数（degree）ｎと位数（order）ｍとの組合せに対応する球面調和関数Ｙnmに対応する加重値（球面調和係数）である。具体的には、制御装置１１は、以下の数式(2)の演算により展開係数Ｂnm(k)を算定する。

【数2】

数式(2)における関数Ｊnは、ｎ次の球ベッセル関数を意味し、記号＊は複素共役を意味する。記号ｄΩは面積分を意味する。記号ｒは、前述の通り、音波が収音される球面（すなわち筐体３１）の半径である。

【0024】

以上の説明から理解される通り、第１実施形態の音場パラメータＺは、相異なる球面調和関数Ｙnmに対応する複数の展開係数Ｂnm(k)を含む。具体的には、音場パラメータＺは、次数ｎと位数ｍとの相異なる組合せに対応する複数の展開係数Ｂnm(k)を、Ｋ個の周波数帯域の各々について含む。以上の説明から理解される通り、制御装置１１は、ＨＯＡ（higher order Ambisonics）エンコーダとして機能する。情報提供システム１０は、以上の手順で生成した第１音場の音場パラメータＺ1と第２音場の音場パラメータＺ2とを情報処理システム２０に送信する。

【0025】

［情報処理システム２０］
図７は、情報処理システム２０の構成を例示するブロック図である。情報処理システム２０は、制御装置２１と記憶装置２２と通信装置２３と操作装置２４と再生システム２５とを具備する。なお、情報処理システム２０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。

【0026】

制御装置２１は、情報処理システム２０の各要素を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ、ＧＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣ等の１種類以上のプロセッサにより、制御装置２１が構成される。

【0027】

通信装置２３は、通信網２００を介して情報提供システム１０と通信する。例えば、通信装置２３は、音場パラメータＺ1および音場パラメータＺ2を情報提供システム１０から受信する。なお、通信装置２３と通信網２００との間の通信は有線通信および無線通信の何れでもよい。

【0028】

記憶装置２２は、制御装置２１が実行するプログラムと、制御装置２１が使用する各種のデータとを記憶する単数または複数のメモリである。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置２２として利用される。なお、例えば、情報提供システム１０に対して着脱される可搬型の記録媒体、または、制御装置２１が通信網２００を介してアクセス可能な記録媒体（例えばクラウドストレージ）が、記憶装置２２として利用されてもよい。

【0029】

第１実施形態の記憶装置２２は、通信装置２３が受信した音場パラメータＺ1および音場パラメータＺ2を記憶する。また、記憶装置２２は、音響信号Ａを記憶する。音響信号Ａは、例えば演奏音または歌唱音等の音響の波形を表す複数のチャンネルの信号である。音響信号Ａのデータ形式は任意である。

【0030】

操作装置２４は、利用者Ｕによる操作を受付ける入力機器である。例えば、利用者Ｕが操作する操作子、または、利用者Ｕによる接触を検知するタッチパネルが、操作装置２４として利用される。なお、情報処理システム２０とは別体の操作装置２４が、情報処理システム２０に対して有線または無線により接続されてもよい。

【0031】

利用者Ｕは、操作装置２４を操作することで情報処理システム２０に指示値Ｗを指示することが可能である。指示値Ｗは、音場パラメータＺ1および音場パラメータＺ2の各々が音場パラメータＺ3に反映される度合を表す変数である。指示値Ｗは、操作装置２４に対する利用者Ｕからの操作に応じて連続的に変化する。例えば、操作装置２４は、回転可能なツマミ等の回転操作子、または直線的に往復可能なスライダ等の往復操作子を含む。指示値Ｗは、回転操作子の角度または往復操作子の位置に応じて連続的に変化する。具体的には、指示値Ｗは０以上かつ１以下の範囲内において、利用者Ｕからの指示に応じて設定される。

【0032】

再生システム２５は、相異なるチャンネルに対応する複数のスピーカ２５１で構成される音響システムである。例えば３個以上のスピーカ２５１で構成されるサラウンドシステム、または２個のスピーカ２５１で構成されるステレオシステムが、再生システム２５として例示される。

【0033】

複数のスピーカ２５１は、音響空間内の相異なる位置に設置される。例えば、複数のスピーカ２５１は利用者Ｕの周囲に配置される。各スピーカ２５１は、音響信号Ａが表す音響を放射する放音装置である。具体的には、各チャンネルの音響信号Ａが当該チャンネルのスピーカ２５１に供給されることで音波が放射される。なお、各チャンネルの音響信号Ａをデジタルからアナログに変換するＤ/Ａ変換器、および音響信号Ａを増幅する増幅器については図示が便宜的に省略されている。また、情報処理システム２０とは別個の再生システム２５が情報処理システム２０に有線または無線により接続されてもよい。

【0034】

図８は、制御装置２１が実行する処理（以下「再生処理」という）のフローチャートである。例えば操作装置２４に対する利用者Ｕからの操作を契機として再生処理が開始される。再生処理が開始されると、制御装置２１は、音場パラメータＺ1と音場パラメータＺ2とを記憶装置２２から取得する（Ｓb1）。以上の通り、制御装置２１は、音場パラメータＺ1と音場パラメータＺ2とを取得する要素（取得部）として機能する。なお、音場パラメータＺ1および音場パラメータＺ2の取得先は記憶装置２２に限定されない。例えば、制御装置２１は、情報提供システム１０から送信された音場パラメータＺ1および音場パラメータＺ2を、通信網２００を介して通信装置２３により受信してもよい。

【0035】

制御装置２１は、指示値Ｗの変更の指示を利用者Ｕから受付けたか否かを判定する（Ｓb2）。指示値Ｗの変更の指示を受付けた場合（Ｓb2：YES）、制御装置２１は、指示値Ｗを利用者Ｕから指示された数値に更新する（Ｓb3）。

【0036】

制御装置２１は、合成処理を実行する（Ｓb4）。合成処理は、音場パラメータＺ1と音場パラメータＺ2とを利用して音場パラメータＺ3を生成する処理である。合成処理には、更新後の指示値Ｗが適用される。他方、指示値Ｗの変更が指示されていない場合（Ｓb2：NO）、指示値Ｗの更新（Ｓb3）と合成処理（Ｓb4）とは実行されない。以上の説明から理解される通り、制御装置２１は、音場パラメータＺ1と音場パラメータＺ2とから音場パラメータＺ3を生成する要素（生成部）として機能する。

【0037】

図９は、合成処理のフローチャートである。合成処理が開始されると、制御装置２１は、音場パラメータＺ1から第１音場の音響エネルギー分布Ｄ1を生成する（Ｓb41）。音響エネルギー分布Ｄ1は、半径ｒの球面上における音響エネルギー（音圧）の分布である。具体的には、制御装置２１は、音場パラメータＺ1に含まれる複数の展開係数Ｂnm(k)を加重値として適用した複数の球面調和関数Ｙnmの加重和を、音響エネルギー分布Ｄ1として算定する。

【0038】

同様に、制御装置２１は、音場パラメータＺ2から第２音場の音響エネルギー分布Ｄ2を生成する（Ｓb42）。具体的には、制御装置２１は、音場パラメータＺ2に含まれる複数の展開係数Ｂnm(k)を加重値として適用した複数の球面調和関数Ｙnmの加重和を、音響エネルギー分布Ｄ2として算定する。なお、音響エネルギー分布Ｄ1の生成（Ｓb41）と音響エネルギー分布Ｄ2の生成（Ｓb42）との先後は反転されてよい。

【0039】

図１０は、合成処理の説明図である。図１０には、第１音場の音響エネルギー分布Ｄ1と第２音場の音響エネルギー分布Ｄ2とが模式的に図示されている。音響エネルギー分布Ｄ1は音響エネルギーのピークＰ1を含み、音響エネルギー分布Ｄ2は音響エネルギーのピークＰ2を含む。

【0040】

制御装置２１は、音響エネルギー分布Ｄ1における音響エネルギーのピークＰ1と、音響エネルギー分布Ｄ2における音響エネルギーのピークＰ2との中間に音響エネルギーのピークＰ3が位置するように、第３音場の音響エネルギー分布Ｄ3を生成する（Ｓb43）。

【0041】

具体的には、音響エネルギー分布Ｄ3のピークＰ3の位置は、音響エネルギー分布Ｄ1のピークＰ1の位置と音響エネルギー分布Ｄ2のピークＰ2の位置とを指示値Ｗに応じて内分した位置に設定される。具体的には、指示値Ｗが最小値０に近付くほど、音響エネルギー分布Ｄ3のピークＰ3は音響エネルギー分布Ｄ1のピークＰ1に近付き、指示値Ｗが最大値１に近付くほど、音響エネルギー分布Ｄ3のピークＰ3は音響エネルギー分布Ｄ2のピークＰ2に近付く。指示値Ｗが最小値０に設定されている場合、音響エネルギー分布Ｄ1が音響エネルギー分布Ｄ3として適用され、指示値Ｗが最大値１に設定されている場合、音響エネルギー分布Ｄ2が音響エネルギー分布Ｄ3として適用される。なお、音響エネルギー分布Ｄ1のピークＰ1と音響エネルギー分布Ｄ2のピークＰ2との比較には、例えばワッサースタイン（Wasserstein）距離が利用される。

【0042】

制御装置２１は、以上の処理で生成した音響エネルギー分布Ｄ3に対応する音場パラメータＺ3を生成する（Ｓb44）。音場パラメータＺ3は、相異なる球面調和関数Ｙnmに対応する複数の展開係数Ｂnm(k)を含む。以上の説明から理解される通り、制御装置２１は、音場パラメータＺ1および音場パラメータＺ2の各々が利用者Ｕからの指示に応じた度合で反映された音場パラメータＺ3を生成する。合成処理の具体的な手順は以上の通りである。

【0043】

図８に例示される通り、制御装置２１は、記憶装置２２に記憶された複数の音響信号Ａの各々を音場パラメータＺ3に応じて加重する（Ｓb5）。すなわち、制御装置２１は、音場パラメータＺ3が表す第３音場が音響空間Ｒ内に形成されるように、各チャンネルの音響信号Ａの音量および位相を制御する。すなわち、制御装置２１はＨＯＡデコーダとして機能する。音場パラメータＺ3を適用した音場の制御には公知の技術が任意に採用される。

【0044】

制御装置２１は、音場パラメータＺ3に応じた制御後の各音響信号Ａを、再生システム２５において当該音響信号Ａに対応するスピーカ２５１に供給する（Ｓb6）。音響信号Ａに応じた音波が各スピーカ２５１から放射されることで、音響空間Ｒには第３音場が形成される。すなわち、利用者Ｕは、第１音場および第２音場とは異なる第３音場を知覚できる。

【0045】

制御装置２１は、所定の終了条件が成立したか否かを判定する（Ｓb7）。終了条件は、例えば利用者Ｕから終了が指示されたこと、または音響信号Ａの全部の再生が終了したことである。終了条件が成立しない場合（Ｓb7：NO）、制御装置２１は処理をステップＳb2に移行する。すなわち、利用者Ｕにより指示値Ｗの変更が指示されるたびに、指示値Ｗの更新（Ｓb3）と更新後の指示値Ｗを適用した合成処理（Ｓb4）とが実行される。終了条件が成立した場合（Ｓb7：YES）、制御装置２１は再生処理を終了する。

【0046】

以上に説明した通り、第１実施形態においては、第１音場の音場パラメータＺ1と第２音場の音場パラメータＺ2とを利用して第３音場の音場パラメータＺ3が生成される。したがって、第１音場と第２音場との間の多様な音場を再現できる。第１実施形態においては特に、音場パラメータＺ3に対する音場パラメータＺ1および音場パラメータＺ2の影響の度合が利用者Ｕからの指示（指示値Ｗ）に応じて制御される。したがって、利用者Ｕの意図に応じた第３音場を再現できる。また、第１実施形態においては、音場パラメータＺ3の生成に適用される指示値Ｗが利用者Ｕからの指示に応じて連続的に変化する。したがって、第１音場および第２音場の一方から他方に連続的に変化する過程にある任意の第３音場について音場パラメータＺ3を生成できる。すなわち、第１音場と第２音場とをモーフィングすることが可能である。

【0047】

Ｂ：第２実施形態
第２実施形態を説明する。なお、以下に例示する各態様において機能が第１実施形態と同様である要素については、第１実施形態の説明と同様の符号を流用して各々の詳細な説明を適宜に省略する。

【0048】

図１１は、第２実施形態における合成処理の説明図である。図１０を参照して前述した通り、第１実施形態の合成処理においては、第１音場における音響エネルギーのピークＰ1と第２音場における音響エネルギーのピークＰ2との中間に音響エネルギーのピークＰ3が位置するように、第３音場の音響エネルギー分布Ｄ3が生成される。第２実施形態の制御装置２１は、合成処理において、音場パラメータＺ1と音場パラメータＺ2との加重和により第３音場の音場パラメータＺ3を生成する。

【0049】

具体的には、制御装置２１は、音響エネルギー分布Ｄ1と音響エネルギー分布Ｄ2との加重和により第３音場の音響エネルギー分布Ｄ3を生成する。図１１に例示される通り、音響エネルギー分布Ｄ3は、音響エネルギー分布Ｄ1に対応するピークＰ31と音響エネルギー分布Ｄ2に対応するピークＰ32とを含む。ピークＰ31の位置は、音響エネルギー分布Ｄ1におけるピークＰ1と同じ位置であり、ピークＰ32の位置は、音響エネルギー分布Ｄ2におけるピークＰ2と同じ位置である。

【0050】

音響エネルギー分布Ｄ3におけるピークＰ31の数値は、音響エネルギー分布Ｄ1のピークＰ1の数値に対して指示値Ｗに応じた加重値（１－Ｗ）を乗算した数値に設定される。音響エネルギー分布Ｄ3におけるピークＰ32の数値は、音響エネルギー分布Ｄ2のピークＰ2の数値に対して指示値Ｗを乗算した数値に設定される。したがって、指示値Ｗが最小値０に近付くほど、ピークＰ31の数値は増加し、かつ、ピークＰ32の数値は減少する。他方、指示値Ｗが最大値１に近付くほど、ピークＰ31の数値は減少し、かつ、ピークＰ32の数値は増加する。指示値Ｗが最小値０に設定されている場合、音響エネルギー分布Ｄ1が音響エネルギー分布Ｄ3として適用され、指示値Ｗが最大値１に設定されている場合、音響エネルギー分布Ｄ2が音響エネルギー分布Ｄ3として適用される。

【0051】

合成処理以外の動作は第１実施形態と同様である。したがって、第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態においては、音場パラメータＺ1と音場パラメータＺ2との加重和（例えば平均）により第３音場の音場パラメータＺ3が生成される。したがって、第１実施形態と比較して合成処理に必要な処理負荷を軽減できる。

【0052】

他方、第１実施形態においては、第１音場における音響エネルギー分布Ｄ1のピークＰ1と第２音場における音響エネルギー分布Ｄ2のピークＰ2との中間の位置にピークＰ3が位置するように、第３音場の音場パラメータＺ3が生成される。したがって、第２実施形態と比較して、第１音場と第２音場との中間の音響特性を利用者Ｕが明確に知覚可能な第３音場の音場パラメータＺ3を生成できるという利点がある。

【0053】

Ｃ：第３実施形態
図１２は、第３実施形態における電子楽器４０の構成を例示するブロック図である。電子楽器４０は、利用者Ｕによる演奏操作に応じた音響を再生する情報処理システムである。図１２に例示された電子楽器４０は、第１実施形態の情報処理システム２０と同様の要素（制御装置２１，記憶装置２２，通信装置２３、操作装置２４，再生システム２５）に加えて鍵盤２６と音源装置２７とを具備する電子鍵盤楽器である。

【0054】

鍵盤２６は、相異なる複数の音高に対応する複数の鍵で構成される。音源装置２７は、利用者Ｕが操作する鍵に対応する音高の楽音を表す音響信号Ａを生成する。なお、制御装置２１がプログラムを実行することで音源装置２７の機能が実現されてもよい。すなわち、利用者Ｕによる演奏操作に応じて音響信号Ａを生成する要素（音源部）は、制御装置２１により実現されるソフトウェア音源、および音響信号Ａの生成に専用されるハードウェア音源（音源装置２７）の何れにより実現されてもよい。

【0055】

第１実施形態においては、記憶装置２２に記憶された音響信号Ａに音場パラメータＺ3を適用した（Ｓb5）。第３実施形態の制御装置２１は、音源装置２７が生成した音響信号Ａに音場パラメータＺ3を適用する。音響信号Ａを取得する方法以外は第１実施形態と同様である。したがって、第３実施形態においても第１実施形態と同様の効果が実現される。以上の説明においては第１実施形態を基礎として第３実施形態を説明したが、第２実施形態が電子楽器４０に適用されてもよい。

【0056】

第３実施形態においても第１実施形態と同様に、利用者Ｕによる指示に応じた指示値Ｗが第３音場の音場パラメータＺ3の生成に適用される。したがって、利用者Ｕは、所望の音響特性を有する第３音場で電子楽器４０を演奏できる。例えば、利用者Ｕは、自身が出演する演奏会が開催される予定の音響ホールと同等の音場において、電子楽器４０の演奏を練習できる。また、例えば世界の著名な音響ホールと同等の音場において、電子楽器４０を演奏できる。

【0057】

Ｄ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。前述の実施形態および以下に例示する変形例から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0058】

（１）前述の各形態においては、音場パラメータＺ（Ｚ1～Ｚ3）が、相異なる球面調和関数Ｙnmに対応する複数の展開係数Ｂnm(k)を含む構成を例示したが、音場パラメータＺの内容は以上の例示に限定されない。音場パラメータＺが、１個の球面上における音響エネルギー分布Ｄ（Ｄ1～Ｄ3）を表す形態も想定される。例えば、音場パラメータＺ1は、第１音場の音響エネルギー分布Ｄ1を表し、音場パラメータＺ2は、第２音場の音響エネルギー分布Ｄ2を表す。同様に、第３音場の音響エネルギー分布Ｄ3を表す音場パラメータＺ3が利用されてもよい。また、音場パラメータＺ1と音場パラメータＺ2と音場パラメータＺ3とは、相異なる種類または形式のパラメータでもよい。例えば、音場パラメータＺ1および音場パラメータＺ2が複数の展開係数Ｂnm(k)で構成され、音場パラメータＺ3が第３音場の音響エネルギー分布Ｄ3を表す形態も想定される。

【0059】

（２）第１実施形態においては、音響エネルギー分布Ｄ1のピークＰ1と音響エネルギー分布Ｄ2のピークＰ2との中間にピークＰ3を配置することで第３音場の音響エネルギー分布Ｄ3を生成したが、合成処理の具体的な手順は以上の例示に限定されない。例えば、指示値Ｗの相異なる数値に対応する複数の音場パラメータＺが選択候補として記憶装置２２に事前に記憶された形態も想定される。各選択候補の音場パラメータＺは、複数の展開係数Ｂnm(k)で構成されてもよいし、音響エネルギー分布Ｄを表現するパラメータでもよい。選択候補毎にピークＰ3の位置が相違する。合成処理において、制御装置２１は、記憶装置２２に記憶された複数の選択候補のうち利用者Ｕから指示された指示値Ｗに対応する選択候補を、第３音場の音響エネルギー分布Ｄ3として選択する。第２実施形態においても同様に、指示値Ｗの相異なる数値に対応する複数の音場パラメータＺが選択候補として記憶装置２２に事前に記憶された形態が想定される。

【0060】

（３）前述の各形態においては、離散ウェーブレット変換により観測信号Ｘ(q)からＫ個の音響成分Ｃ(q,1)～Ｃ(q,K)を生成したが、Ｋ個の音響成分Ｃ(q,1)～Ｃ(q,K)を生成する方法は以上の例示に限定されない。例えば、観測信号Ｘ(q)に対する離散フーリエ変換により、相異なる周波数帯域に対応するＫ個の音響成分Ｃ(q,1)～Ｃ(q,K)を生成してもよい。ただし、離散ウェーブレット変換を利用する前述の形態によれば、離散フーリエ変換を利用する形態と比較して、周波数分解能と時間分解能とを両立できるという利点がある。なお、通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクを利用して、観測信号Ｘ(q)からＫ個の音響成分Ｃ(q,1)～Ｃ(q,K)を生成してもよい。以上の説明から理解される通り、音響成分Ｃ(q,1)～Ｃ(q,K)の生成は、周波数領域での演算に限定されず、時間領域での演算で実現されてもよい。

【0061】

（４）前述の各形態においては、利用者Ｕの周囲に配置される複数のスピーカ２５１を再生システム２５が具備する形態を例示したが、再生システム２５は、利用者Ｕの頭部に装着されるヘッドホンでもよい。なお、ヘッドホンは、利用者Ｕの耳に装着されるイヤホンを含む。

【0062】

再生システム２５がヘッドホンである形態においては、音場パラメータＺ3に頭部伝達関数（頭部インパルス応答）が合成され、合成後の音場パラメータＺ3を利用して音響信号Ａの音場が制御される。すなわち、第３音場を利用者Ｕが知覚するバイノーラル再生が実現される。なお、音場パラメータＺ3が反映された音響信号Ａに頭部伝達関数を畳込む形態も想定される。

【0063】

（５）前述の各形態においては、Ｑ個の観測信号Ｘ(1)～Ｘ(Q)を利用して音場パラメータＺを生成する解析処理を情報提供システム１０の制御装置１１が実行したが、情報処理システム２０の制御装置２１が解析処理を実行してもよい。

【0064】

（６）例えばスマートフォンまたはタブレット端末等の情報装置との間で通信するサーバ装置により、前述の各形態における情報処理システム２０が実現されてもよい。情報処理システム２０の制御装置２１は、情報装置の利用者Ｕからの指示に応じた指示値Ｗを当該情報装置から通信装置２３により受信する。制御装置２１は、指示値Ｗを適用した前述の合成処理により第３音場の音場パラメータＺ3を生成する。制御装置２１は、音場パラメータＺ3を通信装置２３から情報装置に送信する。情報装置は、音場パラメータＺ3を適用した音響信号Ａの再生を実行する。なお、音場パラメータＺ3を適用した音響信号Ａが、情報処理システム２０から情報装置に送信されてもよい。

【0065】

（７）前述の各形態に係る情報処理システム２０の機能は、前述の通り、制御装置２１を構成する単数または複数のプロセッサと、記憶装置２２に記憶されたプログラムとの協働により実現される。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記録媒体が、前述の非一過性の記録媒体に相当する。

【0066】

Ｅ：付記
以上に例示した形態から、例えば以下の構成が把握される。

【0067】

本開示のひとつの態様（態様１）に係る情報処理方法は、第１音場の特徴を表す第１音場パラメータと、前記第１音場とは音響特性が相違する第２音場の特徴を表す第２音場パラメータとを取得し、前記第１音場パラメータと前記第２音場パラメータとを利用して、前記第１音場および前記第２音場とは異なる音響特性を有する第３音場の特徴を表す第３音場パラメータを生成する。以上の態様においては、第１音場の第１音場パラメータと第２音場の第２音場パラメータとを利用して第３音場の第３音場パラメータが生成される。したがって、第１音場と第２音場との間の多様な音場を再現できる。

【0068】

「音場パラメータ」は、音響空間内に形成される音場の音響的な特徴を表すパラメータである。具体的には、音場パラメータは、相異なる球面調和関数Ｙnmに対応する複数の展開係数Ｂnmの集合、または、１個の球面上における音響エネルギーの分布のパラメータ（ΣnΣm｛ＢnmＹnm｝）である。

【0069】

「第１音場パラメータ」は、例えば第１音場が形成される音響空間内における収音の結果を利用して算定される。「第２音場パラメータ」は、例えば第２音場が形成される音響空間内における収音の結果を利用して算定される。ただし、第１音場パラメータおよび第２音場パラメータは、音響空間内における実際の収音により取得されたパラメータに限定されず、例えば演算処理により算定されたパラメータでもよい。例えば、本開示の情報処理方法により生成された音場パラメータを、第１音場パラメータおよび第２音場パラメータの一方として利用することで、さらに別個の音場に対応する音場パラメータを生成してもよい。

【0070】

「第３音場」は、例えば第１音場および第２音場とは異なる特性を有する音場である。例えば、第１音場および第２音場の一方を他方に近付けていく過程にある音場が第３音場である。すなわち、第３音場は、第１音場と第２音場との中間的な特性を有する音場とも表現される。なお、「中間的」とは、第１音場と第２音場との双方の特性が反映されていることを意味し、第１音場と第２音場とが均等に反映された音場には限定されない。例えば、第１音場および第２音場の一方が他方に対して優勢に反映された音場も、「第３音場」には包含される。具体的には、第１音場パラメータと第２音場パラメータとの加重和により第３音場パラメータを生成する形態、または、第１音場における音響エネルギーのピークと第２音場における音響エネルギーのピークとの中間の位置に音響エネルギーのピークが存在するように第３音場パラメータを生成する形態が想定される。

【0071】

態様１の具体例（態様２）において、前記第３音場パラメータの生成においては、前記第１音場パラメータおよび前記第２音場パラメータの各々が利用者からの指示に応じた度合で反映された前記第３音場パラメータを生成する。以上の態様においては、第３音場パラメータに対する第１音場パラメータおよび第２音場パラメータの影響の度合が利用者からの指示に応じて制御される。したがって、利用者の意図に応じた第３音場を再現できる。

【0072】

態様２の具体例（態様３）において、前記第３音場パラメータの生成においては、前記利用者からの操作に応じて連続的に変化する指示値を適用した演算により、前記第１音場パラメータと前記第２音場パラメータとから前記第３音場パラメータを生成する。以上の態様においては、第３音場パラメータの生成に適用される指示値が利用者からの指示に応じて連続的に変化する。したがって、第１音場および第２音場の一方から他方に連続的に変化する過程にある任意の第３音場について、第３音場パラメータを生成できる。なお、指示値は、例えば回転可能なツマミ等の操作子、または直線的に移動可能なスライダ等の操作子に対する操作に応じて、連続的に変化する数値である。

【0073】

態様１から態様３の何れかの具体例（態様４）において、さらに、相異なるスピーカに供給される複数の音響信号の各々を、前記第３音場パラメータに応じて加重する。以上の態様においては、第３音場パラメータに応じて加重された複数の音響信号の各々が相異なるスピーカに供給される。したがって、複数のスピーカからの放射音を受聴した利用者は、第１音場および第２音場とは異なる第３音場を知覚できる。

【0074】

態様１から態様４の何れかの具体例（態様５）において、前記第１音場パラメータおよび前記第２音場パラメータの各々は、相異なる球面調和関数に対応する複数の展開係数を含む。また、態様１から態様４の何れかの具体例（態様６）において、前記第１音場パラメータおよび前記第２音場パラメータの各々は、１個の球面上における音響エネルギーの分布を表すパラメータである。なお、「音響エネルギーの分布」は、例えば、複数の展開係数Ｂnmを加重値として適用した複数の球面調和関数Ｙnmの加重和（ΣnΣm｛ＢnmＹnm｝）である。

【0075】

態様１から態様５の何れかの具体例（態様７）において、前記第３音場パラメータの生成においては、前記第１音場パラメータと前記第２音場パラメータとの加重和により前記第３音場パラメータを生成する。以上の態様においては、第１音場パラメータと第２音場パラメータとの加重和（例えば平均）により第３音場パラメータが生成される。したがって、第３音場パラメータの生成に必要な処理負荷を軽減できる。

【0076】

態様１から態様５の何れかの具体例（態様８）において、前記第３音場パラメータの生成においては、前記第３音場において、前記第１音場の音響エネルギーのピークと前記第２音場の音響エネルギーのピークとの中間に音響エネルギーが位置するように、前記第３音場パラメータを生成する。以上の態様においては、第１音場の音響エネルギーのピークと第２音場の音響エネルギーのピークとの中間の位置に第３音場の音響エネルギーのピークが位置するように、第３音場パラメータが生成される。したがって、第１音場と第２音場との中間の音響特性を受聴者が明確に知覚可能な第３音場の第３音場パラメータを生成できる。

【0077】

本開示のひとつの態様（態様９）に係る情報処理システムは、第１音場の特徴を表す第１音場パラメータと、前記第１音場とは音響特性が相違する第２音場の特徴を表す第２音場パラメータとを取得する取得部と、前記第１音場パラメータと前記第２音場パラメータとを利用して、前記第１音場および前記第２音場とは異なる音響特性を有する第３音場の特徴を表す第３音場パラメータを生成する生成部とを具備する。なお、情報処理システムは、汎用のコンピュータシステムのほか、電子楽器等の演奏用のコンピュータシステムも包含する。

【0078】

本開示のひとつの態様（態様１０）に係るプログラムは、第１音場の特徴を表す第１音場パラメータと、前記第１音場とは音響特性が相違する第２音場の特徴を表す第２音場パラメータとを取得する取得部、および、前記第１音場パラメータと前記第２音場パラメータとを利用して、前記第１音場および前記第２音場とは異なる音響特性を有する第３音場の特徴を表す第３音場パラメータを生成する生成部、としてコンピュータシステムを機能させる。

【符号の説明】

【0079】

１００…情報システム、２００…通信網、１０…情報提供システム、１１，２１…制御装置、１２，２２…記憶装置、１３，２３…通信装置、２０…情報処理システム、２４…操作装置、２５…再生システム、２５１…スピーカ、２６…鍵盤、２７…音源装置、３０…球状マイクロホンアレイ、３１…筐体、３２…マイクロホン、４０…電子楽器。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】