(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-19
(45)【発行日】2024-02-28
(54)【発明の名称】音響装置、音響処理方法及びプログラム
(51)【国際特許分類】
G10K 15/00 20060101AFI20240220BHJP
H04R 3/00 20060101ALI20240220BHJP
H04S 7/00 20060101ALI20240220BHJP
H04R 3/12 20060101ALI20240220BHJP
【FI】
G10K15/00 L
H04R3/00 310
H04S7/00 320
H04R3/12 Z
(21)【出願番号】P 2021566902
(86)(22)【出願日】2020-11-13
(86)【国際出願番号】 JP2020042351
(87)【国際公開番号】W WO2021131385
(87)【国際公開日】2021-07-01
【審査請求日】2022-03-25
(31)【優先権主張番号】P 2019237741
(32)【優先日】2019-12-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(73)【特許権者】
【識別番号】000227205
【氏名又は名称】NECプラットフォームズ株式会社
(74)【代理人】
【識別番号】100106909
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】宮原 良次
(72)【発明者】
【氏名】山口 僚太
(72)【発明者】
【氏名】大杉 孝司
【審査官】中嶋 樹理
(56)【参考文献】
【文献】特開2007-228526(JP,A)
【文献】国際公開第2019/225192(WO,A1)
【文献】SAVIOJA, Lauri et al.,Creating Interactive Virtual Acoustic Environments,Journal of the Audio Engineering Society,米国,Audio Engineering Society,1999年09月01日,Vol.47, No.9,pp.675-705,http://www.aes.org/e-lib/browse.cfm?elib=12095
【文献】MOELLER, Henrik et al.,Head-Related Transfer Functions of Human Subjects,Journal of the Audio Engineering Society,米国,Audio Engineering Society,1995年05月01日,Vol.43, No.5,pp.300-321,http://www.aes.org/e-lib/browse.cfm?elib=7949
【文献】FREELAND, Fa'bio P. et al.,Efficient HRTF Interpolation in 3D Moving Sound,Proc. Audio Engineering Society 22nd International Conference on Virtual, Synthetic, and Entertainme,米国,Audio Engineering Society,2002年06月01日,pp.1-9,http://www.aes.org/e-lib/browse.cfm?elib=11146
(58)【調査した分野】(Int.Cl.,DB名)
G10K 15/00
H04R 3/00
H04S 7/00
H04R 3/12
(57)【特許請求の範囲】
【請求項1】
観測者を中心とした同心球状に配置された複数のスピーカからインパルス信号を出力させる信号出力制御手段と、
前記観測者の頭部インパルス応答を取得する頭部インパルス応答取得手段と、
前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記複数のスピーカの音圧係数と、前記頭部インパルス応答とを乗算する乗算手段と、
乗算手段が乗算した乗算結果を、任意の位置のインパルス応答として記憶手段に記録する記録手段と、
前記記憶手段が記憶するインパルス応答のうち、音を再現したい1つの位置に最も近い位置に対応するインパルス応答を選択する選択手段と、
前記選択手段が選択した前記インパルス応答
である乗算結果に前記音の信号を畳み込む演算を行う演算手段と、
を備える音響装置。
【請求項2】
前記複数のスピーカは、
前記同心球において等間隔に配置される、
請求項1に記載の音響装置。
【請求項3】
前記複数のスピーカは、
観測者を中心とした同心球に含まれる同心円状に配置される、
請求項1または請求項2に記載の音響装置。
【請求項4】
前記同心球状に配置された複数のスピーカは、
前記複数のスピーカが固定され、前記観測者が1つの位置で回転することによって実現される、
請求項1から請求項3の何れか一項に記載の音響装置。
【請求項5】
前記複数のスピーカを備える、請求項1から請求項4の何れか一項に記載の音響装置。
【請求項6】
観測者を中心とした同心球状に配置された複数のスピーカからインパルス信号を出力させることと、
前記観測者の頭部インパルス応答を取得することと、
前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記複数のスピーカの音圧係数と、前記頭部インパルス応答とを乗算することと、
乗算した乗算結果を、任意の位置のインパルス応答として記憶手段に記録することと、
前記記憶手段が記憶するインパルス応答のうち、音を再現したい1つの位置に最も近い位置に対応するインパルス応答を選択することと、
選択した前記インパルス応答
である乗算結果に前記音の信号を畳み込む演算を行うことと、
を含む音響処理方法。
【請求項7】
音響装置のコンピュータに、
観測者を中心とした同心球状に配置された複数のスピーカからインパルス信号を出力させることと、
前記観測者の頭部インパルス応答を取得することと、
前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記複数のスピーカの音圧係数と、前記頭部インパルス応答とを乗算することと、
乗算した乗算結果を、任意の位置のインパルス応答として記憶手段に記録することと、
前記記憶手段が記憶するインパルス応答のうち、音を再現したい1つの位置に最も近い位置に対応するインパルス応答を選択することと、
選択した前記インパルス応答
である乗算結果に前記音の信号を畳み込む演算を行うことと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音響装置、音響処理方法及びプログラムに関する。
【背景技術】
【0002】
コンサートホールや映画館など、様々な場所で立体感のある音の再現が求められている。
特許文献1には、関連する技術として、仮想サラウンドサウンドに関する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、特許文献2に記載の技術は、限定された方位のスピーカで録音した頭部インパルス応答(Head-Related Impulse Response、HRIR)を用いてフーリエ展開で算出した頭部伝達関数(Head-Related Transfer Function、HRTF)から網羅的な方位の頭部伝達関数を生成し、生成した頭部伝達関数から逆フーリエ展開で算出したHRIRを適用する手法であるが、本来の頭部インパルス応答と比較して生成された頭部インパルス応答の再現度は元になった方位数に依存するため、高い立体感を得るためには取得する頭部インパルス応答の方位数を増やす、すなわち、スピーカの数を増やす必要がある。
しかしながら、スピーカ数を増やして録音した場合、再現度の高い頭部インパルス応答を実現するための演算が一般的に複雑になる。そのため、3つ以上のスピーカであればスピーカ数によらず録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を容易に再現するインパルス応答を生成することのできる技術が求められている。
【0005】
本発明の各態様の目的の一例は、上記の課題を解決することのできる音響装置、音響処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の一態様によれば、音響装置は、観測者を中心とした同心球状に配置された複数のスピーカからインパルス信号を出力させる信号出力制御手段と、前記観測者の頭部インパルス応答を取得する頭部インパルス応答取得手段と、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記複数のスピーカの音圧係数と、前記頭部インパルス応答とを乗算する乗算手段と、乗算手段が乗算した乗算結果を、任意の位置のインパルス応答として記憶手段に記録する記録手段と、前記記憶手段が記憶するインパルス応答のうち、音を再現したい1つの位置に最も近い位置に対応するインパルス応答を選択する選択手段と、前記選択手段が選択した前記インパルス応答である乗算結果に前記音の信号を畳み込む演算を行う演算手段と、を備える。
【0007】
上記目的を達成するために、本発明の別の態様によれば、音響処理方法は、観測者を中心とした同心球状に配置された複数のスピーカからインパルス信号を出力させることと、前記観測者の頭部インパルス応答を取得することと、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記複数のスピーカの音圧係数と、前記頭部インパルス応答とを乗算することと、乗算した乗算結果を、任意の位置のインパルス応答として記憶手段に記録することと、前記記憶手段が記憶するインパルス応答のうち、音を再現したい1つの位置に最も近い位置に対応するインパルス応答を選択することと、選択した前記インパルス応答である乗算結果に前記音の信号を畳み込む演算を行うことと、を含む。
【0008】
上記目的を達成するために、本発明の別の態様によれば、プログラムは、音響装置のコンピュータに、観測者を中心とした同心球状に配置された複数のスピーカからインパルス信号を出力させることと、前記観測者の頭部インパルス応答を取得することと、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記複数のスピーカの音圧係数と、前記頭部インパルス応答とを乗算することと、乗算した乗算結果を、任意の位置のインパルス応答として記憶手段に記録することと、前記記憶手段が記憶するインパルス応答のうち、音を再現したい1つの位置に最も近い位置に対応するインパルス応答を選択することと、選択した前記インパルス応答である乗算結果に前記音の信号を畳み込む演算を行うことと、を実行させる。
【発明の効果】
【0009】
本発明の各態様によれば、3つ以上のスピーカであればスピーカ数によらず録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を容易に再現するインパルス応答を生成することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の各実施形態において共通の技術を説明するための第1の図である。
【
図2】本発明の各実施形態において共通の技術を説明するための第2の図である。
【
図3】本発明の第1実施形態による音響装置の構成の一例を示す図である。
【
図4】本発明の第1実施形態におけるスピーカの配置の一例を示す図である。
【
図5】本発明の第1実施形態による音響装置の第1の処理フローの一例を示す図である。
【
図6】本発明の第1実施形態による音響装置の第2の処理フローの一例を示す図である。
【
図7】本発明の第1実施形態による音響装置が行う処理を説明するための図である。
【
図8】本発明の第2実施形態におけるスピーカの配置の一例を示す図である。
【
図9】本発明の第3実施形態による音響装置が行う処理を説明するための図である。
【
図10】本発明の第4実施形態におけるスピーカを説明するための図である。
【
図11】本発明の第1実施形態による音響装置の構成の一例を示す図である。
【
図12】本発明の実施形態による最小構成の音響装置を示す図である。
【
図13】本発明の実施形態による最小構成の音響装置の処理フローの一例を示す図である。
【
図14】少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら実施形態について詳しく説明する。
<各実施形態に共通の考え方>
本発明の各実施形態による音響装置1は、マルチチャンネルサウンド技術を活用し、頭部インパルス応答で立体感のある音を作り出す装置でありながらも、スピーカ数に依存することなくスピーカごとに畳み込み演算が1回で済む装置である。なお、マルチチャンネルサウンド技術とは、3つ以上のスピーカを用いたオーディオシステムの技術総称である。本発明の各実施形態による音響装置1は、マルチチャンネルサウンド技術のうち、パンニングと呼ばれる音像定位技術を活用する。
【0012】
本発明の各実施形態による音響装置1では、まず、観測者を中心とした同心球状に実際に配置されたスピーカ(二次元であれば最低3つ、三次元であれば最低4つが想定される)を用いて、例えば、特開2018-191208号公報に記載されている技術を用いて、観測者個人の頭部インパルス応答を取得する。頭部インパルス応答は、観測者の左右の耳でも異なる。そのため、観測者ごとに、各スピーカにおいて左右二つの頭部インパルス応答を取得する。
【0013】
次に、マルチチャンネルオーディオシステムにおいて、中心から任意の角度に仮想音源を配置し、その音源からインパルス音を発生させる場合の各スピーカの音圧係数を予め求める。なお、仮想音源の配置及び各スピーカの音圧係数は、頭部インパルス応答との相関関係がないため、別途独立して求めることができる。
例えば、
図1に示すように、2つのスピーカを用いて仮想音源を配置した場合には、オーディオシステムの中心にいる観測者の耳に届く音を摸式化する。
図2に示すように、再生する音の信号をS(t)とし、角度θに仮想音源を配置する場合に左右それぞれのスピーカで再生する音の音圧係数をG
L(θ)、G
R(θ)とする。なお、
図1~
図2に示す例では、角度θは15度である。
【0014】
左のスピーカから再生された音S(t)・GL(θ)は、観測者の左右の耳までの伝達経路に依存する頭部インパルス応答HRIRLL及び頭部インパルス応答HRIRLRを畳み込んだ音として、観測者の耳元に到着する。よって、左のスピーカから観測者の左耳には、音S(t)・GL(θ)*HRIRLLが届き、左のスピーカから観測者の右耳には、音S(t)・GL(θ)*HRIRLRが届く。なお、“*”は、畳み込み演算子である。
また、同様に、右のスピーカから再生された音S(t)・GR(θ)は、観測者の左右の耳までの伝達経路に依存する頭部インパルス応答HRIRRL及び頭部インパルス応答HRIRRRを畳み込んだ音として、観測者の耳元に到着する。よって、右のスピーカから観測者の左耳には、音S(t)・GR(θ)*HRIRRLが届き、右のスピーカから観測者の右耳には、音S(t)・GR(θ)*HRIRRRが届く。
したがって、観測者が実際に観測する波形は、これらの音の合成として表現される。つまり、観測者の左耳に届く音は、S(t)・GL(θ)*HRIRLL+S(t)・GL(θ)*HRIRLRとなり、観測者の右耳に届く音は、S(t)・GR(θ)*HRIRRL+S(t)・GR(θ)*HRIRRRとなる。
よって、観測者が実際に観測する音の波形は、次の式(1)となる。
【0015】
【0016】
ここで、簡略化するために観測者の左耳に届く音の波形のみを考えると、観測者の左耳に届く音の波形は、次の式(2)のように変形することができる。
【0017】
【0018】
また、同様に観測者の右耳に届く音の波形のみを考えると、観測者の右耳に届く音の波形は、次の式(3)のように変形することができる。
【0019】
【0020】
本発明の各実施形態による音響装置1では、予め求められた任意の角度θごとの音圧係数と、頭部インパルス応答とを乗算することによって、式(2)における(GL(θ)・HRIRLL+GR(θ)・HRIRRL)及び式(3)における(GL(θ)・HRIRLR+GR(θ)・HRIRRR)を算出し、そこにS(t)を畳み込む単純な演算を行うだけで立体的な音源を作ることができる。なお、畳み込み回数は、左右それぞれ1回ずつであり、スピーカの数が増えてもこの回数は変わらない。
【0021】
以下、本発明の各実施形態による音響装置1について説明するが、各実施形態におけるスピーカ数は一例である。本発明の音響装置1は、3つ以上のスピーカであればスピーカ数に依存せずに任意の場所の音源を容易に再現することのできる装置である。
【0022】
<第1実施形態>
本発明の第1実施形態による音響装置1は、
図3に示すように、スピーカ10a、10b、10c、10d、信号出力制御部20、頭部インパルス応答取得部30、インパルス応答生成部40(乗算手段の一例、記録手段の一例)、インパルス応答記憶部50(記憶手段の一例)、インパルス応答選択部60(選択手段の一例)、畳み込み処理部70(演算手段の一例)、音再生部80を備える。
【0023】
スピーカ10a、10b、10c、10dは、
図4に示すように、観測者を中心とした同心円状に固定されて配置される。例えば、スピーカ10a、10b、10c、10dは、観測者の正面方向を0度として、それぞれ、45度、135度、225度、315度の方位に配置される。スピーカ10a、10b、10c、10dを総称して、スピーカ10と呼ぶ。
スピーカ10は、スピーカ10a、10b、10c、10dの順番にインパルス信号そのもの、または、演算によってインパルス応答を求められる信号を出力する。演算によってインパルス応答を求められる信号とは、例えば、M系列信号、TSP(Time Stretched Pulse)信号などである。スピーカ10それぞれが出力する信号に対応する音によって、観測者の左右の外耳道入り口の頭部インパルス応答が測定される。
【0024】
信号出力制御部20は、インパルス信号そのもの、または、演算によって頭部インパルス応答を求められる信号をスピーカ10から出力させる。
【0025】
頭部インパルス応答取得部30は、観測者の頭部インパルス応答を取得する。頭部インパルス応答取得部30は、観測者の頭部インパルス応答を取得するための外向きマイクを備える。例えば、頭部インパルス応答取得部30は、マイクを有するイヤホンである。
【0026】
インパルス応答生成部40は、スピーカ10から出力されるインパルス信号についての頭部伝達関数に基づいて(例えば、その頭部伝達関数にVBAP(Vector Based Amplitude Panning)法を適用して)、任意の方向のインパルス応答を生成する。
【0027】
インパルス応答記憶部50は、インパルス応答生成部40が生成した任意の方向のインパルス応答を記憶する。
【0028】
インパルス応答選択部60は、インパルス応答記憶部50が記憶するインパルス応答のうち、音を再現したい位置に最も近い位置に該当するインパルス応答を選択する。
【0029】
畳み込み処理部70は、インパルス応答選択部60が選択したインパルス応答について畳み込み処理(演算の一例)を行う。
具体的には、再生する音源であるスピーカから再生された音S(t)に対して選択したインパルス応答HRIRを畳み込む演算を行う。
【0030】
音再生部80は、畳み込み処理が行われたインパルス応答の信号を用いて音を再生する。
【0031】
次に、第1実施形態による音響装置1が行う処理について説明する。
ここでは、
図5~
図6に示す音響装置1の処理フローについて説明する。
【0032】
まず、
図5に示す音響装置1がインパルス応答を生成する処理について説明する。
スピーカ10a、10b、10c、10dは、観測者を中心とした同心円状に固定されて配置される。観測者は、頭部インパルス応答取得部30を装着して、スピーカ10のそれぞれから等距離なる中心位置に着席する。
【0033】
スピーカ10は、信号出力制御部20による制御に基づいて、インパルス信号そのもの、または、演算によってインパルス応答を求められる信号(例えば、M系列信号、TSP信号など)を出力する(ステップS1)。
【0034】
頭部インパルス応答取得部30は、スピーカ10が出力する信号を取得する。これをスピーカ10a、10b、10c、10dの順番に実施する。
頭部インパルス応答取得部30は、取得した信号に基づいて頭部インパルス応答を特定する(ステップS2)。
例えば、頭部インパルス応答取得部30は、取得した信号がインパルス信号以外である場合、取得した信号からスピーカ10それぞれについて頭部インパルス応答を生成する。また、頭部インパルス応答取得部30は、取得した信号がインパルス信号の場合は、取得した信号そのものが頭部インパルス応答となる。
【0035】
インパルス応答生成部40は、マルチチャンネルオーディオシステムにおいて、マルチチャンネルサウンド技術を活用し、中心から任意の角度に仮想音源を配置して、その仮想音源からインパルス音を発生させる場合のスピーカ10それぞれの音圧係数を求める(ステップS3)。
【0036】
インパルス応答生成部40は、スピーカ10それぞれの音圧係数に頭部インパルス応答を乗算することによって、任意の方位のインパルス応答を生成する(ステップS4)。
なお、方位の分解能は、どこまでも細かくすることが可能であるが、データ量と音の立体感との関係から、5度程度の分解能が妥当である。マルチチャンネルオーディオシステムにおいて得られる音圧係数は、DVD(Digital Versatile Disc)やBlue-Rayディスクに保存されている5.1chで利用しているVBAP方式を用いた場合、例えば、2つのスピーカについての次に示す式(4)を5つのスピーカに対応する式に拡張し、5つのスピーカに対応する音圧係数をG1=D1/D_t、G2=D2/D_t、G3=D3/D_t、G4=D4/D_t、及び、G5=D5/D_tのそれぞれをその拡張した式に代入することによって計算される。また、7.1chで利用しているVBAP方式を用いた場合についても同様に、式(4)を6つのスピーカに対応する式にさらに拡張し、7つのスピーカに対応する音圧係数をG1=D1/D_t、G2=D2/D_t、G3=D3/D_t、G4=D4/D_t、G5=D5/D_t、G6=D6/D_t、及び、G7=D7/D_tのそれぞれをその拡張した式に代入することによって計算される。
【0037】
【0038】
ここで、
図7に示すように、変数θはマルチチャンネルスピーカの中心からの角度である。また、変数φは仮想音源の中心からの角度である。
【0039】
インパルス応答生成部40は、生成した任意の方位のインパルス応答をインパルス応答記憶部50に記録する(ステップS5)。
【0040】
次に、
図6に示す音響装置1がインパルス応答に基づいて音を再生する処理について説明する。
【0041】
インパルス応答選択部60は、インパルス応答記憶部50から任意の方位のインパルス応答を読み出す(ステップS11)。
インパルス応答選択部60は、読み出したインパルス応答のうち、音を再現したい位置に最も近い位置に該当するインパルス応答を選択する(ステップS12)。
【0042】
畳み込み処理部70は、インパルス応答選択部60が選択したインパルス応答について畳み込み処理(演算の一例)を行う(ステップS13)。
具体的には、任意の角度θごとの音圧係数と、頭部インパルス応答とを乗算したインパルス応答に、再生する音の信号S(t)を畳み込む演算を行う。
【0043】
音再生部80は、畳み込み処理部70によって折り畳み処理が行われたインパルス応答の信号を用いて音を再生する(ステップS14)。
【0044】
以上、本発明の第1実施形態による音響装置1について説明した。
音響装置1において、信号出力制御部20は、観測者を中心とした同心円状に配置されたスピーカ10からインパルス信号を出力させる。頭部インパルス応答取得部30は、観測者の頭部インパルス応答を取得する。インパルス応答生成部40は、その中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合のスピーカ10の音圧係数と、頭部インパルス応答とを乗算する。インパルス応答生成部40は、乗算結果を、任意の位置のインパルス応答としてインパルス応答記憶部50に記録する。
こうすることにより、音響装置1は、3つ以上のスピーカであればスピーカ数によらず録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を容易に再現するインパルス応答を生成することができる。
【0045】
<第2実施形態>
本発明の第2実施形態による音響装置1は、本発明の第1実施形態による音響装置1と同様に、スピーカ10a、10b、10c、10d、信号出力制御部20、頭部インパルス応答取得部30、インパルス応答生成部40、インパルス応答記憶部50、インパルス応答選択部60、畳み込み処理部70、音再生部80を備える。また、本発明の第2実施形態による音響装置1は、さらに、スピーカ10e、10f、10g、10hを備える。
【0046】
スピーカ10a、10b、10c、10d、10e、10f、10g、10hは、観測者を中心とした同心球状に固定されて配置される。例えば、
図8に示すように、スピーカ10a、10b、10c、10d、10e、10f、10g、10hは、を中心とした極座標系において(θ,φ)が(45,45)、(45,135)、(45,225)、(45,315)、(315,45)、(315,135)、(315,225)、(315,315)の位置に配置される。なお、球の半径rは1である。スピーカ10a、10b、10c、10d、10e、10f、10g、10hを総称して、スピーカ10と呼ぶ。
【0047】
インパルス応答を生成する場合、スピーカ10は、スピーカ10a、10b、10c、10d、10e、10f、10g、10hの順番にインパルス信号そのもの、または、演算によってインパルス応答を求められる信号を出力する。
【0048】
頭部インパルス応答取得部30は、スピーカ10が出力する信号を取得する。これをスピーカ10a、10b、10c、10d、10e、10f、10g、10hの順番に実施する。
頭部インパルス応答取得部30は、取得した信号に基づいて頭部インパルス応答を特定する。
【0049】
インパルス応答生成部40は、マルチチャンネルオーディオシステムにおいて、マルチチャンネルサウンド技術を活用し、中心から任意の角度に仮想音源を配置して、その仮想音源からインパルス音を発生させる場合のスピーカ10それぞれの音圧係数を求める。
【0050】
インパルス応答生成部40は、スピーカ10それぞれの音圧係数に頭部インパルス応答を乗算することによって、任意の方位のインパルス応答を生成する。
インパルス応答生成部40は、生成した任意の方位のインパルス応答をインパルス応答記憶部50に記録する。
【0051】
なお、本発明の第1実施形態では、スピーカ10の配置が二次元であり、マルチチャンネルオーディオシステムにおいて2つのスピーカについて得られる音圧係数は、式(4)によって表された。それに対して、本発明の第2実施形態では、スピーカ10の配置が三次元である。マルチチャンネルオーディオシステムにおいて3つのスピーカについて得られるスピーカ10の音圧係数は、次の式(5)のように表される。
【0052】
【0053】
式(5)におけるD_t、D1、D2、D3は、それぞれ、次の式(6)、(7)、(8)、(9)のように表される。
【0054】
【0055】
【0056】
【0057】
【0058】
ただし、式(6)~(9)において、次の式(10)が成り立つ。
【0059】
【0060】
そして、半径rが1の極座標系の場合、マルチスピーカの座標は、(θn_t,φn_t)となる。なお、スピーカが3つの場合、nは3である。また、仮想音源の座標は、(θ,φ)となる。
そのため、スピーカが8つの場合、マルチチャンネルオーディオシステムにおいて8つのスピーカについて得られるスピーカ10の音圧係数を、G1=D1/D_t、G2=D2/D_t、G3=D3/D_t、G4=D4/D_t、G5=D5/D_t、G6=D6/D_t、G7=D7/D_t、G8=D8/D_tとし、式(6)~(10)を8つのスピーカに対応する式に拡張して、3つのスピーカの場合と同様に考えればよい。なお、nは8である。
例えば、スピーカが8つの場合、θが45度、315度の2つ、φが45度、135度、225度、315度の4つであり、マルチスピーカの座標は、θとφの組み合わせによって、8つの座標となる。
【0061】
また、音を再生する場合、インパルス応答選択部60は、インパルス応答記憶部50から任意の方位のインパルス応答を読み出す。
インパルス応答選択部60は、読み出したインパルス応答のうち、音を再現したい位置に最も近い位置に該当するインパルス応答を選択する。
【0062】
畳み込み処理部70は、インパルス応答選択部60が選択したインパルス応答について畳み込み処理を行う。
【0063】
音再生部80は、畳み込み処理部70によって折り畳み処理が行われたインパルス応答の信号を用いて音を再生する。
【0064】
以上、本発明の第2実施形態による音響装置1について説明した。
こうすることにより、音響装置1は、スピーカ10を三次元に配置した場合であっても、少数のスピーカを用いて録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を再現するインパルス応答を生成することができる。
【0065】
<第3実施形態>
本発明の第3実施形態による音響装置1は、スピーカ10a、信号出力制御部20、頭部インパルス応答取得部30、インパルス応答生成部40、インパルス応答記憶部50、インパルス応答選択部60、畳み込み処理部70、音再生部80を備える。また、本発明の第3実施形態による音響装置1は、観測者を90度ずつ回転させる椅子を備える。本発明の第3実施形態による音響装置1は、本発明の第1実施形態による音響装置1におけるスピーカ10をスピーカ10aの1つにした装置であり、観測者を90度ずつ回転させる椅子を追加した装置である。
本発明の第3実施形態による音響装置1と本発明の第1実施形態による音響装置1との違いは、頭部インパルス応答取得部30がスピーカ10から出力される信号を取得する方法である。
【0066】
スピーカ10aは、信号出力制御部20による制御に基づいて、インパルス信号そのもの、または、演算によってインパルス応答を求められる信号(例えば、M系列信号、TSP信号など)を出力する。
図9に示すように、観測者を椅子に座らせて、椅子を90度ずつ回転させる。
【0067】
椅子が90度回転する度に、頭部インパルス応答取得部30は、観測者が装着した左右それぞれのマイクで、スピーカ10が出力する信号を取得する。これを4回(すなわち、椅子が1周するまで)実施する。
頭部インパルス応答取得部30は、取得した信号に基づいて頭部インパルス応答を特定する。
【0068】
インパルス応答生成部40は、マルチチャンネルオーディオシステムにおいて、マルチチャンネルサウンド技術を活用し、中心から任意の角度に仮想音源を配置して、その仮想音源からインパルス音を発生させる場合のスピーカ10それぞれの音圧係数を求める。
【0069】
インパルス応答生成部40は、スピーカ10それぞれの音圧係数に頭部インパルス応答を乗算することによって、任意の方位のインパルス応答を生成する。
【0070】
以上、本発明の第3実施形態による音響装置1について説明した。
こうすることで、音響装置1は、1つのスピーカ10aのみを備えればよく、任意の方位のインパルス応答を生成することができる。
【0071】
<第4実施形態>
本発明の第4実施形態による音響装置1は、スピーカ10a、スピーカ10b、信号出力制御部20、頭部インパルス応答取得部30、インパルス応答生成部40、インパルス応答記憶部50、インパルス応答選択部60、畳み込み処理部70、音再生部80を備える。また、本発明の第4実施形態による音響装置1は、観測者を90度ずつ回転させる椅子を備える。スピーカ10aとスピーカ10bは、
図10に示すように、例えば棒状の部材Bによって互いに接続された形状となっている。
本発明の第4実施形態による音響装置1は、本発明の第3実施形態による音響装置1におけるスピーカ10aを、互いに接続されたスピーカ10aとスピーカ10bとした装置である。
本発明の第4実施形態による音響装置1と本発明の第3実施形態による音響装置1との違いは、頭部インパルス応答取得部30がスピーカ10から出力される信号を取得する方法である。
【0072】
スピーカ10aは、信号出力制御部20による制御に基づいて、インパルス信号そのもの、または、演算によってインパルス応答を求められる信号(例えば、M系列信号、TSP信号など)を出力する。
図9に示すように、観測者を椅子に座らせて、椅子を90度ずつ回転させる。
【0073】
椅子が90度回転する度に、頭部インパルス応答取得部30は、観測者が装着した左右それぞれのマイクで、スピーカ10が出力する信号を取得する。これを4回(すなわち、椅子が1周するまで)実施する。
頭部インパルス応答取得部30は、取得した信号に基づいて頭部インパルス応答を特定する。
【0074】
インパルス応答生成部40は、マルチチャンネルオーディオシステムにおいて、マルチチャンネルサウンド技術を活用し、中心から任意の角度に仮想音源を配置して、その仮想音源からインパルス音を発生させる場合のスピーカ10それぞれの音圧係数を求める。
【0075】
インパルス応答生成部40は、スピーカ10それぞれの音圧係数に頭部インパルス応答を乗算することによって、任意の方位のインパルス応答を生成する。
【0076】
以上、本発明の第4実施形態による音響装置1について説明した。
接続されていない単体のスピーカを平面の4か所に配置した場合、4つのスピーカからのインパル応答を取得するのみであるため、音響装置は、二次元平面方向の音のみしか再現できない。それに対して、本発明の第4実施形態による音響装置1は、2つが接続されたスピーカを平面の4か所に配置した場合に8つのスピーカからの情報を取得することができ、三次元(同心球状)の信号を取得できる。その結果、本発明の第4実施形態による音響装置1は、三次元の音を再生することができる。
【0077】
<第5実施形態>
本発明の第5実施形態による音響装置1は、
図11に示すように、スピーカ10a、10b、10c、10d、信号出力制御部20、頭部インパルス応答取得部30、インパルス応答生成部40、インパルス応答記憶部50、音再生部80、サラウンド用インパルス応答選択部90、サラウンド用畳み込み処理部100を備える。
【0078】
サラウンド用インパルス応答選択部90は、サラウンドのチャンネル(例えば、5.1ch、7.1chなど)の各チャンネルを実現するスピーカ10の位置に近いインパルス応答を選択する。サラウンドのチャンネルの各チャンネルを実現するスピーカ10の位置は、多くの場合固定である。そのため、サラウンド用インパルス応答選択部90は、サラウンドのチャンネルの各チャンネルに対応するインパルス応答を予め選択することができる。
【0079】
サラウンド用畳み込み処理部100は、インパルス応答をマルチチャンネル分の音源に畳み込み処理を行う。
【0080】
以上、本発明の第5実施形態による音響装置1について説明した。
こうすることで、サラウンド用畳み込み処理部100は、サラウンド用インパルス応答選択部90が選択したインパルス応答をマルチチャンネル分の音源に畳み込み処理を行うことにより、サラウンドで音を再現することができる。
【0081】
本発明の実施形態による最小構成の音響装置1について説明する。
本発明の実施形態による最小構成の音響装置1は、
図12に示すように、信号出力制御部20、頭部インパルス応答取得部30、乗算部40a、記録部40bを備える。
【0082】
信号出力制御部20は、観測者を中心とした同心円状に配置されたスピーカからインパルス信号を出力させる。
頭部インパルス応答取得部30は、観測者の頭部インパルス応答を取得する。
乗算部40aは、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算する。
記録部40bは、乗算部40aが乗算した乗算結果を、任意の位置のインパルス応答として記憶部に記録する。
こうすることにより、音響装置1は、スピーカを三次元に配置した場合であっても、少数のスピーカを用いて録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を再現するインパルス応答を生成することができる。
【0083】
次に、本発明の実施形態による最小構成の音響装置1による処理について説明する。
ここでは、
図13に示す処理フローについて説明する。
【0084】
信号出力制御部20は、観測者を中心とした同心円状に配置されたスピーカからインパルス信号を出力させる(ステップS21)。
頭部インパルス応答取得部30は、前記観測者の頭部インパルス応答を取得する(ステップS22)。
乗算部40aは、前記中心から任意の角度に配置した仮想音源からインパルス音を発生させた場合の前記スピーカの音圧係数と、前記頭部インパルス応答とを乗算する(ステップS23)。
記録部40bは、乗算部40aが乗算した乗算結果を、任意の位置のインパルス応答として記憶部に記録する(ステップS24)。
【0085】
以上、本発明の実施形態による最小構成の音響装置1について説明した。
この音響装置1により、3つ以上のスピーカであればスピーカ数によらず録音した頭部インパルス応答の情報から網羅的な方位について立体感のある音を容易に再現するインパルス応答を生成することができる。
【0086】
なお、本発明の実施形態による音響装置1は、マルチオーディオシステムに備えられる装置である。音響装置1は、1つの筐体から成るものに限定されるものではなく、複数の筐体にわかれて構成されるものであってもよい。例えば、音響装置1が備えるスピーカは、複数の筐体にわかれて存在するものであってもよい。
【0087】
なお、本発明の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。
【0088】
本発明の実施形態について説明したが、上述の音響装置1、その他の制御装置は内部に、コンピュータ装置を有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図14は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ5は、
図14に示すように、CPU6(ベクトルプロセッサを含む)、メインメモリ7、ストレージ8、インターフェース9を備える。
例えば、上述の音響装置1、その他の制御装置のそれぞれは、コンピュータ5に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ8に記憶されている。CPU6は、プログラムをストレージ8から読み出してメインメモリ7に展開し、当該プログラムに従って上記処理を実行する。また、CPU6は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ7に確保する。
【0089】
ストレージ8の例としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気ディスク、光磁気ディスク、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、半導体メモリ等が挙げられる。ストレージ8は、コンピュータ5のバスに直接接続された内部メディアであってもよいし、インターフェース9または通信回線を介してコンピュータ5に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ5に配信される場合、配信を受けたコンピュータ5が当該プログラムをメインメモリ7に展開し、上記処理を実行してもよい。少なくとも1つの実施形態において、ストレージ8は、一時的でない有形の記憶媒体である。
【0090】
また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータ装置にすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル(差分プログラム)であってもよい。
【0091】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。
【0092】
この出願は、2019年12月27日に出願された日本国特願特願2019-237741を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【0093】
本発明の各態様は、音響装置、音響処理方法及び記録媒体に適用してもよい。
【符号の説明】
【0094】
1・・・音響装置
5・・・コンピュータ
6・・・CPU
7・・・メインメモリ
8・・・ストレージ
9・・・インターフェース
10、10a、10b、10c、10d・・・スピーカ
20・・・信号出力制御部(信号出力制御手段)
30・・・頭部インパルス応答取得部(頭部インパルス応答取得手段)
40・・・インパルス応答生成部(インパルス応答生成手段)
40a・・・乗算部(乗算手段)
40b・・・記録部(記録手段)
50・・・インパルス応答記憶部(インパルス応答記憶手段)
60・・・インパルス応答選択部(インパルス応答選択手段)
70・・・畳み込み処理部(畳み込み処理手段)
80・・・音再生部(音再生手段)
90・・・サラウンド用インパルス応答選択部(サラウンド用インパルス応答選択手段)
100・・・サラウンド用畳み込み処理部(サラウンド用畳み込み処理手段)