(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0016】
以下、本発明による各実施形態の収音マイクロホンシステムについて順に説明する。まず、第1実施形態の収音マイクロホンシステムについて説明する。
【0017】
〔第1実施形態〕
まず、本実施形態の収音マイクロホンシステムの収音空間として、22.2チャンネル音響再生空間に応用した例について説明する。
図1は、22.2チャンネル音響空間の概要を示す図である。22.2チャンネル音響再生空間は、水平面内の中間層における8チャンネル(FL, FC, FR, SiR, BR, BC, BL, SiL)のスピーカを基本としており、中間層のチャンネルと同じ水平面内の配置で上層に8チャンネル(TpL, TpC, TpR, TpSiR, TpBR, TpBC, TpBL, TpSiL)のスピーカを設置し、さらに上層中央では、1チャンネルのTpCチャンネルのスピーカを設置している。この他に中間層として画面内定位補強用にFLc,FRc、下層として画面下部定位補強用にBtFL, BtFC, BtFRの3チャンネルのスピーカ、さらに低域再生(Low Frequency Effectとも称される)用にLFE1, LFE2の2チャンネルのスピーカを保有している。
【0018】
本実施形態では、
図1に示すスピーカ配置のうち、ベースとなるのは水平面内と上層部の8チャンネルであることに着目し、水平面内8チャンネルと上層8チャンネルの音を収音することを想定して、上層8チャンネルをCH1,CH2,・・・CH8とし、下層8チャンネルをCH9,CH10,・・・,CH16として、説明する。
【0019】
一般に、22.2チャンネル音響再生空間のように、マルチチャンネル音響再生システムでは、原音場のある1点(
図1に示す収音点A)に到来する各方向の音を、再生音場の対応する方向のスピーカから再生することを意図することが多い。このため、再生音場の各スピーカの方向を主軸とする指向性マイクロホンを原音場に設置し、かつ各マイクロホンの指向性がお互いに重複しないような狭指向性で収音することが望ましいが、前述したように、ショットガンマイクロホンのような狭指向性マイクロホンを多数設置するのは有効ではない。
【0020】
そこで、本実施形態では、収音空間内の収音点を中心に各チャンネルの収音方向を中心軸とする仕切り板で区切られた仕切り空間によって収音空間が分割され、仕切り空間ごとに主マイクロホン素子が設置される。例えば、
図2に示すように、半径rの扇状の仕切り板100‐1,100‐2,100‐3で、各チャンネル方向の各チャンネルの収音方向を中心軸とする仕切り空間H1,H2,・・・,H16を設け、例えば1つの仕切り空間H2には、1つの広帯域及び広指向性の主マイクロホン素子M2が設けられる。尚、本実施形態では、仕切り板としてアクリル製のものを採用し、表面に反射音防止材を貼付したものを使用したが、後述する遮断周波数を規定できるものであれば如何なる材料を用いてもよい。以下の説明では、各仕切り空間H1,H2,・・・,H16には、それぞれ広帯域及び広指向性の主マイクロホン素子M1,M2,・・・,M16が設けられているものとする。即ち、仕切り空間は、マルチチャンネルのチャンネル数分で、当該収音空間が分割されている。各仕切り空間の開口方向は、想定する再生システムのスピーカ配置に対応した方向を向いているものとする。
【0021】
本実施形態の収音マイクロホンシステムは、仕切り空間H1,H2,・・・,H16ごとに設置された主マイクロホン素子M1,M2,・・・,M16からの出力を入力し、各主マイクロホン素子M1,M2,・・・,M16の出力について収音方向を検出して合成することにより、仕切り空間H1,H2,・・・,H16ごとの広帯域及び狭指向性の収音出力を生成する収音信号処理装置10aを備えている。
【0022】
図3に、本実施形態の収音マイクロホンシステムにおける収音信号処理装置10aのブロック図を示している。収音信号処理装置10aは、各主マイクロホン素子Mn(本例では、主マイクロホン素子M1,M2,・・・,M16)の出力について当該仕切り空間Hn(本例では、H1,H2,・・・,H16)で定まる遮断周波数に相当する所定の周波数で帯域分離を行なうnチャンネル分(本例では16チャンネル分)の分離部20‐nが設けられ、各分離部20‐nは、当該所定の周波数以上の帯域の各主マイクロホン素子Mnの出力成分をそれぞれの所定の収音方向の出力成分として抽出するハイパスフィルタ(HPF)201と、当該所定の周波数以下の帯域の各主マイクロホン素子Mnの出力成分を抽出するローパスフィルタ(LPF)202を有している。
【0023】
さらに、収音信号処理装置10aは、方向検出部30と、合成部40‐nとを有している。方向検出部30は、ローパスフィルタ202で抽出される各主マイクロホン素子Mnの出力を入力して所定の収音方向ごとの出力成分を検出する。合成部40‐nは、方向検出部30から出力される各ローパスフィルタ202で抽出される所定の収音方向ごとの出力成分と、ハイパスフィルタ201で抽出した各主マイクロホン素子Mnの出力成分と合成して、仕切り空間Hnごとの広帯域及び狭指向性の収音出力を各チャンネルの音響信号として生成して出力する。後述するように、方向検出部30と合成部40‐nは、指向性合成フィルタ処理部として機能する。
【0024】
図4は、16チャンネルの再生信号を収音する収音信号処理装置10aの演算処理ブロック図である。ここで、仕切り空間の遮断周波数に対応する周波数fcは、仕切り板を設けて形成した仕切り空間毎に実測して求めることができる。半径r=20cmの仕切り板で16分割された仕切り空間で主マイクロホン素子の出力を実測した周波数別の指向特性及び指向係数(=主軸方向のエネルギー/全方向のエネルギーの平均値)を、それぞれ
図5及び
図6に示している。例えば、
図6に示すように、仕切り空間における指向係数(=主軸方向野エネルギー/全方向のエネルギーの平均値)の周波数特性を実測により求めることができ、つまり、仕切り板で区切られた空間の遮断周波数以上の高い周波数では所定の指向性が得られる反面、遮断周波数より低い周波数では指向性が劣化することを確認できる。
図6の実測した例では、fc=4kHz以上の周波数でなければ指向性を判別することができないことが分かり、例えば、fc=4kHzとして設定することができる。仕切り板で構成される仕切り空間が、全方向で同じ空間形状となるように形成した場合には、各仕切り空間で求めた遮断周波数はほぼ一定となるため、対応する周波数を平均することにより、各チャンネルに対して同一構成のハイパスフィルタ201とローパスフィルタ202とすることができる。
図4では、各チャンネルのハイパスフィルタ201の出力成分SH
1,SH
2,・・・,SH
16と、ローパスフィルタ202の出力成分SL
1,SL
2,・・・,SH
16に分割される例である。
【0025】
つまり、仕切り空間で収音することにより、周波数fcよりも高い帯域の成分SH
1,SH
2,・・・,SH
16は、仕切り板で区切られた空間の効果により、仕切り板で区切られた空間の開口に相当する空間に含まれる方向の音に対して感度が高く、それ以外の方向の音に対する感度が低くなることから、仕切り板で区切られた空間の開口で定まる指向性を有するようになる。
【0026】
そこで、本実施形態では、周波数fcよりも高い帯域の成分SH
1,SH
2,・・・,SH
16については、そのままCH1,CH2,・・・,CH16用の高域成分として用いる。一方、周波数fcよりも低い帯域の成分SL
1,SL
2,・・・,SL
16については、仕切り板で区切られた空間の効果が小さく、仕切り板で区切られた空間のみの効果では指向性が現れない。そこで、CH1の出力としてSL
1,SL
2,・・・,SL
16のすべての主マイクロホン素子の出力成分を利用して指向性合成フィルタ処理を行う。
【0027】
指向性合成フィルタ処理には、様々な技法があるが、1例として、Farinaによる方法(A. Farina et al, ‘A Spherical Microphone Array for Synthesizing Virtual Directive Microphones in Live Broadcasting and in Post Production’, AES 40th International Conference, 2010)を用いて説明する。チャンネルCHi(i=1,2,・・・,16)の所望の指向特性を、離散的な方向R
j(j=1,2,・・・,N)の音源からの伝達関数D
ij(j=1,2,・・・,N)の集合によって表す。一方、この離散的な方向R
j(=1,2,・・・,n)の音源からの音は、各仕切り板で区切られた空間の主マイクロホン素子Mk(k=1,2,・・・,16)における伝達関数C
jkを介して到達することになり、各主マイクロホン素子は所望チャンネルの出力ごとに、伝達関数H
ik(i=1,2,・・・,16、k=1,2,・・・,16)を有する指向性合成フィルタ処理を行うことができる。したがって、チャンネルCHiの出力は、すべての主マイクロホン素子の出力にフィルタ処理を施したものの合算として得られる。このとき、方向R
jの音源によるCHiの出力S
ijは、式(1)のように表される。
【0029】
これがすべてのi及びjに対して所望の伝達関数D
ijと等しくなるよう、フィルタH
ikを設計すればよい。すなわち、すべてのi及びjに対して式(2)が満たされればよい。
【0031】
ここで、D
ijは16×N通りの組み合わせがある一方、H
ikは16×16通りが存在する(
図4に例示する、方向検出部30の一部として機能する伝達関数演算部30‐11,30‐12,30‐21,30‐22,30‐161,30‐162, 30‐216, 30‐1616参照)。十分な方向分解能を得るためには、一般にNは16以上であることが望ましいことから、未知数H
ikを求める問題は条件が未知数よりも多い状態となるため、最小二乗法によりH
ikを定めればよい。
【0032】
求まったH
ikは、所望の指向特性を実現するためのフィルタとなる。よって、CHiの出力T
iは、各主マイクロホン素子Mkの出力をU
kとするとき、式(3)で求められる。
【0034】
よって、低域成分用の信号SLC
i(i=1,2,・・・,16)となる(
図4に例示する、方向検出部30の一部として機能する加算部30‐d1,30‐d2,・・・, 30‐d16の出力を参照)。
【0035】
最後に、上記によって求められた高域成分用の信号SH
i(i=1,2,・・・,16)と低域成分用の信号SLC
i(i=1,2,・・・,16)を合算して、全帯域の信号を得ることができる(
図3及び
図4に例示する合成部40‐nの出力を参照)。
【0036】
このように、所望方向の指向性の実現に「仕切り板」を用いて空間分離するようにし、仕切り板で区切られた空間内にそれぞれ設けられた広帯域及び広指向性の主マイクロホン素子に対して所定の周波数で帯域分離を行い、当該所定の周波数以上の帯域については、各主マイクロホン素子の出力成分をそのまま所望方向の成分とし、当該所定の周波数未満の帯域では所望方向以外の主マイクロホン素子の出力成分を用いて合成するようにしたため、広帯域及び狭指向性でマルチチャンネルの再生音が収音可能となる。
【0037】
次に、第2実施形態の収音マイクロホンシステムについて説明する。第1実施形態の収音マイクロホンシステムのように仕切り空間ごとの主マイクロホン素子だけでは指向性の合成に十分な数とならない場合を考慮し更に改善する方式として、第2実施形態の収音マイクロホンシステムでは、複数の補助マイクロホン素子を設置する方式とした。以下、第1実施形態と同様な構成要素には、同一の参照番号を付して説明する。
【0038】
〔第2実施形態〕
本実施形態でも第1実施形態と同様に、収音空間内の収音点を中心に各チャンネルの収音方向を中心軸とする仕切り板で区切られた仕切り空間によって収音空間が分割され、仕切り空間ごとに主マイクロホン素子が設置される。例えば、
図7に示すように、半径rの扇状の仕切り板100‐1,100‐2,100‐3で、各チャンネル方向の各チャンネルの収音方向を中心軸とする仕切り空間H1,H2,・・・,H16を設け、例えば1つの仕切り空間H2には、1つの広帯域及び広指向性の主マイクロホン素子M2が設けられる。尚、本実施形態では、仕切り板としてアクリル製のものを採用し、表面に反射音防止材を貼付したものを使用したが、後述する遮断周波数を規定できるものであれば如何なる材料を用いてもよい。以下の説明では、各仕切り空間H1,H2,・・・,H16には、それぞれ広帯域及び広指向性の主マイクロホン素子M1,M2,・・・,M16が設けられているものとする。即ち、仕切り空間は、マルチチャンネルのチャンネル数分で、当該収音空間が分割されている。各仕切り空間の開口方向は、想定する再生システムのスピーカ配置に対応した方向を向いているものとする。ただし、
図7に示すように、第2実施形態の収音マイクロホンシステムでは、さらに、主マイクロホン素子とは別の場所に複数の補助マイクロホン素子Pm(以下に説明する例では、補助マイクロホン素子P1,P2,・・・P20)が設置されている。
【0039】
補助マイクロホン素子Pmの仕切り板上への設置位置に関しては、収音空間の環境によって適宜調整する。例えば、
図2に示す収音空間で、16チャンネル分の仕切り空間H1,H2,・・・,H16が設けられている場合、
図7に示すように、収音空間における水平面内の中間層に位置するそれぞれの仕切り板について、フロント中央側(FC側)に3個、フロント左右側(FL,FR側)に2個ずつ、バック中央側(BC側)に3個、バック左右側(BL,BR側)に2個ずつ、右サイド側(SiR側)に3個、左サイド側(SiL側)に3個、等間隔に配置することで、20個の補助マイクロホン素子Pmを設置することができる。尚、仕切り空間を形成するすべての仕切り板上に1つ以上の補助マイクロホン素子Pmを設置するように構成してもよいし、一部の仕切り板上にのみ1つ以上の補助マイクロホン素子Pmを設置するように構成してもよい。また、
図7に示す例では、仕切り板の収音方向の開口側端部にて、補助マイクロホン素子Pmを設置する例を示しているが、これは、補助マイクロホン素子Pmによって各仕切り空間における分離性能を高めるようにするためである。したがって、補助マイクロホン素子Pmによって各仕切り空間における分離機能を保持する限り、必ずしも仕切り板の収音方向の開口側端部に設ける必要はなく、仕切り板上の任意の位置に設置穴を設けて補助マイクロホン素子Pmを設置するように構成することもできる。
【0040】
本実施形態の収音マイクロホンシステムは、仕切り空間H1,H2,・・・,H16ごとに設置された主マイクロホン素子M1,M2,・・・,M16からの出力と、各仕切り空間を形成するための複数の仕切り板のうちの1つ以上の仕切り板上に設置された1つ以上の補助マイクロホン素子P1,P2,・・・,P20からの出力とを入力し、主マイクロホン素子M1,M2,・・・,M16及び補助マイクロホン素子P1,P2,・・・,P20の各出力について収音方向を検出して合成することにより、仕切り空間H1,H2,・・・,H16ごとの広帯域及び狭指向性の収音出力を生成する収音信号処理装置10bを備えている。
【0041】
図8に、本実施形態の収音マイクロホンシステムにおける収音信号処理装置10bのブロック図を示している。収音信号処理装置10bは、主マイクロホン素子Mn(本例では、主マイクロホン素子M1,M2,・・・,M16)の出力について当該仕切り空間Hn(本例では、H1,H2,・・・,H16)で定まる遮断周波数に相当する所定の周波数で帯域分離を行なうnチャンネル分(本例では16チャンネル分)の分離部20‐nと、補助マイクロホン素子Pmの出力について当該仕切り空間Hnで定まる遮断周波数に相当する所定の周波数で帯域分離を行なうmチャンネル分(本例では20チャンネル分)の分離部21‐mとが設けられている。各分離部20‐n(即ち、第1分離部〜第n分離部)は、当該所定の周波数以上の帯域の主マイクロホン素子Mnの出力成分をそれぞれの所定の収音方向の出力成分として抽出するハイパスフィルタ(HPF)201と、当該所定の周波数以下の帯域の主マイクロホン素子Mnの出力成分を抽出するローパスフィルタ(LPF)202とを有している。また、各分離部21‐m(即ち、第n+1分離部〜第n+m分離部)は、当該所定の周波数以下の帯域の補助マイクロホン素子Pmの出力成分を抽出するローパスフィルタ(LPF)203を有している。
【0042】
さらに、収音信号処理装置10bは、方向検出部30と、合成部40‐nとを有している。方向検出部30は、ローパスフィルタ202,203で抽出される主マイクロホン素子Mnの出力成分及び補助マイクロホン素子Pmの出力成分を入力して所定の収音方向ごとの出力成分を検出する。合成部40‐nは、方向検出部30から出力される各ローパスフィルタ202,203で抽出される所定の収音方向ごとの出力成分と、ハイパスフィルタ201で抽出した各主マイクロホン素子Mnの出力成分と合成して、仕切り空間Hnごとの広帯域及び狭指向性の収音出力を各チャンネルの音響信号として生成して出力する。第1実施形態と同様に、方向検出部30と合成部40‐nは、指向性合成フィルタ処理部として機能する。
【0043】
図9は、16チャンネルの再生信号を収音する収音信号処理装置10bの演算処理ブロック図である。
図9に示す例は、主マイクロホン素子M1,M2,・・・,M16の各出力信号が、ハイパスフィルタ201の出力成分SH
1,SH
2,・・・,SH
16と、ローパスフィルタ202の出力成分SL
1,SL
2,・・・,SH
16に分割され、補助マイクロホン素子P1,P2,・・・,P20の出力信号が、ローパスフィルタ203によって出力成分SL
17,SL
18,・・・,SL
36として出力される例である。ここで、仕切り空間の遮断周波数に対応する周波数fcは、仕切り板を設けて形成した仕切り空間毎に実測して求めることができる。第1実施形態と同様に、半径r=20cmの仕切り板で16分割された仕切り空間で主マイクロホン素子の出力を実測した周波数別の指向特性及び指向係数(=主軸方向のエネルギー/全方向のエネルギーの平均値)の周波数特性を実測により求めることができ、つまり、仕切り板で区切られた空間の遮断周波数以上の高い周波数では所定の指向性が得られる反面、遮断周波数より低い周波数では指向性が劣化することを確認できる。例えば、fc=4kHz以上の周波数でなければ指向性を判別することができないときに、仕切り空間の遮断周波数に対応する周波数fc=4kHzとして設定することができる。仕切り板で構成される仕切り空間が、全方向で同じ空間形状となるように形成した場合には、各仕切り空間で求めた遮断周波数はほぼ一定となるため、対応する周波数を平均することにより、各チャンネルに対して同一構成のハイパスフィルタ201、ローパスフィルタ202及びローパスフィルタ203とすることができる。
【0044】
つまり、本実施形態においても、仕切り空間で収音することにより、周波数fcよりも高い帯域の成分SH
1,SH
2,・・・,SH
16は、仕切り板で区切られた空間の効果により、仕切り板で区切られた空間の開口に相当する空間に含まれる方向の音に対して感度が高く、それ以外の方向の音に対する感度が低くなることから、仕切り板で区切られた空間の開口で定まる指向性を有するようになる。
【0045】
さらに、本実施形態では、周波数fcよりも高い帯域の成分SH
1,SH
2,・・・,SH
16については、そのままCH1,CH2,・・・,CH16用の高域成分として用いる。一方、周波数fcよりも低い帯域の成分SL
1,SL
2,・・・,SL
16については、仕切り板で区切られた空間の効果が小さく、仕切り板で区切られた空間のみの効果では指向性が現れない。そこで、CH1の出力としてSL
1,SL
2,・・・,SL
16のすべての主マイクロホン素子の出力成分に加え、SL
17,SL
18,・・・,SL
36のすべての補助マイクロホン素子の出力成分を利用して指向性合成フィルタ処理を行う。
【0046】
指向性合成フィルタ処理には、様々な技法があるが、第1実施形態のときと同様に、1例として、Farinaによる方法(A. Farina et al, ‘A Spherical Microphone Array for Synthesizing Virtual Directive Microphones in Live Broadcasting and in Post Production’, AES 40th International Conference, 2010)を用いて説明する。チャンネルCHi(i=1,2,・・・,16)の所望の指向特性を、離散的な方向R
j(j=1,2,・・・,N)の音源からの伝達関数D
ij(j=1,2,・・・,N)の集合によって表す。一方、この離散的な方向R
j(=1,2,・・・,n)の音源からの音は、各仕切り板で区切られた空間の主マイクロホン素子及び補助マイクロホン素子からなるk個(k=1,2,・・・,36)のマイクロホン素子における伝達関数C
jkを介して到達することになり、k個のマイクロホン素子の各々は所望チャンネルの出力ごとに、伝達関数H
ik(i=1,2,・・・,16、k=1,2,・・・,36)を有する指向性合成フィルタ処理を行うことができる。したがって、チャンネルCHiの出力は、すべての主マイクロホン素子及び補助マイクロホン素子の出力にフィルタ処理を施したものの合算として得られる。このとき、方向R
jの音源によるCHiの出力S
ijは、第1実施形態で説明したように、式(1)で表すことができる。
【0047】
これがすべてのi及びjに対して所望の伝達関数D
ijと等しくなるよう、フィルタH
ikを設計すればよい。すなわち、すべてのi及びjに対して式(2)が満たされればよい。
【0048】
ここで、D
ijは式(2)において16×N通りの組み合わせがある一方、H
ikは16×36通りが存在する(
図9に例示する、方向検出部30の一部として機能する伝達関数演算部30‐11,30‐12,30‐21,30‐22,30‐161,30‐162, 30‐216, 30‐1616, 30‐1617,・・・,30‐1636参照)。十分な方向分解能を得るためには、一般にNは多い数に設定した方が望ましいが、第1実施形態のような主マイクロホン素子のみでは劣決定問題となり、好ましい結果が得られない場合が考えられる。一方、第2実施形態のように、補助マイクロホン素子を用いることで、N通りとする数が主マイクロホン素子及び補助マイクロホン素子の数の合計を超えない限り、劣決定問題となることはない。尚、Nがさらに多い場合は、劣決定問題として、最小二乗法によりH
ikを定めればよい。
【0049】
求まったH
ikは、所望の指向特性を実現するためのフィルタとなる。よって、CHiの出力T
iは、各主マイクロホン素子Mkの出力をU
kとするとき、第1実施形態のときと同様に、式(3)で求められる。
【0050】
よって、低域成分用の信号SLC
i(i=1,2,・・・,16)となる(
図9に例示する、方向検出部30の一部として機能する加算部30‐d1,30‐d2,・・・, 30‐d16の出力を参照)。
【0051】
最後に、上記によって求められた高域成分用の信号SH
i(i=1,2,・・・,16)と低域成分用の信号SLC
i(i=1,2,・・・,16)を合算して、全帯域の信号を得ることができる(
図8及び
図9に例示する合成部40‐nの出力を参照)。
【0052】
このように、所望方向の指向性の実現に「仕切り板」を用いて空間分離するようにし、仕切り板で区切られた空間内にそれぞれ設けられた広帯域及び広指向性の主マイクロホン素子に対して所定の周波数で帯域分離を行い、当該所定の周波数以上の帯域については、主マイクロホン素子の出力成分をそのまま所望方向の成分とし、当該所定の周波数未満の帯域では所望方向以外の主マイクロホン素子及び補助マイクロホン素子の各出力成分を用いて合成するようにしたため、広帯域及び狭指向性でマルチチャンネルの再生音が高精度で収音可能となる。