(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0018】
<第1実施形態>
図1は、本発明の第1実施形態に係る音響処理装置100のブロック図である。音響処理装置100には信号供給装置12と放音装置14と表示装置16とが接続される。信号供給装置12は、音響信号x(t)を音響処理装置100に供給する。音響信号x(t)は、音響の波形を示す時間領域の信号である(t:時間)。周囲の音響を収音して音響信号x(t)を生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号x(t)を取得して音響処理装置100に供給する再生装置や、通信網から音響信号x(t)を受信して音響処理装置100に供給する通信装置が信号供給装置12として採用され得る。
【0019】
音響信号x(t)が示す音響は、初期音成分(ドライ成分)と残響成分(ウェット成分)とを包含する。残響成分は、音源の発音動作の停止後も経時的に減衰しながら継続する響き成分である。具体的には、音響空間の壁面での反射および散乱後に受音点に到来する音響(初期反射音,後部残響音)や、自然楽器の響板による共鳴音(胴鳴り,箱鳴り)等が残響成分に該当する。初期音成分は、残響成分以外の音響成分である。具体的には、音源の発音動作に直接的に起因する音響(反射や共鳴を殆ど経ていない音響)が初期音成分に該当する。収音時に音響空間内で発生した残響成分や収音後に人為的に生成された残響成分が初期音成分に付加される。なお、以下の説明では、初期音成分に関連する要素に添字d(d:dry)を付加し、残響成分に関連する要素に添字r(r:reverberation)を付加する場合がある。
【0020】
音響処理装置100は、音響信号x(t)の残響成分を解析するとともに音響信号x(t)から音響信号y(t)を生成する。音響信号y(t)は、音響信号x(t)の残響成分を抑圧または強調した時間領域の信号である。残響成分の抑圧/強調は例えば利用者から指示される。放音装置14は、音響処理装置100が生成した音響信号y(t)に応じた音波を放射する。なお、音響信号y(t)をデジタルからアナログに変換するD/A変換器の図示は便宜的に省略されている。
図1の表示装置16(例えば液晶表示器)は、音響処理装置100から指示された画像を表示する。具体的には、音響処理装置100による残響成分の解析結果(残響評価画像)が表示装置16に表示される。
【0021】
図1に示すように、音響処理装置100は、演算処理装置22と記憶装置24とを具備するコンピュータシステムで実現される。記憶装置24は、演算処理装置22が実行するプログラムPGMや演算処理装置22が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体などの公知の記録媒体や複数種の記録媒体の組合せが記憶装置24として任意に採用され得る。音響信号x(t)を記憶装置24に記憶した構成(したがって信号供給装置12は省略される)も好適である。
【0022】
演算処理装置22は、記憶装置24に格納されたプログラムPGMを実行することで複数の機能(周波数分析部32,解析処理部34,残響調整部36,波形合成部38,表示制御部40)を実現する。なお、演算処理装置22の各機能を複数の集積回路に分散した構成や、専用の電子回路(DSP)が各機能を実現する構成も採用され得る。
【0023】
周波数分析部32は、音響信号x(t)のスペクトル(複素スペクトル)X(k,m)を時間軸上の単位期間(フレーム)毎に順次に生成する。記号kは、周波数軸上の任意の1個の周波数(帯域)を指定する変数であり、記号mは、時間軸上の任意の1個の単位期間(時間軸上の特定の時点)を指定する変数である。スペクトルX(k,m)の生成には、短時間フーリエ変換等の公知の周波数分析が任意に採用され得る。なお、通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクも周波数分析部32として採用され得る。
【0024】
解析処理部34は、音響信号x(t)の残響成分を解析する要素である。具体的には、解析処理部34は、音響信号x(t)のスペクトルX(k,m)に応じた初期音比率Gd(k,m)および残響比率Gr(k,m)を複数の周波数の各々について単位期間毎に算定する。初期音比率Gd(k,m)は、音響信号x(t)のうち初期音成分の比率に応じた変数(比率評価値)である。概略的には、1個の単位期間のスペクトルX(k,m)にて初期音成分の強度が高い周波数(初期音成分が優勢である周波数)の初期音比率Gd(k,m)ほど大きい数値に設定されるという傾向がある。すなわち、初期音比率Gd(k,m)は、音響信号x(t)のスペクトルX(k,m)における初期音成分の優勢度とも換言され得る。他方、残響比率Gr(k,m)は、音響信号x(t)における残響成分の比率に応じた変数(比率評価値)である。概略的には、スペクトルX(k,m)にて残響成分の強度が高い周波数(残響成分が優勢である周波数)の残響比率Gr(k,m)ほど大きい数値に設定されるという傾向がある。すなわち、残響比率Gr(k,m)は、音響信号x(t)のスペクトルX(k,m)における残響成分の優勢度とも換言され得る。
【0025】
図2は、解析処理部34のブロック図である。
図2に示すように、第1実施形態の解析処理部34は、指標値算定部50Aと評価値算定部60とを具備する。指標値算定部50Aは、音響信号x(t)に応じた第1指標値Q1(k,m)と第2指標値Q2(k,m)とを順次に算定する。具体的には、指標値算定部50Aは、第1平滑部51と第2平滑部52とを含んで構成される。第1平滑部51は、音響信号x(t)のパワー|X(k,m)|
2の時系列を平滑化することで各周波数の第1指標値Q1(k,m)を単位期間毎に順次に算定する。同様に、第2平滑部52は、音響信号x(t)のパワー|X(k,m)|
2の時系列を平滑化することで各周波数の第2指標値Q2(k,m)を単位期間毎に順次に算定する。
【0026】
第1指標値Q1(k,m)は、以下の数式(1A)で定義されるように、相前後するM1個(M1は2以上の自然数)の単位期間で構成される第1期間内のパワー|X(k,m)|
2の移動平均(単純移動平均)である。第1期間は、例えば第m番目の単位期間を最後尾とするM1個の単位期間の集合である。他方、第2指標値Q2(k,m)は、以下の数式(1B)で定義されるように、相前後するM2個(M2は2以上の自然数)の単位期間で構成される第2期間内のパワー|X(k,m)|
2の移動平均である。第2期間は、例えば第m番目の単位期間を最後尾とするM2個の単位期間の集合である。以上の説明から理解されるように、第1平滑部51および第2平滑部52はFIR(finite impulse response)型のローパスフィルタに相当する。
【数1】
【0027】
第2指標値Q2(k,m)の算定に加味される単位期間の個数M2は、第1指標値Q1(k,m)の算定に加味される単位期間の個数M1を上回る(M2>M1)。すなわち、第2期間は第1期間よりも長い。例えば、第1期間は100ミリ秒から300ミリ秒程度の時間に設定され、第2期間は300ミリ秒から600ミリ秒程度の時間に設定される。したがって、第2平滑部52による平滑化の時定数τ2は第1平滑部51による平滑化の時定数τ1を上回る(τ2>τ1)。第1平滑部51および第2平滑部52をローパスフィルタで実現する場合を想定すると、第2平滑部52の遮断周波数が第1平滑部51の遮断周波数を下回ると換言することも可能である。
【0028】
図3の部分(B)は、音響信号x(t)の任意の周波数について算定される第1指標値Q1(k,m)および第2指標値Q2(k,m)の時間変化のグラフである。
図3の部分(A)のようにパワー|X(k,m)|
2(パワー密度)が指数減衰する室内インパルス応答(RIR)を音響信号x(t)として音響処理装置100に供給した場合の第1指標値Q1(k,m)および第2指標値Q2(k,m)が
図3の部分(B)には図示されている。
【0029】
図3の部分(B)から理解されるように、第1指標値Q1(k,m)および第2指標値Q2(k,m)は、音響信号x(t)のパワー|X(k,m)|
2に追従して経時的に変化する。ただし、第2平滑部52による平滑化の時定数τ2は第1平滑部51による平滑化の時定数τ1を上回るから、第2指標値Q2(k,m)は、第1指標値Q1(k,m)と比較して低い追従性(変化率)で音響信号x(t)のパワー|X(k,m)|
2の時間変化に追従する。具体的には、
図3の部分(B)に示すように、室内インパルス応答の開始の時点t0の直後の区間では、第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回る変化率で増加する。そして、第1指標値Q1(k,m)および第2指標値Q2(k,m)は、時間軸上の相異なる時点でピークに到達し、第1指標値Q1(k,m)は第2指標値Q2(k,m)を上回る変化率で減少する。
【0030】
以上のように第1指標値Q1(k,m)と第2指標値Q2(k,m)とは相異なる変化率で変化するから、第1指標値Q1(k,m)と第2指標値Q2(k,m)との大小は時間軸上の特定の時点txで反転する。すなわち、時点t0から時点txまでの区間SAでは第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回り、時点tx以降の区間SBでは第2指標値Q2(k,m)が第1指標値Q1(k,m)を上回る。区間SAは、室内インパルス応答の初期音成分(直接音)が存在する区間に相当し、区間SBは、室内インパルス応答の残響成分(後部残響音)が存在する区間に相当する。
【0031】
図2の評価値算定部60は、指標値算定部50Aが算定した第1指標値Q1(k,m)と第2指標値Q2(k,m)とに応じた初期音比率Gd(k,m)および残響比率Gr(k,m)を各周波数について単位期間毎に順次に算定する。第1実施形態の評価値算定部60は、比算定部62と第1処理部64と第2処理部66とを含んで構成される。
【0032】
比算定部62は、第1指標値Q1(k,m)と第2指標値Q2(k,m)との比R(k,m)を算定する。具体的には、比算定部62は、以下の数式(2)で表現される通り、第2指標値Q2(k,m)に対する第1指標値Q1(k,m)の比R(k,m)を単位期間毎に算定する。
【数2】
【0033】
図2の第1処理部64は、比算定部62が算定した比R(k,m)に応じて初期音比率Gd(k,m)を各周波数について単位期間毎に順次に算定する。具体的には、第1処理部64は、数式(3)で表現される閾値処理を実行する。第1に、比R(k,m)が1(閾値)を上回る場合、(R(k,m)≧1)、第1処理部64は、初期音比率Gd(k,m)を1に設定する。第2に、比R(k,m)が所定の下限値Gminを下回る場合(R(k,m)≦Gmin)、第1処理部64は、初期音比率Gd(k,m)を下限値Gminに設定する。下限値Gminは、0以上かつ1未満の数値に設定される。第3に、比R(k,m)が1と下限値Gminとの間の数値である場合(Gmin<R(k,m)<1)、第1処理部64は、比R(k,m)を初期音比率Gdとして設定する。
【数3】
【0034】
第1指標値Q1(k,m)および第2指標値Q2(k,m)が
図3の部分(B)のように変化する場合の初期音比率Gd(k,m)の変化が
図3の部分(C)に図示されている。
図3の部分(C)から理解されるように、概略的には、第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回る場合(区間SA)の初期音比率Gd(k,m)は、第1指標値Q1(k,m)が第2指標値Q2(k,m)を下回る場合(区間SB)の初期音比率Gd(k,m)よりも大きい数値となる。具体的には、第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回る区間SA内では比R(k,m)が1を上回るから、初期音比率Gd(k,m)は1に維持される。また、第1指標値Q1(k,m)が第2指標値Q2(k,m)を下回る区間SBのうち比R(k,m)が下限値Gminを上回る区間SB1では、初期音比率Gd(k,m)は比R(k,m)に設定されて経時的に減少する。そして、区間SBのうち比R(k,m)が下限値Gminを下回る区間SB2では、初期音比率Gd(k,m)は下限値Gminに維持される。
【0035】
以上の通り、第1処理部64が算定する初期音比率Gd(k,m)は、初期音成分が存在する区間SAでは1(最大値)に設定され、残響成分が存在する区間SBでは下限値Gminまで経時的に減少する。したがって、音響信号x(t)における初期音成分の比率の指標値として初期音比率Gd(k,m)を利用することが可能である。
【0036】
図2の第2処理部66は、第1処理部64が算定した初期音比率Gd(k,m)に応じた残響比率Gr(k,m)を各周波数について単位期間毎に順次に算定する。初期音比率Gd(k,m)が増加するほど残響比率Gr(k,m)が減少するように残響比率Gr(k,m)は算定される。具体的には、第2処理部66は、前掲の数式(3)で算定された初期音比率Gd(k,m)を1から減算することで残響比率Gr(k,m)を算定する(Gr(k,m)=1−Gd(k,m))。したがって、残響比率Gr(k,m)は、初期音成分が存在する区間SAではゼロに維持され、残響成分が存在する区間SBでは所定値(1−Gmin)まで経時的に増加する。すなわち、第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回る場合(区間SA)の残響比率Gr(k,m)は、第1指標値Q1(k,m)が第2指標値Q2(k,m)を下回る場合(区間SB)の残響比率Gr(k,m)よりも小さい数値となる。したがって、音響信号x(t)における残響成分の比率の指標値として残響比率Gr(k,m)を利用することが可能である。
【0037】
以上に説明したように、第1実施形態では、音響信号x(t)の時間変化に追従する第1指標値Q1(k,m)および第2指標値Q2(k,m)の比R(k,m)に応じて初期音比率Gd(k,m)および残響比率Gr(k,m)が算定されるから、予測フィルタ係数の確率モデルを利用して残響成分を推定する特許文献1の技術と比較して簡易な処理で音響信号x(t)の残響成分を解析できるという利点がある。
【0038】
図1の残響調整部36は、解析処理部34が算定した初期音比率Gd(k,m)または残響比率Gr(k,m)を音響信号x(t)のスペクトルX(k,m)に作用させることで音響信号y(t)のスペクトルY(k,m)を単位期間毎に生成する。残響成分の抑圧が指示された場合、残響調整部36は、初期音比率Gd(k,m)をスペクトルX(k,m)に乗算することでスペクトルY(k,m)を生成する(Y(k,m)=Gd(k,m)X(k,m))。初期音成分が優勢な周波数の初期音比率Gd(k,m)ほど大きい数値に設定されるから、音響信号x(t)の残響成分を抑圧したスペクトルY(k,m)が生成される。他方、残響成分の強調が指示された場合、残響調整部36は、残響比率Gr(k,m)をスペクトルX(k,m)に乗算することでスペクトルY(k,m)を生成する(Y(k,m)=Gr(k,m)X(k,m))。残響成分が優勢な周波数の残響比率Gr(k,m)ほど大きい数値に設定されるから、音響信号x(t)の残響成分を強調(抽出)したスペクトルY(k,m)が生成される。
【0039】
波形合成部38は、残響調整部36が残響調整部36が生成したスペクトルY(k,m)から時間領域の音響信号y(t)を生成する。具体的には、波形合成部38は、各単位期間のスペクトルY(k,m)の短時間逆フーリエ変換で生成した時間領域信号を相互に連結することで音響信号y(t)を生成する。
【0040】
図1の表示制御部40は、解析処理部34が音響信号x(t)の残響成分および初期音成分を解析した結果を表示装置16に表示させる。第1実施形態の表示制御部40は、
図4の残響評価画像72を表示装置16に表示させる。残響評価画像72は、第1座標領域721と第2座標領域722とを含んで構成される。第1座標領域721と第2座標領域722とは、利用者が両者を視覚的に対比できる位置およびサイズで表示される。第1座標領域721および第2座標領域722の各々は、時間軸Tと周波数軸Fとが設定された座標平面である。第1座標領域721には音響信号x(t)のスペクトログラム(スペクトルX(k,m)の時系列)が表示される。
【0041】
他方、第2座標領域722には、各周波数の初期音比率Gd(k,m)の時系列が表示される。具体的には、時間軸Tのうち第m番目の単位期間の時点と、周波数軸Fのうち第k番目の周波数とに対応する座標点(時間軸T上の各時点と周波数軸F上の各周波数とに対応して格子状に配列する点)は、第m番目の単位期間と第k番目の周波数とに対応する初期音比率Gd(k,m)の数値に応じた表示態様(色彩や階調)に制御される。
図4では、初期音比率Gdが大きい(初期音成分が残響成分と比較して優勢である)ほど座標点を低階調(濃い階調)で表示する場合が例示されている。すなわち、第2座標領域722のうち低階調の領域に対応する時点および周波数では音響信号x(t)が初期音成分を豊富に包含し、第2座標領域722のうち高階調の領域に対応する時点および周波数では音響信号x(t)が残響成分を豊富に包含することを、利用者は視覚的および直観的に把握することが可能である。また、第1座標領域721と第2座標領域722とを対比することで、第1座標領域721内で音響信号x(t)の強度が高い位置(時間および周波数)に対応する第2座標領域722内の領域ほど低階調(初期音成分が優勢である)になるという傾向を把握することもできる。
【0042】
以上に説明したように、第1実施形態では、初期音比率Gd(k,m)が残響評価画像72として表示装置16に表示されるから、音響信号x(t)内の初期音成分や残響成分の多寡(音響信号x(t)の全体に対する比率)を利用者が視覚的および直観的に把握できるという利点がある。第1実施形態では特に、各周波数の初期音比率Gd(k,m)の時系列が残響評価画像72として表示されるから、音響信号x(t)の複数の周波数成分の間で残響成分や初期音成分の多寡を対比したり、音響信号x(t)の特定の周波数について初期音成分や残響成分の時間変化を確認したりすることが可能である。さらに、音響信号x(t)のスペクトログラムを表現する第1座標領域721と初期音比率Gd(k,m)を表現する第2座標領域722とが対比的に配置されるから、音響信号x(t)の各周波数の強度の経時変化と初期音成分や残響成分の経時変化との関係を容易に把握できるという利点もある。ただし、第1座標領域721を省略することも可能である。
【0043】
なお、以上の例示では第2座標領域722内の各座標点の表示態様を初期音比率Gd(k,m)に応じて制御したが、残響比率Gr(k,m)に応じて各座標点の表示態様を制御する構成も採用され得る。また、初期音比率Gd(k,m)(または残響比率Gr(k,m))および音響信号x(t)の強度の双方に応じて第2座標領域722の各座標点の表示態様を制御する構成も好適である。例えば、各座標点の階調および色彩の一方を初期音比率Gd(k,m)に応じて設定し、各座標点の階調および色彩の他方を音響信号x(t)の強度に応じて設定する構成が採用される。以上の構成によれば、音響信号x(t)の強度と初期音成分または残響成分の比率との双方を第2座標領域722から把握できるという利点がある。
【0044】
<第2実施形態>
本発明の第2実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同等である要素については、第1実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【0045】
第2実施形態の表示制御部40は、音響信号x(t)の特定の単位期間(以下「対象単位期間」という)について
図5の残響評価画像74を表示装置16に表示させる。例えば、音響信号x(t)のうち利用者が入力装置(図示略)に対する操作で指定した時点の単位期間や、音響信号x(t)を順次に処理して音響信号y(t)を再生する場合の現在の再生点に対応する単位期間が対象単位期間として選択される。対象単位期間の変更毎に(例えば音響信号y(t)の再生進行に連動して)、残響評価画像74は、変更後の対象単位期間に対応する内容に更新される。
【0046】
図5に示すように、第2実施形態の残響評価画像74は、音響信号x(t)の振幅スペクトル|X(k,m)|を含んで構成される。振幅スペクトル|X(k,m)|は、周波数軸上に配列された複数の強度線740で構成される。各強度線740は、周波数軸に直交する線分である。各周波数に対応する強度線740の長さLAは、その周波数での音響信号x(t)の振幅(強度)に応じて設定される。
【0047】
図5に拡大して示すように、各強度線740は、初期音成分に対応する第1部分741と残響成分に対応する第2部分742とに区分される。第1部分741と第2部分742とは相異なる表示態様(色彩や階調)で表示される。第1部分741の長さLA1は初期音比率Gd(k,m)に応じて設定され、第2部分742の長さLA2は残響比率Gr(k,m)に応じて設定される。具体的には、第1部分741の長さLA1は強度線740の長さLAと初期音比率Gd(k,m)との乗算値に設定され(LA1=Gd(k,m)・LA)、第2部分742の長さLA2は強度線740の長さLAと残響比率Gr(k,m)との乗算値に設定される(LA2=Gr(k,m)・LA)。すなわち、初期音成分の強度が各強度線740の第1部分741の長さLA1で表現され、残響成分の強度が各強度線740の第2部分742の長さLA2で表現される。例えば、音響信号x(t)の対象単位期間において残響成分が優勢であるほど強度線740のうち第2部分742の割合(LA2/LA)が増加し、初期音成分が優勢であるほど強度線740のうち第1部分741の割合(LA1/LA)が増加する。
【0048】
以上の説明から理解されるように、第1部分741の集合は、音響信号x(t)の対象単位期間における初期音成分の振幅スペクトル|Xd(k,m)|を意味する。すなわち、第2実施形態の残響評価画像74は、音響信号x(t)の振幅スペクトル|X(k,m)|と音響信号x(t)の初期音成分の振幅スペクトル|Xd(k,m)|とを相異なる表示態様で相互に重ねて配置した画像と換言される。音響信号x(t)の振幅スペクトル|X(k,m)|と初期音成分の振幅スペクトル|Xd(k,m)|との差分(各強度線740の第2部分742の集合)が残響成分に相当する。
【0049】
第2実施形態では、初期音比率Gd(k,m)および残響比率Gr(k,m)が残響評価画像74として表示装置16に表示されるから、第1実施形態と同様に、音響信号x(t)内の初期音成分や残響成分の多寡(音響信号x(t)の全体に対する比率)を利用者が視覚的および直観的に把握できるという利点がある。また、第2実施形態では、音響信号x(t)における初期音成分や残響成分の比率に加えて初期音成分や残響成分の強度(振幅)も視覚的に把握できるという利点がある。
【0050】
なお、以上の例示では、強度線740のうち周波数軸に近い第1部分741を初期音成分に対応させ、第2部分742を残響成分に対応させたが、第1部分741を残響成分に対応させるとともに第2部分742を初期音成分に対応させることも可能である。具体的には、第1部分741の長さLA1は強度線740の長さLAと残響比率Gr(k,m)との乗算値に設定され、第2部分742の長さLA2は強度線740の長さLAと初期音比率Gd(k,m)との乗算値に設定される。したがって、第1部分741の集合は、音響信号x(t)のうち残響成分の振幅スペクトルに相当する。また、振幅スペクトル|X(k,m)|および振幅スペクトル|Xd(k,m)|の各々の表示/非表示を利用者からの指示に応じて切替える構成も採用され得る。
【0051】
図5に例示した残響評価画像74では、1個の対象単位期間について振幅スペクトル|X(k,m)|および振幅スペクトル|Xd(k,m)|を表示したが、
図6の例示のように時間軸Tを設定し、振幅スペクトル|X(k,m)|および振幅スペクトル|Xd(k,m)|の時間変化を立体的に表示することも可能である。音響信号x(t)の振幅スペクトル|X(k,m)|の時間軌跡となる曲面を透過画像で表示し、初期音成分の振幅スペクトル|Xd(k,m)|の時間軌跡となる曲面を非透過画像で表示すれば、振幅スペクトル|Xd(k,m)|および振幅スペクトル|X(k,m)|の双方の時間変化を視認することが可能である。
【0052】
<第3実施形態>
第3実施形態の表示制御部40は、音響信号x(t)の初期音成分の平均強度Ad(m)と残響成分の平均強度Ar(m)とを単位期間毎に順次に算定する。初期音成分の平均強度Ad(m)は、以下の数式(4A)で表現されるように、音響信号x(t)の振幅スペクトル|X(k,m)|と初期音比率Gd(k,m)との乗算値の自乗で算定される強度((Gd(k,m)・|X(k,m)|)
2)を周波数軸上のK個の周波数について平均した数値(平均パワー)である。他方、残響成分の平均強度Ar(k,m)は、以下の数式(4B)で表現されるように、音響信号x(t)の振幅スペクトル|X(k,m)|と残響比率Gr(k,m)との乗算値の自乗で算定される強度((Gd(k,m)・|X(k,m)|)
2)を周波数軸上のK個の周波数について平均した数値である。
【数4】
【0053】
表示制御部40は、音響信号x(t)の対象単位期間について
図7の残響評価画像76を表示装置16に表示させる。対象単位期間の変更毎に残響評価画像76が更新される構成は第2実施形態と同様である。残響評価画像76は、方向αに長尺な帯状(長方形状)の強度図形760を含んで構成される。方向αにおける強度図形760の長さLBは、対象単位期間での音響信号x(t)の強度(振幅やパワー)に応じて選定される。したがって、対象単位期間の変更毎に強度図形760の長さLBは刻々と変化する。
【0054】
図7に示すように、強度図形760は、初期音成分に対応する第1部分761と残響成分に対応する第2部分762とに区分される。第1部分761と第2部分762とは相異なる表示態様(色彩や階調)で表示される。方向αにおける第1部分761の長さLB1は平均強度Ad(k,m)に応じて設定され、方向αにおける第2部分762の長さLB2は平均強度Ar(k,m)に応じて設定される。具体的には、第1部分761の長さLB1と第2部分762の長さLB2との比(LB1/LB2)が、平均強度Ad(m)と平均強度Ar(m)との比(Ad(m)/Ar(m))と合致するように、第1部分761の長さLB1と第2部分762の長さLB2とが選定される。すなわち、初期音成分の平均強度Ad(m)が第1部分761の長さLB1で表現され、残響成分の平均強度Ar(m)が第2部分762の長さLB2で表現される。例えば、音響信号x(t)の対象単位期間にて残響成分が優勢であるほど強度図形760のうち第2部分762の割合(LB2/LB)が増加し、初期音成分が優勢であるほど強度図形760のうち第1部分761の割合(LB1/LB)が増加する。
【0055】
第3実施形態では、初期音成分の平均強度Ad(m)と残響成分の平均強度Ar(m)とが残響評価画像76として表示装置16に表示されるから、第1実施形態と同様に、音響信号x(t)の初期音成分や残響成分の多寡を利用者が視覚的および直観的に把握できるという利点がある。また、第3実施形態では、第2実施形態と同様に、音響信号x(t)における初期音成分や残響成分の比率に加えて初期音成分や残響成分の平均強度も視覚的に把握できるという利点がある。
【0056】
なお、以上の例示では、初期音成分の平均強度Ad(m)と残響成分の平均強度Ar(m)とを図形的に表示したが、平均強度Ad(m)および平均強度Ar(m)の表示方法は任意である。例えば、平均強度Ad(m)および平均強度Ar(m)の各々の数値を残響評価画像76として表示する構成や、平均強度Ad(m)と平均強度Ar(m)との比(例えばAd(m)/Ar(m))を残響評価画像76として表示する構成も採用され得る。
【0057】
<第4実施形態>
第4実施形態の音響処理装置100には、右チャネルの音響信号xR(t)と左チャネルの音響信号xL(t)とが信号供給装置12から供給される。音響信号xR(t)と音響信号xL(t)とは、再生音の受聴者が特定の方向に音像を知覚するように生成されたステレオ信号である。音響処理装置100の周波数分析部32は、音響信号xR(t)のスペクトルXR(k,m)と音響信号xL(t)のスペクトルXL(k,m)とを単位期間毎に順次に生成する。解析処理部34は、音響信号xR(t)と音響信号xL(t)とを加算した音響信号x(t)を第1実施形態と同様に解析することで初期音比率Gd(k,m)と残響比率Gr(k,m)とを算定する。残響調整部36は、音響信号xR(t)のスペクトルXR(k,m)に初期音比率Gd(k,m)または残響比率Gr(k,m)を作用させることで右チャネルの音響信号yR(t)のスペクトルYR(k,m)を生成し、音響信号xL(t)のスペクトルXL(k,m)に初期音比率Gd(k,m)または残響比率Gr(k,m)を作用させることで左チャネルの音響信号yL(t)のスペクトルYL(k,m)を生成する。波形合成部38は、スペクトルYR(k,m)に応じた音響信号yR(t)とスペクトルYL(k,m)に応じた音響信号yL(t)とを生成する。
【0058】
表示制御部40は、音響信号x(t)の複数の周波数成分の各々について、その周波数成分が定位する方向(以下「定位方向」という)θ(k,m)を単位期間毎に算定する。定位方向θ(k,m)の算定には公知の技術が任意に採用され得るが、例えば、音響信号xR(t)の振幅スペクトル|XR(k,m)|と音響信号xL(t)の振幅スペクトル|XL(k,m)|とを適用した以下の数式(5)の演算が好適である。なお、数式(5)については、例えば、M. Vinyes, J. Bonada, A. Loscos, "Demixing Commercial Music Productions wia Human-Assisted Time-Frequency Masking",Audio Engineering Society 120th Convention, France, 2006にも開示されている。
【数5】
【0059】
第4実施形態の表示制御部40は、音響信号x(t)の対象単位期間について
図8の残響評価画像78を表示装置16に表示させる。対象単位期間の変更毎に残響評価画像78が更新される構成は第2実施形態と同様である。残響評価画像78は、周波数軸Fと定位軸Pとが設定された座標領域780を含んで構成される。
【0060】
座標領域780内には、音響信号x(t)の各周波数成分に対応する複数の音像点782が配置される。音像点782は、例えば円形状の画像である。各周波数成分に対応する音像点782は、周波数軸Fのうちその周波数成分の周波数と、定位軸Pのうちその周波数成分について算定された定位方向θ(k,m)とに対応する座標に位置する。したがって、複数の音像点782の分布を視認することで、利用者は、音響信号x(t)の各周波数成分について定位方向θ(k,m)を把握することが可能である。例えば、相異なる音域に対応する複数の楽器音の混合音を音響信号x(t)が示す場合、利用者は楽器毎の定位方向θ(k,m)を把握することができる。
【0061】
表示制御部40は、各周波数成分に対応する音像点782のサイズ(直径)を、その周波数成分の強度(振幅)に応じて可変に設定する。具体的には、強度が高い周波数成分の音像点782ほど大径に設定される。また、表示制御部40は、各音像点782の表示態様(階調や色彩)を初期音比率Gd(k,m)に応じて可変に設定する。例えば、初期音比率Gdが大きい(初期音成分が残響成分と比較して優勢である)ほど音像点782は低階調(濃い階調)で表示される。
【0062】
以上に説明したように、第4実施形態では、初期音比率Gd(k,m)に応じて音像点782の表示態様が制御された残響評価画像78が表示装置16に表示されるから、第1実施形態と同様に、音響信号x(t)内の初期音成分や残響成分の多寡を利用者が視覚的および直観的に把握できるという利点がある。また、第4実施形態では、音響信号x(t)の各周波数成分に対応する音像点782の表示態様が初期音比率Gd(k,m)に応じて可変に制御されるから、利用者は、各定位方向θ(k,m)に定位する周波数成分において初期音成分および残響成分の何れが優勢であるか、あるいは、初期音成分または残響成分が豊富な定位方向θ(k,m)を、視覚的および直観的に把握することが可能である。
【0063】
なお、以上の例示では、座標領域780内の各音像点782の表示態様を初期音比率Gd(k,m)に応じて制御したが、残響比率Gr(k,m)に応じて各音像点782の表示態様を制御する構成も採用され得る。また、以上の例示では、1個の対象単位期間のみについて音像点782を表示したが、複数の単位期間にわたる音像点782を相互に重ねて表示することも可能である。具体的には、現在の単位期間の音像点782と過去または未来の単位期間の音像点782とを相異なる表示態様(例えば階調や色彩)で表示することが可能である。
【0064】
<第5実施形態>
図9は、第5実施形態における解析処理部34のブロック図である。第5実施形態の解析処理部34は、
図2に例示した第1実施形態の指標値算定部50Aを指標値算定部50Bに置換した構成である。指標値算定部50Bは、第1指標値Q1(k,m)および第2指標値Q2(k,m)を単位期間毎に順次に算定する要素であり、第1平滑部51と第2平滑部52と遅延部54とを含んで構成される。なお、評価値算定部60の構成および動作は第1実施形態と同様である。
【0065】
第1平滑部51は、第1実施形態と同様に、音響信号x(t)のパワー|X(k,m)|
2の時系列を平滑化することで第1指標値Q1(k,m)を単位期間毎に順次に算定する。遅延部54は、音響信号x(t)のスペクトルX(k,m)を単位期間のd個分(dは自然数)に相当する時間だけ遅延させる記憶回路である。第2平滑部52は、遅延部54による遅延後のスペクトルX(k,m)のパワー|X(k,m)|
2の時系列を平滑化することで第2指標値Q2(k,m)を単位期間毎に順次に算定する。ただし、第2実施形態では、第2平滑部52による平滑化の時定数τ2は第1平滑部51による平滑化の時定数τ1と同等である(τ2=τ1)。したがって、第2指標値Q2(k,m)の時間変化は、第1指標値Q1(k,m)の時間変化を単位期間のd個分だけ遅延させた関係にある(Q2(k,m)=Q1(k,m-d))。なお、第1平滑部51による平滑化の時定数τ1と第2平滑部52による平滑化の時定数τ2とを相違させることも可能である。また、第1平滑部51が算定した第1指標値Q1(k,m)を遅延させることで第2指標値Q2(k,m)を算定する構成(第2平滑部52を省略した構成)も採用され得る。
【0066】
図10の部分(B)は、
図3の部分(A)と同様の室内インパルス応答(
図10の部分(A))を音響信号x(t)として第5実施形態の音響処理装置100に供給した場合の第1指標値Q1(k,m)および第2指標値Q2(k,m)の時間変化のグラフである。
【0067】
図10の部分(B)から理解されるように、第1指標値Q1(k,m)と第2指標値Q2(k,m)とで時間変化の態様(波形)は共通するが、第2指標値Q2(k,m)の時間変化は第1指標値Q1(k,m)の時間変化に対して単位期間のd個分だけ遅延する。すなわち、第2指標値Q2(k,m)は、第1指標値Q1(k,m)と比較して低い追従性で音響信号x(t)のパワー|X(k,m)|
2に追従する。したがって、第1実施形態と同様に、第1指標値Q1(k,m)と第2指標値Q2(k,m)との大小は時間軸上の特定の時点txで反転する。すなわち、時点txまでの区間SAでは第1指標値Q1(k,m)が第2指標値Q2(k,m)を上回り、時点tx以降の区間SBでは第2指標値Q2(k,m)が第1指標値Q1(k,m)を上回る。
【0068】
比算定部62による比R(k,m)の算定(数式(2))や第1処理部64による初期音比率Gd(k,m)の算定や第2処理部66による残響比率Gr(k,m)の算定は第1実施形態と同様である。したがって、
図10の部分(C)に示すように、初期音比率Gd(k,m)は、初期音成分が存在する区間SAにて1に設定され、残響成分が存在する区間SBでは下限値Gminまで経時的に減少する。したがって、第5実施形態においても第1実施形態と同様の効果が実現される。なお、第2実施形態から第4実施形態に第5実施形態を適用することも可能である。
【0069】
<変形例>
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
【0070】
(1)前述の各形態では、音響信号x(t)のパワー|X(k,m)|
2の単純移動平均を第1指標値Q1(k,m)および第2指標値Q2(k,m)として算定したが、第1指標値Q1(k,m)および第2指標値Q2(k,m)の算定方法は以上の例示に限定されない。例えば、以下の数式(6A)および数式(6B)で表現されるように、音響信号x(t)のパワー|X(k,m)|
2の指数平均(指数移動平均)を第1指標値Q1(k,m)および第2指標値Q2(k,m)として算定することも可能である。
【数6】
【0071】
すなわち、第1平滑部51および第2平滑部52は、IIR(infinite impulse response)型のローパスフィルタに相当する。数式(6A)の記号α1および数式(6B)の記号α2は平滑化係数(忘却係数)である。具体的には、平滑化係数α1は、過去の第1指標値Q1(k,m-1)に対する現在のパワー|X(k,m)|
2の重みを意味し、平滑化係数α2は、過去の第2指標値Q2(k,m-1)に対する現在のパワー|X(k,m)|
2の重みを意味する。平滑化係数α2は、平滑化係数α1を下回る数値に設定される(α2<α1)。したがって、第1実施形態と同様に、第2平滑部52による平滑化の時定数τ2は第1平滑部51による平滑化の時定数τ1を上回る(τ2>τ1)。すなわち、第2指標値Q2(k,m)は、第1指標値Q1(k,m)と比較して低い追従性で音響信号x(t)のパワー|X(k,m)|
2に追従する。
【0072】
また、以下の数式(7A)および数式(7B)で表現されるように、音響信号x(t)のパワー|X(k,m)|
2の加重移動平均を第1指標値Q1(k,m)および第2指標値Q2(k,m)として算定することも可能である。数式(7A)の記号w1(i)および数式(7B)の記号w2(i)は、第m番目の単位期間からみて前方の第i番目に位置する単位期間に対する加重値を意味する。第2期間が第1期間よりも長いという条件(N2>N1)は前掲の例示と同様である。
【数7】
【0073】
(2)初期音比率Gd(k,m)や残響比率Gr(k,m)の算定方法は任意である。例えば、前述の各形態の説明から理解されるように、残響比率Gr(k,m)を以下の数式(3A)の演算で算定することも可能である。
【数8】
残響比率Gr(k,m)を数式(3A)で算定する場合、初期音比率Gd(k,m)を前掲の数式(3)で算定する構成(すなわち、初期音比率Gd(k,m)と残響比率Gr(k,m)とを並列に算定する構成)や、数式(3A)で算定された残響比率Gr(k,m)を1から減算することで初期音比率Gd(k,m)(Gd(k,m)=1−Gr(k,m))を算定する構成(すなわち、第1処理部64と第2処理部66とを入替えた構成)も採用され得る。
【0074】
また、例えば、第1指標値Q1(k,m)および第2指標値Q2(k,m)を変数とする所定の演算や比R(k,m)を変数とする所定の演算により初期音比率Gd(k,m)や残響比率Gr(k,m)を算定する構成も採用され得る。また、前述の各形態では初期音比率Gd(k,m)から残響比率Gr(k,m)を算定したが、例えば第1指標値Q1(k,m)に対する第2指標値Q2(k,m)の比R(k,m)を数式(3)の演算に適用することで残響比率Gr(k,m)を直接的に(すなわち初期音比率Gd(k,m)の算定を経ずに)算定することも可能である。以上の説明から理解されるように、初期音比率Gd(k,m)や残響比率Gr(k,m)は、音響信号のうち残響成分または初期音成分の比率に応じた変数(比率評価値)として包括され、算定方法の如何は不問である。
【0075】
(3)前述の各形態では、初期音比率Gd(k,m)および残響比率Gr(k,m)の双方を算定したが、初期音比率Gd(k,m)および残響比率Gr(k,m)の一方のみを算定する構成も採用され得る。例えば第1実施形態や第4実施形態では、残響評価画像に表示される初期音比率Gd(k,m)のみを算定する(残響比率Gr(k,m)の算定を省略する)ことも可能である。
【0076】
(4)前述の各形態では、第1平滑部51による平滑化の時定数τ1と第2平滑部52による平滑化の時定数τ2との各々を複数の周波数にわたり共通させたが、時定数τ1と時定数τ2とを周波数毎(帯域毎)に個別に設定することも可能である。また、時定数τ1および時定数τ2の一方または双方を経時的に変化させることも可能である。
【0077】
(5)前述の各形態では、音響信号x(t)のパワー|X(k,m)|
2の時系列を平滑化することで第1指標値Q1(k,m)および第2指標値Q2(k,m)を算定したが、第1平滑部51や第2平滑部52による平滑化の対象はパワー|X(k,m)|
2に限定されない。例えば、音響信号x(t)の振幅|X(k,m)|や振幅の4乗|X(k,m)|
4を平滑化することで第1指標値Q1(k,m)や第2指標値Q2(k,m)を算定する構成も採用され得る。すなわち、前述の各形態における第1平滑部51や第2平滑部52は、音響信号x(t)の強度の時系列を平滑化する要素として包括され、音響信号x(t)の強度は、パワー|X(k,m)|
2のほかに振幅|X(k,m)|や振幅の4乗|X(k,m)|
4を包含する。
【0078】
(6)前述の各形態における残響調整部36および波形合成部38を省略することも可能である。すなわち、本発明は、音響信号x(t)の残響を解析して解析結果を表示する残響解析装置としても実施され得る。