(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0015】
(A)第1の実施形態
以下、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第1の実施形態を、図面を参照しながら説明する。
【0016】
(A−1)第1の実施形態の構成
図2は、第1の実施形態に係る音声通信装置の主要部構成を示すブロック図である。
【0017】
第1の実施形態の音声通信装置1は、例えば、IP電話装置(ソフトフォンを含む)であり、送信する音声信号を圧縮符号化すると共に、受信した符号化音声信号を復号するコーデック装置2を備えている。コーデック装置2から出力された復号音声信号は狭帯域信号s(n)であって、音声帯域を高域側に拡張する第1の実施形態の帯域拡張装置3に与えられるようになされている。なお、第1の実施形態の音声通信装置1がソフトフォンの場合には、コーデック装置2や帯域拡張装置3は、CPU、及び、このCPUが実行するプログラム(コーデックプログラムや帯域拡張プログラム)によって実現される。
【0018】
図1は、第1の実施形態に係る帯域拡張装置3の内部構成を示すブロック図である。仮に、第1の実施形態の帯域拡張装置3が、CPU、及び、このCPUが実行する帯域拡張プログラム(第1の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、
図1で表すことができる。
【0019】
図1において、第1の実施形態の帯域拡張装置3は、アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、白色化回路104、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107及び加算回路108を有する。
【0020】
帯域拡張装置3において、コーデック装置2から出力された狭帯域信号s(n)は、アップサンプリング回路101及びLPC分析回路102に与えられる。なお、コーデック装置2から出力された狭帯域信号s(n)は、狭い帯域に応じたサンプリング周波数のデジタル音声信号であり、帯域拡張後の広帯域から見ると、サンプリング周波数が不十分なものである。
【0021】
アップサンプリング回路101は、狭帯域信号s(n)のサンプリング周波数を増加させ、アップサンプリング信号su(n)を加算回路108に出力するものである。
【0022】
LPC分析回路102は、狭帯域信号s(n)を用いたLPC分析を実施し、得られたLPC係数aをLPC係数広帯域化回路105に出力すると共に、狭帯域信号s(n)のスペクトル概形を除去した残差信号e(n)を残差非線形処理回路103に出力するものである。
【0023】
残差非線形処理回路103は、狭帯域の残差信号e(n)のサンプリング周波数を増加させた後、全波整流などの非線形処理を施して広帯域化された残差信号en(n)を得て白色化回路104に出力するものである。残差非線形処理回路103が行う非線形処理は、全波整流に限定されず、半波整流、クリッピングなど、狭帯域信号s(n)についての制限帯域を超えた制限帯域外の成分が生じる非線形処理であれば良く、その手法は限定されないものである。ここで、残差非線形処理回路103の非線形処理により広帯域化された広帯域残差信号は、必ずしもそのスペクトル概形が白色になるとは限らないものである。
【0024】
白色化回路104は、第1の実施形態に係る帯域拡張装置3の特徴をなしている構成要素である。白色化回路104は、スペクトル概形が白色ではない広帯域残差信号en(n)が入力された際に白色化し、スペクトル概形が白色の広帯域残差信号ew(n)をLPC合成回路106に出力するものである。白色化回路104による白色化方法は問われないものである。白色化回路104は、例えば、残差非線形処理回路103から出力された広帯域残差信号en(n)を用いたLPC分析を実施し、広帯域残差信号en(n)のスペクトル概形を除去した広帯域残差信号ew(n)を出力する。このスペクトル概形の除去により、スペクトル概形が平滑化されて白色となる。また例えば、白色化回路104は、FFTにより周波数領域の信号に変換し、スペクトル概形を白色のスペクトル概形に整形した後逆FFTすることを通して、広帯域残差信号e(n)のスペクトル概形を除去(平滑化)する。
【0025】
LPC係数広帯域化回路105は、狭帯域LPC係数aを広帯域化し、広帯域LPC係数awをLPC合成回路106に出力するものである。LPC係数の広帯域化方法も、限定されるものではない。上述した特許文献1に記載の手法が適用できる。その他、特開2010−55000、特開2010−55002、特開平11−126098などに記載の手法も適用できる。
【0026】
LPC合成回路106は、白色化回路104からの広帯域残差信号ew(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとからLPC合成処理を実施し、合成広帯域信号sr(n)を得て帯域通過回路107に出力するものである。
【0027】
帯域通過回路107は、合成広帯域信号sr(n)に対して、狭帯域信号s(n)についての制限帯域以外の帯域部分を通過させ、その帯域通過信号sb(n)を加算回路108に出力するものである。帯域通過信号sb(n)は、狭帯域信号s(n)が備えない帯域の信号であり、言い換えると、拡張帯域の信号である。
【0028】
加算回路108は、アップサンプリング回路101から出力されたアップサンプリング信号(帯域的には狭帯域信号と同様)su(n)と、帯域通過回路107から出力された拡張帯域信号sb(n)とを加算し、広帯域信号sw(n)を得て、当該帯域拡張装置3からの出力信号として出力するものである。
【0029】
(A−2)第1の実施形態の動作
次に、第1の実施形態の帯域拡張装置3の動作を、図面を参照しながら詳述する。なお、第1の実施形態の音声通信装置1の動作説明は省略する。
【0030】
コーデック装置2から出力された狭帯域信号s(n)は、アップサンプリング回路101及びLPC分析回路102に与えられる。
【0031】
狭帯域信号s(n)は、アップサンプリング回路101においてサンプリング周波数が増加され、その増加後のアップサンプリング信号su(n)が加算回路108に出力される。
【0032】
狭帯域信号s(n)に対し、LPC分析回路102によってLPC分析が実施され、得られたLPC係数aがLPC係数広帯域化回路105に出力されると共に、残差信号e(n)が残差非線形処理回路103に出力される。狭帯域の残差信号e(n)は、残差非線形処理回路103においてそのサンプリング周波数が高められると共に、非線形処理が施されて広帯域化され、広帯域となった残差信号en(n)が白色化回路104に出力される。広帯域の残差信号en(n)は、白色化回路104において白色化され、その白色化された広帯域残差信号ew(n)がLPC合成回路106に出力される。狭帯域LPC係数aは、LPC係数広帯域化回路105において広帯域化され、広帯域LPC係数awがLPC合成回路106に出力される。白色化回路104からの広帯域残差信号ew(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとは、LPC合成回路106に与えられて、LPC合成処理が実施され、得られた合成広帯域信号sr(n)が帯域通過回路107に出力される。
【0033】
合成広帯域信号sr(n)は、帯域通過回路107によって、狭帯域信号s(n)についての制限帯域以外の帯域部分に濾波され、その帯域通過信号sb(n)が加算回路108に出力され。
【0034】
アップサンプリング回路101から出力されたアップサンプリング信号と、帯域通過回路107から出力された拡張帯域信号sb(n)とが加算回路108において加算され、得られた広帯域信号sw(n)が当該帯域拡張装置3の次段装置に出力される。
【0035】
(A−3)第1の実施形態の効果
第1の実施形態によれば、非線形処理後の残差信号を白色化するようにしたので、LPC合成により生成された広帯域信号が意図しないスペクトル概形を持つ場合が少なくなり、音質の劣化を抑えることができる。
【0036】
(B)第2の実施形態
次に、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第2の実施形態を、図面を参照しながら説明する。
【0037】
(B−1)第2の実施形態の構成
第2の実施形態も音声通信装置の構成は第1の実施形態と同様であり、以下では、第2の実施形態の帯域拡張装置の構成を説明する。
【0038】
図3は、第2の実施形態に係る帯域拡張装置3Aの内部構成を示すブロック図である。仮に、第2の実施形態の帯域拡張装置3Aが、CPU、及び、このCPUが実行する帯域拡張プログラム(第2の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、
図3で表すことができる。
図3において、上述した第1の実施形態に係る
図1との同一、対応部分には同一符号を付して示している。
【0039】
図3において、第2の実施形態の帯域拡張装置3Aは、アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107、加算回路108及び白色雑音重畳部200を有する。白色
雑音重畳部200は、有声無声判定回路201、広帯域LPC分析回路202、白色雑音発生回路203、LPC雑音合成回路204及び加算回路205を有する。
【0040】
アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107及び加算回路108は、第1の実施形態と同様に機能するものである。
【0041】
第2の実施形態の帯域拡張装置3Aは、第1の実施形態の白色化回路104に代えて、白色
雑音重畳部200を備えている。白色化回路104が省略されているため、残差非線形処理回路103から出力された広帯域の残差信号en(n)は、LPC合成回路106に出力され、LPC合成回路106は、広帯域の残差信号en(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとを用いて、LPC合成処理を実施する。そのため、LPC合成回路106から出力された合成広帯域信号sr(n)は、第1の実施形態の場合より、スペクトル概形が意図しない形になり易い。
【0042】
白色
雑音重畳部200は、LPC合成回路106からの合成広帯域信号sr(n)に、白色信号を重畳することにより、合成広帯域信号sr(n)における意図しない周波数成分を目立たなくしようとしたものである。すなわち、狭帯域信号から生成された広帯域信号に対して、スペクトル概形が類似した雑音信号を重畳し、意図しないスペクトル概形による異音を聴感的に検知し難くし、音質の劣化を抑えようとしたものである。
【0043】
白色
雑音重畳部200における有声無声判定回路201には狭帯域信号s(n)が入力される。有声無声判定回路201は、狭帯域信号s(n)を用いて有声音か無声音かを判定し、有声無声判定結果vを白色雑音発生回路203に出力するものである。有声無声判定回路201は、有声音であればv=1を、無声音であればv=0を出力する。有声無声判定回路201における有声無声判定方法は、いかなる方法を適用しても良い。例えば、狭帯域信号s(n)の周期性を監視し、周期性が強い場合に有声音と判定する方法を適用できる。
【0044】
広帯域LPC分析回路202は、合成広帯域信号sr(n)を用いてLPC分析を実施し、合成広帯域LPC係数wをLPC雑音合成回路204に出力すると共に、合成広帯域信号sr(n)のスペクトル概形を除去した合成広帯域残差信号se(n)を白色雑音発生回路203に出力するものである。
【0045】
白色雑音発生回路203は、合成広帯域残差信号se(n)と同じパワの白色雑音を発生し、発生した白色雑音に重畳度合いを規定するゲインαを乗じた白色雑音信号p(n)をLPC雑音合成回路204に出力するものである。ゲインαは、有声無声判定結果vに応じた値をとるものであり、例えば、(1)式に示す値をとる。(1)式は、v=1(有声音)のときにα=β(但し、0<β<1とする)とし、v=0(無声音)のときにα=1とするものである。すなわち、無声音(無声音区間)のときの方が有声音(有声音区間)より白色雑音の重畳度合を多くするようにしている。なお、有声無声判定結果vは、2値ではなく周期性の度合いに応じて段階的に変化する多値(3値以上)であっても良い。
【0046】
α=β+(1−β)×(1−v) …(1)
LPC雑音合成回路204は、合成広帯域LPC係数wにリーク係数を乗じるなどしてスペクトル概形をある程度平坦化した後、白色雑音信号p(n)の合成白色雑音信号ps(n)を生成し、加算回路205に出力するものである。
【0047】
加算回路205は、LPC合成回路106から出力された合成広帯域信号sr(n)とLPC雑音合成回路204から出力された合成白色雑音信号ps(n)とを加算して帯域通過回路
107に出力するものである。
【0048】
(B−2)第2の実施形態の動作
次に、第2の実施形態の帯域拡張装置3Aの動作を、図面を参照しながら詳述する。
【0049】
コーデック装置2から出力された狭帯域信号s(n)は、アップサンプリング回路101、LPC分析回路102及び有声無声判定回路201に与えられる。
【0050】
狭帯域信号s(n)は、アップサンプリング回路101においてサンプリング周波数が増加され、その増加後のアップサンプリング信号su(n)が加算回路108に出力される。
【0051】
狭帯域信号s(n)に対し、LPC分析回路102によってLPC分析が実施され、得られたLPC係数aがLPC係数広帯域化回路105に出力されると共に、残差信号e(n)が残差非線形処理回路103に出力される。狭帯域の残差信号e(n)は、残差非線形処理回路103においてそのサンプリング周波数が高められると共に、非線形処理が施されて広帯域化され、広帯域となった残差信号en(n)がLPC合成回路106に出力される。狭帯域LPC係数aは、LPC係数広帯域化回路105において広帯域化され、広帯域LPC係数awがLPC合成回路106に出力される。残差非線形処理回路103からの広帯域残差信号en(n)とLPC係数広帯域化回路105からの広帯域LPC係数awとは、LPC合成回路106に与えられて、LPC合成処理が実施され、得られた合成広帯域信号sr(n)が広帯域LPC分析回路202及び加算回路205に出力される。
【0052】
また、有声無声判定回路201によって、狭帯域信号s(n)が有声音か無声音かが判定され、有声無声判定結果vが白色雑音発生回路203に出力される。LPC合成回路106から出力された合成広帯域信号sr(n)は、広帯域LPC分析回路202においてLPC分析され、得られた合成広帯域LPC係数wがLPC雑音合成回路204に出力されると共に、得られた合成広帯域残差信号se(n)が白色雑音発生回路203に出力される。白色雑音発生回路203によって、合成広帯域残差信号se(n)と同じパワの白色雑音が発生されると共に、発生された白色雑音に、有声無声判定結果vに応じた値をとるゲインαが乗算され、得られた白色雑音信号p(n)がLPC雑音合成回路204に出力される。合成広帯域LPC係数wは、LPC雑音合成回路204においてリーク係数が乗算されてスペクトル概形がある程度平坦化され、平坦化されたLPC係数と白色雑音信号p(n)とから、LPC雑音合成回路204によって合成白色雑音信号ps(n)が生成され、加算回路205に出力される。LPC合成回路106から出力された合成広帯域信号sr(n)とLPC雑音合成回路204から出力された合成白色雑音信号ps(n)とが加算回路205によって加算されて帯域通過回路
107に出力される。
【0053】
この加算信号sr(n)+ps(n)は、帯域通過回路107によって、狭帯域信号s(n)についての制限帯域以外の帯域部分に濾波され、その帯域通過信号sb(n)が加算回路108に出力される。
【0054】
アップサンプリング回路101から出力されたアップサンプリング信号と、帯域通過回路107から出力された拡張帯域信号sb(n)とが加算回路108において加算され、得られた広帯域信号sw(n)が当該帯域拡張装置3Aの次段装置に出力される。
【0055】
(B−3)第2の実施形態の効果
第2の実施形態によれば、狭帯域信号から生成された広帯域信号に対して、スペクトル概形が類似した雑音信号を重畳するようにしたので、意図しないスペクトル概形による異音を聴感的に検知し難くし、音質の劣化を抑えることができる。さらに、第2の実施形態によれば、拡張の元となる狭帯域信号の特性に応じて雑音の付加量を制御するようにしたので、より効果的に音質の劣化を抑えることができる。
【0056】
(C)第3の実施形態
次に、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第3の実施形態を、図面を参照しながら説明する。
【0057】
第3の実施形態も音声通信装置の構成は第1の実施形態と同様であり、以下では、第3の実施形態の帯域拡張装置の構成を説明する。
【0058】
図4は、第3の実施形態に係る帯域拡張装置3Bの内部構成を示すブロック図である。仮に、第3の実施形態の帯域拡張装置3Bが、CPU、及び、このCPUが実行する帯域拡張プログラム(第3の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、
図4で表すことができる。
図4において、上述した第1の実施形態に係る
図1や第2の実施形態に係る
図3との同一、対応部分には同一符号を付して示している。
【0059】
図4において、第3の実施形態の帯域拡張装置3Bは、アップサンプリング回路101、LPC分析回路102、残差非線形処理回路103、白色化回路104、LPC係数広帯域化回路105、LPC合成回路106、帯域通過回路107、加算回路108及び白色雑音重畳部200を有する。白色雑音重畳部200は、第2の実施形態と同様に、有声無声判定回路201、広帯域LPC分析回路202、白色雑音発生回路203、LPC雑音合成回路204及び加算回路205を有する。
【0060】
図3及び
図4の比較から明らかなように、第3の実施形態の帯域拡張装置3Bは、第2の実施形態の帯域拡張装置3Aの構成に白色化回路104を加えたものとなっている。また別な見方をすれば、
図1及び
図4の比較から明らかなように、第3の実施形態の帯域拡張装置3Bは、第1の実施形態の帯域拡張装置3の構成に白色雑音重畳部200を加えたものとなっている。
【0061】
白色化回路104は、広帯域残差信号en(n)を白色化するものであり、白色化された広帯域残差信号ew(n)は、LPC合成回路106によるLPC合成に用いられる。そのため、広帯域残差信号en(n)を白色化しても、広帯域LPC係数awとの相性等によって、LPC合成回路106からの合成広帯域信号sr(n)のスペクトル概形に意図しない周波数成分が生じる恐れがある。
【0062】
第3の実施形態は、白色化された広帯域残差信号ew(n)を用いたLPC合成の結果に意図しない周波数成分が生じたとしても、それが問題となることがないように、白色雑音重畳部200による重畳処理を施すこととしたものである。
【0063】
第3の実施形態によれば、第1の実施形態の効果と第2の実施形態の効果とが相乗され、さらに効果的に音質の劣化を抑えることができる。
【0064】
(D)第4の実施形態
次に、本発明による帯域拡張装置及びプログラム、並びに、音声通信装置の第4の実施形態を、図面を参照しながら説明する。
【0065】
第4の実施形態も音声通信装置の構成は第1の実施形態と同様であり、以下では、第4の実施形態の帯域拡張装置の構成を説明する。
【0066】
図5は、第4の実施形態に係る帯域拡張装置3Cの内部構成を示すブロック図である。仮に、第4の実施形態の帯域拡張装置3Cが、CPU、及び、このCPUが実行する帯域拡張プログラム(第4の実施形態の帯域拡張プログラム)によって実現された場合であっても、機能的には、
図5で表すことができる。
図5において、上述した第2の実施形態に係る
図3との同一、対応部分には同一符号を付して示している。
【0067】
図5において、第4の実施形態の帯域拡張装置3Cは、アップサンプリング回路101、音声非線形処理回路300、帯域通過回路107、加算回路108及び白色雑音重畳部200を有する。白色雑音重畳部200は、第2の実施形態と同様に、有声無声判定回路201、広帯域LPC分析回路202、白色雑音発生回路203、LPC雑音合成回路204及び加算回路205を有する。
【0068】
上述した第1〜第3の実施形態においては、狭帯域信号s(n)に対してLPC分析を実行して、声道情報(LPC係数)と声帯信号(残差信号)とを得て、それぞれ広帯域化し、その後、LPC合成して広帯域信号sr(n)を得ていた。
【0069】
この第4の実施形態は、狭帯域信号s(n)を声道情報(LPC係数)と声帯信号(残差信号)とに分けることなく、広帯域信号sr(n)に変換する構成を採用している。かかる構成要素が、音声非線形処理回路300である。
【0070】
音声非線形処理回路300は、狭帯域信号s(n)のサンプリング周波数を増加させた後、全波整流などの非線形処理を施して広帯域信号sr(n)を得るものである。音声非線形処理回路300が行う非線形処理は、全波整流に限定されず、半波整流、クリッピングなど、狭帯域信号s(n)についての制限帯域を超えた制限帯域外の成分が生じる非線形処理であれば良く、その手法は限定されないものである。なお、アップサンプリング回路101からの出力信号を音声非線形処理回路300への入力信号とし、音声非線形処理回路300におけるサンプリング周波数の増加を省略するようにしても良い。
【0071】
ここで、音声非線形処理回路300から出力された広帯域信号sr(n)は、そのスペクトル概形が意図した形になっているとは限らないものである。そのため、この第4の実施形態では、白色雑音重畳部200による重畳処理を施すこととしている。
【0072】
第4の実施形態によれば、狭帯域信号を声道情報(LPC係数)と声帯信号(残差信号)とに分けることなく、狭帯域信号から広帯域信号を生成する方式を適用しても、上述した第2の実施形態と同様な効果を奏することができる。
【0073】
因みに、LPC係数の広帯域化処理は、必ずしも好適な広帯域LPC係数が得られず、LPC係数の広帯域化処理自体が意図しないスペクトル概形を付与することとなってしまう場合があり、このような場合は、むしろLPC分析、合成処理を実施しない方が音質の劣化が少ない。第4の実施形態は、このような状況に応じられるものとなっている。
【0074】
(E)他の実施形態
上記各実施形態では、いずれかの実施形態の帯域拡張装置を備えた音声通信装置を示したが、音声通信装置が、第1〜第4の実施形態の帯域拡張装置の2以上の帯域拡張装置を備え、どの帯域拡張装置を適用するかをユーザが選択できるようにしても良い。
【0075】
この場合において、同一の音声通信装置に搭載される複数の帯域拡張装置は、同一の構成要素を共通に利用するように構成され、信号経路上に適宜設けられている選択スイッチの選択によって、いずれかの帯域拡張装置として機能できるようにしても良い。
【0076】
上記第1〜第3の実施形態では、声道分析方法としてLPC分析を適用したものを示したが、他の声道分析方法を適用するようにしても良い。
【0077】
上記第4の実施形態は、音声非線形処理回路300の後段に白色雑音重畳部200を設けたものを示したが、白色雑音重畳部200に代え、第1の実施形態におけると同様な白色化回路を、音声非線形処理回路300の後段に設けるようにしても良い。
【0078】
上記では、上記各実施形態の帯域拡張装置を利用した音声通信装置の例として、IP電話装置を挙げたが、帯域拡張装置の用途はこれに限定されないことは勿論である。VoIPゲートウェイやVoIPサーバ等の音声通信装置に搭載される帯域拡張装置に、本発明を適用するようにしても良い。