特許第6564135号(P6564135)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コーニンクレッカ フィリップス エヌ ヴェの特許一覧

<>
  • 特許6564135-オーディオ信号処理 図000019
  • 特許6564135-オーディオ信号処理 図000020
  • 特許6564135-オーディオ信号処理 図000021
  • 特許6564135-オーディオ信号処理 図000022
  • 特許6564135-オーディオ信号処理 図000023
  • 特許6564135-オーディオ信号処理 図000024
  • 特許6564135-オーディオ信号処理 図000025
  • 特許6564135-オーディオ信号処理 図000026
  • 特許6564135-オーディオ信号処理 図000027
  • 特許6564135-オーディオ信号処理 図000028
  • 特許6564135-オーディオ信号処理 図000029
  • 特許6564135-オーディオ信号処理 図000030
  • 特許6564135-オーディオ信号処理 図000031
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6564135
(24)【登録日】2019年8月2日
(45)【発行日】2019年8月21日
(54)【発明の名称】オーディオ信号処理
(51)【国際特許分類】
   G10L 19/00 20130101AFI20190808BHJP
   H03H 17/00 20060101ALI20190808BHJP
【FI】
   G10L19/00
   H03H17/00 601G
   H03H17/00 621C
【請求項の数】15
【全頁数】32
(21)【出願番号】特願2018-515084(P2018-515084)
(86)(22)【出願日】2016年9月19日
(65)【公表番号】特表2018-535444(P2018-535444A)
(43)【公表日】2018年11月29日
(86)【国際出願番号】EP2016072099
(87)【国際公開番号】WO2017050669
(87)【国際公開日】20170330
【審査請求日】2019年1月10日
(31)【優先権主張番号】15186269.5
(32)【優先日】2015年9月22日
(33)【優先権主張国】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】KONINKLIJKE PHILIPS N.V.
(74)【代理人】
【識別番号】110001690
【氏名又は名称】特許業務法人M&Sパートナーズ
(72)【発明者】
【氏名】ヤンス コルネリス ピーター
(72)【発明者】
【氏名】ファン スティーブンベルグ レオナルドゥス コルネリス アントニウス
【審査官】 安田 勇太
(56)【参考文献】
【文献】 特開2010−136343(JP,A)
【文献】 特開2008−219779(JP,A)
【文献】 特開2009−038691(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 19/00 −25/93
H03H 17/00
(57)【特許請求の範囲】
【請求項1】
第1のサンプリング周波数でサンプリングされたオーディオ信号を受信するための受信器であって、前記オーディオ信号が、前記第1のサンプリング周波数の半分より第1の周波数マージンだけ低い閾値周波数を超えない最大周波数を有する、受信器と、
デジタルオーディオ信号のサブバンド信号を生成するためのフィルタバンクであって、サブバンドのセットを提供する隣接するサブフィルタと周波数が重複するサブフィルタのセットを含むフィルタバンクと、
前記サブバンドのセットのうちの少なくとも1つのサブバンドに周波数シフトを適用するための第1の周波数シフタと、
デシメーション因数によって前記サブバンド信号をデシメートして、前記デシメーション因数により分割された前記第1のサンプリング周波数と等しいデシメートされたサンプリング周波数を有する前記デシメートされたサブバンド信号をもたらすためのデシメータであって、前記デシメートされたサンプリング周波数が前記重複するサブフィルタの各々の帯域幅の少なくとも2倍である、デシメータとを備え、
サブバンドに対する前記周波数シフトが、ゼロから前記デシメートされたサンプリング周波数の半分までの周波数間隔の倍数である周波数間隔に前記サブバンドをシフトする、
オーディオ信号処理装置。
【請求項2】
各サブバンド内で別個のサブバンド信号処理を適用することによって信号処理アルゴリズムを前記オーディオ信号に適用する信号プロセッサをさらに備える、請求項1に記載のオーディオ信号処理装置。
【請求項3】
前記信号処理アルゴリズムは、音声処理アルゴリズムであり、前記信号プロセッサは、異なるサブバンドには異なるアルゴリズムを適用する、請求項2に記載のオーディオ信号処理装置。
【請求項4】
前記信号処理アルゴリズムは、適応フィルタを適用することを含み、前記信号プロセッサは、異なるサブバンドに前記適応フィルタを個別に適応させる、請求項2に記載のオーディオ信号処理装置。
【請求項5】
前記オーディオ信号及び前記適応フィルタは、前記オーディオ信号のエコーを推定するためのエコーキャンセルフィルタであり、前記エコーキャンセルフィルタは、各サブバンド用のサブエコーキャンセルフィルタを含み、前記信号プロセッサは、
サブエコーキャンセルフィルタを各サブバンド内の前記デシメートされたサブバンド信号に適用することによって各サブバンド用の推定エコー信号を決定し、
各サブバンド内の前記推定エコー信号を前記オーディオ信号のエコーを含む捕捉されたオーディオ信号と比較することによって、各サブバンド用の誤差信号を決定し、
対応するサブバンド用の前記誤差信号に応じて各サブエコーキャンセルフィルタを更新する、
請求項4に記載のオーディオ信号処理装置。
【請求項6】
各サブバンド内での前記サブバンド信号処理によって生成される処理済みのサブバンド信号から前記第1のサンプリング周波数でオーディオ出力信号を合成するための合成器をさらに含み、前記合成器は、
前記処理済みのサブバンド信号を前記第1のサンプリング周波数でアップサンプリングして、アップサンプリングされた処理済みのサブバンド信号を生成するためのアップサンプラと、
逆周波数シフトを前記アップサンプリングされた処理済みのサブバンド信号に適用するための第2の周波数シフタであって、第1のサブバンドの前記逆周波数シフトにより、結果として前記第1のサブバンドが前記第1のサブバンドのサブフィルタの周波数範囲にシフトされる、第2の周波数シフタと、
前記逆周波数シフトの適用後、前記アップサンプリングされた処理済みのサブバンド信号を結合して、処理済みのオーディオ信号を生成するためのサブバンド結合器と、
前記アップサンプリングされた処理済みのサブバンド信号をフィルタリングして、各サブバンドのアップサンプルエイリアススペクトルを減衰させるためのサブバンドフィルタのセットであって、前記サブバンドフィルタのセットの各フィルタが、前記第1のサンプリング周波数の半分を超えない帯域幅を有する、サブバンドフィルタのセットとを備える、
請求項2に記載のオーディオ信号処理装置。
【請求項7】
前記サブバンド結合器は、前記サブバンドフィルタのセットのうちの少なくとも1つと、前記サブバンドのフィルタリング後に前記アップサンプリングされた処理済みの信号サブバンドを組み合わせることによって、前記処理済みのオーディオ信号を生成するためのコンバイナとを備える、
請求項6に記載のオーディオ信号処理装置。
【請求項8】
第1のサブバンドの前記周波数シフトは、実質的に、以下のように示され、
【数17】
fdは、前記デシメートされたサンプリング周波数であり、fmは、周波数シフト前の前記第1のサブバンドの中心周波数であり、nは整数(n≧1)である、
請求項1に記載のオーディオ信号処理装置。
【請求項9】
第1のサブバンド用のサブフィルタの減衰は、前記周波数シフトに対応する値だけシフトされた前記デシメートされたサンプリング周波数の半分の倍数の周波数において6dB以上である、請求項1に記載のオーディオ信号処理装置。
【請求項10】
前記フィルタバンクは、実質的に電力相補のサブフィルタのセットによって形成される、請求項1に記載のオーディオ信号処理装置。
【請求項11】
前記サブフィルタのセットの各フィルタは、前記デシメートされたサンプリング周波数の半分を超えない6dB帯域幅を有する、請求項1に記載のオーディオ信号処理装置。
【請求項12】
前記閾値周波数は、前記第1のサンプリング周波数の半分より10%を超えて下回ることはない、請求項1に記載のオーディオ信号処理装置。
【請求項13】
第1のサンプリング周波数におけるオーディオ信号を表し、かつ前記第1のサンプリング周波数の半分より第1の周波数マージンだけ低い閾値周波数を超えない最大周波数を有する、デシメートされたサンプルレートにおけるデシメートされたサブバンド信号のセットを受信するための受信器であって、前記デシメートされたサブバンド信号が、ゼロからデシメートされたサンプリング周波数の半分までの周波数間隔の倍数である周波数間隔に周波数シフトされ、続いてデシメーション因数によってデシメートされる、受信器と、前記デシメートされたサブバンド信号の前記セットから前記第1のサンプリング周波数でオーディオ出力信号を合成するための合成器とを備えるオーディオ信号処理装置であって、
前記合成器は、
前記デシメートされたサブバンド信号を前記第1のサンプリング周波数でアップサンプリングして、アップサンプリングされたサブバンド信号を生成するためのアップサンプラと、
逆周波数シフトを前記アップサンプリングされたサブバンド信号に適用するための第2の周波数シフタであって、第1のデシメートされたサブバンド信号に対する前記逆周波数シフトにより、結果として前記第1のデシメートされたサブバンド信号が周波数シフト及びデシメーションの前の前記オーディオ信号内の前記デシメートされたサブバンド信号の前記周波数範囲に対応する周波数範囲にシフトされる、第2の周波数シフタと、
前記逆周波数シフトの適用後、前記アップサンプリングされたサブバンド信号を結合して、結合されたオーディオ信号を生成するためのサブバンド結合器と、
前記アップサンプリングされた処理済みのサブバンド信号をフィルタリングして、各サブバンドのアップサンプルエイリアススペクトルを減衰させるためのサブバンドフィルタのセットであって、前記サブバンドフィルタのセットの各フィルタが、前記第1のサンプリング周波数の半分を超えない帯域幅を有する、サブバンドフィルタのセットとを備える、
オーディオ信号処理装置。
【請求項14】
第1のサンプリング周波数でサンプリングされたオーディオ信号を受信するステップであって、前記オーディオ信号が前記第1のサンプリング周波数の半分より第1の周波数マージンだけ低い閾値周波数を超えない最大周波数を有する、ステップと、
フィルタバンクが前記オーディオ信号のサブバンド信号を生成するステップであって、前記フィルタバンクがサブバンドのセットを提供する隣接するサブフィルタと周波数が重複するサブフィルタのセットを含む、ステップと、
周波数シフトを前記サブバンドのセットの少なくとも1つのサブバンドに適用するステップと、
デシメーション因数によって前記サブバンド信号をデシメートして、前記デシメーション因数により分割された前記第1のサンプリング周波数に等しいデシメートされたサンプリング周波数を有するデシメートされたサブバンド信号をもたらすステップであって、前記デシメートされたサンプリング周波数が、前記重複するサブフィルタの各々の帯域幅の少なくとも2倍である、ステップとを有し、
サブバンドに対する前記周波数シフトが、当該サブバンドを、ゼロから前記デシメートされたサンプリング周波数の半分までの周波数間隔の倍数である周波数間隔にシフトする、
オーディオ信号処理の方法。
【請求項15】
コンピュータプログラムがコンピュータ上で実行されるときに、請求項14に記載のすべてのステップをコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ信号処理のための方法及び装置に関し、特に、限定するものではないがオーディオ音声信号の処理に関する。
【背景技術】
【0002】
オーディオ信号のデジタル処理は、ますます一般的になっており、今日では多くの実用的アプリケーションの一部である。実際、現在では例えば、携帯電話、音楽配信及びレンダリング、テレビなどを含む、多くの日常的な家庭用電子デバイスにおいて音声信号のデジタル処理が実施される。
【0003】
改善された処理、新たな処理、又はより柔軟性の高い処理を提供するために、使用されるオーディオ処理アルゴリズムは、ますます複雑になる傾向があり、実際に、多くのシナリオにおいて、信号処理は、利用できる計算資源によって制限される。一例は、音声通信デバイスのための音声信号処理であり、ここでは音声符号化が音声強調と一緒に、典型的には、計算資源の非常に多くの部分を消費する。したがって、オーディオ処理アルゴリズムの計算効率を改善することが広く求められている。
【0004】
一部の用途及びシナリオにおいて、デジタルオーディオ信号の処理は、有利には、並列サブバンドにおいて実施される。サブバンドが低減帯域幅を有するため、そのような処理は、デシメートされたサブバンド信号に対して実施され、即ち、サンプリング周波数を低減することができる。例えば、オーディオ信号は、サブバンド信号が個々に処理される前に2の因数によってデシメートされた状態の2つの等しいサブバンドに分割される。
【0005】
具体的な例として、音声信号は、低周波数帯域及び高周波数帯域にそれぞれ対応する2つの別個の成分に分割される。次いで、符号化が各帯域において個々に実施される。即ち、符号化は、個々及び別個のオーディオ処理を2つのサブバンド信号に適用することによって実施される。別の例として、エコーキャンセルプロセスが、異なるサブバンドにおいて個々に実施される。
【0006】
個々のサブバンドの処理の後、これらのサブバンドが再び組み合わされて、入力信号に関しては同じサンプリング周波数を有する単一の全帯域処理されたオーディオ信号を生成する。
【0007】
信号をサブバンドに分割し、異なるサブバンドにおいて個々に処理を適用することによるオーディオ信号の処理は、多くのシナリオにおいて大きな利益を提供する。
【0008】
例えば、多くの処理アルゴリズムでは、計算資源の使用は、周波数帯域幅又はサンプリング周波数に対して直線的に増減するものではない。実際、多くの処理アルゴリズムでは、計算要件は、例えば周波数帯域幅/サンプリング周波数の2乗に比例して増加する。
【0009】
サブバンド処理の別の利点は、それが、オーディオ信号の異なる特性に処理をより近づけて適応させることを可能にするということである。例えば、音声信号は、例えば最大4kHzまでの周波数範囲においては、4kHzを超える周波数範囲においてそれが有するプロパティと比べて非常に異なるプロパティを有する。したがって、改善された音声符号化は、多くの場合、異なる周波数帯域における特定の特性を対象とした符号化アルゴリズムによって達成され、それ故に、4kHzを下回るサブバンドに対しては、4kHzを超えるサブバンドに対するものと比べて異なる符号化が適用される。例えば、異なる音声モデルが使用される。
【0010】
また、異なるサブバンドにおいて動作させることによって、異なる特性に処理を適応させることによって計算効率を最適化することが可能である。例えば、残響は、高周波数よりも低周波数の場合にはるかに長く続くことが知られている。したがって、低周波数の場合には残響推定フィルタ(例えば、エコーキャンセラにおいて使用されるような)は、長い残響高価をモデリングするのに十分なインパルス応答を提供するのに十分な係数(FIRフィルタに関する)を有することが必要である。しかしながら、オーディオ信号を例えば低周波数及び高周波数帯域に分割することによって、長いフィルタは、低周波数帯域に(デシメートされたサンプルレートで)適用されるためだけに必要である一方、はるかに短いフィルタ(短い高周波数残響を反射する)を、高周波数帯域においては(デシメートされたサンプルレートで)適用することができる。このやり方では、全体の計算資源使用を、長い残響フィルタを使用して全帯域幅信号を全サンプルレートでフィルタリングするのと比較して大幅に減少させることができる。
【0011】
現在では、(例えば、音声又は音楽音響の)オーディオ信号の帯域幅を増加させる傾向があり、これは、サンプルレートの増加に起因して、大幅に増加した計算資源使用をもたらす傾向がある。サブバンド処理の使用の重要性は、オーディオ信号の帯域幅の増加のために増大し、実際、それは、多くの場合において、デバイス内の資源制約に起因してフルレートの高帯域幅信号では実施することができないオーディオ処理の実施を可能にしさえする。
【0012】
例えば、(ハンズフリー)音声通信デバイスの帯域幅は、急速に増加している。狭帯域(4kHz帯域幅)システム及び広帯域(8kHz)システムが広く使用されるが、超広帯域(16kHz)システムさらにはフルバンド(24kHz)システムが、(特にVoIP用途のために)市場に参入している。
【0013】
具体的な例として、音声強調アルゴリズムは、この帯域幅の増加に対応しなければならない。同じ音声強調アルゴリズムを周波数帯域全体に対して使用することは、いくつかの難題をもたらす。解決すべき音声強調問題は、高周波数及び低周波数では異なる。16kHzの帯域幅を有する超広帯域アルゴリズムを例にしてみる。0〜8kHzの範囲内の音声信号は、8〜16kHzの範囲内の音声信号とはかなり異なる。重要な最初の3つのフォルマントを有する母音は、低帯域内に主に存在する一方、いくつかの子音は、8kHzを著しく超えて延びる。また、人間の聴覚の周波数選択性は、低周波数ではるかに高い。
【0014】
別の例として、部屋の音響効果は通常、周波数の増加に伴う空気吸収の増加に主に起因して、周波数とともに変化する。結果として、高周波数での残響時間は、周波数が高いほど小さくなる。そのため、残響除去は、低周波数では特に重要である。それにより、例えば音響エコーキャンセル用の適応フィルタ長は、残響が典型的にはより高い周波数でははるかに短いことから、周波数が高いほど短くなり得る。
【0015】
例えば、音響エコーキャンセルの場合、帯域幅したがってサンプリング周波数を2の因数によって拡張し、次いで同じアルゴリズムを適用することが、低周波数帯域の場合に同じエコー補償を実現するために、2の因数による適応フィルタ長の増大をもたらす。
【0016】
超広帯域音声エコーキャンセルの場合、4096以上のフィルタ長が典型的には必要とされる。適応フィルタは、高速適応を可能にするために良好な非相関プロパティを必要とする。本質的に、これは、適応フィルタの更新項が入力信号(ラウドスピーカ信号)の自己相関により畳み込みを解かれなければならないことを意味する。高周波数帯域内の低レベルの音声に起因して、この自己相関は、時間領域における長いサポートを有し、高周波数の場合は、不完全な非相関、したがってより低い適応速度をもたらす。
【0017】
そのような用途のための魅力的なソリューションは、フィルタバンクを適用することによって、信号を別個の周波数帯域に分割することである。そのようなフィルタバンクにおいて、信号は、例えば2つ(超広帯域の場合)又は3つ(全帯域の場合)のサブバンドに分割され、このサブバンドが続いてダウンサンプリングされ(デシメートされ)、次いで別個に処理される。別個の処理の後、結果として生じる処理済み信号は、アップサンプリングされ、再結合される。
【0018】
述べたように、異なる帯域への分割は、各帯域における特定の特性を反映して各帯域を独立に処理することができるという利点をもたらす。例えば、0〜8kHzの帯域の処理は、広帯域の場合と全く同じであり得、より高い周波数の場合は、異なる処理が可能である。特に、音響エコーキャンセルでは、0〜8kHzの帯域の場合には典型的には2048係数の適応フィルタが依然として使用され得るが、8〜16kHzの帯域には、例えば、1024係数が使用され得る。これは、典型的には、超広帯域の場合に4096係数、又はさらには全帯域の場合に6144係数を用いる単一の帯域ソリューションと比較することができる。
【0019】
しかしながら、そのようなサブバンド処理の問題点は、オーディオ信号が原則として、理想のフィルタ(即ち、急峻な遷移を有する非重複フィルタ)を使用してサブバンドに分割されなければならないということである。これは不可能であるため、フィルタ間のいくらかの重複が、典型的には、元の信号のいくつかの信号周波数が2つの隣接したサブバンド信号内に存在しているという結果を生じる。
【0020】
非理想のフィルタリングの特有の問題は、デシメーションの一部として、典型的には、エイリアシングが発生することである。デシメートされた周波数は好ましくは、できる限り低く、及び典型的には、それは、サブバンドの数により分割された元のサンプリング周波数に応じて設定される。しかしながら、そのような状況において非理想のフィルタリングを使用するとき、1つのサブバンドの周波数成分の別のサブバンドへのいくらかのエイリアシングは回避不可能である。
【0021】
しかしながら、このエイリアシングは、エイリアス成分を相殺する相補フィルタを含む合成ユニット(処理済みのサブバンド信号から出力デジタルオーディオ信号を生成する)によって対処することができる。したがって、非理想のフィルタから生じるエイリアシングは、従来、エイリアシングが相殺されるという結果をもたらす全帯域幅信号を生成するための合成機能においてフィルタを選択することによって対処される。
【0022】
しかしながら、そのような補償にもかかわらず、改善されたオーディオ信号処理を提供することが依然として望まれていることに本発明者は気が付いた。具体的には、改善されたオーディオ信号処理が有利であり、特に、柔軟性の増大、複雑性の低減、計算資源使用の減少、及び/又は性能の改善を可能にするオーディオ処理が有利である。
【発明の概要】
【発明が解決しようとする課題】
【0023】
したがって、本発明は、上記の欠点のうちの1つ又は複数を単独又は任意の組み合わせで、好ましくは緩和、軽減、又は除去することを追求する。
【課題を解決するための手段】
【0024】
本発明の一態様によると、第1のサンプリング周波数でサンプリングされたオーディオ信号を受信するための受信器であって、オーディオ信号が、第1のサンプリング周波数の半分より第1の周波数マージンだけ低い閾値周波数を超えない最大周波数を有する、受信器と、デジタルオーディオ信号のサブバンド信号を生成するためのフィルタバンクであって、サブバンドのセットを提供する重複するサブフィルタのセットを含むフィルタバンクと、サブバンドのセットのうちの少なくとも1つのサブバンドに周波数シフトを適用するための第1の周波数シフタと、デシメーション因数によってサブバンド信号をデシメートして、デシメーション因数により分割された第1のサンプリング周波数と等しいデシメートされたサンプリング周波数を有するデシメートされたサブバンド信号をもたらすためのデシメータであって、デシメートされたサンプリング周波数が重複するサブフィルタの各々の帯域幅の少なくとも2倍である、デシメータとを備え、サブバンドの周波数シフトが、ゼロからデシメートされたサンプリング周波数の半分までの周波数間隔の倍数である周波数間隔にサブバンドをシフトするように配置される、オーディオ信号処理装置が提供される。
【0025】
本発明は、多くの用途のためにオーディオ信号の改善された及び/又は容易にされた処理を提供し、多くのシナリオにおいて改善されたオーディオ品質を提供する。本手法は、特に、サブバンド分割が隙間なくオーディオ信号の周波数スペクトル全体を表すことを依然として可能にしながら、低減したサブバンドエイリアシング成分を有するオーディオ信号のサブバンド処理を可能にする。特に、多くの実施形態において、本手法は、サブバンドへの分割のための実質的に平坦な全体的な周波数応答を依然として提供しながら、サブバンドエイリアシング成分なしのサブバンド処理を容易にするか、改善するか、又は可能にする。
【0026】
サブバンド処理は、例えば、異なる周波数間隔にあるオーディオ信号の特定の特性に処理を適応させることを可能にする。例えば、フィルタ長は、オーディオ信号のための全体的な最悪の場合の要件よりも個々のサブバンドにおける特定の要件を反映してカスタマイズされる。サブバンド内の信号の処理は、典型的には、複雑性及び計算資源要件を大幅に低減する。サブバンドエイリアシングの低減は、個々のサブバンド間の分離の改善を提供し、それが、多くの実施形態において、例えば、個々のサブバンド適応フィルタの適応の改善など、性能の改善をもたらす。
【0027】
個々の動作の正確な順序又はシーケンスは、実施形態によって異なる。例えば、大半の実施形態において、デシメータは、周波数シフト後にデシメーションを実施するように配置される。しかしながら、いくつかの実施形態において、周波数シフトは、デシメーションの一部として、又はいくつかの状況においてはデシメーションの後に実施される。
【0028】
ゼロからデシメートされたサンプリング周波数の半分までの周波数間隔の倍数である周波数間隔へのサブバンドのシフトは、具体的には、サブバンド用のサブフィルタの帯域幅を、ゼロからデシメートされたサンプリング周波数の半分までの周波数間隔の倍数以内にあるようにシフトすることである。帯域幅は、例えば、6dB、10dB、20dB、又は30dB帯域幅である。検討される帯域幅は、個々の実施形態に、並びに例えばエイリアシング成分の許容可能レベル及び処理の要件に依存する。
【0029】
各サブバンドは、入力オーディオ信号の周波数間隔と関連付けられる。個々のサブバンドは、サブバンド信号の周波数が変更されるという点において、周波数内で移動/シフトされる。しかしながら、サブバンドの周波数又はサブバンド信号は変更されるが、サブバンドは、依然として、オーディオ信号の同じ周波数間隔に対応する/オーディオ信号の同じ周波数間隔を表す。
【0030】
周波数への言及は、正の周波数を指す。周波数領域内にエルミートプロパティを有する実際の物理的な時間領域信号では、そのような周波数がどのように負の周波数に関連するかということは当業者にとっては明白である。
【0031】
ゼロからデシメートされたサンプリング周波数の半分までの周波数間隔の倍数である周波数間隔は、1の倍数を含み、即ちそれは、ゼロからデシメートされたサンプリング周波数の半分までの周波数間隔を含む。
【0032】
サブバンドの数は、多くの実施形態において、有利には、2つのサブバンドである。典型的には、比較的少ない数のサブバンドが使用され、多くの場合、その数は5以下である。閾値周波数は、多くの実施形態において、20kHz、14kHz、12kHz、10kHz、8kHz、又は6kHz以下である。多くの実施形態において、各サブバンドの帯域幅は、有利には、1kHz、2kHz、4kHz、6kHz、又は8kHz以上である。
【0033】
本発明の任意選択的な特徴によると、オーディオ信号処理装置は、各サブバンド内で別個のサブバンド信号処理を適用することによって信号処理アルゴリズムをオーディオ信号に適用するように配置された信号プロセッサをさらに備える。
【0034】
本発明は、サブバンド間のエイリアシングが減少した、改善された及び/又は容易にされた信号のサブバンド処理を提供する。サブバンド処理は、同じ手法を使用して対応するサブバンドに変換される場合とされない場合のある他の信号の処理を含む。
【0035】
本発明の任意選択的な特徴によると、信号処理アルゴリズムは、音声処理アルゴリズムであり、信号プロセッサは、異なるサブバンドには異なるアルゴリズムを適用するように配置される。
【0036】
本発明は、各サブバンド内での処理を異なる周波数帯域内の音声の特定の特性に適応させることができる特に有利な音声処理を提供する。音声プロパティは、異なるサブバンド間で大幅に異なり、エイリアシング成分のないサブバンド処理は、改善された品質及び/又は減少した複雑性/資源使用を伴う特に効率的な処理を提供する。
【0037】
音声処理は、具体的には、音声符号化又は音声強調である。
【0038】
本発明の任意選択的な特徴によると、信号処理アルゴリズムは、適応フィルタを適用することを含み、信号プロセッサは、異なるサブバンドに適応フィルタを別個に適応させるように配置される。
【0039】
本手法は、異なる周波数間隔における様々なオーディオプロパティへの特に効果的な適応を提供する。適応フィルタは、各サブバンド用の適応サブフィルタを含み、本装置は、各サブバンド用のフィルタ更新信号を生成するように配置され、対応する適応サブバンドフィルタがそのサブバンド用のフィルタ更新信号に応じて更新される。
【0040】
本発明の任意選択的な特徴によると、適応フィルタは、オーディオ信号のエコーを推定するためのエコーキャンセルフィルタであり、エコーキャンセルフィルタは、各サブバンド用のサブエコーキャンセルフィルタを含み、信号プロセッサは、サブエコーキャンセルフィルタを各サブバンド内のデシメートされたサブバンド信号に適用することによって各サブバンド用の推定エコー信号を決定し、各サブバンド内の推定エコー信号をオーディオ信号のエコーを含む捕捉されたオーディオ信号と比較することによって、各サブバンド用の誤差信号を決定し、対応するサブバンド用の誤差信号に応じて各サブエコーキャンセルフィルタを更新するように配置される。
【0041】
本手法は、低い複雑性及び資源使用を維持しながら高性能及び効果的なエコーキャンセルを生み出す。
【0042】
本発明の任意選択的な特徴によると、オーディオ信号処理は、各サブバンド内でのサブバンド信号処理によって生成される処理済みのサブバンド信号から第1のサンプリング周波数でオーディオ出力信号を合成するための合成器を含み、合成器は、処理済みのサブバンド信号を第1のサンプリング周波数でアップサンプリングして、アップサンプリングされた処理済みのサブバンド信号を生成するためのアップサンプラと、逆周波数シフトをアップサンプリングされた処理済みのサブバンド信号に適用するための第2の周波数シフタであって、第1のサブバンドの逆周波数シフトにより、結果として第1のサブバンドが第1のサブバンドのサブフィルタの周波数範囲にシフトされる、第2の周波数シフタと、逆周波数シフトの適用後、アップサンプリングされた処理済みのサブバンド信号を結合して、処理踏みのオーディオ信号を生成するためのサブバンド結合器と、アップサンプリングされた処理済みのサブバンド信号をフィルタリングして、各サブバンドのアップサンプルエイリアススペクトルを減衰させるためのサブバンドフィルタのセットであって、このフィルタのセットの各フィルタが、第1のサンプリング周波数の半分を超えない帯域幅を有する、サブバンドフィルタのセットとを備える。
【0043】
本手法は、サブバンド処理によって引き起こされるアーチファクト又は劣化が緩和されているサブバンド処理によって、全帯域オーディオ信号を処理することができる非常に有利な手法を提供する。特に、サブバンドエイリアシングの効果は、大幅に低減される。
【0044】
本発明の任意選択的な特徴によると、サブバンド結合器は、サブバンドフィルタのセットのうちの少なくとも1つ、及びサブバンドのフィルタリング後にアップサンプリングされた処理済みの信号サブバンドを組み合わせることによって、処理済みのオーディオ信号を生成するためのコンバイナを備える。
【0045】
これが、多くの実施形態において、特に効率的な処理を提供する。
【0046】
本発明の任意選択的な特徴によると、第1のサブバンドの周波数シフトは、実質的に、以下のように示され、
【数1】
ここで、fは、デシメートされたサンプリング周波数であり、fは、周波数シフト前の第1のサブバンドの中心周波数であり、nは整数(n≧1)である。
【0047】
これは、特に効率的な手法を提供し、多くの実施形態において、サブバンドエイリアス成分の減衰の増大を結果としてもたらす。
【0048】
多くの実施形態において、サブバンドの周波数シフトは、サブバンドの中心周波数が、実質上デシメートされたサンプリング周波数にデシメートされたサンプリング周波数の半分の倍数の周波数を足した周波数にシフトされるというようなものである。
【0049】
本発明の任意選択的な特徴によると、第1のサブバンド用のサブフィルタの減衰は、周波数シフトに対応する値だけシフトされたデシメートされたサンプリング周波数の半分の倍数の周波数において6dB以上である。
【0050】
これが、サブバンド信号内のサブバンドエイリアス成分の非常に効率的な減衰を可能にする。多くの実施形態において、第1のサブバンド用のサブフィルタの減衰は、周波数シフトに対応する値だけシフトされたデシメートされたサンプリング周波数の半分の倍数の周波数で10dB、20dB、又は30dB以上である。
【0051】
本発明の任意選択的な特徴によると、フィルタバンクは、実質的に電力相補のサブフィルタのセットによって形成される。
【0052】
これが、全帯域オーディオ信号の歪みを低減する。実質的に電力相補のサブフィルタは、多くの実施形態において、1dB〜2dBの精度内まで電力相補である。したがって、多くの実施形態において、フィルタバンクは、1dB又は2dB内まで平坦である全体的で組み合わせた応答を提供する。
【0053】
多くの実施形態において、重複するフィルタの組み合わせによって形成された組み合わされたフィルタは、2dB以下(又は多くの実施形態においては1dB以下)の通過帯域振幅変動を有する。
【0054】
本発明の任意選択的な特徴によると、サブフィルタのセットの各フィルタは、デシメートされたサンプリング周波数の半分を超えない6dB帯域幅を有する。
【0055】
これが、サブバンドエイリアス成分の効率的な減衰を伴う効率的な動作を提供する。多くの実施形態において、サブフィルタのセットの各フィルタは、デシメートされたサンプリング周波数の半分を超えない10dB、20dB、又は30dB帯域幅を有する。
【0056】
本発明の任意選択的な特徴によると、閾値周波数は、第1のサンプリング周波数の半分より10%を超えて下回ることはない。
【0057】
これは、多くの実施形態において実用的なオーバーヘッドを提供し、実用的なフィルタによって効果的なフィルタリングをして、サブバンドエイリアス成分を十分なレベルまで減衰することを可能にする。多くの実施形態において、閾値周波数は、第1のサンプリング周波数の90%以下である。多くの実施形態において、閾値周波数は、第1のサンプリング周波数の60%以上である。これが、高すぎるサンプリング周波数を使用することなく低い複雑性を維持する。
【0058】
本発明の一態様によると、第1のサンプリング周波数におけるオーディオ信号を表し、かつ第1のサンプリング周波数の半分より第1の周波数マージンだけ低い閾値周波数を超えない最大周波数を有する、デシメートされたサンプルレートにおけるデシメートされたサブバンド信号のセットを受信するための受信器であって、デシメートされたサブバンド信号が、ゼロからデシメートされたサンプリング周波数の半分までの周波数間隔の倍数である周波数間隔に周波数シフトされ、続いてデシメーション因数によってデシメートされる、受信器と、デシメートされたサブバンド信号のセットから第1のサンプリング周波数でオーディオ出力信号を合成するための合成器とを備えるオーディオ信号処理装置であって、合成器が、デシメートされたサブバンド信号を第1のサンプリング周波数でアップサンプリングして、アップサンプリングされたサブバンド信号を生成するためのアップサンプラと、逆周波数シフトをアップサンプリングされたサブバンド信号に適用するための第2の周波数シフタであって、第1のデシメートされたサブバンド信号の逆周波数シフトにより、結果として第1のデシメートされたサブバンド信号が周波数シフト及びデシメーションの前のオーディオ信号内のデシメートされたサブバンド信号の周波数範囲に対応する周波数範囲にシフトされる、第2の周波数シフタと、逆周波数シフトの適用後、アップサンプリングされたサブバンド信号を結合して、結合されたオーディオ信号を生成するためのサブバンド結合器と、アップサンプリングされた処理済みのサブバンド信号をフィルタリングして、各サブバンドのアップサンプルエイリアススペクトルを減衰させるためのサブバンドフィルタのセットであって、このフィルタのセットの各フィルタが、第1のサンプリング周波数の半分を超えない帯域幅を有する、サブバンドフィルタのセットとを備える、オーディオ信号処理装置が提供される。
【0059】
本発明の一態様によると、オーディオ信号処理の方法は、第1のサンプリング周波数でサンプリングされたオーディオ信号を受信するステップであって、オーディオ信号が第1のサンプリング周波数の半分より第1の周波数マージンだけ低い閾値周波数を超えない最大周波数を有する、ステップと、フィルタバンクがオーディオ信号のサブバンド信号を生成するステップであって、フィルタバンクがサブバンドのセットを提供する重複するサブフィルタのセットを含む、ステップと、周波数シフトをサブバンドのセットの少なくとも1つのサブバンドに適用するステップと、デシメーション因数によってサブバンド信号をデシメートして、デシメーション因数により分割された第1のサンプリング周波数に等しいデシメートされたサンプリング周波数を有するデシメートされたサブバンド信号をもたらすステップであって、デシメートされたサンプリング周波数が、重複するサブフィルタの各々の帯域幅の少なくとも2倍である、ステップとを有し、サブバンドの周波数シフトが、サブバンドを、ゼロからデシメートされたサンプリング周波数の半分までの周波数間隔の倍数である周波数間隔にシフトする。
【0060】
本発明のこれらの及び他の態様、特徴、及び利点は、以後説明される実施形態を参照して明らかになり、かつ解明されるものとする。
【0061】
本発明の実施形態は、単に例として、以下の図面を参照して説明されるものとする。
【図面の簡単な説明】
【0062】
図1】オーディオサブバンド処理手法の一例を例示する図である。
図2図1のオーディオサブバンド処理手法の信号の周波数スペクトルの一例を例示する図である。
図3】エコーキャンセルシステムの一例を例示する図である。
図4】本発明のいくつかの実施形態によるオーディオサブバンド処理システムのためのサブバンド生成器の一例を例示する図である。
図5図4のオーディオサブバンド処理手法の信号の周波数スペクトルの一例を例示する図である。
図6】本発明のいくつかの実施形態によるオーディオサブバンド処理システムの一例を例示する図である。
図7】本発明のいくつかの実施形態によるオーディオサブバンド処理システムのオーディオ信号合成器の一例を例示する図である。
図8】本発明のいくつかの実施形態によるオーディオサブバンド処理システムの一例を例示する図である。
図9】本発明のいくつかの実施形態によるオーディオサブバンド処理システムのためのフィルタバンクの一例を例示する図である。
図10】本発明のいくつかの実施形態によるオーディオサブバンド処理システムのためのフィルタバンクの一例を例示する図である。
図11】本発明のいくつかの実施形態によるオーディオサブバンド処理システムのための周波数シフタの一例を例示する図である。
図12】本発明のいくつかの実施形態によるオーディオサブバンド処理システムのためのフィルタバンクの一例を例示する図である。
図13】本発明のいくつかの実施形態によるサブバンド処理システムを使用したエコーキャンセラの一例を例示する図である。
【発明を実施するための形態】
【0063】
以下の説明は、デジタル化された音声信号の効果的な処理に、及び特に、音声用途のためのエコーキャンセルに適用可能な本発明の実施形態に焦点を合わせる。しかしながら、本発明は、この用途に限定されず、多くの他のオーディオ信号及びオーディオ用途に適用されることを理解されたい。
【0064】
述べたように、オーディオ信号を、オーディオ信号の異なる周波数帯域に対応するいくつかのサブバンド信号に分割することが知られる。分割は、典型的には、2つのサブバンドへの分割であり、以下の説明は、オーディオ信号が2つのサブバンドに分割され、次いでそれらが個々に及び別個に処理されるという実施形態に焦点を合わせる。
【0065】
サブバンド(及び、特に2つのサブバンド)への分割の後、後続処理の複雑性及び資源要求を低減するために、信号はデシメートされる。オーディオ信号をサブバンドに分割するフィルタに起因して、このデシメーションは、典型的には、エイリアシングをもたらし、その場合、当該サブバンド内に他のサブバンドの不十分に減衰された信号成分が折り返される。このエイリアシングは、慣例では、対応する全帯域出力信号を合成するとき、即ち、処理済みのサブバンドが組み合わされて全帯域幅出力オーディオ信号を形成するとき、エイリアシングされた成分を補償及び相殺することによって対処される。しかしながら、そのような補償は、多くのシステムにおいてエイリアシングの効果を除去する一方で、他の実施形態ではエイリアシングが性能を低下させるということに気が付いた。さらに、エイリアシングを合成の一部として補償する従来のアプローチと対照的に、個々のサブバンドにおいてエイリアシングを減少させる手法が実現可能であること、及びこれが多くの実施形態において、大幅に改善された性能を提供すること、並びに実際そのような手法が、同様にエイリアシング補償を合成動作の一部として含むシステムの大幅に改善された性能さえも提供するということに気が付いた。
【0066】
より詳細には、図1の先行技術手法が検討される。図面は、クリティカルにサンプリングされたフィルタバンクを一致する分析及び合成帯域フィルタとともに使用し、それにより分析バンク内のエイリアシングが合成バンク内で補償されるという典型的な先行技術手法を例示する。さらなる説明は、例えば、P.P.Vaidyanathan,Multirate systems and filter banks,Prentice Hall 1993に見られる。
【0067】
図1のシステムは、分析フィルタALP(ω)及びAHP(ω)を有する分析フィルタバンクと、合成フィルタF(ω)及びF(ω)を有する合成フィルタバンクとを使用する。さらに、分析フィルタ間のクロスオーバーは、オーディオ信号X(ω)のサンプリングレートの半分のところにあり、フィルタの出力は、2の因数によってデシメートされる。デシメートされたサブバンド信号は、個々に処理されるが、図1の例では、合成動作の一部であるアップサンプラに直接供給されるように示される。アップサンプリング因数は、分析デシメータのデシメーション因数に対応し、それによりサンプリング周波数を入力サンプリング周波数に回復する。
【0068】
分析フィルタの振幅特性の例は、図2に示され、この図は、まず振幅特性、続いてデシメーション後の結果として生じる特性を示す。実線は、エイリアシングされていない寄与を表し、破線は、エイリアシングされた分布を表す。周波数は、入力信号のサンプリングレートの正規化された角周波数によって表される(即ち、fs1=2πであり、ここで、fs1は入力オーディオ信号のサンプリング周波数であり、第1のサンプリング周波数とも称される)。
【0069】
図2に例示されるように、π/2より下の低域分析フィルタALP(ω)の周波数の特性の部分は、π/2がデシメートされた信号のナイキスト周波数に対応するため、影響を受けない。しかしながら、デシメーションに起因して、π/2より上の振幅特性は、ナイキスト周波数より下の周波数帯域内に折り返され、即ち、π/2のナイキスト周波数周辺で折り返される。結果として、サブバンド信号は、著しいエイリアス信号成分を含むことになる。
【0070】
同様に、高周波数サブバンドでは、π/2より下の高域分析フィルタAHP(ω)の周波数特性の部分は影響を受けないが、π/2より上の振幅特性は、ナイキスト周波数より下の周波数帯域内に折り返され、即ち、π/2のナイキスト周波数周辺で折り返される。結果として、高周波数サブバンド信号も、著しいエイリアス信号成分を含むことになる。ダウンサンプリング後の高帯域の出力は、大半は、アップサンプリング後のエイリアシングされていない項に折り返されるエイリアシングされた項で構成されるということに留意されたい。
【0071】
図2は、[0,π/2]の周波数帯域内のそれぞれのサブバンドの信号成分のみを例示するということに留意されたい。
【0072】
したがって、サブバンドへの分割がフィルタ間の重複を必要とする場合(重複領域内の信号成分を無視しないために)、生成されるデシメートされたサブバンドは、本質的に、他のサブバンドからのかなりの量のエイリアシングされた成分を含む。実際、フィルタバンクは、相補電力応答を有するように設計され、平坦な全体的な振幅応答を結果としてもたらす。デシメートされたサブバンド信号のナイキスト周波数における減衰は、したがって、3dBのみであり、したがってこの周波数周辺のエイリアス成分は、本質的に、約3dBだけ減衰されるだけである。
【0073】
分析的には、信号X(ω)を供給されたとき、分析フィルタのデシメートされた出力は、以下のように表すことができる。
(ω)=ALp(ω)X(ω)+ALP(π−ω)X(π−ω)
及び
(ω)=AHp(ω)X(ω)+AHP(π−ω)X(π−ω)
【0074】
アップサンプリング、及び合成において実施される総和の後、結果として生じる出力信号は、以下によって示される。
【数2】
これを見ると分かるように、F(ω)=AHP(π−ω)及びF(ω)=−ALP(π−ω)を設定することが可能であり、結果としてエイリアシング項は相殺される。これにより、以下の結果をもたらす。
【数3】
【0075】
したがって、フィルタALP(ω)及びAHP(ω)を適切に設計することによって、所望の線形応答を達成することができる(例えば、P.P.Vaidyanathan,Multirate systems and filter banks,Prentice Hall 1993を参照)。
【0076】
例えば、奇数次の半帯域楕円低域フィルタALP(ω)及びその電力相補の高域フィルタAHP(ω)を使用すると、出力信号を以下によって示すことができ、
【数4】
ここで、A(ω)は全域フィルタである。
【0077】
したがって、この場合、入力信号の振幅特性、例えば、所望の音声は、一定のままである。(クロスオーバー周波数周辺の)位相歪みが典型的には存在するが、これは、多くの用途、特に、多くの音声処理アルゴリズムなどでは許容できる。しかしながら、クロスオーバー周波数では、低域及び高域フィルタは3dBの減衰を提供するだけであるため、結果として、かなりのエイリアシングがサブバンド内に存在することになる。しかしながら、これは、合成段階で効果的に補償又は相殺され、したがって本手法は、多くの実用的用途に使用される。
【0078】
しかしながら、合成の一部として実施されるエイリアス補償が、多くのシナリオにおいて許容できる性能を提供する一方、多くの用途において、サブバンド信号内のエイリアス成分の存在が、依然として性能を低下させ、いくつかの場合においては、本手法を使用不能の状態にする許容できない程度にまで性能を低下させる。
【0079】
1つの具体例は、エコーキャンセラの例である。図3は、エコーキャンセラの一例を例示し、ここでは受信信号が、所望の音声信号S(ω)、及びラウドスピーカ信号X(ω)のレンダリングから生じる望ましくないエコー成分E(ω)の両方を含む。エコー成分E(ω)は、ラウドスピーカからマイクロフォンへの信号経路の応答によって修正された(及びこれらの特性並びに任意の関連付けられた信号回路の特性を含む)ラウドスピーカ信号X(ω)として示される。したがって、
E(ω)=X(ω)Hlm(ω)であり、
ここで、Hlm(ω)は、ラウドスピーカとマイクロフォンとの間の音響経路である。
【0080】
適応フィルタ
【数5】
は、音響経路Hlm(ω)を推定することを試み、その結果、ラウドスピーカ信号X(ω)が適応フィルタに適用されるとき、それは、エコー
【数6】
の推定を提供する。残留信号は、マイクロフォン信号から推定されたエコーを減算することによって得られる。即ち、
【数7】
である。
【0081】
残留信号は、音声のない時間間隔の間、即ち、S(ω)=0の場合に、フィルタを更新するために使用される。
【0082】
典型的には、音響エコーキャンセルでは、適応フィルタは、いわゆるエコーリターンロスエンハンスメント(Echo Return Loss Enhancement:ERLE)が少なくとも20dBであるように設計されなければならない。ERLEは、
【数8】
と定義される。
【0083】
典型的な音響環境において、これは、典型的な例として、8kHzの帯域幅では時間領域において少なくとも2048係数のフィルタ長を必要とする。これは、周波数分解能が少なくとも4Hzでなければならないことを意味し、それは、4HzにわたってHlm(ω)における著しい変化があり得ることを示す。より高い音声帯域幅では、大幅により長いフィルタが必要とされる。例えば、16kHzの帯域幅、したがって2倍の帯域幅及び2倍のサンプルレートでは、同じエコー持続に対処するためには、フィルタ長は、時間領域において少なくとも4096係数のものが必要とされる。しかしながら、典型的には、エコーは、8kHz〜16kHzの範囲では、帯域幅が0〜8kHzのときよりもはるかに短い。したがって、その代わりに、1つは0〜8kHz及び1つは8kHz〜16kHzという2つの別個の帯域において処理が実施される場合、2048係数の適応フィルタが、第1の帯域に使用され、典型的には512係数のフィルタが、第2の帯域に使用される。このようにして、複雑性の著しい低減を達成することができる。
【0084】
したがって、図3のシステムにおいて、ラウドスピーカ信号X(ω)及び捕捉されたマイクロフォン信号S(ω)+E(ω)は、図1及び図2の手法を使用して、2つのサブバンドに分割される。適応フィルタ
【数9】
は、同様に、低周波数サブバンドに適用される低周波数フィルタ、及び高周波数サブバンドに適用される高周波数フィルタに分割される。それに応じて、結果として生じる出力信号R(ω)は、2つの個々のサブバンドにおいて生成され、各サブフィルタの更新は、そのサブバンド内の残留信号に基づく。さらに、エコーキャンセルされたフルレートの出力信号が、図1の合成部分をR(ω)の生成された2つのサブバンドに適用することによって提供される。
【0085】
本発明者により気付いたこととして、ダウンサンプリング後の個々の帯域において適用される適応フィルタに対するエイリアシング項の効果は、出力オーディオ信号を合成するとき、含まれるエイリアス補償にもかかわらず劣化をもたらす。
【0086】
低周波数サブバンド及び高周波数サブバンドをそれぞれ指す指数LP及びHPを使用して、適応フィルタの収束が発生している(残留信号がゼロであり、したがって適応フィルタの出力が捕捉された信号に等しいことに対応する)状況について以下の式を導き出すことができる。具体的には、以下の設定:
【数10】
は、
【数11】
をもたらす。したがって、
【数12】
【数13】
であり、
【数14】
である。
【0087】
このようにして、低周波数サブバンドにおけるエコーの推定は、エイリアシングされていない寄与Hlm(ω)及びエイリアシングされた寄与Hlm(π−ω)の加重和で構成される。具体的な例において、ω及びπ−ωが4Hzを超えて異なる場合、Hlm(ω)とHlm(π−ω)との間には著しい差が存在するということに留意されたい。
【0088】
問題は、α(ω)がデータ依存であり、(典型的な音声用途では)やがて急速に変化するということである。実際、現実に、α(ω)は、適応フィルタが追跡できる速さよりもはるかに速く変化する。結果として、最適なソリューションには達しず、エイリアシングされた成分及びエイリアシングされていない成分の両方とも相殺されない。
【0089】
LP(ω)をAHP(ω)で置き換えることによって、同じ導出を、より高い周波数サブバンドに対して行うことができる。このように、低周波数帯域に関しては、エイリアシングされた項及びエイリアシングされていない項のいずれも相殺されない。結果として、クロスオーバー周波数(通常、数百Hz)周辺の出力信号においては非常に大きなエコー寄与である傾向がある。これらのエコー寄与は、エイリアシングされた寄与及びエイリアシングされていない寄与の両方を含む。(両方の帯域の適応フィルタは独立して作用するため、エイリアシングされていない寄与とエイリアシング寄与は、完全には相殺しない)。したがって、この場合、実質的な劣化がサブバンド処理によってもたらされる。
【0090】
別の例として、個々の音声符号化が、異なるサブバンド内の音声信号に適用される。例えば、最大8kHzまでの周波数帯域のCELP符号化が実施される一方、8kHz〜16kHzの周波数帯域内の音声成分の符号化は、低複雑性のスペクトル符号化によって実施される。そのようなシナリオにおいて、クロスサブバンドエイリアシングは、CELP符号化の非線形の性質に起因して符号化アーチファクトをもたらし、したがって復号側でエイリアシングを完全に相殺することはできない。
【0091】
図4は、説明された問題を緩和する手法を例示する。図4は、具体的には、オーディオ処理装置のためのサブバンド生成器401を例示する。サブバンド生成器401は、以下に説明される違いを除き、図1のシステムの分析部に対応する。
【0092】
サブバンド生成器401は、オーディオ信号を受信する受信器403を備える。オーディオ信号は、以下では第1のサンプリング周波数と称される周波数でサンプリングされる。図2のシステムと対照的に、オーディオ信号の信号成分は、第1のサンプリング周波数のナイキスト周波数よりも低い閾値周波数を下回る周波数帯域に限られる。即ち、オーディオ信号の最大周波数は、ナイキスト周波数を所与のマージンだけ下回る。正確なマージンは、個々の実施形態の特定の選好及び要件に依存する。しかしながら、多くの実施形態において、オーディオ信号の最大周波数は、第1のサンプリング周波数の半分を10%以下、又は、いくつかの実施形態においては例えば20%以下を下回る閾値周波数より下に制限される。
【0093】
最大周波数は、それを上回ると周波数成分の信号エネルギーが十分に低い周波数と見なされることを理解されたい。例えば、多くの実施形態において、最大周波数は、それを上回ると信号成分が最大振幅より少なくとも20dB、又は30dB下回るものと見なされる。いくつかのシナリオにおいて、最大周波数は、その周波数を上回ると信号成分の組み合わせたエネルギーがオーディオ信号の総信号エネルギーの所与の割合未満である周波数と見なされる。この割合は、許容できるエイリアシングのレベルに依存し、典型的には、5%、1%、0.5%、0.1%、又はさらにそれより低い。
【0094】
多くの実施形態において、オーディオ信号は、フィルタリングされたオーディオ信号であり、最大周波数は、減衰が所与の閾値を超える周波数である。例えば、最大周波数は、オーディオ信号の(事前の)フィルタリングが少なくとも例えば20dB、30dB、又は40dBの減衰を提供するところの周波数である。
【0095】
フィルタリングは、アナログ又はデジタルフィルタリングであることを理解されたい。例えば、フィルタリングは、サンプリングの前に実施されるアナログ低域フィルタリングである。特に、フィルタリングは、第1のサンプリング周波数でのサンプリングの前に実施される。アンチエイリアスフィルタリングである。オーディオ信号の最大周波数は、したがって、アナログアンチエイリアスフィルタリングが、少なくとも例えば10dB、20dB、30dB、又は40dBの減衰を超えるところの周波数である。
【0096】
いくつかの実施形態において、受信器403は、信号の最大周波数を減少させてナイキスト周波数にマージンを提供するために、サンプリングされたオーディオ信号に適用されるデジタルフィルタを含む。例えば、ナイキスト周波数の例えば90%にわたって少なくとも例えば20dBだけ周波数成分を減衰させるデジタルフィルタが適用される。したがって、いくつかの実施形態において、ナイキスト周波数は、デジタル(低域)フィルタが少なくとも例えば10dB、20dB、30dB、又は40dBの減衰を超えるところの周波数である。そのようなフィルタは、例えば、最大周波数を上回る周波数の減衰を提供する最も高いサブバンドのためのフィルタバンクフィルタによって、フィルタバンクと組み合わされることを理解されたい。
【0097】
このように、最大でナイキスト周波数までの帯域幅を有する信号が収容される従来のシステムと対照的に、図4のシステムは、最大周波数を、ナイキスト周波数より低い、多くの場合約10%だけ低い閾値周波数を下回るように制限する。このように、本システムは、周波数スペクトル内にマージン又はオーバーヘッドを作成する。例えば、32ksps(1秒あたりのキロサンプル)サンプリングレート及び16kHz帯域幅の受信音声信号の場合、システムは、ナイキスト周波数を下回る閾値周波数にわたって強い減衰(例えば20dB)を提供する低域フィルタを適用することによって、ナイキスト周波数周辺にヘッドルーム(無ひず限界)を作成する。例えば、14kHzの閾値周波数が使用される。
【0098】
したがって、サブバンドが生成されるサンプリングされたオーディオ信号は、ナイキスト周波数を好適なマージン(例えば10%)だけ下回る閾値周波数を超えない最大周波数を有する。
【0099】
図5は、図1のサブバンド生成器401の処理における様々な信号のスペクトルを例示する。図5は、フィルタリングを実施して、信号の最大周波数が入力オーディオ信号のナイキスト周波数を所与の好適なマージンだけ下回ることを確実にする第1のステップを例示する。
【0100】
受信器403は、オーディオ信号のサブバンド信号を生成するように配置されるフィルタバンク405に連結され、フィルタバンクは、サブバンドのセットを提供する重複するサブフィルタのセットを含む。各サブバンドは、(入力)オーディオ信号の周波数間隔を表す。
【0101】
この具体的な例において、フィルタバンク405は、2つのフィルタを含み、オーディオ信号は、2つのサブバンドに分割される。しかしながら、他の実施形態において、信号は、より多くのサブバンドに分割されることを理解されたい。それにもかかわらず、典型的には、最良のトレードオフは、比較的少ない数のサブバンドにおいて見られ、特に、サブバンドの数は、大半の実施形態において5つを超えない。
【0102】
フィルタバンク405は、(オーディオ信号の)周波数帯域を複数のサブバンドに分割する複数の重複フィルタを含む。フィルタは重複しており、その結果、フィルタはともに、サブバンド(典型的には4〜5dB以下の閾値を超えない減衰を伴う)のうちの少なくとも1つにおいてオーディオフィルタのすべての信号成分を含む。2つの隣接するフィルタの減衰が同じである周波数として示される異なるフィルタ間のクロスオーバーは、大半の実施形態において、できる限り3dBに近い減衰に保たれ(この周波数での信号成分の2つのサブバンドへの均等な分割に対応する)、典型的には、これから例えば1dB又は2dBを超えて外れることはない。
【0103】
フィルタバンク405の隣接するフィルタは、多くの実施形態において、実質的に電力相補であるように生成される。したがって、フィルタの組み合わされた減衰は好ましくは、多くの実施形態において、実質的に平坦であり、典型的には1dB又は2dBの精度内で平坦である。したがって、図4のフィルタバンク405内の2つのフィルタの振幅応答をALp(ω)及びAHp(ω)で示すと、測定値:
Lp(ω)+AHp(ω)
は、入力オーディオ信号の閾値周波数/最大周波数までの周波数では実質的に一定である。
【0104】
実際の実施形態においてはいくらかの変動が発生するが、典型的には、偏差は、周波数帯域にわたって1〜2dB未満であることを理解されたい。これらの検討事項は、より多くのサブバンドにまで容易に及ぶことを理解されたい。即ち、n個のサブバンド/フィルタの場合、測定値
(ω)+A(ω)+A(ω)…A(ω)
は、周波数帯域にわたって実質的に一定である。
【0105】
フィルタバンク405は、周波数シフタ407及びデシメータ409に連結される。周波数シフタ407は、デシメータ409にさらに連結される。
【0106】
デシメータ409は、フィルタバンク405によって作り出される各サブバンドのサンプリング周波数をデシメートするように配置される。特に、デシメータ409は、フィルタバンク405によって生成されたサブバンド信号をデシメーション因数によってデシメートして、デシメーション因数によって分割された第1のサンプリング周波数に等しいデシメートされたサンプリング周波数を有するデシメートされたサブバンド信号を結果としてもたらす。大半の実施形態において、デシメーション因数は、整数値であるが、これは必須ではないことを理解されたい。
【0107】
実際、大半の実施形態において、デシメーション因数は、フィルタバンク405によって生成されるサブバンドの数に等しい。したがって、2つのサブバンドが生成される図4の具体的な例において、デシメータ409は、2のデシメーション因数を使用する。したがって、デシメータは、いくつかのサブバンドを生成し、各々がデシメーション因数によって分割される第1のサンプリングレートに等しいサンプリング周波数を有し、特に、図4においては、デシメータ409は、2つのサブバンドを生成し、各々が第1のサンプリング周波数の半分のサンプリング周波数を有する。
【0108】
図4の例において、最も低い周波数サブバンド(これ以降は低サブバンドと称される)は、デシメーションのためにデシメータ409に直接供給される。しかしながら、最も高い周波数サブバンド(これ以降は高サブバンドと称される)は、デシメーションのためにデシメータ409に供給される前に周波数シフタ407によって周波数シフトされる。したがって、デシメーションは、高サブバンドの周波数シフトされたバージョンに対して実施される。
【0109】
本システムにおいて、フィルタバンク405のサブバンドフィルタは、デシメートされたサンプルレートの半分より低い帯域幅、即ち、デシメートされた周波数帯域のナイキスト周波数より低い帯域幅を有する。したがって、本システムにおいて、デシメートされたサンプリング周波数、即ちデシメーション因数によって分割された第1のサンプリング周波数は、各サブバンドフィルタの帯域幅より大きい。帯域幅は、具体的には、6dB、10dB、20dB、又は30dB帯域幅である。
【0110】
したがって、2つのフィルタの例において、サブバンドフィルタ間のクロスオーバー周波数は、デシメートされた信号のナイキスト周波数未満であり、特に、第1のサンプリング周波数の4分の1未満である。実際、クロスオーバー周波数は、信号の減衰がデシメートされたナイキスト周波数(4で分割された第1のサンプリング周波数)で十分に高い値に達することを可能にする十分な閾値だけ低い。
【0111】
これは、デシメートされたナイキスト周波数(第1のサンプリング周波数ではπ/2に対応する)を下回るカットオフ周波数で、及びデシメートされたナイキスト周波数における非常に高い減衰で低域フィルタリングを示す図5に例示される。実際、減衰は、エイリアス成分が十分に減衰されるのに十分である。典型的には、減衰は、10dB、20dB以上、又はそれよりさらに高い。
【0112】
このフィルタリングの結果として、低サブバンド信号は、(著しい)エイリアス成分をもたらすことなくデシメータ409によって容易にデシメートされ得る第1のサンプリング周波数で生成される。これは、結果として生じる低域フィルタ(ダウンサンプリング/デシメーション後のデシメートされたサンプリング周波数に対して正規化される)を示す図5に例示される。
【0113】
しかしながら、より低いクロスオーバー周波数、及びそれ故に非クリティカルにサンプリングされたフィルタの使用に起因して、高周波数帯域は、直接デシメートされる場合には非常に大きなエイリアシングを生成する。しかしながら、図5に例示されるように、高サブバンドは、周波数シフトされ、その結果、高サブバンドは、第1のサンプリング周波数に正規化されるとき、π/2〜πの周波数間隔に入る。さらに、高サブバンドフィルタの帯域幅がデシメートされたナイキスト周波数より低いため、第1のサンプリング周波数のナイキスト周波数及びデシメートされたサンプリング周波数のナイキスト周波数の両方における減衰は非常に高くなり得る。実際、典型的には、フィルタは、これらの周波数での減衰が、10dB、20dB以上、又はさらにそれより高くなるように設計される。
【0114】
さらに、周波数シフトされた高サブバンドが続いてデシメートされるとき、帯域は、0からデシメートされたナイキスト周波数までの周波数間隔にエイリアスを生じる。したがって、高サブバンドのベースバンド表現が生成される。さらに、第1のサンプリング周波数のナイキスト周波数及びデシメートされたサンプリング周波数のナイキスト周波数にそれぞれシフトされる周波数での高サブバンドフィルタの減衰に起因して、このデシメーションは、ベースバンド表現にもたらされる他の帯域からのいかなる(著しい)エイリアス成分も生じない。
【0115】
実際、フィルタバンク405のサブバンドフィルタは、周波数シフト後にデシメートされたサンプリング周波数の半分の倍数になる周波数で高い減衰を提供する。減衰は、大半の実施形態において、これらの周波数では少なくとも6dB、及び多くの場合は、10dB、20dB、又は30dBでさえある。
【0116】
デシメーションから生じるベースバンド表現及び結果として生じるベースバンドへのエイリアシングに起因して、高サブバンド信号のスペクトルは、ベースバンド表現において逆にされることに留意されたい。図5は、論じられている間隔にある(並びに、例えば、同じ信号、サブバンド信号、又はフィルタ特性のエイリアスバージョンではない、及び負の周波数ではない)スペクトルのみを例示するものであることにさらに留意されたい。
【0117】
したがって、図4のシステムにおける処理の結果として、他のサブバンドからのエイリアス成分を非常に低いレベルで有する2つのサブバンド信号が生成される。したがって、これらの信号を、そのようなエイリアス成分が性能を低下させることなく、個々に及び別個に処理することができる。
【0118】
図4の説明されるシステムは、上方周波数サブバンドをπ/2〜πの周波数範囲にシフトする(第1のサンプリング周波数に正規化される)一方、原理上は、上方周波数サブバンドは、0〜π/2のベースバンド帯域幅の他の倍数にシフトされる可能性があるということを理解されたい。実際、いくつかの実施形態において、周波数シフトは、上方サブバンド信号を0〜π/2のベースバンドに直接シフトする可能性がある。
【0119】
本手法は、2つのサブバンドに限定されず、より多くのサブバンドに適用することができるということも理解されたい。そのような場合、周波数シフトは、サブバンドの帯域幅をデシメートされたナイキスト周波数によって示されるベースバンドの、即ち、fs1/dの倍数内に入るようにシフトしようとし、ここで、fs1は、第1のサンプリング周波数であり、dは、デシメーション因数である。例えば、3つのサブバンドの場合、2つの高い方のサブバンドが、3で分割された第1のサンプリング周波数の倍数である終点を有する周波数間隔にシフトされる。例えば、中間サブバンドがπ/3〜2π/3の範囲にシフトされ、上方サブバンドが2π/3〜πにシフトされるか、又は、実際には、両方のサブバンドが0〜π/3の間隔にシフトされる。
【0120】
したがって、本手法においては、個々のサブバンド内のエイリアシングを制限するために、クリティカルサンプリングの代わりにオーバーサンプリングが使用される。これは、平坦振幅特性が所望される要件に矛盾するように見える。しかしながら、本手法は、その後利用されるスペクトルの上端にいくらかのヘッドルーム/マージンを生成する。例えば、32kHzのサンプリング周波数を有する超広帯域音声信号では、全通過帯域は、14kHzで制限され、48kHzのサンプリング周波数を有する全帯域では、通過帯域は、20kHzで制限される。このヘッドルームが、周波数シフトと組み合わさって、各サブバンドのオーバーサンプリングを可能にし、実質的に平坦な全体的な振幅特性を依然として可能にしながらサブバンドエイリアシングを大幅に減少させる。
【0121】
したがって、具体的な例において、帯域スプリッタは、ω=π/2で低域が十分な減衰(20dB超)を有するように、π/2を下回るクロスオーバー周波数で作成される。したがって、より低い帯域を安全にダウンサンプリングすることができる。高サブバンドの直接ダウンサンプリングは、大きなエイリアシングを被る。しかしながら、ダウンサンプリングの前に、高サブバンド信号は周波数シフタに供給され、その結果、周波数帯域は周波数においてシフトされ、ω=π/2及びω=πでの減衰は、ダウンサンプリング後のエイリアシングを回避する(又は少なくともこれを十分に低く保つ)のに十分(少なくとも20dB)である。
【0122】
したがって、サブバンドエイリアシング成分のないサブバンドが生成される。こうして、音声強調アルゴリズム、特に適応フィルタアルゴリズムなどのオーディオ処理を、エイリアスのないサブバンド信号に対して適用することができる。
【0123】
図6は、オーディオ処理システムの一例を例示する。本システムは、図4に関して説明されるようにサブバンド生成器401を備える。したがって、サブバンド生成器401は、オーディオ信号を受信し、第1のサンプリング周波数の半分のデシメートされた周波数で2つのサブバンド信号を生成する。2つのサブバンドの各々は、別個のオーディオプロセッサ601、603に供給され、その各々がオーディオ信号の別個及び個々の処理を実施する。例えば、オーディオプロセッサ601、603は、音声強調処理を実施する。処理済みのサブバンド信号は、合成器605に供給され、合成器605は、処理済みのサブバンド信号から単一の全帯域オーディオ出力信号を生成するように配置される。こうして、合成器605は、サブバンドを結合して単一の出力信号を生成する。
【0124】
合成器605は、本質的に、サブバンド生成器401の転置を表す。図4のサブバンド生成器401に相補的な合成器605の例が、図7に例示される。
【0125】
この例では、合成器605によって受信されるサブバンド信号、即ち、処理済みのサブバンド信号は、まず、アップサンプラ701によって第1のサンプリング周波数でアップサンプリングされる。こうして、アップサンプラ701は、デシメータ409によって使用されるデシメーション因数に対応するアップサンプル因数によって、個々のサブバンドのアップサンプリングを実施する。この具体的な例においては、2の因数によるアップサンプリングが、それに応じて実施される。
【0126】
アップサンプリングは、例えば、ゼロスタッフィングによって実施され、例えばこの具体的な例においては、追加のゼロサンプルが各受信されたサンプルの間に挿入される。典型的なアップサンプラにおいては、ゼロスタッフィングの後には、アップサンプリングされた信号の適切な周波数コピーを選択する好適なフィルタが続く。
【0127】
特に、ゼロスタッフィング又はゼロパディングによるアップサンプリングのとき、追加サンプルの結果は、基本周波数スペクトルが、周波数領域においてデシメートされたサンプリング周波数に対応する繰返し因数で繰り返されるというものである。したがって、具体的な例において、ゼロスタッフィングによる第1のサンプリング周波数へのアップサンプリングは、デシメートされたスペクトルがアップサンプリング因数(分析側でのデシメーション因数に対応する)によって分割された第1のサンプリング周波数に対応する繰返し周波数で繰り返されるという結果をもたらす。
【0128】
したがって、デシメーション因数が2である例において、アップサンプリングされたスペクトルは、πの周波数で繰り返される(第1のサンプリング周波数に正規化される)。
【0129】
低サブバンドでは、これは、π/2〜πのスペクトルのコピーの隣である0〜π/2の周波数範囲(又は、負の周波数を考慮する場合、π/2〜3π/2のスペクトルのコピーの隣にある−π/2〜π/2の周波数範囲)にあるベースバンドスペクトルをもたらす。適切な周波数帯域(即ち、デシメーションの前の帯域)内にサブバンド成分を維持するために、0〜π/2の周波数スペクトルを選択する低域フィルタが適用される。低サブバンドはπ/2まで完全に拡張しないため(フィルタのクリティカルサンプリングよりもオーバーサンプリングに起因して)、良好な結果を、過度な計算負担なしに実用的なフィルタから達成することができる。
【0130】
しかしながら、高サブバンドでは、π/2〜πのスペクトルのコピーがデシメーションの前のスペクトルの周波数に対応するため、これが選択される。したがって、低域フィルタの代わりに、高域フィルタを使用して適切なコピーを選択する。この通過帯域フィルタは、π/2〜πの帯域幅(0〜πのベースバンド間隔で)を有し、それにより0〜π/2のアップサンプルエイリアスコピーを削除する。結果として、サブバンド生成器401からのサブバンド信号(デシメーション前だが周波数シフト後の)は、簡単なアップサンプリング及びフィルタリングによって回復される。
【0131】
アップサンプリング及びフィルタリング(デシメーション因数によって分割された第1のサンプリング周波数の倍数内)の説明された原則は、概して、任意のデシメーション因数及び任意のサブバンドにも適用可能であることを理解されたい。特に、2より大きいサンプリング因数の場合、低サブバンド及び上方サブバンドは、低域フィルタ及び高域フィルタをそれぞれ使用して回復される一方、中間帯域は、帯域通過フィルタを使用して回復される。実際、低域フィルタ及び高域フィルタは、帯域通過フィルタの具体的な例と見なされるため、アップサンプリングに続いて、デシメーション前のサブバンド周波数帯域に対応するエイリアスコピーを選択する帯域通過フィルタリングを行う手法は、すべてのサブバンドに適切であると見なされる。
【0132】
そのようなフィルタはアップサンプラ701の一部であるが、これは必須ではなく、他の実施形態においては、フィルタは、信号経路の他の部分で適用されるということを理解されたい。例えば、フィルタは、周波数シフトの後に実施される後続のサブバンド結合の一部である。フィルタは好ましくは、実質的に平坦な振幅/電力応答を提供するように選択されるということも理解されたい。特に、フィルタを相補電力フィルタとして選択することによって、平坦な全域通過作用を得ることができる。
【0133】
合成器は、逆周波数シフトを、サブバンド生成の一部として周波数シフトされた、アップサンプリングされた処理済みのサブバンド信号に適用するように配置される第2の周波数シフタ703をさらに備える。この具体的な例において、高サブバンド信号が、それに応じて第2の周波数シフタ703に供給される。
【0134】
第2の周波数シフタ703は、周波数シフト(逆周波数シフトと称される)を適用し、この周波数シフトは、所与のサブバンドに対して、サブバンドがサブバンドによって表される周波数範囲に動かされるという結果をもたらすシフトを適用するものである。即ち、この周波数シフトは、サブバンドの信号成分を、それらが入力オーディオ信号内に元々有していたものと同じ周波数に回復する。したがって、逆周波数シフトとは、サブバンドが、サブバンドを作成したサブフィルタの範囲にシフトされるというものである。
【0135】
例えば、この具体的な例において、第1のサブバンドが、0〜7kHzの範囲をカバーする一方、第2のサブバンドは、7〜14kHzの範囲をカバーする。デシメートされかつ処理されたサブバンド信号は、ベースバンド信号によって表されるため、第2の周波数シフタ703は、高サブバンド信号をベースバンド表現から適切な7〜14kHzの範囲に動かす逆周波数シフトを適用する。
【0136】
逆周波数シフトは、第1の周波数シフタ407による周波数シフトから生じる組み合わされた周波数シフトを逆にするように配置される。先に論じたように、デシメーションから生じる周波数シフト(即ち、ベースバンドへのシフト)は、フィルタによる適切な周波数コピーの選択によって補償される。
【0137】
例えば、第1の周波数シフタ407が、fshの周波数シフトを適用することによって、高サブバンドをπ/2〜πの範囲へと動かし(第1のサンプリング周波数に正規化される)、デシメータによるエイリアシングがこれを0〜π/2の通過帯域に動かす(第1のサンプリング周波数に正規化される)場合、第2の周波数シフタ703は、−fshの周波数シフトを実施する。
【0138】
第2の周波数シフタ703の出力は、サブバンド結合器705に供給され、サブバンド結合器705は、アップサンプラ701にも連結されて、アップサンプラ701から低サブバンド信号を受信する。サブバンド結合器705は、アップサンプリングされた処理済みのサブバンド信号を結合して、入力信号に対応するサンプルレートを有する処理済みの出力オーディオ信号を生成するように配置される。
【0139】
サブバンド結合器705は、受信したサブバンド信号がここでは適切な周波数、即ち、各サブバンド信号によって表される入力信号の周波数範囲に対応するサブバンド周波数に位置付けられるため、これらの受信したサブバンド信号を直接組み合わせる。
【0140】
実際、いくつかの実施形態において、サブバンド結合器705は、単に、受信したサブバンド信号を加算する加算器として実装される。特に、適切なフィルタ(例えば、ゼロスタッフィングされた信号を帯域通過フィルタリングして個々のサブバンドについて適切な周波数コピーを選択するためのエイリアスフィルタ)がアップサンプラにおいて用いられた場合は、単純な足し算が実施される。他の実施形態においては、例えば、帯域選択を実施するフィルタなど、より複雑な結合が実施される。
【0141】
例えば、フィルタバンク405のサブバンドフィルタのフィルタリングも補償するフィルタが用いられる。特に、結合器は、アップサンプリングされた処理済みのサブバンド信号に適用されるサブバンドフィルタのセットを含む。次いで、コンバイナが、結果として生じるフィルタリングされたサブバンド信号を組み合わせる。そのような例において、サブフィルタは、フィルタバンク405内のサブバンドフィルタ及びサブバンド結合器705内の対応するサブバンドフィルタのカスケードが、すべてのサブバンドに対して実質的に同じであるように配置される。
【0142】
サブバンド結合器705の出力は、この例では、第1のサンプリング周波数の半分より小さい帯域幅(例えば、6dB、10dB、又は20dB帯域幅)を有する低域フィルタ707に供給される。したがって、低域フィルタ707は、アップサンプルアンチエイリアスフィルタリングを実施し、ゼロスタッフィングアップサンプリングの実施にもかかわらず高周波数信号成分を生成しないアップサンプリングをもたらす。
【0143】
低域フィルタ707の出力は、したがって、入力オーディオ信号と同じサンプルレートを有する処理済みのオーディオ信号である。しかしながら、オーディオ信号の処理は、サブバンドエイリアシングに起因する(許容できない)劣化をもたらすことなく、各サブバンドに対して個々及び別個に実施されている。
【0144】
説明したように、第1の周波数シフタ407は、高サブバンドをシフトするように配置され、その結果、高サブバンドは、ゼロからデシメートされたサンプリング周波数の半分までの周波数間隔の倍数である間隔に動かされる。正確なシフトは、異なる用途及び実施形態によって(又は、異なる信号若しくは異なるサブバンドで)異なる。しかしながら、多くの実施形態において、シフトは、有利には、サブバンドがそのような周波数間隔内の中央に位置付けられるというものである。
【0145】
したがって、多くの実施形態において、第1の周波数シフタ407は、サブバンドの中心周波数が、ゼロからデシメートされたサンプリング周波数の半分までの基本間隔の倍数である間隔の実質的に中央にシフトされるようにシフト周波数を選択するように配置される。
【0146】
具体的には、所与のサブバンドの周波数シフトは、実質的に、以下のように示され、
【数15】
ここで、fは、デシメートされたサンプリング周波数であり、fは、周波数シフト前のサブバンドの中心周波数であり、nは整数(n≧1)である。
【0147】
多くの実施形態において、周波数シフトは、サブバンド帯域幅の10%、又はさらに5%若しくは1%の周波数fからの最大偏差で、実質的に上記のように示される。
【0148】
説明された手法の実装形態の具体的な例は、図8に例示され、この図は、分析側(サブバンド生成器401に対応する)及び合成側(合成器605に対応する)を示す。本例は、32kHzのサンプリング周波数を有する音声処理超広帯域システムである。
【0149】
本例では、サブバンド生成器401に対応する分析部は、以下の特定の手法を含む。
【0150】
14kHzのカットオフ周波数での初期低域フィルタリング。このフィルタは、例えば、楕円フィルタであり得る。
【0151】
7.5kHzのクロスオーバー周波数での帯域スプリッタ(フィルタバンク405を実装する)。
【0152】
(14kHz−7.5kHz)/2)=10.750kHzの高サブバンドの中心周波数を、8kHz〜16kHz(π/2〜πの間隔に対応する)の周波数間隔の中心周波数、即ち12kHzにシフトするための1250Hzの周波数シフト。
【0153】
2の因数によってサブバンド信号をデシメートするダウンサンプラ。
【0154】
合成部では、逆の動作が実施される。
【0155】
受信された信号は、2の因数によってアップサンプリングされる。
【0156】
高帯域では、−1250Hzの周波数シフトが直接周波数シフトとして適用される。
【0157】
7.5kHzのクロスオーバーを有する帯域結合器が適用される。
【0158】
14kHzのカットオフ周波数を有するナイキスト周辺の低域フィルタが適用される。
【0159】
個々のエンティティ及びプロセッサを任意の好適な手法により実装することができるということを理解されたい。
【0160】
例えば、フィルタバンク405の場合、図9に示されるように、7.5kHzの奇数次の楕円低域フィルタ及びその電力相補の高域フィルタが使用される。
【0161】
そのようなフィルタは、例えば、全域通過フィルタを用いて実装することができる。2つのフィルタが電力相補のフィルタである場合、それらのフィルタは、同じ全域通過フィルタを共有する。図10の構造は、例えば、全域通過セクションA(z)及びA(z)を用いて実装される。
【0162】
周波数シフタは、図11に例示されるような分析信号を使用して実現することができる。分析信号は、実部を形成する元の信号及び虚数信号を形成するヒルベルト変換部を有する複素(時間)信号である。周波数領域内では、そのような信号は、正の周波数への寄与のみを有する。この信号を
【数16】
で乗算することにより、スペクトルをωだけシフトする。この信号の実部を取り出すことにより、ωだけシフトされた元の信号を得る。複素フィルタは、FIRフィルタ及びIIRフィルタの両方を用いて設計することができる。
【0163】
合成部において、同じ基礎的要素を使用することができる。サブバンド結合器705は、例えば、図12に例示されるように実装される。
【0164】
本手法は、多くの異なる用途において使用され、多くの異なる種類のオーディオ信号及びオーディオ処理に対して利点を提供する。
【0165】
しかしながら、本手法は、特に、音声処理に非常に適している。実際、音声の場合、異なる帯域では特性が非常に異なる傾向があり、説明された手法は、そのような特性の変動を反映し、それに適応するサブバンド処理を可能にする。この効果は、現在のトレンドがそうであるように音声を表すために使用される周波数帯域が増大するにつれてますます重要である。
【0166】
したがって、例として、図6の信号プロセッサ601、603によって適用されるアルゴリズムは、音声処理アルゴリズムであり、特に、音声強調処理アルゴリズムである。2つのサブバンド(例えば、0〜7.5kHz及び7.5〜14kHz)内の音声の著しく異なるプロパティに起因して、信号プロセッサ601、603は、異なるサブバンドには異なるアルゴリズムを適用するように配置される。
【0167】
具体的な例として、定常雑音抑圧を取り上げる。定常雑音抑圧では、多くの場合、静寂中の暗雑音のスペクトル振幅を推定し、雑音のない信号のスペクトル振幅が所望の信号のスペクトル振幅に似るように、入力信号のスペクトル振幅を、位相が変わらないまま、変化させることを試みる。スペクトルは、多くの場合、ハニング窓をかけた重複する時間信号の短時間高速フーリエ変換(STFFT)によって計算される。必要な周波数分解能は、人間の聴覚の周波数分解能によって決定され、それは、低周波数では高く、高周波数では低い。バンドスプリッティングは、より低い帯域においては、十分な周波数分解能を提供するために十分な長さのSTFFTを用いて定常雑音抑圧アルゴリズムを適用し、より高い帯域においては、より低い周波数分解能を提供するが結果として高い時間領域分解能をするより小さいサイズのSTFFTを用いて定常雑音抑圧アルゴリズムを適用することを可能にする。
【0168】
いくつかの実施形態において、信号処理アルゴリズムはエコーキャンセルである。図13は、図3のエコーキャンセルの例を例示するが、個々のサブバンド処理を実施するために修正されている。
【0169】
見て分かるように、本例では、ラウドスピーカ信号X(ω)は、図4のサブバンド生成器401に対応する第1のサブバンド生成器1301に供給される。結果として生じる2つのサブバンド信号は、エコーキャンセルフィルタ1303に供給され、この例では、エコーキャンセルフィルタ1303は、各々がデシメートされた周波数(即ち、第1のサンプリング周波数の半分)で動作する2つのサブエコーキャンセルフィルタ1305、1307によって形成される。したがって、本例では、1つのサブエコーキャンセルフィルタが、各帯域に提供される。
【0170】
同様に、受信信号S(ω)+E(ω)は、図4のサブバンド生成器401に対応する第2のサブバンド生成器1309によって2つのサブバンド信号に分割される。推定信号と受信信号を各サブバンド内で別個に比較することによって、残留信号が、2つのサブバンドに対して個々に生成される。
【0171】
さらに、各適応サブエコーキャンセルフィルタ1305、1307は、各サブバンド内の残留信号に基づいて更新される(例えば、最小2乗平均適応アルゴリズムを使用して残留信号の電力を最小限にする)。したがって、サブエコーキャンセルフィルタ1305、1307の更新は、各サブバンドにおいて個々に実施され、実際には、エコーキャンセルは、2つのサブバンドにおける2つの別個のプロセスとして実施される。これは、特に、適応サブエコーキャンセルフィルタ1305、1307の長さを異なるものにすることを可能にし、それにより著しい複雑性の減少を可能にする。
【0172】
本例では、残留信号は、さらに、図7の例に従う合成器1311に供給される。合成器1311は、残留信号のサブバンドを結合することができ、それにより全帯域エコーキャンセルされた音声信号を生成する。
【0173】
上では、特定の信号フロー及び動作の順序を有する様々な例となる実施形態が説明されてきた。しかしながら、特定の処理にはバリエーションが存在し、実際には実施される動作の順序又はシーケンスは異なる実施形態においては異なるということを理解されたい。例えば、先に説明したように、合成のサブバンドフィルタリングは、アップサンプリングの一部として、又はサブバンドの結合の一部として実施される。
【0174】
別の例として、図4は、デシメーションが周波数シフト後に実施される例を例示する。しかしながら、いくつかの実施形態において、デシメーションは、周波数シフトの前に、又は実際には周波数シフトの一部として実施される可能性がある。
【0175】
本手法を例示するために、偶数サンプルのみを維持することによって2のデシメーション因数を達成するデシメータが後に続くFIRフィルタが検討される。そのようなFIRフィルタは、インパルス応答の観点から、すべての奇数次係数がゼロであるように設計される可能性がある。この場合、非ゼロ係数のみを含み、フィルタの前にデシメータがある新しいFIRフィルタを作成することが可能である。これにより、FIRフィルタと全く同じ出力をより低い複雑性でもたらす。
【0176】
例えば、係数の数N=5の場合、係数h0、h2、h4は非ゼロであり、h1=h3=0である。入力をx及び出力をyで示すと、以下のフィルタ出力が生成される。
y(n)=h(0)x(n)+h(1)x(n−1)+h(2)x(n−2)+h(3)x(n−3)+h(4)x(n−4)
y(n+1)=h(0)x(n+1)+h(1)x(n)+h(2)x(n−1)+h(3)x(n−2)+h(4)x(n−3)
y(n+2)=h(0)x(n+2)+h(1)x(n+1)+h(2)x(n)+h(3)x(n−1)+h(4)x(n−2)
y(n+3)=h(0)x(n+3)+h(1)x(n+2)+h(2)x(n+1)+h(3)x(n)+h(4)x(n−1)
及びデシメータ後:
y(n)=h(0)x(n)+h(1)x(n−1)+h(2)x(n−2)+h(3)x(n−3)+h(4)x(n−4)
y(n+2)=h(0)x(n+2)+h(1)x(n+1)+h(2)x(n)+h(3)x(n−1)+h(4)x(n−2)
h1=h3=0であるため、以下のように書くことができる。
y(n)=h(0)x(n)+h(2)x(n−2)+h(4)x(n−4)
y(n+2)=h(0)x(n+2)+h(2)x(n)+h(4)x(n−2)
【0177】
これは、係数h(0)、h(2)、h(4)を有するフィルタの前のデシメータと等価である。したがって、本例では、デシメーションは、FIRフィルタリングの前に実施される。
【0178】
いくつかの実施形態において、同様の手法が周波数シフトに使用される。具体的には、周波数が周期的に繰り返すゼロ係数を提供するように選択される場合、残りの係数は、デシメートされた信号に適用される(おそらくは部分的にデシメートされた信号、即ち、デシメーションは2段階で実施される)。
【0179】
デシメーションが周波数シフトの一部として実施される具体的な例として、図11の周波数シフタを検討することができる。本例では、周波数シフタの後にデシメータが続くが、周波数シフタの出力でサンプルのサブセットを選択するデシメーションではなく、代わりにデシメーションは個々の経路内で実施されるということが容易に見て分かる。例えば、デシメーションは、加算器への入力、又は実際には乗算器への入力における個々の経路に対して実施される(したがって、各経路に1つ、2つのデシメータが必要とされる)。
【0180】
明確性のため上の説明は、異なる機能回路、ユニット、及びプロセッサを参照して本発明の実施形態を説明したということを理解されたい。しかしながら、異なる機能回路、ユニット、又はプロセッサ間の機能の任意の好適な分散が、本発明を損なうことなく使用されることは明らかである。例えば、別個のプロセッサ又はコントローラによって実施されるように例示される機能は、同じプロセッサ又はコントローラによって実施されてもよい。故に、特定の機能ユニット又は回路への言及は、厳密な論理的又は物理的な構造又は組織体を示すというよりも、説明された機能を提供するための好適な手段への言及としてのみ見られるものとする。
【0181】
本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを含む任意の好適な形態で実装され得る。本発明は、任意選択的に、1つ又は複数のデータプロセッサ及び/又はデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして少なくとも部分的に実装される。本発明の実施形態の要素及び構成要素は、物理的に、機能的に、及び論理的に、任意の好適なやり方で実装される。実際に、機能は、単一ユニット内に、複数のユニット内に、又は他の機能ユニットの一部として実装される。そのようなものとして、本発明は、単一ユニット内に実装されるか、又は異なるユニット、回路、及びプロセッサ間に物理的又は機能的に分散される。
【0182】
本発明は、いくつかの実施形態に関連して説明されているが、本明細書に明記される特定の形態に制限されることを意図しない。むしろ、本発明の範囲は、添付の特許請求項によってのみ制限される。加えて、ある特徴は特定の実施形態に関連して説明されるように見えるが、当業者は、説明された実施形態の様々な特徴が本発明に従って組み合わせられることを認識する。特許請求の範囲において、「含む」という用語は、他の要素又はステップの存在を除外するものではない。
【0183】
さらに、複数の手段、要素、回路、又は方法のステップは、個々に列挙されるが、例えば単一の回路、ユニット、又はプロセッサによって実施されてもよい。加えて、個々の特徴は、異なる請求項に含まれるが、これらは、有利には、組み合わされる可能性があり、異なる請求項に含まれていることは、特徴の組み合わせが実現可能及び/又は有利ではないということを示唆するものではない。また、請求項の1つのカテゴリにある特徴が含まれていることは、このカテゴリへの限定を示唆するのではなく、むしろこの特徴が適切な場合には他の請求項にも同等に適用可能であることを示す。さらに、請求項内の特徴の順序は、この特徴が作用されるべきいかなる順序も示唆せず、特に、方法の請求項内の個別のステップの順序は、この順序で実施されなければならないことを示唆するものではない。むしろ、ステップは任意の好適な順序で実施されてよい。加えて、単数形での言及は複数形を除外するものではない。したがって、「a(1つの)」、「an(1つの)」、「第1の」、「第2の」などは、複数を外すものではない。請求項内の参照記号は、単に明解な例として提供されるものであり、いかようにも特許請求の範囲を制限するものとして解釈されるべきではない。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13