▶ フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-29
(54)【発明の名称】音響エコーキャンセルユニット
(51)【国際特許分類】
H04R 3/02 20060101AFI20220921BHJP
【ＦＩ】
H04R3/02
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2022504254
(86)(22)【出願日】2020-07-22
(85)【翻訳文提出日】2022-02-21
(86)【国際出願番号】 EP2020070671
(87)【国際公開番号】W WO2021013885
(87)【国際公開日】2021-01-28
(31)【優先権主張番号】19187880.0
(32)【優先日】2019-07-23
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】500242786
【氏名又は名称】フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】モーリッツ・ヴィルド
(72)【発明者】
【氏名】エマヌエル・ハベッツ
(72)【発明者】
【氏名】エトヴィン・マバンデ
(72)【発明者】
【氏名】グェンダリーナ・ミラノ
(72)【発明者】
【氏名】マリア・ルイス・ヴァレロ
(72)【発明者】
【氏名】フィリップ・ゲッツ
(72)【発明者】
【氏名】アンドレアス・ヴァルター
(72)【発明者】
【氏名】ファビアン・キュッヒ
【テーマコード（参考）】
5D220
【Ｆターム（参考）】
5D220AA11
5D220CC06
(57)【要約】
マルチチャネルオーディオ信号を受信するように構成され、空間オーディオ成分の第1のセットを取得するためにマルチチャネルオーディオ信号を処理するように構成された第1のステージと、
空間オーディオ成分の第2のセットを取得するために空間オーディオ成分の第1のセットを処理するように構成された第2のステージと
を備えるオーディオプロセッサと、
空間オーディオ成分の第1のセット、または空間オーディオ成分の第1のセットの偏位バージョンを参照信号として使用することによってエコーキャンセルを実行するように構成されたエコーキャンセルプロセッサと
を備える音響エコーキャンセルユニット。
空間オーディオ成分の第2のセットを取得するために空間オーディオ成分の第1のセットを処理するように構成された第2のステージと
を備えるオーディオプロセッサと、
空間オーディオ成分の第1のセット、または空間オーディオ成分の第1のセットの偏位バージョンを参照信号として使用することによってエコーキャンセルを実行するように構成されたエコーキャンセルプロセッサと
を備える音響エコーキャンセルユニット。
【特許請求の範囲】
【請求項1】
マルチチャネルオーディオ信号(MS)を受信するように構成され、空間オーディオ成分の第1のセット(SC_1)を取得するために前記マルチチャネルオーディオ信号(MS)を処理するように構成された第1のステージ(32)と、
空間オーディオ成分の第2のセット(SC_2)を取得するために前記空間オーディオ成分の第1のセット(SC_1)を処理するように構成された第2のステージ(34)と
を備えるオーディオプロセッサ(31)と、
前記空間オーディオ成分の第1のセット(SC_1)、または前記空間オーディオ成分の第1のセット(SC_1)の偏位バージョンを参照信号(RS)として使用することによってエコーキャンセルを実行するように構成されたエコーキャンセルプロセッサ(42)と
を備える音響エコーキャンセルユニット。
【請求項2】
前記エコーキャンセルプロセッサ(42)が、参照信号(RS)として使用されるべき前記空間オーディオ成分の第1のセット(SC_1)の前記偏位バージョンを取得するために、前記空間オーディオ成分の第1のセット(SC_1)を処理するように構成された空間成分コンバイナ(44)を備える、請求項1に記載の音響エコーキャンセルユニット(30、30')。
【請求項3】
前記空間成分コンバイナ(44)が、1つの参照信号もしくは複数の参照信号(RS)、または1つ、2つ、もしくは3つ以上のチャネルを含む参照信号(RS)を出力するように構成された、請求項2に記載の音響エコーキャンセルユニット(30、30')。
【請求項4】
前記空間成分コンバイナ(44)が、前記参照信号(RS)として空間成分の前記第1のセット(SC_1)の1つまたは複数の線形結合を出力するために処理を実行するように、および/または前記参照信号(RS)を取得するために空間成分の前記第1のセット(SC_1)に時不変ダウンミックス行列を適用するように構成された、請求項2または3に記載の音響エコーキャンセルユニット(30、30')。
【請求項5】
前記空間成分コンバイナ(44)が、以下の式、【数1】
【請求項6】
前記参照信号(RS)が、前記空間オーディオ成分の第1のセット(SC_1)のサブセットである、請求項1から5のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項7】
前記空間オーディオ成分の第1のセット(SC_1)の各空間成分が、前記参照信号(RS)の最大1つの信号内に含まれる、請求項1から6のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項8】
前記空間成分コンバイナ(44)が、前記空間オーディオ成分の第1のセット(SC_1)の空間オーディオ成分の数と比較したときに減少した数を有する前記参照信号(RS)の1つまたは複数の信号を出力するように構成された、請求項2から7のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項9】
前記エコーキャンセルプロセッサ(42)が、マイクロフォン(24)入力を介して受信された少なくとも1つのマイクロフォン信号に基づいて前記エコーキャンセルを実行する、請求項1から8のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項10】
前記エコーキャンセルプロセッサ(42)が、シングルもしくはマルチチャネル適応フィルタ、または前記参照信号(RS)とマイクロフォン信号との間の比較に基づいて構成可能なシングルもしくはマルチチャネル適応フィルタを使用して前記エコーキャンセルを実行するように構成された、請求項1から9のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項11】
前記第1のステージ(32)が、前記空間オーディオ成分の第1のセット(SC_1)を取得するために、非線形処理、または時変処理、または高度に時変の処理を実行するように構成された、請求項1から10のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項12】
前記第2のステージ(34)が、前記空間オーディオ成分の第2のセット(SC_2)を再生デバイス(14)またはサウンドバーに出力するように構成された、請求項1から11のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項13】
前記空間オーディオ成分のセットが、再生デバイス(14)の1つもしくは複数のトランスデューサを直接制御すること、または1つもしくは複数の増幅器の使用によって再生デバイス(14)もしくはサウンドバーの1つもしくは複数のトランスデューサを制御することを可能にする、請求項12に記載の音響エコーキャンセルユニット(30、30')。
【請求項14】
前記第2のステージ(34)が線形処理を実行するように構成された、請求項1から13のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項15】
請求項1から14のいずれか一項に記載の音響エコーキャンセルユニット(30、30')を備える再生デバイス(14)またはサウンドバー。
【請求項16】
音響エコーキャンセルのための方法であって、前記方法が、以下のステップ、マルチチャネルオーディオ信号(MS)を受信するステップと、
空間オーディオ成分の第1のセット(SC_1)を取得するために前記マルチチャネルオーディオ信号(MS)を処理するステップ(132)と、
空間オーディオ成分の第2のセット(SC_2)を取得するために前記空間オーディオ成分の第1のセット(SC_1)を処理するステップ(134)と、
前記空間オーディオ成分の第1のセット(SC_1)または前記空間オーディオ成分の第1のセット(SC_1)の偏位バージョンを参照信号(RS)として使用することによって、エコーキャンセルを実行するステップ(142)と
を含む、方法。
【請求項17】
コンピュータ上で実行されるときに、請求項16に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、音響エコーキャンセルユニットと、対応する方法とに関係する。さらなる実施形態は、コンピュータプログラムに関係する。別の実施形態は、音響エコーキャンセルユニットを備えるサウンドバーまたは別の再生デバイスを提供する。本発明の好ましい実施形態は、オーディオ信号を処理する分野、より具体的には、マルチチャネルオーディオ再生のための音響エコーキャンセル(AEC)のための手法に関する。
【背景技術】
【0002】
音響エコーキャンセルは、幅広い用途にとって望ましい。たとえば、遠方界サウンドキャプチャおよびバージイン機能により人間マシン対話を容易にし、全二重音声通信を可能にする。AECを実行するために、典型的には、マイクロフォン信号または複数のマイクロフォン信号と、AEC参照信号、または1つ、2つ、もしくは3つ以上のチャネルを含むAEC参照信号とが使用される。一般に、文献におけるすべての方法は、図3によって示されているように、スピーカ駆動信号を参照信号として使用する。
【0003】
図3は、オーディオ処理経路10と音響エコーキャンセル経路20とを示す。
【0004】
オーディオ処理経路10は、オーディオプロセッサ12と、1つまたは複数のスピーカ14とを備える。スピーカ14は、従来のマルチスピーカ設定(5.1または7.2など)によって、または少なくとも1つ、好ましくは2つもしくは3つ以上のトランスデューサを有するサウンドバーによって形成され得る。
【0005】
オーディオプロセッサ12は、マルチチャネルオーディオ(たとえば、5.2または7.2信号)を受信し、スピーカ14の使用によってサラウンドサウンドが再生され得るように、このマルチチャネルオーディオを処理する。たとえば、オーディオプロセッサ12は、サウンドバー14が制御される空間成分SCを取得するために、マルチチャネルオーディオ信号MSを処理するように構成される。
【0006】
エコーキャンセル経路20は、入力信号ISと参照信号RSとに基づいてエコーキャンセル成分を計算するように構成された音響エコーキャンセルユニット22を備える。入力信号ISとして、1つまたは複数のマイクロフォン(参照番号24を参照)からのマイクロフォン信号が使用される。典型的には、空間成分SCは、参照信号RSとして使用される。したがって、エコーキャンセルユニット22は、オーディオプロセッサ12に接続された参照信号RSのため、および1つまたは複数のマイクロフォン24のための入力を備える。エコーキャンセルパラメータは、バックエンド26に出力される。
【0007】
多数のスピーカ14が使用される場合、および/またはサウンドバーによるマルチチャネルオーディオの再生の通常の場合のようにスピーカ駆動信号間に高い相関が存在する場合、重大なAEC性能の低下が予想され得る。スピーカ駆動信号間の相関は、非相関方法を適用することによって低減され得るが、これは、再生忠実度の犠牲となり、したがって、いくつかの用途には望ましくない。したがって、改善された手法に対するニーズが存在する。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、エコーキャンセル品質および用途の分野について改善されたトレードオフを有するエコーキャンセルのための概念を提供することである。特に、サウンドバーに適用可能なエコーキャンセル概念を提供することが目的である。
【課題を解決するための手段】
【0009】
この目的は、独立請求項の主題によって解決される。
【0010】
本発明の実施形態は、マルチチャネルオーディオ信号を受信するように構成され、空間オーディオ成分の第1のセットを取得するためにマルチチャネルオーディオ信号を処理するように構成された第1のステージと、空間オーディオ成分の第2のセットを取得するために空間オーディオ成分の第1のセットを処理するように構成された第2のステージとを備えるオーディオプロセッサと、空間オーディオ成分の第1のセット、または空間オーディオ成分の第1のセットの偏位バージョンを参照信号として使用することによってエコーキャンセルを実行するように構成されたエコーキャンセルプロセッサとを備える音響エコーキャンセルユニットを提供する。
【0011】
さらなる実施形態によれば、エコーキャンセルプロセッサは、参照信号として使用されるべき空間成分の第1のセットの偏位バージョンを取得するために、空間オーディオ成分の第1のセットを処理するように構成された空間成分コンバイナを備える。
【0012】
本発明の実施形態は、音声処理のために2ステージのプロセスを適用することが有益であり、第1のステージの出力信号/空間成分信号が(第2のステージと比較した場合)音響エコーキャンセルのための参照信号として使用されることが好ましいという知見に基づく。ここで、第1の空間成分信号は、最終的な空間成分を取得するためにさらに処理され得、最終的な空間成分よりも音響エコーキャンセルに適している。たとえば、中間信号は、サウンドバーによって3Dサウンドシーンとしてレンダリングされるべき部屋の方向に関連する成分信号を含むことができる。好ましい実施形態によれば、第1の空間成分は、参照信号として使用される前にさらに処理される。したがって、空間成分の第1のセットの偏位バージョンも使用され得る。この偏位バージョンは、空間成分コンバイナの使用によって、たとえば、線形処理または別の処理を実行することによって取得される。
【0013】
言い換えれば、これは、参照信号を取得するために、第1の空間成分が空間成分コンバイナによってアクセスおよび処理されることを意味する。結果として生じる参照信号は、AECのために使用される。中間信号、すなわち、空間成分コンバイナと組み合わせた第1の空間成分の使用は、適切なAEC参照信号、またはAECを実際に適用可能にする適切なAEC参照信号を取得することを可能にする。
【0014】
さらなる実施形態によれば、空間成分コンバイナが、少なくとも1つの参照信号、または1つもしくは2つ以上のチャネルを含む参照信号を出力するように構成された音響エコーキャンセルユニットが提供される。一実施形態によれば、空間成分コンバイナは、参照信号を取得するために空間成分の第1のセットの線形結合を実行するように、および/または参照信号を取得するために時不変ダウンミックス行列を空間成分の第1のセットに適用するように構成される。たとえば、空間成分コンバイナは、以下の式に基づいてその処理を実行するように構成され得、
【0015】
【数1】
【0016】
ここで、Riは、i番目の参照信号であり、βkiは、重みであり、Ckは、k番目の空間成分信号である。ここで、各参照信号は、空間成分の第1のセットのサブセットから取得される。それに加えて、各空間成分チャネルは、最大1つの参照信号チャネルにおいてのみ使用され得る。
【0017】
実施形態によれば、空間成分コンバイナは、少なくとも1つの参照信号を取得するために空間成分の数を減らすように構成される。
【0018】
エコーキャンセルプロセッサに関して、典型的には、エコーキャンセルは、マイクロフォン入力を介して受信されたマイクロフォン信号に基づくことが留意されるべきである。さらなる実施形態によれば、エコーキャンセルプロセッサが、シングルもしくはマルチチャネル適応フィルタ、または参照信号とマイクロフォン信号との間の比較に基づいて構成可能なシングルもしくはマルチチャネル適応フィルタを使用してエコーキャンセルを実行するように構成された、音響エコーキャンセルユニットが提供される。
【0019】
別の実施形態によれば、第1のステージが、空間オーディオ成分の第1のセットを取得するために、非線形処理、または時変処理、または高度に時変の処理を実行するように構成された、音響エコーキャンセルユニットが提供される。別の実施形態によれば、第2のステージは、空間オーディオ成分の第2のセットを再生デバイスまたはサウンドバーに出力するように構成される。さらなる実施形態によれば、空間オーディオ成分のセットが、再生デバイスの1つもしくは複数のトランスデューサを直接制御すること、または1つまたは複数の増幅器の使用によって再生デバイスもしくはサウンドバーの1つもしくは複数のトランスデューサを制御することを可能にする、音響エコーキャンセルが提供されることに留意されたい。たとえば、第2のステージが線形処理を実行するように構成された、音響エコーキャンセルユニットが提供される。
【0020】
別の実施形態は、音響エコーキャンセルユニットを備える再生デバイスまたはサウンドバーを提供する。
【0021】
さらなる実施形態によれば、
マルチチャネルオーディオ信号を受信するステップと、
空間オーディオ成分の第1のセットを取得するためにマルチチャネルオーディオ信号を処理するステップと、
空間オーディオ成分の第2のセットを取得するために空間オーディオ成分の第1のセットを処理するステップと、
空間オーディオ成分の第1のセットまたは空間オーディオ成分の第1のセットの偏位バージョンを参照信号として使用することによって、エコーキャンセルを実行するステップと
を行う、音響エコーキャンセルのための方法が提供される。
マルチチャネルオーディオ信号を受信するステップと、
空間オーディオ成分の第1のセットを取得するためにマルチチャネルオーディオ信号を処理するステップと、
空間オーディオ成分の第2のセットを取得するために空間オーディオ成分の第1のセットを処理するステップと、
空間オーディオ成分の第1のセットまたは空間オーディオ成分の第1のセットの偏位バージョンを参照信号として使用することによって、エコーキャンセルを実行するステップと
を行う、音響エコーキャンセルのための方法が提供される。
【0022】
さらなる実施形態によれば、この方法は、コンピュータの使用によって実行され得る。
【0023】
続いて、本発明の実施形態について、同封の図を参照して説明する。
【図面の簡単な説明】
【0024】
【図1a】基本的な実施形態によるエコーキャンセルユニットを示す概略ブロック図である。
【図1b】基本的な実施形態によるエコーキャンセルの改善された概念を示す概略フローチャートである。
【図2】強化された手法によるサウンドキャンセル手法の概略ブロック図である。
【図3】従来技術によるサウンドキャンセル手法の概略ブロック図である。
【発明を実施するための形態】
【0025】
以下、本発明の実施形態について、その説明が交換可能であり相互に適用可能であるように、同一のまたは同様の機能を有する物体に同一の参照番号が与えられた同封の図を参照して説明する。
【0026】
図1aは、2つの経路31および41を備えるサウンドキャンセルユニット30を示す。経路31内で、サウンド再生デバイス14、たとえば、サウンドバーの使用によって、マルチチャネルオーディオ信号MSの再生を可能にするように、マルチチャネルオーディオ信号MSが処理される。ここで、従来技術の文脈において説明されているような処理は、2つのステージ32および34に細分される。第1のステージ32は、参照番号SC_1によってマークされている中間信号を取得するために、マルチチャネルオーディオ信号MSを処理する。この中間信号SC_1は、空間成分信号の第1のセットを表す。次いで、この中間信号SC_1は、スピーカ14を直接駆動することを可能にする空間成分信号SC_2の第2のセットを取得するために、第2のステージ34の使用によってさらに処理される。直接駆動することは、さらなる空間処理が使用されないことを意味し、すなわち、サウンドバー14のトランスデューサは、(たとえば、空間成分を増幅した後に)空間成分の第2のセットによって駆動され得る。
【0027】
たとえば、第1のステージ32は、非線形信号処理および/または(高度に)時変処理を実行する。第2の処理ステージ34は、主に線形時不変処理ステップを実行し得る。2つのステージに細分する背景は、第2のステージ34によって実行される処理ステップ、たとえば、線形時不変処理ステップが、エコーキャンセルに対する適合性に負の影響を有する可能性があることである。
【0028】
エコーキャンセル経路41は、空間成分の第1のセットSC_1に基づいてエコーキャンセルを実行する。このため、エコーキャンセルユニット40は、オーディオ処理の第1のステージ32から信号SC_1を受信する。エコーキャンセルユニット40は、参照信号RSに基づいてエコーキャンセルを実行するエコーキャンセルプロセッサ42を少なくとも備える。実施形態によれば、空間成分の第1のセットSC_1は、参照信号RSとして使用され得る。さらなる(好ましい)実施形態によれば、空間成分の第1のセットSC_1の偏位バージョンが、参照信号RSとして使用され得る。したがって、エコーキャンセルユニット40は、プロセッサ44(たとえば、いわゆるコンバイナ)をオプションで備え得る。このコンバイナ44は、処理、たとえば、空間成分の第1のセットSC_1に基づいて参照信号RSを取得するための線形処理を実行する。
【0029】
ただ、完全を期すために、典型的には、エンティティ42によって実行されるエコーキャンセルは、参照信号RSの他に、たとえば、以下で説明するように1つまたは複数のマイクロフォン(図示せず)から受信される別の入力信号を使用することが留意されるべきである。
【0030】
強化された実施形態を説明する前に、エコーキャンセルの改善された概念について、その方法ステップに関して説明する。
【0031】
図1bは、エコーキャンセル方法100の方法ステップを示す。基本的な実装形態の範囲内で、音響エコーキャンセル100は、3つの基本的なステップ132、142、および134を含む。
【0032】
ステップ132および134は、第1のステージ内で実行されるオーディオ処理を表す。第1のステージ132内で、空間成分の第1のセットSC_1を取得するためのマルチチャネルオーディオ信号(図1a内の参照番号MSを参照)は、次いで、空間成分の第2のセットSC_2を取得するために、第2のステージ134によってさらに処理される。この第2のステージの処理132および134と並行して、エコーキャンセル処理が実行される。このエコーキャンセル処理は、エコーキャンセルの第1のステップがステップ132に続いて実行されるように、信号SC_1を入力として使用する。ここで、エコーキャンセルの基本ステップは、参照信号として使用される信号SC_1に基づいてエコーキャンセルを実行する参照番号142によってマークされる。上記で説明したように、このプロセスステップ142は、追加の信号、たとえば、マイクロフォン信号を入力信号として使用し得る。オプションで、別の処理ステップ144が、ステップ142の前に配置され得る。このステップ144は、成分信号の第1のセットSC_1の処理が参照信号RSを取得することを可能にする。
【0033】
以下、図2に関して、エコーキャンセル処理のオプションの要素について説明する。
【0034】
図2は、2つのステージ32および34を有するオーディオプロセッサ31を備えるエコーキャンセルユニット30'と、2つの主要なステージ42および44(図1aを参照)を備えるエコーキャンセルユニット40'と、1つまたは複数のマイクロフォン24およびバックエンド処理26とを示す。
【0035】
マイクロフォン24およびスピーカ14に関して、これらは、1つの共通のハウジングまたは複数の共通のハウジング内に組み合わされ得ることが留意されるべきである。
【0036】
バックエンド処理26に関して、バックエンド処理26は、たとえば、音声認識/遠方界サウンドキャプチャの使用によって、または全二重通信のような用途のために、人間マシンインターフェイスとして使用され得ることが留意されるべきである。
【0037】
その前に、システム30'全体の機能について説明する。
【0038】
最先端の方法によって発生する問題のために、本発明者らは、AEC参照信号として、スピーカを駆動する信号の代わりにサウンドバー処理の中間信号を使用することを提案する。一般的な手法が図2に示されている。オーディオプロセッサ31は、たとえば、5.1サラウンドフォーマットまたは7.1+4H没入型フォーマットにおけるマルチチャネルオーディオ信号115を受信する。オーディオ入力信号115は、第1の空間成分信号のセットSC_1を生成するために、第1の処理ブロック32によって処理される。結果として生じる空間成分信号のセットSC_1は、サウンドバー(または任意の他のマルチスピーカ再生システム)のスピーカ14を介する直接再生には適さないが、オーディオ処理ステージ39によるさらなる処理の基礎となる。第1の空間成分信号SC_1は、空間成分SC_2信号の第2のセットが生成される第2のオーディオ処理ブロック34に入力される。典型的には、これらの成分信号SC_2は、次いで、サウンドバーのスピーカ14によって再生され、すなわち、それらは、スピーカ再生信号を表す。
【0039】
MC-AEC 42のための適切な参照信号RSを生成するために、空間成分信号の第1のセットSC_1は、空間成分コンバイナ44によってさらに処理される。典型的には、空間成分コンバイナ44は、空間成分信号の第1のセットの線形結合によってAEC参照信号RSを決定する。いくつかの実施形態において、特定のAEC参照信号RSはまた、いかなるさらなる修正もなしに空間成分信号SC_1のうちの1つに対応し得る。典型的な実施形態において、AEC参照信号RSの数は、空間成分信号SC_1の数よりも少なく、すなわち、空間成分コンバイナ44は、信号の数を減らす。1つの利点は、MC-AEC 42の構成および計算の複雑さがスピーカ14の数に直接依存しないことである。サウンドバー内に含まれるスピーカ14の数がAEC参照信号RSの数とくらべて著しく多い場合、計算の複雑さの低減は、特に関係する。別の利点は、スピーカ駆動信号の統計的特性は、しばしば、異なるスピーカチャネル間の高い相関により、AEC参照信号RSとして直接使用するには適していないが、空間成分信号の第1のセットから導出されたAEC参照信号RSは、通常、MC-AEC 42による適応フィルタリングにより適した特性を有することである。
【0040】
実施形態によれば、AEC参照信号RSに基づいてMC-AEC 42によってモデル化されるべきエコー経路は、好ましくは(のみ)ゆっくりと時間変化し、線形である。したがって、オーディオプロセッサ31の/サウンドバー処理チェーン31の第1の処理ブロック32と第2の処理ブロック34との間で異なる処理ステップを適切に分散させることが重要である。たとえば、任意の非線形または高度に時変の処理ステップが第1のプロセッサ32において適用されるべきであり、第2の処理ブロックは、主に線形時不変処理ステップ34を含むべきである。
【0041】
いくつかの実施形態において、第1のプロセッサは、サウンドバー14でレンダリングされるように、3Dサウンドシーンの左、右、中央、低周波数、上部、および後部の部分に関連する空間成分信号SC_1を生成する。空間成分コンバイナ44の適切な実装形態は、たとえば、式1に示されているように、時不変ダウンミックス行列を空間成分SC_1に適用することによって、空間成分の第1のセットの線形結合としてAEC参照信号25を生成する。
【0042】
【数2】
【0043】
ここで、Riは、i番目のAEC参照信号であり、βkiは、重みであり、Ckは、k番目の空間成分信号である。たとえば、左、右、中央、低周波数、上部、および後部の部分を、それぞれ、C1、C2、C3、C4、C5、およびC6によって表すとする。2チャネルAEC参照信号が望まれる場合、空間成分コンバイナは、以下の重みを適用することによって成分を結合することができる。
【0044】
【数3】
【0045】
この場合、2チャネルAEC参照信号は、以下のように取得され得る。
R1=C1+C2+C4
R2=C3+Cs+C6
R1=C1+C2+C4
R2=C3+Cs+C6
【0046】
エコーキャンセルユニット30'によって実行される処理は、以下のように説明され得る。
【0047】
1)マルチチャネルオーディオ信号115(少なくとも2チャネル)と少なくとも1つのマイクロフォン信号とを受信する。
【0048】
2)空間成分信号の第1のセットSC_1を取得するために、第1のオーディオプロセッサ32によって、受信されたマルチチャネルオーディオ信号115を処理する。処理は、時変および/または非線形処理ステップを含み得る。
【0049】
3)空間成分信号の第2のセットSC_2を取得するために、第2のオーディオプロセッサ34によって、第1の空間成分信号のセットSC_1を処理する。
【0050】
4)複数のスピーカを有する再生デバイス14(たとえば、サウンドバー)において空間成分信号の第2のセットSC_2を出力する。
【0051】
5)AEC参照信号RSのセットを取得するために、空間成分信号の第1のセットSC_1を結合する。
【0052】
このステップは、プロセッサ44の使用によって処理され得る。
【0053】
6)AEC参照信号RSと受信したマイクロフォン信号とに基づいて、たとえば、マルチチャネル適応フィルタを使用して、エコーキャンセルを実行する。
【0054】
図示のように、このステップは、エンティティ42によって実行される。
【0055】
さらなる実施形態によれば、追加のステップ5a(ステップ5の後でステップ6の前)が実行され得、空間成分コンバイナ44を用いて空間成分の第1のセットSC_1を処理し、空間成分SC_1の数よりも少ないAEC参照信号RSの数を結果として生じる。
【0056】
いくつかの態様について装置の文脈において説明してきたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈において説明されている態様は、対応するブロックもしくはアイテム、または対応する装置の特徴の説明も表す。方法ステップのうちのいくつかまたはすべては、たとえば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって(または使用して)実行され得る。いくつかの実施形態において、最も重要な方法ステップのうちのいずれか1つまたは複数は、そのような装置によって実行され得る。
【0057】
本発明の符号化されたオーディオ信号は、デジタル記憶媒体上に記憶され得、またはワイヤレス伝送媒体などの伝送媒体もしくはインターネットなどの有線伝送媒体上で伝送され得る。
【0058】
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装され得る。実装は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することができる)電子的に読み取り可能な制御信号が記憶されているデジタル記憶媒体、たとえば、フロッピーディスク、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使用して実行され得る。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。
【0059】
本発明によるいくつかの実施形態は、本明細書で説明されている方法のうちの1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを備える。
【0060】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装され得、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、方法のうちの1つを実行するために動作可能である。プログラムコードは、たとえば、機械可読キャリア上に記憶され得る。
【0061】
他の実施形態は、機械可読キャリア上に記憶された、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを含む。
【0062】
言い換えれば、本発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書で説明されている方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0063】
本発明の方法のさらなる実施形態は、したがって、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムが記憶されたデータキャリア(または、デジタル記憶媒体、またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、または記録された媒体は、典型的には、有形および/または非過渡的である。
【0064】
本発明の方法のさらなる実施形態は、したがって、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続を介して、たとえば、インターネットを介して転送されるように構成され得る。
【0065】
さらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するように構成または適合された処理手段、たとえば、コンピュータまたはプログラム可能な論理デバイスを含む。
【0066】
さらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムをインストールされたコンピュータを含む。
【0067】
本発明によるさらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを受信機に(たとえば、電子的または光学的に)転送するように構成された装置またはシステムを含む。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを備え得る。
【0068】
いくつかの実施形態において、本明細書で説明されている方法の機能のうちのいくつかまたはすべてを実行するために、プログラム可能な論理デバイス(たとえば、フィールドプログラマブルゲートアレイ)が使用され得る。いくつかの実施形態において、本明細書で説明されている方法のうちの1つを実行するために、フィールドプログラマブルゲートアレイがマイクロプロセッサと協働し得る。一般に、方法は、好ましくは任意のハードウェア装置によって実行される。
【0069】
上記の実施形態において、オーディオプロセッサ31は、第1のステージ32と第2のステージ34のみを有するように説明されてきたが、オーディオプロセッサ31は、追加のステージ、たとえば、34の出力における増幅ステージ、32の入力における入力ステージ、および/または32と34の間のステージを有し得ることが留意されるべきである。
【0070】
上記で説明されている実施形態は、本発明の原理の単に実例となるものである。本明細書で説明されている配置および詳細の修正および変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の説明および解説によって提示される特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ制限されることが意図される。
【符号の説明】
【0071】
14 サウンド再生デバイス、サウンドバー、スピーカ、再生デバイス
24 マイクロフォン
25 AEC参照信号
26 バックエンド処理
30 サウンドキャンセルユニット
30' エコーキャンセルユニット、システム
31 経路、オーディオプロセッサ、サウンドバー処理チェーン
32 ステージ、第1のステージ、第1の処理ブロック、第1のプロセッサ、第1のオーディオプロセッサ
34 ステージ、第2の処理ステージ、第2のオーディオ処理ブロック、線形時不変処理ステップ、第2のオーディオプロセッサ
39 オーディオ処理ステージ
40 エコーキャンセルユニット
41 経路、エコーキャンセル経路
42 エコーキャンセルプロセッサ、エンティティ、ステージ、MC-AEC
44 プロセッサ、ステージ、空間成分コンバイナ
115 マルチチャネルオーディオ信号、オーディオ入力信号
24 マイクロフォン
25 AEC参照信号
26 バックエンド処理
30 サウンドキャンセルユニット
30' エコーキャンセルユニット、システム
31 経路、オーディオプロセッサ、サウンドバー処理チェーン
32 ステージ、第1のステージ、第1の処理ブロック、第1のプロセッサ、第1のオーディオプロセッサ
34 ステージ、第2の処理ステージ、第2のオーディオ処理ブロック、線形時不変処理ステップ、第2のオーディオプロセッサ
39 オーディオ処理ステージ
40 エコーキャンセルユニット
41 経路、エコーキャンセル経路
42 エコーキャンセルプロセッサ、エンティティ、ステージ、MC-AEC
44 プロセッサ、ステージ、空間成分コンバイナ
115 マルチチャネルオーディオ信号、オーディオ入力信号
【図1a】
【図1b】
【図2】
【図3】
【手続補正書】
【提出日】2021-10-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マルチチャネルオーディオ信号(MS)を受信するように構成され、中間信号を表す空間オーディオ成分の第1のセット(SC_1)を取得するために前記マルチチャネルオーディオ信号(MS)を処理するように構成された第1のステージ(32)と、
スピーカ再生信号を表す空間オーディオ成分の第2のセット(SC_2)を取得するために前記空間オーディオ成分の第1のセット(SC_1)を処理するように構成された第2のステージ(34)と
を備えるオーディオプロセッサ(31)と、
前記空間オーディオ成分の第1のセット(SC_1)、または前記空間オーディオ成分の第1のセット(SC_1)の偏位バージョンを参照信号(RS)として使用し、少なくとも1つの受信したマイクロフォン信号を使用することによってエコーキャンセルを実行するように構成されたエコーキャンセルプロセッサ(42)であって、前記偏位バージョンが、空間成分コンバイナを使用することによって、線形処理または別の処理を実行することによって取得される、エコーキャンセルプロセッサ(42)と
を備える音響エコーキャンセルユニット。
【請求項2】
前記エコーキャンセルプロセッサ(42)が、参照信号(RS)として使用されるべき前記空間オーディオ成分の第1のセット(SC_1)の前記偏位バージョンを取得するために、前記空間オーディオ成分の第1のセット(SC_1)を処理するように構成された空間成分コンバイナ(44)を備える、請求項1に記載の音響エコーキャンセルユニット(30、30')。
【請求項3】
前記空間成分コンバイナ(44)が、1つの参照信号もしくは複数の参照信号(RS)、または1つ、2つ、もしくは3つ以上のチャネルを含む参照信号(RS)を出力するように構成された、請求項2に記載の音響エコーキャンセルユニット(30、30')。
【請求項4】
前記空間成分コンバイナ(44)が、前記参照信号(RS)として空間成分の前記第1のセット(SC_1)の1つまたは複数の線形結合を出力するために処理を実行するように、および/または前記参照信号(RS)を取得するために空間成分の前記第1のセット(SC_1)に時不変ダウンミックス行列を適用するように構成された、請求項2または3に記載の音響エコーキャンセルユニット(30、30')。
【請求項5】
前記空間成分コンバイナ(44)が、以下の式、【数1】
【請求項6】
前記参照信号(RS)が、前記空間オーディオ成分の第1のセット(SC_1)のサブセットである、請求項1から5のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項7】
前記空間オーディオ成分の第1のセット(SC_1)の各空間成分が、前記参照信号(RS)の最大1つの信号内に含まれる、請求項1から6のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項8】
前記空間成分コンバイナ(44)が、前記空間オーディオ成分の第1のセット(SC_1)の空間オーディオ成分の数と比較したときに減少した数を有する前記参照信号(RS)の1つまたは複数の信号を出力するように構成された、請求項2から7のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項9】
前記エコーキャンセルプロセッサ(42)が、マイクロフォン(24)入力を介して受信された少なくとも1つのマイクロフォン信号に基づいて前記エコーキャンセルを実行する、請求項1から8のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項10】
前記エコーキャンセルプロセッサ(42)が、シングルもしくはマルチチャネル適応フィルタ、または前記参照信号(RS)とマイクロフォン信号との間の比較に基づいて構成可能なシングルもしくはマルチチャネル適応フィルタを使用して前記エコーキャンセルを実行するように構成された、請求項1から9のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項11】
前記第1のステージ(32)が、前記空間オーディオ成分の第1のセット(SC_1)を取得するために、非線形処理、または時変処理、または高度に時変の処理を実行するように構成された、請求項1から10のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項12】
前記第2のステージ(34)が、前記空間オーディオ成分の第2のセット(SC_2)を再生デバイス(14)またはサウンドバーに出力するように構成された、請求項1から11のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項13】
前記空間オーディオ成分のセットが、再生デバイス(14)の1つもしくは複数のトランスデューサを直接制御すること、または1つもしくは複数の増幅器の使用によって再生デバイス(14)もしくはサウンドバーの1つもしくは複数のトランスデューサを制御することを可能にする、請求項12に記載の音響エコーキャンセルユニット(30、30')。
【請求項14】
前記第2のステージ(34)が線形処理を実行するように構成された、請求項1から13のいずれか一項に記載の音響エコーキャンセルユニット(30、30')。
【請求項15】
請求項1から14のいずれか一項に記載の音響エコーキャンセルユニット(30、30')を備える再生デバイス(14)またはサウンドバー。
【請求項16】
音響エコーキャンセルのための方法であって、前記方法が、以下のステップ、マルチチャネルオーディオ信号(MS)を受信するステップと、
中間信号を表す空間オーディオ成分の第1のセット(SC_1)を取得するために前記マルチチャネルオーディオ信号(MS)を処理するステップ(132)と、
スピーカ再生信号を表す空間オーディオ成分の第2のセット(SC_2)を取得するために前記空間オーディオ成分の第1のセット(SC_1)を処理するステップ(134)と、
前記空間オーディオ成分の第1のセット(SC_1)または前記空間オーディオ成分の第1のセット(SC_1)の偏位バージョンを参照信号(RS)として使用し、少なくとも1つの受信したマイクロフォン信号を使用することによって、エコーキャンセルを実行するステップ(142)であって、前記偏位バージョンが、空間成分コンバイナを使用することによって、線形処理または別の処理を実行することによって取得される、ステップ(142)と
を含む、方法。
【請求項17】
コンピュータ上で実行されるときに、請求項16に記載の方法を実行するためのコンピュータプログラム。
【国際調査報告】