特許7562883全域通過フィルタネットワークを使用する仰角知覚的示唆のカラーレス生成
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-27
(45)【発行日】2024-10-07
(54)【発明の名称】全域通過フィルタネットワークを使用する仰角知覚的示唆のカラーレス生成
(51)【国際特許分類】
H04S 7/00 20060101AFI20240930BHJP
G10L 19/008 20130101ALI20240930BHJP
G10L 25/18 20130101ALI20240930BHJP
【ＦＩ】
H04S7/00 300
G10L19/008 100
G10L25/18
【請求項の数】
20
(21)【出願番号】P 2023575530
(86)(22)【出願日】2022-07-07
(65)【公表番号】
(43)【公表日】2024-07-09
(86)【国際出願番号】 US2022036412
(87)【国際公開番号】W WO2023283374
(87)【国際公開日】2023-01-12
【審査請求日】2023-12-07
(31)【優先権主張番号】63/219,698
(32)【優先日】2021-07-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/284,993
(32)【優先日】2021-12-01
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】518253875
【氏名又は名称】ブームクラウド ３６０ インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ジョセフ アンソニー マリグリオ ザ サード
(72)【発明者】
【氏名】ザッカリー セルデス
【審査官】土井 悠生
(56)【参考文献】
【文献】米国特許出願公開第２０２１／０１１２３３９（ＵＳ，Ａ１）
【文献】国際公開第２００８／０１６０９７（ＷＯ，Ａ１）
【文献】特表２０２４－５０７２１９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０１０８８４６（ＵＳ，Ａ１）
【文献】特開２００６－００５４１４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／００２１９２３（ＵＳ，Ａ１）
【文献】米国特許第５５００９００（ＵＳ，Ａ）
【文献】米国特許出願公開第２００９／０２２２２６１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００９／０２９９７３４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｓ ７／００
Ｇ１０Ｌ １３／００－１３／１０
Ｇ１０Ｌ １９／００－９９／００
(57)【特許請求の範囲】
【請求項1】
サジタル平面に沿った空間的示唆をモノラル信号に符号化して、結果として得られる複数のチャネルを生成するための方法であって、処理回路による、周波数依存位相シフトに関連付けられる空間的示唆に基づいて、前記結果として得られる複数のチャネルにおけるミッド成分もしくはサイド成分に対する目標振幅応答を決定するステップと、
前記ミッド成分もしくは前記サイド成分の何れかに対する前記目標振幅応答を、単一入力複数出力の全域通過フィルタのための伝達関数に変換するステップと、
前記全域通過フィルタを使用して前記モノラル信号を処理するステップであって、前記全域通過フィルタは、前記伝達関数に基づいて構成される、ステップと
を備えることを特徴とする、方法。
【請求項2】
前記結果として得られるチャネルの前記ミッド成分もしくは前記サイド成分に対する前記目標振幅応答が、補償されたヌルの観点から決定されることを特徴とする、請求項１に記載の方法。
【請求項3】
垂直空間的示唆を符号化する目的として、前記補償されたヌルが、８ｋＨｚないし１６ｋＨｚの範囲にあることを特徴とする、請求項２に記載の方法。
【請求項4】
前記結果として得られる複数のチャネルにおける前記ミッド成分もしくは前記サイド成分に対する前記目標振幅応答が、周波数に亘る振幅の観点から決定され、逆離散フーリエ変換（ｉｄｆｔ）を使用して、前記目標振幅応答を前記単一入力複数出力の全域通過フィルタのための係数に変換するステップをさらに備える
ことを特徴とする、請求項１に記載の方法。
【請求項5】
前記結果として得られる複数のチャネルにおける前記ミッド成分もしくは前記サイド成分に対する前記目標振幅応答が、周波数に亘る振幅の観点から決定され、フェーズボコーダを使用して、前記目標振幅応答を前記単一入力複数出力の全域通過フィルタのための係数に変換するステップをさらに備える
ことを特徴とする、請求項１に記載の方法。
【請求項6】
前記目標振幅応答は、目標広帯域減衰、臨界点、フィルタ特性、およびサウンドステージ位置のうちの一つもしくは複数を含む、一つもしくは複数のパラメトリック空間的示唆を規定することを特徴とする、請求項１に記載の方法。
【請求項7】
前記フィルタ特性は、高域通過フィルタ特性、低域通過フィルタ特性、帯域通過フィルタ特性、もしくは帯域除去フィルタ特性のうちの一つを含むことを特徴とする、請求項６に記載の方法。
【請求項8】
サジタル平面に沿った空間的示唆をモノラル信号に符号化して、結果として得られる複数のチャネルを生成するためのシステムであって、周波数依存位相シフトに関連付けられる空間的示唆に基づいて、前記結果として得られる複数のチャネルにおけるミッド成分もしくはサイド成分に対する目標振幅応答を決定することと、
前記ミッド成分もしくは前記サイド成分の何れかに対する前記目標振幅応答を、単一入力複数出力の全域通過フィルタのための伝達関数に変換することと、
前記全域通過フィルタを使用して前記モノラル信号を処理することであって、前記全域通過フィルタは、前記伝達関数に基づいて構成される、ことと
を行うように構成される一つもしくは複数のコンピューティング機器
を備えることを特徴とする、システム。
【請求項9】
前記結果として得られるチャネルの前記ミッド成分もしくは前記サイド成分に対する前記目標振幅応答が、補償されたヌルの観点から決定されることを特徴とする、請求項８に記載のシステム。
【請求項10】
垂直空間的示唆を符号化する目的として、前記補償されたヌルが、８ｋＨｚないし１２ｋＨｚの範囲にあることを特徴とする、請求項９に記載のシステム。
【請求項11】
前記結果として得られる複数のチャネルにおける前記ミッド成分もしくは前記サイド成分に対する前記目標振幅応答が、周波数に亘る振幅の観点から決定され、前記一つもしくは複数のコンピューティング機器は、逆離散フーリエ変換（ｉｄｆｔ）を使用して、前記目標振幅応答を前記単一入力複数出力の全域通過フィルタのための係数に変換するようにさらに構成される
ことを特徴とする、請求項８に記載のシステム。
【請求項12】
前記結果として得られる複数のチャネルにおける前記ミッド成分もしくは前記サイド成分に対する前記目標振幅応答が、周波数に亘る振幅の観点から決定され、前記一つもしくは複数のコンピューティング機器は、フェーズボコーダを使用して、前記目標振幅応答を前記単一入力複数出力の全域通過フィルタのための係数に変換するようにさらに構成される
ことを特徴とする、請求項８に記載のシステム。
【請求項13】
前記目標振幅応答は、目標広帯域減衰、臨界点、フィルタ特性、およびサウンドステージ位置のうちの一つもしくは複数を含む、一つもしくは複数のパラメトリック空間的示唆を規定することを特徴とする、請求項８に記載のシステム。
【請求項14】
前記フィルタ特性は、高域通過フィルタ特性、低域通過フィルタ特性、帯域通過フィルタ特性、もしくは帯域除去フィルタ特性のうちの一つを含むことを特徴とする、請求項１３に記載のシステム。
【請求項15】
サジタル平面に沿った空間的示唆をモノラル信号に符号化して、結果として得られる複数のチャネルを生成するために格納される命令を含む、非一時的コンピュータ可読媒体であって、前記命令は、少なくとも一つのプロセッサによって実行されると、前記少なくとも一つのプロセッサに、周波数依存位相シフトに関連付けられる空間的示唆に基づいて、前記結果として得られる複数のチャネルにおけるミッド成分もしくはサイド成分に対する目標振幅応答を決定することと、
前記ミッド成分もしくは前記サイド成分の何れかに対する前記目標振幅応答を、単一入力複数出力の全域通過フィルタのための伝達関数に変換することと、
前記全域通過フィルタを使用して前記モノラル信号を処理することであって、前記全域通過フィルタは、前記伝達関数に基づいて構成される、ことと
を行わせることを特徴とする、非一時的コンピュータ可読媒体。
【請求項16】
前記結果として得られるチャネルの前記ミッド成分もしくは前記サイド成分に対する前記目標振幅応答が、補償されたヌルの観点から決定されることを特徴とする、請求項１５に記載の非一時的コンピュータ可読媒体。
【請求項17】
垂直空間的示唆を符号化する目的として、前記補償されたヌルが、８ｋＨｚないし１２ｋＨｚの範囲にあることを特徴とする、請求項１６に記載の非一時的コンピュータ可読媒体。
【請求項18】
前記結果として得られる複数のチャネルにおける前記ミッド成分もしくは前記サイド成分に対する前記目標振幅応答が、周波数に亘る振幅の観点から決定され、前記少なくとも一つのプロセッサは、逆離散フーリエ変換（ｉｄｆｔ）を使用して、前記目標振幅応答を前記単一入力複数出力の全域通過フィルタのための係数に変換するようにさらに構成される
ことを特徴とする、請求項１５に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記結果として得られる複数のチャネルにおける前記ミッド成分もしくは前記サイド成分に対する前記目標振幅応答が、周波数に亘る振幅の観点から決定され、前記少なくとも一つのプロセッサは、フェーズボコーダを使用して、前記目標振幅応答を前記単一入力複数出力の全域通過フィルタのための係数に変換するようにさらに構成される
ことを特徴とする、請求項１５に記載の非一時的コンピュータ可読媒体。
【請求項20】
前記目標振幅応答は、目標広帯域減衰、臨界点、およびフィルタ特性のうちの一つもしくは複数を含む、前記結果として得られる複数のチャネルの加算に対する一つもくしは複数の制約を規定することを特徴とする、請求項１５に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、音声処理（audio processing）に関し、より具体的には、音声コンテンツ（audio content）への空間的示唆（spatial cues）の符号化に関する。
【背景技術】
【0002】
音声コンテンツは、音場（sound field）の空間特性を含むように符号化され得て、ユーザーが音場における空間感覚を知覚することを可能にする。例えば、特定の音源（例えば、発声（voice）または楽器など）の音声は、音声が特定の到着方向からユーザーに届いている、または特定種類の場所（例えば、小さな部屋、大きな講堂等）に位置しているという知覚などの、音声に関連付けられる空間感覚を作り出す方式において、音声コンテンツに混合されることがある。
【発明の概要】
【0003】
幾つかの実施形態は、サジタル平面（sagital plane）に沿った空間的示唆をモノラル信号（monaural signal）に符号化して、結果として得られる複数のチャネルを生成するための方法を含む。本方法は、処理回路によって、周波数依存位相シフト（frequency-dependent phase shift）に関連付けられる空間的示唆に基づいて、結果として得られる複数のチャネルのミッド成分もしくはサイド成分に対する目標振幅応答を決定するステップと、ミッド成分またはサイド成分の何れかに対する目標振幅応答を、単一入力複数出力の全域通過フィルタ（allpass filter）のための伝達関数に変換するステップと、全域通過フィルタを使用してモノラル信号を処理するステップであって、全域通過フィルタは、伝達関数に基づいて構成される、ステップとを含む。
【0004】
幾つかの実施形態は、モノラルチャネルから複数のチャネルを生成するためのシステムを含むが、複数のチャネルは、一つもしくは複数の空間的示唆によって符号化される。本システムは、周波数依存位相シフトに関連付けられる空間的示唆に基づいて、複数のチャネルのミッド成分もしくはサイド成分に対する目標振幅応答を決定するように構成される、一つもしくは複数のコンピューティング機器を含む。一つもしくは複数のコンピュータは、ミッド成分もしくはサイド成分の何れかに対する目標振幅応答を、単一入力複数出力の全域通過フィルタのための伝達関数に変換し、全域通過フィルタを使用してモノラル信号を処理するようにさらに構成されるが、全域通過フィルタは、伝達関数に基づいて構成される。
【0005】
幾つかの実施形態は、モノラルチャネルから複数のチャネルを生成するために格納される命令を含む、非一時的コンピュータ可読媒体を含むが、複数のチャネルは、一つもしくは複数の空間的示唆を用いて符号化され、この命令は、少なくとも一つのプロセッサによって実行されると、以下を行うように、少なくとも一つのプロセッサを構成する。すなわち、周波数依存位相シフトに関連付けられる空間的示唆に基づいて、結果として得られる複数のチャネルのミッド成分もしくはサイド成分に対する目標振幅応答を決定すること、ミッド成分もしくはサイド成分に対する目標振幅応答を、単一入力複数出力の全域通過フィルタの伝達関数に変換すること、および全域通過フィルタを使用してモノラル信号を処理することであって、全域通過フィルタは、伝達関数に基づいて構成される、こと。
【0006】
幾つかの実施形態は、一連のヒルベルト変換（Hilbert Transforms）を使用して音声コンテンツ（例えば、発声など）の一部分を空間的にシフトさせることに関する。幾つかの実施形態は、一つもしくは複数のプロセッサ、および非一時的コンピュータ可読媒体を含む。コンピュータ可読媒体は、一つもしくは複数のプロセッサによって実行されると、以下を行うように一つもしくは複数のプロセッサを構成する、格納済みのプログラムコードを含む。すなわち、音声チャネルを低周波数成分および高周波数成分に分離すること、第一のヒルベルト変換を高周波数成分に適用して、第一の左脚成分および第一の右脚成分を生成することであって、第一の左脚成分は、第一の右脚成分に対して９０度位相がずれている、こと、第二のヒルベルト変換を第一の右脚成分に適用して、第二の左脚成分および第二の右脚成分を生成することであって、第二の左脚成分は、第二の右脚成分に対して９０度位相がずれている、こと、第一の左脚成分を低周波数成分に結合させて、左チャネルを生成すること、および第二の右脚成分を低周波数成分に結合させて、右チャネルを生成すること。
【0007】
幾つかの実施形態は、格納済みのプログラムコードを含む非一時的コンピュータ可読媒体を含む。このプログラムコードは、一つもしくは複数のプロセッサによって実行されると、以下を行うように一つもしくは複数のプロセッサを構成する。すなわち、音声チャネルを低周波数成分および高周波数成分に分離すること、第一のヒルベルト変換を高周波数成分に適用して、第一の左脚成分および第一の右脚成分を生成することであって、第一の左脚成分は、第一の右脚成分に対して９０度位相がずれている、こと、第二のヒルベルト変換を第一の右脚成分に適用して、第二の左脚成分および第二の右脚成分を生成することであって、第二の左脚成分は、第二の右脚成分に対して９０度位相がずれている、こと、第一の左脚成分を低周波数成分に結合させて、左チャネルを生成すること、および第二の右脚成分を低周波数成分に結合させて、右チャネルを生成すること。
【0008】
幾つかの実施形態は、一つもしくは複数のプロセッサによって実行される方法を含む。本方法は、音声チャネルを低周波数成分および高周波数成分に分離するステップと、第一のヒルベルト変換を高周波数成分に適用して、第一の左脚成分および第一の右脚成分を生成するステップであって、第一の左脚成分は、第一の右脚成分に対して９０度位相がずれている、ステップと、第二のヒルベルト変換を第一の右脚成分に適用して、第二の左脚成分および第二の右脚成分を生成するステップであって、第二の左脚成分は、第二の右脚成分に対して９０度位相がずれている、ステップと、第一の左脚成分を低周波数成分に結合させて、左チャネルを生成するステップと、第二の右脚成分を低周波数成分に結合させて、右チャネルを生成するステップとを含む。
【図面の簡単な説明】
【0009】
【図1】幾つかの実施形態による、音声処理システムを示すブロック図である。
【図2】幾つかの実施形態による、コンピューティングシステム環境を示すブロック図である。
【図3】幾つかの実施形態による、６０度の仰角で測定される、サンプル抽出のＨＲＴＦを示すグラフを例証する図である。
【図4】幾つかの実施形態による、１１ｋＨｚにおける無限減衰の狭い領域に対応する目標振幅関数によって特徴付けられる、知覚的示唆（perceptual cue）の一例を示すグラフを例証する図である。
【図5】幾つかの実施形態による、白色雑音（white noise）を用いて表１に示される係数を有する二次全域通過フィルタセクションを駆動することによって生成される、周波数プロットを例証する図である。
【図6】一つもしくは複数の実施形態による、ヒルベルト変換を使用して実装されるＰＳＭモジュールを示すブロック図である。
【図7】一つもしくは複数の実施形態による、ヒルベルト変換器モジュールを示すブロック図である。
【図8】複数のチャネル（ミッド）の加算および複数のチャネル（サイド）の差分の出力周波数応答を示す、幾つかの実施形態による、白色雑音を含む、図６におけるＨＰＳＭモジュールを駆動することによって生成される周波数プロットを例証する図である。
【図9】幾つかの実施形態による、ＦＮＯＲＤフィルタネットワークを使用して実装されるＰＳＭモジュールを示すブロック図である。
【図10A】幾つかの実施形態による、ＰＳＭモジュール９００を示す詳細ブロック図である。
【図10B】幾つかの実施形態による、ＰＳＭモジュールの全域通過フィルタモジュール内に実装される広帯域位相回転器（Broadband Phase Rotator）を示すブロック図である。
【図11】幾つかの実施形態による、６０度の垂直示唆（vertial cue）に対する振幅応答を達成するように構成される、ＦＮＯＲＤフィルタネットワークの出力周波数応答を示す周波数応答グラフを例証する図である。
【図12】一つもしくは複数の実施形態による、音声処理システム１０００を示すブロック図である。
【図13A】一つもしくは複数の実施形態による、直交成分生成器（orthogonal component generator）を示すブロック図である。
【図13B】一つもしくは複数の実施形態による、直交成分生成器を示すブロック図である。
【図13C】一つもしくは複数の実施形態による、直交成分生成器を示すブロック図である。
【図14A】一つもしくは複数の実施形態による、直交成分処理器モジュールを示すブロック図である。
【図14B】一つもしくは複数の実施形態による、直交成分処理器モジュールを示すブロック図を示す。
【図15】一つもしくは複数の実施形態による、サブバンド空間処理器モジュール（subband spatial processor module）を示すブロック図である。
【図16】一つもしくは複数の実施形態による、クロストーク補償処理器モジュール（crosstalk compensation processor module）を示すブロック図である。
【図17】一つもしくは複数の実施形態による、クロストークシミュレーション処理器モジュール（crosstalk simulation processor module）を示すブロック図である。
【図18】一つもしくは複数の実施形態による、クロストークキャンセル処理器モジュール（crosstalk cancellation processor module）を示すブロック図である。
【図19】一つもしくは複数の実施形態による、ヒルベルト変換式知覚サウンドステージ修正（Hilbert Transform Perceptual Soundstage Modification）（ＨＰＳＭ）モジュールを使用する、ＰＳＭ処理のためのプロセスを示すフローチャートである。
【図20】幾つかの実施形態による、一次非直交回転ベース相関除去（First Order Non-Orthogonal Rotation-Based Decorrelation）（ＦＮＯＲＤ）フィルタネットワークを使用する、ＰＳＭ処理のための別のプロセスを示すフローチャートである。
【図21】一つもしくは複数の実施形態による、ハイパーミッド（hyper mid）成分、残留ミッド（residual mid）成分、ハイパーサイド（hyper side）成分、または残留サイド（residual side）成分のうちの少なくとも一つを使用する、空間処理のためのプロセスを示すフローチャートである。
【図22】一つもしくは複数の実施形態による、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、または残留サイド成分のうちの少なくとも一つを使用する、サブバンド空間処理（subband spatial processing）、およびクロストーク処理用補償（compensation for crosstalk processing）のためのプロセスを示すフローチャートである。
【図23】幾つかの実施形態による、コンピュータを示すブロック図である。
【0010】
図は、例示のみを目的として種々の実施形態を描写している。当業者であれば、以下の考察から、本明細書に説明される原理から逸脱することなく、本明細書に例証される構造および方法の代替的な実施形態が使用され得ることを容易に認識するであろう。
【発明を実施するための形態】
【0011】
［詳細な説明］
図面（ＦＩＧ．）および以下の説明は、例示のみを目的とする好適な実施形態に関する。以下の説明から、本明細書に開示される構造および方法の代替実施形態は、主張される内容の原理から逸脱することなく使用され得る、実行可能な代替形態として容易に認識されることになることは、留意されるべきである。
図面（ＦＩＧ．）および以下の説明は、例示のみを目的とする好適な実施形態に関する。以下の説明から、本明細書に開示される構造および方法の代替実施形態は、主張される内容の原理から逸脱することなく使用され得る、実行可能な代替形態として容易に認識されることになることは、留意されるべきである。
【0012】
本明細書に、幾つかの実施形態への参照が詳細に行われることになるが、それらの例は、添付の図に例証されている。可能な限り、類似または同様の参照番号が図に使用されることがあり、類似または同様の機能を示すことがあることは、留意されるべぎである。これらの図は、説明のみを目的として、開示されるシステム（または方法）の実施形態を描写している。当業者であれば、以下の説明から、本明細書に説明される原理から逸脱することなく、本明細書に例証される構造および方法の代替実施形態が使用され得ることを容易に認識するであろう。
【0013】
モノラル音声源への空間知覚的示唆（spatial perceptual cues）の符号化は、可聴コンテンツ（audible content）に関する複数の同時ストリームのプレゼンテーションを伴う、種々の用途において望ましいことがある。このような用途の例には以下が含まれる、すなわち、
・会議の使用例：一人もしくは複数人の遠隔話者に適用される空間知覚的示唆の追加は、全体的な音声明瞭度（voice intelligibility）を向上させ、傾聴者の全体的な没入感（sense of immersion）を高めることに貢献することができる。
・映像および音楽の再生／ストリーミングの使用例：一つもしくは複数の音声チャネル、または一つもしくは複数の音声チャネルの信号成分を、空間知覚的示唆の追加によって強調させて、ミックスの音声もしくは他の要素の明瞭度もしくは空間感覚を向上させることができる。
・共同視聴エンターテイメントの使用例：ストリームが、一つもしくは複数の遠隔話者およびエンターテイメントプログラム素材などの、個別のコンテンツチャネルであり、それらは、没入体験を形成するために混合される必要があり、一つもしくは複数の要素に空間知覚的示唆を適用することは、ミックスの要素間の知覚的区別の感覚を高め、傾聴者の知覚帯域幅を広げることができる。
・会議の使用例：一人もしくは複数人の遠隔話者に適用される空間知覚的示唆の追加は、全体的な音声明瞭度（voice intelligibility）を向上させ、傾聴者の全体的な没入感（sense of immersion）を高めることに貢献することができる。
・映像および音楽の再生／ストリーミングの使用例：一つもしくは複数の音声チャネル、または一つもしくは複数の音声チャネルの信号成分を、空間知覚的示唆の追加によって強調させて、ミックスの音声もしくは他の要素の明瞭度もしくは空間感覚を向上させることができる。
・共同視聴エンターテイメントの使用例：ストリームが、一つもしくは複数の遠隔話者およびエンターテイメントプログラム素材などの、個別のコンテンツチャネルであり、それらは、没入体験を形成するために混合される必要があり、一つもしくは複数の要素に空間知覚的示唆を適用することは、ミックスの要素間の知覚的区別の感覚を高め、傾聴者の知覚帯域幅を広げることができる。
【0014】
実施形態は、一つもしくは複数の音声チャネルにおける知覚的空間品質（例えば、サウンドステージ（sound stage）、および対象傾聴者の頭部を基準とする全体的な位置など）を変更する、音声システムに関する。幾つかの実施形態では、音声チャネルの知覚的空間品質の変更は、特定源のカラレーション（coloration）を空間におけるその知覚的位置から分離するために、および／もしくはそのような効果を符号化するために必要とされる増幅器およびスピーカーの必要数を低減するために使用され得る。
【0015】
音声システムによって実行される音声信号処理は、知覚サウンドステージ修正（ＰＳＭ）処理と呼ばれる。ＰＳＭ処理の知覚結果は、本明細書では空間的シフト（spatial shifting）と呼ばれる。心理音響効果（psychoacoustic effect）は、典型的には、音源を音声コンテンツの他の部分から知覚的に区別して、音源が頭部の上方、周囲、もしくは頭部の方に全体的にシフトすることとして、ユーザーによって体験される。この心理音響効果は、全域通過フィルタおよび遅延のネットワークによって強調されるものとして、左右のチャネル間の位相および時間の関係から得られる。幾つかの実施形態では、このフィルタおよび遅延のネットワークは、一連のヒルベルト変換のような一つもしくは複数の二次全域通過セクション（second-order allpass sections）として、または一次非直交回転ベース相関除去（ＦＮＯＲＤ）フィルタネットワークを使用して実装され得るが、これらの各々については、より詳細に後述されることになる。ＰＳＭ処理の知覚結果は、様々な聴取構成（例えば、ヘッドフォンもしくはスピーカー等）に応じて、変化する可能性がある。幾つかのコンテンツおよびアルゴリズムの構成の場合、その結果は、知覚された信号が傾聴者の頭部の周囲に広がっている（例えば、拡散している）ような印象を与えることもある。モノラル入力信号（例えば、非空間音声信号など）の場合、ＰＳＭ処理の拡散効果をモノラルからステレオへのアップミキシング（upmixing）に使用することができる。
【0016】
幾つかの実施形態では、音声システムは、音声信号の目標部分を音声信号の残留部分から分離し、ＰＳＭ処理における種々の構成を適用して目標部分を知覚的にシフトさせ、処理結果をその残留部分と混合して戻し得る（例えば、未処理もしくは異なる処理であってもよい）。このようなシステムは、全体的な音声ミックス内の目標部分に対する明確化、上昇化、もしくはそうでなければ差分別化を行うものとして知覚することができる。幾つかの実施形態では、ＰＳＭ処理は、歌声（sung voice）もしくは話声（spoken voice）を含む、音声信号の一部分を知覚的にシフトさせるために使用される。慣例により、テレビジョン、映画、もしくは音楽の音声ストリームの発声は、サウンドステージの中心に配置されることが多く、そのためにステレオ音声信号もしくはマルチチャネル音声信号のミッド成分（非空間成分もしくは相関成分とも呼ばれる）の一部である。したがって、ＰＳＭ処理は、音声信号のミッド成分、またはミッド成分のスペクトルエネルギーから除去されるサイド成分（空間成分（spatial component）または非相関成分（non-correlated component）とも呼ばれる）のスペクトルエネルギーを含むハイパーミッド成分に適用され得る。
【0017】
ＰＳＭ処理は、他種類の処理と組み合わせられ得る。例えば、音声システムは、音声信号のシフト部分に処理を適用して、シフト部分を知覚的に変換し、シフト部分をミックス内の他の成分と区別し得る。これらの種類の追加処理には、単一帯域もしくは複数帯域のイコライゼーション、単一帯域または複数帯域のダイナミクス処理（例えば、制限、圧縮、拡張等）、単一帯域または複数帯域の利得もしくは遅延、クロストーク処理（例えば、クロストークキャンセル処理および／もしくはクロストークシミュレーション処理など）、またはクロストーク処理用補償のうちの一つまたは複数が含まれ得る。幾つかの実施形態では、ＰＳＭ処理は、音場の空間感覚を高めるために、ＰＳＭ処理を介して生成される音声信号のミッド成分およびサイド成分のサブバンドが利得調整されるサブバンド空間処理などの、ミッド処理／サイド処理とともに実行され得る。
【0018】
ＰＳＭ処理のための音声チャネルの分離は、種々の方法において達成し得る。幾つかの実施形態では、ＰＳＭ処理は、音声信号のハイパーミッド成分のような、スペクトル的に直交する音声成分に対して実行され得る。他の実施形態では、ＰＳＭ処理は、音源（例えば、発声など）に関連付けられる音声チャネルに対して実行され、処理済みのチャネルは、その後、他の音声コンテンツ（例えば、背景音楽（background music）など）と混合される。
【0019】
以下の説明は、音声プレゼンテーション機器の大部分がステレオであることに起因して、主に、モノラル信号のステレオ（すなわち、二つの出力チャネル）へのアップミキシングに焦点を当てているが、説明される技術は、より多数のチャネルを含むように容易に一般化することができると理解される。ステレオの実施形態は、ミッド処理／サイド処理の観点から説明され得るが、左右のチャネル間の位相差分が、ミッド空間／サイド空間における増幅および減衰の相補的な領域となる。
【0020】
［音声処理システムの例］
図１は、一つもしくは複数の実施形態による、音声処理システム１００を示すブロック図である。システム１００は、ＰＳＭ処理を使用して、音声信号を空間的にシフトし、他種類の空間（例えば、ミッド／サイド）処理を適用する。システム１００に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散させることができる。
図１は、一つもしくは複数の実施形態による、音声処理システム１００を示すブロック図である。システム１００は、ＰＳＭ処理を使用して、音声信号を空間的にシフトし、他種類の空間（例えば、ミッド／サイド）処理を適用する。システム１００に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散させることができる。
【0021】
システム１００は、ＰＳＭモジュール１０２、Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１０４、成分処理器モジュール１０６、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１０８、およびクロストーク処理器モジュール１０８を含む。ＰＳＭモジュール１０２は、入力音声１２０を受信し、空間的にシフトされる左チャネル１２２および右チャネル１２４を生成する。種々の実施形態による、ＰＳＭ１０２の動作については、図６ないし図１１に関連して、より詳細に後述される
【0022】
Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１０４は、左チャネル１２２および右チャネル１２４を受信し、それらのチャネル１２２および１２４からミッド成分１２６（例えば、非空間成分など）およびサイド成分１２８（例えば、空間成分など）を生成する。幾つかの実施形態では、ミッド成分１２６は、左チャネル１２２および右チャネル１２２の加算に基づいて生成され、サイド成分１２８は、左チャネル１２２および右チャネル１２４の差分に基づいて生成される。幾つかの実施形態では、Ｍ／Ｓ空間における点へのＬ／Ｒ空間における点の変換は、式（１）に従って次のように表現され得る。すなわち、
【0023】
【数1】
【0024】
一方、逆変換は、式（２）に従って次のように表され得る。すなわち、
【0025】
【数2】
【0026】
他の実施形態では、他のＬ／Ｒ－Ｍ／Ｓ型変換が、ミッド成分１２６およびサイド成分１２８を生成するために使用され得ると理解される。幾つかの実施形態では、式（１）および（２）に示される変換は、計算の複雑さの軽減に起因して、順方向変換および逆方向変換の両方が√２によって拡大縮小される真の正規直交形式（true orthonormal form）の代わりに使用され得る。説明を容易にするために、使用される具体的な変換に関係なく、右側にある乗算によって行ベクトルの座標を変換する慣例と、変換された座標がその上にラベルとして基底を乗せる表記法とが、以下の式（３）に示されるように使用されることになる。すなわち、
【0027】
【数3】
【0028】
成分処理器モジュール１０６は、ミッド成分１２６を処理して、処理済みのミッド成分１３０を生成し、サイド成分１２８を処理して、処理済みのサイド成分３１４を生成する。成分１２６および１２８の各々における処理は、空間的示唆の処理（例えば、振幅もしくは遅延ベースのパンニング（panning）、バイノーラル処理（binaural processing）等）、単一帯域もしくは複数帯域のイコライゼーション、単一帯域もしくは複数帯域のダイナミクス処理（例えば、圧縮、拡張、制限等）、単一帯域もしくは複数帯域の利得段階もしくは遅延段階、音声効果の追加、または他種類の処理などの、種々の種類のフィルタ抽出を含み得る。幾つかの実施形態では、成分処理器モジュール１０６は、ミッド成分１２６およびサイド成分１２８を使用して、サブバンド空間処理および／もしくはクロストーク補償処理を実行する。サブバンド空間処理は、音声信号を空間的に強調させるために、ミッド成分およびサイド成分の周波数サブバンドに対して実行される処理である。クロストーク補償処理は、スピーカー用のクロストーク補正、またはヘッドフォン用のクロストークシミュレーションなどの、クロストーク処理によって引き起こされるスペクトルのアーティファクト（spectral artifacts）に対して調整する処理である。成分処理器モジュール１０６に含まれ得る、種々の成分については、図１２Ａないし１３を参照して、さらに説明する。
【0029】
Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１０８は、処理済みのミッド成分１３０および処理済みのサイド成分１３２を受信し、処理済みの左成分１３４および処理済みの右成分１３６を生成する。幾つかの実施形態では、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１０８は、Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１０４によって実行される変換の逆に基づいて、処理済みのミッド成分１３０およびサイド成分１３２を変換し、例えば、処理済みの左成分１３４は、処理済みのミッド成分１３０および処理済みのサイド成分１３２の加算に基づいて生成され、処理済みの右成分１３６は、処理済みのミッド成分１３０および処理されたサイド成分１３２の差分に基づいて生成される。他のＭ／Ｓ－Ｌ／Ｒ変換種類は、処理済みの左成分１３４および処理済みの右成分１３６を生成するために使用され得る。
【0030】
クロストーク処理器モジュール１１０は、処理済みの左成分１３４および処理済みの右成分１３６を受信し、クロストーク処理を実行する。クロストーク処理には、例えば、クロストークシミュレーションもしくはクロストークキャンセルが含まれる。クロストークシミュレーションは、ラウドスピーカーの効果のシミュレーションを行うために、音声信号（例えば、ヘッドフォンを介する出力など）に対して実行される処理である。クロストークキャンセルは、ラウドスピーカーによって引き起こされるクロストークを低減するために、音声信号（例えば、スピーカーを介する出力など）に対して実行される処理である。クロストーク処理器モジュール１１０は、左チャネル１３８および右出力チャネル１４０を出力する。幾つかの実施形態では、クロストーク処理（例えば、シミュレーションもしくはキャンセルなど）は、左チャネル１２２および右チャネル１２４をミッド成分およびサイド成分に変換する前などの、成分処理の前に実行され得る。クロストーク処理器モジュール１１０に含まれ得る、種々の成分については、図１５および１６を参照して、さらに説明する。
【0031】
幾つかの実施形態では、ＰＳＭモジュール１００は、成分処理器モジュール１０６に組み込まれる。Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１０４は、左チャネルおよび右チャネルを受信し、これらは、音声処理システム１００への（例えば、ステレオ）入力を表し得る。Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１０４は、左右の入力チャネルを使用して、ミッド成分およびサイド成分を生成する。成分処理器モジュール１０６のＰＳＭモジュール１００は、入力音声１０２について本明細書に考察されるように、入力としてミッド成分および／もしくはサイド成分を処理して、左右のチャネルを生成する。また、成分処理器モジュール１０６は、ミッド成分およびサイド成分に対して他種類の処理を実行し得て、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１０８は、処理済みのミッド成分およびサイド成分から左右のチャネルを生成する。ＨＰＳＭモジュール１００によって生成される左チャネルは、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１０８によって生成される左チャネルと結合されて、処理済みの左成分を生成する。ＰＳＭモジュール１００によって生成される右チャネルは、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１０８によって生成される右チャネルと結合されて、処理済みの右成分を生成する。
【0032】
システム１００は、左チャネル１３８を左スピーカー１１２に提供し、右チャネル１４０を右スピーカー１１４に提供する。スピーカー１１２および１１４は、スマートフォン、タブレット、スマートスピーカー、ラップトップ、デスクトップ、エクササイズマシン等のコンポーネントであり得る。スピーカー１１２および１１４は、システム１００を含む機器の一部であり得る、またはネットワークを介してシステム１００に接続されるように、システム１００とは別個であり得る。ネットワークには、有線接続および／もしくは無線接続が含まれ得る。ネットワークには、ローカルエリアネットワーク、ワイドエリアネットワーク（例えば、インターネットを含む）、もしくはそれらの組み合わせが含まれ得る。
【0033】
図２は、幾つかの実施形態による、コンピューティングシステム環境２００を示すブロック図である。コンピューティングシステム２００は、音声システム２０２を含み得て、音声システム２０２は、ネットワーク２０８を介してユーザー機器２１０ａおよび２１０ｂに接続される、一つもしくは複数のコンピューティング機器（例えば、サーバなど）を含み得る。音声システム２０２は、ネットワーク２０８を介してユーザー機器２１０ａおよび２１０ｂ（個別にユーザー機器２１０とも呼ばれる）に音声コンテンツを提供する。ネットワーク２０８は、システム２０２およびユーザー機器２１０の間の通信を促進する。ネットワーク１０６は、インターネットを含む各種種類のネットワークを含み得る。
【0034】
音声システム２０２は、一つもしくは複数のプロセッサ２０４、およびコンピュータ可読媒体２０６を含む。一つもしくは複数のプロセッサ２０４は、モノラルチャネルから複数の出力チャネルを生成するなどの、機能を一つもしくは複数のプロセッサ２０４に実行させるプログラムモジュールを実行する。プロセッサ２０４は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、コントローラ、ステートマシン、他種類の処理回路、またはこれらのうちの一つもしくは複数の組み合わせを含み得る。プロセッサ２０４は、とりわけ、プログラムモジュール、オペレーティングシステムデータを格納するローカルメモリをさらに含み得る。
【0035】
コンピュータ可読媒体２０６は、ＰＳＭモジュール１０２、成分処理器モジュール１０６、クロストーク処理器モジュール１１０、Ｌ／Ｒ変換器モジュール１０４およびＭ／Ｓ変換器モジュール１０８、ならびにチャネル加算モジュール２１２のためのプログラムコードを格納する非一時的記憶媒体である。ＰＳＭモジュール１０２は、モノラルチャネルから複数の出力チャネルを生成し、これは、成分処理器モジュール１０６、クロストーク処理器モジュール１１０、ならびに／またはＬ／Ｒ変換器モジュール１０４およびＭ／Ｓ変換器モジュール１０８を使用して、さらに処理され得る。システム２０２は、複数の出力チャネルをユーザー機器２１０ａに提供し、ユーザー機器２１０ａは、出力チャネルの各々のレンダリングを行うための複数のスピーカー２１４を含む。
【0036】
チャネル加算モジュール２１２は、ＰＳＭモジュール１０２および／もしくは他のモジュールによって生成される複数の出力チャネルを共に加算することによって、モノラル出力チャネルを生成する。システム２０２は、モノラル出力チャネルをユーザー機器２１０ｂに提供し、ユーザー機器２１０ｂは、モノラル出力チャネルのレンダリングを行うための単一のスピーカー２１６を含む。幾つかの実施形態では、チャネル加算モジュール２１２は、ユーザー機器２１０ｂに配置される。音声システム２０２は、複数の出力チャネルをユーザー機器２１０ｂに提供し、ユーザー機器２１０ｂは、複数のチャネルをスピーカー２１６のためのモノラル出力チャネルに変換する。ユーザー機器２１０は、音声コンテンツをユーザーに提示する。ユーザー機器２１０は、音楽プレーヤー、スマートスピーカー、スマートフォン、ウェアラブル機器、タブレット、ラップトップ、またはデスクトップなどの、ユーザーのコンピューティング機器であり得る。
【0037】
［ミッド空間／サイド空間のカラレーション］
幾つかの実施形態では、空間的示唆は、左空間／右空間においてカラレーション効果を回避しつつ、ミッド空間／サイド空間においてカラレーション効果を作成することによって、音声信号に符号化される。幾つかの実施形態では、これは、具体的に選択される特性を有する全域通過フィルタを左空間／右空間に適用することによって達成されて、ミッド空間／サイド空間において目標のカラレーションをもたらす。例えば、二チャネルシステムでは、左位相角／右位相角とミッド利得／サイド利得との関係は、以下の式（４）を使用して表され得る。すなわち、
幾つかの実施形態では、空間的示唆は、左空間／右空間においてカラレーション効果を回避しつつ、ミッド空間／サイド空間においてカラレーション効果を作成することによって、音声信号に符号化される。幾つかの実施形態では、これは、具体的に選択される特性を有する全域通過フィルタを左空間／右空間に適用することによって達成されて、ミッド空間／サイド空間において目標のカラレーションをもたらす。例えば、二チャネルシステムでは、左位相角／右位相角とミッド利得／サイド利得との関係は、以下の式（４）を使用して表され得る。すなわち、
【0038】
【数4】
【0039】
ここで、
【0040】
【数5】
【0041】
は、特定の周波数ωにおける、それぞれデシベル単位のミッドおよびサイドの目標利得係数（target gain factors）によって構成される、二次元行ベクトルであり、
【0042】
【数6】
【0043】
は、左右のチャネル間における位相関係の目標関数である。
【0044】
【数7】
【0045】
について式（４）を解くと、以下の式（５）および（６）に従って、左空間／右空間に適用するために必要とされる周波数依存位相差分（frequency-dependent phase differential）が提供される。すなわち、
【0046】
【数8】
【0047】
システムが左右の空間においてカラーレス（colorless）であるという制約が適用される場合、ミッド成分もしくはサイド成分の伝達関数の何れかのみを指定することができることに留意されたい。そのため、式（５）および（６）の系は過剰決定（over-determined）となり、必要とされる対称性を破ることなく、上記の式のうちの一つのみを解くことができる。幾つかの実施形態では、特定の式を選択することにより、ミッド成分もしくはサイド成分の何れかに対する制御が得られる。システムが左右の空間においてカラーレスであるという制約が取り払われたとすれば、さらなる自由度が達成される可能性がある。二つより多いチャネルを有するシステムでは、ミッドおよびサイドの代わりに、ペアワイズ変換もしくは階層的な加算および差分の変換などの様々な技術が使用され得る。
【0048】
［仰角示唆（elevation cues）を符号化するための全域通過フィルタの実装例］
幾つかの実施形態では、空間知覚的示唆は、左右の信号をカラーレスであるように制約しつつ、周波数依存振幅示唆（frequency-dependeant amplitude cues）（すなわち、カラレーション）をミッド空間／サイド空間に埋め込むことによって、音声信号に符号化され得る。例えば、仰角示唆（例えば、サジタル平面に沿って位置する空間知覚的示唆など）は、仰角に対する左右の示唆が理論的にカラレーションにおいて対称であるため、このフレームワークを使用して符号化され得る。
幾つかの実施形態では、空間知覚的示唆は、左右の信号をカラーレスであるように制約しつつ、周波数依存振幅示唆（frequency-dependeant amplitude cues）（すなわち、カラレーション）をミッド空間／サイド空間に埋め込むことによって、音声信号に符号化され得る。例えば、仰角示唆（例えば、サジタル平面に沿って位置する空間知覚的示唆など）は、仰角に対する左右の示唆が理論的にカラレーションにおいて対称であるため、このフレームワークを使用して符号化され得る。
【0049】
幾つかの実施形態では、頭部関連の伝達関数（Head-Related Transfer Function）（ＨＲＴＦ）ベースの仰角示唆における顕著な特徴は、約８ｋＨｚで開始し、ほぼ１６ｋＨｚまで仰角の関数として単調に上昇するノッチ（notch）であり、これは、仰角を符号化するためのミッドチャネルの適切なカラレーションを導出するために使用される。このミッド符号化示唆（mid-encoded cue）を使用すると、対応する周波数依存位相シフトは導出され得て、これは、後述されるもののようなフィルタネットワーク（例えば、ＰＳＭモジュール１００など）を介して実装される機能を導出するためにさらに使用され得る。幾つかの実施形態では、ＨＲＴＦベースの仰角示唆は、約８ｋＨｚで開始し、ほぼ１２ｋＨｚまで仰角の関数として単調に上昇するノッチとして特徴付けられ得る。
【0050】
説明を容易にするために、以下のフィルタフレームワークの例は、幾つかの実施形態に従って、目標仰角が６０度である（例えば、音声コンテンツを水平より６０度上方に空間的にシフトする）幾つかの実施形態に従って、同じ知覚的示唆の符号化に関連して説明される。ただし、他の実施形態では、同様の技術は、異なる仰角を有する知覚的示唆を符号化するために使用されると理解される。図３は、幾つかの実施形態による、６０度の仰角で測定された、サンプル抽出のＨＲＴＦを示すグラフを例証している。図４は、幾つかの実施形態による、ほぼ１１ｋＨｚにおける無限減衰の狭い領域に対応する目標振幅関数によって特徴付けられる、知覚的示唆の一例を示すグラフを例証している。このような示唆は、広範な各種プレゼンテーションのシナリオに亘って、ほとんどの人において仰角知覚を作り出すために使用される可能性がある。図４におけるグラフは、サンプル抽出のＨＲＴＦを簡略化して例証しているが、より複雑な示唆も、本明細書に説明されるフレームワークに基づいて導出され得ると理解される。
【0051】
［二次全域通過セクションを使用する設計］
幾つかの実施形態では、ＰＳＭモジュール１００は、二次全域通過フィルタにおける二つの独立したカスケード、および遅延要素を使用して実装されて、図４に関連して上述されるような知覚的示唆を符号化するために、左空間／右空間において所望の位相シフトを達成する。幾つかの実施形態では、二次セクションは、双二次セクション（biquad sections）として実装され、その係数は、最大二つの遅延サンプルのフィードバックタップおよびフィードフォワードタップに適用される。本明細書に考察されるように、それぞれ１サンプルおよび２サンプルのフィードバック係数Ａ１およびＡ２、ならびにそれぞれゼロサンプル、１サンプル、および２サンプルのフィードフォワード係数Ｂ０、Ｂ１、およびＢ２を命名する慣例が使用される。
幾つかの実施形態では、ＰＳＭモジュール１００は、二次全域通過フィルタにおける二つの独立したカスケード、および遅延要素を使用して実装されて、図４に関連して上述されるような知覚的示唆を符号化するために、左空間／右空間において所望の位相シフトを達成する。幾つかの実施形態では、二次セクションは、双二次セクション（biquad sections）として実装され、その係数は、最大二つの遅延サンプルのフィードバックタップおよびフィードフォワードタップに適用される。本明細書に考察されるように、それぞれ１サンプルおよび２サンプルのフィードバック係数Ａ１およびＡ２、ならびにそれぞれゼロサンプル、１サンプル、および２サンプルのフィードフォワード係数Ｂ０、Ｂ１、およびＢ２を命名する慣例が使用される。
【0052】
幾つかの実施形態では、ＰＳＭモジュール１００は、極点および零点のキャンセルを実行するように構成される二次全域通過フィルタを使用して実装されて、位相応答が変更される間、伝達関数の振幅成分を平坦に保持することを可能にする。左右の空間における両方のチャネルに対して全域通過フィルタセクションを使用することにより、スペクトル全体に亘る特定の位相シフトを保証することができる。これには、左側および右側の間において所与の位相オフセットを許容するという追加の利点があり、その結果、ミッド空間／サイド空間における望ましいヌルに加えて、空間の広がり感の増加がもたらされることになる。
【0053】
以下の表１は、幾つかの実施形態による、右チャネルに追加の２サンプル遅延を有する二次全域通過フィルタのフレームワークにおいて使用され得る、双二次係数（biquad coefficients）のセット例を例証している。表１に例証される双二次係数は、４４．１ｋＨｚのサンプリングレートのために設計され得るが、他のサンプリングレート（例えば、４８ｋＨｚなど）を有するシステムにも同様に使用され得る。
【0054】
【表1】
【0055】
表１に示される係数を有するフィルタのネットワークは、１１ｋＨＺにあるミッド空間／サイド空間において顕著なヌル／増幅をもたらす、左／右空間において適切な位相応答を生成し得る。図５は、幾つかの実施形態による、表１に示される係数を有する二次全域通過フィルタセクションを白色雑音によって駆動することによって生成される周波数プロットを例証し、複数のチャネル（ミッド）の加算５０２と複数のチャネル（サイド）の差分５０４との出力周波数応答を示している。
【0056】
幾つかの実施形態では、二次全域通過フィルタセクションを使用して実装されるＰＳＭモジュール１００は、クロスオーバーネットワークを使用してさらに拡張されて、それを必要としない周波数領域に対する処理を除外し得る。クロスオーバーネットワークの使用は、不必要な聴覚データ（auditory data）を排除するために、知覚的に重要な示唆に関するさらなる処理を許容することによって、実施形態の柔軟性を増加し得る。
【0057】
幾つかの実施形態では、二次全域通過フィルタセクションを使用して実装されるＰＳＭモジュール１００は、より詳細に後述されることになるように、直列連鎖ヒルベルト変換（serially chained Hilbert Transforms）のネットワークを使用して実装され得る。
【0058】
［ヒルベルト変換式知覚サウンドステージ修正（HＰＳＭ）モジュールの例］
図６は、一つもしくは複数の実施形態による、ヒルベルト変換を使用して実装されるＰＳＭモジュールを示すブロック図である。ＰＳＭモジュール６００は、ヒルベルト変換式知覚サウンドステージ修正（ＨＰＳＭ）モジュールとも呼ばれ、直列連鎖ヒルベルト変換のネットワークを（図１に示される入力音声１２０に相当し得る）入力音声６０２に適用して、入力音声６０２を知覚的にシフトさせる。
図６は、一つもしくは複数の実施形態による、ヒルベルト変換を使用して実装されるＰＳＭモジュールを示すブロック図である。ＰＳＭモジュール６００は、ヒルベルト変換式知覚サウンドステージ修正（ＨＰＳＭ）モジュールとも呼ばれ、直列連鎖ヒルベルト変換のネットワークを（図１に示される入力音声１２０に相当し得る）入力音声６０２に適用して、入力音声６０２を知覚的にシフトさせる。
【0059】
モジュール６００は、クロスオーバーネットワークモジュール６０４、利得ユニット６１０、利得ユニット６１２、ヒルベルト変換器モジュール６１４、ヒルベルト変換器モジュール６２０、遅延ユニット６２６、利得ユニット６２８、遅延ユニット６３０、利得ユニット６３０、利得ユニット６３２、加算ユニット６３４、および加算ユニット６３６を含む。モジュール６００に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、機能は、本明細書に説明されるものとは異なる方式において、コンポーネント間に分散することができる。
【0060】
クロスオーバーネットワークモジュール６０４は、入力音声６０２を受信し、低周波数成分６０６および高周波数成分６０８を生成する。低周波数成分には、高周波数成分６０８のサブバンドよりも低い周波数を有する入力音声６０２のサブバンドが含まれる。幾つかの実施形態では、低周波数成分６０６は、低周波を含む入力音声の第一の部分を含み、高周波数成分６０８は、高周波を含む入力音声の残りの部分を含む。
【0061】
より詳細に後述されるように、高周波数成分６０８は、一連のヒルベルト変換（series of Hilbert Transforms）を使用して処理され、一方、低周波数成分６０６は、一連のヒルベルト変換を迂回し、その後、低周波数成分および処理済みの高周波数成分６０８が再結合される。周波数成分６０６および高周波数成分６０８の間のクロスオーバー周波数は、調整可能であり得る。例えば、より多くの周波数が高周波数成分６０８に含まれて、ＨＰＳＭモジュール６００による空間的シフトの知覚強度を増加し得る、一方、より多くの周波数が低周波数成分６０６に含まれて、シフトの知覚強度を低減し得る。別の例では、クロスオーバー周波数は、関心のある音源（例えば、発声など）に対する周波数が高周波数成分６０８に含まれるように設定される。
【0062】
入力音声６０２は、モノラルチャネルを含んでもよく、あるいはステレオ信号もしくは他のマルチチャネル信号（例えば、サラウンドサウンド（surround sound）、アンビソニックス（ambisonics）等）のミックスダウン（mixdown）であってもよい。幾つかの実施形態では、入力音声６０２は、音声ミックス内に組み込まれるべきである、音源に関連付けられる音声コンテンツである。例えば、入力音声６０２は、モジュール６００によって処理される発声であり得て、処理結果が、他の音声コンテンツ（例えば、背景音楽など）と組み合わされて、音声ミックスを生成する。
【0063】
利得ユニット６１０は、低周波数成分６０６に利得を適用し、利得ユニット６１２は、高周波数成分６０８に利得を適用する。利得ユニット６１０および６１２は、低周波数成分６０６および高周波数成分６０８の全体的なレベルを相互に調整するために使用され得る。幾つかの実施形態では、利得ユニット６１０もしくは利得ユニット６１２は、モジュール６００から省略され得る。
【0064】
ヒルベルト変換器モジュール６１４および６２０は、一連のヒルベルト変換を高周波数成分６０８に適用する。ヒルベルト変換器モジュール６１４は、高周波数成分６０８にヒルベルト変換を適用して、左脚成分６１６および右脚成分６１８を生成する。左脚成分６１６および右脚成分６１８は、相互に対して９０度位相がずれている音声成分である。幾つかの実施形態では、左脚成分６１６および右脚成分６１８は、例えば、２０度から１６０度までの間などの、９０度以外の角度で相互に対して位相がずれている。
【0065】
ヒルベルト変換器モジュール６２０は、ヒルベルト変換器モジュール６１４によって生成された右脚成分６１８にヒルベルト変換を適用して、左脚成分１２２および右脚成分６２４を生成する。左脚成分６２２および右脚成分６２４は、相互に対して９０度位相がずれている音声成分である。幾つかの実施形態では、ヒルベルト変換器モジュール６２０は、左脚成分１２２を生成することなく、右脚成分６２４を生成する。幾つかの実施形態では、左脚成分６２２および右脚成分６２４は、例えば、２０度から１６０度までの間などの、９０度以外の角度で相互に対して位相がずれている。
【0066】
幾つかの実施形態では、ヒルベルト変換器モジュール６１４および６２０の各々は、時間領域において実装され、図７に関連してより詳細に後述されるように、カスケード接続される全域通過フィルタおよび遅延を含む。他の実施形態では、ヒルベルト変換器モジュール６１４および６２０は、周波数領域において実装される。
【0067】
遅延ユニット６２６、利得ユニット６２８、遅延ユニット６３０、および利得ユニット６３２は、モジュール６００によるプロセスの知覚結果を操作するための調整制御を提供する。遅延ユニット６２６は、ヒルベルト変換器モジュール６１４によって生成される左脚成分６１６に時間遅延を適用する。利得ユニット６２８は、左脚成分６１６に利得を適用する。幾つかの実施形態では、遅延ユニット６２６もしくは利得ユニット６２８は、モジュール６００から省略され得る。
【0068】
遅延ユニット６３０は、ヒルベルト変換器モジュール６２０によって生成される右脚成分６２４に時間遅延を適用する。利得ユニット６３２は、右脚成分６２４に利得を適用する。幾つかの実施形態では、遅延ユニット６３０または利得ユニット６３２は、モジュール６００から省略され得る。
【0069】
加算ユニット６３４は、低周波数成分６０６を左脚成分６１６と結合させて、左チャネル６４２を生成する。左脚成分６１６は、一連において第一のヒルベルト変換器モジュール６１４からの出力である。左脚成分６１６は、遅延ユニット６２６によって適用される遅延と、利得ユニット６２８によって適用される利得とを含み得る。
【0070】
加算ユニット６３６は、低周波数成分６０６を右脚成分６２４と結合させて、右チャネル６４４を生成する。右脚成分６２４は、一連において第二のヒルベルト変換器モジュール６２０からの出力である。右脚成分６２４は、遅延ユニット６２６によって適用される遅延と、利得ユニット６２８によって適用される利得とを含み得る。
【0071】
図７は、一つもしくは複数の実施形態による、ヒルベルト変換器モジュール７００を示すブロック図である。ヒルベルト変換器モジュール７００は、ヒルベルト変換器モジュール６１４もしくはヒルベルト変換器モジュール６２０の一例である。ヒルベルト変換器モジュール７００は、入力成分７０２を受信し、入力成分７０２を使用して左脚成分７１２および右脚成分７２４を生成する。ヒルベルト変換器モジュール７００に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、機能は、本明細書に説明されるものとは異なる方式において、コンポーネント間に分散することができる。
【0072】
ヒルベルト変換器モジュール７００は、左脚成分７１２を生成するための全域通過フィルタのカスケードモジュール７４０、遅延ユニット７１４、ならびに右脚成分７２４を生成するための全域通過フィルタのカスケードモジュール７４２を含む。全域通過フィルタのカスケードモジュール７１４は、一連の全域通過フィルタ７０４、７０６、７０８、および７１０を含む。遅延ユニット７１４は、入力成分７０２に時間遅延を適用する。全域通過フィルタのカスケードモジュール７４２は、一連の全域通過フィルタ７１６、７１８、７２０、および７２２を含む。全域通過フィルタ７０４ないし７１０、および７１６ないし７２２の各々は、異なる周波数間の位相関係を変化させつつ、利得において等しい周波数を通過させる。幾つかの実施形態では、各全域通過フィルタ７０４ないし７１０、および７１６ないし７２２は、式（７）によって定義されるような双二次フィルタ（biquad filter）である。
【0073】
【数9】
【0074】
ここで、ｚは、複素変数であり、ａ０、ａ１、ａ２、ｂ０、ｂ１、およびｂ２は、デジタルフィルタ係数である。異なる双二次フィルタには、異なる位相変化を適用するための異なる係数が含まれ得る。
【0075】
全域通過フィルタカスケードモジュール７４０および７４２は、相違する数の全域通過フィルタをそれぞれ含み得る。ヒルベルト変換器モジュール７００は、左脚成分７１２および右脚成分７２４の各々について４個ずつ、合計８個の全域通過フィルタを備える８次フィルタである。他の実施形態では、ヒルベルト変換器モジュール７００は、８次フィルタ（例えば、全域通過フィルタのカスケードモジュール７４０および７４２の各々について４個の全域通過フィルタなど）または６次フィルタ（例えば、全域通過フィルタカスケードのモジュール７４０および７４２の各々について３個の全域通過フィルタなど）である。
【0076】
図６に関連して上記で考察されるように、モジュール６００は、一連のヒルベルト変換器モジュール６１４および６２０を含む。ヒルベルト変換器モジュール６１４および６２０の各々に対してヒルベルト変換器モジュール７００を使用すると、左脚成分６１６は、高周波数成分６０８に適用される一つの全域通過フィルタカスケードモジュール７４０によって生成される。右脚成分６２４は、二つの遅延ユニット７１４および二つの全域通過フィルタのカスケードモジュール７４２による、ヒルベルト変換器モジュール７００を通過する２回のパスによって生成される。幾つかの実施形態では、ヒルベルト変換器モジュール６１４および６２０は、異なっていてもよい。例えば、ヒルベルト変換器モジュール６１４および６２０は、ヒルベルト変換器モジュールのうちの一つについて８次フィルタ、ならびにヒルベルト変換器モジュールの別の一つについて６次フィルタなどの、異なる次数のフィルタを含み得る。
【0077】
ヒルベルト変換器モジュール６１４および６２０に対してヒルベルト変換器モジュール７００を使用すると、右脚成分６２４は、全域通過フィルタとヒルベルト変換器モジュール６２０の遅延とによって生成される、右脚成分６１８に対する位相および遅延関係を含む。右脚成分６２４は、ヒルベルト変換器モジュール６１４および６２０における全域通過フィルタおよび遅延によって生成される、高周波数成分６０８との位相および遅延関係も含む。幾つかの実施形態では、ヒルベルト変換器モジュール６２０は、右脚成分６１８ではなく左脚成分６１６を使用して、左脚成分６２２および右脚成分６２４を生成する。これは、結果として、右脚成分６２４が、ヒルベルト変換６１４の全域通過フィルタ（例えば、および遅延なし）と、ヒルベルト変換器モジュール６２０の遅延および全域通過フィルタとによって生成される高周波数成分６０８に対する位相および遅延関係を有することをもたらす。
【0078】
図８は、幾つかの実施形態による、（図６において説明されるような）ＨＰＳＭモジュールを白色雑音によって駆動することによって生成される周波数プロットを例証し、複数のチャネル（ミッド）の加算８０２と、複数のチャネル（サイド）の差分８０４との出力周波数応答を示している。
【0079】
図８に示されるように、このフィルタは、約１１ｋＨｚの領域において所望の知覚的示唆を確かに生成する一方で、より低い周波数においてミッドおよびサイドに付加的なカラレーションも付与する。幾つかの実施形態では、これは、ＨＰＳＭモジュールが所望の周波数範囲（例えば、高周波数成分など）内の音声データのみを処理するように、入力オーディオにクロスオーバーネットワーク（図６に図示されたクロスオーバーネットワークモジュール６０４など）を適用することによって、またはスペクトル変換のその領域に対応する極点／零点のペアを直接に除去することによって、補正することができる。
【0080】
［一次非直交回転ベースの相関除去（ＦＮＯＲＤ）を使用する設計］
幾つかの実施形態では、一次非直交回転ベースの相関除去（ＦＮＯＲＤ）フィルタネットワークを使用して、同様の知覚効果が達成され得る。図９は、幾つかの実施形態による、ＦＮＯＲＤフィルタネットワークを使用して実装される、ＰＳＭモジュール９００を示すブロック図である。ＰＳＭモジュール９００は、図１に例証されるＰＳＭモジュール１０２に相当し得るが、モノラルチャネルを複数のチャネルに相関除去することに備えており、振幅応答モジュール９０２、全域通過フィルタ構成モジュール９０４、および全域通過フィルタモジュール９０６を含む。ＰＳＭモジュール９００は、モノラル入力チャネルｘ（ｔ）９１２を処理して、スピーカー９１０ａに提供されるチャネルｙａ（ｔ）、およびスピーカー９１０ｂ（図１に例証される左スピーカー１１２および右スピーカー１１４に相当し得る）に提供されるチャネルｙｂ（ｔ）などの、複数の出力チャネルを生成する。二つの出力チャネルが図示されているが、ＰＳＭモジュール９００は、任意数の出力チャネル（チャネルｙ（ｔ）とそれぞれ呼ばれる）を生成し得る。ＰＳＭモジュール９００は、音楽プレーヤー、スピーカー、スマートスピーカー、スマートフォン、ウェアラブル機器、タブレット、ラップトップ、またはデスクトップなどの、コンピューティング機器の一部として実装され得る。図９は、全域通過フィルタモジュール９０６に加えて、振幅応答モジュール９０２およびフィルタ構成モジュール９０４を含むものとしてＰＳＭモジュール９００を例証しているが、幾つかの実施形態では、ＰＳＭモジュール９００は、ＰＳＭモジュール９００とは別に実装される振幅応答モジュール９０２および／もしくはフィルタ構成モジュール９０４を備える、全域通過フィルタモジュール９０６を含み得る。
幾つかの実施形態では、一次非直交回転ベースの相関除去（ＦＮＯＲＤ）フィルタネットワークを使用して、同様の知覚効果が達成され得る。図９は、幾つかの実施形態による、ＦＮＯＲＤフィルタネットワークを使用して実装される、ＰＳＭモジュール９００を示すブロック図である。ＰＳＭモジュール９００は、図１に例証されるＰＳＭモジュール１０２に相当し得るが、モノラルチャネルを複数のチャネルに相関除去することに備えており、振幅応答モジュール９０２、全域通過フィルタ構成モジュール９０４、および全域通過フィルタモジュール９０６を含む。ＰＳＭモジュール９００は、モノラル入力チャネルｘ（ｔ）９１２を処理して、スピーカー９１０ａに提供されるチャネルｙａ（ｔ）、およびスピーカー９１０ｂ（図１に例証される左スピーカー１１２および右スピーカー１１４に相当し得る）に提供されるチャネルｙｂ（ｔ）などの、複数の出力チャネルを生成する。二つの出力チャネルが図示されているが、ＰＳＭモジュール９００は、任意数の出力チャネル（チャネルｙ（ｔ）とそれぞれ呼ばれる）を生成し得る。ＰＳＭモジュール９００は、音楽プレーヤー、スピーカー、スマートスピーカー、スマートフォン、ウェアラブル機器、タブレット、ラップトップ、またはデスクトップなどの、コンピューティング機器の一部として実装され得る。図９は、全域通過フィルタモジュール９０６に加えて、振幅応答モジュール９０２およびフィルタ構成モジュール９０４を含むものとしてＰＳＭモジュール９００を例証しているが、幾つかの実施形態では、ＰＳＭモジュール９００は、ＰＳＭモジュール９００とは別に実装される振幅応答モジュール９０２および／もしくはフィルタ構成モジュール９０４を備える、全域通過フィルタモジュール９０６を含み得る。
【0081】
振幅応答モジュール９０２は、出力チャネルｙ（ｔ）（例えば、出力チャネルｙ（ｔ）のミッド成分およびサイド成分など）に符号化される一つもしくは複数の空間的示唆を規定する、目標振幅応答を決定する。目標振幅応答は、周波数の関数としての振幅のように、チャネルの振幅値および周波数値（例えば、チャネルのミッド成分およびサイド成分など）の間における関係によって規定される。幾つかの実施形態では、目標振幅応答は、チャネル上の一つの示唆もしくは空間的示唆を規定し、これには、目標広帯域減衰、目標サブバンド減衰、臨界点、フィルタ特性、またはサウンドステージ位置が含まれ得る。振幅応答モジュール９０２は、データ９１４およびモノラルチャネルｘ（ｔ）９１２を受信し、これらの入力を使用して目標振幅応答を決定し得る。データ９１４は、符号化される空間的示唆の特性、プレゼンテーション機器（例えば、一つもしくは複数のスピーカなど）の特性、音声データの予想内容、または場面におけるリスナーの知覚能力などの情報を含み得る。幾つかの実施形態では、モノラルチャネルｘ（ｔ）９１２は、図１に例証される音声入力１２０、または音声入力の一部分（例えば、図６に例証される入力音声６０２の高周波数成分６０８などの、入力音声の高周波数成分など）に相当し得る。モノラルチャネルｘ（ｔ）９１２が音声入力の一部分に対応する実施形態では、出力チャネルｙ（ｔ）は、（例えば、図１に例証されるように、低周波数成分を有する）音声入力の残りの部分に対応するチャネルと結合されて、結合済みの出力チャネルを生成し得る。
【0082】
目標広帯域減衰は、全ての周波数に亘る減衰の仕様である。目標サブバンド減衰は、サブバンドによって規定される周波数範囲に対する振幅の仕様である。目標振幅応答には、異なるサブバンドにそれぞれ対する一つもしくは複数の目標サブバンド減衰値が含まれることがある。
【0083】
臨界点は、フィルタの目標振幅応答の曲率の仕様であり、出力チャネルのうちの一つ（例えば、出力チャネルのサイド成分など）に対する利得が、－３ｄＢもしくは－∞ｄＢなどの、予め定義された値になる周波数値として記述される。この点の配置は、目標振幅応答の曲率に全体的な影響を与える可能性がある。臨界点の一例は、目標振幅応答が－∞ｄＢとなる周波数に対応する。目標振幅応答の動作は、この点に近い周波数で信号を無効にすることであるため、この臨界点はヌル点である。臨界点の別の例は、目標振幅応答が－３ｄＢとなる周波数に対応する。加算チャネルおよび差分チャネルに対する目標振幅応答の動作（例えば、チャネルのミッド成分およびサイド成分など）がこの点において交差するため、この臨界点はクロスオーバーポイントである。
【0084】
フィルタ特性は、チャネルのミッド成分およびサイド成分を如何にフィルタ抽出するかを指定するパラメータである。フィルタ特性の例には、高域通過フィルタ特性、低域通過特性、帯域通過特性、または帯域除去特性が含まれる。フィルタ特性は、それが等化フィルタ抽出（equalization filtering）の結果であるかのように、結果として得られる加算の形状を表す。等化フィルタ抽出は、どの周波数がフィルタを通過し得るか、またはどの周波数が拒否されるかという観点から説明され得る。そのため、低域通過特性は、変曲点（inflection point）より下の周波数を通過させ、変曲点より上の周波数を減衰させることを許容する。高域通過特性は、変曲点より上の周波数を通過させ、変曲点より下の周波数を減衰させることにより、その逆を行う。帯域通過特性は、変曲点の周囲の帯域における周波数を通過させることを許容し、他の周波数を減衰させる。帯域除去特性は、変曲点の周囲の帯域における周波数を拒否し、他の周波数を通過させることを許容する。
【0085】
目標振幅応答は、出力チャネルy（t）に符号化される複数の空間的示唆を定義し得る。例えば、目標振幅応答は、臨界点によって指定される空間的示唆と、全域通過フィルタのミッド成分もしくはサイド成分のフィルタ特性を規定し得る。別の例では、目標振幅応答は、目標広帯域減衰、臨界点、およびフィルタ特性によって指定される空間的示唆を規定し得る。独立した仕様としてあるものと説明されているが、この仕様は、パラメータ空間のほとんどの領域に対して相互に依存している可能性がある。この結果は、システムによって位相に関して非線形になることに起因している可能性がある。これに対処するために、目標振幅応答パラメータの非線形関数である、目標振幅応答の付加的でより高いレベルの記述子（descriptors）が考案され得る。
【0086】
フィルタ構成モジュール９０４は、振幅応答モジュール９０２から受信される目標振幅応答に基づいて、単一入力複数出力の全域通過フィルタの特性を決定する。特に、フィルタ構成モジュールは、目標振幅応答に基づいて全域通過フィルタの伝達関数を決定し、その伝達関数に基づいて全域通過フィルタの係数を決定する。全域通過フィルタは、目標振幅応答に関して記述される空間的示唆を符号化する非相関フィルタであり、モノラル入力チャネルｘ（ｔ）に適用されて、出力チャネルｙａ（ｔ）およびｙｂ（ｔ）を生成する。
【0087】
全域通過フィルタには、目標振幅応答によって規定される空間的示唆および／もしくは制約に基づいて、様々な構成およびパラメータが含まれ得る。符号化される空間的示唆の目標振幅応答を有するフィルタは、カラーレスであり得て、例えば、個々の出力チャネル（例えば、左／右出力チャネルなど）のスペクトル内容（例えば、全体など）を保存する。そのため、このフィルタは、左右の信号のスペクトル内容を維持しつつ、周波数依存振幅示唆の形式においてミッド空間／サイド空間にカラレーションを埋め込むことによって、仰角示唆を符号化するために使用される。フィルタはカラーレスであるため、モノラルコンテンツ（monaural content）は、サウンドステージにおける（例えば、目標仰角によって指定されるような）特定の位置に配置することができ、音声の空間的配置は、その全体的なカラレーションから減結合される。
【0088】
図１０Ａおよび１０Ｂは、幾つかの実施形態による、一次非直交回転ベースの相関除去（ＦＮＯＲＤ）技術に基づくＰＳＭモジュールの例を示すブロック図である。図１０Ａは、幾つかの実施形態による、ＰＳＭモジュール９００の詳細図を示し、一方、図１０Ｂは、幾つかの実施形態による、ＰＳＭモジュール９００の全域通過フィルタモジュール９０６内の広帯域位相回転器１００４のより詳細な図を提供する。
【0089】
図１０Ａにおけるように、全域通過フィルタモジュール９０６は、モノラル入力音声信号ｘ（ｔ）９１２、回転制御パラメータθｂｆ１０４８、および一次係数βｂｆ１０５０の形式において情報を受信する。入力音声信号ｘ（ｔ）９１２および回転制御パラメータθｂｆ１０４８は、広帯域位相回転器（broadband phase rotator）１００４によって利用され、広帯域位相回転器１００４は、回転制御パラメータθｂｆ１０４８を使用して入力音声信号９１２を処理して、左広帯域回転成分１０２０および右広帯域回転成分１０２２を生成する。次いで、左広帯域回転成分１０２０は、更なる処理のために狭帯域位相回転器（narrow-band phase rotator）１０２４に提供され、一方、右広帯域回転成分１０２２は、幾つかの実施形態による、ＰＳＭモジュール９００の出力チャネルｙｂ（ｔ）として（例えば、右出力チャネルとして）出力される。狭帯域位相回転器１０２４は、広帯域位相回転器１００４から左広帯域回転成分１０２０を受信し、フィルタ構成モジュール９０４から一次係数βｂｆ１０５０を受信して、狭帯域回転成分１０２８を生成し、狭帯域回転成分１０２８は、ＰＳＭモジュール９００の（例えば、左出力チャネルのような）出力チャネルｙａ（ｔ）として提供される。
【0090】
幾つかの実施形態によれば、振幅応答モジュール９０２を構成するための制御データ９１４は、臨界点ｆｃ１０３８、フィルタ特性θｂｆ１０３６、およびサウンドステージ位置Γ１０４０を含み得る。このデータは、振幅応答モジュール９０２を介してＰＳＭモジュール９００に提供され、振幅応答モジュール９０２は、（ラジアン単位の）臨界点ｃｏｃ１０４４、フィルタ特性θｂｆ１０４２、および二次項（secondary term）φ１０４６の形式においてデータのミッド表現を決定する。幾つかの実施形態では、振幅応答モジュール９０２は、入力音声信号ｘ（ｔ）９１２の一つもしくは複数のパラメータに基づいて、制御データ９１４のパラメータ（例えば、臨界点ｆｃ１０３８、フィルタ特性θｂｆ１０３６、および／もしくはサウンドステージ位置Γ１０４０）の一つもしくは複数を変更する。図１０Ａに示されるような幾つかの実施形態では、フィルタ特性θｂｆ１０４２は、フィルタ特性θｂｆ１０３６と等価である。これらのミッド表現１０４２、１０４４、および１０４６は、フィルタ構成モジュール９０４に提供され、フィルタ構成モジュール９０４は、少なくとも一次係数βｂｆ１０５０および回転制御パラメータ１０４８を含み得るフィルタ構成データを生成する。一次係数βｂｆ１０５０は、一次全域通過フィルタ１０２６を介して全域通過フィルタモジュール９０６に提供される。幾つかの実施形態では、回転制御パラメータθｂｆ１０４８は、フィルタ特性θｂｆ１０３６および１０４２と等価であり得るが、一方、他の実施形態では、このパラメータは、便宜上、拡大縮小され得る。例えば、幾つかの実施形態では、フィルタ特性は、意味のある中心点を有するパラメータ範囲（例えば、０ないし０．５など）に関連付けられ、回転制御パラメータは、フィルタ特性に対して拡大縮小されて、パラメータ範囲を、例えば、０ないし１に変更する。幾つかの実施形態では、フィルタ特性は、（例えば、中心点と比較して極点における分解能（resolution）の増加を維持するために）線形に拡大縮小されるが、他の実施形態では、非線形マッピングが（例えば、中心点に関する数値分解能（numerical resolution）を増加させるために）使用され得る。以下の式では、回転制御パラメータθｂｆは拡大縮小されていないものとして扱われるが、回転制御パラメータが拡大縮小される場合にも、同じ原理が適用し得ると理解される。回転制御パラメータθｂｆ１０４８は、広帯域位相回転器１００４を介して全域通過フィルタモジュール９０６に提供される。
【0091】
図１０Ｂは、幾つかの実施形態による、広帯域位相回転器１００４の実装例を詳細に説明する。広帯域位相回転器１００４は、モノラル入力音声信号ｘ（ｔ）９１２および回転制御パラメータθｂｆ１０４８の形式において情報を受信する。入力音声信号ｘ（ｔ）９１２は、最初に、ヒルベルト変換器モジュール１００６によって処理されて、左脚成分１００８および右脚成分１０１０を生成する。ヒルベルト変換器モジュール１００６は、図７に示される構成を使用して実装され得るが、ヒルベルト変換器モジュール１００６の他の実装が、他の実施形態において使用され得ると理解される。左脚成分１００８および右脚成分１０１０は、２Ｄ直交回転モジュール１０１２に提供される。左脚成分１００８は、右広帯域回転成分１０２２として広帯域位相回転器１００４の出力にも提供される。広帯域位相回転器１００４は、左脚信号および右脚信号を相互に対して回転するように構成されるため、幾つかの実施形態においてこれを達成する一つの方法は、左脚成分１００８を右広帯域回転成分１０２２として一定に保持し、左脚成分および右脚成分を回転させて、左広帯域回転成分１０２０を形成することである。
【0092】
左脚成分１００８および右脚成分１０１０に加えて、２Ｄ直交回転モジュール１０１２は、図１０Ａに示されるように、幾つかの実施形態に従って、フィルタ構成モジュール９０４から回転制御パラメータθｂｆ１０４８も受信し得る。２Ｄ直交回転モジュール１０１２は、このデータを使用して、左回転成分１０１４および右回転成分１０１６を生成する。次いで、投影モジュール１０１８は、左回転成分１０１４および右回転成分１０１６を受信し、これらは、結合されて（例えば、加算されて）、左広帯域回転成分１０２０を形成する。図１０Ａに示されるように、広帯域位相回転器１００４は、ＰＳＭモジュールの左出力チャネルｙａ（ｔ）として狭帯域回転成分１０２８を、ＰＳＭモジュールの右出力チャネルｙｂ（ｔ）として右広帯域回転成分１０２２を生成する（これは、狭帯域位相回転器１０２４を迂回するか、または変更されずにそれを通過する）ために、左広帯域回転成分１０２０を狭帯域位相回転器１０２４に出力する。他の実施形態では、狭帯域回転成分１０２８および左脚成分１００８（図１０Ａおよび図１０Ｂに示される実施形態では、右広帯域回転成分１０２２として機能する）は、代わりに右出力チャネルｙｂ（ｔ）および左出力チャネルｙａ（ｔ）へのマッピングをそれぞれ受ける。
【0093】
幾つかの実施形態では、ＰＳＭモジュール９００は、以下の式（８）によって形式的に記述され得る。すなわち、
【0094】
【数10】
【0095】
幾つかの実施形態では、この単一入力複数出力の全域通過フィルタは、幾つかの部分から構成され、それぞれについては、順番に説明することになる。幾つかの実施形態によれば、これらの成分には、Ａｆ、Ａｂ、およびＨ２が含まれ得る。
【0096】
幾つかの実施形態によれば、Ａｆは、図１０Ａにおける狭帯域位相回転器１０２４に対応し得る。Ａｆは、式（９）の形式を仮定する一つのチャネルの出力を有する一次全域通過フィルタである。
【0097】
【数11】
【0098】
ここで、βfは、－１ないし＋１の範囲であるフィルタの係数である。フィルタの第二の出力は、単に入力を変更しないで通過し得る。そのため、幾つかの実施形態によれば、フィルタＡｆの実装は、式（１０）によって定義され得る。すなわち、
【0099】
【数12】
【0100】
Ａｆの伝達関数は、一方の出力から他方の出力までの差分位相シフト（differential phase shift）
【0101】
【数13】
【0102】
として表される。この差分位相シフトは、式（１１）によって定義されるものとして、中心周波数（radian frequency）ωの関数である。
【0103】
【数14】
【0104】
ここで、目標振幅応答は、応答がミッド（式（５））もしくはサイド（式（６））に配置されるべきかどうかに応じて、式（５）もしくは（６）の何れかにおけるθを
【0105】
【数15】
【0106】
調整のための臨界点として、総利得αｆ＝３ｄＢが使用され得る周波数ｆｃは、以下の式によって定義される。すなわち、
【0107】
【数16】
【0108】
および
【0109】
【数17】
【0110】
目標振幅応答を０ｄＢに正規化することにより、この臨界点は、パラメータｆｃに対応し、これは、－３ｄＢの点であり得る。式（８）において、Ａｆの出力は、幾つかの実施形態に従って、使用される第一のチャネルの出力のみを確認するために添え字付けされている。
【0111】
式（８）において、Ａｂは、単一入力複数出力の全域通過フィルタであり、これは、図１０Ａにおける広帯域位相回転器１００４に対応し得る。Ａｂは、式（１４）におけるように形式的に定義され得る。
【0112】
【数18】
【0113】
ここで、Ｈ２（ｘ（ｔ））は、フィルタの離散形式（discrete form）であり、一対の直交全域通過フィルタを使用して実装され、式（１５）に従って連続時間プロトタイプ（continuous-time prototype）を使用して定義される。すなわち、
【0114】
【数19】
【0115】
幾つかの実施形態では、全域通過フィルタ
【0116】
【数20】
【0117】
は、二つの出力信号間における９０度の位相関係、ならびに入力信号および両方の出力信号間における単一振幅関係（unity magnitude relationship）に制約を与えるが、入力（モノラル）信号と二つの（ステレオ）出力信号の何れかとの間における特定の位相関係を必ずしも保証するわけではない。
【0118】
【数21】
【0119】
の離散形式は
【0120】
【数22】
【0121】
と表記され、モノラル信号ｘ（ｔ）に対するその作用によって定義される。その結果は、式（１６）によって定義されるように、二次元ベクトルになる。すなわち、
【0122】
【数23】
【0123】
離散単一入力複数出力の全域通過フィルタ
【0124】
【数24】
【0125】
は、幾つかの実施形態によれば、図１０Ｂにおけるヒルベルト変換器モジュール１００６に対応し、図７におけるヒルベルト変換器モジュール７００にも対応し得る。式（１４）において、θは、幾つかの実施形態に従って、Ａｂの第二の出力に対する、第一の出力の回転角度を決定する。
【0126】
最後に、式（８）における完全なシステムに供給されるパラメータＡｂｆは、幾つかの実施形態に従って、以下のように決定され得る。これらのパラメータには、図１０Ａにおける回転制御パラメータθｂｆ１０４８および一次係数βｂｆに対応し得る、βｂｆおよびθbfを含み得る。幾つかの実施形態では、βbfは、中心角周波数（center radian frequency）ωｃから以下のように決定され得る。すなわち、
【0127】
【数25】
【0128】
ここで、ωｃは、式（１２）を使用して所望の中心周波数ｆｃから計算され得る。図１０Ａにおいて、ωｃは、臨界点ωｃ１０４４に対応し、ｆｃは、臨界点ｆｃ１０３８に対応し、式（１７）の動作は、フィルタ構成モジュール９０４内で部分的に実行され、その結果として一次係数βbfをもたらす。幾つかの実施形態では、二次項φ１０４６は、式（１８）を介して、θｂｆおよびブールサウンドステージ位置パラメータΓから導出され得る。すなわち、
【0129】
【数26】
【0130】
この二次項φ１０４６は、図１０Ａにおける振幅応答モジュール９０２によってフィルタ構成モジュール９０４に提供される。
【0131】
幾つかの実施形態では、高レベルパラメータｆｃ、θｂｆ、およびΓは、このシステムを直観的かつ便利に調整するのに十分であり得る。このような実施形態によれば、中心周波数ｆｃは、目標振幅応答が漸近的に－∞ｄＢに近づく、Ｈｚ単位の変曲点を決定する。パラメータθbfにより、変曲点ｆｃに関するフィルタ特性に亘る制御を可能にする。０＜θｂｆ＜１／４の場合、特性は低域通過であり、ｆｃにおいてヌルとなり、目標振幅関数におけるスペクトル勾配は、θｂｆが増加するにつれて、有利な低周波数からフラットまで滑らかに補間する。１／４＜θｂｆ＜１／２の場合、θｂｆが増加するにつれて、その特性は、ｆｃにおけるヌルを有するフラットから高域通過まで滑らかに補間する。θｂｆ＝１／４の点では、目標振幅関数は、純粋に帯域除去であり、ｆｃにおいてヌルになる。パラメータΓは、ｆｃおよびθｂｆによって決定される目標振幅関数をミッドチャネル（すなわち、Ｌ＋Ｒ）もくしはサイドチャネル（すなわち、Ｌ－Ｒ）の何れかに配置するブール値である。フィルタネットワークへの両出力に対する全域制約に起因して、Γの作用は、相補的な目標振幅応答間において切り替えることである。
【0132】
幾つかの実施形態では、６０度の垂直示唆に対する振幅応答を達成するために、上述されるＦＮＯＲＤフィルタネットワークは、パラメータｆｃ＝１１ｋＨｚ、θｂｆ＝０．１３、およびΓ＝１を使用して構成され得る。図１１は、幾つかの実施形態による、６０度の垂直示唆に対する振幅応答を達成するように構成されるＦＮＯＲＤフィルタネットワークの出力周波数応答を示す、周波数応答グラフを例証している。図１１は、ミッド成分１１１０およびサイド成分１１２０における出力周波数応答を例証しており、ＦＮＯＲＤフィルタネットワークは、白色雑音によって駆動される。幾つかの実施形態では、フィルタパラメータｆｃ、θｂｆ、および／もしくはΓは、所望の角度におけるＨＲＴＦベースの仰角示唆の分析に基づいて選択される。
【0133】
幾つかの実施形態では、ＰＳＭモジュール９００は、全域通過フィルタに周波数領域仕様を使用する。例えば、場合によっては、より複雑な空間的示唆、例えば、身体計測データセット（anthropometric datasets）からサンプル抽出されたものが、必要とされることがある。特定の制限の範囲内で、上述の技術は、示唆の大きさ周波数領域表現に基づいて、音声ストリームの位相差分に任意の示唆を埋め込むために使用される。例えば、フィルタ構成モジュール９０４は、式（５）もしくは（６）の形式における式を使用して、ミッドもしくはサイドにおけるＫ個の狭帯域減衰係数（narrow-band attenuation coefficients）のベクトル化目標振幅応答から、Ｋ個の位相角
【0134】
【数27】
【0135】
のベクトル化伝達関数を決定し得る。すなわち、
【0136】
【数28】
【0137】
位相角ベクトルθは、式（１９）によって定義される有限インパルス応答フィルタ（Finite Impulse Response filter）を生成する。すなわち、
【0138】
【数29】
【0139】
ここで、ＤＦＴ－１は、逆離散フーリエ変換（inverse Discrete Fourier Transform）（ｉｄｆｔ）および
【0140】
【数30】
【0141】
を表す。次いで、２（Ｋ－１）個のＩＦＲフィルタ係数Ｂｎ（θ）のベクトルは、式（２０）によって定義されるように、ｘ（ｔ）に適用される。すなわち、
【0142】
【数31】
【0143】
ここでは、
【0144】
【数32】
【0145】
は、畳み込み演算（convolution operation）を表す。
【0146】
前の例から効果を再現し、６０度の高度示唆（height cue）に対応する目標振幅応答を達成するには、観測されたＨＲＩＲ
【0147】
【数33】
【0148】
がサンプル抽出され、長さ２（Ｋ－１）のＤＦＴに適用されて、その結果として
【0149】
【数34】
【0150】
を生成し得て、これは、以下の演算を使用して、目標振幅応答ベクトル
【0151】
【数35】
【0152】
を決定するために使用され得る。すなわち、
【0153】
【数36】
【0154】
ここで、
【0155】
【数37】
【0156】
および
【0157】
【数38】
【0158】
は、それぞれ複素数の実数成分および虚数成分を返す演算であり、全ての演算は、ベクトル成分毎に適用される。ミッドまたはサイドの何れかに挿入されるこの目標振幅応答は、式（５）もしくは（６）のうちの一つに適用されて、Ｋ個の位相角のベクトル
【0159】
【数39】
【0160】
を決定し得て、ここからＦＩＲフィルタＢが導出され得る。次いで、このフィルタは、式（１９）に挿入されて、単一入力複数出力の全域通過フィルタを導出する。
【0161】
式（１９）および（２０）は、目標振幅応答を制約するための効果的な手段を提供するが、その実装は、多くの場合、逆ＤＦＴ演算（inverse DFT operation）の結果として得られる、比較的高次のＦＲフィルタに依存することになる。これは、リソースに制約のあるシステムには適さない可能性がある。このような場合、式（８）に関連して説明されるように、低次の無限インパルス応答（infinite impulse response）（ＩＩＲ）実装が使用され得る。
【0162】
全域通過フィルタモジュール９０６は、フィルタ構成モジュール９０４によって構成されるものとして、全域通過フィルタをモノラルチャネルｘ（ｔ）に適用して、出力チャネルｙａ（ｔ）およびｙｂ（ｔ）を生成する。チャネルｘ（ｔ）への全域通過フィルタの適用は、式（８）、（２０）によって定義されるように、または図９もしくは図１０Ａに描写されるように実行され得る。全域通過フィルタモジュール９０６は、チャネルｙａ（ｔ）をスピーカー９１０ａに、チャネルｙｂ（ｔ）をスピーカー９１０ｂにというように、各出力チャネルをそれぞれのスピーカーに提供する。図９には示されていないが、出力チャネルｙａ（ｔ）およびｙｂ（ｔ）は、一つもしくは複数の介在コンポーネント（intervening components）（例えば、図１に示されるように、成分処理器モジュール１０６、クロストーク処理器モジュール１１０、ならびに／またはＬ／Ｒ－Ｍ／Ｓ変換器モジュール１０４およびＭ／Ｓ－Ｌ／Ｒ変換器モジュール１０８など）を介して、スピーカー９１０ａおよび９１０ｂに提供され得ると理解される。
【0163】
［ハイパーミッド処理］
幾つかの実施形態では、ＰＳＭ処理は、音声信号のミッド成分、または音声信号のハイパーミッド成分などの、受信された音声信号の目標部分に対して実行され得る。図１２は、一つもしくは複数の実施形態による、音声処理システム１２００を示すブロック図である。システム１２００は、ハイパーミッド成分を生成して、音声信号の目標部分（例えば、発声など）を分離し、ハイパーミッド成分に対してＰＳＭ処理を実行して、目標部分を空間的にシフトさせる。システム１２００に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
幾つかの実施形態では、ＰＳＭ処理は、音声信号のミッド成分、または音声信号のハイパーミッド成分などの、受信された音声信号の目標部分に対して実行され得る。図１２は、一つもしくは複数の実施形態による、音声処理システム１２００を示すブロック図である。システム１２００は、ハイパーミッド成分を生成して、音声信号の目標部分（例えば、発声など）を分離し、ハイパーミッド成分に対してＰＳＭ処理を実行して、目標部分を空間的にシフトさせる。システム１２００に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
【0164】
システム１２００は、Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１２０６、直交成分生成器モジュール１２１２、ＰＳＭモジュール１０２を含む直交成分処理器モジュール１２１４、およびクロストーク処理器モジュール１２２４を含む。
【0165】
Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１２０６は、左チャネル１２０２および右チャネル１２０４を受信し、チャネル１２０２および１２０４からミッド成分１２０８およびサイド成分１２１０を生成する。Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１０４に関する説明は、Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１２０６に適用可能であり得る。
【0166】
直交成分生成器モジュール１２１２は、ミッド成分１２０８およびサイド成分１２１０を処理して、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残留ミッド成分Ｍ２、および残留サイド成分Ｓ２のうちの少なくとも一つを生成する。ハイパーミッド成分Ｍ１は、サイド成分１２１０のスペクトルエネルギーが除去されたスペクトルエネルギーミッド成分１２０８のスペクトルエネルギーである。ハイパーサイド成分Ｓ１は、サイド成分１２１０のスペクトルエネルギーが除去されたミッド成分１２０８のスペクトルエネルギーである。残留ミッド成分Ｍ２は、ミッド成分１２０８のスペクトルエネルギーが除去されたハイパーミッド成分Ｍ１のスペクトルエネルギーである。ミッド成分Ｍ２は、ミッド成分１２０８のスペクトルエネルギーが除去されたハイパーミッド成分Ｍ１のスペクトルエネルギーである。残留サイド成分Ｓ２は、ハイパーサイド成分Ｓ１のスペクトルエネルギーが除去されたハイパーミッド成分１２１０のスペクトルエネルギーである。システム１２００は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残留ミッド成分Ｍ２、および残留サイド成分Ｓ２のうちの少なくとも一つを処理することによって、左チャネル１２４２および右出力チャネル１２４４を生成する。直交成分生成器モジュール１２１２については、図１３Ａ、１３Ｂ、および１３Ｃを参照して、さらに説明する。
【0167】
直交成分処理器モジュール１２１４は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残留ミッド成分Ｍ２、および／もしくは残留サイド成分Ｓ２のうちの一つもしくは複数を処理し、処理済みの成分を処理済みの左成分１２２０および処理済みの右成分１２２２に変換する。成分処理器モジュール１０６に関する説明は、処理が、ミッド成分およびサイド成分ではなく、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残留ミッド成分Ｍ２、および／もしくは残留サイドに対して実行されることを除いて、直交成分処理器モジュール１２１４に適用可能であり得る。例えば、成分Ｍ１、Ｍ２、Ｓ１、およびＳ２に対する処理には、空間的示唆の処理（例えば、振幅もしくは遅延ベースのパンニング、バイノーラル処理等）、単一帯域もしくは複数帯域のイコライゼーション、単一帯域または複数帯域のダイナミクス処理（例えば、圧縮、拡張、制限等）、単一帯域もしくは複数帯域の利得段階もしくは遅延段階、音声効果の追加、または他種類の処理などの、各種種類を含み得る。幾つかの実施形態では、直交成分処理器モジュール１２１４は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残留ミッド成分Ｍ２、および／もしくは残留サイド成分Ｓ２を使用して、サブバンド空間処理および／もしくはクロストーク補償処理を実行する。直交成分処理器モジュール１２１４は、成分Ｍ１、Ｓ２、Ｓ１、およびＳ２を処理済みの左成分１２２０および処理済みの右成分１２２２に変換するためのＬ／Ｒ－Ｍ／Ｓ変換器をさらに含み得る。
【0168】
直交成分処理器モジュール１２１４は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残留ミッド成分Ｍ２、および／もしくは残留サイド成分Ｓ２のうちの一つもしくは複数に対して動作し得る、ＰＳＭモジュール１０２をさらに含む。例えば、ＰＳＭモジュール１０２は、ハイパーミッド成分Ｍ１を入力として受信し、空間的にシフトされる左右のチャネルを生成し得る。ハイパーミッド成分Ｍ１は、例えば、発声を表す音声信号の孤立した部分を含み得るため、ＨＰＳＭ処理のために選択され得る。ＰＳＭモジュール１０２によって生成される左チャネルは、処理済みの左成分１０２０を生成するために使用され、ＰＳＭモジュール１０２によって生成される右チャネルは、処理済みの右成分１２２２を生成するために使用される。直交成分処理器モジュール１２１４については、図１２を参照して、さらに説明する。
【0169】
クロストーク処理器モジュール１２２４は、処理済みの左成分１２２０および処理済みの右成分１２２２を受信し、これらにクロストーク処理を実行する。クロストーク処理器モジュール１２２４は、左チャネル１２４２および右チャネル１２４４を出力する。クロストーク処理器モジュール１２２４に関する説明は、クロストーク処理器モジュール１２２４に適用可能であり得る。幾つかの実施形態では、クロストーク処理（例えば、シミュレーションもしくはキャンセルなど）は、ミッド成分およびサイド成分への左チャネル１２０２および右チャネル１２０４の変換の前などの、直交成分処理の前に実行され得る。左チャネル１２４２は、左スピーカー１１２に提供され得て、右チャネル１２４４は、右スピーカー１１４に提供され得る。
【0170】
［直交成分生成器の例］
図１３Ａないし１３Ｃは、一つもしくは複数の実施形態による、直交成分生成器モジュール１３１３、１３２３、および１３４３をそれぞれ示すブロック図である。直交成分生成器モジュール１３１３、１３２３、および１３４３は、直交成分生成器モジュール１２１２の一例である。モジュール１３１３、１３２３、および１３４３に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
図１３Ａないし１３Ｃは、一つもしくは複数の実施形態による、直交成分生成器モジュール１３１３、１３２３、および１３４３をそれぞれ示すブロック図である。直交成分生成器モジュール１３１３、１３２３、および１３４３は、直交成分生成器モジュール１２１２の一例である。モジュール１３１３、１３２３、および１３４３に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
【0171】
図１３Ａを参照すると、直交成分生成器モジュール１３１３は、減算ユニット１３０５、減算ユニット１３０９、減算ユニット１３１５、および減算ユニット１３１９を含む。上述されるように、直交成分生成器モジュール１３１３は、ミッド成分１２０８およびサイド成分１２１０を受信し、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残留ミッド成分Ｍ２、および残留サイド成分Ｓ２のうちの一つもしくは複数を出力する。
【0172】
減算ユニット１３０５は、ミッド成分１２０８のスペクトルエネルギーからサイド成分１２１０のスペクトルエネルギーを除去して、ハイパーミッド成分Ｍ１を生成する。例えば、減算ユニット１３０５は、周波数領域におけるミッド成分１２０８の振幅から、位相だけを残しつつ、周波数領域におけるサイド成分１２１０の振幅を減算して、ハイパーミッド成分Ｍ１を生成する。周波数領域における減算は、周波数領域において信号を生成するために時間領域信号に対するフーリエ変換と、次いで、周波数領域においてその信号を減算することとを使用して、実行され得る。他の例では、周波数領域における減算は、フーリエ変換の代わりにウェーブレット変換（wavelet transform）の使用などの、他の方法において実行することもできる。減算ユニット１３０９は、ミッド成分１２０８のスペクトルエネルギーからハイパーミッド成分Ｍ１のスペクトルエネルギーを除去することにより、残留ミッド成分Ｍ２を生成する。例えば、減算ユニット１３０９は、周波数領域におけるミッド成分１２０８振幅から、位相だけを残しつつ、周波数領域におけるハイパーミッド成分Ｍ１の振幅を減算して、残留ミッド成分Ｍ２を生成する。時間領域におけるミッドからサイドを減算することは、元の信号の右チャネルをもたらすことに対し、周波数領域における上記の操作は、ミッド成分のスペクトルエネルギーとは異なるミッド成分のスペクトルエネルギーの部分（Ｍ１もしくはハイパーミッドと呼ばれる）と、サイド成分のスペクトルエネルギーと同じになるサイド成分のスペクトルエネルギーの部分（Ｍ２もしくは残留ミッドと呼ばれる）とを分離して区別する。
【0173】
幾つかの実施形態では、ミッド成分１００６のスペクトルエネルギーからサイド成分１２１０のスペクトルエネルギーを減算する結果が、ハイパーミッド成分Ｍ１に対して負の値をもたらす場合（例えば、周波数領域における一つもしくは複数のビンについて）、追加の処理が使用され得る。幾つかの実施形態では、ミッド成分１２０８のスペクトルエネルギーからサイド成分１２１０のスペクトルエネルギーを減算する結果が負の値になる場合、ハイパーミッド成分Ｍ１は、０値に固定される。幾つかの実施形態では、ハイパーミッド成分Ｍ１は、負の値の絶対値をハイパーミッド成分Ｍ１の値として取り込むことによって、最低値へ戻される。ミッド成分１２０８のスペクトルエネルギーからサイド成分１２１０のスペクトルエネルギーを減算する結果が、Ｍ１に対して負の値にもたらす場合、他種類の処理が使用され得る。ハイパーサイド成分Ｓ１、残留サイド成分Ｓ２、もしくは残留ミッド成分Ｍ２を生成する減算の結果が、０における固定、最低値への戻り（wrap around）、もしくは他の処理などの、負になる場合、同様の追加処理が使用され得る。ハイパーミッド成分Ｍ１を０に固定することは、減算の結果が負の値になる場合に、Ｍ１および両サイド成分の間にスペクトル直交性（spectral orthogonality）を提供することになる。同様に、ハイパーサイド成分Ｓ１を０に固定することは、減算の結果が負の値になる場合、Ｓ１および両ミッド成分の間にスペクトル直交性を提供することになる。ハイパーミッド成分およびサイド成分、ならびにそれらに対応する適切なミッド成分／サイド成分（すなわち、ハイパーミッドに対するサイド成分、ハイパーサイドに対するミッド成分など）の間に直交性を作成することにより、導入される残留ミッド成分Ｍ２成分および残留サイド成分Ｓ２には、それらに対応する適切なミッド成分／サイド成分に直交しない（すなわち、それらと共通する）スペクトルエネルギーが含まれる。すなわち、ハイパーミッドに対して０の固定を適用し、そのＭ１成分を使用して残留ミッドを導出する場合、サイド成分と共通するスペクトルエネルギーを有しないハイパーミッド成分と、サイド成分と完全に共通するスペクトルエネルギーを有する残留ミッド成分とが生成される。ハイパーサイドを０に固定する場合、同じ関係がハイパーサイドおよび残留サイドに適用される。周波数領域処理を適用する場合、典型的には、周波数情報および時間情報の間の分解能におけるトレードオフが存在する。周波数分解能が増加すると（すなわち、ＦＦＴウィンドウサイズおよび周波数ビン（frequency bins）の数が増加すると）、時間分解能（time resolution）は減少し、その逆も同様である。上述のスペクトル減算は、周波数ビン単位で生じるため、ハイパーミッド成分から発声エネルギーを除去する場合などの特定の状況では、大きなＦＦＴウィンドウサイズ（例えば、８１９２個のサンプル、実数値の入力信号が与えられると、４０９６個の周波数ビンをもたらす）を有することがより好適となることがある。他の状況では、より高い時間分解能が必要とされ得るため、全体的に低いレイテンシ（latency）および低い周波数分解能（例えば、５１２個のサンプルＦＦＴウィンドウサイズ、実数値入力信号が与えられると、２５６個の周波数ビンになる）が必要とされる。後者の場合、ミッドおよびサイドの低周波数分解能は、ハイパーミッド成分Ｍ１およびハイパーサイド成分Ｓ１を導出するために相互に減算される場合、各周波数ビンのスペクトルエネルギーが広過ぎる周波数範囲に亘るエネルギーの平均的な表現であるため、可聴スペクトルのアーティファクト（audible spectral artifacts）を生成する可能性がある。この場合、ハイパーミッドＭ１もしくはハイパーサイドＳ１を導出する際に、ミッドおよびサイドの間の差分の絶対値を取得することは、周波数ビン毎に成分における真の直交性からの乖離を許容することによって、知覚的アーティファクトを軽減するのに貢献することができる。０を折り返すことに加えて、もしくは０を折り返す代わりに、減数値（subtrahend value）に係数を適用して、その値を０および１の間に拡大縮小し得るため、一方の極端（すなわち、値が１である場合）では、ハイパーおよび残留のミッド成分／サイド成分の完全な直交性と、他方の極端（すなわち、値が０の場合）では、それらの対応する元のミッド成分およびサイド成分と同一のハイパーミッドＭ１およびハイパーサイドＳ１との間を補間するための方法を提供し得る。
【0174】
減算ユニット１３１５は、周波数領域におけるサイド成分１２１０のスペクトルエネルギーから、位相だけを残しつつ、周波数領域におけるミッド成分１２０８のスペクトルエネルギーを除去して、ハイパーサイド成分Ｓ１を生成する。例えば、減算ユニット１３１５は、周波数領域におけるサイド成分１２１０の振幅から、位相だけを残しつつ、周波数領域におけるミッド成分１２０８の振幅を減算して、ハイパーサイド成分Ｓ１を生成する。減算ユニット１３１９は、サイド成分１２１０のスペクトルエネルギーからハイパーサイド成分Ｓ１のスペクトルエネルギーを除去して、残留サイド成分Ｓ２を生成する。例えば、減算ユニット１３１９は、周波数領域におけるサイド成分１２１０の振幅から、位相を残しつつ、周波数領域におけるハイパーサイド成分Ｓ１の振幅を減算して、残留サイド成分Ｓ２を生成する。
【0175】
図５Ｂにおいて、直交成分生成器モジュール１３２３が、ミッド成分１００６およびサイド成分１２１０を受信し、ハイパーミッド成分Ｍ１、残留ミッド成分Ｍ２、ハイパーサイド成分Ｓ１、および残留サイド成分Ｓ２を生成するという点において、直交成分生成器モジュール１３２３は、直交成分生成器モジュール１３１３と同様である。直交成分生成器モジュール１３２３は、周波数領域においてハイパーミッド成分Ｍ１およびハイパーサイド成分Ｓ１を生成し、次いで、これらの成分を時間領域に変換して戻して、残留ミッド成分Ｍ２および残留サイド成分Ｓ２を生成することによって、直交生成器モジュール１３１３とは異なる。直交成分生成器モジュール１３２３は、順方向ＦＦＴユニット１３２０、帯域通過ユニット１３２２、減算ユニット１３２４、ハイパーミッド処理器１３２５、逆ＦＦＴユニット１３２６、時間遅延ユニット１３２８、減算ユニット１３３０、順方向ＦＦＴユニット１３３２、帯域通過ユニット１３３４、減算ユニット１３３６、ハイパーサイド処理器１３３７、逆ＦＦＴユニット１３４０、時間遅延ユニット１３４２、および減算ユニット１３４４を含む。
【0176】
順方向高速フーリエ変換（forward fast Fourier transform）（ＦＦＴ）ユニット１３２０は、順方向ＦＦＴをミッド成分１２０８に適用し、ミッド成分１２０８を周波数領域に変換する。周波数領域に変換されたミッド成分１２０８は、振幅および位相を含む。帯域通過ユニット１３２２は、周波数領域ミッド成分１２０８に帯域通過フィルタを適用し、帯域通過フィルタは、ハイパーミッド成分Ｍ１における周波数を指定する。例えば、典型的な人間の発声範囲を分離するには、帯域通過フィルタは、３００Ｈｚないし８０００Ｈｚの間の周波数を指定し得る。別の例では、典型的な人間の発声範囲に関連付けられる音声コンテンツを除去するには、帯域通過フィルタは、ハイパーミッド成分Ｍ１において（例えば、ベースギターもしくはドラムによって生成される）低周波数、および（例えば、シンバルによって生成される）高周波数を維持し得る。他の実施形態では、直交成分生成器モジュール１３２３は、帯域通過ユニット１３２２によって適用される帯域通過フィルタに加えて、および／もしくは帯域通過フィルタの代わりに、種々の他のフィルタを周波数領域ミッド成分１２０８に適用する。幾つかの実施形態では、直交成分生成器モジュール１３２３は、帯域通過ユニット１３２２を含まず、周波数領域ミッド成分１２０８に如何なるフィルタも適用しない。周波数領域では、減算ユニット１３２４は、フィルタ抽出されるミッド成分からサイド成分１２１０を減算して、ハイパーミッド成分Ｍ１を生成する。他の実施形態では、直交成分処理器モジュール（例えば、図１２における直交成分処理器モジュールなど）によって実行されるような、ハイパーミッド成分Ｍ１に適用される後の処理に加えて、および／もしくはその代わりに、直交成分生成器モジュール１３２３は、周波数領域ハイパーミッド成分Ｍ１に種々の音声強化（audio enhancements）を適用する。ハイパーミッド処理器１３２５は、時間領域に変換する前に、周波数領域においてハイパーミッド成分Ｍ１に対する処理を実行する。この処理には、サブバンド空間処理および／もしくはクロストーク補償処理が含まれ得る。幾つかの実施形態では、ハイパーミッド処理器１３２５は、直交成分処理器モジュール１２１４によって実行され得る処理の代わりに、および／もしくはそれに加えて、ハイパーミッド成分Ｍ１に対する処理を実行する。逆ＦＦＴユニット１３２６は、ハイパーミッド成分Ｍ１に逆ＦＦＴを適用し、ハイパーミッド成分Ｍ１を時間領域に変換して戻す。周波数領域におけるハイパーミッド成分Ｍ１は、Ｍ１の振幅とミッド成分１２０８の位相とを含み、逆ＦＦＴユニット１３２６は、これらを時間領域に変換する。時間遅延ユニット１３２８は、ミッド成分１２０８およびハイパーミッド成分Ｍ１が減算ユニット１３３０に同時に到着するように、ミッド成分１２０８に時間遅延を適用する。減算ユニット１３３０は、時間領域における時間遅延ミッド成分１２０８から時間領域におけるハイパーミッド成分Ｍ１を減算し、残留ミッド成分Ｍ２を生成する。この例では、ハイパーミッド成分Ｍ１のスペクトルエネルギーは、時間領域における処理を使用して、ミッド成分１２０８のスペクトルエネルギーから除去される。
【0177】
順方向ＦＦＴユニット１３３２は、サイド成分１２１０に順方向ＦＦＴを適用し、サイド成分１２１０を周波数領域に変換する。周波数領域に変換されたサイド成分１２１０は、振幅および位相を含む。帯域通過ユニット１３３４は、周波数領域サイド成分１２１０に帯域通過フィルタを適用する。帯域通過フィルタは、ハイパーサイド成分Ｓ１における周波数を指定する。他の実施形態では、直交成分生成器モジュール１３２３は、帯域通過フィルタに加えて、および／もしくは帯域通過フィルタの代わりに、種々の他のフィルタを周波数領域サイド成分１２１０に適用する。周波数領域では、減算ユニット１３３６は、フィルタ抽出されるサイド成分１２１０からミッド成分１２０８を減算して、ハイパーサイド成分Ｓ１を生成する。他の実施形態では、直交成分処理器（例えば、直交成分処理器モジュール１２１４など）によって実行されるような、ハイパーサイド成分Ｓ１に適用される後の処理に加えて、および／もしくはその代わりに、直交成分生成器モジュール１３２３は、種々の音声強化を周波数領域ハイパーサイド成分Ｓ１に適用する。ハイパーサイド処理器１３３７は、時間領域へのその変換に先立って、周波数領域におけるハイパーサイド成分Ｓ１に対する処理を実行する。この処理には、サブバンド空間処理および／もしくはクロストーク補償処理が含まれ得る。幾つかの実施形態では、ハイパーサイド処理器１３３７は、直交成分処理器モジュール１２１４によって実行され得る処理の代わりに、および／もしくはそれに加えて、ハイパーサイド成分Ｓ１に対する処理を実行する。逆ＦＦＴユニット１３４０は、周波数領域におけるハイパーサイド成分Ｓ１に逆ＦＦＴを適用し、時間領域におけるハイパーサイド成分Ｓ１を生成する。周波数領域におけるハイパーサイド成分Ｓ１は、サイド成分１２１０の振幅Ｓ１および位相を含み、逆ＦＦＴユニット１３２６は、サイド成分１２１０を時間領域に変換する。時間遅延ユニット１３４２は、サイド成分１２１０がハイパーサイド成分Ｓ１と同時に減算ユニット１３４４に到着するように、サイド成分１２１０を時間遅延させる。続いて、減算ユニット１３４４は、時間領域における時間遅延サイド成分１２１０から時間領域におけるハイパーサイド成分Ｓ１を減算し、残留サイド成分Ｓ２を生成する。この例では、時間領域における処理を使用して、ハイパーサイド成分Ｓ１のスペクトルエネルギーは、サイド成分１２１０のスペクトルエネルギーから除去される。
【0178】
幾つかの実施形態では、ハイパーミッド処理器１３２５およびハイパーサイド処理器１３３７は、これらのコンポーネントによって実行される処理が直交成分処理器モジュール１２１４によって実行される場合、省略され得る。
【0179】
図１３Ｃにおいて、直交成分生成器モジュール１３４３が、周波数領域において成分Ｍ１、Ｍ２、Ｓ１、およびＳ２を生成し、次いで、これらの成分を時間領域に変換するという点を除いて、直交成分生成器モジュール１３４３が、ミッド成分１２０８およびサイド成分１２１０を受信し、ハイパーミッド成分Ｍ１、残留ミッド成分Ｍ２、ハイパーサイド成分Ｓ１、および残留サイド成分Ｓ２を生成するという点において、直交成分生成器モジュール１３４３は、直交成分生成器モジュール１３２３と類似している。直交成分生成器モジュール１３４３は、順方向ＦＦＴユニット１３４７、帯域通過ユニット１３４９、減算ユニット１３５１、ハイパーミッド処理器１３５２、減算ユニット１３５３、残留ミッド処理器１３５４、逆ＦＦＴユニット１３５５、逆ＦＦＴユニット１３５５、逆ＦＦＴユニット１３５７、順方向ＦＦＴユニット１３６１、帯域通過ユニット１３６３、減算ユニット１３６５、ハイパーサイド処理器１３６６、減算ユニット１３６７、残留サイド処理器１３６８、逆ＦＦＴユニット１３６９、および逆ＦＦＴユニット１３７１を含む。
【0180】
順方向ＦＦＴユニット１３４７は、順方向ＦＦＴをミッド成分１２０８に適用し、ミッド成分１２０８を周波数領域に変換する。周波数領域に変換されたミッド成分１２０８は、振幅および位相を含む。順方向ＦＦＴユニット１３６１は、サイド成分１２１０に順方向ＦＦＴを適用し、サイド成分１２１０を周波数領域に変換する。周波数領域に変換されたサイド成分１２１０は、振幅および位相を含む。帯域通過ユニット１３４９は、周波数領域ミッド成分１２０８に帯域通過フィルタを適用し、帯域通過フィルタは、ハイパーミッド成分Ｍ１の周波数を指定する。幾つかの実施形態では、直交成分生成器モジュール１３４３は、帯域通過フィルタに加えて、および／もしくは帯域通過フィルタの代わりに、種々の他のフィルタを周波数領域ミッド成分１２０８に適用する。減算ユニット１３５１は、周波数領域ミッド成分１２０８から周波数領域サイド成分１２１０を減算し、周波数領域におけるハイパーミッド成分Ｍ１を生成する。ハイパーミッド処理器１３５２は、ハイパーミッド成分Ｍ１を時間領域に変換する前に、周波数領域におけるハイパーミッド成分Ｍ１の処理を実行する。幾つかの実施形態では、ハイパーミッド処理器１３５２は、サブバンド空間処理および／もしくはクロストーク補償処理を実行する。幾つかの実施形態では、ハイパーミッド処理器１３５２は、直交成分処理器モジュール１２１４によって実行され得る処理の代わりに、および／もしくはそれに加えて、ハイパーミッド成分Ｍ１に対する処理を実行する。逆ＦＦＴユニット１３５７は、ハイパーミッド成分Ｍ１に逆ＦＦＴを適用し、それを時間領域に変換して戻す。周波数領域におけるハイパーミッド成分Ｍ１は、ミッド成分１２０８の振幅Ｍ１および位相を含み、逆ＦＦＴユニット１３５７は、これを時間領域に変換する。減算ユニット１３５３は、周波数領域においてミッド成分１２０８からハイパーミッド成分Ｍ１を減算し、残留ミッド成分Ｍ２を生成する。残留ミッド処理器１３５４は、残留ミッド成分Ｍ２を時間領域に変換する前に、周波数領域における残留ミッド成分Ｍ２に対する処理を実行する。幾つかの実施形態では、残留ミッド処理器１３５４は、残留ミッド成分Ｍ２に対してサブバンド空間処理および／もしくはクロストーク補償処理を実行する。幾つかの実施形態では、残留ミッド処理器１３５４は、直交成分処理器モジュール１２１４によって実行され得る処理の代わりに、および／もしくは直交成分処理器モジュール１２１４によって実行され得る処理に加えて、残留ミッド成分Ｍ２に対する処理を実行する。逆ＦＦＴユニット１３５５は、逆ＦＦＴを適用して、残留ミッド成分Ｍ２を時間領域に変換する。周波数領域における残留ミッド成分Ｍ２は、ミッド成分１２０８の振幅Ｍ２および位相を含み、逆ＦＦＴユニット１３５５がこれを時間領域に変換する。
【0181】
帯域通過ユニット１３６３は、周波数領域サイド成分１２１０に帯域通過フィルタを適用する。帯域通過フィルタは、ハイパーサイド成分Ｓ１における周波数を指定する。他の実施形態では、直交成分生成器モジュール１３４３は、帯域通過フィルタに加えて、および／もしくは帯域通過フィルタの代わりに、種々の他のフィルタを周波数領域サイド成分１２１０に適用する。周波数領域では、減算ユニット１３６５は、フィルタ抽出されたサイド成分１２１０からミッド成分１２０８を減算して、ハイパーサイド成分Ｓ１を生成する。ハイパーサイド処理器１３６６は、時間領域への変換に先立って、周波数領域におけるハイパーサイド成分Ｓ１に対する処理を実行する。幾つかの実施形態では、ハイパーサイド処理器１３６６は、ハイパーサイド成分Ｓ１に対してサブバンド空間処理および／もしくはクロストーク補償処理を実行する。幾つかの実施形態では、ハイパーサイド処理器１３６６は、直交成分処理器モジュール１２１４によって実行され得る処理の代わりに、および／もしくはそれに加えて、ハイパーサイド成分Ｓ１に対する処理を実行する。逆ＦＦＴユニット１３７１は、逆ＦＦＴを適用して、ハイパーサイド成分Ｓ１を時間領域に変換して戻す。周波数領域におけるハイパーサイド成分Ｓ１は、サイド成分１２１０の振幅Ｓ１および位相を含み、逆ＦＦＴユニット１３７１は、これを時間領域に変換する。減算ユニット１３６７は、周波数領域において、サイド成分１２１０からハイパーサイド成分Ｓ１を減算し、残留サイド成分Ｓ２を生成する。残留サイド処理器１３６８は、時間領域への変換に先立って、周波数領域における残留サイド成分Ｓ２の処理を実行する。幾つかの実施形態では、残留サイド処理器１３６８は、残留サイド成分Ｓ２に対してサブバンド空間処理および／もしくはクロストーク補償処理を実行する。幾つかの実施形態では、残留サイド処理器１３６８は、直交成分処理器モジュール１２１４によって実行され得る処理の代わりに、および／もしくは直交成分処理器モジュール１２１４によって実行され得る処理に加えて、残留サイド成分Ｓ２に対する処理を実行する。逆ＦＦＴユニット１３６９は、残留サイド成分Ｓ２に逆ＦＦＴを適用し、これを時間領域に変換する。周波数領域における残留サイド成分Ｓ２には、サイド成分１２１０の振幅Ｓ２および位相が含まれ、逆ＦＦＴユニット１３６９は、これを時間領域に変換する。
【0182】
幾つかの実施形態では、ハイパーミッド処理器１３５２、ハイパーサイド処理器１３６６、残留ミッド処理器１３５４、または残留サイド処理器１３６８は、これらのコンポーネントによって実行される処理が直交成分処理器モジュール１２１４によって実行される場合、省略され得る。
【0183】
［直交成分処理器の例］
図１４Ａは、一つもしくは複数の実施形態による、直交成分処理器モジュール１４１７を示すブロック図である。直交成分処理器モジュール１４１７は、直交成分処理器モジュール１４１２の一例である。モジュール１４１７に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
図１４Ａは、一つもしくは複数の実施形態による、直交成分処理器モジュール１４１７を示すブロック図である。直交成分処理器モジュール１４１７は、直交成分処理器モジュール１４１２の一例である。モジュール１４１７に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
【0184】
直交成分処理器モジュール１４１７は、成分処理器モジュール１４２０、ＰＳＭモジュール１０２、加算ユニット１４２２、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１４２４、加算ユニット１４２６、および加算１４２８を含む。
【0185】
成分処理器モジュール１４２０は、ミッド成分およびサイド成分ではなく、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残留ミッド成分Ｍ２、および／もしくは残留サイド成分Ｓ２を使用することを除いて、成分処理器モジュール１０６と同様の処理を実行する。例えば、成分処理器モジュール１４２０は、ハイパーミッド成分Ｍ１、残留ミッド成分Ｍ２、ハイパーサイド成分Ｓ１、および残留サイド成分Ｓ２のうちの少なくとも一つに対してサブバンド空間処理および／もしくはクロストーク補償処理を実行する。成分処理器モジュール１４２０によるサブバンド空間処理および／もしくはクロストーク補償の結果として、直交成分処理器モジュール１４１７は、処理済みのＭ１、処理済みのＭ２、処理済みのＳ１、および処理済みのＳ２のうちの少なくとも一つを出力する。幾つかの実施形態では、成分Ｍ１、Ｍ２、Ｓ１、もしくはＳ２のうちの一つもしくは複数は、成分処理器モジュール１４２０の迂回を行い得る。
【0186】
幾つかの実施形態では、直交成分処理器モジュール１４１７は、周波数領域におけるハイパーミッド成分Ｍ１、残留ミッド成分Ｍ２、ハイパーサイド成分Ｓ１、および残留サイド成分Ｓ２のうちの少なくとも一つに対してサブバンド空間処理および／もしくはクロストーク補償処理を実行する。直交成分生成器モジュール４１０は、逆ＦＦＴを実行することなく、周波数領域における成分Ｍ１、Ｍ２、Ｓ１、もしくはＳ２を直交成分処理器モジュール１４１７に提供し得る。処理済みのＭ１、処理済みのＭ２、および処理済みのサイド成分１４４２を生成した後、直交成分処理器モジュール１４１７は、逆ＦＦＴを実行して、これらの成分を時間領域に変換して戻し得る。幾つかの実施形態では、直交成分処理器モジュール１４１７は、処理済みのＭ１、処理済みのＭ２、処理済みのＳ１、および処理済みのＳ１に対して逆ＦＦＴを実行し、時間領域における処理済みのサイド成分１４４６を生成する。
【0187】
直交成分処理器モジュール１４１７のコンポーネント例を図１５および１６に示す。幾つかの実施形態では、直交成分処理器モジュール１４１７は、サブバンド空間処理およびクロストーク補償処理の両方を実行する。直交成分処理器モジュール１４１７によって実行される処理は、サブバンド空間処理もしくはクロストーク補償処理に限定されない。ミッド空間／サイド空間を使用する任意種類の空間処理は、ミッド成分の代わりにハイパーミッド成分を使用すること、またはサイド成分の代わりにハイパーサイド成分を使用することによるように、直交成分処理器モジュール１４１７によって実行され得る。他種類の処理には、利得の適用、振幅もしくは遅延ベースのパンニング、バイノーラル処理、残響処理（reverberation）、圧縮および制限などのダイナミックレンジ処理（dynamic range processing）、ならびにコーラス（chorus）もしくはフランジング（flanging）から発声スタイルもしくは楽器スタイルの転送、変換、または再合成（resynthesis）等に対する機械学習ベースのアプローチまで及ぶ、他の線形もしくは非線形の音声処理技術および効果が含まれることがある。
【0188】
ＰＳＭモジュール１０２は、処理済みのＭ１を受信し、ＰＳＭ処理を適用して、処理済みのＭ１を空間的にシフトし、その結果として左チャネル１４３２および右チャネル１４３４をもたらす。ＰＳＭモジュール１０２は、ハイパーミッド成分Ｍ１に適用されるものとして示されているが、ＰＳＭモジュールは、成分Ｍ１、Ｍ２、Ｓ１、もしくはＳ２のうちの一つもしくは複数に適用され得る。幾つかの実施形態では、ＰＳＭモジュール１０２によって処理される成分は、成分処理器モジュール１４２０による処理の迂回を行う。例えば、ＰＳＭモジュール１０２は、処理済みのＭ１ではなく、ハイパーミッド成分Ｍ１を処理し得る。
【0189】
加算ユニット１４２２は、処理済みのＳ１を処理済みのＳ２に加算して、処理済みのサイド成分１４４２を生成する。Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１４２４は、処理済みのＭ２および処理済みのサイド成分１４４２を使用して、処理済みの左成分１４４４および処理済みの右成分１４４６を生成する。幾つかの実施形態では、処理済みの左サイド成分１４４４は、処理済みのＭ２および処理済みのサイド成分１４４２の加算に基づいて生成され、処理済みの右成分１４４６は、処理済みのＭ２および処理済みのサイド成分１４４２の差分に基づいて生成される。他のＭ／Ｓ－Ｌ／Ｒ型の変換は、処理済みの左成分１４４４および処理済みの右成分１４４６を生成するために使用され得る。
【0190】
加算ユニット１４２６は、ＰＳＭモジュール１０２からの左チャネル１４３２を処理済みの左成分１４４４に加算して、左チャネル１４５２を生成する。加算ユニット１４２８は、ＰＳＭモジュール１０２からの右チャネル１４３４を、処理済みの右成分１４４６に加算して、右チャネル１４５４を生成する。より一般的には、ＰＳＭモジュール１０２からの一つもしくは複数の左チャネルは、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１４２４からの（例えば、ＰＳＭモジュール１０２によって処理されない、ハイパー成分／残留成分を使用して生成される）左成分に加算されて、左チャネル１４５２を生成し、ＰＳＭモジュール１０２からの一つもしくは複数の右チャネルは、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１４２４からの（例えば、ＰＳＭモジュール１０２によって処理されない、ハイパー成分／残留成分を使用して生成される）右成分に加算されて、右チャネル１４５４を生成し得る。
【0191】
そのため、直交成分処理器モジュール１４１７は、Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１２０６および直交成分生成器モジュール１２１２によって分離されるように、音声信号のハイパーミッド成分Ｍ１にＰＳＭ処理を適用する。次いで、（左チャネル１４３２および右チャネル１４３４を含む）ＰＳＭ強化ステレオ信号は、残留左信号／残留右信号（例えば、ハイパーミッド成分なしで生成される、処理済みの左成分１４４４および処理済みの右成分１４４６など）に加算することができる。機械学習ベースの音源分離を含む、この例に加えて、またはこの例の代わりに、ＰＳＭ処理に使用される入力信号の成分を分離するための他のアプローチが使用され得る。
【0192】
幾つかの実施形態では、直交成分処理器モジュール１４１７は、ハイパーミッド成分ＭＬの代わりに、音声信号のミッド成分ＭにＰＳＭ処理を適用する。図１４Ｂは、一つもしくは複数の実施形態による、直交成分処理器モジュール１４１９を示すブロック図を例証している。幾つかの実施形態では、図１４Ｂにおける直交成分処理器モジュール１４１９は、直交成分生成器モジュール１２１２がないが、図１２に示されるシステム１２００と同様の音声処理システムの一部として実装され得て、これにより、直交成分処理器モジュール１４１９が、ハイパーミッド成分、ハイパーサイド成分、残留ミッド成分、および残留サイド成分の代わりに、ミッド成分およびサイド成分信号（例えば、ミッド成分１２０８およびサイド成分１２１０など）を受信する。幾つかの実施形態では、直交成分処理器モジュール１４１０は、成分処理器モジュール１０６と同様の成分処理器モジュールを含んで、（図示されない）受信されたミッド成分およびサイド成分から処理済みのミッド成分および処理済みのサイド成分を生成する。ＰＳＭモジュール１０２は、ミッド成分Ｍ（もしくは処理済みのミッド）を受信し、ＰＳＭ処理を適用して受信されたミッド信号を空間的にシフトして、ミッド信号におけるＰＳＭ処理済みの左チャネル１４３２およびＰＳＭ処理済みの右チャネル１４３４を生成し、これらは、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１４２４によってサイド成分Ｓ（または処理済みのサイド）と結合されて、左チャネル１４５２および右チャネル１４５４を生成する。例えば、図１４Ｂに示されるように、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１４２４は、加算ユニット１４６０を使用して、ＰＳＭ処理済みの左チャネル１４３２およびサイド成分Ｓの加算として左チャネル１４５２を生成し、減算ユニット１４６２を使用して、ＰＳＭ処理済みの右チャネル１４３４およびサイド成分Ｓの加算として右チャネル１４５２を生成する。換言すれば、Ｍ／Ｓ－Ｌ／Ｒ変換器モジュール１４２４は、左チャネルに対する信号と右チャネルに対する信号反転とを組み合わせることにより、（左右の基準において、右成分の逆となる、左成分によって規定される部分空間に存在する）サイド信号を左右空間におけるＰＳＭ処理済みのステレオ信号に混合するサービスを行う。
【0193】
［サブバンド空間処理器の例］
図１５は、一つもしくは複数の実施形態による、サブバンド空間処理器モジュール１５１０を示すブロック図である。サブバンド空間処理器モジュール１５１０は、成分処理器モジュール１０６もしくは１５２０の成分の一例である。サブバンド空間処理器モジュール１５１０は、ミッドＥＱフィルタ１５０４（１）、ミッドＥＱフィルタ１５０４（２）、ミッドＥＱフィルタ１５０４（３）、ミッドＥＱフィルタ１５０４（４）、サイドＥＱフィルタ１５０６（１）、サイドＥＱフィルタ１５０６（２）、サイドＥＱフィルタ１５０６（３）、およびサイドＥＱフィルタ１５０６（４）を含む。サブバンド空間処理器モジュール１５１０に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
図１５は、一つもしくは複数の実施形態による、サブバンド空間処理器モジュール１５１０を示すブロック図である。サブバンド空間処理器モジュール１５１０は、成分処理器モジュール１０６もしくは１５２０の成分の一例である。サブバンド空間処理器モジュール１５１０は、ミッドＥＱフィルタ１５０４（１）、ミッドＥＱフィルタ１５０４（２）、ミッドＥＱフィルタ１５０４（３）、ミッドＥＱフィルタ１５０４（４）、サイドＥＱフィルタ１５０６（１）、サイドＥＱフィルタ１５０６（２）、サイドＥＱフィルタ１５０６（３）、およびサイドＥＱフィルタ１５０６（４）を含む。サブバンド空間処理器モジュール１５１０に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
【0194】
サブバンド空間処理器モジュール１５１０は、非空間成分Ｙｍおよび空間成分Ｙｓを受信し、これらの成分のうちの一つもしくは複数のサブバンドを利得調整して、空間強化を提供する。サブバンド空間処理器モジュール１５１０が成分処理器モジュール１４２０の一部である場合、非空間成分Ｙｍは、ハイパーミッド成分Ｍ１もしくは残留ミッド成分Ｍ２であり得る。空間成分Ｙｓは、ハイパーサイド成分Ｓ１もしくは残留サイド成分Ｓ２であり得る。サブバンド空間処理器モジュール１５１０が成分処理器モジュール１０６の一部である場合、非空間成分Ｙｍは、ミッド成分１２６であり得て、空間成分Ｙｓは、サイド成分１２８であり得る。
【0195】
サブバンド空間処理器モジュール１５１０は、非空間成分Ｙｍを受信し、ミッドＥＱフィルタ１５０４（１）ないし１５０４（４）をＹｍの異なるサブバンドに適用して、強調された非空間成分Ｅｍを生成する。また、サブバンド空間処理器モジュール１５１０は、空間成分Ｙｓを受信し、サイドＥＱフィルタ１５０６（１）ないし１５０６（４）をＹｓの異なるサブバンドに適用して、強調された空間成分Ｅｓを生成する。サブバンドフィルタは、ピーキングフィルタ、ノッチフィルタ、低域通過フィルタ、高域通過フィルタ、低域強調フィルタ、高強調フィルタ、帯域通過フィルタ、帯域阻止フィルタ、および／もしくは全域通過フィルタの種々の組み合わせを含むことができる。また、サブバンドフィルタは、それぞれのサブバンドに利得を適用し得る。より具体的には、サブバンド空間処理器モジュール１５１０は、非空間成分Ｙｍにおけるｎ個の周波数サブバンドの各々に対するサブバンドフィルタと、空間成分Ｙｓにおけるｎ個のサブバンドの各々に対するフィルタサブバンドとを含む。ｎ＝４のサブバンドの場合、例えば、サブバンド空間処理器モジュール１５１０は、サブバンド（１）に対するミッドイコライゼーション（ＥＱ）フィルタ１５０４（１）、サブバンド（２）に対するミッドイコライゼーション（ＥＱ）フィルタ１５０４（２）、サブバンド（３）に対するミッドＥＱフィルタ１５０４（３）、およびサブバンド（４）に対するミッドＥＱフィルタ１５０４（４）を含む、非空間成分Ｙｍに対する一連のサブバンドフィルタを含む。各ミッドＥＱフィルタ１５０４は、非空間成分Ｙｍの周波数サブバンド部分にフィルタ抽出を適用して、強調された非空間成分Ｅｍを生成する。
【0196】
サブバンド空間処理器モジュール１５１０は、サブバンド（１）に対するサイドイコライゼーション（ＥＱ）フィルタ１５０６（１）、サブバンド（２）に対するサイドＥＱフィルタ１５０６（２）、サブバンド（３）に対するサイドＥＱフィルタ１５０６（３）、およびサブバンド（４）に対するサイドＥＱフィルタ１５０６（４）を含む、空間成分Ｙｓの周波数サブバンドに対する一連のサブバンドフィルタをさらに含む。各サイドＥＱフィルタ１５０６は、空間成分Ｙｓの周波数サブバンド部分にフィルタ抽出を適用して、強調された空間成分Ｅｓを生成する。
【0197】
非空間成分Ｙｍおよび空間成分Ｙｓにおけるｎ個の周波数サブバンドの各々は、ある周波数範囲に対応し得る。例えば、周波数サブバンド（１）は、０～３００Ｈｚに対応し得て、周波数サブバンド（２）は、３００～５１０Ｈｚに対応し得て、周波数サブバンド（３）は５１０～２７００Ｈｚに対応し得て、周波数サブバンド（４）は、２７００Ｈｚからナイキスト周波数（Nyquist frequency）に対応し得る。幾つかの実施形態では、ｎ個の周波数サブバンドの各々は、統合された臨界帯域（critical bands）のセットである。臨界帯域は、広範な各種音楽ジャンルからの音声サンプルのコーパスを使用して決定され得る。２４バーク尺度（Bark scale）の臨界帯域に亘るミッド成分ないしサイド成分の長期平均エネルギー比（long term average energy ratio）が、サンプルから決定される。次いで、同様の長期平均比（long term average ratio）を有する連続した周波数帯域が、共にグループ化されて、一連の臨界帯域を形成する。周波数サブバンドの範囲および周波数サブバンドの数は、調整可能であり得る。
【0198】
幾つかの実施形態では、サブバンド空間処理器モジュール１５１０は、残留ミッド成分Ｍ２を非空間成分Ｙｍとして処理し、サイド成分、ハイパーサイド成分Ｓ１、もしくは残留サイド成分Ｓ２のうちの一つを空間成分Ｙｓとして使用する。
【0199】
幾つかの実施形態では、サブバンド空間処理器モジュール１５１０は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残留ミッド成分Ｍ２、および残留サイド成分Ｓ２のうちの一つもしくは複数を処理する。これらの成分の各々のサブバンドに適用されるフィルタは、相違し得る。ハイパーミッド成分Ｍ１および残留ミッド成分Ｍ２は、非空間成分Ｙｍについて説明されるように、それぞれ処理され得る。ハイパーサイド成分Ｓ１および残留サイド成分Ｓ２は、空間成分Ｙｓについて説明されるように、それぞれ処理され得る。
【0200】
［クロストーク補償処理器の例］
図１６は、一つもしくは複数の実施形態による、クロストーク補償処理器モジュール１６１０を示すブロック図である。クロストーク補償処理器モジュール１６１０は、成分処理器モジュール１０６もしくは１４２０のコンポーネントの一例である。クロストーク補償処理器モジュール１６１０に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント成分間に機能を分散することができる。
図１６は、一つもしくは複数の実施形態による、クロストーク補償処理器モジュール１６１０を示すブロック図である。クロストーク補償処理器モジュール１６１０は、成分処理器モジュール１０６もしくは１４２０のコンポーネントの一例である。クロストーク補償処理器モジュール１６１０に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント成分間に機能を分散することができる。
【0201】
クロストーク補償処理器モジュール１６１０は、ミッド成分処理器１６２０およびサイド成分処理器１６３０を含む。クロストーク補償処理器モジュール１６１０は、非空間成分Ｙｍおよび空間成分Ｙｓを受信し、これらの成分のうちの一つもしくは複数にフィルタ抽出を適用して、（例えば、後または前の）クロストーク処理によって引き起こされるスペクトル欠陥（spectral defects）に対する補償を行う。クロストーク補償処理器モジュール１６１０が成分処理器モジュール１４２０の一部である場合、非空間成分Ｙｍは、ハイパーミッド成分Ｍ１もしくは残留ミッド成分Ｍ２であり得る。空間成分Ｙｓは、ハイパーサイド成分Ｓ１もしくは残留サイド成分Ｓ２であり得る。クロストーク補償処理器モジュール１６１０が成分処理器モジュール１０６の一部である場合、非空間成分Ｙｍは、ミッド成分１２６であり得て、空間成分Ｙｓは、サイド成分１２８であり得る。
【0202】
クロストーク補償処理器モジュール１６１０は、非空間成分Ｙｍを受信し、ミッド成分処理器１６２０は、一組のフィルタを適用して、強調された非空間クロストーク補償成分Ｚｍを生成する。また、クロストーク補償処理器モジュール１６１０は、空間サブバンド成分Ｙｓを受信し、サイド成分処理器１６３０において一組のフィルタを適用して、強調された空間サブバンド成分Ｅｓを生成する。ミッド成分処理器１６２０は、ｍ個のミッドフィルタ１６４０（ａ）、１６４０（ｂ）から１６４０（ｍ）までなどの、複数のフィルタ１６４０を含む。ここで、ｍ個のミッドフィルタ１６４０の各々は、非空間成分Ｘｍにおけるｍ個の周波数帯域のうちの一つを処理する。したがって、ミッド成分処理器１６２０は、非空間成分Ｘｍを処理することによって、ミッドクロストーク補償チャネルＺｍを生成する。幾つかの実施形態では、ミッドフィルタ１６４０は、シミュレーションによるクロストーク処理を伴う、非空間成分Ｘｍの周波数応答プロットを使用して構成される。さらに、周波数応答プロットを分析することによって、クロストーク処理のアーティファクトとして発生する、所定の閾値（例えば、１０ｄＢなど）を超える周波数応答プロットにおけるピークもしくはトラフ（peaks or troughs）などの、任意のスペクトル欠陥を推定することができる。これらのアーティファクトは、主に、クロストーク処理において、遅延され、およびおそらく反転された対側信号（contralateral signals）が対応する同側信号（ipsilateral signals）に加算されることによって生じ、それによって効果的に最終レンダリング結果に対する櫛形フィルタ様（comb filter-like）の周波数応答を導入する。ミッドクロストーク補償チャネルＺｍは、推定されるピークもしくはトラフの補償を行うために、ミッド成分処理器１６２０によって生成することができ、ｍ個の周波数帯域の各々がピークもしくはトラフに対応する。具体的には、クロストーク処理に適用される具体的な遅延、フィルタ抽出周波数、および利得に基づいて、周波数応答においてピークもしくはトラフが上下にシフトし、スペクトルの具体的な領域においてエネルギーの可変増幅および／もしくは可変減衰を引き起こす。ミッドフィルタ１６４０の各々は、ピークおよびトラフのうちの一つもしくは複数を調整するように構成され得る。
【0203】
サイド成分処理器１６３０は、ｍ個のサイドフィルタ１６５０（ａ）、１６５０（ｂ）から１６５０（ｍ）までなどの、複数のフィルタ１６５０を含む。サイド成分処理器１６３０は、空間成分Ｘｓを処理することによって、サイドクロストーク補償チャネルＺｓを生成する。幾つかの実施形態では、クロストーク処理を伴う空間Ｘの周波数応答プロットは、シミュレーションを通じて取得することができる。周波数応答プロットを分析することにより、クロストーク処理のアーティファクトとして発生する、所定の閾値（例えば、１０ｄＢなど）を超える周波数応答プロットにおけるピークもしくはトラフなどの、任意のスペクトル欠陥を推定することができる。サイドクロストーク補償チャネルＺｓは、推定されるピークもしくはトラフの補償を行うために、サイド成分処理器１６３０によって生成することができる。具体的には、クロストーク処理に適用される具体的な遅延、フィルタ抽出周波数、および利得に基づいて、周波数応答においてピークもしくはトラフが上下にシフトし、スペクトルの具体的な領域においてエネルギーの可変増幅および／もしくは可変減衰を引き起こす。サイドフィルタ１６５０の各々は、一つもしくは複数のピークもしくはトラフを調整するように構成され得る。幾つかの実施形態では、ミッド成分処理器１６２０およびサイド成分処理器１６３０は、異なる数のフィルタを含み得る。
【0204】
幾つかの実施形態では、ミッドフィルタ１６４０およびサイドフィルタ１６５０は、式（７）によって定義される伝達関数を有する双二次フィルタを含み得る。このようなフィルタを実装する一つの方法は、式（２２）によって定義されるような直接形式Ｉトポロジーである。すなわち、
【0205】
【数40】
【0206】
ここで、Ｘは入力ベクトルであり、Ｙは出力である。それらの最大語長および飽加算動作に応じて、他のトポロジーが使用され得る。次いで、双二次は、実数値の入力および出力を有する二次フィルタを実装するために使用することができる。離散時間フィルタを設計するには、連続時間フィルタが設計され、次いで、双一次変換（bilinear transform）によって離散時間に変換される。さらに、結果として得られる中心周波数および帯域幅におけるシフトは、周波数ワーピング（frequency warping）を使用して補償され得る。
【0207】
例えば、ピーキングフィルタは、式（２３）によって定義されるＳ面伝達関数（S-plane transfer function）を有し得る。すなわち、
【0208】
【数41】
【0209】
ここで、ｓは複素変数であり、Ａはピーク振幅であり、Ｑはフィルタ「品質」であり、デジタルフィルタ係数は、次の式（２４）によって定義される。
【0210】
【数42】
【0211】
ここで、ω０は、ラジアン単位のフィルタ中心周波数であり、
【0212】
【数43】
【0213】
である。さらに、フィルタ品質Ｑは、式（２５）によって定義され得る。すなわち、
【0214】
【数44】
【0215】
ここで、Δｆは帯域幅であり、ｆｃは中心周波数である。ミッドフィルタ１６４０は、直列であるものとして示され、サイドフィルタ１６５０は、直列であるものとして示される。幾つかの実施形態では、ミッドフィルタ１６４０は、ミッド成分Ｘｍに対して並列に適用され、サイドフィルタは、サイド成分Ｘｓに対して並列に適用される。
【0216】
幾つかの実施形態では、クロストーク補償処理器モジュール１６１０は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残留ミッド成分Ｍ２、および残留サイド成分Ｓ２の各々を処理する。これらの成分の各々に適用されるフィルタは、相違し得る。
【0217】
［クロストーク処理器の例］
図１７は、一つもしくは複数の実施形態による、クロストークシミュレーション処理器モジュール１７００を示すブロック図である。クロストークシミュレーション処理器モジュール１７００は、クロストーク処理器モジュール１１０もしくはクロストーク処理器モジュール１２２４の一例である。クロストークシミュレーション処理器モジュール１７００に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
図１７は、一つもしくは複数の実施形態による、クロストークシミュレーション処理器モジュール１７００を示すブロック図である。クロストークシミュレーション処理器モジュール１７００は、クロストーク処理器モジュール１１０もしくはクロストーク処理器モジュール１２２４の一例である。クロストークシミュレーション処理器モジュール１７００に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
【0218】
クロストークシミュレーション処理器モジュール１７００は、ステレオヘッドフォンに出力するための対側音響成分（contralateral sound components）を生成し、それによってヘッドフォン上でラウドスピーカー様（loudspeaker-like）の聴取体験（聴取体験）を提供する。左入力チャネルＸＬは、処理済みの左成分１３４／１２２０であり得て、右入力チャネルＸＲは、処理済みの右成分１３６／１２２２であり得る。
【0219】
クロストークシミュレーション処理器モジュール１７００は、左入力チャネルＸＬを処理するために、左ヘッドシャドウ低域通過フィルタ１７０２、左ヘッドシャドウ高域通過フィルタ１７２４、左クロストーク遅延１７０４、および左ヘッドシャドウ利得１７１０を含む。クロストークシミュレーション処理器モジュール１７００は、右入力チャネルＸＲを処理するために、右ヘッドシャドウ低域通過フィルタ１７０６、右ヘッドシャドウ高域通過フィルタ１７２６、右クロストーク遅延１７０８、および右ヘッドシャドウ利得１７１２をさらに含む。クロストークシミュレーション処理器モジュール１５００は、加算ユニット１７１４および加算ユニット１７１６をさらに含む。
【0220】
左ヘッドシャドウ低域通過フィルタ１７０２および左ヘッドシャドウ高域通過フィルタ１７２４は、傾聴者の頭部を通過した後の信号の周波数応答をモデル化する、左入力チャネルＸＬに変調を適用する。左ヘッドシャドウ高域通過フィルタ１７２４の出力は、左クロストーク遅延１７０４に供給され、これは、時間遅延を適用する。この時間遅延は、同側音響成分（ipsilateral sound component）に対して対側音響成分によって通過される、経耳距離（transaural distance）を表す。左ヘッドシャドウ利得１７１０は、左クロストーク遅延１７０４の出力に利得を適用して、右左シミュレーションチャネルＷＬを生成する。
【0221】
同様に、右入力チャネルＸＲについては、右ヘッドシャドウ低域通過フィルタ１７０６および右ヘッドシャドウ高域通過フィルタ１７２６は、傾聴者の頭部における周波数応答をモデル化する、変調を右入力チャネルＸＲに適用する。右ヘッドシャドウ高域通過フィルタ１７２６の出力は、右クロストーク遅延１７０８に供給され、これは、時間遅延を適用する。右ヘッドシャドウ利得１７１２は、右クロストーク遅延１７０８の出力に利得を適用して、右クロストークシミュレーションチャネルＷＲを生成する。
【0222】
左右のチャネルの各々に対するヘッドシャドウ低域通過フィルタ、ヘッドシャドウ高域通過フィルタ、クロストーク遅延、およびヘッドシャドウ利得の適用は、相違する順序において実行され得る。
【0223】
加算ユニット１７１４は、右クロストークシミュレーションチャネルＷＲおよび左入力チャネルＸＬを加算して、左出力チャネルＯＬを生成する。加算ユニット１７１６は、左クロストークシミュレーションチャネルＷＬおよび右入力チャネルＸＲを加算して、左出力チャネルＯＲを生成する。
【0224】
図１８は、一つもしくは複数の実施形態による、クロストークキャンセル処理器モジュール１８００を示すブロック図である。クロストークキャンセル処理器モジュール１８００は、クロストーク処理器モジュール１１０もしくはクロストーク処理器モジュール１２２４の一例である。キャンセル処理器モジュール１８００に関する幾つかの実施形態は、本明細書に説明されるものとは異なるコンポーネントを有する。同様に、場合によっては、本明細書に説明されるものとは異なる方式において、コンポーネント間に機能を分散することができる。
【0225】
クロストークキャンセル処理器モジュール１８００は、左入力チャネルＸＬおよび右入力チャネルＸＲを受信し、チャネルＸＬ、ＸＲ上でクロストークキャンセルを実行して、左出力チャネルＯＬおよび右出力チャネルＯＲを生成する。左入力チャネルＸＬは、処理済みの左成分１３４／１２２０であり得て、右入力チャネルＸＲは、処理された右成分１３６／１２２２であり得る。
【0226】
クロストークキャンセル処理器モジュール１８００は、帯域内外分割器１８１０、インバータ１８２０および１８２２、対側推定器１８３０および１８４０、結合器１８５０および１８５２、ならびに帯域内外結合器１８６０を含む。これらのコンポーネントは、連携して動作して、入力チャネルＴＬ、ＴＲを帯域内成分および帯域外成分に分割し、帯域内成分に対してクロストークキャンセルを実行して、出力チャネルＯＬ、ＯＲを生成する。
【0227】
入力音声信号Ｔを異なる周波数帯域成分に分割し、選択的な成分（例えば、帯域内成分など）に対してクロストークキャンセルを実行することにより、他の周波数帯域における劣化（degradations）を回避しつつ、特定の周波数帯域に対してクロストークキャンセルを実行することができる。入力音声信号Ｔを異なる周波数帯域に分割することなく、クロストークキャンセルが実行される場合、そのようなクロストークキャンセル後の音声信号は、低周波数（例えば、３５０Ｈｚ未満など）、高周波数（例えば、１２０００Ｈｚ超など）、もしくはその両方における非空間成分および空間成分に大幅な減衰もしくは増幅を示す可能性がある。影響力のある空間的示唆の大部分が存在する、帯域内（例えば、２５０ＨＺから１４０００Ｈｚまでの間など）に対するクロストークキャンセルを選択的に実行することにより、ミックスにおけるスペクトルに亘って、特に、非空間成分において均整を保つ全体的なエネルギーを保持することができる。
【0228】
帯域内外分割器１８１０は、入力チャネルＴＬ、ＴＲを帯域内チャネルＴＬ，Ｉｎ、ＴＲ，Ｉｎ、および帯域外チャネルＴＬ，Ｏｕｔ、ＴＲ，Ｏｕｔにそれぞれ分離する。特に、帯域内外分割器１８１０は、左強化補償チャネルＴＬを左帯域内チャネルＴＬ，Ｉｎおよび左帯域外チャネルＴＬ，Ｏｕｔに分離する。同様に、帯域内外分割器１８１０は、右強化補償チャネルＴＲを右帯域内チャネルＴＲ，Ｉｎ、右帯域外チャネルＴＲ，Ｏｕｔに分離する。各帯域内チャネルは、例えば、２５０Ｈｚないし１４ｋＨｚを含む周波数範囲に対応するそれぞれの入力チャネルの一部を包含し得る。周波数帯域の範囲は、例えば、スピーカーのパラメータに従って、調整可能であり得る。
【0229】
インバータ１８２０および対側推定器１８３０は連携して動作して、左対側キャンセル成分ＳＬを生成して、左帯域内チャネルＴＬ，Ｉｎに起因する対側音響成分に対する補償を行う。同様に、インバータ１８２２および対側推定器１８４０は連携して動作して、右対側キャンセル成分ＳＲを生成して、右帯域内チャネルＴＲ，Ｉｎに起因する対側音響成分に対する補償を行う。
【0230】
一つのアプローチでは、インバータ１８２０は、帯域内チャネルＴＬ，Ｉｎを受信し、受信済みの帯域内チャネルＴＬ，Ｉｎの極性を反転して、反転された帯域内チャネルＴＬ，Ｉｎ’を生成する。対側推定器１８３０は、反転された帯域内チャネルＴＬ，Ｉｎ’を受信し、フィルタ抽出を通じて対側音響成分に対応する、反転された帯域内チャネルＴＬ，Ｉｎ’の一部分を抽出する。フィルタ抽出は、反転された帯域内チャネルＴＬ，Ｉｎ’に対して実行されるため、対側推定器１８３０によって抽出される部分は、対側音響成分に帰属する帯域内チャネルＴＬ，Ｉｎの一部分の反転となる。それゆえ、対側推定器１８３０によって抽出される部分は、左対側キャンセル成分ＳＬとなり、これを対応する帯域内チャネルＴＲ，Ｉｎに追加して、帯域内チャネルＴＬ，Ｉｎに起因する対側音響成分を低減させることができる。幾つかの実施形態では、インバータ１８２０および対側推定器１８３０は、相違するシーケンスにおいて実装される。
【0231】
インバータ１８２２および対側推定器１８４０は、帯域内チャネルＴＲ，Ｉｎに関して同様の動作を実行して、右対側キャンセル成分ＳＲを生成する。したがって、簡潔にするために、その詳細な説明については、本明細書では省略される。
【0232】
一つの実装例では、対側推定器１８３０は、フィルタ１８３２、増幅器１８３４、および遅延ユニット１８３６を含む。フィルタ１８３２は、反転入力チャネルＴＬ，Ｉｎ’を受信し、フィルタ抽出機能を通じて対側音響成分に対応する反転帯域内チャネルＴＬ，Ｉｎ’の一部分を抽出する。フィルタの実装例は、５０００Ｈｚおよび１００００Ｈｚの間で選択される中心周波数、０．５および１／０の間で選択されるＱを有する、ノッチフィルタもしくは高域強調フィルタである。デシベル単位の利得（ＧｄＢ）は、式（２６）から導出され得る。
【0233】
【数45】
【0234】
ここで、Ｄは、例えば、４８ＫＨｚのサンプルリングレートにおける、サンプル単位の遅延ユニット１８３６による遅延量である。代替の実装は、５０００Ｈｚおよび１００００Ｈｚの間で選択されるコーナー周波数、および０．５および１．０の間で選択されるＱを有する低域通過フィルタである。さらに、増幅器１８３４は、抽出された部分を対応する利得係数ＧＬ，Ｉｎによって増幅し、遅延ユニット１８３６は、増幅器１８３４からの増幅出力を遅延関数Ｄに従って遅延させて、左対側キャンセル成分ＳＬを生成する。対側推定器１８４０は、フィルタ１８４２、増幅器１８４４、および反転帯域内チャネルＴＲ，Ｉｎ’に対する同様の動作を実行して、右対側キャンセル成分ＳＲを生成する。一例では、対側推定器１８３０、１８４０は、以下の式に従って、左側および右側の対側キャンセル成分ＳＬ、ＳＲを生成する。すなわち、
【0235】
【数46】
【0236】
ここで、Ｆ［］はフィルタ関数であり、Ｄ［］は遅延関数である。
【0237】
クロストークキャンセルの構成は、スピーカーのパラメータによって決定することができる。一例では、フィルタ中心周波数、遅延量、増幅器利得、およびフィルタ利得は、傾聴者に対して二つのスピーカーの間に形成される角度に従って決定され得る。幾つかの実施形態では、スピーカー角度の間の値は、他の値を補間するために使用される。
【0238】
結合器１８５０は、右対側キャンセル成分ＳＲを左帯域内チャネルＴＬ，Ｉｎに結合させて、左帯域内クロストークチャネルＵＬを生成し、結合器１８５２は、左対側キャンセル成分ＳＬを右帯域内チャネルＴＲ，Ｉｎに結合させて、右帯域内クロストークチャネルＵＲを生成する。帯域内外結合器１８６０は、左帯域内クロストークチャネルＵＬを帯域外チャネルＴＬ，Ｏｕｔと結合させて、左出力チャネルＯＬを生成し、右帯域内クロストークチャネルＵＲを帯域外チャネルＴＲ，Ｏｕｔと結合させて、右出力チャネルＯＲを生成する。
【0239】
したがって、左出力チャネルＯＬは、対側音に帰属する帯域内チャネルＴＲ，Ｉｎの一部分の逆に対応する右対側キャンセル成分ＳＲを含み、右出力チャネルＯＲは、対側音に帰属する帯域内チャネルＴＬ，Ｉｎの一部分の逆に対応する左対側キャンセル成分ＳＬを含む。この構成では、右出力チャネルＯＲに従って右ラウドスピーカーによって出力される同側音響成分の波面が右耳に到達すると、左出力チャネルＯＬに従って左ラウドスピーカーによって出力される対側音響成分の波面を打ち消すことができる。同様に、左出力チャネルＯＬに従って左ラウドスピーカーによって出力される同側音響成分の波面が左耳に到達すると、右出力チャネルＯＲに従って右スピーカーによって出力される対側音響成分の波面を打ち消すことができる。そのため、対側音響成分は、空間検出性を高めるように低減させることができる。
【0240】
［ＰＳＭプロセスフローの例］
図１９は、一つもしくは複数の実施形態による、ＰＳＭ処理のプロセス１９００を示すフローチャートである。プロセス１９００は、より少ないステップもしくは追加のステップを含んでもよく、ステップは、相違する順序において実行されてもよい。幾つかの実施形態では、ＰＳＭ処理は、ヒルベルト変換式知覚サウンドステージ修正（ＨＰＳＭ）モジュールを使用して実行され得る。
図１９は、一つもしくは複数の実施形態による、ＰＳＭ処理のプロセス１９００を示すフローチャートである。プロセス１９００は、より少ないステップもしくは追加のステップを含んでもよく、ステップは、相違する順序において実行されてもよい。幾つかの実施形態では、ＰＳＭ処理は、ヒルベルト変換式知覚サウンドステージ修正（ＨＰＳＭ）モジュールを使用して実行され得る。
【0241】
ステップ１９０５では、音声処理システム（例えば、音声処理システム１００もしくは１２００のＰＳＭモジュール１０２など）は、入力チャネルを低周波数成分および高周波数成分に分離する。低周波数成分および高周波数成分の間の境界を規定するクロスオーバー周波数は、ＰＳＭ処理の対象となる周波数が高周波数成分に含まれるようにするように、調整可能であり得る。幾つかの実施形態では、音声処理システムは、低周波数成分および／もしくは高周波数成分に利得を適用する。
【0242】
入力チャネルは、ＰＳＭ処理のために抽出される音声信号の特定部分でありことがある。幾つかの実施形態では、入力チャネルは、（例えば、ステレオもしくはマルチチャネルなど）音声信号のミッド成分もしくはサイド成分である。幾つかの実施形態では、入力チャネルは、音声信号のハイパーミッド成分、ハイパーサイド成分、残留ミッド成分、もしくは残留サイド成分である。幾つかの実施形態では、入力チャネルは、他の音と音声ミックスに結合されるべきである、発声もしくは楽器などの、音源に関連付けられる。
【0243】
ステップ１９１０では、音声処理システムは、第一のヒルベルト変換を高周波数成分に適用して、第一の左脚成分および第一の右脚成分を生成し、第一の左脚成分は、第一の右脚成分に対して９０度位相がずれている。
【0244】
ステップ１９１５では、音声処理システムは、第二のヒルベルト変換を第一の右脚成分に適用して、第二の左脚成分および第二の右脚成分を生成し、第一の左脚成分は、第一の右脚成分に対して９０度位相がずれている。
【0245】
幾つかの実施形態では、音声処理システムは、第一の左脚成分に遅延および／もしくは利得を適用する。音声処理システムは、第二の右脚成分に遅延および／もしくは利得を適用し得る。これらの利得および遅延は、ＰＳＭ処理の知覚結果を操作するために使用され得る。
【0246】
ステップ１９２０では、音声処理システムは、第一の左脚成分を低周波数成分に結合させて、左チャネルを生成する。ステップ１９２５では、音声処理システムは、第二の右脚成分を低周波数成分に結合させて、右チャネルを生成する。左チャネルは、左スピーカーに提供され得て、右チャネルは、右スピーカーに提供され得る。
【0247】
図２０は、幾つかの実施形態による、一次非直交回転ベースの相関除去（ＦＮＯＲＤ）フィルタネットワークを使用する、ＰＳＭ処理のための別のプロセス２０００を示すフローチャートである。図２０に示される処理は、音声システム（例えば、システム１００、２０２、もしくは１２００など）のコンポーネントによって実行され得る。他のエンティティは、他の実施形態では、図２におけるステップの一部または全部を実行し得る。実施形態は、相違するステップおよび／もしくは追加のステップを含んでもよいし、または相違する順序においてステップを実行してもよい。
【0248】
ステップ２００５では、音声システムは、結果として得られる複数のチャネルを生成するために、モノラル音声信号に符号化される一つもしくは複数の空間的示唆を規定する目標振幅応答を決定し、一つもしくは複数の空間的示唆は、結果として得られるチャネルのミッド空間／サイド空間に符号化される一つもしくは複数の周波数依存振幅示唆に関連付けられ、これらのチャネルのミッド空間／サイド空間は、結果として得られるチャネルの全体的なカラレーションを変化させない。一つもしくは複数の空間的示唆は、目標仰角に関連付けられる少なくとも一つの仰角示唆を含み得る。各仰角示唆は、一つもしくは複数の特定の周波数における無限減衰の狭い領域に対応する目標振幅関数などの、音声信号のミッド空間／サイド空間に符号化される一つもしくは複数の周波数依存振幅示唆に対応し得る。一方、仰角に対する左右の示唆は、典型的には、カラレーションに対称であるため、左右の信号は、カラーレスになるように制約され得る。幾つかの実施形態では、空間的示唆は、サンプル抽出されるＨＲＴＦに基づき得る。
【0249】
幾つかの実施形態では、目標振幅応答は、目標広帯域減衰、目標サブバンド減衰、臨界点、フィルタ特性、および／もしくは示唆が埋め込まれるべきであるサウンドステージの位置を含み得る、一つもしくは複数のパラメトリック空間的示唆をさらに規定し得る。臨界点は、３ｄＢにおける変曲点である可能性がある。フィルタ特性は、高域通過フィルタ特性、低域通過特性、帯域通過特性、もしくは帯域除去特性のうちの一つを含み得る。サウンドステージの位置には、ミッドチャネルもしくはサイドチャネルが含まれることがあり、または出力チャネルの数が二つより多い場合には、ペア毎、ならびに／または階層的な加算および／もしくは差分を介して決定されるものなどの、出力空間内の他のサブスペースも含まれることがある。一つもしくは複数の空間的示唆は、プレゼンテーション機器の特性（例えば、話者の周波数応答、話者の位置など）、音声データの予想される内容、場面における傾聴者の知覚能力、または関係する音声プレゼンテーションシステムに期待される最低品質に基づいて、決定され得る。例えば、話者が２００Ｈｚ未満の周波数を十分に再生することが不可能である場合、この範囲に埋め込まれた空間的示唆は、避けるべきである。同様に、予期される音声のコンテンツがスピーチである場合、音声システムは、スピーチの予期される帯域幅内にある、耳が最も敏感である周波数のみに影響を与える、目標振幅応答を選択し得る。傾聴者が、その場所にあるスピーカーのアレイなどの、状況における他の源から可聴的示唆（audible cues）を導き出すことになる場合、音声システムは、それらの同時的示唆（simultaneous cues）を補完している目標振幅応答を決定し得る。
【0250】
ステップ２０１０では、音声システムは、目標振幅応答に基づいて、単一入力複数出力の全域通過フィルタに対する伝達関数を決定する。この伝達関数は、出力チャネルの位相角における相対的回転を規定する。この伝達関数は、周波数の関数としての位相角回転（phase angle rotations）の観点から、各出力に対してフィルタネットワークがその入力に与える影響を表す。
【0251】
ステップ２０１５では、音声システムは、伝達関数に基づいて、全域通過フィルタの係数を決定する。これらの係数は、示唆および／もしくは制約の種類に最適な方式において選択され、到来する音声ストリームに適用されることになる。係数セットの幾つかの例は、式 （１２）、（１３）、（１７）、および（１９）において定義されている。幾つかの実施形態では、伝達関数に基づいて全域通過フィルタの係数を決定することは、逆離散フーリエ変換（ｉｄｆｔ）を使用することを含む。この場合、係数セットは、式（１９）によって定義されるように決定され得る。幾つかの実施形態では、伝達関数に基づいて全域通過フィルタの係数を決定することは、フェーズボコーダ（phase-vocoder）を使用することを含む。この場合、係数セットは、時間領域データを再合成する前に、周波数領域に適用されることになることを除いて、式（１９）によって定義されるように決定され得る。幾つかの実施形態では、これらの係数は、受信された臨界点パラメータ、フィルタ特性パラメータ、およびサウンドステージ位置パラメータに基づいて決定される、少なくとも回転制御パラメータおよび一次係数を含む。
【0252】
音声システム２０２０は、モノラルチャネルを全域通過フィルタの係数によって処理して、複数のチャネルを生成する。例えば、幾つかの実施形態では、全域通過フィルタモジュールは、モノラル音声チャネルを受信し、モノラル音声チャネルに対して広帯域位相回転を実行して、回転制御パラメータに基づいて、複数の広帯域回転成分チャネル（例えば、左右の広帯域回転成分など）を生成し、一次係数に基づいて、複数の広帯域回転成分チャネルのうちの少なくとも一つに対して狭帯域位相回転を実行して、狭帯域回転成分チャネルを決定し、これらは、広帯域回転成分チャネルの一つもしくは複数の残りのチャネルと共に、音声システムによって出力される複数のチャネルを形成する。
【0253】
幾つかの実施形態では、式（８）におけるように、ＩＩＲ実装を使用して、システムが時間領域において動作している場合、これらの係数は、適切なフィードバック遅延およびフィードフォワード遅延を調整し得る。式（１９）におけるように、ＦＩＲ実装が使用される場合、フィードフォワード遅延のみが使用され得る。係数がスペクトル領域において決定され適用される場合、係数は、再合成を行う前に、複素乗算としてスペクトルデータに適用され得る。音声システムが、ネットワークを介して音声システムに接続されるユーザー機器などの、プレゼンテーション機器に複数の出力チャネルを提供し得る。
【0254】
上述されるＰＳＭ処理フローの例は、全域通過フィルタのネットワークをそれぞれ利用して、サウンドステージにおける特定位置（例えば、目標仰角に関連付けられた位置など）にモノラルコンテンツを知覚的に配置することにより、空間的示唆を符号化する。本明細書に説明される全域通過フィルタのネットワークはカラーレスであるため、これらのフィルタは、ユーザーが音声の空間的配置をその全体的なカラレーションから減結合することを可能にする。
【0255】
［直交成分の空間処理］
図２１は、一つもしくは複数の実施形態による、ハイパーミッド、残留ミッド、ハイパーサイド、もしくは残留サイド成分のうちの少なくとも一つを使用する、空間処理のためのプロセス２１００を示すフローチャートである。空間処理には、利得の適用、振幅もしくは遅延ベースのパンニング、バイノーラル処理、残響処理、圧縮および制限などのダイナミックレンジ処理、線形もしくは非線形の音声処理技術および効果、コーラス効果、フランジング効果、他の技術の中でもとりわけ、発声スタイルもしくは楽器スタイルの転送、変換または再合成に対する機械学習ベースのアプローチなどが含まれ得る。このプロセスは、空間的に強調された音声をユーザーの機器に提供するために実行され得る。このプロセスは、より少ないステップもしくは追加のステップを含み得て、ステップは、相違する順序において実行され得る。
図２１は、一つもしくは複数の実施形態による、ハイパーミッド、残留ミッド、ハイパーサイド、もしくは残留サイド成分のうちの少なくとも一つを使用する、空間処理のためのプロセス２１００を示すフローチャートである。空間処理には、利得の適用、振幅もしくは遅延ベースのパンニング、バイノーラル処理、残響処理、圧縮および制限などのダイナミックレンジ処理、線形もしくは非線形の音声処理技術および効果、コーラス効果、フランジング効果、他の技術の中でもとりわけ、発声スタイルもしくは楽器スタイルの転送、変換または再合成に対する機械学習ベースのアプローチなどが含まれ得る。このプロセスは、空間的に強調された音声をユーザーの機器に提供するために実行され得る。このプロセスは、より少ないステップもしくは追加のステップを含み得て、ステップは、相違する順序において実行され得る。
【0256】
ステップ２１１０では、音声処理システム（例えば、音声処理システム１２００など）は、入力音声信号（例えば、左チャネル１２０２および右入力チャネル１２０４など）を受信する。幾つかの実施形態では、入力音声信号は、複数の左右チャネル対を含む、マルチチャネル音声信号であり得る。各左右チャネル対は、左右の入力チャネルについて、本明細書に説明されるように処理され得る。
【0257】
ステップ２１２０では、音声処理システムは、入力音声信号から非空間ミッド成分（例えば、ミッド成分１２０８など）および空間サイド成分（例えば、サイド成分１２１０など）を生成する。幾つかの実施形態では、Ｌ／Ｒ－Ｍ／Ｓ変換器（例えば、Ｌ／Ｒ－Ｍ／Ｓ変換器モジュール１２０６など）は、ミッドおよびサイド成分への入力音声信号の変換を実行する。
【0258】
ステップ２１３０では、音声処理システムは、ハイパーミッド成分（例えば、ハイパーミッド成分Ｍ１など）、ハイパーサイド成分（例えば、ハイパーサイド成分Ｓ１など）、残留ミッド成分（例えば、残留ミッド成分Ｍ２など）、および残留サイド成分（例えば、残留サイド成分Ｓ２など）のうちの少なくとも一つを生成する。音声処理システムは、上記に列挙される成分の少なくとも一つおよび／もしくは全てを生成し得る。ハイパーミッド成分は、ミッド成分のスペクトルエネルギーから除去されるサイド成分のスペクトルエネルギーをふくむ。残留ミッド成分は、ミッド成分のスペクトルエネルギーから除去されるハイパーミッド成分のスペクトルエネルギーを含む。ハイパーサイド成分は、サイド成分のスペクトルエネルギーから除去されるミッド成分のスペクトルエネルギーを含む。残留サイド成分は、サイド成分のスペクトルエネルギーから除去されるハイパーサイド成分のスペクトルエネルギーを含む。Ｍ１、Ｍ２、Ｓ１、もしくはＳ２を生成するために使用される処理は、周波数領域または時間領域において実行され得る。
【0259】
ステップ２１４０では、音声処理システムは、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、および残留サイド成分のうちの少なくとも一つをフィルタ抽出して、音声信号を強化させる。フィルタ抽出は、ＨＰＳＭ処理を含み得て、一連のヒルベルト変換が、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、もしくは残留サイド成分の高周波数成分に適用される。一例では、ハイパーミッド成分は、ＨＰＳＭ処理を受けるが、一方、残留ミッド成分、ハイパーサイド成分、もしくは残留サイド成分のうちの一つもしくは複数は、他種類のフィルタ抽出を受ける。
【0260】
フィルタ抽出は、ＰＳＭ処理を含み得て、図１０Ａおよび１０Ｂに関連してより詳細に上述されるように、空間的示唆のパラメトリック仕様を通じて、または式（２０）に関連して上述されるように、ＨＲＴＦデータの身体計測のサンプル抽出を介しての何れかによって、空間的示唆がカラーレスに符号化される。一例では、ハイパーミッド成分は、ＰＳＭ処理を受けるが、一方、残留ミッド成分、ハイパーサイド成分、もしくは残留サイド成分のうちの一つもしくは複数は、フィルタ抽出を受けないか、または他種類のフィルタ抽出を受ける。
【0261】
フィルタ抽出には、空間的示唆の処理のような他種類のフィルタ抽出が含まれ得る。空間的示唆の処理は、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、または残留サイド成分の周波数依存振幅もしくは周波数依存遅延を調整することを含み得る。空間的示唆の処理の例には、振幅もしくは遅延ベースのパンニング、またはバイノーラル処理が含まれる。
【0262】
フィルタ抽出には、圧縮もしくは制限などの、ダイナミックレンジ処理が含まれ得る。例えば、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、もしくは残留サイド成分は、圧縮のための閾値レベルを超える際の圧縮率に従って圧縮され得る。別の例では、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、もしくは残留サイド成分は、制限のための閾値レベルを超える際の最大レベルに制限され得る。
【0263】
フィルタ抽出には、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、もしくは残留サイド成分に対する機械学習ベースの変更が含まれ得る。幾つか例には、機械学習ベースの発声スタイルもしくは楽器スタイルの転送、変換、または再合成が含まれる。
【0264】
ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、もしくは残留サイド成分のフィルタ抽出には、利得の適用、残響処理、ならびにコーラスおよび／もしくはフランジング、または他種類の処理まで及ぶ、他の線形もしくは非線形の音声処理技術および効果が含まれ得る。幾つかの実施形態では、フィルタ抽出は、図２２に関連してより詳細に後述されるように、サブバンド空間処理およびクロストーク補償のためのフィルタ抽出を含み得る。
【0265】
フィルタ抽出は、周波数領域もしくは時間領域において実行され得る。幾つかの実施形態では、ミッド成分およびサイド成分は、時間領域から周波数領域に変換され、ハイパー成分および／もしくは残留成分は、周波数領域において生成され、フィルタ抽出は、周波数領域において実行され、フィルタ抽出された成分は、時間領域に変換され、フィルタ抽出は、これらの成分に対して時間領域において実行される。
【0266】
ステップ２１５０では、音声処理システムは、フィルタ抽出済みのハイパー成分／残留成分のうちの一つもしくは複数を使用して、左出力チャネル（例えば、左出力チャネル１２４２など）および右出力チャネル（例えば、右出力チャネル１２４４など）を生成する。例えば、Ｍ／ＳからＬ／Ｒへの変換は、フィルタ抽出済みのハイパーミッド成分、フィルタ抽出済みの残留ミッド成分、フィルタ抽出済みのハイパーサイド成分、もしくはフィルタ抽出済みの残留サイド成分のうちの少なくとも一つから生成されるミッド成分もしくはサイド成分を使用して実行され得る。別の例では、フィルタ抽出済みのハイパーミッド成分もしくはフィルタ抽出済みの残留ミッド成分が、Ｍ／ＳからＬ／Ｒへの変換のためのミッド成分として使用されてもよく、またはフィルタ抽出済みのハイパーサイド成分または残留サイド成分が、Ｍ／ＳからＬ／Ｒへの変換のためのサイド成分として使用されてもよい。
【0267】
［直交成分のサブバンド空間処理およびクロストーク処理］
図２２は、一つもしくは複数の実施形態による、ハイパーミッド、残留ミッド、ハイパーサイド、もしくは残留サイド成分のうちの少なくとも一つを使用する、サブバンド空間処理およびクロストーク処理用補償のための、プロセス２２００を示すフローチャートである。クロストーク処理には、クロストークキャンセルもしくはクロストークシミュレーションが含まれ得る。サブバンド空間処理は、音がラウドスピーカーの位置に対応する空間における特定点ではない、広い領域から傾聴者に向けられるという認識を作り出すことによるように、強化された空間検出可能性を有する音声コンテンツ（例えば、サウンドステージの強化など）を提供するために実行され得て、それによって傾聴者により没入感のある聴取体験をもたらする。クロストークシミュレーションは、対側クロストークを有するラウドスピーカー体験のシミュレーションを行うために、ヘッドフォンへの音声出力に使用され得る。クロストークキャンセルは、クロストーク干渉の影響を除去するために、ラウドスピーカーへの音声出力に使用され得る。クロストーク補償は、クロストークキャンセルもしくはクロストークシミュレーションによって引き起こされるスペクトル欠陥に対する補償を行う。プロセスは、より少ないステップもしくは追加のステップを含み得て、ステップは、相違する順序において実行され得る。ハイパーおよび残留のミッド成分／サイド成分は、様々な目的に応じて様々な方法において操作することができる。例えば、クロストーク補償の場合では、目標とするサブバンドフィルタ抽出は、その成分のみにおけるクロストーク処理から生じるスペクトルのアーティファクトを除去するための取組みにおいて、（多くの映画コンテンツにおける発声ダイアログエネルギー（vocal dialog energy）の大部分が発生する）ハイパーミッド成分Ｍ１のみに適用され得る。クロストーク処理の有無に関わらず、サウンドステージを強化する場合、目標とするサブバンド利得は、残留ミッド成分Ｍ２および残留サイド成分Ｓ２に適用され得る。例えば、残留ミッド成分Ｍ２は減衰され得て、残留サイド成分Ｓ２は逆増幅されて、（例えば、多くの場合、発声エネルギーの大部分を含む信号のその部分である）ハイパーミッドＭ１成分における減衰も回避しつつ、最終的なＬ／Ｒ信号の知覚的音響に劇的な全体的変化を生じさせることなく、利得の観点からこれらの成分間の距離を増大させ得る（これは、センス良く行われれば、空間的な検出可能性を増大させることができる）。
図２２は、一つもしくは複数の実施形態による、ハイパーミッド、残留ミッド、ハイパーサイド、もしくは残留サイド成分のうちの少なくとも一つを使用する、サブバンド空間処理およびクロストーク処理用補償のための、プロセス２２００を示すフローチャートである。クロストーク処理には、クロストークキャンセルもしくはクロストークシミュレーションが含まれ得る。サブバンド空間処理は、音がラウドスピーカーの位置に対応する空間における特定点ではない、広い領域から傾聴者に向けられるという認識を作り出すことによるように、強化された空間検出可能性を有する音声コンテンツ（例えば、サウンドステージの強化など）を提供するために実行され得て、それによって傾聴者により没入感のある聴取体験をもたらする。クロストークシミュレーションは、対側クロストークを有するラウドスピーカー体験のシミュレーションを行うために、ヘッドフォンへの音声出力に使用され得る。クロストークキャンセルは、クロストーク干渉の影響を除去するために、ラウドスピーカーへの音声出力に使用され得る。クロストーク補償は、クロストークキャンセルもしくはクロストークシミュレーションによって引き起こされるスペクトル欠陥に対する補償を行う。プロセスは、より少ないステップもしくは追加のステップを含み得て、ステップは、相違する順序において実行され得る。ハイパーおよび残留のミッド成分／サイド成分は、様々な目的に応じて様々な方法において操作することができる。例えば、クロストーク補償の場合では、目標とするサブバンドフィルタ抽出は、その成分のみにおけるクロストーク処理から生じるスペクトルのアーティファクトを除去するための取組みにおいて、（多くの映画コンテンツにおける発声ダイアログエネルギー（vocal dialog energy）の大部分が発生する）ハイパーミッド成分Ｍ１のみに適用され得る。クロストーク処理の有無に関わらず、サウンドステージを強化する場合、目標とするサブバンド利得は、残留ミッド成分Ｍ２および残留サイド成分Ｓ２に適用され得る。例えば、残留ミッド成分Ｍ２は減衰され得て、残留サイド成分Ｓ２は逆増幅されて、（例えば、多くの場合、発声エネルギーの大部分を含む信号のその部分である）ハイパーミッドＭ１成分における減衰も回避しつつ、最終的なＬ／Ｒ信号の知覚的音響に劇的な全体的変化を生じさせることなく、利得の観点からこれらの成分間の距離を増大させ得る（これは、センス良く行われれば、空間的な検出可能性を増大させることができる）。
【0268】
ステップ２２１０では、音声処理システムは、左チャネルおよび右チャネルを含む、入力音声信号を受信する。幾つかの実施形態では、入力音声信号は、複数の左右チャネル対を含む、マルチチャネル音声信号であり得る。各左右チャネル対は、左右の入力チャネルについて、本明細書に説明されるように処理され得る。
【0269】
ステップ２２２０では、音声処理システムは、受信された入力音声信号にクロストーク処理を適用する。クロストーク処理には、クロストークシミュレーションおよびクロストークキャンセルのうちの少なくとも一つが含まれる。
【0270】
ステップ２２３０ないし２２６０では、音声処理システムは、ハイパーミッド、ハイパーサイド、残留ミッド、もしくは残留サイド成分のうちの一つもしくは複数を使用して、サブバンド空間処理と、クロストーク処理に対するクロストーク補償とを実行する。幾つかの実施形態では、クロストーク処理は、ステップ２２３０ないし２２６０の処理の後に実行され得る。
【0271】
ステップ２２３０では、音声処理システムは、（例えば、クロストーク処理済みの）音声信号からミッド成分およびサイド成分を生成する。
【0272】
ステップ２２４０では、音声処理システムは、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、および残留サイド成分のうちの少なくとも一つを生成する。音声処理システムは、上記に列挙される成分の少なくとも一つおよび／もしくは全てを生成し得る。
【0273】
ステップ２２５０では、音声処理システムは、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、および残留サイド成分のうちの少なくとも一つのサブバンドをフィルタ抽出し、音声信号にサブバンド空間処理を適用する。各サブバンドには、臨界帯域のセットによって定義され得るような周波数範囲が含まれることがある。幾つかの実施形態では、サブバンド空間処理は、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、および残留サイド成分のうちの少なくとも一つのサブバンドを時間遅延させることをさらに含む。幾つかの実施形態では、フィルタ抽出は、ＨＰＳＭ処理を適用することを含む。
【0274】
ステップ２２６０では、音声処理システムは、入力音声信号のクロストーク処理からのスペクトル欠陥の補償を行うために、ハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、および残留サイド成分のうちの少なくとも一つをフィルタ抽出する。スペクトル欠陥には、クロストーク処理のアーティファクトとして発生する、所定の閾値（例えば、１０ｄＢなど）を超えるハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、もしくは残留サイド成分の、周波数応答プロットにおけるピークもしくはトラフが含まれ得る。スペクトル欠陥は、推定されるスペクトル欠陥であり得る。
【0275】
幾つかの実施形態では、ステップ２２５０におけるサブバンド空間処理のためのスペクトル直交成分のフィルタ抽出、およびステップ２２６０におけるクロストーク補償は、フィルタ抽出のために選択される各スペクトル直交成分に対する単一のフィルタ抽出動作に統合され得る。
【0276】
幾つかの実施形態では、サブバンド空間処理もしくはクロストーク補償のためのハイパー／残留のミッド成分／サイド成分におけるフィルタ抽出は、利得の適用、振幅もしくは遅延ベースのパンニング、バイノーラル処理、残響処理、圧縮および制限などのダイナミックレンジ処理、コーラスおよび／もしくはフランジングから及ぶ線形もしくは非線形の音声処理技術および効果、発声スタイルもしくは楽器スタイルの転送、変換、もしくは再合成への機械学習ベースのアプローチ、またはハイパーミッド成分、残留ミッド成分、ハイパーサイド成分、残留サイド成分の何れかを使用する他種類の処理などの、他の目的のためのフィルタ抽出に関連して実行され得る。
【0277】
フィルタ抽出は、周波数領域もしくは時間領域において実行され得る。幾つかの実施形態では、ミッド成分およびサイド成分は、時間領域から周波数領域に変換され、ハイパー成分および／もしくは残留成分は、周波数領域において生成され、フィルタ抽出は、周波数領域において実行され、フィルタ抽出された成分は、時間領域に変換される。他の実施形態では、ハイパーおよび／もしくは残留の成分は、時間領域に変換され、フィルタ抽出は、これらの成分に対して時間領域において実行される。
【0278】
ステップ２２７０では、音声処理システムは、フィルタ抽出されたハイパーミッド成分から左出力チャネルおよび右出力チャネルを生成する。幾つかの実施形態では、左右の出力チャネルは、付加的に、フィルタ抽出済みの残留ミッド成分、フィルタ抽出済みのハイパーサイド成分、およびフィルタ抽出済みの残留サイド成分のうちの少なくとも一つに基づいている。
【0279】
［コンピュータの例］
図２３は、幾つかの実施形態による、コンピュータ２３００を示すブロック図である。コンピュータ２３００は、音声システム１００、２０２、もしくは１２００などの、音声システムを実装する回路を含むコンピューティング機器の一例である。チップセット２３０４に結合される少なくとも一つのプロセッサ２３０２が例証されている。チップセット２３０４は、メモリコントローラハブ２３２０および入出力（Ｉ／Ｏ）コントローラハブ２３２２を含む。メモリ２３０６およびグラフィックアダプタ２３１２は、メモリコントローラハブ２３２０に結合され、ディスプレイ２３１８は、グラフィックアダプタ２３１２に結合される。記憶デバイス２３０８、キーボード２３１０、ポインティングデバイス２３１４、およびネットワークアダプタ２３１６は、Ｉ／Ｏコントローラハブ２３２２に結合される。コンピュータ２３００は、種々の種類の入力装置もしくは出力装置を含み得る。コンピュータ２３００の他の実施形態は、相違するアーキテクチャを有する。例えば、幾つかの実施形態では、メモリ２３０６は、プロセッサ２３０２に直接に接続される。
図２３は、幾つかの実施形態による、コンピュータ２３００を示すブロック図である。コンピュータ２３００は、音声システム１００、２０２、もしくは１２００などの、音声システムを実装する回路を含むコンピューティング機器の一例である。チップセット２３０４に結合される少なくとも一つのプロセッサ２３０２が例証されている。チップセット２３０４は、メモリコントローラハブ２３２０および入出力（Ｉ／Ｏ）コントローラハブ２３２２を含む。メモリ２３０６およびグラフィックアダプタ２３１２は、メモリコントローラハブ２３２０に結合され、ディスプレイ２３１８は、グラフィックアダプタ２３１２に結合される。記憶デバイス２３０８、キーボード２３１０、ポインティングデバイス２３１４、およびネットワークアダプタ２３１６は、Ｉ／Ｏコントローラハブ２３２２に結合される。コンピュータ２３００は、種々の種類の入力装置もしくは出力装置を含み得る。コンピュータ２３００の他の実施形態は、相違するアーキテクチャを有する。例えば、幾つかの実施形態では、メモリ２３０６は、プロセッサ２３０２に直接に接続される。
【0280】
記憶デバイス２３０８は、ハードドライブ、コンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、ＤＶＤ、もしくはソリッドステートメモリデバイスなどの、一つもしくは複数の非一時的コンピュータ可読記憶媒体を含む。メモリ２３０６は、プロセッサ２３０２によって使用される（一つもしくは複数の命令によって構成される）プログラムコードおよびデータを保持する。このプログラムコードは、図１ないし３を参照して説明される処理態様に対応し得る。
【0281】
ポインティングデバイス２３１４は、コンピュータシステム２３００にデータを入力するために、キーボード２３１０と組み合わせて使用される。グラフィックアダプタ２３１２は、ディスプレイ２３１８上に画像および他の情報を表示する。幾つかの実施形態では、ディスプレイ２３１８は、ユーザー入力およびユーザー選択を受信するためのタッチスクリーン機能を含む。ネットワークアダプタ２３１６は、コンピュータシステム２３００をネットワークに接続する。コンピュータ２３００に関する幾つかの実施形態は、図２３に示されるものとは異なるコンポーネントおよび／もしくは他のコンポーネントを有する。
【0282】
回路は、非一時的コンピュータ可読媒体に格納されるプログラムコードを実行する、一つもしくは複数のプロセッサを含み得て、このプログラムコードは、一つもしくは複数のプロセッサによって実行されると、音声システムまたは音声システムのモジュールを実装するように一つもしくは複数のプロセッサを構成する。音声システムもしくは音声システムのモジュールを実装する回路の他の例には、特定用途向け集積回路（ＡＳ１Ｃ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、もしくは他種類のコンピュータ回路などの、集積回路が含まれ得る。
【0283】
［追加の考慮事項］
開示される構成の利点および長所の例には、デバイスおよび関連する音声レンダリングシステムに適応して強化される音声システムに起因する動的な音声強化、ならびに（例えば、音声信号が、ゲーム用ではなく、音楽再生用に使用されることを示す）ユースケース情報などの、デバイスＯＳによって利用可能にされる他の関連情報が含まれる。強化された音声システムは、（ソフトウェア開発キットを使用して）デバイスに統合されるか、またはオンデマンドでアクセス可能であるように遠隔サーバに保存されるかの何れかを行われ得る。このようにして、デバイスは、その音声レンダリングシステムもしくは音声レンダリング構成に固有である、音声強化システムのメンテナンスにストレージまたは処理リソースを割り当てる必要がなくなる。幾つかの実施形態では、強化された音声システムは、利用可能な機器固有のレンダリング情報における種々のレベルに亘って、効果的な音声強化を適用することができるように、レンダリングシステム情報に対する種々のレベルのクエリを可能にする。
開示される構成の利点および長所の例には、デバイスおよび関連する音声レンダリングシステムに適応して強化される音声システムに起因する動的な音声強化、ならびに（例えば、音声信号が、ゲーム用ではなく、音楽再生用に使用されることを示す）ユースケース情報などの、デバイスＯＳによって利用可能にされる他の関連情報が含まれる。強化された音声システムは、（ソフトウェア開発キットを使用して）デバイスに統合されるか、またはオンデマンドでアクセス可能であるように遠隔サーバに保存されるかの何れかを行われ得る。このようにして、デバイスは、その音声レンダリングシステムもしくは音声レンダリング構成に固有である、音声強化システムのメンテナンスにストレージまたは処理リソースを割り当てる必要がなくなる。幾つかの実施形態では、強化された音声システムは、利用可能な機器固有のレンダリング情報における種々のレベルに亘って、効果的な音声強化を適用することができるように、レンダリングシステム情報に対する種々のレベルのクエリを可能にする。
【0284】
本明細書全体を通じて、単一のインスタンスとして説明されるコンポーネント、操作、もしくは構造を、複数のインスタンスが実装することがある。一つもしくは複数の方法における個々の動作は、別個の動作として図示および説明されているが、一つもしくは複数の個別の動作は、同時に実行され得て、図示された順序において動作が実行されることは必要としない。構成例では別個のコンポーネントとして提示される構造および機能は、結合される構造もしくはコンポーネントとして実装され得る。同様に、単一のコンポーネントとして提示される構造および機能は、別個のコンポーネントとして実装され得る。これらおよび他の変形、修正、追加、および改良は、本明細書では主題の範囲内に含まれる。
【0285】
特定の実施形態は、ロジック、または多数のコンポーネント、モジュール、もしくは機構を含むものとして、本明細書に説明される。モジュールは、ソフトウェアモジュール（例えば、機械可読媒体上もしくは送信信号に具体化されるコードなど）またはハードウェアモジュールの何れかを構成し得る。ハードウェアモジュールは、特定の操作を実行することが可能である有形のユニットであり、特定の方法において構成もしくは配置され得る。実施形態の例では、一つもしくは複数のコンピュータシステム（例えば、スタンドアロン、クライアントもしくはサーバコンピュータシステムなど）、またはコンピュータシステムの一つもしくは複数のハードウェアモジュール（例えば、プロセッサもしくはプロセッサのグループなど）は、ソフトウェア（例えば、アプリケーションもしくはアプリケーションの部分）によって、本明細書に説明される特定の操作を実行するように動作するハードウェアモジュールとして構成される。
【0286】
本明細書に説明される方法例における種々の動作は、関連の動作を実行するように一時的に（例えば、ソフトウェアによって）構成されるか、または永続的に構成される、一つもしくは複数のプロセッサによって、少なくとも部分的に実行され得る。一時的もしくは永続的に構成されるかどうかに関わらず、そのようなプロセッサは、一つもしくは複数の操作または機能を実行するように動作する、プロセッサ実装モジュールを構成し得る。本明細書に言及されるモジュールは、幾つかの実施形態の例では、プロセッサ実装モジュールを含み得る。
【0287】
同様に、本明細書に説明される方法は、少なくとも部分的にプロセッサ実装され得る。例えば、方法における操作の少なくとも一部は、一つもしくは複数のプロセッサ、またはプロセッサ実装ハードウェアモジュールによって実行され得る。特定の操作に関するパフォーマンスは、単一のマシン内に常駐するだけでなく、複数のマシンに亘って展開される、一つもしくは複数のプロセッサ間に分散され得る。幾つかの実施形態の例では、プロセッサもしくはプロセッサ群は、単一の場所（例えば、家庭環境内、オフィス環境内、もしくはサーバファームとして）に配置され得るが、他の実施形態では、プロセッサは、多数の場所に亘って分散され得る。
【0288】
特に明記されていない限り、「処理する（processing）」、「計算する（computing）」、「計算する（calculating）」、「決定する（determining）」、「提示する（presenting）」、または「表示する（displaying）」などの、用語を使用する本明細書における説明は、例えば、一つもしくは複数のメモリ（例えば、揮発性メモリ、不揮発性メモリ、もしくはそれらの組み合わせなど）、レジスタ、または情報の受信、保存、送信、伝送、もしくは表示を行う他のマシンコンポーネント内の物理的（例えば、電子的、磁気的、もしくは光学的） な量として表現されるデータを操作もしくは変換するマシン（例えば、コンピュータなど）の動作もしくはプロセスを指すことがある。
【0289】
本明細書に使用されるように、「ある実施形態（one embodiment）」もしくは「一実施形態（an embodiment）」への言及は、何れも、その実施形態に関連して説明される特定の要素、特徴、構造、もしくは特性が、少なくとも一つの実施形態に含まれることを意味する。本明細書における様々な場所に現れる「ある実施形態において（in one embodiment）」という語句は、必ずしも全てが同じ実施形態を指すわけではない。
【0290】
幾つかの実施形態は、「結合された（coupled）」および「接続された（connected）」という表現をその派生語とともに使用して説明されることがある。これらの用語は、相互に同義語として意図されていないと、理解されるべきである。例えば、幾つかの実施形態は、二つ以上の要素が相互に直接物理的もしくは電気的に接触していることを示すために、「接続された（connected）」という用語を使用して説明され得る。別の例では、幾つかの実施形態は、二つ以上の要素が直接物理的または電気的に接触していることを示すために、「結合された（coupled）」という用語を使用して説明され得る。ただし、「結合された（coupled）」という用語は、二つ以上の要素が相互に直接接触していないものの、依然として相互に連携もしくは相互作用を行っていることを意味することもある。実施形態は、この状況に限定されない。
【0291】
本明細書に使用されるように、「備える（comprises）」、「備える（comprising）」、「含む（includes）」、「含む（including）」、「有する（has）」、「有する（having）」という用語、もしくはそれらの他の任意の変形は、非排他的な包含を被覆することを意図されている。例えば、要素のリストを含む、プロセス、方法、物品、もしくは装置は、必ずしもそれらの要素のみに限定されるわけではなく、明示的に列挙されていない、またはそのようなプロセス、方法、物品、もしくは装置に固有となる他の要素を含むことがある。さらに、明示的に反対の記載がない限り、「または（or）」は、包括的なｏｒを指し、排他的なorを指していない。例えば、条件Ａ ｏｒ Ｂは、次の何れか 一つによって満たされる。すなわち、Ａが真である（もしくは存在する）かつＢが偽である（もしくは存在しない）こと、Ａが偽である（もしくは存在しない） かつＢが真である（もしくは存在する）こと、ＡおよびＢの両方が真である（または存在ない）こと。
【0292】
さらに、「ａ」もしくは「ａｎ」の使用は、本明細書における実施形態の要素およびコンポーネントを説明するために使用される。これは、単に便宜上、本発明における通常の意味を理解するために行われる。この説明は、一つもしくは少なくとも一つを含むように解釈されるべきであり、それが別の意味であることが明らかでない限り、単数形は、複数形も含む。
【0293】
この説明における幾つかの部分では、情報に対する演算のアルゴリズムおよび記号表現の観点から、実施形態を説明する。これらのアルゴリズムの記述および表現は、データ処理技術の当業者によって、その仕事の内容を他の当業者に効果的に伝えるために、一般的に使用されている。これらの動作は、機能的に、計算的に、もしくは論理的に説明されるが、コンピュータプログラム、または同等の電気回路、もくしはマイクロコードなどによって実装されると理解される。さらに、一般性を失うことなく、これらの操作の配置をモジュールと呼ぶことも、時には便利であることが証明されている。説明される動作およびそれらに関連付けられるモジュールは、ソフトウェア、ファームウェア、ハードウェア、もしくはそれらの任意の組み合わせにおいて具現化され得る。
【0294】
本明細書に説明される、ステップ、操作、もしくはプロセスの何れも、一つもしくは複数のハードウェア、またはソフトウェアモジュールを単独で、もしくは他のデバイスと組み合わせて実行もしくは実装され得る。ある実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品によって実装され、コンピュータプログラムコードは、記載されるステップ、操作、もしくはプロセスの何れかまたは全てを実行するために、コンピュータプロセッサによって実行することができる。
【0295】
実施形態は、本明細書における操作を実行するための装置にも関係し得る。この装置は、必要とされる目的のために具体的に構築され得て、ならびに／またはコンピュータに格納されるコンピュータプログラムによって選択的に起動もしくは再構成される汎用コンピューティング機器を含み得る。このようなコンピュータプログラムは、非一時的で有形のコンピュータ可読記憶媒体、もしくはコンピュータシステムバスに結合され得る電子的命令を格納するのに適する任意種類の媒体に保存され得る。さらに、本明細書に言及される全てのコンピューティングシステムは、単一のプロセッサを含んでもよく、またはコンピューティング能力を向上させるために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
【0296】
実施形態は、本明細書に説明されるコンピューティングプロセスによって生成される、製品にも関係し得る。このような製品は、コンピューティングプロセスから得られる情報を含み得て、その情報は、非一時的で有形のコンピュータ可読記憶媒体に格納され、コンピュータプログラム製品もしくは本明細書に説明される他のデータの組み合わせにおける任意の実施形態を含み得る。
【0297】
本開示を読むと、当業者は、本明細書に開示される原理による音声コンテンツ相関除去化のためのシステムおよびプロセスのさらに追加的代替的な構造的および機能的設計を理解するであろう。そのため、特定の実施形態および用途は、図示および説明されているが、開示される実施形態は、本明細書に開示される正確な構造および構成要素に限定されないと理解されるべきである。当業者には明らかになるであろう、種々の修正、変更、および変形が、添付の請求項に定義される趣旨および範囲から逸脱することなく、本明細書に開示される方法および装置における配置、操作、および詳細において行われ得る。
【0298】
最後に、本明細書に使用される言語は、主に、読み易さおよび教育目的のために選択されており、特許権を描写したり制限したりするために選択されていないことがある。したがって、特許権の範囲は、この詳細な説明によってではなく、むしろ本明細書に基づく出願に関して発行される任意の請求項によって限定されることを意図している。したがって、実施形態の開示は、以下の請求項に記載される、特許権の範囲を限定するものではなく、例示することを意図している。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13A】
【図13B】
【図13C】
【図14A】
【図14B】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】