特表 2024-526758 音響心理学的周波数範囲拡張のためのスケール依存非線形性を使用する適応フィルタバンク

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-19

(54)【発明の名称】音響心理学的周波数範囲拡張のためのスケール依存非線形性を使用する適応フィルタバンク

(51)【国際特許分類】

   H04R 3/00 20060101AFI20240711BHJP

【ＦＩ】

H04R3/00 310

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024501919

(86)(22)【出願日】2022-07-14

(85)【翻訳文提出日】2024-01-12

(86)【国際出願番号】 US2022037182

(87)【国際公開番号】W WO2023288008

(87)【国際公開日】2023-01-19

(31)【優先権主張番号】63/222,370

(32)【優先日】2021-07-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/471,012

(32)【優先日】2021-09-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518253875

【氏名又は名称】ブームクラウド ３６０ インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ジョセフ アンソニー マリグリオ ザ サード

【テーマコード（参考）】

5D220

【Ｆターム（参考）】

5D220AB01

5D220AB04

5D220AB08

(57)【要約】

システムは、音響心理学的周波数範囲拡張を提供する。システムは、音声チャネルから直交成分を生成し、標準基底から回転基底に直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成する。回転基底において、システムは、目標周波数において回転スペクトル直交成分の成分を分離し、制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成する。回路は、回転基底から標準基底に重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転させる逆変換を適用することによって、高調波スペクトル成分を生成する。回路は、出力チャネルを生成するよう、目標周波数の範囲外の音声チャネルの周波数と高調波スペクトル成分を組み合わせ、スピーカに出力チャネルを提供する。

【特許請求の範囲】

【請求項1】

音声チャネルの直交表現を定義した音声チャネルから直交成分を生成し、
標準基底から回転基底に前記直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成し、
前記回転基底において、
目標周波数において前記回転スペクトル直交成分の成分を分離し、および
制約に従ったスケールへの依存性を有する前記分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成し、
重み付けされた前記位相コヒーレント高調波スペクトル直交成分のスペクトルを前記回転基底から前記標準基底へ回転させる、逆変換を適用することによって高調波スペクトル成分を生成し、
出力チャネルを生成するよう、前記目標周波数の範囲外の前記音声チャネルの周波数と前記高調波スペクトル成分を組み合わせ、
スピーカに前記出力チャネルを提供する、
ように構成された回路を備えた、システム。

【請求項2】

前記非線形性は、構成要素である非線形性の重み付けされた混合を含み、前記制約のそれぞれは、構成要素であるそれぞれの非線形性のインプットに適用された利得修正に対する制約を含む、請求項１に記載のシステム。

【請求項3】

前記非線形性は、前記制約に従って選択的に因数分解された振幅による前記第１の種類のチェビシェフ多項式の重み付け合計を含む、請求項２に記載のシステム。

【請求項4】

前記回路は、複数の高調波スペクトル成分を生成するようにさらに構成され、高調波スペクトル成分のそれぞれは、前記音声チャネルの異なる周波数バンドを使用して生成され、および前記回路は、前記複数の高調波スペクトル成分を組み合わせることによって前記出力チャネルを生成するように構成される、請求項１に記載のシステム。

【請求項5】

前記回路は、アップストリーム高調波スペクトル成分の残差をインプットとして使用して、ダウンストリーム高調波スペクトル成分のそれぞれと直列に前記複数の高調波スペクトル成分を生成するように構成される、請求項４に記載のシステム。

【請求項6】

前記回路は、前記複数の高調波スペクトル成分を並列に生成するように構成される、請求項４に記載のシステム。

【請求項7】

前記回路は、前記高調波スペクトル成分に奇数次の非線形性を適用するようにさらに構成される、請求項１に記載のシステム。

【請求項8】

前記高調波スペクトル成分は、前記音声チャネルの前記目標周波数と異なる周波数を含み、および前記スピーカによってレンダリングされるときに前記目標周波数の音響心理学的影響を生じさせる、請求項１に記載のシステム。

【請求項9】

前記前方変換は、目標周波数が０ヘルツにマッピングされるように前記直交成分の前記スペクトルを回転させ、および
前記逆変換は、０ヘルツが前記目標周波数にマッピングされるように前記重み付けされた位相コヒーレント高調波スペクトル直交成分の前記スペクトルを回転させる、
請求項１に記載のシステム。

【請求項10】

前記目標周波数は、１８ヘルツ～２５０ヘルツの間の周波数を含む、請求項１に記載のシステム。

【請求項11】

前記回路は、
前記スピーカの再現可能範囲、
前記スピーカの電力消費の低減、または
前記スピーカの増大した寿命、
のうちの少なくとも１つに基づいて前記目標周波数を判定するようにさらに構成されている、請求項１に記載のシステム。

【請求項12】

前記スピーカは、モバイルデバイスの構成要素である、請求項１に記載のシステム。

【請求項13】

前記回路は、ゲート関数を使用して、目標振幅において前記成分を分離するようにさらに構成される、請求項１に記載のシステム。

【請求項14】

回路は、前記分離した成分に平滑化関数を適用するようにさらに構成される、請求項１に記載のシステム。

【請求項15】

記憶された命令を含む非一時的コンピュータ可読媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されたときに、
音声チャネルの直交表現を定義した前記音声チャネルから直交成分を生成し、
標準基底から回転基底に前記直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成し、
前記回転基底において、
目標周波数において前記回転スペクトル直交成分の成分を分離し、および
制約に従ったスケールへの依存性を有する前記分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成し、
重み付けされた前記位相コヒーレント高調波スペクトル直交成分のスペクトルを前記回転基底から前記標準基底に回転させる、逆変換を適用することによって、高調波スペクトル成分を生成し、
出力チャネルを生成するよう、前記目標周波数の範囲外の前記音声チャネルの周波数と前記高調波スペクトル成分を組み合わせ、
スピーカに前記出力チャネルを提供する、
ように前記少なくとも１つのプロセッサを構成する、非一時的コンピュータ可読媒体。

【請求項16】

前記非線形性は、構成要素である非線形性の重み付けされた混合を含み、前記制約のそれぞれは、構成要素であるそれぞれの非線形性のインプットに適用された利得修正に対する制約を含む、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記非線形性は、前記制約に従って選択的に因数分解された振幅による前記第１の種類のチェビシェフ多項式の重み付け合計を含む、請求項１６に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記命令は、複数の高調波スペクトル成分を生成するよう前記少なくとも１つのプロセッサをさらに構成し、高調波スペクトル成分のそれぞれは、前記音声チャネルの異なる周波数バンドを使用して生成され、
前記出力チャネルは、前記複数の高調波スペクトル成分を組み合わせることによって生成され、および
前記複数の高調波スペクトル成分は、アップストリーム高調波スペクトル成分の残差をインプットとして使用して、ダウンストリーム高調波スペクトル成分のそれぞれに対して直列に生成される、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記命令は、前記高調波スペクトル成分に奇数次の非線形性を適用するように、前記少なくとも１つのプロセッサをさらに構成する、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項20】

回路によって、
音声チャネルの直交表現を定義した前記音声チャネルから直交成分を生成するステップと、
標準基底から回転基底に前記直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成するステップと、
前記回転基底において、
目標周波数において前記回転スペクトル直交成分の成分を分離するステップと、
制約に従ったスケールへの依存性を有する前記分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成するステップと、
前記回転基底から前記標準基底に前記重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転させる、逆変換を適用することによって、高調波スペクトル成分を生成するステップと、
出力チャネルを生成するよう、前記目標周波数の範囲外の前記音声チャネルの周波数と前記高調波スペクトル成分を組み合わせるステップと、
スピーカに前記出力チャネルを提供するステップと、
を備えた、方法。

【請求項21】

前記非線形性は、構成要素である非線形性の重み付けされた混合を含み、前記制約のそれぞれは、構成要素であるそれぞれの非線形性のインプットに適用された利得修正に対する制約を含む、請求項２０に記載の方法。

【請求項22】

前記非線形性は、前記制約に従って選択的に因数分解された振幅による前記第１の種類のチェビシェフ多項式の重み付け合計を含む、請求項２１に記載の方法。

【請求項23】

前記回路によって、複数の高調波スペクトル成分を生成し、高調波スペクトル成分のそれぞれは前記音声チャネルの異なる周波数バンドを使用して生成されるステップであって、
前記出力チャネルは、前記複数の高調波スペクトル成分を組み合わせることによって生成され、および
前記複数の高調波スペクトル成分は、アップストリーム高調波スペクトル成分の残差をインプットとして使用して、ダウンストリーム高調波スペクトル成分のそれぞれに対して直列に生成される、ステップをさらに備える、請求項２０に記載の方法。

【請求項24】

前記回路によって、前記高調波スペクトル成分に奇数次の非線形性を適用するステップをさらに備える、請求項２０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は概して音声処理に関し、より具体的には、物理ドライバの帯域幅を越えた周波数の影響を生じさせることに関する。

【背景技術】

【0002】

関連出願の相互参照
本出願は、２０２１年７月１５日に出願された米国仮出願第６３／２２２，３７０号、および２０２１年９月９日に出願された米国出願第１７／４７１，０１２号についての利益を主張し、これらの出願は参照によりその全体において組み込まれる。

【0003】

拡声器、ヘッドフォン、および他の音響アクチュエータの帯域幅は、人間の聴覚系の帯域幅のサブドメインにしばしば制限される。これは、ほとんどの場合、おおよそ１８ヘルツ～２５０ヘルツの可聴スペクトルの低周波数領域において問題になる。物理ドライバの帯域幅を越えた周波数の影響を生じさせるよう、音声信号を修正することが望ましい。

【0004】

いくつかの実施形態は、スピーカに対して音響心理学的周波数範囲拡張を提供する回路（例、１つまたは複数のプロセッサ）を含むシステムを含む。回路は、音声チャネルの直交表現を定義した音声チャネルから直交成分を生成し、標準基底から回転基底に直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成する。回転基底において、回路は、目標周波数において回転スペクトル直交成分の成分を分離し、制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成する。回路は、回転基底から標準基底に重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転させる逆変換を適用することによって、高調波スペクトル成分を生成する。回路は、出力チャネルを生成するよう、目標周波数の範囲外の音声チャネルの周波数と高調波スペクトル成分を組み合わせ、スピーカに出力チャネルを提供する。

【0005】

いくつかの実施形態では、非線形性は、構成要素である非線形性の重み付けされた混合を含む。制約のそれぞれは、構成要素であるそれぞれの非線形性のインプットに適用された利得修正に対する制約を含む。

【0006】

いくつかの実施形態では、非線形性は、制約に従って選択的に因数分解された振幅による第１の種類のチェビシェフ多項式の重み付け合計を含む。

【0007】

いくつかの実施形態では、回路は、複数の高調波スペクトル成分を生成するようにさらに構成される。高調波スペクトル成分のそれぞれは、音声チャネルの異なる周波数バンドを使用して生成される。回路は、複数の高調波スペクトル成分を組み合わせることによって出力チャネルを生成するように構成される。

【0008】

いくつかの実施形態では、回路は、アップストリーム高調波スペクトル成分の残差をインプットとして使用して生成されるダウンストリーム高調波スペクトル成分のそれぞれと直列に複数の高調波スペクトル成分を生成するように構成される

【0009】

いくつかの実施形態では、回路は、複数の高調波スペクトル成分を並列に生成するように構成される。

【0010】

いくつかの実施形態では、回路は、高調波スペクトル成分に奇数次の線形性を適用するようにさらに構成される。

【0011】

いくつかの実施形態では、高調波スペクトル成分は、音声チャネルの目標周波数と異なる周波数を含み、およびスピーカによってレンダリングされるときに目標周波数の音響心理学的影響を生じさせる。

【0012】

いくつかの実施形態では、前方変換は、目標周波数が０ヘルツにマッピングされるように直交成分のスペクトルを回転させる。逆変換は、０ヘルツが目標周波数にマッピングされるように重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転させる。

【0013】

いくつかの実施形態では、目標周波数は、１８ヘルツ～２５０ヘルツの間の周波数を含む。

【0014】

いくつかの実施形態では、回路は、スピーカの再現可能範囲、スピーカの電力消費の低減、またはスピーカの増大した寿命に基づいて目標周波数を判定する。

【0015】

いくつかの実施形態では、スピーカは、モバイルデバイスの構成要素である。

【0016】

いくつかの実施形態では、回路は、ゲート関数を使用して、目標振幅において成分を分離するようにさらに構成される。いくつかの実施形態では、回路は、分離した成分に平滑化関数を適用するようにさらに構成される。

【0017】

いくつかの実施形態は、方法を含む。方法は、回路によって、音声チャネルの直交表現を定義した音声チャネルから直交成分を生成するステップと、標準基底から回転基底に直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成するステップと、回転基底において、目標周波数において回転スペクトル直交成分の成分を分離するステップと、制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成するステップと、回転基底から標準基底に重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転させる、逆変換を適用することによって、高調波スペクトル成分を生成するステップと、出力チャネルを生成するよう、目標周波数の範囲外の音声チャネルの周波数と高調波スペクトル成分を組み合わせるステップと、スピーカに出力チャネルを提供するステップとを含む。

【0018】

いくつかの実施形態は、記憶された命令を含む非一時的コンピュータ可読媒体を含み、記憶された命令は、少なくとも１つのプロセッサによって実行されたときに、音声チャネルの直交表現を定義した音声チャネルから直交成分を生成し、標準基底から回転基底に直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成し、回転基底において、目標周波数において回転スペクトル直交成分の成分を分離し、および、制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成し、重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転基底から標準基底へ回転させる、逆変換を適用することによって、高調波スペクトル成分を生成し、出力チャネルを生成するよう、目標周波数の範囲外の音声チャネルの周波数と高調波スペクトル成分を組み合わせ、スピーカに出力チャネルを提供するように少なくとも１つのプロセッサを構成する。

【図面の簡単な説明】

【0019】

【図1】いくつかの実施形態に従った、音声システムのブロック図である。

【図2】いくつかの実施形態に従った、高調波処理モジュールのブロック図である。

【図3】いくつかの実施形態に従った、前方変換モジュールのブロック図である。

【図4】いくつかの実施形態に従った、係数演算子モジュールのブロック図である。

【図5】いくつかの実施形態に従った、逆変換モジュールのブロック図である。

【図6】いくつかの実施形態に従った、コンバイナモジュールのブロック図である。

【図7】いくつかの実施形態に従った、フィルタバンクモジュールのブロック図である。

【図8】いくつかの実施形態に従った、音響心理学的周波数範囲拡張のための処理のフローチャートである。

【図9】いくつかの実施形態に従った、コンピュータのブロック図である。

【発明を実施するための形態】

【0020】

図面は、例示のみを目的として、様々な実施形態を表す。当業者は、以下の議論から、本明細書で説明される原理から逸脱することなく、本明細書で例示される構造および方法の代替的な実施形態が用いられてもよいことを容易に認識するであろう。

【0021】

図面および以下の説明は、例示のみの目的で好ましい実施形態に関連する。以下の説明から、特許請求される原理から逸脱することなく用いられ得る実現可能な代替として、本明細書で開示される構造および方法の代替的な実施形態が容易に認識されることに留意されるべきである。

【0022】

ここでいくつかの実施形態への参照が詳細になされ、その実施例は、添付図面において例示される。使用できる類似または同様の参照符号が図面のどこで用いられてもよく、使用できる類似または同様の参照符号が、類似または同様の機能性をどこで示してもよいことが留意される。図面は、例示のみの目的で開示されるシステム（または、方法）の実施形態を表す。当業者は、以下の説明から、本明細書で説明される原理から逸脱することなく、本明細書で例示される構造および方法の代替的な実施形態が用いられてもよいことを容易に認識するであろう。

【0023】

実施形態は、音響心理学的周波数範囲拡張（ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｆｒｅｑｕｅｎｃｙ ｒａｎｇｅ ｅｘｔｅｎｓｉｏｎ）を提供することに関連する。人間の聴覚系が非線形的に合図に反応するため、音響心理学的現象を使用して、実際の刺激が実現可能でない仮想刺激を作り出すことができる。音声システムは、制約に従ったスケールへの依存性を有する、高度に調整可能な非線形性を使用する適応非線形フィルタバンクを提供する回路を含み得る。非線形性は、音声チャネルの１つまたは複数のサブバンドから、重み付けされた位相コヒーレント高調波スペクトル（ｐｈａｓｅ－ｃｏｈｅｒｅｎｔ ｈａｒｍｏｎｉｃ ｓｐｅｃｔｒａ）を生成するために使用される。非線形性は、構成要素である非線形性の重み付けされた混合を含み得る。制約は、構成要素であるそれぞれの非線形性の入力に適用される利得修正に対する制約をそれぞれ含み得る。非線形性を定義する和における、構成要素である非線形性のそれぞれに独立した制約は適用され得、それは生成された高調波の選択されたサブセットの中で選択的なスペクトルのアニメーションを可能にする。このことは、ずっとより多くの非人為的な効果が実現されることを可能にし、そのことによりコンテンツ中を一般化することに成功する。さらに、それは、相互変調アーチファクトの知覚的に顕著な特徴を低下させ、潜在的に、より広い帯域幅で、より少数のフィルタが用いられることを可能にする。いくつかの実施形態では、非線形性は、制約に従って選択的に因数分解された振幅による第１の種類のチェビシェフ多項式の重み付け合計を含む。１つまたは複数のサブバンドの位相コヒーレント高調波スペクトルは、サブバンドの周波数が物理ドライバの帯域幅を超えているときにサブバンドの影響を生じさせる。

【0024】

いくつかの実施形態では、適応非線形フィルタバンクは、複数の高調波プロセッサを含み得る。高調波プロセッサのそれぞれは、音声信号内の目標サブバンドを分析し、構成可能なスペクトル変換でサブバンドのデータを再合成する非線形フィルタを含む。高調波プロセッサはそれぞれ、音声チャネルの異なる周波数帯域を使用して高調波スペクトル成分を生成し、これらの高調波スペクトル成分は組み合わされて出力チャネルを生成する。高調波スペクトル成分は、並列または直列に生成され得る。直列の場合、ダウンストリーム高調波スペクトル成分(ｄｏｗｎｓｔｒｅａｍ ｈａｒｍｏｎｉｃ ｓｐｅｃｔｒａｌ ｃｏｍｐｏｎｅｎｔ)は、インプットとしてアップストリーム高調波スペクトル成分(ｕｐｓｔｒｅａｍ ｈａｒｍｏｎｉｃ ｓｐｅｃｔｒａｌ ｃｏｍｐｏｎｅｎｔ)の残差を使用する。並列のケースは、概念的には単純であるが、例えば、分析されたコンテンツのパワースペクトルを並列の設計が制約しなかった場合などに、時々困難なチューニングプロセスをもたらす。後続のフィルタがインプット信号の残差のみに作用するシリアルアーキテクチャを利用することによって、全スペクトルパワーはフィルタバンクへのインプットにおいて保存される。その結果、構成要素であるフィルタが建設的干渉の影響を受けないフィルタバンクアーキテクチャとなる。

【0025】

周波数範囲拡張の利点は、特定の周波数をレンダリングすることができない（例えば、低品質）スピーカが、それらの周波数の音響心理学的影響をもたらすことを可能にすることを含む。したがって、モバイルデバイスでよく見つけられるものなどの低コストスピーカが、高品質リスニング体験をもたらすことができる。音響心理学的周波数範囲拡張は、スピーカに対するハードウェア修正を必要とすることなく、モバイルデバイスで見つけられる処理回路によってなど、音声信号を処理することによって実現される。周波数範囲拡張および周波数応答改善はまた、次善のサブバンドにおける物理エネルギーの量を増大させることに訴えることなく実現されるとき、スピーカドライバの電力消費特性および寿命を改善するために有用であり得る。

【0026】

音声処理システム
図１は、いくつかの実施形態に従った、音声システム１００のブロック図である。音声システム１００は、非線形のフィルタバンクモジュール１２０を使用して、スピーカ１１０に対する周波数範囲拡張をもたらす。システム１００は、高調波処理モジュール１０４（１）、１０４（２）、１０４（３）、および１０４（４）を含むフィルタバンクモジュール１２０と、オールパスフィルタネットワークモジュール１２２と、コンバイナモジュール１０６とを含む。音声システム１００のいくつかの実施形態は、本明細書で説明される構成要素とは異なる構成要素を含んでもよい。

【0027】

フィルタバンクモジュール１２０は、制約に従ったスケールに依存性を有する高度に調整可能な非線形性を使用して、音声チャネルａ（ｔ）から位相コヒーレント高調波スペクトルを生成する。いくつかの実施形態では、高調波処理モジュール１０４は、示されるように、並列に接続されてもよい。いくつかの実施形態は、フィルタバンクモジュールの一連の実装を含み得、そしてそこでアップストリーム高調波処理モジュールのそれぞれの残差が、ダウンストリーム高調波処理モジュールに渡される。一連の実装は、図７に関連していっそう詳細に説明される。システム１００は、レンダリングのためにスピーカ１１０に提供される出力チャネルｏ（ｔ）を生成する。フィルタバンクモジュール１２０の高調波処理モジュール１０４（１）～１０４（４）は、スピーカ１１０の物理帯域幅を越える音声チャネルａ（ｔ）に対する音響心理学的周波数範囲拡張を提供する。

【0028】

フィルタバンクモジュール１２０は、高調波スペクトル成分ｈ（ｔ）（ｎ）を生成する複数の高調波処理モジュール１０４（ｎ）を含む。いくつかの実施形態では、高調波処理モジュール１０４（１）～１０４（４）のそれぞれは、音声チャネルａ（ｔ）の全体を分析し、それぞれの高調波スペクトル成分ｈ（ｔ）（１）～ｈ（ｔ）（４）を合成する。いくつかの実施形態では、高調波処理モジュールのそれぞれは、音声チャネルの異なる目標サブバンドを分析してもよい。高調波スペクトル成分ｈ（ｔ）（ｎ）のそれぞれは、ａ（ｔ）におけるデータの位相コヒーレントスペクトル変換である。高調波スペクトル成分ｈ（ｔ）（ｎ）のそれぞれは、ａ（ｔ）のそれぞれの目標サブバンドにおけるデータの周波数とは異なる周波数を含む、重み付けられた位相コヒーレント高調波スペクトルを有し、スピーカ１１０によって出力されるとき、それぞれの目標サブバンドの周波数の音響心理学的影響を生じさせる。高調波処理モジュール１０４（ｎ）のうちの１つまたは複数は、高調波スペクトル成分ｈ（ｔ）（ｎ）を生成して、スピーカ１１０に対する音響心理学的周波数範囲拡張をもたらすように選択されてもよい。いくつかの実施形態では、目標サブバンドの選択は、スピーカ１１０の周波数応答など、スピーカ１１０の能力に基づいてもよい。例えば、スピーカ１１０がサウンドの低周波数を効率的にレンダリングすることが可能でない場合、次いで、高調波処理モジュール１０４は、低周波数と対応する周波数サブバンド成分を対象とするように構成されてもよく、これらは、高調波スペクトル成分ｈ（ｔ）（ｎ）に変換されてもよい。音声システム１００は、１つまたは複数の高調波処理モジュール１０４を含んでもよい。高調波処理モジュール１０４に関する追加の詳細は、図２～５と関連して議論される。

【0029】

オールパスフィルタネットワークモジュール１２２は、音声チャネルａ（ｔ）がフィルタバンクモジュール１２０の出力とコヒーレントなままであることを保証するよう、フィルタリングされた音声チャネルａ（ｔ）を生成する。オールパスフィルタネットワーク１２２は、入力信号ａ（ｔ）に、整合する位相変化を適用することによって、高調波処理モジュール１０４（ｎ）の適用の結果としての位相変化を補償する。これは、操作された位相によるものであるがａ（ｔ）とは知覚的に区別することができない信号と、フィルタバンクモジュール１２０によって生成された高調波スペクトル成分ｈ（ｔ）（ｎ）との間でコヒーレントな加算を行うことを可能にする。

【0030】

コンバイナモジュール１０６は、オールパスフィルタネットワークモジュール１２２からのフィルタリングされた音声チャネルａ（ｔ）およびフィルタバンクモジュール１２０からの１つまたは複数の高調波スペクトル成分ｈ（ｔ）（ｎ）を組み合わせることによって、出力チャネルｏ（ｔ）を生成する。コンバイナモジュール１０６は、スピーカ１１０に出力チャネルｏ（ｔ）を提供する。いくつかの実施形態では、コンバイナモジュール１０６は、図６に関連してより詳細に説明されるように、合計された高調波スペクトル成分ｈ（ｔ）（ｎ）に対して追加の処理を実行する。

【0031】

図２は、いくつかの実施形態に従った、高調波処理モジュール１０４のブロック図である。高調波処理モジュール１０４は、非線形フィルタを設け、非線形フィルタは、音声チャネルを分析し、構成可能なスペクトル変換で目標サブバンドのデータを再合成する。高調波処理モジュール１０４は、オールパスネットワークモジュール２０２、前方トランスフォーマモジュール２０４、係数演算子モジュール２０６、および逆トランスフォーマモジュール２０８を含む。オールパスネットワークモジュール２０２は、直交成分を生成するために、音声チャネルｘ（ｔ）に位相における変換のペアを適用する。前方トランスフォーマモジュール２０４は、スペクトル全体を回転させる直交成分に前方変換を適用し、その結果、回転スペクトル直交成分を生成するよう、選択された周波数が０ヘルツにマッピングされる。０ヘルツへの選択された周波数のシフトは、標準基底（ｓｔａｎｄａｒｄ ｂａｓｉｓ）から回転基底（ｒｏｔａｔｅｄ ｂａｓｉｓ）への変化と呼ばれる。選択された周波数は、目標サブバンドの中心周波数または他の周波数であってもよい。係数演算子モジュール２０６は、周波数、振幅（ｍａｇｎｉｔｕｄｅ）、または位相に基づいてデータを選択的にフィルタリングすること、および制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成することを含む、回転基底において演算を実行する。逆トランスフォーマモジュール２０８は、重み付けされた位相コヒーレント回転スペクトル直交成分のスペクトルを回転させるために、逆変換を適用し、その結果、０ヘルツが選択された周波数にマッピングされて高調波スペクトル成分

【0032】

【数1】

【0033】

を生成する。選択された周波数への０ヘルツのシフトは、回転基底から標準基底への変化と呼ばれる。高調波スペクトル成分

【0034】

【数2】

【0035】

は、音声チャネルｘ（ｔ）の目標サブバンドとは異なる周波数を含んでもよいが、スピーカによってレンダリングされるとき、音声チャネルｘ（ｔ）の目標サブバンドの周波数の音響心理学的影響をもたらす。

【0036】

いくつかの実施形態では、高調波処理モジュール１０４に入力された音声成分ｘ（ｔ）は、サブバンド成分ａ（ｔ）（ｎ）であってもよい。この実施例では、目標周波数を選択するための係数演算子モジュール２０６による選択的フィルタリングがスキップされてもよい。

【0037】

オールパスネットワーク２０２は、音声チャネルｘ（ｔ）を直交成分ｙ₁（ｔ）およびｙ₂（ｔ）を含むベクトルｙ（ｔ）に変換する。直交成分ｙ₁（ｔ）およびｙ₂（ｔ）は、９０度の位相関係を含む。直交成分ｙ₁（ｔ）およびｙ₂（ｔ）ならびに入力信号ｘ（ｔ）は、全ての周波数についての統一振幅関係を含む。実数値入力信号ｘ（ｔ）は、オールパスフィルタＨ１およびＨ２のマッチドペアによって直交値に変換される。この演算は、式（１）に示されるような連続時間プロトタイプを介して定義されてもよい。

【0038】

【数3】

【0039】

いくつかの実施形態は、インプット（モノ）信号と２つの（ステレオ）直交成分ｙ₁（ｔ）およびｙ₂（ｔ）のいずれかとの間の位相関係を必ずしも保証するわけでないが、９０度位相関係を含む直交成分ｙ₁（ｔ）およびｙ₂（ｔ）ならびに全ての周波数についての統一振幅関係を含む直交成分ｙ₁（ｔ）、ｙ₂（ｔ）、およびインプット信号ｘ（ｔ）を結果としてもたらす。

【0040】

図３は、いくつかの実施形態に従った、前方トランスフォーマモジュール２０４のブロック図である。前方トランスフォーマモジュール２０４は、回転行列モジュール３０２および行列乗算器３０４を含む。前方トランスフォーマモジュール２０４は、直交成分ｙ₁（ｔ）およびｙ₂（ｔ）を受信し、前方変換を適用して回転スペクトル直交成分ｕ₁（ｔ）およびｕ₂（ｔ）を含むベクトルｕ（ｔ）を生成する。回転行列モジュール３０２を介して時間変化回転行列を生成し、行列乗算器３０４を介して直交成分にそれを適用し、回転スペクトル直交成分ｕ（ｔ）を結果としてもたらすことによって、この変換が適用される。ベクトルｕ（ｔ）は、音声信号ｘ（ｔ）のスペクトルの周波数シフトされた形式であり異なる時間ｔにおけるｕのそれぞれが回転スペクトル直交成分として定義される係数空間を定義する。ベクトルｕ（ｔ）によって定義された係数は、ｘ（ｔ）のスペクトルを回転させた結果であり、その結果、ここで、所望の中心周波数θｃが０ヘルツにある。

【0041】

前方変換は、式（２）によって定義されるように、直交信号上での時間変化二次元回転として適用されてもよい。

【0042】

【数4】

【0043】

Ｈ１は、オールパスフィルタであり、回転

【0044】

【数5】

【0045】

は、角度周波数θｃの回転であり、式（３）によって定義される。

【0046】

【数6】

【0047】

式（２）および式（３）は、三角法関数（ｔｒｉｇｏｎｏｍｅｔｒｙ ｆｕｎｃｔｉｏｎ）への反復呼び出し（ｉｔｅｒａｔｉｖｅ ｃａｌｌｓ）を含む。θｃが一定である間隔を通じて、三角法関数への反復呼び出しではなく再帰的２Ｄ回転によって前方変換が計算されてもよい。この最適化戦略が使用されるとき、ｓｉｎおよびｃｏｓへの呼び出しは、θｃが初期化または変更されるときに行われるのみである。この最適化は、無限小回転行列の順次累乗として、すなわち、

【0048】

【数7】

【0049】

としてそれぞれの行列

【0050】

【数8】

【0051】

を定義する。２つの２×２行列を共に乗算することが、ほとんどのアーキテクチャに対する高度に最適化された計算であるから、この定義は、式（３）で示された三角法関数への反復呼び出しに対して性能の利点を提供し得、式（３）はそれにも関わらず等価である。

【0052】

図４は、いくつかの実施形態に従った、係数演算子モジュール２０６のブロック図である。係数演算子モジュール２０６は、フィルタモジュール４０２、振幅モジュール４０４、ゲートモジュール４０６、除算演算子４０８および４１０、高調波ジェネレータモジュール４１２、乗算演算子４１４および４１６、ならびに最大値モジュール４２０を含む。係数演算子モジュール２０６は、回転スペクトル直交成分ｕ_１（ｔ）およびｕ_２（ｔ）を含むベクトルｕ（ｔ）を使用して、重み付けされた位相コヒーレント回転スペクトル直交成分

【0053】

【数9】

【0054】

および

【0055】

【数10】

【0056】

を含む、回転スペクトル

【0057】

【数11】

【0058】

を生成する。

【0059】

いくつかの実施形態では、フィルタモジュール４０２は、２つのチャネルロウパスフィルタである。このケースでは、高調波処理モジュール１０４は、フィルタモジュール４０２のカットオフ周波数を倍にする帯域幅において、θｃに中心がある目標サブバンドに対するスペクトル変換を実行するように構成される。フィルタモジュール４０２は、逆変換の後に調整可能なバンドパスフィルタをもたらすロウパスフィルタＦ（ｘ）を適用し得る。この場合、Ｆ（ｘ）のカットオフ周波数は、非線形フィルタの解析領域の帯域幅の半分に対応する。

【0060】

振幅モジュール４０４は２Ｄベクトルの長さを判定し、２Ｄベクトルの長さは、除算演算子４０８および４１０を使用してフィルタリングされた信号ベクトルから選択的に因数分解され得る（ｆａｃｔｏｒｅｄ ｏｕｔ）、瞬間的な振幅の尺度として使用される。例えば、除算演算子４０８は、ｕ（ｔ）のｕ_１（ｔ）成分に対して除算を実行し得、除算演算子４１０は、ｕ（ｔ）のｕ_２（ｔ）成分に対して除算を実行し得る。式(９)のｍａｘ（）関数によって定義されるように、スケール独立性に対する制約は、最大値モジュール４２０によって適用され、これは、除算演算子４０８および４１０の作用を効果的に制約する。いくつかの実施形態では、その関係がスケールに依存しない信号に基づいて高調波ジェネレータモジュール４１２が高調波を提供することを可能にするために、振幅はスケールに関係なく因数分解され得る。

【0061】

高調波ジェネレータモジュール４１２は、重み付けされた構成要素である非線形性の合計を含む非線形性を生成する。非線形性は、回転スペクトル直交成分の目標サブバンドに基づいて、高調波スペクトルを提供する。例えば、高調波ジェネレータモジュール４１２は、異なる高調波について構成要素である非線形性を生成し、構成要素である非線形性に重みａ_ｎを適用し、重み付けされた構成要素である非線形性の合計として非線形性を生成する。

【0062】

振幅モジュール４０４によってもたらされる振幅は次いで、ゲートモジュール４０６を通過するときに再度使用される。ゲートモジュール４０６は、その瞬時勾配がスルーリミッタ（ｓｌｅｗ ｌｉｍｉｔｅｒ）４１８によって制限されるエンベロープを生成する。結果として生じるスルー制限されたエンベロープは次いで、乗算演算子４１４および４１６を介して高調波ジェネレータモジュール４１２の出力に適用される。例えば、乗算演算子４１６は、ｕ（ｔ）のｕ_１（ｔ）成分に対して乗算を実行し得、乗算演算子４１４は、ｕ（ｔ）のｕ_２（ｔ）成分に対して乗算を実行し得る。重み付けされた高調波の合計によって定義された非線形性は、回転スペクトル

【0063】

【数12】

【0064】

を生成するよう時間変化エンベロープと乗算される。

【0065】

ｕ（ｔ）の係数は、式（４）を使用して極座標において表現されてもよい。

【0066】

【数13】

【0067】

ここで、項｜｜ｕ（ｔ）｜｜は、係数信号の瞬時振幅であり、∠ｕ（ｔ）は、瞬時位相である。ここで、これらの項は、逆変換ステージの前に操作されることができる。

【0068】

ｕ（ｔ）によって定義される係数は、それらの瞬時振幅に基づいて選択的にフィルタリングされる。フィルタリングは、ゲートモジュール４０６によって適用されるゲート関数およびスルーリミッタ４１８によって適用されるスルー制限フィルタ（ｓｌｅｗ ｌｉｍｉｔｉｎｇ ｆｉｌｔｅｒ）を含んでもよい。閾値ｎに基づいたゲート関数は、式（５）によって定義されてもよい。

【0069】

【数14】

【0070】

ここで、ケースｘ＞＝ｎは、係数を維持することを結果としてもたらし、ケースｘ＜ｎは、係数の除去を結果としてもたらす。いくつかの実施形態では、ケースｘ＜ｎは交互に、係数の完全な除去ではなく減衰を結果としてもたらし得る。ゲート関数が瞬時振幅の推定に対して動作するため、実数値振幅（ｒｅａｌ－ｖａｌｕｅｄ ａｍｐｌｉｔｕｄｅ）に基づいたゲートよりも概して応答的であると共に、アーチファクトがより少ない。

【0071】

非線形フィルタの応答のエンベロープ特性を更に適合させるよう、スルー制限フィルタを介して時間ドメイン平滑化が達成され得る。スルー制限フィルタは、関数の最大（正）勾配および最小（負）勾配を飽和させる非線形フィルタである。Ｓ（ｘ）として以下に記号で表される、正および負の飽和点に対する独立した制御による非線形フィルタなど、様々なタイプのスルー制限フィルタまたは要素が使用されてもよい。ゲート関数の出力にスルー制限を適用することは、時間変化エンベロープ：Ｓ（Ｇ（｜｜ｕ［ｔ］｜｜））を結果としてもたらす。これは、係数のエンベロープをスカルプト（ｓｃｕｌｐｔ）するために使用されてもよい。

【0072】

【数15】

【0073】

の位相コヒーレント高調波スペクトルを生成するために、高調波ジェネレータモジュール４１２は、式（６）によって定義されるような第１の種類のチェビシェフ多項式を使用してもよい。

【0074】

【数16】

【0075】

これらの多項式は、スケール独立非線形性についての式（７）または式（８）によって定義されるように、それらの出力を合計することによって、高調波の制御された生成を許容する。

【0076】

【数17】

【0077】

または、等価的に、

【0078】

【数18】

【0079】

ここで、ａ_ｎ＝［ａ０，ａ１，ａ２…ａＮ］は、位相コヒーレント高調波スペクトルの高調波ｎのそれぞれに適用される高調波重みであり、Ｎは、生成された最も高い高調波である。式（７）および（８）の両方の表現では、非線形性（例えば、合計結果によって定義される）は、入力スケールから独立している。これは、出力スペクトルが入力音量と共に変動することを防止し、代わりに、スペクトル重みａにより決定される変動のみを許可する。重みが、低下する連続として概して配列され、人間の聴覚系が順応する自然に発生するサウンドの高調波の連続をエミュレートする。重みの連続は、入来する音声チャネルのスケールから独立している。

【0080】

等価的であるが、式（７）は、出力段階の直接操作を可能にする利点を有し、一方で、式（８）は、振幅に対して動作するにすぎず、費用がかかる可能性のある三角関数を省略する。

【0081】

式（７）および（８）において、非線形性の出力スペクトルは、入力係数の振幅||ｕ（ｔ）||の関数として変化しない。これは、厳密に制御され、予測可能な非線形性をもたらすが、この一様性は、場合によっては不自然に聞こえるテクスチャーを生成する可能性がある。この不可解な現象は、口頭で歌われたボーカルのような特定の入力コンテンツで特に顕著であり、その現象は、低周波数コンテンツもまた存在する場合、悪化する。

【0082】

例えば、映画コンテンツは、会話と同時に低音効果（ＬＦＥ）コンテンツをしばしば用い得る。このＬＦＥコンテンツは、まさにこの技術を使用して再現したいコンテンツのタイプだが、結果として生じる相互変調のひずみは、声の明瞭度と現実感とに影響を与える可能性がある。

【0083】

これに対処するために、様々な程度の制御が非線形性の構成要素である非線形性のそれぞれに適用され得、結果として生じる高調波混合が、入力コンテンツに反応して（例えば、いくらか）活発になることを可能にする。入来する振幅が統一するまで削減される度合は、スペクトル安定性の度合を決定する。統一を下回る振幅では、構成要素である非線形性の高調波寄与は、より低い整数高調波の混合を含む。偶数多項式は偶数の整数高調波の混合を生成するが、奇数多項式は奇数の整数高調波の混合を生成する。

【0084】

瞬時振幅の計算は式（８）で直接的に適用されるため、式（９）で定義されているように、アルゴリズムを平易に修正して、その適用に制約を適用することができる。

【0085】

【数19】

【0086】

ここで、ｂ_ｎ＝「ｂ０，ｂ１，ｂ２．．．ｂＮ」は、位相コヒーレント高調波スペクトルの高調波ｎのそれぞれに対してｍａｘ（｜｜ｕ（ｔ）｜｜，ｂ_ｎ）によって定義される振幅補正因数（ｍａｇｎｉｔｕｄｅ－ｃｏｒｒｅｃｔｉｏｎ ｆａｃｔｏｒ）の最小値制約（ｍｉｎｉｍｕｍ ｖａｌｕｅ ｃｏｎｓｔｒａｉｎｔ）を定義し、Ｎは生成された最も高い高調波である。高調波ｎのそれぞれについて、振幅補正因数ｍａｘ（｜｜ｕ（ｔ）｜｜，ｂｎ）は、式（１０）によって定義されるように、構成要素である非線形性の入力ｕ（ｔ）に適用される利得修正への制約を定義する。

【0087】

【数20】

【0088】

したがって、式（１１）によって定義される非線形性は、

【0089】

【数21】

【0090】

異なる高調波（ｎ＝０～Ｎ）についての構成要素である非線形性の重み付けされた（例えば、ａ_ｎによって）混合を含み、ここで、構成要素である非線形性は式（１０）によって定義される。

【0091】

ｂ_ｎより低いｕ（ｔ）の振幅では、補正に使用される信号振幅が変動することが可能とされる。ｂ_ｎを上回るｕ（ｔ）の振幅では、高調波コンテンツは、式（８）における可能なすべての振幅の場合のように、多項式の順序に対応する高調波の合計として定義される。Ｂと０との間のｕ（ｔ）の振幅では、上位の（ｕｐｐｅｒ）高調波コンテンツは、振幅が小さくなるにつれて大体減少していくが、高次多項式の混合に対しては、関係は単に単調であるよりはより複雑となり得る。

【0092】

例えば、式（１２）によって定義されるような第３のチェビシェフ多項式を含む伝達関数は、

【0093】

【数22】

【0094】

式（１３）で定義されるように、ｘが単位振幅の余弦波である場合、以下の純粋な３次高調波（および１次の－∞ｄＢ）をもたらす。

【0095】

【数23】

【0096】

しかし、式（１４）によって定義されるように、ｘが代わりに－６ｄＢの振幅の余弦波であるとき、高調波の混合をもたらす。

【0097】

【数24】

【0098】

または話し言葉では、－１８ｄＢの３次高調波および＋１ｄＢの１次（基本波の）高調波をもたらす。この混合はまた、結果として高調波を生じるすべての構成要素の奇数性（ｏｄｄｎｅｓｓ）を実証する。さらに、１次高調波はインプットに対して増幅し、正のｄＢ値をもたらす。

【0099】

同じ伝達関数が－１２ｄＢの余弦波に適用されたときは、式（１５）によって定義されるような結果を生成する。

【0100】

【数25】

【0101】

これは、減少する３次高調波、および１次高調波の非単調な挙動を含む。

【0102】

スペクトルクリッピングの程度を制約することによって、アルゴリズムは、コンテンツ中をよりよく一般化し得る。さらに、どのような相互変調効果も知覚的により少なく存在するため、より少ない周波数帯が計算される必要が可能性としてあり得る。

【0103】

相互変調効果は、複数の周波数を有する信号へ非線形伝達関数を適用したことについての典型的な副産物である。典型的には、これらの相互変調効果は、入力信号周波数の合計および差となる周波数を含む。制約のない場合では、これらの相互変調効果は所与の追加の重みおよび持続性を有するものとなる。スペクトルクリッピング機能を制約することによって、結果として生じるスペクトルはより安定せず、相互変調効果による支配的な周波数をより多く強調する。

【0104】

結果として、制約されたスペクトルクリッピングを介して周波数範囲を拡張することは、制約されていない方法を使用するものよりも少ない個々の非線形フィルタを使用して類似の効果を達成し得る。これは、計算効率の増加をもたらし得る。さらに、多くのフィルタ間のインタラクションを管理することが時として困難な可能性があるため、パラメータ削減はまた、調整がより簡単なアルゴリズムをもたらし得る。

【0105】

式（１４）に示されるように、振幅－６ｄＢの余弦に適用される第３のチェビシェフ多項式の処理は、減衰に追いやられるのではなく、増幅をもたらし得る。この事実は、高調波の混合に関する比較的直感で理解できない挙動と組み合わされて、クリッピングを避けるよう注意を払わない場合、クリッピングを引き起こし得る。いくつかの実施形態では、図６に関連してより詳細に説明されるように、奇数次の非線形性（ｏｄｄ ｎｏｎｌｉｎｅａｒｉｔｙ）がフィルタバンクモジュール１２０によって生成された高調波スペクトル成分に適用されて、この結果として生じるダイナミックを管理し得る。

【0106】

図５は、いくつかの実施形態に従った、逆トランスフォーマモジュール２０８のブロック図である。逆トランスフォーマモジュール２０８は、回転行列モジュール５０２、行列乗算器５０４、射影演算子５０６、および行列転置演算子５０８を含む。逆トランスフォーマモジュール２０８は、位相コヒーレント回転スペクトル直交成分

【0107】

【数26】

【0108】

および

【0109】

【数27】

【0110】

を含む回転スペクトル

【0111】

【数28】

【0112】

から高調波スペクトル成分

【0113】

【数29】

【0114】

を生成する。回転行列モジュール５０２は、行列モジュール３０２によって生成された回転行列に同一の回転行列を生成する。回転行列モジュール５０２によって生成された行列は、行列転置演算子５０８によって転置され、行列乗算器５０４によって位相コヒーレント回転スペクトル直交成分

【0115】

【数30】

【0116】

および

【0117】

【数31】

【0118】

の入来する２Ｄベクトルに適用される。結果として生じる２Ｄベクトルは、射影演算子５０６によって単一次元に射影される。

【0119】

回転基底から標準基底に戻す逆変換を実行するために、式（１６）によって定義されるようにその元の位置θｃに０ヘルツが戻るように、出力スペクトルがシフトされる。

【0120】

【数32】

【0121】

ここで、Ｐは、式（１７）によって定義されるように、二次元実係数空間から単一次元への射影である。

【0122】

【数33】

【0123】

前方変換

【0124】

【数34】

【0125】

が正規直交回転を含むため、逆変換は転置である。この代数的構造は、前方変換行列のキャッシング、および係数が乗算される位数を変更することによって、それを簡単に反転させることを可能にする。この意味で、図３における回転行列モジュール３０２および図５における回転行列モジュール５０２は、同一であると言える。高調波スペクトル成分

【0126】

【数35】

【0127】

は、高調波スペクトル成分ｈ（ｔ）（ｎ）の例であり、よって、より大きなフィルタバンクにおける非線形フィルタの応答であり得る。

【0128】

図６は、いくつかの実施形態に従ったコンバイナモジュール１０６のブロック図である。コンバイナモジュール１０６は、フィルタバンクモジュール１２０からの高調波スペクトル成分ｈ（ｔ）（ｎ）に対してさらに処理を行い、高調波スペクトル成分ｈ（ｔ）（ｎ）を組み合わせて、組み合わされた成分ｚ（ｔ）を生成し、組み合わされた成分ｚ（ｔ）に対してさらに処理を行い、組み合わされた成分ｚ（ｔ）をオールパスフィルタネットワークモジュール１２２からのフィルタされた音声チャネルａ（ｔ）と組み合わせて、出力チャネルｏ（ｔ）を生成する。

【0129】

コンバイナモジュール１０６は、コンポーネントプロセッサ６０２（１）～６０２（４）（個別にコンポーネントプロセッサ６０２または６０２（ｎ）と称される）、高調波スペクトル成分コンバイナ６０４、結合成分プロセッサ６０６、および出力コンバイナ６０８を含む。コンポーネントプロセッサ６０２（１）～６０２（４）はそれぞれ、高調波スペクトル成分ｈ（ｔ）（１）～ｈ（ｔ）（ｎ）に処理を適用する。コンバイナモジュール１０６は、フィルタバンクモジュール１２０の高調波処理モジュール１０４のそれぞれのためのコンポーネントプロセッサ６０２を含み得る。上述したように、高調波スペクトル成分ｈ（ｔ）（ｎ）のそれぞれは、音声チャネルａ（ｔ）の異なる周波数帯域ｎを使用して生成される状態で、フィルタバンクモジュール１２０は、１つまたは複数の高調波スペクトル成分ｈ（ｔ）（ｎ）を選択的に生成し得る。

【0130】

式（１０）で定義されるような制約された非線形性では、結果として生じ得る出力レベルのより大きな変動は、瞬間的なピークレベルを制限するためにより多くのことが行われ得ることを示唆する。高調波スペクトル成分ｈ（ｔ）（ｎ）（または式（１６）によって定義される

【0131】

【数36】

【0132】

）の生成に続いて、コンポーネントプロセッサ６０２（ｎ）は、それを範囲（－１，１）に制約する信号に非線形性を適用する。この非線形性は、シグモイド関数などの奇数次線形性であり得る。この非線形性は、一般的に符号を保持し、範囲のいずれかの極値に向かって穏やかに傾斜し得る。スケーリング係数

【0133】

【数37】

【0134】

を有する双曲線正接は、式（１８）によって定義されるように、そのような関数の一例である。

【0135】

【数38】

【0136】

ピークを低減するために用いられる場合、この非線形性はまた、高調波スペクトル成分ｈ（ｔ）（ｎ）に奇数調波を加え得る。これらの奇数調波は、高調波スペクトル成分ｈ（ｔ）（ｎ）の高調波と同相である。この段階での奇数調波は、音の大きさについての一般的な人間の聴覚的影響を尊重するやり方で、全体的な振幅の変化を音色の変化にシフトする。

【0137】

ピークリミッタと組み合わせられるとき、ピークリミッティングの閾値は、式（１８）の閾値よりも少し下に設定され得、その結果、限定関数（ｌｉｍｉｔｉｎｇ ｆｕｎｃｔｉｏｎ）の調和特性は、ピークリミッタの急カーブではなく、より知覚的に意味を持つ双曲線正接によって影響を及ぼされる。

【0138】

いくつかの実施形態では、コンポーネントプロセッサ６０２（ｎ）のうちの１つまたは複数は、それぞれの高調波スペクトル成分ｈ（ｔ）（ｎ）を減衰（例えば、独立したチューニングで）させて、組み合わせられたコンポーネントｚ（ｔ）について所望の非線形特性を実現する。

【0139】

高調波スペクトル成分コンバイナ６０４は、高調波スペクトル成分ｈ（ｔ）（１）～ｈ（ｔ）（ｎ）などのような高調波スペクトル成分ｈ（ｔ）（ｎ）を組み合わせて、組み合わされた成分ｚ（ｔ）を生成する。

【0140】

結合成分処理モジュール６０６は、組み合わされた成分ｚ（ｔ）を処理する。結合成分処理モジュール６０６はまた、ハイパスフィルタリング、ダイナミックレンジ処理（例えば、限定または圧縮）などの様々なタイプの処理を適用し得る。

【0141】

出力コンバイナ６０８は、組み合わされた成分ｚ（ｔ）を、オールパスフィルタネットワークモジュール１２２からのフィルタリングされた音声チャネルａ（ｔ）と組み合わせて、出力チャネルｏ（ｔ）を生成する。いくつかの実施形態では、出力コンバイナ６０８は、組み合わせる前に、フィルタリングされた音声チャンメルａ（ｔ）または組み合わせられた成分ｚ（ｔ）を減衰させ得る。

【0142】

図７は、いくつかの実施形態に従った、フィルタバンクモジュール７００のブロック図である。フィルタバンクモジュール７００は、フィルタバンクモジュール１２０の実施形態である。インプットとしてアップストリーム高調波スペクトル成分の残差を使用してダウンストリーム高調波スペクトル成分のそれぞれが生成される、直列の実装をフィルタバンクモジュール７００は使用する。並列に適用された独立したフィルタを用いたフィルタバンクモジュールの構築は比較的直感的であるが、そのようなフィルタバンクモジュールをチューニングすることは複雑な作業となる可能性がある。この困難さは、パワースペクトル保持を失った結果である。実際には、問題のあるパワースペクトル保持を伴ったフィルタバンクのチューニングは、低周波数における短期間の遅延またはくし形フィルタの影響をしばしば与え、タイミングを決定するリスナーの能力を妨害する。これは、パーカッシブな低周波数コンテンツのエンベロープが振幅と基本周波数との両方において同時にしばしば低下するために起こる。したがって、パワースペクトルの不連続性は、１つだけが先に存在した複数の過渡事象を知覚することをもたらす。

【0143】

一連のパラダイムでは、フィルタバンクモジュール７００のフィルタのそれぞれは、分析する周波数帯と入来するコンテンツの残差との間の信号を分岐させる。これは、ロウパスフィルタＦ（ｘ）を２バンドクロスオーバーネットワークに置き換えることによって行われる。いくつかの場合では、これは、ロウパス動作の直前のブロードバンド信号からロウパス信号を取り去ることによって単純に実現され得ることに留意されたい。次いで、後続のフィルタは、残っているハイパス信号に対してのみ動作し、アップストリームフィルタが以前に作用したスペクトルデータを除外する。結果として、フィルタバンクモジュール７００によって分析される総スペクトルエネルギーは、インプットにおける総スペクトルエネルギーと同一となる。

【0144】

並列の場合と同様に、シリアルフィルタのそれぞれは独立した前方変換と逆変換とを使用する。これは、いくつかの方法で実現されることができる。第１の例では、フィルタのそれぞれの前方変換および逆変換は、ダウンストリームフィルタの前方変換および逆変換などに移る前に適用される。第２の例では、後続のフィルタの前方変換の座標が変換されるピラミッドアルゴリズムが使用され、そしてピラミッドアルゴリズムは、アップストリームフィルタの周波数偏移θｃｎ－１と次のθｃｎのアップストリームフィルタの周波数偏移との間の差を使用して変換行列を計算することを含む。すべての前方変換が適用された後、逆変換は逆の順序で適用され得、最もダウンストリームなフィルタ（ｍｏｓｔ ｄｏｗｎｓｔｒｅａｍ ｆｉｌｔｅｒ）から始まり、直列を上方へ移動する。これにより、順方向ステップと逆方向ステップとの間の周波数デルタのキャッシングが可能になる。

【0145】

フィルタバンクモジュール７００は、前方変換および逆変換のピラミッドアルゴリズムを使用する。この例では、サブバンド１からサブバンドＮまで、直列処理される音声チャネルａ（ｔ）のＮ個のサブバンドが存在する。ブロックｏｐ１ ７１８、ｏｐ２ ７３４、およびｏｐＭ ７５２は、それぞれ、第１のサブバンド、第２のサブバンド、および第Ｎのサブバンドに対して係数演算を実行する。ｏｐ１ ７１８、ｏｐ２ ７３４、およびｏｐＭ ７５２のそれぞれは、係数演算子モジュール２０６について本明細書で説明されるような係数演算を実行し得る。

【0146】

ブロックＲ ７０４、Ｒ ７２０、およびＲ ７３６は、それぞれ回転行列モジュール３０２について本明細書で説明されるように、右側の２次元信号を時間変化回転行列Ｒ_２で乗算する。ブロックＨ７０２は、式（１）で説明される直交フィルタ演算を示し、ブロックＨおよびＲで、式（２）によって定義される演算を一緒に実行する。

【0147】

フィルタモジュール４０２について本明細書で説明されるように、ブロックＦ７０６、Ｆ７０８、Ｆ７２２、Ｆ７２４、Ｆ７４０、およびＦ７４２はそれぞれ、ロウパスフィルタ動作Ｆ（ｘ）を実行する。

【0148】

ブロック^＊（－１）７１０、^＊（－１）７１２、^＊（－１）７２６、^＊（－１）７２８、^＊（－１）７４４、および^＊（－１）７４６は、受信されたインプットを反転させる。ブロック＋７１４、＋７１６、＋７３０、＋７３２、＋７４８、＋７５０、＋７７４、および＋７７６は、受信されたインプットを組み合わせてアウトプットを生成する。

【0149】

ブロックＲ^－１７５４、Ｒ^－１７５６、Ｒ^－１７６２、Ｒ^－１７６６、Ｒ^－１７６４、およびＲ^－１７７２は、Ｒブロックの逆変換を実行する。例えば、ブロックＲ７０４、Ｒ^－１、７７２、およびＲ^－１７６６は、－（θｃ１ｔ）の回転を使用する。ブロックＲ ７２０、Ｒ^－１、７６４、およびＲ^－１７６２は、－（θｃ２－θｃ１）ｔの回転を使用する。ブロックＲ７３６、Ｒ^－１、７５４、およびＲ^－１７５６は、－（θｃＮ－θｃ（Ｎ－１））ｔの回転を使用する。

【0150】

ブロックＰ７７８は、式(１７)に記載される１次元射影演算を実行する。

【0151】

角周波数θcではなく、隣接するθｃｎの値の間での差を使用することに留意されたい。θｃｎの特定の選択について、ピラミッドアルゴリズムは、回転

【0152】

【数39】

【0153】

が計算される回数を制限することによって、計算的により効率の良い実装を提供し得る。θｃｎ分布のための特に計算上効率的な選択は、線形であり（隣接するフィルタについてのθｃ間での差は一定に保持される）、したがって、行列が互いに同一であるため、

【0154】

【数40】

【0155】

の再計算を完全に最小化する。

【0156】

最終的な残差は、フィルタバンク全体によって影響を受けないデータを含み、影響を受けた信号と影響を受けていない信号との間の建設的な干渉または破壊的な干渉の可能性を排除する。この残差信号の伝達関数は、フィルタバンク分析領域に完全に適合する。係数演算は、ダイナミックな挙動の修正または全く新しいコンテンツの合成をもたらす可能性が高いため、これは必ずしも出力信号のパワースペクトルの完全な再構成を暗に意味するものではない。多くの場合、この最終的な残差は完全に破棄されることができ、Ｈ７０２のアウトプットが使用されて、影響を受けていないコンテンツを混ぜて最終的に合計されたものに戻り得る。

【0157】

フィルタバンクモジュール７００は、アップストリーム高調波スペクトル成分の残差をインプットとして使用して、ダウンストリーム高調波スペクトル成分のそれぞれを生成する。Ｍ個の全非線形フィルタを含むフィルタバンクトポロジーは、この場合、直列アーキテクチャとして説明されることができる。したがって、非線形フィルタは、１からＭまでの値を有するインデックスｍによって定義され得る。例えば、ブロック＋７１４および＋７１６は、第２の高調波スペクトル成分（例えば、ｍ＝２）を生成するために使用される第１の高調波スペクトル成分（例えば、ｍ＝１）の残差を出力する。ここで、第１の高調波スペクトル成分の残差は、ブロックＦ７０６およびＦ７０８によって除去され、したがってブロックＯＰ１ ７１８によって処理されなかった音声チャネルの一部を示す。これらの残差部分は、ブロック^＊（－１）７１０および^＊（－１）７１２によってフィルタリングされた部分を反転させて、反転されてフィルタリングされた部分をブロック＋７１４および＋７１６によってフィルタリングされた部分に対して加えることによって生成される。さらなるダウンストリーム処理は、同様のやり方で動作する。例えば、ブロック＋７３０および＋７３２は第２の高調波スペクトル成分の残差を出力し、そして第２の高調波スペクトル成分の残差は第３の高調波スペクトル成分（例えば、ｍ＝３）などを生成するために使用される。

【0158】

実施例の処理
図８は、いくつかの実施形態に従った、音響心理学的周波数範囲拡張のための処理８００のフローチャートである。図８に示される処理は、音声システム（例えば、音声システム１００）の構成要素によって実行されてもよい。他のエンティティは、他の実施形態では、図８におけるステップの一部または全てを実行してもよい。実施形態は、異なるステップおよび／もしくは追加のステップを含んでもよく、または異なる順序においてステップを実行してもよい。

【0159】

音声システムは、音声チャネルの直交表現を定義した直交成分を生成する（８０５）。音声チャネルは、ステレオ音声信号の左チャネルまたは右チャネルなどのマルチチャネル音声信号のチャネルであってもよい。直交成分は、９０度位相関係を含む。直交成分および音声チャネルは、全ての周波数についての統一振幅関係を含む。いくつかの実施形態では、実数値入力信号は、オールパスフィルタのマッチドペアによって直交値に変換される。

【0160】

音声システムは、標準基底から回転基底に直交成分のスペクトル（例えば、スペクトル全体）を回転させる前方変換を適用することによって、回転スペクトル直交成分を生成する（８１０）。標準基底は、回転の前の入力音声チャネルの周波数を示す。回転は、目標周波数が０ヘルツにマッピングされることを結果としてもたらし得る。この目標周波数は、音響心理学的範囲拡張のための目標サブバンドの中心周波数など、高調波処理モジュールの分析領域の中心であってもよい。前方変換は、式（３）によって定義されるような三角法関数への反復呼び出しを使用して、または同等の再帰的２Ｄ回転を使用して計算されてもよい。

【0161】

音声システムは、目標周波数および目標振幅において回転スペクトル直交成分の成分を分離する（８１５）。成分を分離することは、回転基底において実行されてもよい。例えば、目標周波数は、フィルタＦ（ｘ）を使用して分離されてもよく、ここでｘはｕ（ｔ）によって定義された成分を含む。いくつかの実施形態では、フィルタは、閾値を上回る周波数を除去し、これは、目標サブバンドを分離する効果を有し、前方変換が調整された中心周波数θｃの周りで対称的に閾値の２倍に及ぶ。いくつかの実施形態では、音声システムは、スピーカの再現可能範囲、スピーカの電力消費の低減、またはスピーカの増大した寿命などの因子に基づいて、目標周波数を判定する。

【0162】

音声システムはまた、ゲート関数を使用することによってなど、回転スペクトル直交成分から目標振幅における成分を分離してもよい。ゲート関数は、サブバンド内の望ましくない情報を破棄するように構成されるか、または振幅エンベロープを保存するように構成されるかのいずれかであることができる。ゲート関数はさらに、スルー制限フィルタまたは同様の平滑化関数を含んでもよい。

【0163】

音声システムは、制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成する（８２０）。重み付けされた位相コヒーレント回転スペクトル直交成分は、回転基底において生成されてもよい。この回転基底は、それが二次元ベクトルとして標準基底信号を表すため、およびそれが約ゼロの目標周波数に集中するために、設計者のスペクトルの生成に良好に適合する。ベクトルは次いで、特定の周波数に関する情報についての自然な記述子である、短時間フーリエ変換（ＳＴＦＴ）における単一のビンの振幅および引数を計算することと同様である、式（４）に見られる極座標に更に分解されることができる。この実装は、ＳＴＦＴ表現に対していくつかの明確な利点を有する。１つ目の利点は、スペクトル全体に対してではなく、ビン情報が必要に応じてのみ計算されることである。別の利点は、一時データの適切な表現に対して必要とされる時間分解能において結果が計算されることである。さらに、ＳＴＦＴ技術におけるウインドウ関数と同様に動作するフィルタは、その残差から目標スペクトルコンテンツを分離する目的のために容易に調整され、複数の高調波処理モジュールのケースでは、非均一調整を有し得る。

【0164】

その関数が回転スペクトル直交成分における位相情報を仮定して位相コヒーレントスペクトルを一次的に生成することである非線形性は、式（１１）によって定義されるように制約に従ったスケールへの依存性を有し得る。非線形性は、構成要素である非線形性の重み付けされた混合を含み、構成要素である非線形性のそれぞれは、式（１０）によって定義されて、異なる高調波ｎに対応する。分離した成分への非線形性の適用は、式（９）によって定義される。高調波ｎのそれぞれに対して、振幅補正因数ｍａｘ（｜｜ｕ（ｔ）｜｜，ｂｎ）は、構成要素である非線形性の入力ｕ（ｔ）に適用される利得修正についての制約を定義する。スケールは、時間ｔにおける信号に存在するエネルギーを表す、||ｕ（ｔ）||によって定義されるような入力成分ｕ（ｔ）の振幅を示す。異なる高調波ｎは、異なる最小値制約ｂ_ｎを含み得る。例えば、より低い高調波（例えば、基本波ｎ＝１）は、無制約（例えば、ｂ_ｎ＝０）であり得る一方、より高い高調波は、より高いｂ_ｎの値でより制約され得る。

【0165】

非線形性それ自体は、制約に従って選択的に因数分解された振幅による第１の種類のチェビシェフ多項式の重み付け合計を含み得る。非線形性のうちの構成要素である非線形性のそれぞれは、式（９）によって定義されるように、所定の高調波重みａ_ｎによって重み付けされ得る。

【0166】

音声システムは、重み付けされた位相コヒーレント回転スペクトル直交成分のスペクトルを回転基底から標準基底に回転させる、逆変換を適用することによって、高調波スペクトル成分を生成する（６２５）。逆変換は、０ヘルツが目標周波数にマッピングされるようにスペクトルを回転させ得る。高調波スペクトル成分は、目標周波数とは異なる周波数を含むが、スピーカによってレンダリングされるときに目標周波数の音響心理学的影響を生じさせる。高調波スペクトル成分の周波数は、スピーカの帯域幅内にあってもよいが、サブバンド周波数は、スピーカの帯域幅外にあってもよい。いくつかの実施形態では、サブバンド周波数は、高調波スペクトル成分の周波数よりも低い。いくつかの実施形態では、サブバンド周波数は、１８～２５０ヘルツの周波数を含む。いくつかの実施形態では、目標サブバンドまたは周波数は、スピーカの再現可能範囲内にあってもよいが、例えば、音声システムの電力消費を低減させ、またはスピーカの寿命の改善するためなど、用途特有の理由により選択されていることがある。

【0167】

音声システムは、出力チャネルを生成するよう、目標周波数の範囲外の音声チャネルの周波数と高調波スペクトル成分を組み合わせて（８３０）、スピーカに出力チャネルを提供する（８３５）。いくつかの実施形態では、音声システムは、元の音声チャネルと高調波スペクトル成分を組み合わせることによって、出力チャネルを生成し、スピーカに出力チャネルを提供する。いくつかの実施形態では、音声システムは、音声チャネルまたは他のサブバンド成分が高調波スペクトル成分とコヒーレントなままであることを保証するよう、音声チャネルまたは音声チャネルの他のサブバンド成分をフィルタリングして（例えば、周波数範囲拡張のために使用されるサブバンド成分（複数可）を排除する）、スピーカに対して出力チャネルを生成するよう、高調波スペクトル成分とフィルタリングされた音声チャネルまたは他のサブバンド成分を組み合わせる。いくつかの実施形態では、フィルタリングされたチャネルまたは元の音声チャネルと、高調波スペクトル成分との組み合わせは、スピーカに対して出力チャネルを生成するよう、例えば、等価、圧縮などで更に処理されてもよい。

【0168】

ステップ８０５～８２５では、音声チャネルの周波数帯域に対して高調波スペクトル成分が生成される。いくつかの実施形態では、複数の高調波スペクトル成分が生成されて組み合わされ（８３０）、ここで高調波スペクトル成分のそれぞれは、音声チャネルの異なる周波数帯域を使用して生成される。出力チャネルは、高調波スペクトル成分の目標周波数の範囲外の音声チャネルの周波数を組み合わせることによって生成され得る。高調波スペクトル成分は、並列または直列に生成され得る。直列の場合では、ダウンストリーム高調波スペクトル成分のそれぞれは、インプットとしてアップストリーム高調波スペクトル成分の残差を使用して生成され得る。いくつかの実施形態では、異なるスピーカは、異なる利用可能な帯域幅または周波数応答を有してもよい。例えば、モバイルデバイス（例えば、携帯電話）は、アンバランスなスピーカを含んでもよい。異なるスピーカに対する周波数範囲拡張のために異なるサブバンド成分が使用されてもよい。

【0169】

実施例のコンピュータ
図９は、いくつかの実施形態に従った、コンピュータ９００のブロック図である。コンピュータ９００は、音声システム１００、またはフィルタバンクモジュール１２０あるいはフィルタバンクモジュール７００などの音声システムおよびその構成要素を実装する回路の例である。例示されるのは、チップセット９０４に結合された少なくとも１つのプロセッサ９０２である。チップセット９０４は、メモリコントローラハブ９２０および入力／出力（Ｉ／Ｏ）コントローラハブ９２２を含む。メモリ９０６およびグラフィックアダプタ９１２は、メモリコントローラハブ９２０に結合され、ディスプレイデバイス９１８は、グラフィックアダプタ９１２に結合される。記憶装置９０８、キーボード９１０、ポインティングデバイス９１４、およびネットワークアダプタ９１６は、Ｉ／Ｏコントローラハブ９２２に結合される。コンピュータ９００は、様々なタイプの入力デバイスまたは出力デバイスを含んでもよい。コンピュータ９００の他の実施形態は、異なるアーキテクチャを有する。例えば、メモリ９０６は、いくつかの実施形態では、プロセッサ９０２に直接結合される。

【0170】

記憶装置９０８は、ハードドライブ、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、ＤＶＤ、またはソリッドステートメモリデバイスなどの１つまたは複数の非一時的コンピュータ可読記憶媒体を含む。メモリ９０６は、プロセッサ９０２によって使用されるプログラムコード（１つまたは複数の命令から成っている）およびデータを保持する。プログラムコードは、図１～８を参照して説明された処理態様に対応してもよい。

【0171】

ポインティングデバイス９１４は、データをコンピュータシステム９００に入力するために、キーボード９１０と組み合わせて使用される。グラフィックアダプタ９１２は、画像および他の情報をディスプレイデバイス９１８に表示する。いくつかの実施形態では、ディスプレイデバイス９１８は、ユーザ入力および選択を受信するためのタッチスクリーン機能を含む。ネットワークアダプタ９１６は、コンピュータシステム９００をネットワークに結合する。コンピュータ９００のいくつかの実施形態は、図９に示された構成要素とは異なる構成要素および／または他の構成要素を有する。

【0172】

回路は、非一時的コンピュータ可読媒体に記憶されたプログラムコードを実行する１つまたは複数のプロセッサを含んでもよく、プログラムコードは、１つまたは複数のプロセッサによって実行されるとき、音声処理システムの音声処理システムまたはモジュールを実装するよう１つまたは複数のプロセッサを構成する。音声処理システムの音声処理システムまたはモジュールを実装する回路の他の例は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のタイプのコンピュータ回路などの集積回路を含んでもよい。

【0173】

追加の考慮事項
開示された構成の例示的な利点および長所としては、スピーカがスピーカの物理的能力を超えて（例えば、より低い）周波数を効果的にレンダリングできるようにすることを含む。本明細書で論じられるように音声信号を処理することによって、レンダリングされた音は、物理ドライバの帯域幅を超える周波数の影響を生じさせる。

【0174】

本明細書の全体を通じて、複数のインスタンスは、単一のインスタンスとして説明された構成要素、動作、または構造を実装し得る。１つまたは複数の方法の個々の動作は、別個の動作として例示および説明され、個々の動作のうちの１つまたは複数は、同時に実行されてもよく、例示された順序において動作が実行されることを必要としない。実施例の構成における別個の構成要素として提示された構造および機能性は、組み合わされた構造または構成要素として実装されてもよい。同様に、単一の構成要素として提示された構造および機能性は、別個の構成要素として実装されてもよい。これらのおよび他の変形、修正、追加、および改善は、本明細書における主題の範囲内にある。

【0175】

ロジックまたはいくつかの構成要素、モジュール、ブロック、または機構を含むとして特定の実施形態が本明細書で説明される。モジュールは、ソフトウェアモジュール（例えば、機械可読媒体もしくは伝送信号で具体化されたコード）またはハードウェアモジュールのいずれかを構成してもよい。ハードウェアモジュールは、特定の動作を実行する能力を有する有形単位であり、特定の方式において構成または配列されてもよい。実施例の実施形態では、１つもしくは複数のコンピュータシステム（例えば、スタンドアロン、クライアント、もしくはサーバコンピュータシステム）またはコンピュータシステムのうちの１つもしくは複数のハードウェアモジュール（例えば、プロセッサもしくはプロセッサのグループ）は、本明細書で説明されるような特定の動作を実行するよう動作するハードウェアモジュールとしてソフトウェア（例えば、アプリケーションまたはアプリケーション部分）によって構成されてもよい。

【0176】

本明細書で説明される実施例の方法の様々な動作は、関連する動作を実行するように一時的に構成された（例えば、ソフトウェアによって）、または永続的に構成された１つまたは複数のプロセッサによって少なくとも部分的に実行されてもよい。一時的または永続的に構成されるかに関わらず、そのようなプロセッサは、１つまたは複数の動作または機能を実行するよう動作するプロセッサ実施モジュールを構成し得る。本明細書で言及されるモジュールは、いくつかの実施例の実施形態では、プロセッサ実施モジュールを含んでもよい。

【0177】

同様に、本明細書で説明される方法は、少なくとも部分的にプロセッサにより実施されてもよい。例えば、方法の動作の少なくとも一部は、１つのまたは複数のプロセッサまたはプロセッサ実施ハードウェアモジュールによって実行されてもよい。特定の動作の実行は、１つまたは複数のプロセッサの間で分散されてもよく、単一のマシン内にあるだけでなく、いくつかのマシンにわたって展開されてもよい。いくつかの実施例の実施形態では、プロセッサまたはプロセッサ（複数可）は、単一の位置に位置してもよく（例えば、ホーム環境、オフィス環境内に、またはサーバファームとして）、一方で、他の実施形態では、プロセッサは、いくつかの位置にわたって分散されてもよい。

【0178】

他に特に述べられない限り、「処理」、「コンピューティング」、「計算」、「判定」、「提示」、「表示」などの用語を使用した本明細書での議論は、１つまたは複数のメモリ（例えば、揮発性メモリ、不揮発性メモリもしくはそれらの組み合わせ）、レジスタ、または情報を受信、記憶、送信、もしくは表示する他のマシン構成要素内の物理（例えば、電子、磁気、または光学）量として表されたデータを操作または変換するマシン（例えば、コンピュータ）のアクションまたは処理を示してもよい。

【0179】

本明細書で使用されるように、「１つの実施形態」または「実施形態」への任意の言及は、実施形態と関連して説明された特定の要素、特徴、構造、または特性が少なくとも１つの実施形態に含まれることを意味する。本明細書内の様々な場所におけるフレーズ「１つの実施形態では」の出現は、全てが必ずしも同一の実施形態を示しているわけではない。

【0180】

それらの派生語と共に、表現「結合される」および「接続される」を使用して、いくつかの実施形態が説明され得る。これらの用語は、相互に同義語として意図されていないことが理解されるべきである。例えば、２つ以上の要素が相互に直接的に物理的接点または電気的接点にあることを示すために、用語「接続される」を使用していくつかの実施形態が説明され得る。別の実施例では、２つ以上の要素が直接的に物理的接点または電気的接点にあることを示すために、用語「結合される」を使用していくつかの実施形態が説明され得る。しかしながら、用語「結合される」は、２つ以上の要素が相互に直接的な接点にないが、相互にさらに一層協調またはインタラクトすることもまた意味してもよい。実施形態は、このコンテキストに限定されない。

【0181】

本明細書で使用されるように、用語「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」またはそれらの任意の他の変形は、非排他的包含を網羅することが意図される。例えば、要素のリストを含む処理、方法、物品、または装置は、必ずしもそれらの要素のみに限定されるわけではなく、明示的にリストされてなく、またはそのような処理、方法、物品、もしくは装置に固有の他の要素をも含んでもよい。さらに、明示的に反対に述べられない限り、「または」は包含的論理和を示し、排他的論理和を示さない。例えば、条件ＡまたはＢは、Ａが真（または、存在する）およびＢが偽（または、存在しない）、Ａが偽（または、存在しない）およびＢが真（または存在する）、ならびにＡとＢの両方が真（または、存在する）、のいずれか１つにより満たされる。

【0182】

加えて、「ａ」または「ａｎ」の使用は、本明細書における実施形態の要素および構成要素を説明するために用いられる。これは、便宜のため、および発明の一般的な意味を与えるために行われるにすぎない。この説明は、他を意味することが明白でない限り、１つまたは少なくとも１つを含み、単数形はまた複数形をも含むと読まれるべきである。

【0183】

この説明の一部は、情報に対する演算のアルゴリズムおよびシンボル表現の観点から実施形態を説明する。これらのアルゴリズムの説明および表現は、他の当業者にそれらの作業の実質を効果的に伝えるために、データ処理の分野の当業者によって一般的に使用される。これらの演算は、機能的、計算的、または論理的に説明される一方で、コンピュータプログラム、または同等の電子回路、マイクロコードなどによって実装されることが理解される。さらに、一般性を失うことなく、演算のこれらの配列をモジュールとして示すことが便宜的であることもまた折に触れて証明されてきた。説明された演算およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具体化されてもよい。

【0184】

本明細書で説明された任意のステップ、動作、または処理は、１つあるいは複数のハードウェアモジュールまたはソフトウェアモジュールを単独でまたは他のデバイスとの組み合わせで実行または実装されてもよい。一実施形態では、ソフトウェアモジュールは、説明されたステップ、動作、もしくは処理のいずれかまたは全てを実行するためにコンピュータプロセッサによって実行されることができるコンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品を用いて実装されてもよい。

【0185】

実施形態は、本明細書における動作を実行するための装置をも示してもまたよい。この装置は特に、必要とされる目的のために構築されてもよく、および／または、この装置はコンピュータに記憶されたコンピュータプログラムによって選択的に活性化もしくは再構成される汎用コンピューティングデバイスを含んでもよい。そのようなコンピュータプログラムは、非一時的、有形コンピュータ可読記憶媒体、またはコンピュータシステムバスに結合され得る、電子命令を記憶するために適切な任意のタイプの媒体に記憶されてもよい。さらに、本明細書において言及される任意のコンピューティングシステムは、単一のプロセッサを含んでもよく、または計算能力を増大させるための複数のプロセッサ設計を使用しているアーキテクチャであってもよい。

【0186】

実施形態は、本明細書で説明される計算処理によって作成される製品にも関連し得る。そのような製品は、計算処理から結果として生じる情報を含んでもよく、ここで情報は、非一時的、有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータの組み合わせの任意の実施形態を含んでもよい。

【0187】

本開示を読むと、当業者は、本明細書で開示された原理を通じて、システムおよび処理のための追加の代替的な構造および機能的設計を依然として理解するであろう。したがって、特定の実施形態および用途が示されて説明されてきたが、開示された実施形態は、本明細書で開示された正確な構造および構成要素に限定されるものではないことを理解されよう。添付の特許請求の範囲で定義された精神および範囲から逸脱することなく、当業者には明らかである様々な修正、変更、および変形が、本明細書で開示された方法および装置の配置、動作および詳細において行われてもよい。

【0188】

最後に、本明細書において使用される言語は、可読性および教育的な目的のために主に選択されており、特許権を詳しく説明する、または制限するために選択され得ない。したがって、特許権の範囲は、この詳細な説明によってではなく、本明細書に基づいた出願で公表される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の請求項において説明される、特許権の範囲の例示であり、限定ではないことが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-01-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

音声チャネルの直交表現を定義した音声チャネルから直交成分を生成し、
標準基底から回転基底に前記直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成し、
前記回転基底において、
目標周波数において前記回転スペクトル直交成分の成分を分離し、および
制約に従ったスケールへの依存性を有する前記分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成し、
重み付けされた前記位相コヒーレント高調波スペクトル直交成分のスペクトルを前記回転基底から前記標準基底へ回転させる、逆変換を適用することによって高調波スペクトル成分を生成し、
出力チャネルを生成するよう、前記目標周波数の範囲外の前記音声チャネルの周波数と前記高調波スペクトル成分を組み合わせ、
スピーカに前記出力チャネルを提供する、
ように構成された回路を備えた、システム。

【請求項2】

前記非線形性は、構成要素である非線形性の重み付けされた混合を含み、前記制約のそれぞれは、構成要素であるそれぞれの非線形性のインプットに適用された利得修正に対する制約を含む、請求項１に記載のシステム。

【請求項3】

前記非線形性は、前記制約に従って選択的に因数分解された振幅による第１の種類のチェビシェフ多項式の重み付け合計を含む、請求項２に記載のシステム。

【請求項4】

前記回路は、複数の高調波スペクトル成分を生成するようにさらに構成され、高調波スペクトル成分のそれぞれは、前記音声チャネルの異なる周波数バンドを使用して生成され、および前記回路は、前記複数の高調波スペクトル成分を組み合わせることによって前記出力チャネルを生成するように構成される、請求項１に記載のシステム。

【請求項5】

前記回路は、アップストリーム高調波スペクトル成分の残差をインプットとして使用して、ダウンストリーム高調波スペクトル成分のそれぞれと直列に前記複数の高調波スペクトル成分を生成するように構成される、請求項４に記載のシステム。

【請求項6】

前記回路は、前記複数の高調波スペクトル成分を並列に生成するように構成される、請求項４に記載のシステム。

【請求項7】

前記回路は、前記高調波スペクトル成分に奇数次の非線形性を適用するようにさらに構成される、請求項１に記載のシステム。

【請求項8】

前記高調波スペクトル成分は、前記音声チャネルの前記目標周波数と異なる周波数を含み、および前記スピーカによってレンダリングされるときに前記目標周波数の音響心理学的影響を生じさせる、請求項１に記載のシステム。

【請求項9】

前記前方変換は、目標周波数が０ヘルツにマッピングされるように前記直交成分の前記スペクトルを回転させ、および
前記逆変換は、０ヘルツが前記目標周波数にマッピングされるように前記重み付けされた位相コヒーレント高調波スペクトル直交成分の前記スペクトルを回転させる、
請求項１に記載のシステム。

【請求項10】

前記目標周波数は、１８ヘルツ～２５０ヘルツの間の周波数を含む、請求項１に記載のシステム。

【請求項11】

前記回路は、
前記スピーカの再現可能範囲、
前記スピーカの電力消費の低減、または
前記スピーカの増大した寿命、
のうちの少なくとも１つに基づいて前記目標周波数を判定するようにさらに構成されている、請求項１に記載のシステム。

【請求項12】

前記スピーカは、モバイルデバイスの構成要素である、請求項１に記載のシステム。

【請求項13】

前記回路は、ゲート関数を使用して、目標振幅において前記成分を分離するようにさらに構成される、請求項１に記載のシステム。

【請求項14】

前記回路は、前記分離した成分に平滑化関数を適用するようにさらに構成される、請求項１に記載のシステム。

【請求項15】

記憶された命令を含む非一時的コンピュータ可読媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されたときに、
音声チャネルの直交表現を定義した前記音声チャネルから直交成分を生成し、
標準基底から回転基底に前記直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成し、
前記回転基底において、
目標周波数において前記回転スペクトル直交成分の成分を分離し、および
制約に従ったスケールへの依存性を有する前記分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成し、
重み付けされた前記位相コヒーレント高調波スペクトル直交成分のスペクトルを前記回転基底から前記標準基底に回転させる、逆変換を適用することによって、高調波スペクトル成分を生成し、
出力チャネルを生成するよう、前記目標周波数の範囲外の前記音声チャネルの周波数と前記高調波スペクトル成分を組み合わせ、
スピーカに前記出力チャネルを提供する、
ように前記少なくとも１つのプロセッサを構成する、非一時的コンピュータ可読媒体。

【請求項16】

前記非線形性は、構成要素である非線形性の重み付けされた混合を含み、前記制約のそれぞれは、構成要素であるそれぞれの非線形性のインプットに適用された利得修正に対する制約を含む、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記非線形性は、前記制約に従って選択的に因数分解された振幅による第１の種類のチェビシェフ多項式の重み付け合計を含む、請求項１６に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記命令は、複数の高調波スペクトル成分を生成するよう前記少なくとも１つのプロセッサをさらに構成し、高調波スペクトル成分のそれぞれは、前記音声チャネルの異なる周波数バンドを使用して生成され、
前記出力チャネルは、前記複数の高調波スペクトル成分を組み合わせることによって生成され、および
前記複数の高調波スペクトル成分は、アップストリーム高調波スペクトル成分の残差をインプットとして使用して、ダウンストリーム高調波スペクトル成分のそれぞれに対して直列に生成される、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記命令は、前記高調波スペクトル成分に奇数次の非線形性を適用するように、前記少なくとも１つのプロセッサをさらに構成する、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項20】

回路によって、
音声チャネルの直交表現を定義した前記音声チャネルから直交成分を生成するステップと、
標準基底から回転基底に前記直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成するステップと、
前記回転基底において、
目標周波数において前記回転スペクトル直交成分の成分を分離するステップと、
制約に従ったスケールへの依存性を有する前記分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成するステップと、
前記回転基底から前記標準基底に前記重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転させる、逆変換を適用することによって、高調波スペクトル成分を生成するステップと、
出力チャネルを生成するよう、前記目標周波数の範囲外の前記音声チャネルの周波数と前記高調波スペクトル成分を組み合わせるステップと、
スピーカに前記出力チャネルを提供するステップと、
を備えた、方法。

【請求項21】

前記非線形性は、構成要素である非線形性の重み付けされた混合を含み、前記制約のそれぞれは、構成要素であるそれぞれの非線形性のインプットに適用された利得修正に対する制約を含む、請求項２０に記載の方法。

【請求項22】

前記非線形性は、前記制約に従って選択的に因数分解された振幅による第１の種類のチェビシェフ多項式の重み付け合計を含む、請求項２１に記載の方法。

【請求項23】

前記回路によって、複数の高調波スペクトル成分を生成し、高調波スペクトル成分のそれぞれは前記音声チャネルの異なる周波数バンドを使用して生成されるステップであって、
前記出力チャネルは、前記複数の高調波スペクトル成分を組み合わせることによって生成され、および
前記複数の高調波スペクトル成分は、アップストリーム高調波スペクトル成分の残差をインプットとして使用して、ダウンストリーム高調波スペクトル成分のそれぞれに対して直列に生成される、ステップをさらに備える、請求項２０に記載の方法。

【請求項24】

前記回路によって、前記高調波スペクトル成分に奇数次の非線形性を適用するステップをさらに備える、請求項２０に記載の方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本開示は概して音声処理に関し、より具体的には、物理ドライバの帯域幅を越えた周波数の影響を生じさせることに関する。

【背景技術】

【0002】

関連出願の相互参照
本出願は、２０２１年７月１５日に出願された米国仮出願第６３／２２２，３７０号、および２０２１年９月９日に出願された米国出願第１７／４７１，０１２号についての利益を主張し、これらの出願は参照によりその全体において組み込まれる。

【0003】

拡声器、ヘッドフォン、および他の音響アクチュエータの帯域幅は、人間の聴覚系の帯域幅のサブドメインにしばしば制限される。これは、ほとんどの場合、おおよそ１８ヘルツ～２５０ヘルツの可聴スペクトルの低周波数領域において問題になる。物理ドライバの帯域幅を越えた周波数の影響を生じさせるよう、音声信号を修正することが望ましい。

【0004】

いくつかの実施形態は、スピーカに対して音響心理学的周波数範囲拡張を提供する回路（例、１つまたは複数のプロセッサ）を含むシステムを含む。回路は、音声チャネルの直交表現を定義した音声チャネルから直交成分を生成し、標準基底から回転基底に直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成する。回転基底において、回路は、目標周波数において回転スペクトル直交成分の成分を分離し、制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成する。回路は、回転基底から標準基底に重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転させる逆変換を適用することによって、高調波スペクトル成分を生成する。回路は、出力チャネルを生成するよう、目標周波数の範囲外の音声チャネルの周波数と高調波スペクトル成分を組み合わせ、スピーカに出力チャネルを提供する。

【0005】

いくつかの実施形態では、非線形性は、構成要素である非線形性の重み付けされた混合を含む。制約のそれぞれは、構成要素であるそれぞれの非線形性のインプットに適用された利得修正に対する制約を含む。

【0006】

いくつかの実施形態では、非線形性は、制約に従って選択的に因数分解された振幅による第１の種類のチェビシェフ多項式の重み付け合計を含む。

【0007】

いくつかの実施形態では、回路は、複数の高調波スペクトル成分を生成するようにさらに構成される。高調波スペクトル成分のそれぞれは、音声チャネルの異なる周波数バンドを使用して生成される。回路は、複数の高調波スペクトル成分を組み合わせることによって出力チャネルを生成するように構成される。

【0008】

いくつかの実施形態では、回路は、アップストリーム高調波スペクトル成分の残差をインプットとして使用して生成されるダウンストリーム高調波スペクトル成分のそれぞれと直列に複数の高調波スペクトル成分を生成するように構成される

【0009】

いくつかの実施形態では、回路は、複数の高調波スペクトル成分を並列に生成するように構成される。

【0010】

いくつかの実施形態では、回路は、高調波スペクトル成分に奇数次の非線形性を適用するようにさらに構成される。

【0011】

いくつかの実施形態では、高調波スペクトル成分は、音声チャネルの目標周波数と異なる周波数を含み、およびスピーカによってレンダリングされるときに目標周波数の音響心理学的影響を生じさせる。

【0012】

いくつかの実施形態では、前方変換は、目標周波数が０ヘルツにマッピングされるように直交成分のスペクトルを回転させる。逆変換は、０ヘルツが目標周波数にマッピングされるように重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転させる。

【0013】

いくつかの実施形態では、目標周波数は、１８ヘルツ～２５０ヘルツの間の周波数を含む。

【0014】

いくつかの実施形態では、回路は、スピーカの再現可能範囲、スピーカの電力消費の低減、またはスピーカの増大した寿命に基づいて目標周波数を判定する。

【0015】

いくつかの実施形態では、スピーカは、モバイルデバイスの構成要素である。

【0016】

いくつかの実施形態では、回路は、ゲート関数を使用して、目標振幅において成分を分離するようにさらに構成される。いくつかの実施形態では、回路は、分離した成分に平滑化関数を適用するようにさらに構成される。

【0017】

いくつかの実施形態は、方法を含む。方法は、回路によって、音声チャネルの直交表現を定義した音声チャネルから直交成分を生成するステップと、標準基底から回転基底に直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成するステップと、回転基底において、目標周波数において回転スペクトル直交成分の成分を分離するステップと、制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成するステップと、回転基底から標準基底に重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転させる、逆変換を適用することによって、高調波スペクトル成分を生成するステップと、出力チャネルを生成するよう、目標周波数の範囲外の音声チャネルの周波数と高調波スペクトル成分を組み合わせるステップと、スピーカに出力チャネルを提供するステップとを含む。

【0018】

いくつかの実施形態は、記憶された命令を含む非一時的コンピュータ可読媒体を含み、記憶された命令は、少なくとも１つのプロセッサによって実行されたときに、音声チャネルの直交表現を定義した音声チャネルから直交成分を生成し、標準基底から回転基底に直交成分のスペクトルを回転させる前方変換を適用することによって、回転スペクトル直交成分を生成し、回転基底において、目標周波数において回転スペクトル直交成分の成分を分離し、および、制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成し、重み付けされた位相コヒーレント高調波スペクトル直交成分のスペクトルを回転基底から標準基底へ回転させる、逆変換を適用することによって、高調波スペクトル成分を生成し、出力チャネルを生成するよう、目標周波数の範囲外の音声チャネルの周波数と高調波スペクトル成分を組み合わせ、スピーカに出力チャネルを提供するように少なくとも１つのプロセッサを構成する。

【図面の簡単な説明】

【0019】

【図1】いくつかの実施形態に従った、音声システムのブロック図である。

【図2】いくつかの実施形態に従った、高調波処理モジュールのブロック図である。

【図3】いくつかの実施形態に従った、前方変換モジュールのブロック図である。

【図4】いくつかの実施形態に従った、係数演算子モジュールのブロック図である。

【図5】いくつかの実施形態に従った、逆変換モジュールのブロック図である。

【図6】いくつかの実施形態に従った、コンバイナモジュールのブロック図である。

【図7】いくつかの実施形態に従った、フィルタバンクモジュールのブロック図である。

【図8】いくつかの実施形態に従った、音響心理学的周波数範囲拡張のための処理のフローチャートである。

【図9】いくつかの実施形態に従った、コンピュータのブロック図である。

【発明を実施するための形態】

【0020】

図面は、例示のみを目的として、様々な実施形態を表す。当業者は、以下の議論から、本明細書で説明される原理から逸脱することなく、本明細書で例示される構造および方法の代替的な実施形態が用いられてもよいことを容易に認識するであろう。

【0021】

図面および以下の説明は、例示のみの目的で好ましい実施形態に関連する。以下の説明から、特許請求される原理から逸脱することなく用いられ得る実現可能な代替として、本明細書で開示される構造および方法の代替的な実施形態が容易に認識されることに留意されるべきである。

【0022】

ここでいくつかの実施形態への参照が詳細になされ、その実施例は、添付図面において例示される。使用できる類似または同様の参照符号が図面のどこで用いられてもよく、使用できる類似または同様の参照符号が、類似または同様の機能性をどこで示してもよいことが留意される。図面は、例示のみの目的で開示されるシステム（または、方法）の実施形態を表す。当業者は、以下の説明から、本明細書で説明される原理から逸脱することなく、本明細書で例示される構造および方法の代替的な実施形態が用いられてもよいことを容易に認識するであろう。

【0023】

実施形態は、音響心理学的周波数範囲拡張（ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｆｒｅｑｕｅｎｃｙ ｒａｎｇｅ ｅｘｔｅｎｓｉｏｎ）を提供することに関連する。人間の聴覚系が非線形的に合図に反応するため、音響心理学的現象を使用して、実際の刺激が実現可能でない仮想刺激を作り出すことができる。音声システムは、制約に従ったスケールへの依存性を有する、高度に調整可能な非線形性を使用する適応非線形フィルタバンクを提供する回路を含み得る。非線形性は、音声チャネルの１つまたは複数のサブバンドから、重み付けされた位相コヒーレント高調波スペクトル（ｐｈａｓｅ－ｃｏｈｅｒｅｎｔ ｈａｒｍｏｎｉｃ ｓｐｅｃｔｒａ）を生成するために使用される。非線形性は、構成要素である非線形性の重み付けされた混合を含み得る。制約は、構成要素であるそれぞれの非線形性の入力に適用される利得修正に対する制約をそれぞれ含み得る。非線形性を定義する和における、構成要素である非線形性のそれぞれに独立した制約は適用され得、それは生成された高調波の選択されたサブセットの中で選択的なスペクトルのアニメーションを可能にする。このことは、ずっとより多くの非人為的な効果が実現されることを可能にし、そのことによりコンテンツ中を一般化することに成功する。さらに、それは、相互変調アーチファクトの知覚的に顕著な特徴を低下させ、潜在的に、より広い帯域幅で、より少数のフィルタが用いられることを可能にする。いくつかの実施形態では、非線形性は、制約に従って選択的に因数分解された振幅による第１の種類のチェビシェフ多項式の重み付け合計を含む。１つまたは複数のサブバンドの位相コヒーレント高調波スペクトルは、サブバンドの周波数が物理ドライバの帯域幅を超えているときにサブバンドの影響を生じさせる。

【0024】

いくつかの実施形態では、適応非線形フィルタバンクは、複数の高調波プロセッサを含み得る。高調波プロセッサのそれぞれは、音声信号内の目標サブバンドを分析し、構成可能なスペクトル変換でサブバンドのデータを再合成する非線形フィルタを含む。高調波プロセッサはそれぞれ、音声チャネルの異なる周波数帯域を使用して高調波スペクトル成分を生成し、これらの高調波スペクトル成分は組み合わされて出力チャネルを生成する。高調波スペクトル成分は、並列または直列に生成され得る。直列の場合、ダウンストリーム高調波スペクトル成分(ｄｏｗｎｓｔｒｅａｍ ｈａｒｍｏｎｉｃ ｓｐｅｃｔｒａｌ ｃｏｍｐｏｎｅｎｔ)は、インプットとしてアップストリーム高調波スペクトル成分(ｕｐｓｔｒｅａｍ ｈａｒｍｏｎｉｃ ｓｐｅｃｔｒａｌ ｃｏｍｐｏｎｅｎｔ)の残差を使用する。並列のケースは、概念的には単純であるが、例えば、分析されたコンテンツのパワースペクトルを並列の設計が制約しなかった場合などに、時々困難なチューニングプロセスをもたらす。後続のフィルタがインプット信号の残差のみに作用するシリアルアーキテクチャを利用することによって、全スペクトルパワーはフィルタバンクへのインプットにおいて保存される。その結果、構成要素であるフィルタが建設的干渉の影響を受けないフィルタバンクアーキテクチャとなる。

【0025】

周波数範囲拡張の利点は、特定の周波数をレンダリングすることができない（例えば、低品質）スピーカが、それらの周波数の音響心理学的影響をもたらすことを可能にすることを含む。したがって、モバイルデバイスでよく見つけられるものなどの低コストスピーカが、高品質リスニング体験をもたらすことができる。音響心理学的周波数範囲拡張は、スピーカに対するハードウェア修正を必要とすることなく、モバイルデバイスで見つけられる処理回路によってなど、音声信号を処理することによって実現される。周波数範囲拡張および周波数応答改善はまた、次善のサブバンドにおける物理エネルギーの量を増大させることに訴えることなく実現されるとき、スピーカドライバの電力消費特性および寿命を改善するために有用であり得る。

【0026】

音声処理システム
図１は、いくつかの実施形態に従った、音声システム１００のブロック図である。音声システム１００は、非線形のフィルタバンクモジュール１２０を使用して、スピーカ１１０に対する周波数範囲拡張をもたらす。システム１００は、高調波処理モジュール１０４（１）、１０４（２）、１０４（３）、および１０４（４）を含むフィルタバンクモジュール１２０と、オールパスフィルタネットワークモジュール１２２と、コンバイナモジュール１０６とを含む。音声システム１００のいくつかの実施形態は、本明細書で説明される構成要素とは異なる構成要素を含んでもよい。

【0027】

フィルタバンクモジュール１２０は、制約に従ったスケールに依存性を有する高度に調整可能な非線形性を使用して、音声チャネルａ（ｔ）から位相コヒーレント高調波スペクトルを生成する。いくつかの実施形態では、高調波処理モジュール１０４は、示されるように、並列に接続されてもよい。いくつかの実施形態は、フィルタバンクモジュールの一連の実装を含み得、そしてそこでアップストリーム高調波処理モジュールのそれぞれの残差が、ダウンストリーム高調波処理モジュールに渡される。一連の実装は、図７に関連していっそう詳細に説明される。システム１００は、レンダリングのためにスピーカ１１０に提供される出力チャネルｏ（ｔ）を生成する。フィルタバンクモジュール１２０の高調波処理モジュール１０４（１）～１０４（４）は、スピーカ１１０の物理帯域幅を越える音声チャネルａ（ｔ）に対する音響心理学的周波数範囲拡張を提供する。

【0028】

フィルタバンクモジュール１２０は、高調波スペクトル成分ｈ（ｔ）（ｎ）を生成する複数の高調波処理モジュール１０４（ｎ）を含む。いくつかの実施形態では、高調波処理モジュール１０４（１）～１０４（４）のそれぞれは、音声チャネルａ（ｔ）の全体を分析し、それぞれの高調波スペクトル成分ｈ（ｔ）（１）～ｈ（ｔ）（４）を合成する。いくつかの実施形態では、高調波処理モジュールのそれぞれは、音声チャネルの異なる目標サブバンドを分析してもよい。高調波スペクトル成分ｈ（ｔ）（ｎ）のそれぞれは、ａ（ｔ）におけるデータの位相コヒーレントスペクトル変換である。高調波スペクトル成分ｈ（ｔ）（ｎ）のそれぞれは、ａ（ｔ）のそれぞれの目標サブバンドにおけるデータの周波数とは異なる周波数を含む、重み付けられた位相コヒーレント高調波スペクトルを有し、スピーカ１１０によって出力されるとき、それぞれの目標サブバンドの周波数の音響心理学的影響を生じさせる。高調波処理モジュール１０４（ｎ）のうちの１つまたは複数は、高調波スペクトル成分ｈ（ｔ）（ｎ）を生成して、スピーカ１１０に対する音響心理学的周波数範囲拡張をもたらすように選択されてもよい。いくつかの実施形態では、目標サブバンドの選択は、スピーカ１１０の周波数応答など、スピーカ１１０の能力に基づいてもよい。例えば、スピーカ１１０がサウンドの低周波数を効率的にレンダリングすることが可能でない場合、次いで、高調波処理モジュール１０４は、低周波数と対応する周波数サブバンド成分を対象とするように構成されてもよく、これらは、高調波スペクトル成分ｈ（ｔ）（ｎ）に変換されてもよい。音声システム１００は、１つまたは複数の高調波処理モジュール１０４を含んでもよい。高調波処理モジュール１０４に関する追加の詳細は、図２～５と関連して議論される。

【0029】

オールパスフィルタネットワークモジュール１２２は、音声チャネルａ（ｔ）がフィルタバンクモジュール１２０の出力とコヒーレントなままであることを保証するよう、フィルタリングされた音声チャネルａ（ｔ）を生成する。オールパスフィルタネットワークモジュール１２２は、入力信号ａ（ｔ）に、整合する位相変化を適用することによって、高調波処理モジュール１０４（ｎ）の適用の結果としての位相変化を補償する。これは、操作された位相によるものであるがａ（ｔ）とは知覚的に区別することができない信号と、フィルタバンクモジュール１２０によって生成された高調波スペクトル成分ｈ（ｔ）（ｎ）との間でコヒーレントな加算を行うことを可能にする。

【0030】

コンバイナモジュール１０６は、オールパスフィルタネットワークモジュール１２２からのフィルタリングされた音声チャネルａ（ｔ）およびフィルタバンクモジュール１２０からの１つまたは複数の高調波スペクトル成分ｈ（ｔ）（ｎ）を組み合わせることによって、出力チャネルｏ（ｔ）を生成する。コンバイナモジュール１０６は、スピーカ１１０に出力チャネルｏ（ｔ）を提供する。いくつかの実施形態では、コンバイナモジュール１０６は、図６に関連してより詳細に説明されるように、合計された高調波スペクトル成分ｈ（ｔ）（ｎ）に対して追加の処理を実行する。

【0031】

図２は、いくつかの実施形態に従った、高調波処理モジュール１０４のブロック図である。高調波処理モジュール１０４は、非線形フィルタを設け、非線形フィルタは、音声チャネルを分析し、構成可能なスペクトル変換で目標サブバンドのデータを再合成する。高調波処理モジュール１０４は、オールパスネットワークモジュール２０２、前方トランスフォーマモジュール２０４、係数演算子モジュール２０６、および逆トランスフォーマモジュール２０８を含む。オールパスネットワークモジュール２０２は、直交成分を生成するために、音声チャネルｘ（ｔ）に位相における変換のペアを適用する。前方トランスフォーマモジュール２０４は、スペクトル全体を回転させる直交成分に前方変換を適用し、その結果、回転スペクトル直交成分を生成するよう、選択された周波数が０ヘルツにマッピングされる。０ヘルツへの選択された周波数のシフトは、標準基底（ｓｔａｎｄａｒｄ ｂａｓｉｓ）から回転基底（ｒｏｔａｔｅｄ ｂａｓｉｓ）への変化と呼ばれる。選択された周波数は、目標サブバンドの中心周波数または他の周波数であってもよい。係数演算子モジュール２０６は、周波数、振幅（ｍａｇｎｉｔｕｄｅ）、または位相に基づいてデータを選択的にフィルタリングすること、および制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成することを含む、回転基底において演算を実行する。逆トランスフォーマモジュール２０８は、重み付けされた位相コヒーレント回転スペクトル直交成分のスペクトルを回転させるために、逆変換を適用し、その結果、０ヘルツが選択された周波数にマッピングされて高調波スペクトル成分

【0032】

【数1】

【0033】

を生成する。選択された周波数への０ヘルツのシフトは、回転基底から標準基底への変化と呼ばれる。高調波スペクトル成分

【0034】

【数2】

【0035】

は、音声チャネルｘ（ｔ）の目標サブバンドとは異なる周波数を含んでもよいが、スピーカによってレンダリングされるとき、音声チャネルｘ（ｔ）の目標サブバンドの周波数の音響心理学的影響をもたらす。

【0036】

いくつかの実施形態では、高調波処理モジュール１０４に入力された音声成分ｘ（ｔ）は、サブバンド成分ａ（ｔ）（ｎ）であってもよい。この実施例では、目標周波数を選択するための係数演算子モジュール２０６による選択的フィルタリングがスキップされてもよい。

【0037】

オールパスネットワークモジュール２０２は、音声チャネルｘ（ｔ）を直交成分ｙ₁（ｔ）およびｙ₂（ｔ）を含むベクトルｙ（ｔ）に変換する。直交成分ｙ₁（ｔ）およびｙ₂（ｔ）は、９０度の位相関係を含む。直交成分ｙ₁（ｔ）およびｙ₂（ｔ）ならびに入力信号ｘ（ｔ）は、全ての周波数についての統一振幅関係を含む。実数値入力信号ｘ（ｔ）は、オールパスフィルタＨ１およびＨ２のマッチドペアによって直交値に変換される。この演算は、式（１）に示されるような連続時間プロトタイプを介して定義されてもよい。

【0038】

【数3】

【0039】

いくつかの実施形態は、インプット（モノ）信号と２つの（ステレオ）直交成分ｙ₁（ｔ）およびｙ₂（ｔ）のいずれかとの間の位相関係を必ずしも保証するわけでないが、９０度位相関係を含む直交成分ｙ₁（ｔ）およびｙ₂（ｔ）ならびに全ての周波数についての統一振幅関係を含む直交成分ｙ₁（ｔ）、ｙ₂（ｔ）、およびインプット信号ｘ（ｔ）を結果としてもたらす。

【0040】

図３は、いくつかの実施形態に従った、前方トランスフォーマモジュール２０４のブロック図である。前方トランスフォーマモジュール２０４は、回転行列モジュール３０２および行列乗算器３０４を含む。前方トランスフォーマモジュール２０４は、直交成分ｙ₁（ｔ）およびｙ₂（ｔ）を受信し、前方変換を適用して回転スペクトル直交成分ｕ₁（ｔ）およびｕ₂（ｔ）を含むベクトルｕ（ｔ）を生成する。回転行列モジュール３０２を介して時間変化回転行列を生成し、行列乗算器３０４を介して直交成分にそれを適用し、回転スペクトル直交成分ｕ（ｔ）を結果としてもたらすことによって、この変換が適用される。ベクトルｕ（ｔ）は、音声信号ｘ（ｔ）のスペクトルの周波数シフトされた形式であり異なる時間ｔにおけるｕのそれぞれが回転スペクトル直交成分として定義される係数空間を定義する。ベクトルｕ（ｔ）によって定義された係数は、ｘ（ｔ）のスペクトルを回転させた結果であり、その結果、ここで、所望の中心周波数θｃが０ヘルツにある。

【0041】

前方変換は、式（２）によって定義されるように、直交信号上での時間変化二次元回転として適用されてもよい。

【0042】

【数4】

【0043】

Ｈ１は、オールパスフィルタであり、回転

【0044】

【数5】

【0045】

は、角周波数θｃの回転であり、式（３）によって定義される。

【0046】

【数6】

【0047】

式（２）および式（３）は、三角法関数（ｔｒｉｇｏｎｏｍｅｔｒｙ ｆｕｎｃｔｉｏｎ）への反復呼び出し（ｉｔｅｒａｔｉｖｅ ｃａｌｌｓ）を含む。θｃが一定である間隔を通じて、三角法関数への反復呼び出しではなく再帰的２Ｄ回転によって前方変換が計算されてもよい。この最適化戦略が使用されるとき、ｓｉｎおよびｃｏｓへの呼び出しは、θｃが初期化または変更されるときに行われるのみである。この最適化は、無限小回転行列の順次累乗として、すなわち、

【0048】

【数7】

【0049】

としてそれぞれの行列

【0050】

【数8】

【0051】

を定義する。２つの２×２行列を共に乗算することが、ほとんどのアーキテクチャに対する高度に最適化された計算であるから、この定義は、式（３）で示された三角法関数への反復呼び出しに対して性能の利点を提供し得、式（３）はそれにも関わらず等価である。

【0052】

図４は、いくつかの実施形態に従った、係数演算子モジュール２０６のブロック図である。係数演算子モジュール２０６は、フィルタモジュール４０２、振幅モジュール４０４、ゲートモジュール４０６、除算演算子４０８および４１０、高調波ジェネレータモジュール４１２、乗算演算子４１４および４１６、ならびに最大値モジュール４２０を含む。係数演算子モジュール２０６は、回転スペクトル直交成分ｕ_１（ｔ）およびｕ_２（ｔ）を含むベクトルｕ（ｔ）を使用して、重み付けされた位相コヒーレント回転スペクトル直交成分

【0053】

【数9】

【0054】

および

【0055】

【数10】

【0056】

を含む、回転スペクトル

【0057】

【数11】

【0058】

を生成する。

【0059】

いくつかの実施形態では、フィルタモジュール４０２は、２つのチャネルロウパスフィルタである。このケースでは、高調波処理モジュール１０４は、フィルタモジュール４０２のカットオフ周波数を倍にする帯域幅において、θｃに中心がある目標サブバンドに対するスペクトル変換を実行するように構成される。フィルタモジュール４０２は、逆変換の後に調整可能なバンドパスフィルタをもたらすロウパスフィルタＦ（ｘ）を適用し得る。この場合、Ｆ（ｘ）のカットオフ周波数は、非線形フィルタの解析領域の帯域幅の半分に対応する。

【0060】

振幅モジュール４０４は２Ｄベクトルの長さを判定し、２Ｄベクトルの長さは、除算演算子４０８および４１０を使用してフィルタリングされた信号ベクトルから選択的に因数分解され得る（ｆａｃｔｏｒｅｄ ｏｕｔ）、瞬間的な振幅の尺度として使用される。例えば、除算演算子４０８は、ｕ（ｔ）のｕ_１（ｔ）成分に対して除算を実行し得、除算演算子４１０は、ｕ（ｔ）のｕ_２（ｔ）成分に対して除算を実行し得る。式(９)のｍａｘ（）関数によって定義されるように、スケール独立性に対する制約は、最大値モジュール４２０によって適用され、これは、除算演算子４０８および４１０の作用を効果的に制約する。いくつかの実施形態では、その関係がスケールに依存しない信号に基づいて高調波ジェネレータモジュール４１２が高調波を提供することを可能にするために、振幅はスケールに関係なく因数分解され得る。

【0061】

高調波ジェネレータモジュール４１２は、重み付けされた構成要素である非線形性の合計を含む非線形性を生成する。非線形性は、回転スペクトル直交成分の目標サブバンドに基づいて、高調波スペクトルを提供する。例えば、高調波ジェネレータモジュール４１２は、異なる高調波について構成要素である非線形性を生成し、構成要素である非線形性に重みａ_ｎを適用し、重み付けされた構成要素である非線形性の合計として非線形性を生成する。

【0062】

振幅モジュール４０４によってもたらされる振幅は次いで、ゲートモジュール４０６を通過するときに再度使用される。ゲートモジュール４０６は、その瞬時勾配がスルーリミッタ（ｓｌｅｗ ｌｉｍｉｔｅｒ）４１８によって制限されるエンベロープを生成する。結果として生じるスルー制限されたエンベロープは次いで、乗算演算子４１４および４１６を介して高調波ジェネレータモジュール４１２の出力に適用される。例えば、乗算演算子４１６は、ｕ（ｔ）のｕ_１（ｔ）成分に対して乗算を実行し得、乗算演算子４１４は、ｕ（ｔ）のｕ_２（ｔ）成分に対して乗算を実行し得る。重み付けされた高調波の合計によって定義された非線形性は、回転スペクトル

【0063】

【数12】

【0064】

を生成するよう時間変化エンベロープと乗算される。

【0065】

ｕ（ｔ）の係数は、式（４）を使用して極座標において表現されてもよい。

【0066】

【数13】

【0067】

ここで、項｜｜ｕ（ｔ）｜｜は、係数信号の瞬時振幅であり、∠ｕ（ｔ）は、瞬時位相である。ここで、これらの項は、逆変換ステージの前に操作されることができる。

【0068】

ｕ（ｔ）によって定義される係数は、それらの瞬時振幅に基づいて選択的にフィルタリングされる。フィルタリングは、ゲートモジュール４０６によって適用されるゲート関数およびスルーリミッタ４１８によって適用されるスルー制限フィルタ（ｓｌｅｗ ｌｉｍｉｔｉｎｇ ｆｉｌｔｅｒ）を含んでもよい。閾値ｎに基づいたゲート関数は、式（５）によって定義されてもよい。

【0069】

【数14】

【0070】

ここで、ケースｘ＞＝ｎは、係数を維持することを結果としてもたらし、ケースｘ＜ｎは、係数の除去を結果としてもたらす。いくつかの実施形態では、ケースｘ＜ｎは代替として、係数の完全な除去ではなく減衰を結果としてもたらし得る。ゲート関数が瞬時振幅の推定に対して動作するため、実数値振幅（ｒｅａｌ－ｖａｌｕｅｄ ａｍｐｌｉｔｕｄｅ）に基づいたゲートよりも概して応答的であると共に、アーチファクトがより少ない。

【0071】

非線形フィルタの応答のエンベロープ特性を更に適合させるよう、スルー制限フィルタを介して時間ドメイン平滑化が達成され得る。スルー制限フィルタは、関数の最大（正）勾配および最小（負）勾配を飽和させる非線形フィルタである。Ｓ（ｘ）として以下に記号で表される、正および負の飽和点に対する独立した制御による非線形フィルタなど、様々なタイプのスルー制限フィルタまたは要素が使用されてもよい。ゲート関数の出力にスルー制限を適用することは、時間変化エンベロープ：Ｓ（Ｇ（｜｜ｕ［ｔ］｜｜））を結果としてもたらす。これは、係数のエンベロープをスカルプト（ｓｃｕｌｐｔ）するために使用されてもよい。

【0072】

【数15】

【0073】

の位相コヒーレント高調波スペクトルを生成するために、高調波ジェネレータモジュール４１２は、式（６）によって定義されるような第１の種類のチェビシェフ多項式を使用してもよい。

【0074】

【数16】

【0075】

これらの多項式は、スケール独立非線形性についての式（７）または式（８）によって定義されるように、それらの出力を合計することによって、高調波の制御された生成を許容する。

【0076】

【数17】

【0077】

または、等価的に、

【0078】

【数18】

【0079】

ここで、ａ_ｎ＝［ａ０，ａ１，ａ２…ａＮ］は、位相コヒーレント高調波スペクトルの高調波ｎのそれぞれに適用される高調波重みであり、Ｎは、生成された最も高い高調波である。式（７）および（８）の両方の表現では、非線形性（例えば、合計結果によって定義される）は、入力スケールから独立している。これは、出力スペクトルが入力音量と共に変動することを防止し、代わりに、スペクトル重みａにより決定される変動のみを許可する。重みが、低下する連続として概して配列され、人間の聴覚系が順応する自然に発生するサウンドの高調波の連続をエミュレートする。重みの連続は、入来する音声チャネルのスケールから独立している。

【0080】

等価的であるが、式（７）は、出力段階の直接操作を可能にする利点を有し、一方で、式（８）は、振幅に対して動作するにすぎず、費用がかかる可能性のある三角関数を省略する。

【0081】

式（７）および（８）において、非線形性の出力スペクトルは、入力係数の振幅||ｕ（ｔ）||の関数として変化しない。これは、厳密に制御され、予測可能な非線形性をもたらすが、この一様性は、場合によっては不自然に聞こえるテクスチャーを生成する可能性がある。この不可解な現象は、口頭で歌われたボーカルのような特定の入力コンテンツで特に顕著であり、その現象は、低周波数コンテンツもまた存在する場合、悪化する。

【0082】

例えば、映画コンテンツは、会話と同時に低音効果（ＬＦＥ）コンテンツをしばしば用い得る。このＬＦＥコンテンツは、まさにこの技術を使用して再現したいコンテンツのタイプだが、結果として生じる相互変調のひずみは、声の明瞭度と現実感とに影響を与える可能性がある。

【0083】

これに対処するために、様々な程度の制御が非線形性の構成要素である非線形性のそれぞれに適用され得、結果として生じる高調波混合が、入力コンテンツに反応して（例えば、いくらか）活発になることを可能にする。入来する振幅が統一するまで削減される度合は、スペクトル安定性の度合を決定する。統一を下回る振幅では、構成要素である非線形性の高調波寄与は、より低い整数高調波の混合を含む。偶数多項式は偶数の整数高調波の混合を生成するが、奇数多項式は奇数の整数高調波の混合を生成する。

【0084】

瞬時振幅の計算は式（８）で直接的に適用されるため、式（９）で定義されているように、アルゴリズムを平易に修正して、その適用に制約を適用することができる。

【0085】

【数19】

【0086】

ここで、ｂ_ｎ＝「ｂ０，ｂ１，ｂ２．．．ｂＮ」は、位相コヒーレント高調波スペクトルの高調波ｎのそれぞれに対してｍａｘ（｜｜ｕ（ｔ）｜｜，ｂ_ｎ）によって定義される振幅補正因数（ｍａｇｎｉｔｕｄｅ－ｃｏｒｒｅｃｔｉｏｎ ｆａｃｔｏｒ）の最小値制約（ｍｉｎｉｍｕｍ ｖａｌｕｅ ｃｏｎｓｔｒａｉｎｔ）を定義し、Ｎは生成された最も高い高調波である。高調波ｎのそれぞれについて、振幅補正因数ｍａｘ（｜｜ｕ（ｔ）｜｜，ｂｎ）は、式（１０）によって定義されるように、構成要素である非線形性の入力ｕ（ｔ）に適用される利得修正への制約を定義する。

【0087】

【数20】

【0088】

したがって、式（１１）によって定義される非線形性は、

【0089】

【数21】

【0090】

異なる高調波（ｎ＝０～Ｎ）についての構成要素である非線形性の重み付けされた（例えば、ａ_ｎによって）混合を含み、ここで、構成要素である非線形性は式（１０）によって定義される。

【0091】

ｂ_ｎより低いｕ（ｔ）の振幅では、補正に使用される信号振幅が変動することが可能とされる。ｂ_ｎを上回るｕ（ｔ）の振幅では、高調波コンテンツは、式（８）における可能なすべての振幅の場合のように、多項式の順序に対応する高調波の合計として定義される。Ｂと０との間のｕ（ｔ）の振幅では、上位の（ｕｐｐｅｒ）高調波コンテンツは、振幅が小さくなるにつれて大体減少していくが、高次多項式の混合に対しては、関係は単に単調であるよりはより複雑となり得る。

【0092】

例えば、式（１２）によって定義されるような第３のチェビシェフ多項式を含む伝達関数は、

【0093】

【数22】

【0094】

式（１３）で定義されるように、ｘが単位振幅の余弦波である場合、以下の純粋な３次高調波（および１次の－∞ｄＢ）をもたらす。

【0095】

【数23】

【0096】

しかし、式（１４）によって定義されるように、ｘが代わりに－６ｄＢの振幅の余弦波であるとき、高調波の混合をもたらす。

【0097】

【数24】

【0098】

または話し言葉では、－１８ｄＢの３次高調波および＋１ｄＢの１次（基本波の）高調波をもたらす。この混合はまた、結果として高調波を生じるすべての構成要素の奇数性（ｏｄｄｎｅｓｓ）を実証する。さらに、１次高調波はインプットに対して増幅し、正のｄＢ値をもたらす。

【0099】

同じ伝達関数が－１２ｄＢの余弦波に適用されたときは、式（１５）によって定義されるような結果を生成する。

【0100】

【数25】

【0101】

これは、減少する３次高調波、および１次高調波の非単調な挙動を含む。

【0102】

スペクトルクリッピングの程度を制約することによって、アルゴリズムは、コンテンツ中をよりよく一般化し得る。さらに、どのような相互変調効果も知覚的により少なく存在するため、より少ない周波数帯が計算される必要が可能性としてあり得る。

【0103】

相互変調効果は、複数の周波数を有する信号へ非線形伝達関数を適用したことについての典型的な副産物である。典型的には、これらの相互変調効果は、入力信号周波数の合計および差となる周波数を含む。制約のない場合では、これらの相互変調効果は所与の追加の重みおよび持続性を有するものとなる。スペクトルクリッピング機能を制約することによって、結果として生じるスペクトルはより安定せず、相互変調効果による支配的な周波数をより多く強調する。

【0104】

結果として、制約されたスペクトルクリッピングを介して周波数範囲を拡張することは、制約されていない方法を使用するものよりも少ない個々の非線形フィルタを使用して類似の効果を達成し得る。これは、計算効率の増加をもたらし得る。さらに、多くのフィルタ間のインタラクションを管理することが時として困難な可能性があるため、パラメータ削減はまた、調整がより簡単なアルゴリズムをもたらし得る。

【0105】

式（１４）に示されるように、振幅－６ｄＢの余弦に適用される第３のチェビシェフ多項式の処理は、減衰に追いやられるのではなく、増幅をもたらし得る。この事実は、高調波の混合に関する比較的直感で理解できない挙動と組み合わされて、クリッピングを避けるよう注意を払わない場合、クリッピングを引き起こし得る。いくつかの実施形態では、図６に関連してより詳細に説明されるように、奇数次の非線形性（ｏｄｄ ｎｏｎｌｉｎｅａｒｉｔｙ）がフィルタバンクモジュール１２０によって生成された高調波スペクトル成分に適用されて、この結果として生じるダイナミックを管理し得る。

【0106】

図５は、いくつかの実施形態に従った、逆トランスフォーマモジュール２０８のブロック図である。逆トランスフォーマモジュール２０８は、回転行列モジュール５０２、行列乗算器５０４、射影演算子５０６、および行列転置演算子５０８を含む。逆トランスフォーマモジュール２０８は、位相コヒーレント回転スペクトル直交成分

【0107】

【数26】

【0108】

および

【0109】

【数27】

【0110】

を含む回転スペクトル

【0111】

【数28】

【0112】

から高調波スペクトル成分

【0113】

【数29】

【0114】

を生成する。回転行列モジュール５０２は、回転行列モジュール３０２によって生成された回転行列に同一の回転行列を生成する。回転行列モジュール５０２によって生成された行列は、行列転置演算子５０８によって転置され、行列乗算器５０４によって位相コヒーレント回転スペクトル直交成分

【0115】

【数30】

【0116】

および

【0117】

【数31】

【0118】

の入来する２Ｄベクトルに適用される。結果として生じる２Ｄベクトルは、射影演算子５０６によって単一次元に射影される。

【0119】

回転基底から標準基底に戻す逆変換を実行するために、式（１６）によって定義されるようにその元の位置θｃに０ヘルツが戻るように、出力スペクトルがシフトされる。

【0120】

【数32】

【0121】

ここで、Ｐは、式（１７）によって定義されるように、二次元実係数空間から単一次元への射影である。

【0122】

【数33】

【0123】

前方変換

【0124】

【数34】

【0125】

が正規直交回転を含むため、逆変換は転置である。この代数的構造は、前方変換行列のキャッシング、および係数が乗算される位数を変更することによって、それを簡単に反転させることを可能にする。この意味で、図３における回転行列モジュール３０２および図５における回転行列モジュール５０２は、同一であると言える。高調波スペクトル成分

【0126】

【数35】

【0127】

は、高調波スペクトル成分ｈ（ｔ）（ｎ）の例であり、よって、より大きなフィルタバンクにおける非線形フィルタの応答であり得る。

【0128】

図６は、いくつかの実施形態に従ったコンバイナモジュール１０６のブロック図である。コンバイナモジュール１０６は、フィルタバンクモジュール１２０からの高調波スペクトル成分ｈ（ｔ）（ｎ）に対してさらに処理を行い、高調波スペクトル成分ｈ（ｔ）（ｎ）を組み合わせて、組み合わされた成分ｚ（ｔ）を生成し、組み合わされた成分ｚ（ｔ）に対してさらに処理を行い、組み合わされた成分ｚ（ｔ）をオールパスフィルタネットワークモジュール１２２からのフィルタされた音声チャネルａ（ｔ）と組み合わせて、出力チャネルｏ（ｔ）を生成する。

【0129】

コンバイナモジュール１０６は、コンポーネントプロセッサ６０２（１）～６０２（４）（個別にコンポーネントプロセッサ６０２または６０２（ｎ）と称される）、高調波スペクトル成分コンバイナ６０４、結合成分プロセッサモジュール６０６、および出力コンバイナ６０８を含む。コンポーネントプロセッサ６０２（１）～６０２（４）はそれぞれ、高調波スペクトル成分ｈ（ｔ）（１）～ｈ（ｔ）（ｎ）に処理を適用する。コンバイナモジュール１０６は、フィルタバンクモジュール１２０の高調波処理モジュール１０４のそれぞれのためのコンポーネントプロセッサ６０２を含み得る。上述したように、高調波スペクトル成分ｈ（ｔ）（ｎ）のそれぞれは、音声チャネルａ（ｔ）の異なる周波数帯域ｎを使用して生成される状態で、フィルタバンクモジュール１２０は、１つまたは複数の高調波スペクトル成分ｈ（ｔ）（ｎ）を選択的に生成し得る。

【0130】

式（１０）で定義されるような制約された非線形性では、結果として生じ得る出力レベルのより大きな変動は、瞬間的なピークレベルを制限するためにより多くのことが行われ得ることを示唆する。高調波スペクトル成分ｈ（ｔ）（ｎ）（または式（１６）によって定義される

【0131】

【数36】

【0132】

）の生成に続いて、コンポーネントプロセッサ６０２（ｎ）は、それを範囲（－１，１）に制約する信号に非線形性を適用する。この非線形性は、シグモイド関数などの奇数次の非線形性であり得る。この非線形性は、一般的に符号を保持し、範囲のいずれかの極値に向かって穏やかに傾斜し得る。スケーリング係数

【0133】

【数37】

【0134】

を有する双曲線正接は、式（１８）によって定義されるように、そのような関数の一例である。

【0135】

【数38】

【0136】

ピークを低減するために用いられる場合、この非線形性はまた、高調波スペクトル成分ｈ（ｔ）（ｎ）に奇数調波を加え得る。これらの奇数調波は、高調波スペクトル成分ｈ（ｔ）（ｎ）の高調波と同相である。この段階での奇数調波は、音の大きさについての一般的な人間の聴覚的影響を尊重するやり方で、全体的な振幅の変化を音色の変化にシフトする。

【0137】

ピークリミッタと組み合わせられるとき、ピークリミッティングの閾値は、式（１８）の閾値よりも少し下に設定され得、その結果、限定関数（ｌｉｍｉｔｉｎｇ ｆｕｎｃｔｉｏｎ）の調和特性は、ピークリミッタの急カーブではなく、より知覚的に意味を持つ双曲線正接によって影響を及ぼされる。

【0138】

いくつかの実施形態では、コンポーネントプロセッサ６０２（ｎ）のうちの１つまたは複数は、それぞれの高調波スペクトル成分ｈ（ｔ）（ｎ）を減衰（例えば、独立したチューニングで）させて、組み合わせられた成分ｚ（ｔ）について所望の非線形特性を実現する。

【0139】

高調波スペクトル成分コンバイナ６０４は、高調波スペクトル成分ｈ（ｔ）（１）～ｈ（ｔ）（ｎ）などのような高調波スペクトル成分ｈ（ｔ）（ｎ）を組み合わせて、組み合わされた成分ｚ（ｔ）を生成する。

【0140】

結合成分プロセッサモジュール６０６は、組み合わされた成分ｚ（ｔ）を処理する。結合成分プロセッサモジュール６０６はまた、ハイパスフィルタリング、ダイナミックレンジ処理（例えば、限定または圧縮）などの様々なタイプの処理を適用し得る。

【0141】

出力コンバイナ６０８は、組み合わされた成分ｚ（ｔ）を、オールパスフィルタネットワークモジュール１２２からのフィルタリングされた音声チャネルａ（ｔ）と組み合わせて、出力チャネルｏ（ｔ）を生成する。いくつかの実施形態では、出力コンバイナ６０８は、組み合わせる前に、フィルタリングされた音声チャネルａ（ｔ）または組み合わせられた成分ｚ（ｔ）を減衰させ得る。

【0142】

図７は、いくつかの実施形態に従った、フィルタバンクモジュール７００のブロック図である。フィルタバンクモジュール７００は、フィルタバンクモジュール１２０の実施形態である。インプットとしてアップストリーム高調波スペクトル成分の残差を使用してダウンストリーム高調波スペクトル成分のそれぞれが生成される、直列の実装をフィルタバンクモジュール７００は使用する。並列に適用された独立したフィルタを用いたフィルタバンクモジュールの構築は比較的直感的であるが、そのようなフィルタバンクモジュールをチューニングすることは複雑な作業となる可能性がある。この困難さは、パワースペクトル保持を失った結果である。実際には、問題のあるパワースペクトル保持を伴ったフィルタバンクのチューニングは、低周波数における短期間の遅延またはくし形フィルタの影響をしばしば与え、タイミングを決定するリスナーの能力を妨害する。これは、パーカッシブな低周波数コンテンツのエンベロープが振幅と基本周波数との両方において同時にしばしば低下するために起こる。したがって、パワースペクトルの不連続性は、１つだけが先に存在した複数の過渡事象を知覚することをもたらす。

【0143】

一連のパラダイムでは、フィルタバンクモジュール７００のフィルタのそれぞれは、分析する周波数帯と入来するコンテンツの残差との間の信号を分岐させる。これは、ロウパスフィルタＦ（ｘ）を２バンドクロスオーバーネットワークに置き換えることによって行われる。いくつかの場合では、これは、ロウパス動作の直前のブロードバンド信号からロウパス信号を取り去ることによって単純に実現され得ることに留意されたい。次いで、後続のフィルタは、残っているハイパス信号に対してのみ動作し、アップストリームフィルタが以前に作用したスペクトルデータを除外する。結果として、フィルタバンクモジュール７００によって分析される総スペクトルエネルギーは、インプットにおける総スペクトルエネルギーと同一となる。

【0144】

並列の場合と同様に、シリアルフィルタのそれぞれは独立した前方変換と逆変換とを使用する。これは、いくつかの方法で実現されることができる。第１の例では、フィルタのそれぞれの前方変換および逆変換は、ダウンストリームフィルタの前方変換および逆変換などに移る前に適用される。第２の例では、後続のフィルタの前方変換の座標が変換されるピラミッドアルゴリズムが使用され、そしてピラミッドアルゴリズムは、アップストリームフィルタの周波数偏移θｃｎ－１と次のθｃｎのアップストリームフィルタの周波数偏移との間の差を使用して変換行列を計算することを含む。すべての前方変換が適用された後、逆変換は逆の順序で適用され得、最もダウンストリームなフィルタ（ｍｏｓｔ ｄｏｗｎｓｔｒｅａｍ ｆｉｌｔｅｒ）から始まり、直列を上方へ移動する。これにより、順方向ステップと逆方向ステップとの間の周波数デルタのキャッシングが可能になる。

【0145】

フィルタバンクモジュール７００は、前方変換および逆変換のピラミッドアルゴリズムを使用する。この例では、サブバンド１からサブバンドＮまで、直列処理される音声チャネルａ（ｔ）のＮ個のサブバンドが存在する。ブロックｏｐ１ ７１８、ｏｐ２ ７３４、およびｏｐＭ ７５２は、それぞれ、第１のサブバンド、第２のサブバンド、および第Ｎのサブバンドに対して係数演算を実行する。ｏｐ１ ７１８、ｏｐ２ ７３４、およびｏｐＭ ７５２のそれぞれは、係数演算子モジュール２０６について本明細書で説明されるような係数演算を実行し得る。

【0146】

ブロックＲ ７０４、Ｒ ７２０、およびＲ ７３６は、それぞれ回転行列モジュール３０２について本明細書で説明されるように、右側の２次元信号を時間変化回転行列Ｒ_２で乗算する。ブロックＨ７０２は、式（１）で説明される直交フィルタ演算を示し、ブロックＨおよびＲで、式（２）によって定義される演算を一緒に実行する。

【0147】

フィルタモジュール４０２について本明細書で説明されるように、ブロックＦ７０６、Ｆ７０８、Ｆ７２２、Ｆ７２４、Ｆ７４０、およびＦ７４２はそれぞれ、ロウパスフィルタ動作Ｆ（ｘ）を実行する。

【0148】

ブロック^＊（－１）７１０、^＊（－１）７１２、^＊（－１）７２６、^＊（－１）７２８、^＊（－１）７４４、および^＊（－１）７４６は、受信されたインプットを反転させる。ブロック＋７１４、＋７１６、＋７３０、＋７３２、＋７４８、＋７５０、＋７７４、および＋７７６は、受信されたインプットを組み合わせてアウトプットを生成する。

【0149】

ブロックＲ^－１７５４、Ｒ^－１７５６、Ｒ^－１７６２、Ｒ^－１７６６、Ｒ^－１７６４、およびＲ^－１７７２は、Ｒブロックの逆変換を実行する。例えば、ブロックＲ７０４、Ｒ^－１ ７７２、およびＲ^－１７６６は、－（θｃ１ｔ）の回転を使用する。ブロックＲ ７２０、Ｒ^－１ ７６４、およびＲ^－１７６２は、－（θｃ２－θｃ１）ｔの回転を使用する。ブロックＲ７３６、Ｒ^－１ ７５４、およびＲ^－１７５６は、－（θｃＮ－θｃ（Ｎ－１））ｔの回転を使用する。

【0150】

ブロックＰ７７８は、式(１７)に記載される１次元射影演算を実行する。

【0151】

角周波数θcではなく、隣接するθｃｎの値の間での差を使用することに留意されたい。θｃｎの特定の選択について、ピラミッドアルゴリズムは、回転

【0152】

【数39】

【0153】

が計算される回数を制限することによって、計算的により効率の良い実装を提供し得る。θｃｎ分布のための特に計算上効率的な選択は、線形であり（隣接するフィルタについてのθｃ間での差は一定に保持される）、したがって、行列が互いに同一であるため、

【0154】

【数40】

【0155】

の再計算を完全に最小化する。

【0156】

最終的な残差は、フィルタバンク全体によって影響を受けないデータを含み、影響を受けた信号と影響を受けていない信号との間の建設的な干渉または破壊的な干渉の可能性を排除する。この残差信号の伝達関数は、フィルタバンク分析領域に完全に適合する。係数演算は、ダイナミックな挙動の修正または全く新しいコンテンツの合成をもたらす可能性が高いため、これは必ずしも出力信号のパワースペクトルの完全な再構成を暗に意味するものではない。多くの場合、この最終的な残差は完全に破棄されることができ、Ｈ７０２のアウトプットが使用されて、影響を受けていないコンテンツを混ぜて最終的に合計されたものに戻り得る。

【0157】

フィルタバンクモジュール７００は、アップストリーム高調波スペクトル成分の残差をインプットとして使用して、ダウンストリーム高調波スペクトル成分のそれぞれを生成する。Ｍ個の全非線形フィルタを含むフィルタバンクトポロジーは、この場合、直列アーキテクチャとして説明されることができる。したがって、非線形フィルタは、１からＭまでの値を有するインデックスｍによって定義され得る。例えば、ブロック＋７１４および＋７１６は、第２の高調波スペクトル成分（例えば、ｍ＝２）を生成するために使用される第１の高調波スペクトル成分（例えば、ｍ＝１）の残差を出力する。ここで、第１の高調波スペクトル成分の残差は、ブロックＦ７０６およびＦ７０８によって除去され、したがってブロックＯＰ１ ７１８によって処理されなかった音声チャネルの一部を示す。これらの残差部分は、ブロック^＊（－１）７１０および^＊（－１）７１２によってフィルタリングされた部分を反転させて、反転されてフィルタリングされた部分をブロック＋７１４および＋７１６によってフィルタリングされた部分に対して加えることによって生成される。さらなるダウンストリーム処理は、同様のやり方で動作する。例えば、ブロック＋７３０および＋７３２は第２の高調波スペクトル成分の残差を出力し、そして第２の高調波スペクトル成分の残差は第３の高調波スペクトル成分（例えば、ｍ＝３）などを生成するために使用される。

【0158】

実施例の処理
図８は、いくつかの実施形態に従った、音響心理学的周波数範囲拡張のための処理８００のフローチャートである。図８に示される処理は、音声システム（例えば、音声システム１００）の構成要素によって実行されてもよい。他のエンティティは、他の実施形態では、図８におけるステップの一部または全てを実行してもよい。実施形態は、異なるステップおよび／もしくは追加のステップを含んでもよく、または異なる順序においてステップを実行してもよい。

【0159】

音声システムは、音声チャネルの直交表現を定義した直交成分を生成する（８０５）。音声チャネルは、ステレオ音声信号の左チャネルまたは右チャネルなどのマルチチャネル音声信号のチャネルであってもよい。直交成分は、９０度位相関係を含む。直交成分および音声チャネルは、全ての周波数についての統一振幅関係を含む。いくつかの実施形態では、実数値入力信号は、オールパスフィルタのマッチドペアによって直交値に変換される。

【0160】

音声システムは、標準基底から回転基底に直交成分のスペクトル（例えば、スペクトル全体）を回転させる前方変換を適用することによって、回転スペクトル直交成分を生成する（８１０）。標準基底は、回転の前の入力音声チャネルの周波数を示す。回転は、目標周波数が０ヘルツにマッピングされることを結果としてもたらし得る。この目標周波数は、音響心理学的範囲拡張のための目標サブバンドの中心周波数など、高調波処理モジュールの分析領域の中心であってもよい。前方変換は、式（３）によって定義されるような三角法関数への反復呼び出しを使用して、または同等の再帰的２Ｄ回転を使用して計算されてもよい。

【0161】

音声システムは、目標周波数および目標振幅において回転スペクトル直交成分の成分を分離する（８１５）。成分を分離することは、回転基底において実行されてもよい。例えば、目標周波数は、フィルタＦ（ｘ）を使用して分離されてもよく、ここでｘはｕ（ｔ）によって定義された成分を含む。いくつかの実施形態では、フィルタは、閾値を上回る周波数を除去し、これは、目標サブバンドを分離する効果を有し、前方変換が調整された中心周波数θｃの周りで対称的に閾値の２倍に及ぶ。いくつかの実施形態では、音声システムは、スピーカの再現可能範囲、スピーカの電力消費の低減、またはスピーカの増大した寿命などの因子に基づいて、目標周波数を判定する。

【0162】

音声システムはまた、ゲート関数を使用することによってなど、回転スペクトル直交成分から目標振幅における成分を分離してもよい。ゲート関数は、サブバンド内の望ましくない情報を破棄するように構成されるか、または振幅エンベロープを保存するように構成されるかのいずれかであることができる。ゲート関数はさらに、スルー制限フィルタまたは同様の平滑化関数を含んでもよい。

【0163】

音声システムは、制約に従ったスケールへの依存性を有する分離した成分に非線形性を適用することによって、重み付けされた位相コヒーレント高調波スペクトル直交成分を生成する（８２０）。重み付けされた位相コヒーレント回転スペクトル直交成分は、回転基底において生成されてもよい。この回転基底は、それが二次元ベクトルとして標準基底信号を表すため、およびそれが約ゼロの目標周波数に集中するために、設計者のスペクトルの生成に良好に適合する。ベクトルは次いで、特定の周波数に関する情報についての自然な記述子である、短時間フーリエ変換（ＳＴＦＴ）における単一のビンの振幅および引数を計算することと同様である、式（４）に見られる極座標に更に分解されることができる。この実装は、ＳＴＦＴ表現に対していくつかの明確な利点を有する。１つ目の利点は、スペクトル全体に対してではなく、ビン情報が必要に応じてのみ計算されることである。別の利点は、一時データの適切な表現に対して必要とされる時間分解能において結果が計算されることである。さらに、ＳＴＦＴ技術におけるウインドウ関数と同様に動作するフィルタは、その残差から目標スペクトルコンテンツを分離する目的のために容易に調整され、複数の高調波処理モジュールのケースでは、非均一調整を有し得る。

【0164】

その関数が回転スペクトル直交成分における位相情報を仮定して位相コヒーレントスペクトルを一次的に生成することである非線形性は、式（１１）によって定義されるように制約に従ったスケールへの依存性を有し得る。非線形性は、構成要素である非線形性の重み付けされた混合を含み、構成要素である非線形性のそれぞれは、式（１０）によって定義されて、異なる高調波ｎに対応する。分離した成分への非線形性の適用は、式（９）によって定義される。高調波ｎのそれぞれに対して、振幅補正因数ｍａｘ（｜｜ｕ（ｔ）｜｜，ｂｎ）は、構成要素である非線形性の入力ｕ（ｔ）に適用される利得修正についての制約を定義する。スケールは、時間ｔにおける信号に存在するエネルギーを表す、||ｕ（ｔ）||によって定義されるような入力成分ｕ（ｔ）の振幅を示す。異なる高調波ｎは、異なる最小値制約ｂ_ｎを含み得る。例えば、より低い高調波（例えば、基本波ｎ＝１）は、無制約（例えば、ｂ_ｎ＝０）であり得る一方、より高い高調波は、より高いｂ_ｎの値でより制約され得る。

【0165】

非線形性それ自体は、制約に従って選択的に因数分解された振幅による第１の種類のチェビシェフ多項式の重み付け合計を含み得る。非線形性のうちの構成要素である非線形性のそれぞれは、式（９）によって定義されるように、所定の高調波重みａ_ｎによって重み付けされ得る。

【0166】

音声システムは、重み付けされた位相コヒーレント回転スペクトル直交成分のスペクトルを回転基底から標準基底に回転させる、逆変換を適用することによって、高調波スペクトル成分を生成する（８２５）。逆変換は、０ヘルツが目標周波数にマッピングされるようにスペクトルを回転させ得る。高調波スペクトル成分は、目標周波数とは異なる周波数を含むが、スピーカによってレンダリングされるときに目標周波数の音響心理学的影響を生じさせる。高調波スペクトル成分の周波数は、スピーカの帯域幅内にあってもよいが、サブバンド周波数は、スピーカの帯域幅外にあってもよい。いくつかの実施形態では、サブバンド周波数は、高調波スペクトル成分の周波数よりも低い。いくつかの実施形態では、サブバンド周波数は、１８～２５０ヘルツの周波数を含む。いくつかの実施形態では、目標サブバンドまたは周波数は、スピーカの再現可能範囲内にあってもよいが、例えば、音声システムの電力消費を低減させ、またはスピーカの寿命の改善するためなど、用途特有の理由により選択されていることがある。

【0167】

音声システムは、出力チャネルを生成するよう、目標周波数の範囲外の音声チャネルの周波数と高調波スペクトル成分を組み合わせて（８３０）、スピーカに出力チャネルを提供する（８３５）。いくつかの実施形態では、音声システムは、元の音声チャネルと高調波スペクトル成分を組み合わせることによって、出力チャネルを生成し、スピーカに出力チャネルを提供する。いくつかの実施形態では、音声システムは、音声チャネルまたは他のサブバンド成分が高調波スペクトル成分とコヒーレントなままであることを保証するよう、音声チャネルまたは音声チャネルの他のサブバンド成分をフィルタリングして（例えば、周波数範囲拡張のために使用されるサブバンド成分（複数可）を排除する）、スピーカに対して出力チャネルを生成するよう、高調波スペクトル成分とフィルタリングされた音声チャネルまたは他のサブバンド成分を組み合わせる。いくつかの実施形態では、フィルタリングされたチャネルまたは元の音声チャネルと、高調波スペクトル成分との組み合わせは、スピーカに対して出力チャネルを生成するよう、例えば、等価、圧縮などで更に処理されてもよい。

【0168】

ステップ８０５～８２５では、音声チャネルの周波数帯域に対して高調波スペクトル成分が生成される。いくつかの実施形態では、複数の高調波スペクトル成分が生成されて組み合わされ（８３０）、ここで高調波スペクトル成分のそれぞれは、音声チャネルの異なる周波数帯域を使用して生成される。出力チャネルは、高調波スペクトル成分の目標周波数の範囲外の音声チャネルの周波数を組み合わせることによって生成され得る。高調波スペクトル成分は、並列または直列に生成され得る。直列の場合では、ダウンストリーム高調波スペクトル成分のそれぞれは、インプットとしてアップストリーム高調波スペクトル成分の残差を使用して生成され得る。いくつかの実施形態では、異なるスピーカは、異なる利用可能な帯域幅または周波数応答を有してもよい。例えば、モバイルデバイス（例えば、携帯電話）は、アンバランスなスピーカを含んでもよい。異なるスピーカに対する周波数範囲拡張のために異なるサブバンド成分が使用されてもよい。

【0169】

実施例のコンピュータ
図９は、いくつかの実施形態に従った、コンピュータ９００のブロック図である。コンピュータ９００は、音声システム１００、またはフィルタバンクモジュール１２０あるいはフィルタバンクモジュール７００などの音声システムおよびその構成要素を実装する回路の例である。例示されるのは、チップセット９０４に結合された少なくとも１つのプロセッサ９０２である。チップセット９０４は、メモリコントローラハブ９２０および入力／出力（Ｉ／Ｏ）コントローラハブ９２２を含む。メモリ９０６およびグラフィックアダプタ９１２は、メモリコントローラハブ９２０に結合され、ディスプレイデバイス９１８は、グラフィックアダプタ９１２に結合される。記憶装置９０８、キーボード９１０、ポインティングデバイス９１４、およびネットワークアダプタ９１６は、Ｉ／Ｏコントローラハブ９２２に結合される。コンピュータ９００は、様々なタイプの入力デバイスまたは出力デバイスを含んでもよい。コンピュータ９００の他の実施形態は、異なるアーキテクチャを有する。例えば、メモリ９０６は、いくつかの実施形態では、プロセッサ９０２に直接結合される。

【0170】

記憶装置９０８は、ハードドライブ、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、ＤＶＤ、またはソリッドステートメモリデバイスなどの１つまたは複数の非一時的コンピュータ可読記憶媒体を含む。メモリ９０６は、プロセッサ９０２によって使用されるプログラムコード（１つまたは複数の命令から成っている）およびデータを保持する。プログラムコードは、図１～８を参照して説明された処理態様に対応してもよい。

【0171】

ポインティングデバイス９１４は、データをコンピュータシステム９００に入力するために、キーボード９１０と組み合わせて使用される。グラフィックアダプタ９１２は、画像および他の情報をディスプレイデバイス９１８に表示する。いくつかの実施形態では、ディスプレイデバイス９１８は、ユーザ入力および選択を受信するためのタッチスクリーン機能を含む。ネットワークアダプタ９１６は、コンピュータシステム９００をネットワークに結合する。コンピュータ９００のいくつかの実施形態は、図９に示された構成要素とは異なる構成要素および／または他の構成要素を有する。

【0172】

回路は、非一時的コンピュータ可読媒体に記憶されたプログラムコードを実行する１つまたは複数のプロセッサを含んでもよく、プログラムコードは、１つまたは複数のプロセッサによって実行されるとき、音声処理システムの音声処理システムまたはモジュールを実装するよう１つまたは複数のプロセッサを構成する。音声処理システムの音声処理システムまたはモジュールを実装する回路の他の例は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のタイプのコンピュータ回路などの集積回路を含んでもよい。

【0173】

追加の考慮事項
開示された構成の例示的な利点および長所としては、スピーカがスピーカの物理的能力を超えて（例えば、より低い）周波数を効果的にレンダリングできるようにすることを含む。本明細書で論じられるように音声信号を処理することによって、レンダリングされた音は、物理ドライバの帯域幅を超える周波数の影響を生じさせる。

【0174】

本明細書の全体を通じて、複数のインスタンスは、単一のインスタンスとして説明された構成要素、動作、または構造を実装し得る。１つまたは複数の方法の個々の動作は、別個の動作として例示および説明され、個々の動作のうちの１つまたは複数は、同時に実行されてもよく、例示された順序において動作が実行されることを必要としない。実施例の構成における別個の構成要素として提示された構造および機能性は、組み合わされた構造または構成要素として実装されてもよい。同様に、単一の構成要素として提示された構造および機能性は、別個の構成要素として実装されてもよい。これらのおよび他の変形、修正、追加、および改善は、本明細書における主題の範囲内にある。

【0175】

ロジックまたはいくつかの構成要素、モジュール、ブロック、または機構を含むとして特定の実施形態が本明細書で説明される。モジュールは、ソフトウェアモジュール（例えば、機械可読媒体もしくは伝送信号で具体化されたコード）またはハードウェアモジュールのいずれかを構成してもよい。ハードウェアモジュールは、特定の動作を実行する能力を有する有形単位であり、特定の方式において構成または配列されてもよい。実施例の実施形態では、１つもしくは複数のコンピュータシステム（例えば、スタンドアロン、クライアント、もしくはサーバコンピュータシステム）またはコンピュータシステムのうちの１つもしくは複数のハードウェアモジュール（例えば、プロセッサもしくはプロセッサのグループ）は、本明細書で説明されるような特定の動作を実行するよう動作するハードウェアモジュールとしてソフトウェア（例えば、アプリケーションまたはアプリケーション部分）によって構成されてもよい。

【0176】

本明細書で説明される実施例の方法の様々な動作は、関連する動作を実行するように一時的に構成された（例えば、ソフトウェアによって）、または永続的に構成された１つまたは複数のプロセッサによって少なくとも部分的に実行されてもよい。一時的または永続的に構成されるかに関わらず、そのようなプロセッサは、１つまたは複数の動作または機能を実行するよう動作するプロセッサ実施モジュールを構成し得る。本明細書で言及されるモジュールは、いくつかの実施例の実施形態では、プロセッサ実施モジュールを含んでもよい。

【0177】

同様に、本明細書で説明される方法は、少なくとも部分的にプロセッサにより実施されてもよい。例えば、方法の動作の少なくとも一部は、１つのまたは複数のプロセッサまたはプロセッサ実施ハードウェアモジュールによって実行されてもよい。特定の動作の実行は、１つまたは複数のプロセッサの間で分散されてもよく、単一のマシン内にあるだけでなく、いくつかのマシンにわたって展開されてもよい。いくつかの実施例の実施形態では、プロセッサまたはプロセッサ（複数可）は、単一の位置に位置してもよく（例えば、ホーム環境、オフィス環境内に、またはサーバファームとして）、一方で、他の実施形態では、プロセッサは、いくつかの位置にわたって分散されてもよい。

【0178】

他に特に述べられない限り、「処理」、「コンピューティング」、「計算」、「判定」、「提示」、「表示」などの用語を使用した本明細書での議論は、１つまたは複数のメモリ（例えば、揮発性メモリ、不揮発性メモリもしくはそれらの組み合わせ）、レジスタ、または情報を受信、記憶、送信、もしくは表示する他のマシン構成要素内の物理（例えば、電子、磁気、または光学）量として表されたデータを操作または変換するマシン（例えば、コンピュータ）のアクションまたは処理を示してもよい。

【0179】

本明細書で使用されるように、「１つの実施形態」または「実施形態」への任意の言及は、実施形態と関連して説明された特定の要素、特徴、構造、または特性が少なくとも１つの実施形態に含まれることを意味する。本明細書内の様々な場所におけるフレーズ「１つの実施形態では」の出現は、全てが必ずしも同一の実施形態を示しているわけではない。

【0180】

それらの派生語と共に、表現「結合される」および「接続される」を使用して、いくつかの実施形態が説明され得る。これらの用語は、相互に同義語として意図されていないことが理解されるべきである。例えば、２つ以上の要素が相互に直接的に物理的接点または電気的接点にあることを示すために、用語「接続される」を使用していくつかの実施形態が説明され得る。別の実施例では、２つ以上の要素が直接的に物理的接点または電気的接点にあることを示すために、用語「結合される」を使用していくつかの実施形態が説明され得る。しかしながら、用語「結合される」は、２つ以上の要素が相互に直接的な接点にないが、相互にさらに一層協調またはインタラクトすることもまた意味してもよい。実施形態は、このコンテキストに限定されない。

【0181】

本明細書で使用されるように、用語「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」またはそれらの任意の他の変形は、非排他的包含を網羅することが意図される。例えば、要素のリストを含む処理、方法、物品、または装置は、必ずしもそれらの要素のみに限定されるわけではなく、明示的にリストされてなく、またはそのような処理、方法、物品、もしくは装置に固有の他の要素をも含んでもよい。さらに、明示的に反対に述べられない限り、「または」は包含的論理和を示し、排他的論理和を示さない。例えば、条件ＡまたはＢは、Ａが真（または、存在する）およびＢが偽（または、存在しない）、Ａが偽（または、存在しない）およびＢが真（または存在する）、ならびにＡとＢの両方が真（または、存在する）、のいずれか１つにより満たされる。

【0182】

加えて、「ａ」または「ａｎ」の使用は、本明細書における実施形態の要素および構成要素を説明するために用いられる。これは、便宜のため、および発明の一般的な意味を与えるために行われるにすぎない。この説明は、他を意味することが明白でない限り、１つまたは少なくとも１つを含み、単数形はまた複数形をも含むと読まれるべきである。

【0183】

この説明の一部は、情報に対する演算のアルゴリズムおよびシンボル表現の観点から実施形態を説明する。これらのアルゴリズムの説明および表現は、他の当業者にそれらの作業の実質を効果的に伝えるために、データ処理の分野の当業者によって一般的に使用される。これらの演算は、機能的、計算的、または論理的に説明される一方で、コンピュータプログラム、または同等の電子回路、マイクロコードなどによって実装されることが理解される。さらに、一般性を失うことなく、演算のこれらの配列をモジュールとして示すことが便宜的であることもまた折に触れて証明されてきた。説明された演算およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具体化されてもよい。

【0184】

本明細書で説明された任意のステップ、動作、または処理は、１つあるいは複数のハードウェアモジュールまたはソフトウェアモジュールを単独でまたは他のデバイスとの組み合わせで実行または実装されてもよい。一実施形態では、ソフトウェアモジュールは、説明されたステップ、動作、もしくは処理のいずれかまたは全てを実行するためにコンピュータプロセッサによって実行されることができるコンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品を用いて実装されてもよい。

【0185】

実施形態は、本明細書における動作を実行するための装置をも示してもまたよい。この装置は特に、必要とされる目的のために構築されてもよく、および／または、この装置はコンピュータに記憶されたコンピュータプログラムによって選択的に活性化もしくは再構成される汎用コンピューティングデバイスを含んでもよい。そのようなコンピュータプログラムは、非一時的、有形コンピュータ可読記憶媒体、またはコンピュータシステムバスに結合され得る、電子命令を記憶するために適切な任意のタイプの媒体に記憶されてもよい。さらに、本明細書において言及される任意のコンピューティングシステムは、単一のプロセッサを含んでもよく、または計算能力を増大させるための複数のプロセッサ設計を使用しているアーキテクチャであってもよい。

【0186】

実施形態は、本明細書で説明される計算処理によって作成される製品にも関連し得る。そのような製品は、計算処理から結果として生じる情報を含んでもよく、ここで情報は、非一時的、有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータの組み合わせの任意の実施形態を含んでもよい。

【0187】

本開示を読むと、当業者は、本明細書で開示された原理を通じて、システムおよび処理のための追加の代替的な構造および機能的設計を依然として理解するであろう。したがって、特定の実施形態および用途が示されて説明されてきたが、開示された実施形態は、本明細書で開示された正確な構造および構成要素に限定されるものではないことを理解されよう。添付の特許請求の範囲で定義された精神および範囲から逸脱することなく、当業者には明らかである様々な修正、変更、および変形が、本明細書で開示された方法および装置の配置、動作および詳細において行われてもよい。

【0188】

最後に、本明細書において使用される言語は、可読性および教育的な目的のために主に選択されており、特許権を詳しく説明する、または制限するために選択され得ない。したがって、特許権の範囲は、この詳細な説明によってではなく、本明細書に基づいた出願で公表される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の請求項において説明される、特許権の範囲の例示であり、限定ではないことが意図される。

【手続補正3】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】変更

【補正の内容】

【図6】

【国際調査報告】