(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-08
(54)【発明の名称】スピーカのための低音強調
(51)【国際特許分類】
H04S 1/00 20060101AFI20230426BHJP
H04R 3/00 20060101ALN20230426BHJP
【FI】
H04S1/00 200
H04R3/00 310
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2022556631
(86)(22)【出願日】2021-03-19
(85)【翻訳文提出日】2022-11-18
(86)【国際出願番号】 US2021023239
(87)【国際公開番号】W WO2021188953
(87)【国際公開日】2021-09-23
(31)【優先権主張番号】PCT/CN2020/080460
(32)【優先日】2020-03-20
(33)【優先権主張国・地域又は機関】CN
(32)【優先日】2020-04-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】510185767
【氏名又は名称】ドルビー・インターナショナル・アーベー
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100101683
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100188813
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】エクストランド,パー
(72)【発明者】
【氏名】ハオ,イシィン
(72)【発明者】
【氏名】イ,シュエメイ
【テーマコード(参考)】
5D162
5D220
【Fターム(参考)】
5D162AA09
5D162CA05
5D162CA19
5D220AA50
5D220AB04
(57)【要約】
オーディオ処理方法は、ハイブリッド複素直交ミラーフィルタ領域において高調波を生成することを含む。高調波を生成することは、フィードバック遅延ループを用いて乗算を行うことと、動的圧縮とを含み得る。高調波は、複素変換領域信号の1つ以上のハイブリッドサブバンドに基づいて生成され得る。
【特許請求の範囲】
【請求項1】
コンピュータに実装されるオーディオ処理方法であって、
第1の変換領域信号を受け取るステップであって、前記第1の変換領域信号は、複数のバンドを有するハイブリッド複素変換領域信号であり、前記複数のバンドのうちの少なくとも1つは複数のサブバンドを有し、前記第1の変換領域信号は第1の複数の高調波群を有する、ステップと、
前記第1の変換領域信号に基づいて第2の変換領域信号を生成するステップであって、
非線形処理に従って高調波群を前記第1の変換領域信号に対して生成し、前記第2の変換領域信号は、前記第1の複数の高調波群とは異なる第2の複数の高調波群を有することと、
前記第2の複数の高調波群に対しラウドネス拡張を行うことであって、前記第2の変換領域信号は、虚部を有する複素数値信号であることと、
による、ステップと、
前記第2の変換領域信号をフィルタリングすることによって第3の変換領域信号を生成するステップであって、前記第3の変換領域信号は複数のバンドを有し、前記複数のバンドのうちの少なくとも1つは複数のサブバンドを有する、ステップと、
前記第3の変換領域信号を前記第1の変換領域信号を遅延した信号と混合することによって第4の変換領域信号を生成するステップであって、前記第3の変換領域信号におけるあるサブバンドは、前記第1の変換領域信号を遅延した信号における対応するサブバンドと混合される、ステップと、
を含む、方法。
【請求項2】
前記第2の複数の高調波群から、前記第1の変換領域信号に比べて知覚的に強調された低音を有する第4の変換領域信号が得られる、請求項1に記載の方法。
【請求項3】
前記第1の変換領域信号をアップサンプリングすることによってアップサンプリングされた変換領域信号を生成するステップであって、前記アップサンプリングされた信号は複素数値の時間領域信号であり、前記第2の変換領域信号は前記アップサンプリングされた変換領域信号に基づいて生成されるステップ
をさらに含む、請求項1から2のいずれか1項に記載の方法。
【請求項4】
前記アップサンプリングされた変換領域信号を生成するステップは、複素直交ミラーフィルタリング合成に従って行われる、請求項3に記載の方法。
【請求項5】
前記第2の変換領域信号から前記第3の変換領域信号を生成するよりも前に、前記第2の変換領域信号に対しダイナミクス処理を行うステップ
をさらに含む、請求項1から4のいずれか1項に記載の方法。
【請求項6】
前記第1の変換領域信号の複数のバンドは、第1のバンド、第2のバンドおよび第3のバンドを有しており、前記第1のバンドは8つのサブバンドに分割され、前記第2のバンドは4つのサブバンドに分割され、前記第3のバンドは4つのサブバンドに分割されている、
請求項1から5のいずれか1項に記載の方法。
【請求項7】
前記第1の変換領域信号は64個のバンドを有しており、第1のバンドは8つのサブバンドに分割され、第2のバンドは4つのサブバンドに分割され、第3のバンドは4つのサブバンドに分割されている、
請求項1から6のいずれか1項に記載の方法。
【請求項8】
前記第1の変換領域信号は24kHzの帯域幅を有し、前記第1の変換領域信号は64個のバンドを有し、各バンドのパスバンド帯域幅は375Hzである、請求項1から7のいずれか1項に記載の方法。
【請求項9】
前記非線形処理は、前記第1の変換領域信号の乗算を含む、請求項1から8のいずれか1項に記載の方法。
【請求項10】
前記非線形処理は、前記第1の変換領域信号に適用されるフィードバック遅延ループを含む、請求項1から9のいずれか1項に記載の方法。
【請求項11】
前記第2の変換領域信号を生成するステップは、
前記第1の変換領域信号の複数のサブバンドのうち1つに基づいて前記第2の変換領域信号を生成することであって、前記複数のサブバンドのうちの前記1つは前記第1の変換領域信号の複数のサブバンドの全部よりも少ないこと
を含む、請求項1から10のいずれか1項に記載の方法。
【請求項12】
前記第2の変換領域信号を生成するステップは、
前記第1の変換領域信号の複数のサブバンドのうち2つ以上に基づいて複数の第2の変換領域信号を生成することであって、前記複数のサブバンドのうちの前記2つ以上は前記第1の変換領域信号の複数のサブバンドの全部よりも少なく、前記複数の第2の変換領域信号のそれぞれは前記複数のサブバンドのうちの前記2つ以上に対応することと、
前記複数の第2の変換領域信号の和を取ることによって前記第2の変換領域信号を生成することと、
を含む、請求項1から10のいずれか1項に記載の方法。
【請求項13】
スピーカにより、前記第4の変換領域信号に対応する音を出力するステップ
をさらに含む、請求項1から12のいずれか1項に記載の方法。
【請求項14】
前記第1の変換領域信号は第1の信号領域にあり、前記方法は、
第2の信号領域にある入力信号を受け取るステップと、
前記入力信号を前記第2の信号領域から前記第1の信号領域へ変換することによって前記第1の変換領域信号を生成するステップと、
前記第4の変換領域信号を前記第1の信号領域から前記第2の信号領域に変換することによって出力信号を生成するステップと、
をさらに含む、請求項1から13のいずれか1項に記載の方法。
【請求項15】
前記第2の変換領域は時間領域であり、前記第1の信号領域はハイブリッド複素直交ミラーフィルタ(HCQMF)信号領域であり、
前記第1の変換領域信号を生成するステップは、前記入力信号に対しHCQMF解析を行うことによって前記第1の変換領域信号を生成することを含み、
前記出力信号を生成することは、前記第4の変換領域信号に対しHCQMF合成を行うことによって前記出力信号を生成することを含む、
請求項14に記載の方法。
【請求項16】
前記第3の変換領域信号を生成するより前に、前記第2の変換領域信号から前記虚部を落とすこと
をさらに含む、請求項1から15のいずれか1項に記載の方法。
【請求項17】
プロセッサによって実行されたとき、請求項1から16のいずれか1項に記載の方法を含む処理を実行するように装置を制御するコンピュータプログラムを記憶した、非一時的かつコンピュータ読み取り可能な媒体。
【請求項18】
プロセッサを備えたオーディオ処理装置であって、
前記プロセッサは第1の変換領域信号を受け取るように前記装置を制御するように構成され、前記第1の変換領域信号は、複数の複素数値と複数のバンドとを有するハイブリッド複素変換領域信号であり、前記複数のバンドのうちの少なくとも1つは複数のサブバンドを有し、前記第1の変換領域信号は第1の複数の高調波群を有し、
前記プロセッサは、前記第1の変換領域信号に基づいて第2の変換領域信号を生成するように前記装置を制御するように構成され、この生成は、
非線形処理に従って高調波群を前記第1の変換領域信号に対して生成し、前記第2の変換領域信号は、前記第1の複数の高調波群とは異なる第2の複数の高調波群を有することと、
前記第2の複数の高調波群に対しラウドネス拡張を行うことであって、前記第2の変換領域信号は、虚部を有する複素数値信号であることと、によって行われ、
前記プロセッサは、前記第2の変換領域信号をフィルタリングすることによって第3の変換領域信号を生成するように前記装置を制御するように構成され、前記第3の変換領域信号は複数のバンドを有し、前記複数のバンドのうちの少なくとも1つは複数のサブバンドを有しており、
前記プロセッサは、前記第3の変換領域信号を前記第1の変換領域信号を遅延した信号と混合することによって第4の変換領域信号を生成するように前記装置を制御するように構成され、前記第3の変換領域信号におけるあるサブバンドは、前記第1の変換領域信号を遅延した信号における対応するサブバンドと混合される、
装置。
【請求項19】
前記第4の変換領域信号を音として出力するように構成されたスピーカをさらに備える、
請求項18に記載の装置。
【請求項20】
前記プロセッサは、前記第1の変換領域信号をアップサンプリングすることによってアップサンプリングされた変換領域信号を生成するようにさらに構成されており、前記アップサンプリングされた信号は複素数値の時間領域信号であり、前記第2の変換領域信号は前記アップサンプリングされた変換領域信号に基づいて生成される、請求項18から19のいずれか1項に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願との相互参照)
本出願は、2020年3月20日に出願された国際出願PCT/CN2020/080460号、および2020年4月15日に出願された米国仮出願第63/010,390号に対する優先権を主張するものであり、これらを全て本明細書に援用する。
【0002】
本開示は、オーディオ処理に関し、特に、低音強調に関する。
【背景技術】
【0003】
特に断わらない限り、本項に記載されるアプローチは、本願の請求項に対する先行技術ではなく、本項に含めていることによって先行技術であることを認めるものではない。
【0004】
低音効果は、携帯電話、メディアプレーヤー、タブレットコンピュータ、ラップトップコンピュータ、ヘッドセット、イヤホンなどのモバイルデバイスにとって望ましいユーザー体験およびユーザー評価指標である。モバイルデバイスのトランスデューサの物理的制約(例えば、振動板サイズ、磁石重量など)のために、モバイルデバイスのスピーカが本来の低音サウンドの音響を完全に再現することは困難である。その結果、モバイルデバイスは、低音サウンドを改善するためのオーディオ処理技術(例えば、ソフトウェアプロセスなどを使用)を実装することが多い。これらの低音強調処理は、「仮想低音」技術と広く呼ばれることがある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
既存の低音強調システムに関する1つの問題は、それらが高い計算複雑性を有し得ることである。上記を考慮すると、計算複雑性を低減した低音強調を実現する必要性があり得る。
【課題を解決するための手段】
【0006】
本明細書でより詳細に説明するように、実施形態では、「欠落している基本波」の原理に基づく低音強調のための技術について説明する。この原理は、人間が低周波信号(基本波)そのものではなく低周波信号の高調波を聴いた場合に、聴く者の脳が、存在しない低周波信号を外挿することができる、すなわち知覚することができることを、心理音響学的に叙述している。したがって、低周波信号(低音)を再生するためには物理的に不十分なスピーカにおいて、心理音響学的に品質を向上させる一つの方法として、低周波域に高調波を発生させることによって低音効果を高めることがある。
【0007】
本明細書に開示する低音強調技術は、従来の仮想低音技術と比較して、計算複雑性は少ないが、同様の効果に達する。したがって、実施形態は、計算複雑性を節約する。さらに、複雑性の減少のため、より低いレイテンシが可能になる。この技術は、生成された高調波のパワーを調節するためのラウドネス調節スキームを含み得、これにより、結果として得られるラウドネスの知覚がより現実的になり、また低音効果がより説得力を持つようになる。
【0008】
本明細書に開示された技術は、中型スピーカまたはより小型のトランスデューサ、例えば携帯電話スピーカ、ワイヤレススピーカなどからの出力を強調するために使用することができる。
【0009】
一実施形態によれば、コンピュータに実装されたオーディオ処理方法は、第1の変換領域信号を受け取ることを含む。前記第1の変換領域信号は、複数のバンドを有するハイブリッド複素変換領域信号である。前記複数のバンドのうちの少なくとも1つは複数のサブバンドを有し、前記第1の変換領域信号は第1の複数の高調波群を有する。
【0010】
本方法はさらに、前記第1の変換領域信号に基づき第2の変換領域信号を生成することを含む。前記第2の変換領域信号は、非線形処理に従って前記第1の変換領域信号に高調波を生成することによって生成される。前記第2の変換領域信号は、前記第1の複数の高調波群とは異なる第2の複数の高調波群を有する。前記第2の変換領域信号は、さらに、前記第2の複数の高調波群に対しラウドネス拡張を行うことによって生成される。前記第2の変換領域信号は、虚部を有する複素数値信号である。
【0011】
本方法はさらに、前記第2の変換領域信号をフィルタリングすることによって第3の変換領域信号を生成することを含む。前記第3の変換領域信号は複数のバンドを有しており、前記複数のバンドのうちの少なくとも1つは複数のサブバンドを有している。前記方法はさらに、前記第3の変換領域信号を、前記第1の変換領域信号を遅延した信号と混合することによって第4の変換領域信号を生成することを含み、前記第3の変換領域信号におけるあるサブバンドは、前記第1の変換領域信号を遅延した信号における対応するサブバンドと混合される。
【0012】
別の実施形態において、装置は、スピーカとプロセッサとを備える。前記プロセッサは、本明細書に説明した方法のうち1つまたはそれ以上を実施するように前記装置を制御するように構成される。本装置は、本明細書に説明した方法のうち1つまたはそれ以上と同様な詳細を追加的に含み得る。
【0013】
別の実施形態において、非一時的かつコンピュータ読み取り可能な媒体は、プロセッサによって実行されたとき、本明細書に説明した方法のうち1つまたはそれ以上を含む処理を実行するように装置を制御する、コンピュータプログラムを格納している。
【0014】
以下の詳細な説明および添付の図面は、様々な実施態様の性質および利点の更なる理解を提供する。
【図面の簡単な説明】
【0015】
【
図1】
図1は、オーディオ処理システム100のブロック図である。
【0016】
【
図2】
図2は、低音強調システム200のブロック図である。
【0017】
【
図3】
図3は、高調波発生器300のブロック図である。
【0018】
【
図4】
図4は、高調波発生器400のブロック図である。
【0019】
【
図5】
図5は、高調波発生器500のブロック図である。
【0020】
【
図6】
図6は、等ラウドネス曲線を示すグラフ600である。
【0021】
【
図7】
図7は、様々な圧縮ゲインcを示すグラフ700である。
【0022】
【
図8】
図8は、高調波発生器800のブロック図である。
【0023】
【0024】
【
図10】
図10は、低音強調システム1000のブロック図である。
【0025】
【
図11】
図11は、一実施形態による、本明細書に説明した特徴および処理を実施するためのモバイルデバイスアーキテクチャ1100である。
【0026】
【
図12】
図12は、オーディオ処理方法1200のフローチャートである。
【発明を実施するための最良の形態】
【0027】
本明細書では、低音強調に関連する技術について説明する。以下の説明において、説明目的で、本開示の完全な理解を提供するために、多数の実施例および具体的な詳細が示されている。しかしながら、特許請求の範囲によって定義される本開示は、これらの実施例における特徴の一部または全部を単独で、または以下に説明する他の特徴と組み合わせて含むことができ、さらに、本明細書に記載する特徴および概念の、変更および同等物を含むことができることは当業者にとって明らかであろう。
【0028】
以下の説明において、様々な方法、プロセス、および手順が詳述される。特定のステップをある順序で記載するかもしれないが、そのような順序は、主に便宜上および明瞭化のためである。ある特定のステップは、複数回繰り返されてもよく、他のステップの前または後に行われてもよく(それらのステップが別の順序で他に記述されている場合でも)、他のステップと並行して行われてもよい。2番目のステップが1番目のステップの後に続くことが要求されるのは、2番目のステップを開始する前に1番目のステップが完了されなければならない場合のみである。このような状況が文脈から明らかでない場合は、具体的に指摘する。
【0029】
本書では、「および」、「または」、および「および/または」という用語が使用される。このような用語は、包括的な意味を有するものとして読み取られる。例えば、「AおよびB(A and B)」とは、「AとBの両方」、「少なくともAとBの両方」を少なくとも意味し得る。別の例として、「AまたはB(A or B)」とは、「少なくともA」、「少なくともB」、「AとBの両方」、「少なくともAとBの両方」を少なくとも意味し得る。別の例として、「Aおよび/またはB」とは、「AとB」、「AまたはB」を少なくとも意味し得る。排他的論理和が意図される場合、そのことが特に注記される(例えば、「AまたはBのいずれか(either A or B)」、「AおよびBのうち多くとも1つ(at most one of A and B)」)。
【0030】
本文書では、ブロック、要素(element)、構成要素(component)、回路などの構造体に関連する様々な処理機能について説明する。一般に、これらの構造体は、1つ以上のコンピュータプログラムによって制御されるプロセッサによって実装され得る。
【0031】
図1は、オーディオ処理システム100のブロック図である。オーディオ処理システム100は、一般に、入力オーディオ信号102を受け取り、本明細書で説明される低音強調処理に従って入力オーディオ信号102を処理し、出力オーディオ信号104を生成する。オーディオ処理システム100は、信号変換システム110、低音強調システム120、追加的処理システム130(オプション)、および逆信号変換システム140を含む。オーディオ処理システム100は、(簡潔さのため)詳細には説明しない他の構成要素を含んでもよい。オーディオ処理システム100の構成要素は、プロセッサによって実行される1つ以上のコンピュータプログラムによって実装されてもよい。
【0032】
信号変換システム110は、入力オーディオ信号102を受け取り、信号変換処理を実行し、変換されたオーディオ信号112を生成する。入力オーディオ信号102は、オーディオ(例えば、波形パルス符号変調(PCM)形式のサウンド)に対応する多数のサンプルを含む、デジタル時間領域信号であってよい。入力オーディオ信号102は、32kHz、44.1kHz、48kHz、192kHzなどのサンプルレートを有していてもよい。入力オーディオ信号102は、ATSC(Advanced Television Systems Committee)Digital Audio Compression(AC-3、E-AC-3)規格を含む、様々なフォーマットに由来していてもよい。具体例として、入力オーディオ信号102は、サンプルレートが48kHzのDolby Digital PlusTM信号に由来していてもよい。
【0033】
信号変換システム110は、様々な信号変換処理を行うことができる。一般に、信号変換処理は、入力オーディオ信号102を第1の信号領域から第2の信号領域へ変換する。例えば、第1の領域は時間領域であってもよく、第2の信号領域は、周波数領域、直交ミラー周波数(QMF)領域、複素直交ミラー周波数(CQMF)領域、ハイブリッド複素直交ミラー周波数(HCQMF)領域、などであってもよい。また、第1の信号領域から第2の信号領域への変換は、例えば、変換解析、信号解析、フィルタバンク解析、QMF解析、CQMF解析、HCQMF解析などの「解析」と称されることがある。
【0034】
一般に、QMF領域情報は、その周波数応答が別のフィルタのπ/2を中心とする鏡像であるフィルタによって、生成される。これらのフィルタは合わせて、QMFペアとして知られる。QMF理論は、2つより多くのチャンネル(例えば、64個のチャンネル)を持つフィルタバンクも含んでおり、これらはMチャンネルのQMFバンクと呼ばれることがある。QMF理論は、さらに、変調フィルタバンクと呼ばれるクラスのMチャンネルの疑似QMFバンクを教示する。一般に、「CQMF」領域情報は、時間領域の信号に適用される、複素変調離散フーリエ変換(DFT)フィルタバンクから得られる。CQMFは、複素数値信号(例えば、実部に加えて虚部を含む信号)を含むので、「複素」信号である。一般に、「HCQMF」領域情報は、CQMFフィルタバンクをハイブリッド構造に拡張して、人間の聴覚系の周波数分解能によく一致する効率的で非一様な周波数分解能を得るようにした、CQMF領域情報に相当する。一般に、ハイブリッドとは、少なくとも1つの周波数帯域がサブバンドに分割された構造を指す言葉である。
【0035】
特定のHCQMF実施態様によれば、HCQMF情報は77個の周波数帯域で生成され、ここで、低い方の周波数に対しより高い周波数分解能を得るために、低い方のCQMFバンドはさらにサブバンドに分割される。さらなる具体的な実施態様によれば、信号変換システム110は、入力オーディオ信号102の各チャンネルを64個のCQMFバンドに変換し、さらに最も低い3バンドを、第1バンドを8つのサブバンドに分割し、第2および第3バンドをそれぞれ4つのサブバンドに分割するというように、サブバンド分割する。(このように最も低いバンド群をサブバンドにハイブリッド分割するのは、これらのバンドの低周波分解能を向上させるためである)。信号変換システム110は、バンドをサブバンドに分割するためのナイキストフィルタを含んでもよい。この場合、77個のHCQMFバンドは、61個の最も高いCQMFバンドに、最も低い3個のCQMFバンドからの16個のサブバンド(8+4+4)を加えたものに対応する。サブバンドおよびバンドは、最も低い周波数のサブバンドを0番として、0番から76番までの番号を付けてもよい。するとその他のサブバンドを1番から15番となり、残りのバンドは16番から76番となる。そして、これらの77個のHCQMFバンドは、例えばハイブリッドバンド0、ハイブリッドバンド1、ハイブリッドバンド76、チャンネル0、チャンネル1、チャンネル76などのように、それらの番号を付した「ハイブリッドバンド」または「チャンネル」と呼ばれ得る。ハイブリッドバンド0~15もまた、例えばサブバンド0、サブバンド1、サブバンド15などのように、それらの番号を付した「サブバンド」と呼ばれ得る。また、ハイブリッドバンド16~76を、例えばバンド16、バンド17、バンド76のように、それらの番号を付した「バンド」と呼ばれ得る。なお、チャンネル1および3は負の周波数軸上にパスバンドを有していてもよいが、一般に他のチャンネルはそうではない。
【0036】
(本明細書では、QMF、CQMF、およびHCQMFという用語が少し口語的に使用されていることに注意されたい。具体的には、用語QMF/CQMFは、2つより多くのバンドを含み得るDFTフィルタバンクを指すために口語的に使用されていることがある。HCQMFという用語は、2つより多くのバンドを含み得る非一様なDFTフィルタバンクを指すために口語的に使用することができる)。
【0037】
具体例として、信号変換システム110は、入力オーディオ信号102に対してHCQMF変換を行うことによって、77個の周波数帯域を有する変換されたオーディオ信号112を生成する。この場合、変換されたオーディオ信号112の信号領域をHCQMF領域またはハイブリッド領域と呼び、HCQMF変換をHCQMF解析と呼ぶことがある。
【0038】
バンドの帯域幅とサンプリング周波数は、入力オーディオ信号102のサンプリング周波数に依存することになる。例えば、入力オーディオ信号102がサンプリング周波数48kHzを有する場合(最大帯域幅24kHzに相当)、上述した77個のバンドを有するハイブリッド構造は、すべてのバンドについてサンプリング周波数が750Hzとなる。最も高い周波数の61個のバンドは375Hzのパスバンド帯域幅を有し、最も低い周波数の8個のサブバンドは93.75Hzのパスバンド帯域幅を有し、その次に低い周波数のサブバンドは187.5Hzのパスバンド帯域幅を有する。
【0039】
低音強調システム120は、変換されたオーディオ信号112を受け取り、低音強調を実行し、強調されたオーディオ信号122を生成する。一般に、低音強調システム120は、欠落している基本波を聴く者が心理音響学的に知覚できるために、変換されたオーディオ信号112に対し高調波を発生させる。低音強調システム120の更なる詳細は、(例えば、
図2などを参照して)以下において与えられる。
【0040】
追加的処理システム130はオプションである。存在する場合には、追加的処理システム130は、強調されたオーディオ信号122を受け取り、追加的な信号処理を実行し、処理されたオーディオ信号132を生成する。あるいは、追加的処理システム130は、低音強調システム120の動作に先立って、変換されたオーディオ信号112に対して動作してもよく、その場合、低音強調システム120は、(信号変換システム110から出力信号を直接受け取るのではなく)追加的処理システム130からの出力された信号をその入力として受け取る。別のオプションとして、追加的処理システム130は、低音強調システム120の前と後の両方で動作する複数の追加的処理システムであってもよい。オーディオ処理システム100内の追加的処理システム130の具体的な配置は、追加的処理システム130が実行する追加的処理の具体的な種類に応じて変化し得る。
【0041】
一般に、追加的処理システム130は、変換領域において入力オーディオ信号102の追加的処理を実行する。これにより、低音強調システム120は、変換領域において実装される既存のオーディオ処理技術と組み合わせて動作することができる。追加的処理の例としては、ダイアログエンハンスメント、インテリジェントイコライゼーション、ボリュームレベリング、スペクトル制限などがある。ダイアログエンハンスメントとは、発話の聞き取りやすさを向上させるために、発話信号を(例えば、効果音と比較して)強調することを指す。インテリジェントイコライゼーションとは、スペクトルバランス(「トーン」または「音色(timbre)」とも呼ばれる)の一貫性を提供するなど、オーディオトーンの動的な調節を行うことである。音量調節とは、静かな音声の音量を上げ、大きな音声の音量を下げることで、聴く者が手動で音量を調節する必要性を軽減することである。スペクトル制限とは、選択した周波数または周波数帯域を制限することであり、例えば、小型スピーカからの出力が困難である最も低い側の周波数を制限することである。
【0042】
逆信号変換システム140は、強調されたオーディオ信号122(またはオプションとして処理されたオーディオ信号132)を受け取り、逆変換を実行し、出力オーディオ信号104を生成する。逆変換は、一般に、第2の信号領域から第1の信号領域へ信号を戻す変換を行う。一般に、逆変換は、信号変換システム110によって実行される信号変換処理の逆変換である。例えば、信号変換システム110がHCQMF変換を実行する場合、逆信号変換システム140は逆HCQMF変換を実行する。また、第2の信号領域から第1の信号領域に戻す変換は、例えば、変換合成、信号合成、フィルタバンク合成などの「合成」と呼ばれることがあり、逆HCQMF変換はHCQMF合成と呼ばれることがある。
【0043】
このように、出力オーディオ信号104は、低音強調および/または追加的な信号強調が加えられた入力オーディオ信号102に対応する。その後、出力オーディオ信号104は、スピーカによって出力され、聴く者によって音として知覚され得る。
【0044】
上述したように、また以下により詳細に説明するように、低音強調システム120は、小型から中型のスピーカに好適である。低音強調システム120によって実装される処理は、多くの既存の低音強調方法よりもシンプルであり得る。これらの既存の方法と比較して、低音強調システム120は、計算複雑性が低く、短いレイテンシを可能にしながらも、オーディオ品質を保持することが可能である。低音強調システム120は、例えばテレビまたはワイヤレススピーカなどの中型スピーカによく適しており、また、例えば携帯電話、ラップトップおよびタブレット用の小型トランスデューサの低音改善にも効率的である。ある動作モードにおける低音強調システム120は、ミックスに高調波を加えるだけでなく、(動的に変化される)元の低音を加える、すなわち、本来的な低音ブーストを有するように動作させてもよい。
【0045】
図2は、低音強調システム200のブロック図である。低音強調システム200は、低音強調システム120(
図1参照)として使用され得る。簡潔さのため、
図2の説明は、低音強調システム200の一般的な動作を説明するために、単一の信号処理経路に焦点を当てている。追加的な信号処理経路も、本明細書に説明した低音強調システムの変形例において実装されてよい(例えば
図10参照)。追加的な信号処理経路についても、ここで簡単に説明する。
【0046】
低音強調システム200は、変換されたオーディオ信号112を受け取る(
図1参照)。上述したように、変換されたオーディオ信号112は、多数のバンド(例えば、77個のハイブリッドバンドであって、3個の最も低い周波数帯域はサブバンドに分割されている)を有するハイブリッド複素変換領域信号(例えば、HCQMF領域信号)である。複素信号として、変換されたオーディオ信号112は、複素数値、例えば、実数値と虚数値の両方を有する。各サブバンドは、それぞれ自身の処理経路により処理され得るので、以下の説明では、1つのサブバンド(例えば、サブバンド0、2、4、6などのうちの1つ)の処理に焦点を当てる。低音強調システム200は、アップサンプラ(オプション)202、高調波発生器204、ダイナミクスプロセッサ206(オプション)、変換器208(オプション)、フィルタ212、遅延器214、およびミキサ216を含む。
【0047】
アップサンプラ202は、変換されたオーディオ信号112を受け取り、アップサンプリングを行い、アップサンプリングされた信号220を生成する。一例として、入力オーディオ信号102(
図1参照)がサンプリング周波数48kHzを有し、変換されたオーディオ信号112が64個のバンドに処理されるとき、各バンドはサンプリング周波数750Hzを有する。アップサンプラ202は、変換されたオーディオ信号112の選択されたサブバンドを2×、3×、4×、5×、6×などでアップサンプリングしてもよい。アップサンプリングの好適な量は4×であり、例えば、変換されたオーディオ信号112の選択されたサブバンドがサンプリング周波数750Hzを有するとき、アップサンプリングされた信号220はサンプリング周波数3kHzを有することになる。アップサンプリングされた信号220は複素変換領域信号である。アップサンプリングされた信号220は、変換されたオーディオ信号112の選択されたサブバンドの帯域幅に対応する帯域幅を有する。一例として、93.75Hzのパスバンド帯域幅を有する選択されたサブバンド0がアップサンプラに入力されるとき、アップサンプリングされた信号220は、同様に、93.75Hzの帯域幅を有する。
【0048】
アップサンプラ202は、CQMF合成を実行することによって実装されてもよい。一例として、サブバンド0を750Hzから3000Hzにアップサンプリングする(4×アップサンプリング)ために、アップサンプラは、1つの入力をサブバンド0とし、他の3つの入力をゼロ(ヌル)とする4チャンネルCQMF合成を実施してもよい。この合成は、信号220が複素数値の時間領域信号であることを維持するように構成される。
【0049】
アップサンプラ202はオプションである。一般に、アップサンプラ202は、高調波を生成する際に追加的なヘッドルームを提供し(高調波発生器204を参照)、エイリアシング(スペクトル折り返しとも呼ばれる)なしに帯域幅を拡張できるようにする。アップサンプラ202は、最も低い周波数のサブバンドのうちのうち1つまたはそれ以上を処理するときは省略することができる。例えば、最も低いバンド(例えば、サブバンド0)のみを処理する場合、(少なくとも)第6次までの高調波が折り返しなしで生成され得るので、アップサンプラ202は省略され得る。最も低い2つのバンド(例えば、サブバンド0および2)を処理するとき、第2次および第3次高調波のみが生成される場合、アップサンプラ202は省略され得る。最も低い3つのバンド(例えば、サブバンド0、2および4)を処理するとき、第2次高調波のみがエイリアシングなしで生成され得る。これについては、高調波発生器204を参照してより詳細に説明する。
【0050】
高調波発生器204は、アップサンプリングされた信号220(またはアップサンプラ202が省略された場合には、変換されたオーディオ信号112の選択されたサブバンド信号)を受け取り、その高調波を発生させて信号222が得られる。アップサンプラ202を参照して述べたように、高調波発生器204は、信号222のための高調波を発生するとき、その入力信号の帯域幅を拡張する。例えば、サブバンド0が0~93.75Hzをカバーする場合、サンプリング周波数750Hzは、生成される高調波のエイリアシングを回避するのに十分であり得る。同様に、サブバンド2が93.75~187.5Hzをカバーする場合、サンプリング周波数750Hzは、生成された高調波のエイリアシングを回避するために十分であり得る。しかし、サブバンド4が187.5~281.25Hzをカバーする場合、高調波が元の信号のナイキスト周波数(サンプリング周波数750Hz)に近づいているため、サブバンド4、6などではアップサンプリングが推奨される。信号222は複素変換領域信号である。信号222は、高調波周波数の付加により、高調波発生器204への入力の帯域幅よりも大きな帯域幅を有する。例えば、アップサンプリングされた信号220が93.75Hzの帯域幅を有するとき、信号222は300Hzを超える帯域幅を有し得る。
【0051】
高調波発生器204は、高調波を発生させるために非線形処理を使用する。一般に、非線形処理は、信号の異なる成分に異なるゲインを適用する。非線形処理の例は、
図3、4、5および8を参照して以下にさらに詳述するように、乗算、フィードバック遅延ループ、整流などを含む。
【0052】
また、高調波発生器204は、信号222を生成する際に、ラウドネス拡張を行ってもよい。一定のラウドネス範囲(単位ホン)での音圧レベルは、低音/中音域(例えば、800Hz未満)では周波数とともに高くなっているため、高調波発生器204は、信号222を生成する際にダイナミクスの伸長を行う。ラウドネス拡張処理の例としては、動的圧縮やラウドネス補正などがある。ラウドネス拡張の更なる詳細については、後述の
図6を参照して説明する。
【0053】
ダイナミクスプロセッサ206は、信号222を受け取り、ダイナミクス処理を行い、信号224を生成する。信号224は複素変換領域信号である。一般に、ダイナミクスプロセッサ206は、信号224の過渡対トーン比(transient to tonal ratio)を制御するために、信号222に圧縮を行うことによってダイナミクス処理を実施する。ダイナミクスプロセッサ206は、リリース時間よりも相対的に長い(例えば、4倍から12倍の間、例えば8倍長い)アタック時間を実装してもよい。例えば、アタック時間は、140msから180msの間(例えば、160ms)であってもよく、リリース時間は、15msから25msの間(例えば、20ms)であってもよい。ダイナミクスプロセッサ206は、フィードフォワードトポロジーを用いて、非結合型スムースピーク検出を実装してもよい。ダイナミクスプロセッサ206は、高調波発生器(
図3、4および5を参照してより詳細に説明)によって行われる圧縮と同様の圧縮を実装してもよい。
【0054】
ダイナミクスプロセッサ206はオプションである。ダイナミクスプロセッサ206が省略された場合、変換器208は、信号224の代わりに信号222を受け取る。
【0055】
変換器208は、信号224(ダイナミクスプロセッサ206が省略された場合は信号222)を受け取り、信号224から虚部を落として、信号228を生成する。一般に、虚部を落とすと、複素数値信号の代わりに実数値の信号を処理することにより、後続の解析フィルタバンク(例えば、フィルタ212)の計算複雑性が低下する。上述したように、信号224は、複素数値、例えば、実数値および虚数値の両方を有する複素変換領域信号である。変換器208は、複素数値信号の実部を取ることによって、信号224の虚部を落としてもよい。信号228は、実数値の変換領域信号である。
【0056】
変換器208はオプションであり、低音強調システム200のいくつかの実施形態では省略することができる。アップサンプラ202が省略される場合は、後続の構成要素によって使用されるために虚部が信号処理経路に残るように、変換器208も省略されるべきである。
【0057】
フィルタ212は、信号228(または変換器208が省略された場合は信号224、ダイナミクスプロセッサ206および変換器208が省略された場合は信号222)を受け取り、入力のフィルタリングを実行し、信号230を生成する。信号230は複素数値の変換領域信号である。フィルタリングは、一般に、ミキサ216への入力の1つとして、信号228をサブバンドに分割する。フィルタリングの具体的な内容は、アップサンプリングが行われたか否かに依存する(アップサンプラ202を参照)。
【0058】
アップサンプラ202が存在しない場合、フィルタ212は、入力信号(例えば、信号228)を8チャンネルナイキストフィルタバンクに供給して、ハイブリッドサブバンド0~7を有する信号230を生成することによって実装され得る。
【0059】
アップサンプラ202が存在する場合、フィルタ212は、CQMF解析フィルタバンクおよび2つ以上のナイキストフィルタによって実装されてもよい。入力信号の実部(例えば、信号228)は、CQMF解析フィルタバンクに供給される。CQMF解析フィルタバンクは、サンプリング周波数750Hzのサブバンド信号を有する信号230を生成するための適切な数のチャンネルを有する。そして、その適切なチャンネル数は、実行されるアップサンプリングに依存する。例えば、4×アップサンプリングが実行され、したがって4チャンネルCQMF解析バンクがフィルタ212において使用される場合、3つの最も低い周波数のCQMFサブバンド信号はそれぞれ対応するナイキストフィルタに供給される(ハイブリッドサブバンド0~7を生成するもの、ハイブリッドサブバンド8~11を生成するもの、ハイブリッドサブバンド12~15を生成するもの)。別の例として、2×アップサンプリングが実行され、したがって2チャンネルCQMF解析バンクがフィルタ212で使用される場合、2つのCQMFサブバンド信号は、それぞれ対応するナイキストフィルタ(ハイブリッドサブバンド0~7を生成するもの、ハイブリッドサブバンド8~11を生成するもの)に入力される。残りのCQMFチャンネルがあれば、ミキサ216に提供される(ナイキストフィルタの遅延に対応する適切な遅延とともに)。
【0060】
フィルタ212は、信号変換システム110(
図1参照)によって使用されるフィルタと同様のフィルタで実装されてもよい。例えば、8つのチャンネルを有する第1のナイキスト解析フィルタがサブバンド0~7を生成し、4つのチャンネルを有する第2のナイキスト解析フィルタがサブバンド8~11を生成し、4つのチャンネルを有する第3のナイキスト解析フィルタがサブバンド12~15を生成してもよい。
【0061】
遅延器214は、変換されたオーディオ信号112を受け取り、遅延期間を実施し、信号232を生成する。信号232は、遅延期間に従って変換されたオーディオ信号112を遅延したものに対応する。遅延器214は、メモリ、シフトレジスタなどを用いて実装されてもよい。遅延期間は、信号処理チェーン内の他の構成要素、例えば、アップサンプラ202、高調波発生器204、ダイナミクスプロセッサ206、変換器208、フィルタ212などの処理時間に対応する。これらの他の構成要素のいくつかはオプションであるため、オプションの構成要素がより多く省略されるにつれて、遅延期間は減少する。一例として、遅延期間は961サンプルであり、そのうち577サンプルはアップサンプリングに対応し、384サンプルは残りの構成要素、例えばナイキストフィルタに対応する。別の例として、アップサンプラ202が省略される場合、遅延期間は384サンプルである。
【0062】
ミキサ216は、信号230および信号232を受け取り、混合を実行し、強調されたオーディオ信号122(
図1参照)を生成する。強調されたオーディオ信号122は、変換領域信号である。ミキサ216は、バンドごとに信号を混合する。例えば、信号230および信号232は、それぞれ77個のハイブリッドバンド(例えば、8+4+4+61個のHCQMFバンド)を有してよく、ミキサ216は、信号230のサブバンド0を信号232のサブバンド0と混合し、信号230のサブバンド1を信号232のサブバンド1と混合するといった具合である。なお、ミキサ216は、全てのバンドを混合する必要はなく、強調されたオーディオ信号122を生成する際に、信号232のバンドのうち1つまたはそれ以上を通過させてもよい。例えば、信号232の最も高い周波数帯域(例えば、ハイブリッドバンド16~77のうち1つまたはそれ以上)を混合することなく通過させてもよい。
【0063】
低音強調システム200の更なる詳細が以下に提供される。まず、
図3~5を参照しながら、高調波発生器204の様々なオプションについて説明する。
【0064】
図3は、高調波発生器300のブロック図である。高調波発生器300は、高調波発生器204(
図2参照)として使用することができる。一般に、高調波発生器300は、入力信号と先行する高調波との乗算(例えば、ダイレクト信号乗算を用いる)により、連続する高調波の各々を発生させる。
【0065】
高調波発生器300は、1つ以上の乗算器302(2つを図示:302aおよび302b)、2つ以上のゲイン段304(3つを図示:304a、304bおよび304c)、2つ以上のコンプレッサ306(3つを図示:306a、306bおよび306c)および2つ以上の加算器308(3つを図示:308a、308bおよび308c)を含んでいる。一般に、高調波発生器300における構成要素の各列は、生成される高調波の1つに対応するので、列の数(および対応する構成要素の数)は、所望の数の高調波を実装するように調節され得る。第1の処理列は、ゲイン段304a、コンプレッサ306a、および加算器308aを含む。第2の処理列は、乗算器302a、ゲイン段304b、コンプレッサ306b、および加算器308bを含む。第3の処理列は、乗算器302b、ゲイン段304c、コンプレッサ306c、および加算器308cを含む。追加的な列を加えることによって追加的な高調波を生成してもよく、それぞれの新しい列は、図に示すものと同様の方法で前の列に接続される。
【0066】
高調波発生器300は、「x」とも表記される入力信号320を受け取る。入力信号320は、アップサンプラ202が存在する場合にはアップサンプリングされた信号220(
図2参照)に対応し、アップサンプラ202が存在しない場合には変換されたオーディオ信号112に対応する。入力信号320は複素変換領域信号である。例えば、入力信号320は、HCQMFバンド(例えば、ハイブリッドサブバンド0、ハイブリッドサブバンド2、ハイブリッドサブバンド4、ハイブリッドサブバンド6など)に対応し得る。高調波発生器300は、信号222を生成する(
図2参照)。
【0067】
まず乗算器302を説明する。乗算器302aは、入力信号320を受け取り、入力信号320と自身との乗算を行い、信号322a(「x2」とも表記される)を生成する。乗算器302bは、入力信号320および信号322aを受け取り、入力信号320と信号322aとの乗算を行い、信号322b(「x3」とも表記される)を生成する。なお、ある乗算器の出力は、後続の処理列の乗算器への入力として提供される。信号322aは乗算器302bに供給され、信号322bは後続の列(点線で示す)の乗算器に供給される、といった具合である。
【0068】
次にゲイン段304を説明する。ゲイン段304aは、入力信号320を受け取り、ゲインg1を適用し、信号324aを発生させる。ゲイン段304bは、信号322aを受け取り、ゲインg2を適用し、信号324bを発生させる。ゲイン段304cは、信号322bを受け取り、ゲインg3を適用し、信号324cを生成する。ゲインg1、g2、g3などは、一般に、高調波発生器300を実装する特定の装置ごとにチューニングとして、所望の値に調節され得る。一般に、ゲインg1は、他のゲインよりもはるかに小さくてもよい(例えば、他のゲインの50%未満)。ゲインg1を小さな値に設定すると、元の低音高調波に対応するいわゆるダイレクト信号が減少する。ダイレクト信号は、ダイレクト信号の周波数範囲内の任意の信号を再生するのに物理的に不十分な小型スピーカにおいては望ましくない。必要であれば、ゲインg1をゼロに設定して、ダイレクト信号を除去することができる。
【0069】
次にコンプレッサ306を説明する。コンプレッサ306aは、信号324aを受け取り、動的圧縮を実行し、信号326aを生成する。コンプレッサ306bは、信号324bを受け取り、動的圧縮を実行し、信号326bを生成する。コンプレッサ306cは、信号324cを受け取り、動的圧縮を実行し、信号326cを生成する。動的圧縮は、一般に、方程式yrに対応する。ここでyは入力信号(例えば、信号324a)に対応し、rは圧縮比であり、rは1より小さい。圧縮比rは、各高調波(例えば、各列)に対して異なってもよい。例えば、コンプレッサ306aの圧縮比r1は、コンプレッサ306bの圧縮比r2と異なってもよく、コンプレッサ306cの圧縮比r3と異なってもよい、といった具合である。圧縮比は、高調波発生器300を実装する装置の特定の物理的特性に基づいて、チューニングパラメータとして調節され得る。コンプレッサ306の更なる詳細は、ラウドネス拡張に関する考察において以下に提供される。
【0070】
次に加算器308を説明する。加算器308cは、信号326c(および任意の追加的な列の加算器からの任意の出力信号)を受け取り、加算を実行し、信号328bを生成する。加算器308bは、信号326bと信号328bを受け取り、加算を行い、信号328aを生成する。加算器308aは、信号326aおよび信号328aを受け取り、加算を行い、信号222(
図2参照)を生成する。ある加算器への入力の1つは、後続の処理列の加算器によって提供されることに留意されたい。加算器308cは後続の処理列の加算器の出力を受け取り(点線で示す)、加算器308bは加算器308cの出力を受け取り、加算器308aは加算器308bの出力を受け取る、といった具合である。
【0071】
高調波発生器300は、複素数値信号、例えば、負の周波数からの寄与が非常に低い信号を処理している。したがって、複素数値信号をそれ自体で乗算することによって高調波を生成する場合、入力信号が実数値の場合よりもはるかにきれいな出力が得られ、例えば、相互変調歪みがより少なくなる。複素数値の場合、複数の周波数からなる入力信号に対して、実数値処理の場合のように周波数の差による項を生成せず、目的の項と周波数の和による項のみを生成する。差の項は、通常、低周波であるが、総和の項よりも知覚的に不快である。入力信号に一連の高調波が含まれる場合など、総和の項が望ましい場合もある。
【0072】
図4は、高調波発生器400のブロック図である。高調波発生器400は、高調波発生器204(
図2参照)として使用することができる。一般に、高調波発生器400は、入力信号にフィードバック遅延ループを適用することによって高調波を発生させる。高調波発生器400は、乗算器402、ゲイン段404、加算段406、コンプレッサ408、遅延段410、ゲイン段412、およびゲイン段414を含む。
【0073】
高調波発生器400は、入力信号420を受け取る。入力信号420は、アップサンプラ202が存在する場合にはアップサンプリングされた信号220(
図2参照)に対応し、アップサンプラ202が存在しない場合には変換されたオーディオ信号112に対応する。入力信号420は複素変換領域信号である。例えば、入力信号420は、HCQMFバンド(例えば、ハイブリッドサブバンド0、ハイブリッドサブバンド2、ハイブリッドサブバンド4、ハイブリッドサブバンド6など)に対応し得る。高調波発生器400は、信号222を生成する(
図2参照)。
【0074】
乗算器402は、入力信号420を受け取り、入力信号420を信号432と乗算し、信号422を生成する。信号432は、フィードバック信号432とも呼ばれることがあり、ゲイン段412を参照して以下でより詳細に説明される。
【0075】
ゲイン段404は、入力信号420を受け取り、ゲインaを適用し、信号424を生成する。ゲインaは、ブレンドゲインとも呼ばれ得る。ゲインaの値は、高調波発生器400を実装する装置の特定の物理的特性に基づいて、チューニングパラメータとして調節され得る。
【0076】
加算段406は、信号422と信号424を受け取り、加算を行い、信号426を生成する。ゲイン段404および加算段406の組み合わせは、信号422に加えられたときはフィードバックループを開始させるのに役立ち(例えば、信号432が最初ゼロのとき)、それ以外ではフィードバックループを生かすのに役立つ。
【0077】
コンプレッサ408は、信号426を受け取り、動的圧縮を行い、信号428を生成する。動的圧縮は、一般に、方程式yrに対応する。ここでyは入力信号(例えば、信号426)に対応し、rは圧縮比であり、rは1より小さい。圧縮比は、高調波発生器400を実装する装置の特定の物理的特性に基づいて、チューニングパラメータとして調節され得る。コンプレッサ408の更なる詳細は、ラウドネス拡張に関する考察において以下に提供される。
【0078】
遅延段410は、信号428を受け取り、遅延動作を実行し、信号430を生成する。遅延段410は、メモリを用いて実装され得る。
【0079】
ゲイン段412は、信号430を受け取り、ゲインgを適用し、信号432を生成する。ゲインgは、フィードバックゲインとも呼ばれることがある。乗算器402に関して上述したように、信号432は、入力信号420と乗算され、理論的に不定な次数の高調波を生成する。
【0080】
ゲイン段414は、信号428を受け取り、ゲインhを適用し、信号222を生成する(
図2参照)。ゲインhは、出力ゲインとも呼ばれることがある。ゲインhの値は、高調波発生器400を実装する装置の特定の物理的特性に基づいて、チューニングパラメータとして調節され得る。
【0081】
高調波発生器300と同様に、高調波発生器400は、元の低音高調波に対応するダイレクト信号を生成する。ダイレクト信号は、ゲインaおよび圧縮比rの値を調節することによって、所望に低減され得る。
【0082】
高調波発生器300と同様に、高調波発生器400は複素数値信号を処理しており、複素数値信号をそれ自体で乗算することによって高調波を生成する場合、入力信号が実数値の場合よりもはるかにきれいな出力が得られる。
【0083】
図5は、高調波発生器500のブロック図である。高調波発生器500は、高調波発生器204(
図2参照)として使用することができる。高調波発生器500は、高調波発生器400(
図4参照)と同様であるが、ブレンドゲイン信号がコンプレッサの後に追加される。高調波発生器500は、乗算器502、コンプレッサ504、ゲイン段506、加算段508、遅延段510、ゲイン段512、およびゲイン段514を含む。
【0084】
高調波発生器500は、入力信号520を受け取る。入力信号520は、アップサンプラ202が存在する場合にはアップサンプリングされた信号220(
図2参照)に対応し、アップサンプラ202が存在しない場合には変換されたオーディオ信号112に対応する。入力信号520は複素変換領域信号である。例えば、入力信号520は、HCQMFバンド(例えば、ハイブリッドサブバンド0、ハイブリッドサブバンド2、ハイブリッドサブバンド4、ハイブリッドサブバンド6など)に対応し得る。高調波発生器500は、信号222を生成する(
図2参照)。
【0085】
乗算器502は、入力信号520を受け取り、入力信号520を信号532と乗算し、信号522を生成する。信号532は、フィードバック信号532とも呼ばれることがあり、ゲイン段512を参照して以下でより詳細に説明される。
【0086】
コンプレッサ504は、信号522を受け取り、動的圧縮を行い、信号524を生成する。動的圧縮は、一般に、方程式yrに対応する。ここでyは入力信号(例えば、信号522)に対応し、rは圧縮比であり、rは1より小さい。圧縮比は、高調波発生器500を実装する装置の特定の物理的特性に基づいて、チューニングパラメータとして調節され得る。コンプレッサ504の更なる詳細は、ラウドネス拡張に関する考察において以下に提供される。
【0087】
ゲイン段506は、入力信号520を受け取り、ゲインaを適用し、信号526を生成する。ゲインaは、ブレンドゲインとも呼ばれることがある。ゲインaの値は、高調波発生器500を実装する装置の特定の物理的特性に基づいて、チューニングパラメータとして調節され得る。
【0088】
加算段508は、信号524および信号526を受け取り、加算を行い、信号528を生成する。ゲイン段506および加算段508の組み合わせは、信号524に加えられたときはフィードバックループを開始させるのに役立ち(例えば、信号532が最初ゼロのとき)、それ以外ではフィードバックループを生かすのに役立つ。
【0089】
遅延段510は、信号528を受け取り、遅延動作を実行し、信号530を生成する。遅延段510は、メモリを用いて実装され得る。
【0090】
ゲイン段512は、信号530を受け取り、ゲインgを適用し、信号532を生成する。ゲインgは、フィードバックゲインとも呼ばれることがある。乗算器502に関して上述したように、信号532は、入力信号520と乗算され、理論的に不定な次数の高調波を生成する。
【0091】
ゲイン段514は、信号524を受け取り、ゲインhを適用し、信号222を生成する(
図2参照)。ゲインhは、出力ゲインとも呼ばれることがある。ゲインhの値は、高調波発生器500を実装する装置の特定の物理的特性に基づいて、チューニングパラメータとして調節され得る。
【0092】
高調波発生器300(
図3参照)および高調波発生器400(
図4参照)と比較して、高調波発生器500は、入力信号520をループの後半で(例えば、信号526として)加えることによって、ダイレクト信号経路を回避している。このような配置では、入力信号520は、信号222を生成する一環として乗算器502(
図4の加算器406とは対照的)を通過するので、信号222にはダイレクト信号が含まれない。
【0093】
高調波発生器300および高調波発生器400と同様に、高調波発生器500は複素数値信号を処理しており、複素数値信号をそれ自体で乗算することによって高調波を生成する場合、入力信号が実数値の場合よりもはるかにきれいな出力が得られる。
【0094】
(ラウドネス拡張)
上述したように、一定のラウドネス範囲(単位ホン)の音圧レベルは、低音/中音域(例えば、800Hz未満)では周波数とともに高くなっているため、高調波発生器(例えば、
図2の高調波発生器204、
図3の高調波発生器300、
図4の高調波発生器400、
図5の高調波発生器500など)はその出力信号生成時にダイナミクスの伸長を実行する。高調波発生器は、ラウドネス拡張を行う際に、コンプレッサ(例えば、
図3のコンプレッサ306、
図4のコンプレッサ408、
図5のコンプレッサ504など)を用いてもよい。ラウドネス拡張処理の例としては、動的圧縮やラウドネス補正などがある。
【0095】
(動的圧縮)
高調波発生器は、式(1)に対応する演算を用いて、n次高調波を発生することができる。
【数1】
【0096】
式(1)において、nは高調波の次数、yは出力信号、xは入力信号である。ejnφは複素指数関数、jは虚数、そしてφは位相である。出力信号は、入力信号にそれ自体をn回乗算することで生成される。したがって、nを大きくすると、生成される高調波の次数が大きくなる。(式(1)の右辺は、信号が自分自身と掛け合わされたとき、動的伸長が最終的に動的圧縮になる理由の説明として、後述する。
【0097】
図6は、等ラウドネス曲線を示すグラフ600である。グラフ600において、x軸は周波数をHz単位で表し、y軸は音圧レベル(SPL)をdB単位で表す。グラフ600は、6つのプロット602a、602b、602c、602d、602e、602f(総称して、プロット602)を含む。プロット602の各々は、知覚された音の大きさの対数測定値であるホンのラウドネスレベルに対応する。プロット602の各々は、等ラウドネス曲線と呼ばれることもある。プロット602aは知覚閾値に対応し、プロット602bは20ホンに対応し、プロット602cは40ホンに対応し、プロット602dは60ホンに対応し、プロット602eは80ホンに対応し、プロット602fは100ホンに対応する。
【0098】
式(1)で記述される演算によって高調波を生成する場合、ダイナミクスはnの比率で伸長される。この情報が与えられるとき、等ラウドネスプロット602は、式(2)の関係を示唆する。
【数2】
【0099】
式(2)において、項κ(f,n)は基本周波数fと高調波nの次数に関係する残差伸長比である。残差伸長比κ(f,n)は、基本周波数fと高調波nの次数に応じて、典型的には1.1~1.4の範囲にある。高調波を式(1)に従って生成する場合、所望の伸長比κ(f,n)は、高調波発生器からの出力を係数κ(f,n)/nで圧縮することによって達成され得る。(余談だが、一般に伸長と圧縮は同義語として使われることがあり、比率が1より小さい場合は圧縮、1より大きい場合は伸長と呼ばれる。したがって、係数κ(f,n)/nを分母nのため「圧縮」と呼ぶことがある。
【0100】
グラフ600において、線610および612は、ラウドネス拡張の一例を示している。線610は、基本周波数50Hzに対して、20~80ホンのラウドネス範囲を示している。線612は、同じラウドネス範囲を有する400Hzの、50Hzの第4次高調波を発生させることに相当する。610から612への矢印614は、第4次高調波を生成することを示す。基本周波数(線610)の動的SPL範囲は、20~80ホンのラウドネス範囲内で約38dBであり、第4次高調波(線612)の動的SPL範囲は、同じラウドネス範囲について約50dBである。したがって、80ホンの50Hzの基本波から第4次高調波を生成する場合、高調波を約20dB減衰させる必要がある。基本波が20ホンのラウドネスを持つ場合、高調波はほぼ40dB減衰する必要があり、必要な減衰が約20dB増加する。
【0101】
ラウドネス拡張とも呼ばれるSPL対ホン伸長比は、式(3)に従って近似することができる。
【数3】
【0102】
式(3)において、R(f)はSPL対ホン伸長比であり、周波数fと逆相関を持つ。
【0103】
残差伸長比κ(f,n)は、式(4)で与えられる。
【数4】
【0104】
式(4)において、残差伸長比κ(f,n)は、基本周波数fのSPL対ホン伸長比と高調波n・fのSPL対ホン伸長比との比に相当する。これは、n(高調波次数)の自然対数とf(基本周波数)の自然対数の比に相当する。つまり、残差伸長比κ(f,n)は、f(単位:Hz)の基本周波数からn次の高調波を発生させるときに必要な係数を決定する。式(3)および(4)は、20~80ホンかつ20から1000Hzの範囲において、
図6の等ラウドネス曲線とよく一致する。高調波発生器400(
図4参照)または高調波発生器500(
図5参照)を使用する場合、一定の比率を有する1つの簡易なコンプレッサ(例えば、コンプレッサ408またはコンプレッサ504として)を使用して、必要な動的圧縮を十分な精度で実行することが可能である。
【0105】
コンプレッサは、サンプルごとの正規化による歪みを回避するために、一次平均化フィルタを用いて動的圧縮を適用してもよい。一次平均化フィルタは、式(5)に従って計算され得る、制御信号sを処理してもよい。
【数5】
【0106】
式(5)において、mはサンプル番号、cは圧縮ゲインであり、αは、前のサンプルの制御信号の値と、現在のサンプルの圧縮ゲインの値との間の重みである。この重みαは指数平滑化係数とも呼ばれ、1次ローパス系における極に相当する。
【0107】
重みαは、式(6)を用いて計算され得る。
【数6】
【0108】
式(6)において、fsはサンプリング周波数であり、τは時定数である。
【0109】
圧縮ゲインcは、式(7)を用いて計算され得る。
【数7】
【0110】
式(7)において、aおよびbは、入力信号xのサンプルmの大きさのオーダー毎に適用される多項式係数である。圧縮ゲインc(または式(5)を平滑化したものs)を信号xにc・x(またはs・x)として適用することは、
(これは、信号xの絶対値に圧縮比rを掛け、信号xの符号関数を乗じたものである)の有理近似に相当する。
【0111】
図7は、様々な圧縮ゲインcを示すグラフ700である。グラフ700において、x軸はdB単位の(入力信号xの)入力パワーであり、y軸はdB単位の圧縮ゲインcである。様々な曲線が示されており、各曲線は圧縮比rの値に対応している。具体的には、0.5から1.0の範囲におけるrの9つの値が示されている。0.5、0.6、0.65、0.7、0.73、0.77、0.8、0.9および1.0であり、各値はグラフ700の曲線の1つに対応している(例えば、0.5のrの値は、一番上の曲線に対応している)。
図7の示されたゲインは厳密なものではなく、単に一般的な概念の例示に過ぎないことに留意されたい。また、グラフ700から注目すべきは、ゲインが低入力パワーに対して制限され、比率b(0)/a(0)によって与えられることであるこれは、信号の静かな期間の後の過渡的なオンセットのような状況において、過剰なゲインが適用されることを防止する。(その代わりに、このゲインは式(6)の時定数と組み合わせて、例えばパーカッシブなオンセットの間にコンプレッサを通過するエネルギーを増やすことにより、低音信号の「パンチ力」の知覚に寄与する)。
【0112】
(ラウドネス補正)
ラウドネス拡張を達成するための代替的なアプローチは、高調波発生の前に、最初の段階で入力信号の正規化を適用し、その後、ゲイン調節段を適用することである。これは、ラウドネス補正と呼ばれる。
【0113】
図8は、高調波発生器800のブロック図である。高調波発生器800は、一般に、入力信号の正規化を用いてラウドネス補正を行う。振幅正規化は、理論的には、式(1)に従って生成される場合の高調波の動的伸長を回避する(比nによって、ここでn≧2)である。
【0114】
高調波発生器800は、2つ以上の正規化段802(2つを図示:802aおよび802b)、2つ以上の乗算器804(2つを図示:804aおよび804b)、2つ以上のラウドネス補正段806(2つを図示:806aおよび806b)、2つ以上の加算器808(2つを図示:808aおよび808b)、および加算器810を含んでいる。一般に、高調波発生器800の構成要素の各列は、生成された高調波の1つに対応するので、列の数(および対応する構成要素の数)は、高調波の所望の数を実装するように調節され得る。第1の処理列は、正規化段802a、乗算器804a、ラウドネス補正段806a、および加算器808aを含む。第2の処理列は、正規化段802b、乗算器804b、ラウドネス補正段806b、および加算器808bを含む。追加的な列を加えることによって追加的な高調波を生成してもよく、それぞれの新しい列は、図に示すのと同様の方法で前の列に接続される。
【0115】
高調波発生器800は、入力信号820を受け取る。入力信号820は、アップサンプラ202が存在する場合にはアップサンプリングされた信号220(
図2参照)に対応し、アップサンプラ202が存在しない場合には変換されたオーディオ信号112に対応する。入力信号820は複素変換領域信号である。例えば、入力信号820は、HCQMFバンド(例えば、ハイブリッドサブバンド0、ハイブリッドサブバンド2、ハイブリッドサブバンド4、ハイブリッドサブバンド6など)に対応し得る。高調波発生器800は、信号222を生成する(
図2参照)。
【0116】
まず正規化段802を説明する。正規化段802aは、入力信号820を受け取り、正規化を実行し、信号822aを生成する。正規化段802bは、入力信号820を受け取り、正規化を実行し、信号822bを生成する。式(5)と同様に、正規化段802の各々は、サンプル毎の正規化によって引き起こされる歪みを回避するために、1次平滑化フィルタを用いて正規化を実行してもよい。正規化段802は、式(8)で記述される方法で正規化を実行してもよい。
【数8】
【0117】
式(8)において、
は、入力信号xを正規化したものの現在のサンプルmである。
は入力信号を正規化したものの前のサンプルである。αは平滑化係数であり、
は式(9)で与えられる。
【数9】
【0118】
式(9)において、
は、入力信号の現在のサンプルの複素数値と、入力信号の現在のサンプルの大きさ(絶対値ともいう)との間の比率に対応する。平滑化係数αは、所望の平滑化時間を制御するために任意に調節することができ、入力信号のダイナミクスに依存する。より小さいαは、信号のクリッピングを避けるため、静止または減少するエネルギー条件よりも、アタックイベント(例えば、信号エネルギーが急速に増加しているとき)のときに適用される。
【0119】
代替的に、高調波発生器は、単一の正規化段(例えば、802a)を使用し、出力信号(例えば、822a)は、乗算器804の各々への入力として提供されてもよい。
【0120】
次に乗算器804を説明する。乗算器804aは、入力信号820および信号822aを受け取り、これらの信号を乗算し、信号824aを生成する。乗算器804bは、信号822bおよび信号824aを受け取り、これらの信号を乗算し、信号824bを生成する。信号824aは第2次高調波に対応し、信号824bは第3次高調波に対応する、といった具合である。なお、ある乗算器の出力は、後続の処理列の乗算器への入力として提供される。信号824aは乗算器804bに供給され、信号824bは後続の列(点線で示す)の乗算器に供給される、といった具合である。
【0121】
次にラウドネス補正段806を説明する。ラウドネス補正段806aは、信号824aを受け取り、ラウドネス補正を実行し、信号826aを生成する。ラウドネス補正段806bは、信号824bを受け取り、ラウドネス補正を実行し、信号826bを生成する。一般に、ラウドネス補正段806は、基本波と比較してラウドネスを維持するために、
図6の等ラウドネス曲線に沿って、発生した高調波の正規化エネルギーの動的伸長および減衰を適用する。ラウドネスを調節するために、補正係数kが定義され、ここでkは、高調波の次数n、基本波の平滑化された大きさ
(式(8)参照)およびハイブリッドバンドインデックスbの関数である。この補正係数kは、式(10)に従って適用される。
【数10】
【0122】
式(10)において、各高調波についてそれぞれ、
はラウドネス補正された高調波であり、
は正規化された高調波である。
【0123】
上述したように、低音強調処理は、1つ以上のハイブリッドバンド(例えば、サブバンド0、2、4、6、7、9などのうち1つまたはそれ以上)に対して実行することができる。全バンドにおいて、いくつかの高調波、たとえば、第2次、第3次、および第4次が生成される。中心周波数を各バンドの基本周波数に近似させると、高調波の次数nという1つのパラメータを用いてSPL対ホンの関係を計算することができる。例として、一番目のハイブリッドバンド(例えばサブバンド0)の中心周波数は46.875Hz(例えば、約47Hz)であり、
図6のELC曲線からの対応値を表1に挙げる。
【表1】
【0124】
表1において、括弧内の値は、基本波と比較したSPL差である。高調波とその基本波とのSPL差を表す関数は、式(11)に従って算出することができる。
【数11】
【0125】
式(11)において、K
b,nはdB単位のゲイン値である。A
bは最小減衰値、Xは対数スケールによる平滑化された入力基本エネルギーであり、β
b,nは高調波次数nに依存する、入力エネルギーのスケーリングパラメータである。β
b,nは式(12)に従って計算することができる。
【数12】
【0126】
線形スケールでの補正係数は、式(13)に従って算出することができる。
【数13】
【0127】
式(12)および式(13)において、A
b、ε
bおよびη
bは、すべてハイブリッドバンドに基づく定数であり、
図6のELC曲線へ最適に適合するように推定され得る。表2に記載されたパラメータは、最初の6つのハイブリッドバンドに対して適切な精度をもたらす。結果として生じるラウドネス補正係数は、
図9に可視化される。バンド6、7および9については、生成された高調波が700~2000Hzの周波数範囲にあり、ここでELC曲線は平坦であると仮定される。ラウドネス補正段806は、計算複雑性を節約するために、区分線形近似を用いてラウドネス補正係数を計算してもよい。
【表2】
【0128】
図9A、9B、9C、9D、9Eおよび9Fは、一組のグラフ900a~900fを示す。各グラフにおいて、x軸はラウドネス補正段への正規化された高調波信号(例えば、ラウドネス補正段806aに入力される信号824aなど)の大きさであり、y軸は補正係数kである。グラフ900aはハイブリッドバンド0、グラフ900bはハイブリッドバンド2、グラフ900cはハイブリッドバンド4、グラフ900dはハイブリッドバンド6、グラフ900eはハイブリッドバンド7、およびグラフ900fはハイブリッドバンド9に対応する。各グラフには、3つの高調波(第2次、第3次、および第4次)の線が示されているが、グラフ900d、900e、900fでは、ハイブリッドバンド数の増加に伴い線が収束しているため、線が重なり合っていることがわかる。一般に、線は、表2に示したハイブリッドバンドに基づく定数を使用した場合の最初の6つのハイブリッドバンドに対するラウドネス補正係数kを示す。
【0129】
図8を再び参照し、加算器808を説明する。加算器808bは、信号826b(および点線で示す後続の処理列から受け取った任意の信号)を受け取り、加算を実行し、信号828bを生成する。加算器808bは、信号826aおよび信号828bを受け取り、加算を行い、信号828aを生成する。ある加算器への入力の1つは、後続の処理列の加算器によって提供されることに留意されたい。加算器808bは後続の処理列の加算器の出力を受け取り(点線で示す)、加算器808aは加算器808bの出力を受け取る、といった具合である。
【0130】
加算器810は、入力信号820および信号828aを受け取り、加算を行い、信号222を生成する(
図2参照)。
【0131】
(マルチハイブリッドバンド処理)
低音強調システム200(
図2参照)についての説明は、単一のハイブリッドバンドの処理に焦点を当てたが、同様の処理を複数のハイブリッドバンドで行ってもよい。例えば、低音強調システム120(
図1参照)は、4つのハイブリッドバンド(例えば、サブバンド0、2、4および6)、6つのハイブリッドバンド(例えば、サブバンド0、2、4、6、7および9)などに対して実行されてもよい。全バンドにおいて複数の高調波(例えば第2次、第3次、および第4次など)が発生される。
【0132】
図10は、低音強調システム1000のブロック図である。低音強調システム1000は、低音強調システム120(
図1参照)として使用することができる。低音強調システム1000は、低音強調システム200(
図2参照)と同様であり、同様の構成要素は同様の名称および参照番号を有しているが、さらに明示的な複数の処理経路が追加されている。各処理経路は、ハイブリッドサブバンド信号の処理に対応する。具体例として、4つの処理経路が示されている(例えば、ハイブリッドサブバンド0、2、4および6を処理するために)。処理経路の数は、所望に応じて増加または減少させてもよい。例えば、ハイブリッドサブバンド0、2、4、6、7および9を処理するために、6つの処理経路が使用されてもよい。
【0133】
低音強調システム1000は、変換されたオーディオ信号112(
図1参照)を受け取る。上述したように、変換されたオーディオ信号112は、ハイブリッドバンドを有するハイブリッド複素変換領域信号である。変換されたオーディオ信号112のハイブリッドバンドの4つが、低音強調システム1000への入力として示されている。すなわち、サブバンド0(1002aと表示)、サブバンド2(1002b)、サブバンド4(1002c)およびサブバンド6(1002d)である。各サブバンドは、処理経路のうちの1つに対応する。低音強調システム1000は、アップサンプラ1010(4つを図示:1010a、1010b、1010cおよび1010d)、高調波発生器1012(4つを図示:1012a、1012b、1012cおよび1012d)、加算器1014、ダイナミクスプロセッサ1016(オプション)、変換器1018(オプション)、フィルタ1022、遅延器1024、およびミキサ1026を含んでいる。
【0134】
アップサンプラ1010aは、信号1002aを受け取り、アップサンプリングを実行し、アップサンプリングされた信号1030aを生成する。アップサンプラ1010bは、信号1002bを受け取り、アップサンプリングを実行し、アップサンプリングされた信号1030bを生成する。アップサンプラ1010cは、信号1002cを受け取り、アップサンプリングを実行し、アップサンプリングされた信号1030cを生成する。アップサンプラ1010dは、信号1002dを受け取り、アップサンプリングを実行し、アップサンプリングされた信号1030dを生成する。信号1030a、1030b、1030cおよび1030dは、複素変換領域信号である。アップサンプラ群1010は、それ以外は、アップサンプラ202(
図2参照)に関して上述したものと同様である。
【0135】
高調波発生器1012aは、アップサンプリングされた信号1030aを受け取り、その高調波を発生させて信号1032aをもたらす。高調波発生器1012bは、アップサンプリングされた信号1030bを受け取り、その高調波を発生させて信号1032bをもたらす。高調波発生器1012cは、アップサンプリングされた信号1030cを受け取り、その高調波を発生させて信号1032cをもたらす。高調波発生器1012dは、アップサンプリングされた信号1030dを受け取り、その高調波を発生させて信号1032dをもたらす。信号1032a、1032b、1032cおよび1032dは、複素変換領域信号である。高調波発生器群1012は、その他の点では、高調波発生器204(
図2参照)と同様である。例えば、高調波発生器1012のうち1つまたはそれ以上は、高調波発生器300(
図3参照)、高調波発生器400(
図4参照)、高調波発生器500(
図5参照)、高調波発生器800(
図8参照)などを用いて実施されてもよい。
【0136】
加算器1014は、信号1032a、1032b、1032c、1032dを受け取り、加算を行い、信号1034を生成する。信号1034は複素変換領域信号である。
【0137】
ダイナミクスプロセッサ1016は、信号1034を受け取り、ダイナミクス処理を実行し、信号1036を生成する。信号1036は複素変換領域信号である。ダイナミクスプロセッサ1016は、それ以外は、ダイナミクスプロセッサ206(
図2参照)と同様である。ダイナミクスプロセッサ1016は、オプションである。ダイナミクスプロセッサ1016が省略された場合、変換器1018は、信号1036の代わりに信号1034を受け取る。
【0138】
変換器1018は、信号1036(ダイナミクスプロセッサ1016が省略された場合は信号1034)を受け取り、信号1036から虚部を落とし、信号1040を生成する。信号1040は、変換領域信号である。変換器1018は、オプションであることを含め、その他は、変換器208(
図2参照)と同様である。
【0139】
フィルタ1022は、信号1040(変換器1018が省略された場合は信号1036、あるいはダイナミクスプロセッサ1016および変換器1018が省略された場合は信号1034)を受け取り、フィルタリングを実行し、信号1042を生成する。信号1042は、変換領域信号である。フィルタ1022は、それ以外は、フィルタ212(
図2参照)と同様である。
【0140】
遅延器1024は、信号1042を受け取り、遅延期間を実施し、信号1044を生成する。信号1044は、遅延期間に従って変換されたオーディオ信号112を遅延したものに対応する。遅延器1024は、メモリ、シフトレジスタなどを用いて実装され得る。遅延期間は、信号処理チェーン内の他の構成要素の処理時間に対応し、これらの他の構成要素の一部はオプションであるため、オプションの構成要素が省略されると、遅延期間は減少する。遅延時間1024は、それ以外は、遅延時間214(
図2参照)と同様である。
【0141】
ミキサ1026は、信号1042および信号1044を受け取り、混合を実行し、強調されたオーディオ信号122(
図1参照)を生成する。ミキサ1026は、それ以外は、ミキサ216(
図2参照)と同様である。
【0142】
図11は、一実施形態による、本明細書に説明した特徴および処理を実施するためのモバイルデバイスアーキテクチャ1100である。アーキテクチャ1100は、デスクトップコンピュータ、コンシューマー用オーディオ/ビジュアル(AV)機器、無線放送機器、モバイルデバイス(例えば、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルデバイス)など、任意の電子機器に実装され得るが、これらに限定されるものではない。示された実施形態例では、アーキテクチャ1100はラップトップコンピュータ用であり、プロセッサ(複数可)1101、周辺機器インタフェース1102、オーディオサブシステム1103、スピーカ1104、マイクロフォン1105、センサ1106(例えば、加速度計、ジャイロ、気圧計、磁力計、カメラ)、ロケーションプロセッサ1107(例えばGNSS受信機)、無線通信サブシステム1108(例えば、Wi-Fi、Bluetooth、セルラー)、およびI/Oサブシステム(複数可)1109(タッチコントローラ1110および他の入力コントローラ1111、タッチ表面1112および他の入力/制御デバイス1113を含む)である。開示された実施形態を実装するために、より多くのまたはより少ない構成要素を有する他のアーキテクチャを使用することもできる。
【0143】
メモリインタフェース114は、プロセッサ1101、周辺機器インタフェース1102、およびメモリ1115(例えば、フラッシュ、RAM、ROM)に結合される。メモリ1115は、オペレーティングシステム命令1116、通信命令1117、GUI命令1118、センサ処理命令1119、電話命令1120、電子メッセージング命令1121、ウェブブラウジング命令1122、オーディオ処理命令1123、GNSS/ナビゲーション命令1124、アプリケーション/データ1125を含むがこれらに限られない、コンピュータプログラム命令とデータを格納する。オーディオ処理命令1123は、本明細書に説明したオーディオ処理を実行するための命令を含む。
【0144】
図12は、オーディオ処理方法1200のフローチャートである。方法1200は、
図11のアーキテクチャ1100の構成要素を備えた装置(例えば、ラップトップコンピュータ、携帯電話など)が、例えば1つ以上のコンピュータプログラムを実行することによって、オーディオ処理システム100(
図1参照)、低音強調システム200(
図2参照)、低音強調システム1000(
図10参照)などの機能を実現するために実行され得る。一般に、方法1200は、複素数値のサブバンド領域(例えば、HCQMF領域)においてオーディオ信号処理を実行する。
【0145】
1202において、第1の変換領域信号が受け取られる。第1の変換領域信号は、多数のバンドを有するハイブリッド複素変換領域信号である。バンドのうちの少なくとも1つは、多数のサブバンドを有する。第1の変換領域信号は、第1の複数の高調波群を有する。例えば、低音強調システム200(
図2参照)は、変換されたオーディオ信号112を受け取ってもよい。第1の変換領域信号は、バンド番号0~76の77個のハイブリッドバンドを有してもよく、バンド0~15は、1つまたはいくつかのより大きなバンドを分割することから生じるサブバンドである。第1の変換領域信号は、CQMF領域信号であってもよい。第1の変換領域信号は、CQMF領域信号のチャンネルのサブセットをサブバンドに分割して(例えば、ナイキストフィルタバンクを使用して)、最も低い周波数範囲に対する周波数分解能を高めることによって生成されるHCQMF信号であってもよい。
【0146】
1204において、第2の変換領域信号が、第1の変換領域信号に基づいて生成される。第2の変換領域信号は、非線形処理に従って第1の変換領域信号の高調波を生成することによって生成される。第2の変換領域信号は、第1の複数の高調波群と異なる第2の複数の高調波群を有しており、第2の変換領域信号は、虚部を有する複素数値信号である。第2の変換領域信号は、さらに、第2の複数の高調波群に対してラウドネス拡張を行うことによって生成される。例えば、高調波発生器204(
図2参照)、高調波発生器300(
図3参照)、高調波発生器400(
図4参照)、高調波発生器500(
図5参照)、高調波発生器800(
図8参照)などは、第1の変換領域信号(例えば、信号220等)に基づいて第2の変換領域信号(例えば、信号222)を生成することができる。
【0147】
1206において、第3の変換領域信号が、第2の変換領域信号をフィルタリングすることによって生成される。第3の変換領域信号は、多数のバンドを有し、バンドのうち少なくとも1つは多数のサブバンドを有する。例えば、フィルタ212(
図2参照)は、信号228(または信号226)をフィルタリングして、信号230を生成してもよい。別の例として、フィルタ1022(
図10参照)は、信号1040をフィルタリングして、信号1042を生成してもよい。第3の変換領域信号は、バンド番号0~76の77個のハイブリッドバンドを有してもよく、バンド0~15は、1つまたはいくつかのより大きなバンドを分割することから生じるサブバンドである。第3の変換領域信号は、HCQMF領域信号であってもよい。
【0148】
1208において、第4の変換領域信号が、第3の変換領域信号を第1の変換領域信号を遅延した信号と混合することによって生成される。第3の変換領域信号におけるあるサブバンドは、第1の変換領域信号を遅延した信号における対応するサブバンドと混合される。例えば、ミキサ216(
図2参照)は、信号230を遅延された信号232と混合してもよい。別の例として、ミキサ1026(
図10参照)は、信号1042を遅延された信号1044と混合してもよい。入力信号は、0~76と番号付けされた77個のハイブリッドバンドを有してもよく、一方の入力信号のあるバンド(例えば、バンド0)は、他方の入力信号の対応するバンド(例えば、バンド0)と混合される。
【0149】
方法1200は、本明細書に記載される低音強調システム200、低音強調システム1000などの他の機能に対応する追加的なステップを含んでもよい。例えば、第4の変換領域信号は、スピーカ1104(
図11参照)などのスピーカによって出力されてもよい。別の例として、変換領域信号は、1204において高調波を生成する前に(例えば、アップサンプラ202、アップサンプラ1010を使用して)アップサンプリングされてもよい。別の例として、ダイナミクス処理は、例えば、ダイナミクスプロセッサ206またはダイナミクスプロセッサ1016を使用して、変換領域信号に適用されてもよい。別の例として、高調波を生成することは、乗算を実行すること、フィードバック遅延ループを使用することなどを含んでもよい。別の例として、第2の変換領域信号は、それぞれが第1の変換領域信号のハイブリッドバンドに対応する、多数の第2の変換領域信号であってもよい。別の例として、第3の変換領域信号を生成する前に、第2の変換領域信号の虚部を落としてもよい。
【0150】
(実装の詳細)
実施形態は、ハードウェア、コンピュータ読み取り可能な媒体に格納された実行可能モジュール、または両者の組み合わせ(例えば、プログラマブルロジックアレイ)で実施されてもよい。特に指定しない限り、実施形態によって実行されるステップは、本質的に任意の特定のコンピュータまたは他の装置に関連している必要はない(特定の実施形態ではそうであってもよいが)。特に、様々な汎用機が、本明細書の教示に従って書かれたプログラムと共に使用されてもよいし、必要な方法ステップを実行するためにより特殊な装置(例えば、集積回路)を構築することがより好都合である場合もある。したがって、実施形態は、1つ以上のプログラム可能なコンピュータシステム上で実行される、1つ以上のコンピュータプログラムによって実施されてもよい。そのような各コンピュータシステムは、少なくとも1つのプロセッサ、少なくとも1つのデータ記憶システム(揮発性および不揮発性のメモリおよび/または記憶素子を含む)、少なくとも1つの入力デバイスまたはポート、および少なくとも1つの出力デバイスまたはポートを有する、プログラムコードは、入力データに適用され、本明細書に説明した機能を実行し、出力情報を生成する。出力情報は、既知の方法で、1つ以上の出力デバイスに適用される。
【0151】
このような各コンピュータプログラムは、好ましくは、汎用または専用のプログラム可能なコンピュータによって読み取り可能な記憶媒体または装置(例えば、固体メモリまたは媒体、または磁気または光学媒体)上に格納またはダウンロードされ、記憶媒体または装置がコンピュータシステムによって読み取られたときにコンピュータを構成および動作させて本明細書に記載の手順を実行させるためのものである。また、本発明のシステムは、コンピュータプログラムで構成されたコンピュータ可読記憶媒体として実施されると考えることもでき、そのように構成された記憶媒体は、コンピュータシステムを特定の予め定められた方法で動作させて、本明細書に記載の機能を実行させるものである。(ソフトウェアそれ自体および無形または一時的な信号は、それらが特許性のない主題である限り、除外される)。
【0152】
本明細書に説明したシステムの側面は、デジタルまたはデジタル化されたオーディオファイルを処理するための適切なコンピュータベースのサウンド処理ネットワーク環境において実装されてもよい。適応的オーディオシステムの一部は、コンピュータ間で伝送されるデータをバッファリングしルーティングする役割を果たす1つ以上のルータ(図示せず)を含む、任意の所望の数の個々の機器からなる1つ以上のネットワークを含んでもよい。このようなネットワークは、様々な異なるネットワークプロトコル上に構築されてもよく、インターネット、ワイドエリネットワーク(WAN)、ローカルエリアネットワーク(LAN)、またはそれらの任意の組合せであってもよい。
【0153】
構成要素、ブロック、プロセス、または他の機能構成要素の1つ以上は、本システムのプロセッサベースのコンピューティングデバイスの実行を制御するコンピュータプログラムを通じて実装されてもよい。また、本明細書に開示された様々な機能は、ハードウェア、ファームウェアの任意の数の組み合わせを使用して、および/または、それらの動作、レジスタ転送、論理構成要素、および/または他の特性の観点から、様々な機械可読媒体またはコンピュータ可読媒体において具現化されたデータおよび/または命令として記述されてよいことに注意されたい。そのようなフォーマット化されたデータおよび/または命令が具現化され得るコンピュータ可読媒体は、光学、磁気または半導体記憶媒体などの様々な形態の物理的(非一時的)な不揮発性記憶媒体を含むが、これらに限定されるものではない。
【0154】
上記の説明は、本開示の側面がどのように実施され得るかの例と共に、本開示の様々な実施形態を例示するものである。上記の例および実施形態は、唯一の実施形態であるとみなされるべきではなく、以下の請求項によって定義される本開示の柔軟性および利点を説明するために提示されるものである。上記の開示および以下の特許請求の範囲に基づいて、他の配置、実施形態、実施態様および等価物は、当業者には明らかであり、特許請求の範囲によって定義される本開示の精神および範囲から逸脱することなく採用することができる。
【手続補正書】
【提出日】2023-04-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータに実装されるオーディオ処理方法であって、
第1の変換領域信号を受け取るステップであって、前記第1の変換領域信号は、複数のバンドを有するハイブリッド複素変換領域信号であり、前記複数のバンドのうちの少なくとも1つは複数のサブバンドを有し、前記第1の変換領域信号は第1の複数の高調波群を有する、ステップと、
前記第1の変換領域信号をアップサンプリングすることにより、アップサンプリングされた第1の変換領域信号を生成するステップであって、前記アップサンプリングされた第1の変換領域信号は複素数値の時間領域信号である、ステップと、
前記アップサンプリングされた第1の変換領域信号に基づいて第2の変換領域信号を生成するステップであって、
非線形処理に従って
第2の複数の高調波群を
、前記アップサンプリングされた第1の変換領域信号に対して生成し、前記第2の変換領域信号は、前記第1の複数の高調波群とは異なる
前記第2の複数の高調波群を有することと、
前記第2の複数の高調波群に対しラウドネス拡張を行うことであって、前記第2の変換領域信号は、虚部を有する複素数値信号であることと、
による、ステップと、
前記第2の変換領域信号をフィルタリングすることによって
前記第2の変換領域信号を複数のサブバンドに分割して第3の変換領域信号を生成するステップであって、前記第3の変換領域信号は複数のバンドを有し、前記複数のバンドのうちの少なくとも1つは
前記複数のサブバンドを有する、ステップと、
前記第3の変換領域信号を前記第1の変換領域信号を遅延した信号と混合することによって第4の変換領域信号を生成するステップであって、前記第3の変換領域信号におけるあるサブバンドは、前記第1の変換領域信号を遅延した信号における対応するサブバンドと混合される、ステップと、
を含む、方法。
【請求項2】
前記第2の複数の高調波群から、前記第1の変換領域信号に比べて知覚的に強調された低音を有する第4の変換領域信号が得られる、請求項1に記載の方法。
【請求項3】
前記アップサンプリングされた
第1の変換領域信号を生成するステップは、複素直交ミラーフィルタリング合成に従って行われる、請求項
1または2に記載の方法。
【請求項4】
前記第2の変換領域信号から前記第3の変換領域信号を生成するよりも前に、前記第2の変換領域信号に対しダイナミクス処理を行うステップ
をさらに含む、請求項1から
3のいずれか1項に記載の方法。
【請求項5】
前記第1の変換領域信号の複数のバンドは、第1のバンド、第2のバンドおよび第3のバンドを有しており、前記第1のバンドは8つのサブバンドに分割され、前記第2のバンドは4つのサブバンドに分割され、前記第3のバンドは4つのサブバンドに分割されている、
請求項1から
4のいずれか1項に記載の方法。
【請求項6】
前記第1の変換領域信号は64個のバンドを有しており、第1のバンドは8つのサブバンドに分割され、第2のバンドは4つのサブバンドに分割され、第3のバンドは4つのサブバンドに分割されている、
請求項1から
5のいずれか1項に記載の方法。
【請求項7】
前記第1の変換領域信号は24kHzの帯域幅を有し、前記第1の変換領域信号は64個のバンドを有し、各バンドのパスバンド帯域幅は375Hzである、請求項1から
6のいずれか1項に記載の方法。
【請求項8】
前記非線形処理は、前記第1の変換領域信号の乗算を含む、請求項1から
7のいずれか1項に記載の方法。
【請求項9】
前記非線形処理は、前記第1の変換領域信号に適用されるフィードバック遅延ループを含む、請求項1から
8のいずれか1項に記載の方法。
【請求項10】
前記第2の変換領域信号を生成するステップは、前記第1の変換領域信号の複数のサブバンドのうち1つに基づいて前記第2の変換領域信号を生成することであって、前記複数のサブバンドのうちの前記1つは前記第1の変換領域信号の複数のサブバンドの全部よりも少ないこと
を含む、請求項1から
9のいずれか1項に記載の方法。
【請求項11】
前記第2の変換領域信号を生成するステップは、
前記第1の変換領域信号の複数のサブバンドのうち2つ以上に基づいて複数の第2の変換領域信号を生成することであって、前記複数のサブバンドのうちの前記2つ以上は前記第1の変換領域信号の複数のサブバンドの全部よりも少なく、前記複数の第2の変換領域信号のそれぞれは前記複数のサブバンドのうちの前記2つ以上に対応することと、
前記複数の第2の変換領域信号の和を取ることによって前記第2の変換領域信号を生成することと、
を含む、請求項1から
9のいずれか1項に記載の方法。
【請求項12】
スピーカにより、前記第4の変換領域信号に対応する音を出力するステップ
をさらに含む、請求項1から
11のいずれか1項に記載の方法。
【請求項13】
前記第1の変換領域信号は第1の信号領域にあり、前記方法は、
第2の信号領域にある入力信号を受け取るステップと、
前記入力信号を前記第2の信号領域から前記第1の信号領域へ変換することによって前記第1の変換領域信号を生成するステップと、
前記第4の変換領域信号を前記第1の信号領域から前記第2の信号領域に変換することによって出力信号を生成するステップと、
をさらに含む、請求項1から
12のいずれか1項に記載の方法。
【請求項14】
前記第2の変換領域は時間領域であり、前記第1の信号領域はハイブリッド複素直交ミラーフィルタ(HCQMF)信号領域であり、
前記第1の変換領域信号を生成するステップは、前記入力信号に対しHCQMF解析を行うことによって前記第1の変換領域信号を生成することを含み、
前記出力信号を生成することは、前記第4の変換領域信号に対しHCQMF合成を行うことによって前記出力信号を生成することを含む、
請求項
13に記載の方法。
【請求項15】
前記第3の変換領域信号を生成するより前に、前記第2の変換領域信号から前記虚部を落とすこと
をさらに含む、請求項1から
14のいずれか1項に記載の方法。
【請求項16】
プロセッサによって実行されたとき、請求項1から
15のいずれか1項に記載の方法を含む処理を実行するように装置を制御するコンピュータプログラムを記憶した、非一時的かつコンピュータ読み取り可能な媒体。
【請求項17】
プロセッサを備えたオーディオ処理装置であって、
前記プロセッサは第1の変換領域信号を受け取るように前記装置を制御するように構成され、前記第1の変換領域信号は、複数の複素数値と複数のバンドとを有するハイブリッド複素変換領域信号であり、前記複数のバンドのうちの少なくとも1つは複数のサブバンドを有し、前記第1の変換領域信号は第1の複数の高調波群を有し、
前記プロセッサは、
前記第1の変換領域信号をアップサンプリングすることにより、アップサンプリングされた第1の変換領域信号を生成するステップであって、前記アップサンプリングされた第1の変換領域信号は複素数値の時間領域信号である、ステップと、
前記アップサンプリングされた第1の変換領域信号に基づいて第2の変換領域信号を生成するステップであって、
非線形処理に従って
第2の複数の高調波群を
、前記アップサンプリングされた第1の変換領域信号に対して生成し、前記第2の変換領域信号は、前記第1の複数の高調波群とは異なる
前記第2の複数の高調波群を有することと、
前記第2の複数の高調波群に対しラウドネス拡張を行うことであって、前記第2の変換領域信号は、虚部を有する複素数値信号であることと、
によって行われ
る、第2の変換領域信号を生成するステップと、
を実行するように前記装置を制御するように構成され、
前記プロセッサは、前記第2の変換領域信号をフィルタリングすることによって
前記第2の変換領域信号を複数のサブバンドに分割して第3の変換領域信号を生成するように前記装置を制御するように構成され、前記第3の変換領域信号は複数のバンドを有し、前記複数のバンドのうちの少なくとも1つは複数のサブバンドを有しており、
前記プロセッサは、前記第3の変換領域信号を前記第1の変換領域信号を遅延した信号と混合することによって第4の変換領域信号を生成するように前記装置を制御するように構成され、前記第3の変換領域信号におけるあるサブバンドは、前記第1の変換領域信号を遅延した信号における対応するサブバンドと混合される、
装置。
【請求項18】
前記第4の変換領域信号を音として出力するように構成されたスピーカをさらに備える、
請求項
17に記載の装置。
【国際調査報告】