特許 6736634 信号生成システム及び信号生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6736634

(24)【登録日】2020年7月17日

(45)【発行日】2020年8月5日

(54)【発明の名称】信号生成システム及び信号生成方法

(51)【国際特許分類】

   G10L 21/0388 20130101AFI20200728BHJP

【ＦＩ】

   G10L21/0388 100

【請求項の数】3

【外国語出願】

【全頁数】38

(21)【出願番号】特願2018-203461(P2018-203461)

(22)【出願日】2018年10月30日

(62)【分割の表示】特願2017-184543(P2017-184543)の分割

【原出願日】2011年9月5日

(65)【公開番号】特開2019-12295(P2019-12295A)

(43)【公開日】2019年1月24日

【審査請求日】2018年10月30日

(31)【優先権主張番号】61/419,164

(32)【優先日】2010年12月2日

(33)【優先権主張国】US

(31)【優先権主張番号】61/383,441

(32)【優先日】2010年9月16日

(33)【優先権主張国】US

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】510185767

【氏名又は名称】ドルビー・インターナショナル・アーベー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ヴィレモーズ，ラーシュ

【審査官】 渡部 幸和

(56)【参考文献】

【文献】 国際公開第２０１０／０８１８９２（ＷＯ，Ａ１）

【文献】 特開２００７−３１６２５４（ＪＰ，Ａ）

【文献】 HUAN ZHOU，FINALIZATION OF CE ON QMF BASED HARMONIC TRANSPOSER，93. MPEG MEETING，２０１０年 ７月２２日，NO.M17807，p.1-19

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００−２１／１８

(57)【特許請求の範囲】

【請求項1】

入力信号から時間伸縮信号及び／又は周波数トランポーズド信号を生成するように構成されたシステムであって、１つ以上の処理する要素を有し、前記１つ以上の処理する要素は：
前記入力信号からＹ（Ｙ≧２）個の分析サブバンド信号を導出するステップであって、分析サブバンド信号の各々は位相及び振幅を有する複数の複素分析サンプルを有する、導出するステップ；
サブバンドトランスポジション因子Ｑ及びサブバンド伸縮因子Ｓを用いて、前記Ｙ個の分析サブバンド信号から合成サブバンド信号を生成するステップであって、前記Ｑ及びＳの少なくとも一方は１より大きい、生成するステップ；及び
前記合成サブバンド信号から前記時間伸縮信号及び／又は周波数トランポーズド信号を生成するステップ；
を行い、前記合成サブバンド信号を生成するステップは：
Ｌ個の入力サンプルのＹ個のフレームを形成するステップであって、各フレームは、分析サブバンド信号の複数の複素分析サンプルから抽出され、前記フレームの長さはＬ（Ｌ＞１）であり、前記Ｌ個の入力サンプルのうちの少なくとも１つは、複数の複素分析サンプルのうちの２つ以上を補間することにより導出される、形成するステップ；
Ｌ個の入力サンプルの以後のフレームを形成する前に、前記複数の複素分析サンプルにｈサンプルのブロックホップサイズを適用し、入力サンプルのフレームのシーケンスを生成するステップ；
前記フレームの処理サンプル各々の位相及び振幅を決定することで、入力サンプルのＹ個の対応するフレームに基づいて、処理サンプルのフレームを生成するステップであって、少なくとも１つの処理サンプルに関し：
ｉ）前記処理サンプルの前記位相は、入力サンプルの前記Ｙ個のフレームの各々における対応する入力サンプル各自の位相に基づいており；及び
ｉｉ）前記処理サンプルの前記振幅は、入力サンプルの前記Ｙ個のフレームのうちの第１フレームにおける対応する入力サンプルの振幅と、入力サンプルの前記Ｙ個のフレームのうちの第２フレームにおける対応する入力サンプルの振幅との重み付けされた幾何平均値として決定される、生成するステップ；及び
処理サンプルのフレームのシーケンスのサンプルをオーバーラップさせて加算することにより前記合成サブバンド信号を決定するステップ；
を行うことにより、前記合成サブバンド信号を生成し、入力サンプルの少なくとも１つのフレームは、分析サブバンド信号の前記複素分析サンプルをダウンサンプリングすることにより導出される、システム。

【請求項2】

入力信号から時間伸縮信号及び／又は周波数トランポーズド信号を生成する方法であって、
前記入力信号からＹ（Ｙ≧２）個の分析サブバンド信号を導出するステップであって、分析サブバンド信号の各々は位相及び振幅を有する複数の複素分析サンプルを有する、導出するステップ；
Ｌ個の入力サンプルのＹ個のフレームを形成するステップであって、各フレームは、分析サブバンド信号の複数の複素分析サンプルから抽出され、前記フレームの長さはＬ（Ｌ＞１）であり、前記Ｌ個の入力サンプルのうちの少なくとも１つは、複数の複素分析サンプルのうちの２つ以上を補間することにより導出される、形成するステップ；
Ｌ個の入力サンプルの以後のフレームを形成する前に、前記複数の複素分析サンプルにｈサンプルのブロックホップサイズを適用し、入力サンプルのフレームのシーケンスを生成するステップ；
前記フレームの処理サンプル各々の位相及び振幅を決定することで、入力サンプルのＹ個の対応するフレームに基づいて、処理サンプルのフレームを生成するステップであって、少なくとも１つの処理サンプルに関し：
ｉ）前記処理サンプルの前記位相は、入力サンプルの前記Ｙ個のフレームの各々における対応する入力サンプル各自の位相に基づいており；及び
ｉｉ）前記処理サンプルの前記振幅は、入力サンプルの前記Ｙ個のフレームのうちの第１フレームにおける対応する入力サンプルの振幅と、入力サンプルの前記Ｙ個のフレームのうちの第２フレームにおける対応する入力サンプルの振幅との重み付けされた幾何平均値として決定される、生成するステップ；
処理サンプルのフレームのシーケンスのサンプルをオーバーラップさせて加算することにより合成サブバンド信号を決定するステップ；及び
前記合成サブバンド信号から前記時間伸縮信号及び／又は周波数トランポーズド信号を生成するステップ；
を有し、入力サンプルの少なくとも１つのフレームは、分析サブバンド信号の前記複素分析サンプルをダウンサンプリングすることにより導出される、方法。

【請求項3】

請求項２に記載の方法を実行するためのコンピュータ読み取り可能な命令を保存する非一時的なデータキャリア。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はディジタル効果プロセッサにおける高周波再構成(high-frequency reconstruction：HFR)のための高調波トランスポジション方法を用いるオーディオソース符号化システムに関連し、ディジタル効果プロセッサは、例えば、生じた高調波歪を処理される信号の輝度に導入してしまうエキサイタや、維持されるスペクトルコンテンツと共に信号継続時間を延ばす時間伸縮器又は時間伸張器等である。

【背景技術】

【0002】

特許文献１では、オーディオ信号の低周波バンドから高周波バンドを構築するための方法として、トランスポジション(transposition)の概念が説明されている。オーディオ符号化にこの概念を使用することで、かなりのビットレートを節約できる。HFRに基づくオーディオ符号化システムの場合、狭い帯域幅の信号がコア波形符号器に与えられ、非常に低いビットレートの付加的なサイド情報(復号器側のターゲットスペクトル波形を記述する情報)及びトランスポジションを用いて、より高い周波数が再構築される。ビットレートが低い場合、コアの符号化信号の帯域幅が狭く、知覚的に心地よいハイバンド(high band)を再構築することが益々重要になりつつある。特許文献１に開示されているハーモニックトランスポジション(harmonic transposition)は、クロスオーバ周波数(cross over frequency)が低い状況における複雑な音楽信号に対して非常に良好に機能する。ハーモニックトランスポジション又は高調波トランスポジションの原理は、周波数がωの正弦波を周波数がQ_φωの正弦波に対応付ける又はマッピングすることであり、Q_φ＞1はトランスポジションの次数を決める整数である。これに対して、単一側波帯変調(single sideband modulation：SSB)に基づくHFRは、周波数がωの正弦波を周波数がω＋Δωの正弦波に対応付け、Δωは一定の周波数偏移又は周波数シフトである。低帯域幅のコア信号の場合、SSBトランスポジションに起因して不快な共鳴アーチファクト(ringing artifact)が生じてしまう。

【0003】

可能な最良のオーディオ品質を達成するために、最新の高品質HFR法は、必要なオーディオ品質を得るための大きなオーバーサンプリング度と非常に細かい周波数分解能と共に、複素変調周波数バンクを使用している。細かい分解能は、正弦波の合成に伴う非線形性から生じる不要な相互変調歪を回避するために必要である。十分に狭いサブバンドの場合、高品質な方法は、サブバンド各々においてせいぜい1つの正弦波を有することを意図している。時間的なオーバーサンプリングの度合いが大きいことは、エイリアス的な歪みを回避するのに必要であり、過渡的な信号のプリエコー(pre-echoes)を回避するには周波数方向にもある程度のオーバーサンプリング度が必要である。明らかにこの場合の欠点は演算負担が非常に重くなってしまうことである。

【0004】

ハーモニックトランスポジションに関連する別の一般的な欠点は、顕著な周期構造を有する信号の場合に明らかになる。そのような信号は周波数Ω、2Ω、3Ω、．．．のような高調波の重ね合わせであり、Ωは基本周波数(fundamental frequency)である。次数がQ_φであるハーモニックトランスポジションの場合、出力の正弦波群はQ_φΩ、2Q_φΩ、3Q_φΩ、．．．の周波数を有し、Q_φ＞1の場合、それらは所望の完全な高調波群のうちの一部分となる。結果的なオーディオ品質の観点からは、トランスポーズの基本周波数Q_φΩに対応する「ゴースト(ghost)」ピッチが知覚されるのが一般的である。しばしばハーモニックトランスポジションは符号化され復号されるオーディオ信号に「金属的な」音質(“metallic”sounding character)を導入してしまう。

【0005】

本願のリファレンスに組み入れられる特許文献２においては、高品質トランスポジションの場合に生じるゴーストピッチの問題に対処するために、相互積(cross products)の方法が改善されている。高い忠実度と共にトランスポーズされる信号の支配的な高調波部分の基本周波数値に関する全部又は一部の情報を送信することで、少なくとも2つの異なる分析サブバンドの非線形結合と共に、非線形サブバンドの修正が補足される。その結果、トランスポーズされた出力において欠落した部分が再構築されるが、相当な演算コストを招いてしまう。

【発明の概要】

【発明が解決しようとする課題】

【0006】

既存の利用可能なHFR方式についての上記の欠点に鑑みて、本発明の課題は、改善されたよりいっそう効果的な相互積HFR方式を提供することである。特に、本発明の課題は、既存の方式と比較して少ない演算負担で優れたオーディオ再生を可能にする方法を提供することである。

【0007】

本発明は特許請求の範囲に記載された発明により上記の課題の少なくとも1つを軽減又は解消する。

【課題を解決するための手段】

【0008】

開示される発明による信号処理システムは、
入力信号から時間伸縮信号及び/又は周波数トランポーズド信号を生成する信号生成システムであって、
Y(Y≧1)個の分析サブバンド信号の各々が、位相及び振幅を有する複素分析サンプルを複数個有するY個の分析サブバンド信号を、前記入力信号から導出する分析フィルタバンクと、
サブバンドトランスポジション因子Q及びサブバンド伸縮因子Sを用いて、前記Y個の分析サブバンド信号から合成サブバンド信号を生成するサブバンド処理部と、
前記時間伸縮信号及び/又は周波数トランスポーズド信号を前記合成サブバンド信号から生成する合成フィルタバンクと
を有し、前記Q及びSの少なくとも一方は1より大きく、前記サブバンド処理部は、ブロック抽出部と、非線形フレーム処理部と、オーバーラップ加算部とを有し、
前記ブロック抽出部は、
i)L個の入力サンプルからY個のフレームを生成し、前記フレームの各々は分析サブバンド信号の複数の複素分析サンプルから抽出され、前記フレームの長さはL(L＞1)であり、
ii)L個の入力サンプルの以後のフレームを生成する前に、複数の複素分析サンプルにhサンプルのブロックホップサイズを適用することで、一連の入力サンプルのフレームを生成し、
前記非線形フレーム処理部は、前記フレームの処理されるサンプル(処理サンプル)各々の位相及び振幅を判定することで、前記ブロック抽出部により生成された入力サンプルのY個の対応するフレームに基づいて、処理サンプルのフレームを生成し、少なくとも1つの処理サンプルについて、
i)前記処理サンプルの前記位相は、入力サンプルの前記Y個のフレーム各々において対応する入力サンプル各自の位相に基づいており、
ii)前記処理サンプルの前記振幅は、入力サンプルの前記Y個のフレーム各々において対応する入力サンプル各自の位相に基づいており、
前記オーバーラップ加算部は、処理サンプルの一連のフレームのサンプルをオーバーラップさせながら加算することで前記合成サブバンド信号を生成し、
当該信号生成システムは少なくともY=2の場合に動作する、信号生成システムである。

【図面の簡単な説明】

【0009】

【図1】サブバンドブロックに基づくハーモニックトランスポジションの原理を示す図。

【図2】1つのサブバンド入力に対する非線形サブバンドブロック処理の様子を示す図。

【図3】2つのサブバンド入力に対する非線形サブバンドブロック処理の様子を示す図。

【図4】改善された相互積サブバンドブロックに基づくハーモニックトランスポジションの動作を示す図。

【図5】改善されたHFRオーディオコーダにおいて幾つかの次数のトランスポジションを用いてサブバンドブロックに基づいてトランスポジションを行う応用例を示す図。

【図6】64バンドQMF分析フィルタバンクを使用する複数次のサブバンドブロックに基づくトランスポジションを行う応用例を示す図。

【図7】開示されるサブバンドブロックに基づくトランスポジション法の使用結果を説明するための図。

【図8】開示されるサブバンドブロックに基づくトランスポジション法の使用結果を説明するための図。

【図9】図2に示す非線形処理部(前置正規化部及び乗算部を含む)を詳細に示す図。

【発明を実施するための形態】

【0010】

＜発明の概要＞
開示される発明の第1の実施形態による信号生成システムは、
入力信号から時間伸縮信号及び/又は周波数トランポーズド信号を生成する信号生成システムであって、
Y(Y≧1)個の分析サブバンド信号の各々が、位相及び振幅を有する複素分析サンプルを複数個有するY個の分析サブバンド信号を、前記入力信号から導出する分析フィルタバンクと、
サブバンドトランスポジション因子Q及びサブバンド伸縮因子Sを用いて、前記Y個の分析サブバンド信号から合成サブバンド信号を生成するサブバンド処理部と、
前記時間伸縮信号及び/又は周波数トランスポーズド信号を前記合成サブバンド信号から生成する合成フィルタバンクと
を有し、前記Q及びSの少なくとも一方は1より大きく、前記サブバンド処理部は、ブロック抽出部と、非線形フレーム処理部と、オーバーラップ加算部とを有し、
前記ブロック抽出部は、
i)L個の入力サンプルからY個のフレームを生成し、前記フレームの各々は分析サブバンド信号の複数の複素分析サンプルから抽出され、前記フレームの長さはL(L＞1)であり、
ii)L個の入力サンプルの以後のフレームを生成する前に、複数の複素分析サンプルにhサンプルのブロックホップサイズを適用することで、一連の入力サンプルのフレームを生成し、
前記非線形フレーム処理部は、前記フレームの処理されるサンプル(処理サンプル)各々の位相及び振幅を判定することで、前記ブロック抽出部により生成された入力サンプルのY個の対応するフレームに基づいて、処理サンプルのフレームを生成し、少なくとも1つの処理サンプルについて、
i)前記処理サンプルの前記位相は、入力サンプルの前記Y個のフレーム各々において対応する入力サンプル各自の位相に基づいており、
ii)前記処理サンプルの前記振幅は、入力サンプルの前記Y個のフレーム各々において対応する入力サンプル各自の位相に基づいており、
前記オーバーラップ加算部は、処理サンプルの一連のフレームのサンプルをオーバーラップさせながら加算することで前記合成サブバンド信号を生成し、
当該信号生成システムは少なくともY=2の場合に動作する、信号生成システムである。

【0011】

開示される発明の第2の実施形態による信号生成方法は、
入力信号から時間伸縮信号及び/又は周波数トランポーズド信号を生成する信号生成方法であって、
前記入力信号からY(Y≧2)個の分析サブバンド信号を導出するステップであって、前記分析サブバンド信号の各々は、位相及び振幅を有する複素分析サンプルを複数個有する、ステップと、
L個の入力サンプルのY個のフレームを形成するステップであって、各フレームは分析サブバンド信号の前記複数の複素分析サンプルから抽出され、前記フレームの長さはLである、ステップと、
L個の入力サンプルの後続のフレームを導出する前に、hサンプルのブロックホップサイズを前記複数の分析サンプルに適用することで、入力サンプルのフレームのシーケンスを生成するステップと、
入力サンプルのY個の対応するフレームに基づいて、前記フレームの処理サンプル各々について位相及び振幅を判定することで、処理サンプルのフレームを生成し、少なくとも1つの処理されるフレームについて、i)前記処理サンプルの位相が、入力サンプルのY個のフレーム各々における対応する入力サンプルの位相各々に基づいており、ii)前記処理サンプルの振幅が、入力サンプルのY個のフレーム各々における対応する入力サンプルの振幅各々に基づいている、ステップと、
処理サンプルのフレームのシーケンスの中のサンプルをオーバーラップさせながら加算することで、合成サブバンド信号を決定するステップと、
前記時間伸縮信号及び/又は周波数トランスポーズド信号を前記合成サブバンド信号から生成するステップと
を有する信号生成方法である。

【0012】

この場合において、Yは1より大きな任意の整数である。第1の実施形態による信号生成システムは少なくともY=2の場合に上記方法を実行する。

【0013】

開示される発明の第3の実施形態は、第2の実施形態による信号生成方法をプログラム可能なコンピュータに実行させるソフトウェア命令を有するコンピュータプログラム又はソフトウェアである。

【0014】

開示される発明の第4の実施形態は、第2の実施形態による信号生成方法をプログラム可能なコンピュータに実行させるソフトウェア命令を記憶する記憶媒体(又はデータキャリア)である。

【0015】

本発明は、データが複素サブバンドサンプルのブロックで配置され処理される場合に、改善された相互積HFRの一般概念が優れた結果をもたらすという認識に基づいている。とりわけ、フレーム毎の位相オフセットをサンプルに適用することを可能にする。振幅又は大きさ(magnitude)の調整も可能にし、これも同様な恩恵をもたらす。本発明による改善された相互積HFR(cross-product enhanced HFR)の実施形態はサブバンドブロック方式のハーモニックトランスポジション(harmonic transposition)を行い、相互変調(inter-modulation)を顕著に削減できる。従って、優れた出力品質を維持しつつ、周波数分解能が粗い及び/又はオーバーサンプリングの度合いが少ないフィルタバンク(例えば、QMFフィルタバンク)を使用できる。サブバンドブロック方式の処理の場合、複素サブバンドサンプルの時間ブロックが共通の位相修正値と共に処理され、出力サブバンドサンプルを形成する複数の修正されたサンプルの重ね合わせにより、相互変調積を削減する効果が得られ、入力サブバンド信号が複数の正弦波から成る場合において、本発明が使用されなかったならば相互変調積が生じてしまう。ブロックに基づくトランスポジションは、高い分解能のトランスポーザの場合よりも非常に軽い演算負担で済み、多くの信号についてほとんど同じ高品質を達成できる。

【0016】

本説明の便宜上、実施形態において、Y≧2であり、非線形処理部が入力サンプルのうち「対応する」Y個のフレームを入力として使用し、これはフレーム同士が同期している又はほぼ同期していることを意味する点に留意を要する。例えば、個々のフレーム内のサンプルは、フレーム間で多くの時間的なオーバーラップ(又は重複又は重なり)を有する時間間隔に関連している。「対応する(corresponding)」という言葉はそれらが同期している又は近似的にそうであることを示すように使用されている。更に、「フレーム」という言葉は「ブロック」と可換に使用されてよい。従って、「ブロックホップサイズ(block hop size)」は、フレーム長(ダウンサンプリングが行われる場合はダウンサンプリングに合わせてある)に等しい或いはそのフレーム長より短くてもよく(ダウンサンプリングが行われる場合はダウンサンプリングに合わせてある)、それは入力サンプルが1つより多い数のフレームに所属していてよいことを意味する。入力サンプルのY個全ての対応するフレームの位相及び振幅に基づいて位相及び振幅を決定することで、本システムはフレームにおいて処理されたサンプル(処理サンプル)を全て生成する必要はなく；本発明から逸脱することなく、本システムは、より少ない数の対応する入力サンプルに基づいて又は唯1つのサンプルのみに基づいて、幾つかの処理サンプルの位相及び/又は振幅を生成してもよい。

【0017】

一実施形態において、分析フィルタバンクは、任意の数のタップ及びポイントを備えた直交ミラーフィルタ(quadrature mirror filter：QMF)バンク又は疑似QMFバンクである。それは例えば64ポイントのQMFバンクであってもよい。分析フィルタバンクは、窓関数をかけた離散フーリエ変換(windowed discrete Fourier transform)又はウェーブレット変換等のクラスから選択されてもよい。有利なことに、合成フィルタバンクは逆QMFバンク、逆疑似QMFバンク等による分析フィルタバンクに一致する。そのようなフィルタは、比較的粗い周波数分解能及び/又は比較的低いオーバーサンプリング度を有してよいことが知られている。従来技術とは異なり、本発明は、出力の劣化の影響を被ることなく、そのような比較的簡易な構成要素を用いて実現でき、そのような本発明の実施形態は従来技術よりも優れた経済性を示す。

【0018】

一実施形態では、分析フィルタバンクについて以下の内の1つ以上が成り立つ：
●分析時間進行幅がΔt_Aである；
●分析周波数間隔がΔf_Aである；
●分析フィルタバンクはN＞1個の分析サブバンドを有し、分析サブバンドはn=0,...,N-1という分析サブバンドインデックスにより指定される；
●分析サブバンドは入力信号の周波数帯域に関連付けられている。

【0019】

一実施形態では、合成フィルタバンクについて以下の内の1つ以上が成り立つ：
●合成時間進行幅がΔt_sである；
●合成周波数間隔がΔf_sである；
●合成フィルタバンクはM＞1個の合成サブバンドを有し、合成サブバンドはm=0,...,M-1という合成サブバンドインデックスにより指定される；
●合成サブバンドは時間伸張信号(time stretched signal)及び/又は周波数トランスポーズド信号(frequency transposed signal)に関連付けられている。

【0020】

一実施形態において、非線形処理部が入力された2つのフレーム(Y=2)に適用され、処理されるフレームをなす1フレームを生成し、サブバンド処理部はクロス処理制御データ(cross processing control data)を生成するクロス処理制御部を含む。サブバンド処理の質的及び/又は量的な性質を明確にすることで、本発明は柔軟性及び適用可能性を大きくできる。制御データは、周波数軸上で入力信号の基本周波数だけ異なるサブバンドを指定する(例えば、インデックスで指定される)。言い換えれば、サブバンドを指定するインデックスは、そのような基本周波数を分析周波数間隔で除算した比率を近似する整数の分だけ異なっていてもよい。ハーモニックトランスポジションにより生成される新たなスペクトル成分が自然に生じる高調波に匹敵するようになるので、これは心理的に心地の良い音響出力をもたらす。

【0021】

上記の実施形態に対する更なる改善例によれば、(入力)分析及び(出力)合成サブバンドインデックスが、後述の数式(16)を満足するように選択される。その数式に登場するパラメータσは奇数番毎及び偶数番毎に蓄積されたフィルタバンク双方に適用可能にする。サブバンドインデックスが数式(16)に対する近似的な解(例えば、最小二乗誤差)として指定されている場合、ハーモニックトランスポジションにより得られた新たなスペクトル成分は、自然の倍音系列(series of natural harmonics)に匹敵するようになる。従って、HFRは、除去された高周波成分を持たせた、元々の信号の忠実な再構築信号をもたらす。

【0022】

上記の実施形態に対する更なる改善例によれば、数式(16)に登場しかつ相互積トランスポジション(cross-product transposition)の次数を表すパラメータrを選択する方法が提供される。所与の出力サブバンドインデックスmに関し、トランスポジション次数rの値各々は2つの分析サブバンドインデックスn₁、n₂を決定する。更に改善されたこの実施形態は、多数のrの選択肢について2つのサブバンドの大きさ又は振幅を評価し、2つの分析サブバンドの振幅のうち小さい方を最大化する値を選択する。インデックスを選択するこの方法は、入力信号のうち微弱な成分(貧弱な出力品質を招く)を増幅することで、多数の振幅を復元する必要性を排除できる。この点に関し、サブバンドの大きさ又は振幅は、いわば既知の方法で計算され、例えばフレーム(ブロック)又はフレームの一部を形成する入力サンプルの二乗平方根により計算されてもよい。サブバンドの大きさ又は振幅は、フレーム内の中央のサンプル又は中央付近のサンプルの振幅として算出されてもよい。そのような計算は簡易に適切な振幅の測定値をもたらす。

【0023】

上記の実施形態に対する更なる改善例によれば、分析サブバンドは、ダイレクト処理及び相互積に基づく処理の双方に従ってハーモニックトランスポジションインスタンス(harmonic transposition instance)からの寄与を受ける。この点に関し、相互積に基づく処理により欠落した部分を再生する特定の可能性が使用されるか否かを判定する判断基準が適用される。例えば、本改善例は、以下の条件(a)-(c)のうちの何れかが満たされた場合に、1つ以上のクロスサブバンド処理部を用いることを控えるように形成されてもよい。

【0024】

(a)の条件は、合成サブバンドをもたらすダイレクトソース項の分析サブバンド(direct source term analysis subband)の振幅M_Sと合成サブバンドをもたらすクロスソース項(cross source term)の最適ペアにおける最小振幅値M_Cとの比率が、所定値qより大きいことであり、
(b)の条件は、合成サブバンドがダイレクト処理部から大きな寄与を受けることであり、
(c)の条件は、基本周波数Ω₀が分析フィルタバンクの間隔Δf_Aより小さいことである。

【0025】

一実施形態では、本発明は入力信号のダウンサンプリング又はデシメーション(decimation)を行ってもよい。実際、ブロック抽出部によって行われるように、入力サンプルのフレームの1つ以上が、サブバンド内の複素分析サンプルをダウンサンプリングすることで決定されてもよい。

【0026】

上記の実施形態に対する更なる改善例によれば、適用されるダウンサンプリング因子が、後述する数式(15)を満足する。ダウンサンプリング因子の全てがゼロであることは許容されず、全てがゼロである場合は自明な又は有意義でない場合に対応する。数式(15)は、ダウンサンプリング因子D₁及びD₂、サブバンド伸縮因子S、及びサブバンドトランスポジション因子Qの関係を規定しているだけでなく、更には処理されるサンプル(処理サンプル)の位相を決定する数式(13)に登場する位相係数T₁及びT₂との間の関係も規定している。これは、処理されるサンプルの位相と、処理されるサンプルが付加される入力信号の他の成分とが合うことを保証する。

【0027】

一実施形態では、処理されるフレーム群が重ねられ加算される(オーバーラップ加算される)前に、処理されるサンプルのフレーム群に窓関数が適用される(ウィンドウ処理される)。ウィンドウ処理部は、処理されるサンプルのフレーム群について有限長の窓関数を適用する。適切な窓関数は出願時の特許請求の範囲に規定されている。

【0028】

発明者等は、特許文献2に記載されているタイプの相互積法が、サブバンドブロックに基づく処理方式に当初から完全には合わないことを認識した。そのような方法は或るブロックの何れかのサブバンドサンプルには申し分なく適用されるかもしれないが、ブロック内の他のサンプルにまで直接的に拡張するとエイリアシングアーチファクトを招いてしまう。このため、一実施形態では、(複素ウェイトで重み付けされ、ホップサイズの分だけシフトされる場合に)実質的に一定のシーケンスに合うウィンドウサンプルを含む窓関数が適用される。ホップサイズは、ブロックホップサイズh及びサブバンド伸張因子Sの積であってもよい。そのような窓関数を使用すると、エイリアシングアーチファクトを顕著に減らすことができる。代替的又は追加的に、そのような窓関数は、処理されるサンプルの位相回転のような他の量に関するアーチファクトも削減する。

【0029】

好ましくは、ウィンドウサンプルに関する状態を評価するために適用される一連の複素ウェイト又は複素重み係数群は、一定の位相回転角だけ異なっている。更に好ましくは、その一定の位相回転角が、入力信号の基本周波数に比例している。位相回転角は、(適用される相互積トランスポジションの次数)及び/又は(ダウンサンプリング因子の相違)及び/又は(分析時間進行幅)に比例してもよい。位相回転角は、少なくとも近似的な意味において、方程式(21)により与えられてもよい。

【0030】

一実施形態による本発明は基本周波数パラメータに応じて合成ウィンドウ処理を変更することで改善された相互積ハーモニックトランスポジション(cross-product enhanced harmonic transposition)を可能にする。

【0031】

一実施形態では、処理されるサンプルの一連のフレームが、或る程度のオーバーラップ度又は重なり度で加えられる。適切なオーバーラップを行うため、処理されるフレームに属するフレームは、サブバンド伸縮因子Sによりアップスケール又は伸張されたブロックサイズhであるホップサイズの分だけ適切にシフトされる(ずらされる)。入力サンプルに属する一連のフレームのオーバーラップがL-hであった場合、処理されるサンプルに属する連続的なフレームのオーバーラップはS(L-h)になる。

【0032】

一実施形態による本発明によるシステムは、Y=2の入力サンプルに基づいて処理サンプルを生成するだけでなく、Y=1サンプルのみに基づいてもよい。すなわち、システムは、相互積方式(例えば、数式(13)等)によるだけでなく、ダイレクトサブバンド方式(例えば、数式(5)や(11)等)によっても、欠落した部分を復元又は再生できる。好ましくは、制御部がシステムの動作を制御し、その制御は、特定の欠落した部分を復元するために何れの方式を使用すべきかを指定することも含む。

【0033】

上記の実施形態に対する更なる改善例によるシステムは、3つより多いサンプルに基づいて処理サンプルを生成する(すなわち、Y≧3)。例えば、処理されるサンプルは、処理サンプルに寄与する相互積に基づく複数のハーモニックトランスポジション、複数のダイレクトサブバンド処理、或いは相互積トランスポジション及びダイレクトトランスポジションの組み合わせにより取得されてもよい。トランスポジション法を適用するこの方法は協力で融通の利くHFRをもたらす。すなわち実施の形態はY=3,4,5等に関する第2の実施形態による方法を実行するように動作可能である。

【0034】

一実施形態では、処理されるサンプルを振幅を有する複素数として判定し、その振幅は対応する入力サンプル各々の振幅値の平均値である。平均値は、2つ以上のサンプルに関する、(重み付けされた)算術平均でもよいし、(重み付けされた)幾何平均値でもよいし、或いは(重み付けされた)調和平均値でもよい。Y=2の場合、平均値は2つの複素入力サンプルに基づく。好ましくは、処理サンプルの振幅が重み付けされた幾何平均値である。より好ましくは、幾何平均値が、数式(13)に示されているようなパラメータρ及び1-ρにより重み付けされている。この場合において、幾何平均の重み付けパラメータρは、サブバンドトランスポジション因子Qに逆比例又は反比例する実数である。パラメータρは伸縮因子Sに逆比例又は反比例してもよい。

【0035】

一実施形態におけるシステムは位相を有する複素数として処理サンプルを決定し、その位相は入力サンプルのフレームにおける対応する入力サンプル各自の位相の線形結合である。特に、その線形結合は2つの入力サンプル(Y=2)に関連する位相であってもよい。2つの位相の線形結合はゼロでない整数係数を使用してもよく、それらの合計は伸縮因子Sにサブバンドトランスポジション因子Qを乗じたものに等しい。或いは、そのような線形結合で得られた位相は、一定の位相補正パラメータにより更に調整されてもよい。処理サンプルの位相は数式(13)によって与えられてもよい。

【0036】

一実施形態では、ブロック抽出部(又は本発明による方法における対応するステップ)は、分析サブバンド信号中の2つ以上の分析サンプルを補間し、フレーム(ブロック)に含まれることになる1つの入力サンプルを取得してもよい。そのような補間は非整数因子による入力信号のダウンミキシング(downmixing)を可能にする。補間された分析サンプルは連続的であってもなくてもよい。

【0037】

一実施形態では、サブバンド処理の構成は、処理を制御する外部の手段から提供される制御データにより制御されてもよい。制御データは入力信号のその時点での音響特性に関連する。例えば、信号のその時点での音響特性(例えば、信号における(支配的な)基本周波数)を決定する手段を、システム自体が有していてもよい。基本周波数の情報は、処理サンプルを取得する元になる分析サブバンドを選択する際の基準又はガイド(guidance)となる。好ましくは、分析サブバンドの間隔は入力信号のそのような基本周波数に比例する。代替例として、制御データがシステム外部から提供され、好ましくはビットストリームとしてディジタル通信ネットワークを介して通信するのに相応しい符号化フォーマットに制御データが含まれている。制御データに加えて、そのような符号化フォーマットは信号の低周波成分(例えば、図7の701の部分にある周波数成分)に関する情報も含んでいてよい。なお、帯域幅を経済的に使用する観点からは、その符号化フォーマットは高周波成分(図7の702の部分)に関する完全な情報を含んでいないことが好ましい(本発明では低周波成分から高周波成分が再生される)。特に本発明はそのような制御データを受信するのに適した制御データ受信部を備えたデコードシステムを提供し、制御データは、入力信号をエンコードした受信ビットストリームに含まれていてもよいし或いは別個の信号やビットストリームとして受信されてもよい。

【0038】

一実施形態は本発明による方法で行われる演算を効率的に実行する技法を提供する。その目的のため、ハードウェア実現手段は、処理されるサンプルのフレームが基づいているYフレームの一部にある対応する入力ストリームの振幅を調整し直す(スケーリングし直す)プレノーマライザ又は事前正規化部を有する。そのような再調整の後、処理サンプルは、再調整された入力サンプル又は場合によっては再調整されてない入力サンプルの(重み付けされた)複素積として算出できる。積の中で再調整された因子として登場する入力サンプルは、通常、再調整されてない因子として登場する必要はない。位相補正パラメータθに関する可能性のある例外では、(おそらくはスケーリングし直された)複素入力サンプルの積として数式(13)を計算することが可能である。これは、処理サンプルの振幅及び位相を別々に取り扱うことと比較して演算負担の観点から有利である。

【0039】

一実施形態においてY=2に設定されたシステムは、入力サンプルの1フレームを形成することを並列的に行う2つのブロック抽出部を有する。

【0040】

Y≧3の場合の別の実施形態では、システムは複数のサブバンド処理部を有し、複数のサブバンド処理部の各々は、様々なサブバンドトランスポジション因子及び/又は様々なサブバンド伸縮因子及び/又は相互積に基づく或いはダイレクトのものとは異なるトランジション方法を利用して、中間的な合成サブバンド信号を決定する。複数のサブバンド処理部は並列的に設けられて並列的に動作してもよい。この実施形態の場合、システムはサブバンド処理部の下流側であって合成フィルタバンクの上流側に設けられた合成部を更に有する。合成部は、関連する中間的な合成サブバンド信号を(例えば、一緒に合成することで)合成し、合成サブバンド信号を生成する。上述したように、合成される中間的な合成サブバンドは、ダイレクト及び相互積に基づくハーモニックトランスポジション双方により取得されてもよい。一実施形態によるシステムはビットストリームを入力信号に復号するコアデコーダを更に有していてもよい。これは、特にスペクトル整形を実行することで、スペクトルバンド情報を適用するように形成されたHFR処理部を形成する。HFR処理部の動作はビットストリームに符号化されている情報により制御されてもよい。

【0041】

一実施形態は、例えばレフト(左)、ライト(右)、センター(中央)、サラウンド等のようなZチャネルを形成するステレオフォーマットでオーディオ信号を再生するシステムにおいて、多次元信号のHFRを提供する。複数のチャネルと共に入力信号を処理する一実施形態では、バンド各々についての伸縮因子S及びトランスポジション因子Qはチャネル間で異なるかもしれないが、各チャネルの処理サンプル同じ数の入力サンプルに基づいている。この目的のため、実施形態は、チャネル各々からY個のアナログサブバンド信号を生成する分析フィルタバンクと、Z個のサブバンド信号を生成するサブバンド処理部と、Z個の時間伸縮及び周波数トランスポーズド信号(出力信号を形成する)とを有する。

【0042】

上記の実施形態に対する変形例では、出力信号が、異なる数の分析サブバンド信号に基づく出力チャネルを有してもよい。例えば、音響的に目立つチャネルのHFRに多くの演算リソースを割り当てることが望ましく、例えば、視聴者の前にあるオーディオソースから再生される複数のチャネルがサラウンド又はそれに近いチャネルとなることが望ましい。

【0043】

特許請求の範囲で異なる請求項に記載されていたとしても、本発明は上記の特徴の全ての組み合わせに関連することに特に留意を要する。

【0044】

＜図面についての概説＞
以下、添付図面を参照しながら、本発明の範囲も精神も限定しない実施の形態を説明する。

【0045】

図1はサブバンドブロックに基づくハーモニックトランスポジションの原理を示す。

【0046】

図2は1つのサブバンド入力に対する非線形サブバンドブロック処理の様子を示す。

【0047】

図3は2つのサブバンド入力に対する非線形サブバンドブロック処理の様子を示す。

【0048】

図4は改善された相互積サブバンドブロック(cross product enhanced subband block)に基づくハーモニックトランスポジションの動作を示す。

【0049】

図5は改善されたHFRオーディオコーダにおいて幾つかの次数のトランスポジションを用いてサブバンドブロックに基づいてトランスポジションを行う応用例を示す。

【0050】

図6は64バンドQMF分析フィルタバンクを使用する複数次のサブバンドブロックに基づくトランスポジションを行う応用例を示す。

【0051】

図7は開示されるサブバンドブロックに基づくトランスポジション法の使用結果を説明するための図である。

【0052】

図8は開示されるサブバンドブロックに基づくトランスポジション法の使用結果を説明するための図である。

【0053】

図9は図2に示す非線形処理部(前置正規化部及び乗算部を含む)を詳細に示す。

【0054】

＜好適な実施形態についての説明＞
以下に説明される実施の形態は、改善された相互積サブバンドブロックに基づくハーモニックトランスポジションに関する本発明の原理を例示しているに過ぎない。本明細書で説明される装置、方法及び具体的な詳細に関する変形例及び修正例は、当業者に明らかであることが、理解されるであろう。従って、本発明は添付の特許請求の範囲によってのみ規定され、明細書及び図面の説明により示される具体的な詳細によっては規定されないことが意図されている。

【0055】

図1はサブバンドブロックに基づくトランスポジション、時間伸縮又は時間伸縮(time stretch)又はトランスポジションと時間伸縮の組み合わせの動作原理を説明するための図である。入力される時間領域信号は分析フィルタバンク101に与えられ、分析フィルタバンク101は複数の複素数値サブバンド信号(複素サブバンド信号)を提供する。それらはサブバンド処理部102に与えられ、サブバンド処理部102の動作は制御データ104により制御される。出力サブバンドの各々は、1つの入力サブバンド又は2つの入力サブバンドを処理することで取得されてもよいし、或いはそのように処理される幾つかのサブバンドの重ね合わせとして取得されてもよい。複数の複素数値出力サブバンド(複素サブバンド信号)は合成フィルタバンク103に与えられ、合成フィルタバンク103は修正された時間領域信号を出力する。選択的な制御データ104は、トランスポーズされる信号に対して行われるサブバンド処理の仕方及びパラメータを示す。改善された相互積トランスポジションの場合、そのデータは支配的な基本周波数に関する情報を含む。

【0056】

図2はサブバンド入力が1つである場合の非線形サブバンドブロック処理の動作を説明するための図である。物理的な時間伸縮及びトランスポジションのターゲット値(目標値)、及び分析フィルタバンク101や合成フィルタバンク103の物理パラメータを用いて、サブバンド時間伸縮及びトランスポジションのパラメータだけでなく、ソースサブバンドインデックスもターゲットサブバンドインデックス各々について導出する。サブバンドブロック処理の目的は、複素数値のソースサブバンド信号に対応する、トランスポジション、時間伸縮又はトランスポジション及び時間伸縮の組み合わせを実行し、ターゲットのサブバンド信号を生成することである。

【0057】

ブロック抽出部201は、入力された複素信号から有限数のフレームをサンプリングする。フレームは、入力ポインタ位置及びサブバンドトランスポジション因子によって規定される。このフレームは、処理部202による非線形処理を受け、次にウィンドウ処理部213により有限の可能な可変長のウィンドウ処理が行われる。結果のサンプルはオーバーラップ加算部204において出力サンプルに事前に加えられ、出力フレーム位置は出力ポインタ位置によって規定される。入力ポインタは固定値だけインクリメントされ、出力ポインタはその固定値にサブバンド伸縮因子を乗じた分だけインクリメントされる。この一連の処理の反復により、サブバンドトランスポジション位置によってトランスポーズされた複素周波数と共に、サブバンド伸縮因子に入力サブバンド信号期間を乗算した長さである持続時間の出力信号が生成され、その持続時間は合成ウィンドウの長さ以内である。制御信号104は3つの処理部201、202、203の各々に影響を及ぼす(制御する)。

【0058】

図3はサブバンド入力が2つである場合の非線形サブバンドブロック処理の動作を説明するための図である。物理的な時間伸縮及びトランスポジションのターゲット値(目標値)、及び分析フィルタバンク101や合成フィルタバンク103の物理パラメータを用いて、サブバンド時間伸縮及びトランスポジションのパラメータだけでなく、ソースサブバンドインデックスもターゲットサブバンドインデックス各々について導出する。非線形サブバンドブロック処理が相互積加算(cross product addition)による欠落した部分を生成するためであった場合、処理部301-1、301-2、302、303の設定だけでなく、2つのソースバンドインデックスの値もクロス処理制御部(cross processing control unit)404の出力403に依存する。サブバンドブロック処理の目的は、2つの複素ソースサブバンド信号についての、対応するトランスポジション、時間伸縮又はトランスポジション及び時間伸縮の組み合わせを実行し、ターゲットのサブバンド信号を生成することである。第1のブロック抽出部301-1は第1の複素ソースバンドから有限の時間フレームのサンプルをサンプリングし、第2のブロック抽出部301-2は第2の複素ソースバンドから有限のフレームのサンプルをサンプリングする。フレームは、共通の入力ポインタ位置及びサブバンドトランスポジション因子によって規定される。この2つのフレームは、302の非線形処理部に進み、その後にウィンドウ処理部303により有限長のウィンドウによるウィンドウ処理が行われる。オーバーラップ加算部204は図2に示されているものと同一又は類似である。この一連の処理の反復により、2つのサブバンド信号のうち長い方(ただし、合成ウィンドウの長さ以内)にサブバンド伸張因子が乗算された長さの持続時間を有する出力信号が制される。2つの入力サブバンド信号が同じ周波数を有していた場合、出力信号はサブバンドトランジション因子によってトランスポーズされた複素周波数を有することになる。2つのサブバンド信号が異なる周波数を有していた場合、トランスポーズド信号において欠落した部分を生成するのに相応しいターゲット周波数を有する出力信号を生成するためにウィンドウ処理部303を使用できる。

【0059】

図4は、改善された相互積サブバンドブロックに基づく、トランスポジション、時間伸縮、又はトランスポジション及び時間伸縮の組み合わせの原理を説明するための図である。ダイレクトサブバンド処理部(direct sub-band processing unit)401は図2(処理部202)又は図3を参照しながら既に説明されたものであってよい。クロスサブバンド処理部(cross sub-band processing unit)402は図3に示す2つのサブバンド入力に関する非線形サブバンドブロック処理を実行し、出力のターゲットサブバンドが加算部においてダイレクトサブバンド処理部401からのものと加算される。クロス処理制御データ403は、入力ポインタの位置各々について異なり、かつ
・ターゲットサブバンドインデックスの選択されたリスト、
・選択されたターゲットサブバンドインデックス各々のソースサブバンドインデックスのペア、及び
・有限長の合成ウィンドウ
を示す情報を少なくとも含む。

【0060】

クロス処理制御部404は、分析フィルタバンク101から出力された複数の複素サブバンド信号と基本周波数とを示す制御データ104の一部に基づいてクロス処理制御データ403を提供する。制御データ104は、相互積処理に影響を及ぼす他の信号依存設定パラメータも含む。

【0061】

以下、改善された相互積サブバンドブロックに基づく時間伸縮及びトランスポジションの原理について、図1-4を参照しながら適切な数学的手法と共に説明する。

【0062】

ハーモニックトランスポーザ及び/又は時間伸縮全体について主要な2つの設定パラメータは、
・S_φ：所望の物理的な時間伸縮因子、及び
・Q_φ：所望の物理的なトランスポジション因子
である。

【0063】

フィルタバンク101、103はQMF、ウィンドウ化されたDFT又はウェーブレット変換等のような任意の複素指数変調形式(complex exponential modulated type)のものであってよい。分析フィルタバンク101及び合成フィルタバンク103は、変調の際に偶数番毎に又は奇数バンド毎にスタックし、より広い範囲のプロトタイプフィルタ及び/又はウィンドウから規定される。これら全ての2次の選択は、位相補正やサブバンドマッピング管理等のような以後の設計の詳細に影響を及ぼすが、サブバンド処理の主なシステム設計パラメータは、一般的には、以下の4つのフィルタバンクパラメータ(すべて物理単位で測定される)Δt_s/Δt_A及びΔf_s/Δf_Aという2つの商から導出される。上記の商において、
・Δt_Aは、分析フィルタバンク101のサブバンドサンプル時間ステップ又は時間的なストライド(stride)、進行幅、刻み幅又は歩幅であり(例えば、秒で測定される)、
・Δf_Aは、分析フィルタバンク101のサブバンド周波数間隔であり(例えば、ヘルツ[1/s]で測定される)、
・Δt_sは、合成フィルタバンク103のサブバンドサンプル時間ステップ又は時間的なストライド(stride)、進行幅、刻み幅又は歩幅であり(例えば、秒で測定される)、
・Δf_sは、合成フィルタバンク103のサブバンド周波数間隔である(例えば、ヘルツ[1/s]で測定される)。

【0064】

サブバンド処理部102の構成により、以下のパラメータが算出されるべきである：
・S：サブバンド伸縮因子。サブバンド伸縮因子は、入力及び時間サンプルの比率として、サブバンド処理部102に適用され、S_φにより時間領域信号の全体的な物理的な時間伸縮を行うためのものである。

【0065】

・Q：サブバンドトランスポジション因子。サブバンドトランスポジション因子は、サブバンド処理部102に適用され、因子Q_φにより時間領域信号の全体的な物理的な周波数トランスポジションを行うためのものである。

【0066】

・ソース及びターゲットサブバンドインデックス間の対応関係。nはサブバンド処理部102に入る分析サブバンドのインデックスを示し、mはサブバンド処理部102の出力における対応する合成サブバンドのインデックスを示す。

【0067】

サブバンド伸縮因子Sを決定するために、物理期間Dの分析サブバンドへの入力信号が、サブバンド処理部102への入力における分析サブバンドサンプルの個数D/Δt_Aに対応することを確認する。これらD/Δt_A個のサンプルは、サブバンド伸縮因子Sを適用するサブバンド処理部102により、S・D/Δt_Aに伸張される。合成フィルタバンク103の出力において、これらS・D/Δt_A個のサンプルが、Δt_s・S・D/Δt_Aの長さの物理期間を有する出力信号となる。後者の期間はS_φ・Dという特定の値に合致すべきなので、すなわち時間領域出力信号の期間は物理的時間伸張因子S_φにより時間領域入力信号に対して伸張されるべきであるので、以下の設計規則が得られる。

【0068】

【数1】

物理トランスポジションQ_φを得るためにサブバンド処理部102において適用されるサブバンドトランスポジション因子Qを決定するために、物理周波数がΩである分析サブバンドへの入力正弦波が、別の時間角周波数ω＝2πΩ・Δt_Aと共に複素分析サブバンド信号となること、及び主な寄与はインデックスn≒Ω/Δf_Aの分析サブバンドで生じることを確認する。所望のトランスポーズド物理周波数Q_φ・Ωの合成フィルタバンク103の出力における出力正弦波は、m≒Q_φ・Ω/Δf_sのインデックスの合成サブバンドを、離散的な角周波数2πQ_φ・Ω・Δt_sの複素サブバンド信号と共に供給することで得られる。この場合、Q_φ・Ωと異なるエイリアス出力周波数の混入を避ける必要がある。典型的には、この問題は、本願で説明されるような適切な2次を選択することで、例えば適切な分析及び/又は合成フィルタバンクを選択することで回避できる。サブバンド処理部102の出力における離散的な周波数2πQ_φ・Ω・Δt_Aは、サブバンドトランスポジション因子Qが乗算されたサブバンド処理部102の入力における離散時間周波数ω＝2πΩ・ΔtAに対応する。すなわち、2πQΩΔt_A及び2πQ_φ・Ω・Δt_sを等しく設定することで、物理トランスポジション因子Qφ及びサブバンドトランスポジション因子Qの間の関係は、次式のように決定されてよい。

【0069】

【数2】

同様に、所与のターゲット又は合成サブバンドインデックスmに関し、サブバンド処理部102の適切なソース又は分析サブバンドインデックスnは、次式に従う。

【0070】

【数3】

一実施形態では、Δf_s/Δf_A＝Q_φが成立する、すなわち合成フィルタバンク103の周波数間隔が、分析フィルタバンク101の周波数間隔に物理トランスポジション因子を乗算したものに対応し、分析サブバンドインデックスと合成サブバンドインデックスとの1対1対応(n＝m)が適用される。別の実施形態におけるサブバンドインデックスの対応関係(マッピング)はフィルタバンクパラメータの具体的内容に依存してもよい。特に、合成フィルタバンク103及び分析フィルタバンク101の周波数間隔の分数が物理トランスポジション因子Qと異なっていた場合、1つ以上のソースサブバンドが所与のターゲットサブバンドに指定されてもよい。ソースサブバンドが2つである場合、インデックスがそれぞれn、n+1である2つの隣接するソースサブバンドを利用することが好ましい。すなわち、第1及び第2のソースサブバンドは(n(m),n(m)+1)又は(n(m)+1,n(m))により与えられる。

【0071】

以下、1つのソースサブバンドに関する図2のサブバンド処理を、サブバンド処理パラメータS及びQの関数として説明する。x(k)をブロック抽出部201に対する入力信号とし、hを入力ブロックのストライド(stride)、進行幅、歩幅又は刻み幅とする。すなわち、x(k)はインデックスがnである分析サブバンドの複素分析サブバンド信号である。ブロック抽出部201により抽出されたブロックは、一般に、L＝R₁＋R₂サンプルにより規定されると考えられるのでロスはない。

【0072】

【数4】

ここで、整数lはブロックカウントインデックスであり、Lはブロック長であり、R₁及びR₂は非負の整数である。留意を要することに、Q=1の場合、ブロックは連続的なサンプルから抽出され、Q＞1の場合、入力アドレスが因子Qにより伸縮又は伸張されるような方法でダウンサンプリングが実行される。Qが整数である場合、この処理は典型的にはそのまま実行されるが、非負のQの値については補間法が必要になる。このことは増加分であるh(すなわち、入力ブロックの進行幅)が非負の値である場合にも成り立つ。一実施形態では、例えばフィルタタップが2つしかない短い補間フィルタが、複素サブバンド信号に適用されてもよい。例えば、分数時間インデックスk＋0.5におけるサンプルが必要とされる場合、x(k+0.5)≒ax(k)+bx(k+1)という形式の2タップ補間が実行され、係数a、bは一定値であってもよいし或いは十分な品質を保証するようにサブバンドインデックスに依存して変化してもよい(この点については、特許文献３及び特許文献４等に記載されている)。

【0073】

数式(4)の興味深い特殊な場合は、R₁=0及びR₂=1の場合であり、抽出されるブロックが1つのサンプルから成る、すなわちブロック長LがL=1である。

【0074】

複素数の極座標表現z=|z|exp(j∠z)の場合、|z|は複素数の振幅を示し、∠zは複素数の位相又は位相角を示し、入力フレームxlから出力フレームylを生成する非線形処理部202は、有利なことに、以下の数式による位相修正因子T=SQにより規定される。

【0075】

【数5】

ここで、ρ∈[0,1]は幾何学的な振幅の重みパラメータである。ρ＝0の場合は、抽出されたブロックについて位相の修正のみを行うことに対応する。振幅のウェイトについての特に有益な値はρ＝1-1/Tであり、その場合、或る程度の演算の安定性がブロック長Lによらず取得され、結果の過渡的な応答がρ＝0の場合よりもいくらか改善される。位相補正パラメータθはフィルタバックの詳細な内容並びにソース及びターゲットのサブバンドインデックスに依存する。一実施形態において、位相補正パラメータθは一群の入力正弦波を掃引することで経験的に決定されてもよい。更に、位相補正パラメータθは、隣接するターゲットサブバンド複素正弦波の位相差を確認することで、又は入力信号のディラックパルス形(Dirac pulse type)のパフォーマンスを最適化することで導出されてもよい。更に、分析及び合成フィルタバンク101、103の適切な設計に関し、位相補正パラメータは0に設定されてもよい(省略されてもよい)。係数T-1及び1が数式(5)の第1行における位相の線形結合において整数であるように、位相修正因子Tは整数であるべきである。この過程の場合、すなわち位相修正因子Tが整数である場合、たとえ位相がモジュロ2πの分だけ不定であったとしても、非線形修正の結果は適切に規定される。

【0076】

上記の数式(5)は、出力フレームサンプルの位相が、対応する入力サンプルの位相を一定のオフセット値だけずらす又はシフトすることで決定されることを示す。その一定のオフセット値は修正因子Tに依存し、修正因子T自体はサブバンド伸縮因子及び/又はサブバンドトランスポジション因子に依存する。更に、一定のオフセット値は入力フレームのうちの特定の入力フレームのサンプルの位相に依存する。この特定の入力フレームサンプルは、所与のブロックの出力フレームサンプル全ての位相を決定する際に固定的に維持される。数式(5)の場合、入力フレームの中心サンプルの位相が、特定の入力フレームのサンプルの位相として使用されている。

【0077】

数式(5)の第2行は、出力フレームのサンプルの振幅が、入力フレームの対応するサンプルの振幅に依存することを示す。更に、出力フレームのサンプルの振幅は、特定の入力フレームサンプルの振幅に依存してもよい。その特定の入力フレームサンプルは、全ての出力フレームサンプルの振幅を決定する際に使用されてよい。数式(5)の場合、入力フレームの中心サンプルが、特定の入力フレームサンプルとして使用される。一実施形態において、出力フレームのサンプルの振幅は、入力フレームの対応するサンプル及び特定の入力フレームサンプルの振幅の幾何平均に対応してもよい。

【0078】

ウィンドウ化処理部203において、長さLのウィンドウwが出力フレームに適用され、ウィンドウ処理が施された以下の出力フレームが得られる。

【0079】

【数6】

そして、全てのフレームがゼロから拡張されていた場合、オーバーラップ加算処理部204は次のような処理を行う。

【0080】

【数7】

この場合に留意を要すべきことに、オーバーラップ加算処理部204はShというブロック進行幅(ストライド又は歩幅)を適用する、すなわちその時間進行幅は入力ブロック進行幅hによりもS倍大きい。数式(4)及び(7)の時間ストライドの相違に起因して、出力信号z(k)の継続期間は入力信号x(k)の継続期間をS倍したものであり、すなわち合成サブバンド信号は、分析サブバンド信号と比較してサブバンド伸縮因子S倍だけ伸張されている。ウィンドウの長さLが信号の持続時間と比較して無視できる場合、一般的には静観することに留意すべきである。

【0081】

複素正弦波がサブバンド処理部102の入力として使用される場合、分析サブバンド信号は複素正弦波に対応する。

【0082】

【数8】

数式(4)-(7)を適用することで、サブバンド処理102の出力(すなわち、対応する合成サブバンド信号)は次式で与えられる。

【0083】

【数9】

これはρに依存しない。すなわち、離散的な時間周波数ωの複素正弦波は離散的な時間周波数Qωの複素正弦波に変換され、全てのkについて同じ一定の合計値Kに至るShのストライドと共に合成ウィンドウシフトが使用される。

【0084】

【数10】

S=1及びT=Qという特殊な場合の純粋なトランスポジションを考察する。入力ブロックストライドがh=1、R₁=0、R₂=1であった場合、上記の全て(特に、数式(5))は点別の(point-wise)又はサンプルベースの位相修正ルールに帰着する。

【0085】

【数11】

サブバンド処理部102は制御データ104を用いて所定の処理パラメータ(例えば、ブロック抽出部のブロック長)を設定する。

【0086】

以下、サブバンド処理部の説明を、サブバンド入力が2つである図3の場合にも適用できるように拡張する。x⁽¹⁾(k)が第1のブロック抽出部301-1に対する入力サブバンド信号であり、x⁽²⁾(k)が第2のブロック抽出部301-2に対する入力サブバンド信号であるとする。各々の抽出部は異なるダウンサンプリング因子を使用することができるので、抽出されたブロックは次のとおりになる。

【0087】

【数12】

非線形処理部302は出力フレームy_lを生成し、これは次式によって規定される。

【0088】

【数13】

処理部303は数式(6)及び(7)により示される処理を行い、処理部204は単独の入力の場合に説明したオーバーラップ加算処理部と同じである。

【0089】

非負の実数パラメータD₁、D₂、ρ、非負の整数パラメータT₁、T₂及び合成ウィンドウwの定義は、所望の動作モードに依存する。同じサブバンドが双方の入力に与えられた場合、x⁽¹⁾(k)=x⁽²⁾(k)、D₁=Q、D₂=0、T₁=1、T₂=T-1である場合、数式(12)及び(13)に関する処理は1入力の場合の数式(4)及び(5)に帰着することに留意を要する。

【0090】

一実施形態において、合成フィルタバンク103の周波数間隔Δf_s及び分析フィルタバンク101の周波数間隔Δf_Aの比率は、所望の物理トランスポジション因子Qとは異なる場合、インデックスがそれぞれn、n+1である2つの分析サブバンドからインデックスがmである合成サブバンドのサンプルを決定することが有用である。所与のインデックスmに関し、対応するインデックスnは、数式(3)により与えられる分析インデックス値nを打ち切ることで得られる整数値により与えられる。例えば、インデックスnに対応する分析サブバンド信号のような一方の分析サブバンド信号は第1のブロック抽出部301-1に与えられ、インデックスn+1に対応する分析サブバンド信号のような他方の分析サブバンド信号は第2のブロック抽出部301-2に与えられる。これら2つの分析サブバンド信号に基づいて、インデックスmに対応する合成サブバンド信号が、上記の処理に従って決定される。2つのブロック抽出部301-1及び301-2に隣接する分析サブバンド信号を指定する仕方は、数式(3)のインデックス値を打ち切る際に得られた残り(remainder)に基づいてもよく、すなわち数式(3)によって与えられる抽出インデックス値及び数式(3)から得られる打ち切られた整数値nの差分に基づいてもよい。残りが0.5より大きかった場合、インデックスnに対応する分析サブバンド信号は第2のブロック抽出部301-2に指定され、そうでなかった場合、分析サブバンド信号は第1のブロック抽出部301-1に指定されてもよい。この動作モードの場合、パラメータは、入力サブバンド信号が同じ複素周波数を共有するように設計される。

【0091】

【数14】

これは、離散的な時間周波数Qωを有する複素正弦波となる出力サブバンド信号をもたらす。そして、以下の関係が成り立つことが分かる。

【0092】

【数15】

相互積を用いて欠落した部分を生成する動作モードの場合、設計の基準は異なる。物理トランスポジション因子Q_φを再び考察するに、相互積加算(cross product addition)の目的は、周波数Ω及びΩ＋Ω₀が与えられている場合に、周波数Q_φΩ＋rΩ₀(r=1,...,Q_φ-1)において出力を生成することであり、Ω₀は入力信号の支配的なピッチ成分に属する基本周波数である。特許文献２で議論されているように、これらの項の選択的な加算により、調和級数の完全性をもたらしかつゴーストピッチアーチファクトを顕著に低減する。

【0093】

以下、クロス処理制御(cross processing control)404に関する方法を説明する。所与の出力サブバンドインデックスm、パラメータr=1,...,Q_φ-1及び基本周波数Ω₀に関し、以下の数式を近似的に解くことで近似的なソースサブバンドインデックスn₁及びn₂を近似することができる。

【0094】

【数16】

ここで、σ=1/2は奇数番目に(oddly)蓄積されたフィルタバンク変調の場合の値であり(典型的には、QMF及びMDCTフィルタバックに使用される)、σ=0は偶数番目に(evenly)蓄積されたフィルタバック変調の場合の値である(典型的には、FFTフィルタバンクに使用される)。

【0095】

これらの定義の場合、次式が成立する。

【0096】

・ p=Ω₀/Δf_A：分析フィルタバンクの周波数間隔を単位として測定された基本周波数、
・ F=Δf_s/Δf_A：分析フィルタバンクの周波数間隔に対する合成フィルタバンクの周波数間隔の商、
・ n^f=［(m＋σ)F-rp］/Q_φ−σ：整数値の低いソースインデックスに対する実数値ターゲット。

【0097】

数式(16)に対する有利な近似解の具体例は、n₁をn^fに最も近い整数とし、n₂をn^f＋pに最も近い整数とすることで得られる。

【0098】

基本周波数が分析フィルタバンク間隔よりも小さかった場合、すなわちp＜1であった場合、相互積の加算を相殺又はキャンセルすることが有利である。

【0099】

特許文献２に教示されているように、相互積(cross product)のないトランスポジションから既に顕著に大きな寄与が得られている出力サブバンドには、相互積は加算されるべきでない。更に、せいぜい1つの場合に、r=1,...,Q_φ-1が相互積出力に寄与すべきである。ここで、これらの規則又はルールは、ターゲットの出力サブバンドインデックスmの各々について以下の3つのステップを実行することでなされてもよい：
１．中心タイムスロットk=hkにおいて計算された候補のソースサブバンドの振幅|x⁽¹⁾|及び|x⁽²⁾|の最小値の全てのr=1,...,Q_φ-1のうち最大値M_Cを算出する。ソースサブバンドx⁽¹⁾及びx⁽²⁾は数式(16)におけるインデックスn₁及びn₂のように与えられる。

【0100】

２．インデックスn≒(F/Q_φ)m(数式3参照)と共にソースサブバンドから取得されたダイレクトソース項|x|について対応する大きさ又は振幅Msを算出する。

【0101】

３．上記のMc＞qMsの場合にのみ上記のポイント1(ステップ1)でM_Cについて勝ち残った候補からクロスターム(cross term)を選択する。ここで、qは所定の閾値である。

【0102】

上記の手順の変形例は特定のシステムコンフィギュレーションパラメータに依存することが望ましい。そのような変形例の１つは、ポイント3(ステップ3)の固定的な閾値を、M_C/M_Sの商に依存する緩和された規則で置換することである。別の変形例は、ポイント1(ステップ1)における最大化をQ_φ-1よりも大きく拡張することであり、例えば分析周波数間隔単位pで測定された基本周波数についての候補値の有限リストに拡張することである。更に別の変形例は、サブバンドの振幅についての別の量を使用することであり、例えば固定されたサンプルの振幅、振幅の最大値、振幅の平均値、l^pノルムによる振幅等が使用されてもよい。

【0103】

n₁及びn₂という値と共に相互積に追加するために選択されたターゲットサブバンドmのリストは、クロス処理制御データ403の主要な部分を形成する。残りの議論は、設定パラメータ又はコンフィギュレーションパラメータD₁、D₂、ρ、位相回転(13)に登場する非負の整数パラメータT₁、T₂、クロスサブバンド処理部402で使用される合成ウィンドウwに関する。相互積の状況に対して正弦波モデルを使用すると、以下のソースバンド信号が得られる。

【0104】

【数17】

ここで、ω=2πΩΔt_A及びω₀=2πΩ₀Δt_Aである。同様に、所望の出力サブバンドは次のような形式になる。

【0105】

【数18】

数式(15)が次式と共に成立する場合、そのターゲット出力が得られることが計算から分かる。

【0106】

【数19】

数式(15)及び(19)という条件は次の条件と等価である。

【0107】

【数20】

これは、数式(13)における位相調整に関する整数因子T₁、T₂を規定し、ダウンサンプリング因子D₁、D₂の値を設定する際に或る程度の設計の自由度をもたらす。有利なことに、振幅の重み付けパラメータはρ=r/Q_φに選択されてもよい。理解できるように、これらの設定パラメータはrを選択することにより基本周波数Ω₀のみに依存する。しかしながら、数式(18)が成立する場合、合成ウィンドウwについて新たな条件が登場する。

【0108】

【数21】

数式(21)を満たす合成ウィンドウwは、厳密に又は近似的に、クロス処理制御データ403の少なくとも一部として提供される。

【0109】

ターゲット出力サブバンドインデックスm及び基本周波数Ω₀のような入力パラメータに基づいてクロス処理制御データ403を計算するための上記のアルゴリズムは、本発明の性質を単に例示しているに過ぎず、本発明の範囲を限定するものではないことに留意を要する。当業者の技術常識及び日常経験により本開示内容の変形例−例えば、入力信号(17)に応答して出力のような信号(18)を提供する別のサブバンドブロック処理方法等−も本発明の範囲内に収まる。

【0110】

図5は改善されたHFRオーディオコーデックにおいて何らかの次数のトランスポジションを使用してサブバンドブロックに基づくトランスポジションを適用する場合の具体例を示す。送信されたビットストリームはコアデコーダ501で受信され、コアデコーダはfsというサンプリング周波数で低帯域幅復号コア信号を提供する。低帯域幅復号コア信号は、複素変調32バンドQMF分析バンク502により出力サンプリング周波数2fsにサンプリングし直され(再サンプリングされ)、複素変調32バンドQMF分析バンク502の後には(HFR処理部を介して)64バンドQMF合成バンク(逆QMF、IQMF)505が続く。2つのフィルタバンク502及び505は、同じ物理パラメータΔt_s=Δt_A及びΔf_s=Δf_Aを共有し、HFR処理部504は低帯域幅コア信号に対応する未修正の低サブバンドを通過させる。HFR処理部504により実行されるスペクトル整形及び修正により、多重トランスポーザ処理部503からの出力バンドと共に64QMF合成バンク505の高周波サブバンドを提供することで、出力信号の高周波成分が取得される。多重トランスポーザ処理部503は、復号されたコア信号を入力として取得し、複数のサブバンド信号を出力し、複数のサブバンド信号はいくつものトランスポーズされた信号成分の重ね合わせ又は合計による64QAMバンド分析を表現する。目的又は方針は、HFR処理が迂回又はバイパスされた場合に、信号成分の各々が、コア信号の時間伸縮なしに整数の物理トランスポジション(Q_φ=2,3,...及びS_φ=1)に対応するようにすることである。本発明の実施形態では、トランスポーザ制御信号404は基本周波数を示すデータを含んでいる。このデータは、対応するオーディオ符号器からのビットストリームにより送信されてもよいし(デコーダはピッチ検出を行う)、或いは送信され検出された情報の組み合わせから取得されてもよい。

【0111】

図6は単独の64バンドQMF分析フィルタバンクを適用する多重次サブバンドブロックベースのトランスポジションの動作を説明するための図である。3つのトランスポジション又はオーダ(orders)Q_φ=2,3,4が生成され、出力サンプリングレートが2fsで動作している64バンドQMFの領域で与えられる。

【0112】

多重部、合成部又は併合部603は、HFR処理部に与えられる複数のQMFサブバンドの内の1つのトランスポジション因子ブランチから関連するサブバンドを選択及び合成する。具体的な目的又は方針は、64バンドQMF分析部601、サブバンド処理部602-Q_φ、64バンドQMF合成部505の一連の処理が、S_φ=1(すなわち、伸縮なし)と共にQ_φの物理トランスポジションをもたらすことである。図1の101、102、103と共にこれら3つのブロックを特定することで、Δt_s/Δt_A=1/2及びF=Δf_s/Δf_A=2であるように、Δt_A=64f_s及びΔf_A=f_s/128であることが分かる。602-Q_φに関する具体的な設定パラメータの設計は、Q_φ=2,3,4の各々について別々に説明される。全ての場合について、分析ストライドはh=1に選択され、正規化された基本周波数パラメータp=Ω₀/Δf_A=128Ω₀/f_sは既知であることが仮定されている。

【0113】

先ず、Q_φ=2の場合を考察する。この場合、602-2はS=2のサブバンド伸張、Q=1(すなわち、伸縮なし)のサブバンドトランスポジションを実行しなければならず、ソースn及びターゲットサブバンドmの間の対応関係はダイレクトな(direct)サブバンド処理についてn=mにより与えられる。相互積加算の処理の途中において、唯1つの考察すべき相互積が存在し(すなわち、r=1)(上記の数式(15)以降参照)、数式(20)はT₁=T₂=1及びD₁+D₂=1のように簡略化される。解の一例は、D₁=0及びD₂=1を選択することである。直接的な処理合成ウィンドウの場合、R₁=R₂=5と共に長さL=10の四角形ウィンドウが、条件(10)を満たすものとして使用されてもよい。クロス処理合成ウィンドウの場合、R₁=R₂=1と共に短いL=2のタップウィンドウが使用され、相互積加算の追加的な複雑さを最小化する。そして、サブバンド処理に長いブロックを使用した場合の有利な効果は、複素オーディオ信号のばあいに最も顕著になり、その場合、望まれない相互変調の項が抑圧されており、支配的なピッチの場合、そのようなアーチファクトが生じる確率は低い。L=2のタップウィンドウは、h=1及びS=2なので、数式(10)を満たすことが可能な最も小さなものである。しかしながら本発明は数式(21)を満足することもできる。その場合、パラメータは次のように規定される。

【0114】

【数22】

これは、w(0)=1及びw(-1)=exp(iα)=exp(iπp/2)のように選択することで充足される。

【0115】

Q_φ=3の場合、数式(1)-(3)による602-3の仕様又は行うことは、S=2のサブバンド伸張、及びQ=3/2のサブバンドトランスポジションを実行しなければならないことであり、直接的な項の処理に関するターゲットmサブバンド及びソースnサブバンド間の関係は、n≒2m/3により与えられる。2種類の相互積項r=1,2が存在し、数式(20)は次のように簡略化される。

【0116】

【数23】

例示的な解は次のようなダウンサンプリングパラメータを選択することから成る。

【0117】

・ D₁=0及びD₂=3/2 (r=1の場合)
・ D₁=3/2及びD₂=0 (r=2の場合)
直接的な処理合成ウィンドウの場合、R₁=R₂=4と共に長さL=8の四角形ウィンドウが使用されてもよい。クロス処理合成ウィンドウの場合、R₁=R₂=1と共にL=2タップの短いウィンドウが使用され、次式を満たしてもよい。

【0118】

【数24】

これは、w(0)=1及びw(-1)=exp(iα)のように選択することで充足される。

【0119】

Q_φ=4の場合、数式(1)-(3)による602-4の仕様又は行うことは、S=2のサブバンド伸張、及びQ=2のサブバンドトランスポジションを実行しなければならないことであり、直接的な項の処理に関するターゲットmサブバンド及びソースnサブバンド間の関係は、n≒2mにより与えられる。3種類の相互積項r=1,2,3が存在し、数式(20)は次のように簡略化される。

【0120】

【数25】

例示的な解は次のようなダウンサンプリングパラメータを選択することから成る。

【0121】

・ D₁=0及びD₂=2 (r=1の場合)
・ D₁=0及びD₂=1 (r=2の場合)
・ D₁=2及びD₂=0 (r=3の場合)
ダイレクト処理合成ウィンドウの場合、R₁=R₂=3と共に長さL=6の四角形ウィンドウが使用されてもよい。クロス処理合成ウィンドウの場合、R₁=R₂=1と共にL=2タップの短いウィンドウが使用され、次式を満たしてもよい。

【0122】

【数26】

これは、w(0)=1及びw(-1)=exp(iα)のように選択することで充足される。

【0123】

1より大きなrの値が適用可能な上記の例の各々において、例えば数式(17)より前に説明した3ステップ手順と同様な選択肢が存在する。

【0124】

図7は基本周波数Ω₀=564.7Hzのハーモニック信号の振幅スペクトルを示す。この信号の低周波数部分701が複数のトランスポーザの入力として使用される。トランスポーザの目的は入力信号の高周波数部分702に可能な限り近い信号を生成し、高周波数部分702の送信が必須でないようにしかつ利用可能なビットレートを経済的に使用できるようにすることである。

【0125】

図8は図7の信号の低い周波数分701を入力として有するトランスポーザからの出力の振幅スペクトルを示す。図5に関する説明に従って、入力サンプリング周波数fs=14400Hzで64バンドQMFフィルタバンクを使用することで複数のトランスポーザが構築されている。
しかしながら、簡明化のため、2つのトランスポジション次数Q_φ=2,3のみを考察する。
3つの異なるスペクトル801-803は、異なる設定のクロス処理制御データを用いて取得された最終的な出力を表す。

【0126】

上段にあるスペクトル801では、全てのクロス処理がキャンセルされ、ダイレクトな(直接的な)サブバンド処理401のみが行われたばあいに取得された出力スペクトルを示す。これは、クロス処理制御データ404がp=0(ピッチなしの指示)を受けた場合である。Q_φ=2のトランスポジションは4ないし8kHzの範囲内の出力を生成し、Q_φ=3のトランスポジションは8ないし12kHzの範囲内の出力を生成する。図示されているように、生成された部分は大きく離れており、出力は(本来の)高周波数部分702から大幅に逸脱している。聴き取れてしまう2倍及び3倍の「ゴーストピッチ」アーチファクトが、結果のオーディオ出力中に生じてしまう。

【0127】

中段にあるスペクトル802では、クロス処理が行われ、ピッチパラメータp=5が使用されているが(近似的に128Ω₀/fs=5.0196に等しい)、数式(10)を満たしてはいるもののw(0)=w(-1)=1である簡易な2タップの合成ウィンドウが、クロスサブバンド処理に使用されている。これは、サブバンドブロックに基づく処理と改善された相互積ハーモニックトランスポジションとの直接的な組み合わせによるものである。図示されているように、801にはない追加的な出力信号成分が、所望のハーモニック系列に整合していない。これは、上記の手順を使用して、相互積の処理による直接的なサブバンド処理の設計による影響を相殺するには不十分なオーディオ品質を招いてしまうことを示す。

【0128】

下段にあるスペクトル803では、中段のスペクトル802と同様な出力スペクトルを示すが、図5のQ_φ=2,3に関する数式により与えられるクロスサブバンド処理合成ウィンドウが使用されている点が異なる。すなわち、w(0)=1及びw(-1)=exp(iα)による2タップウィンドウが数式(21)を満たし、pの値に依存する本発明による特徴を使用している。図示されているように、合成された出力信号は所望の高調波部分702に良く整合している。

【0129】

図9は非線形処理フレーム処理部202の部分を示し、非線形処理フレーム処理部202は、2つの入力サンプルu₁、u₂を受信しかつそれらに基づいて処理サンプル(処理サンプル)wを生成し、処理サンプルの振幅は入力サンプルの振幅の幾何平均により与えられ、処理サンプルの位相は入力サンプルの位相の線形結合である。すなわち、次式のように表現できる。

【0130】

【数27】

事前正規化部901、902各々において各自の入力サンプルu₁、u₂各々を正規化し、事前に正規化した入力サンプルν₁=u₁/|u₁|^a及びν₂=u₂/|u₂|^bをウェイト乗算部910で乗算してw=ν₁^αν₂^βを生成することで、開示される発明により処理サンプルwを取得することが可能である。明らかに、事前正規化部901、902及びウェイト乗算部910の動作は入力パラメータa、b、α及びβにより決定される。α=T₁、β=T₂、a=1-ρ/T₁、b=1-(1-ρ)/T₂である場合に数式(22)が満たされることは容易に確認できる。当業者はこの配置を任意の数N₀の入力サンプルの場合に一般化することができ、その場合、乗算部にはN₀個の入力サンプルが与えられ、入力サンプルの全部又は一部が事前に正規化される。パラメータρがρ=T1/(T1+T2)に設定されていた場合、共通の事前正規化部を設けることも可能である(a=b、事前正規化部901、902が同じ結果をもたらすことになる場合である)。これは多くのサブバンドが存在する場合に演算負担の観点から有利である。なぜなら、乗算の前に候補のサブバンド全てに共通する事前正規化処理を効率的に実行できるからである。有利なハードウェア実現手段の場合、複数の同一の機能の事前正規化部が1つの事前正規化部で置換され、様々なサブバンドからのサンプルを時間分割方式で交互に処理してもよい。

【0131】

本発明に関する更なる実施の形態は上記の説明を理解すれば当業者にとって自明であろう。本説明及び図面は実施の形態や具体例を示しているが、本発明はそれらの特定の例に限定されない。添付の特許請求の範囲によって規定される本発明の範囲から逸脱することなく、多数の修正例及び変形例が可能である。

【0132】

本願により開示されたシステム及び方法等はソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせとして実現されてもよい。全部又は一部の要素が、ディジタル信号プロセッサ又はマイクロプロセッサにより実行されるソフトウェアとして実現されてもよいし、或いはハードウェアとして若しくは特定用途向け集積回路として実現されてもよい。そのようなソフトウェアはコンピュータで読み取ることが可能な記憶媒体に保存されてもよく、記憶媒体はコンピュータ読み取り可能な媒体(又は一時的ではない媒体)を含むが、媒体自体は通信媒体(一時的な媒体)を含む概念である。当業者に知られているように、コンピュータ記憶媒体は、揮発性媒体、不揮発性媒体、着脱可能な媒体、着脱可能でない媒体等を含み、コンピュータで読み取ることが可能な命令、データ構造、プログラムモジュール又はその他のデータ等のような情報を保存する何らかの方法又は技法で実現されている。コンピュータ記憶媒体は、限定ではないが、RAM、ROM、EEPROM、フラッシュメモリその他の方式のメモリ、CD-ROM、ディジタル多用途ディスク(DVD)又はその他の光ディスク媒体、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気記憶装置等でもよく、或いは所望の情報を保存するために使用可能でありかつコンピュータがアクセスできるその他の任意の媒体であってもよい。更に、通信媒体は、典型的には、コンピュータで読み取ることが可能な命令、データ構造、プログラムモジュールにより実現されてもよく、或いは搬送波又は伝送手段のような変調されたデータ信号におけるその他のデータにより実現されてもよく、任意の情報搬送手段を含んでよいことを、当業者は理解しているであろう。

【先行技術文献】

【特許文献】

【0133】

【特許文献1】国際公開第９８／５７４３６号

【特許文献2】国際公開第２０１０／０８１８９２号

【特許文献3】国際公開第２００４／０９７７９４号

【特許文献4】国際公開第２００７／０８５２７５号

【0134】

（付記１）
入力信号から時間伸縮信号及び/又は周波数トランポーズド信号を生成する信号生成システムであって、
Y(Y≧1)個の分析サブバンド信号の各々が、位相及び振幅を有する複素分析サンプルを複数個有するY個の分析サブバンド信号を、前記入力信号から導出する分析フィルタバンクと、
サブバンドトランスポジション因子Q及びサブバンド伸縮因子Sを用いて、前記Y個の分析サブバンド信号から合成サブバンド信号を生成するサブバンド処理部と、
前記時間伸縮信号及び/又は周波数トランスポーズド信号を前記合成サブバンド信号から生成する合成フィルタバンクと
を有し、前記Q及びSの少なくとも一方は1より大きく、前記サブバンド処理部は、ブロック抽出部と、非線形フレーム処理部と、オーバーラップ加算部とを有し、
前記ブロック抽出部は、
i)L個の入力サンプルからY個のフレームを生成し、前記フレームの各々は分析サブバンド信号の複数の複素分析サンプルから抽出され、前記フレームの長さはL(L＞1)であり、
ii)L個の入力サンプルの以後のフレームを生成する前に、複数の複素分析サンプルにhサンプルのブロックホップサイズを適用することで、一連の入力サンプルのフレームを生成し、
前記非線形フレーム処理部は、前記フレームの処理されるサンプル(処理サンプル)各々の位相及び振幅を判定することで、前記ブロック抽出部により生成された入力サンプルのY個の対応するフレームに基づいて、処理サンプルのフレームを生成し、少なくとも1つの処理サンプルについて、
i)前記処理サンプルの前記位相は、入力サンプルの前記Y個のフレーム各々において対応する入力サンプル各自の位相に基づいており、
ii)前記処理サンプルの前記振幅は、入力サンプルの前記Y個のフレーム各々において対応する入力サンプル各自の位相に基づいており、
前記オーバーラップ加算部は、処理サンプルの一連のフレームのサンプルをオーバーラップさせながら加算することで前記合成サブバンド信号を生成し、
当該信号生成システムは少なくともY=2の場合に動作する、信号生成システム。
（付記２）
前記分析フィルタバンクは、直交ミラーフィルタバンク、ウィンドウ処理された離散フーリエ変換又はウェーブレット変換の内の何れかであり、
前記合成フィルタバンクは、対応する逆フィルタバンク又は変換である、付記１に記載の信号生成システム。
（付記３）
前記分析フィルタバンクは64ポイント直交ミラーフィルタバンクであり、前記合成フィルタバンクは逆64ポイント直交ミラーフィルタバンクである、付記２に記載の信号生成システム。
（付記４）
前記分析フィルタバンクが分析時間進行幅Δt_Aを前記入力信号に適用し、
前記分析フィルタバンクが分析周波数間隔Δf_Aを使用し、
n=0,...,N-1が分析サブバンドインデックスであり、前記分析フィルタバンクがN個の分析サブバンドを有し、
前記N個の分析サブバンドに属する或る分析サブバンドが前記入力信号の周波数バンドに関連付けられ、
前記合成フィルタバンクが合成時間進行幅Δt_sを前記合成サブバンド信号に適用し、
前記合成フィルタバンクが合成周波数間隔Δf_sを使用し、
m=0,...,M-1が合成サブバンドインデックスであり、前記合成フィルタバンクがM個の合成サブバンドを有し、
前記M個の合成サブバンドに属する或る合成サブバンドが前記時間伸縮信号及び/又は前記周波数トランスポーズド信号の周波数バンドに関連付けられる、付記１−３の何れか１項に記載の信号生成システム。
（付記５）
前記サブバンド処理部がY=2について形成されかつクロス処理制御部を更に有し、前記クロス処理制御部は、前記入力信号の基本周波数Ω₀及び分析周波数間隔Δf_Aの比率の近似である整数pの分だけサブバンドインデックスが異なることになるように、前記分析サブバンド信号に関連するサブバンドインデックスn₁、n₂を規定するクロス処理制御データを生成する、付記４に記載の信号生成システム。
（付記６）
前記サブバンド処理部がY=2について形成されかつクロス処理制御部を更に有し、前記クロス処理制御部は、前記分析サブバンド信号及び分析サブバンドインデックスmに関連するサブバンドインデックスn₁、n₂を規定するクロス処理制御データを生成し、前記サブバンドインデックスは以下の方程式の近似的な解に関連し、

【数28】

Ω₀は前記入力信号の基本周波数であり、
σ=0又は1/2であり、
Q=(Δt_s/Δt_A)Q_φであり、
rは、1≦r≦Q_φ-1を満たす整数である、付記４に記載の信号生成システム。
（付記７）
分析サブバンド信号から分析サンプルを抽出することで形成された2つのサンプルのサブバンドの振幅の最小値を最大化するrの値に、前記サブバンドインデックスn1、n2が基づくように、前記クロス処理制御部がクロス処理制御データを生成する、付記６に記載の信号生成ステム。
（付記８）
L個の入力サンプルのフレーム各々の前記サブバンドの振幅が、中心の又は中心に近いサンプルの振幅である、付記７に記載の信号生成システム。
（付記９）
前記ブロック抽出部が、分析サブバンド信号の前記複素分析サンプルをダウンサンプリングすることで、入力サンプルの少なくとも1つのフレームを導出する、付記１−８の何れか１項に記載の信号生成システム。
（付記１０）
Y=2であり、前記ブロック抽出部が、第1及び第2の分析サブバンド信号の前記複素分析サンプルをダウンサンプリング因子D₁及びD₂によりダウンサンプリングすることで、入力サンプルの第1及び第2のフレームを導出し、前記ダウンサンプリング因子D₁及びD₂は、

【数29】

を満たし、D₁≧0、D₂＞0又はD₁＞0、D₂≧0であり、
前記非線形フレーム処理部は、入力サンプルの第1及び第2のフレームにおける対応する入力サンプルの位相各々についての非負の整数係数を用いた線形結合に基づいて、処理サンプルの位相を決定する、付記９に記載の信号生成システム。
（付記１１）
前記サブバンド処理部が、前記オーバーラップ加算部の上流側にウィンドウ処理部を更に有し、前記ウィンドウ処理部は、処理サンプルの前記フレームに有限長ウィンドウ関数を適用する、付記１−１０の何れか１項に記載の信号生成システム。
（付記１２）
前記ウィンドウ関数はフレーム長Lに対応する長さを有し、前記ウィンドウ関数は、
ガウシアンウィンドウ、
コサインウィンドウ、
レイズドコサインウィンドウ、
ハミングウィンドウ、
ハン(Hann)ウィンドウ、
方形ウィンドウ、
バートレットウィンドウ、及び
ブラックマンウィンドウ
のうちの何れかである、付記１１に記載の信号生成システム。
（付記１３）
前記ウィンドウ関数が複数のウィンドウサンプルを有し、Shのホップサイズと共にシフトされかつ複素ウェイトで重み付けされる場合に、複数のウィンドウ関数に属するオーバーラップ加算されたウィンドウサンプルが、実質的に一定のシーケンスを形成する、
複数のウィンドウサンプルをオーバーラップさせて加算したウィンドウサンプルが、実質的に一定のシーケンスを形成する、付記１１に記載の信号生成システム。
（付記１４）
一連の複素ウェイトが一定の位相回転の分だけそれぞれ異なっている、付記１３に記載の信号生成システム。
（付記１５）
前記位相回転が前記入力信号の基本周波数に比例している、付記１４に記載の信号生成システム。
（付記１６）
前記オーバーラップ加算部が或るホップサイズを一連の処理サンプルに適用し、前記ホップサイズはブロックホップサイズhに前記サブバンド伸縮因子Sを乗じたものに等しい、付記１−１５の何れか１項に記載の信号生成システム。
（付記１７）
少なくともY=1及びY=2について動作する付記１−１６の何れか１項に記載の信号生成システム。
（付記１８）
更に、少なくともY≧3について動作する付記１−１７の何れか１項に記載の信号生成システム。
（付記１９）
Y=2であり、前記フレーム処理部が、入力サンプルの第１フレームにおける対応する入力サンプルの振幅と、入力サンプルの第２フレームにおける対応する入力サンプルの振幅との平均値として、前記処理サンプルの振幅を決定する、付記１−１８の何れか１項に記載の信号生成システム。
（付記２０）
前記非線形フレーム処理部が、前記処理サンプルの振幅を重み付けされた幾何平均値として決定する、付記１９に記載の信号生成システム。
（付記２１）
幾何平均の重み付けパラメータがρ及び1-ρであり、ρはサブバンドトランスポジション因子Qに逆比例する実数である、付記２０に記載の信号生成システム。
（付記２２）
Y=2であり、前記非線形フレーム処理部が、非負の整数係数(T₁,T₂)を用いた線形結合に基づいて、前記処理サンプルの位相を決定し、前記非負の整数係数各自の位相は入力サンプルの第１及び第２フレームにおける入力サンプルに対応する、付記１−２１の何れか１項に記載の信号生成システム。
（付記２３）
前記整数係数の合計がサブバンドトランスポジション因子Q及びサブバンド伸縮因子Sの積(Q×S)である、付記２２に記載の信号生成システム。
（付記２４）
前記処理サンプルの位相が、前記位相の線形結合に位相補正パラメータθを加えたものに対応する、付記２２に記載の信号生成システム。
（付記２５）
前記ブロック抽出部が入力サンプルを導出するために2つ以上の分析サンプルを補間する、付記１−２４の何れか１項に記載の信号生成システム。
（付記２６）
当該信号生成システムが制御データを受信する制御データ受信部を更に有し、前記サブバンド処理部が前記制御データを考慮に入れて前記合成サブバンド信号を決定する、付記１−２５の何れか１項に記載の信号生成システム。
（付記２７）
Y=2であり、前記制御データが前記入力信号の基本周波数Ω₀を示し、周波数間隔が前記基本周波数に比例するように、前記処理サンプルを導出する前記分析サブバンドを前記サブバンド処理部が決定する、付記２６に記載の信号生成システム。
（付記２８）
前記非線形処理部が、
入力サンプルのY個のフレームの少なくとも1つにおいて対応する入力サンプルの振幅を調整し直す事前正規化部と(ν_m=u_m/|u_m|^βm)と、
入力サンプルのYフレームのうち少なくとも2つにおける対応する入力サンプルに等しい因子についての重み付け複素積である

【数30】

を計算することで、前記処理サンプルを決定する複素乗算部と
を有し、前記因子の少なくとも1つは(ν_m，m∈M≠φ)前記事前正規化部により調整された振幅のサンプルから導出される、付記１−２７の何れか１項に記載の信号生成システム。
（付記２９）
Y=2であり、当該信号生成システムが、
前記入力信号から第1及び第2の分析サブバンド信号を導出する分析フィルタバンクと、
前記第1及び第2の分析サブバンド信号から合成サブバンド信号を決定するサブバンド処理部と、
前記合成サブバンド信号から前記時間伸縮信号及び/又は周波数トランスポーズド信号を生成する合成フィルタバンクと
を有し、前記サブバンド処理部は、第1のブロック抽出部と、第2のブロック抽出部と、非線形フレーム処理部と、オーバーラップ加算部とを有し、
前記第1のブロック抽出部は、i)第1の分析サブバンド信号における複数の複素分析3ブルから、フレーム長がLであるようにL個の入力サンプルの第1のフレームを形成し、ii) L個の入力サンプルの後続のフレームを形成する前に、hサンプルのブロックホップサイズを前記複数の分析サンプルに適用することで、入力サンプルのフレームの第1のシーケンスを生成し、
前記第2のブロック抽出部は、i)前記第2の分析サブバンド信号における前記複数の複素分析3ブルからL個の入力サンプルの第2のフレームを形成し、ii) L個の入力サンプルの後続のフレームを形成する前に、hサンプルのブロックホップサイズを前記複数の分析サンプルに適用することで、入力サンプルのフレームの第2のシーケンスを生成し、
前記非線形フレーム処理部は、入力サンプルの前記第1及び第2のフレームに基づいて、処理サンプルのフレームを生成し、
前記オーバーラップ加算部は、前記合成サブバンド信号を生成する、付記１−２８の何れか1項に記載の信号生成システム。
（付記３０）
当該信号生成システムが、複数のサブバンド処理部と前記複数のサブバンド処理部の下流側であって前記合成フィルタバンクの上流側に設けられた合成部とを更に有し、
前記複数のサブバンド処理部の各々は、前記サブバンドトランスポジション因子Q及び/又は前記サブバンド伸縮因子Sの異なる値を使用して、中間的な合成サブバンド信号を生成し、
前記合成部は前記合成サブバンド信号を決定するために対応する中間的な合成サブバンド信号を合成する、付記１−２９の何れか１項に記載の信号生成システム。
（付記３１）
当該信号生成システムが、
前記分析フィルタバンクの上流側に設けられ、ビットストリームを前記入力信号に復号するコアデコーダと、
前記合成部の下流側であって前記合成フィルタバンクの上流側に設けられた高周波再構成(HFR)処理部とを更に有し、
前記HFR処理部は、前記合成サブバンド信号のスペクトル整形を実行すること等により、前記ビットストリームから導出されたスペクトルバンド情報を前記合成サブバンド信号に適用する、付記３０に記載の信号生成システム。
（付記３２）
前記サブバンド処理部の少なくとも1つが、ダイレクトサブバンド処理部であり、サブバンドトランスポジション因子Q及びサブバンド伸縮因子Sを用いて1つの分析サブバンド信号から1つの合成サブバンド信号を決定し、
少なくとも1つがクロスサブバンド処理部であり、前記のS及びQとは異なるサブバンドトランスポジション因子Q及びサブバンド伸縮因子Sを用いて2つの分析サブバンド信号から1つの合成サブバンド信号を決定する、付記３０に記載の信号生成システム。
（付記３３）
Y=2であり、
前記分析フィルタバンクは分析時間進行幅Δt_Aを前記入力信号に適用し、
前記分析フィルタバンクは分析周波数間隔Δf_Aを使用し、
前記分析フィルタバンクはN個の分析サブバンドを有し、N＞1であり、n=0,...,N-1は分析サブバンドインデックスであり、N個の分析サブバンドに属する分析サブバンドは前記入力信号の周波数バンドに関連し、
前記合成フィルタバンクは合成時間進行幅Δt_sを前記合成サブバンド信号に適用し、
前記合成フィルタバンクは合成周波数間隔Δf_sを使用し、
前記合成フィルタバンクはM個の合成サブバンドを有し、M＞1であり、m=0,...,M-1は合成サブバンドインデックスであり、M個の合成サブバンドに属する合成サブバンドは前記時間伸張信号及び/又は周波数トランスポーズド信号に関連し、
当該信号生成システムは、所与の合成サブバンドについて、以下の(a)-(c)の条件の何れかが満たされる場合に、少なくとも1つのクロスサブバンド処理部を不活性化し、
(a)の条件は、合成サブバンドをもたらすダイレクトソース項の分析サブバンドの振幅M_Sと合成サブバンドをもたらすクロスソース項の最適ペアにおける最小値M_Cとの比率が所定値qより大きいことであり、
(b)の条件は、前記合成サブバンドがダイレクト処理部において大きな寄与をもたらすことであり、
(c)の条件は、基本周波数Ω₀が前記分析フィルタバンクの間隔Δf_Aより小さいことである、付記３２に記載の信号生成システム。
（付記３４）
前記分析フィルタバンクが前記入力信号からY×Z個の分析サブバンド信号を形成し、
前記サブバンド処理部が、前記Y×Z個の分析サブバンド信号からZ個の合成サブバンド信号を生成し、或る合成サブバンド信号の基礎となっているY個の分析サブバンド信号のグループ各々についてS及びQの値のペアを適用し、
前記合成フィルタバンクが、前記Z個の合成サブバンド信号からZ個の時間伸縮信号及び/又は周波数トランスポーズド信号を生成する、付記１−３３の何れか１項に記載の信号生成システム。
（付記３５）
入力信号から時間伸縮信号及び/又は周波数トランポーズド信号を生成する信号生成方法であって、
前記入力信号からY(Y≧2)個の分析サブバンド信号を導出するステップであって、前記分析サブバンド信号の各々は、位相及び振幅を有する複素分析サンプルを複数個有する、ステップと、
L個の入力サンプルのY個のフレームを形成するステップであって、各フレームは分析サブバンド信号の前記複数の複素分析サンプルから抽出され、前記フレームの長さはLである、ステップと、
L個の入力サンプルの後続のフレームを導出する前に、hサンプルのブロックホップサイズを前記複数の分析サンプルに適用することで、入力サンプルのフレームのシーケンスを生成するステップと、
入力サンプルのY個の対応するフレームに基づいて、前記フレームの処理されるサンプル(処理サンプル)各々について位相及び振幅を判定することで、処理サンプルのフレームを生成し、少なくとも1つの処理されるフレームについて、i)前記処理サンプルの位相が、入力サンプルのY個のフレーム各々における対応する入力サンプルの位相各々に基づいており、ii)前記処理サンプルの振幅が、入力サンプルのY個のフレーム各々における対応する入力サンプルの振幅各々に基づいている、ステップと、
処理サンプルのフレームのシーケンスの中のサンプルをオーバーラップさせながら加算することで、合成サブバンド信号を決定するステップと、
前記時間伸縮信号及び/又は周波数トランスポーズド信号を前記合成サブバンド信号から生成するステップと
を有する信号生成方法。
（付記３６）
処理サンプルのフレームが、入力サンプルのY=2の対応するフレームに基づいており、前記入力信号の基本周波数Ω₀だけ近似的に相違する周波数を表す2つの分析サブバンド信号からサンプルを抽出することで形成される、付記３５に記載の信号生成方法。
（付記３７）
処理サンプルのフレームが、入力サンプルのY=2の対応するフレームに基づいており、周波数Ω及びΩ+Ω0を近似的に表現する2つの分析サブバンド信号からサンプルを抽出することで形成され、
前記合成サブバンド信号は、Q_φ+rΩ₀である周波数を近似的に表現し、rは1≦r≦Q_φ-1を満たす整数であり、Q=(Δt_s/Δt_A)Q_φであり、ΔtA及びΔtsはそれぞれ分析時間進行幅及び合成時間進行幅である、付記３５又は３６に記載の信号生成方法。
（付記３８）
周波数Ω及びΩ+Ω₀を表現する分析サブバンド信号から抽出された入力サンプルの2つのフレームのサブバンドの振幅のうち小さい方を最大化するように、前記基本周波数Ωが選択される、付記３７に記載の信号生成方法。
（付記３９）
入力サンプルのフレームの前記サブバンドの振幅が中央又は中央付近のサンプルの振幅である、付記３８に記載の信号生成方法。
（付記４０）
入力サンプルのフレームを生成する際に、分析サブバンド信号の前記複素分析サンプルをダウンサンプリングする、付記３５−３９の何れか１項に記載の信号生成方法。
（付記４１）
処理サンプルのフレームが、入力サンプルのY=2個の対応するフレームに基づいており、
入力サンプルの第1のフレームはダウンサンプリング因子D₁を適用しながら第1の分析サブバンド信号のサンプルから抽出され、
入力サンプルの第2のフレームはダウンサンプリング因子D₂を適用しながら第2の分析サブバンド信号のサンプルから抽出され、
前記第1及び第2のダウンサンプリング因子は、

【数31】

を満たし、D₁≧0、D₂＞0又はD₁＞0、D₂≧0であり、
入力サンプルの第1及び第2のフレームにおける対応する入力サンプルの位相各々についての非負の整数係数T₁、T₂を用いた線形結合に基づいて、処理サンプルの位相が決定される、付記４０に記載の信号生成方法。
（付記４２）
前記サブバンド信号を判定する際に、オーバーラップ加算の前に、処理サンプルのシーケンスのフレーム各々に有限長ウィンドウ関数を適用する、付記３５−４１の何れか１項に記載の信号生成方法。
（付記４３）
前記ウィンドウ関数はフレーム長Lに対応する長さを有し、前記ウィンドウ関数は、
ガウシアンウィンドウ、
コサインウィンドウ、
レイズドコサインウィンドウ、
ハミングウィンドウ、
ハン(Hann)ウィンドウ、
方形ウィンドウ、
バートレットウィンドウ、及び
ブラックマンウィンドウ
のうちの何れかである、付記４２に記載の信号生成方法。
（付記４４）
前記ウィンドウ関数が複数のウィンドウサンプルを有し、Shのホップサイズと共にシフトされかつ複素ウェイトで重み付けされる場合に、複数のウィンドウ関数に属するオーバーラップ加算されたウィンドウサンプルが、実質的に一定のシーケンスを形成する、付記４２に記載の信号生成方法。
（付記４５）
一連の複素ウェイトが一定の位相回転の分だけそれぞれ異なっている、付記４４に記載の信号生成方法。
（付記４６）
前記位相回転が前記入力信号の基本周波数に比例している、付記４５に記載の信号生成方法。
（付記４７）
前記合成サブバンド信号を判定する際に、ブロックホップサイズhに前記サブバンド伸縮因子Sを乗じたものに等しいホップサイズを適用することで、処理サンプルの一連のシーケンスをオーバーラップさせる、付記３５−４６の何れか１項に記載の信号生成方法。
（付記４８）
処理されるフレームが入力サンプルのY=2個の対応するフレームに基づいており、
入力サンプルの第１フレームにおける対応する入力サンプルの振幅と、入力サンプルの第２フレームにおける対応する入力サンプルの振幅との平均値として、前記処理サンプルの振幅が決定される、付記３５−４７の何れか１項に記載の信号生成方法。
（付記４９）
前記振幅の平均値が、重み付けされた幾何平均値である、付記４８に記載の信号生成方法。
（付記５０）
幾何平均の重み付けパラメータがρ及び1-ρであり、ρはサブバンドトランスポジション因子Qに逆比例する実数である、付記４９に記載の信号生成方法。
（付記５１）
処理されるフレームが入力サンプルのY=2個の対応するフレームに基づいており、
入力サンプルの第１及び第２フレームにおける対応する入力サンプルの位相に関する非負の整数係数(T₁,T₂)を用いた線形結合として、前記処理サンプルの位相が決定される、付記３５−５０の何れか１項に記載の信号生成方法。
（付記５２）
前記非負の整数係数の合計がサブバンドトランスポジション因子Q及びサブバンド伸縮因子Sの積(Q×S)である、付記５１に記載の信号生成方法。
（付記５３）
前記処理サンプルの位相が、前記線形結合に位相補正パラメータθを加えたものに対応する、付記５１に記載の信号生成方法。
（付記５４）
少なくとも１つの入力サンプルが、2つ以上の分析サンプルを補間することで導出される、付記３５−５３の何れか１項に記載の信号生成方法。
（付記５５）
処理サンプルのフレームを生成する際に考慮に入れる制御データを受信するステップを更に有する付記３５−５４の何れか１項に記載の信号生成方法。
（付記５６）
処理サンプルのフレームが入力サンプルのY=2個の対応するサンプルであり、
前記制御データが前記入力信号の基本周波数Ω₀を示し、
各フレームの前記入力サンプルが抽出された2つの分析サブバンドが、前記基本種は数の分だけ異なる周波数を表現する、付記５５に記載の信号生成方法。
（付記５７）
前記処理サンプルのフレームを生成する際に、
少なくとも1つの入力サンプルの振幅を調整し直し、
入力サンプルのYフレームのうち少なくとも2つにおける対応する入力サンプルに等しい因子についての重み付け複素積である

【数32】

を処理サンプルとして計算し、
前記因子の少なくとも1つは(ν_m=u_m/|u_m|^βm，m∈M≠φ)再調整された振幅の入力サンプルである、付記３５−５６の何れか１項に記載の信号生成方法。
（付記５８）
当該信号生成方法が、複数の中間的な合成サブバンド信号を生成するステップを更に有し、前記複数の中間的な合成サブバンド信号の各々は、入力サンプルの複数の対応するフレームに基づいて、前記サブバンドトランスポジション因子Q及び/又は前記サブバンド伸縮因子Sの異なる値を使用して生成され、
前記合成サブバンド信号を決定する際に、対応する中間的な合成サブバンド信号を合成する、付記３５−３７の何れか１項に記載の信号生成方法。
（付記５９）
分析サブバンド信号が導出されることになる前記入力信号を取得するためにビットストリームを復号するステップと、
前記合成サブバンド信号のスペクトル整形を実行すること等により、前記ビットストリームから導出されたスペクトルバンド情報を前記合成サブバンド信号に適用するステップと、
を更に有する付記５８に記載の信号生成方法。
（付記６０）
前記中間的な合成サブバンド信号の少なくとも1つが、サブバンドトランスポジション因子Q及びサブバンド伸縮因子Sを用いて1つの分析サブバンド信号に基づいてダイレクトサブバンド処理を行うことにより生成され、
前記中間的な合成サブバンド信号の少なくとも1つが、前記のS及びQとは異なるサブバンドトランスポジション因子Q及びサブバンド伸縮因子Sを用いて2つの分析サブバンド信号に基づいて相互積処理を行うことにより生成される、付記５８に記載の信号生成方法。
（付記６１）
相互積処理を行うことで中間的な合成サブバンド信号を生成することが、以下の(a)-(c)の条件の何れかが満たされた場合に中止され、
(a)の条件は、合成サブバンドをもたらすダイレクトソース項の分析サブバンドの振幅M_Sと合成サブバンドをもたらすクロスソース項の最適ペアにおける最小値M_Cとの比率が所定値qより大きいことであり、
(b)の条件は、前記合成サブバンドがダイレクト処理部において大きな寄与をもたらすことであり、
(c)の条件は、基本周波数Ω₀が前記分析フィルタバンクの間隔Δf_Aより小さいことである、付記60に記載の信号生成方法。
（付記６２）
Y×Z個の分析サブバンド信号が導出され、
入力サンプルのY×Z個のフレームが形成され、
入力サンプルのY×Z個の対応するフレームが、処理サンプルのZ個のフレームを生成するために使用され、
Z個の合成サブバンド信号が決定され、
Z個の時間伸張信号及び/又は周波数トランスポーズド信号が生成される、付記３５−６１の何れか１項に記載の信号生成方法。
（付記６３）
付記３５−６２の何れか１項に記載の信号生成方法を信号生成装置に実行させるコンピュータプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】