【文献】
JIE DONG,et al.,2-D ORDER-16 INTEGER TRANSFORMS FOR HD VIDEO CODING,IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,米国,IEEE SERVICE CENTER,2009年 7月 7日,Vol.19,No.10,P.1462-P.1474
【文献】
Yoon Mi Hong,et al.,Low-complexity 16x16 and 32x32 transforms and partial frequency transform,Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting:Guangzhou,CN,7-15 October,2010,米国,JCTVC,2010年10月 2日,JCTVC-C209,P.1-P.8,URL,http://phenix.it-sudparis.eu/jct/index.php
(58)【調査した分野】(Int.Cl.,DB名)
前記メモリは、前記偶数変換および奇数変換を生成し、ならびに、前記メモリに格納するための前記プロセッサにより実行可能な命令をさらに備えていることを特徴とする請求項1または2に記載の装置。
第2のベクトルを変換して前記奇数インデックス変換係数にさせる前記命令は、前記プロセッサにより実行されると、前記連続して順序付けられた整数行列を通じて前記第2のベクトルを処理させる、前記プロセッサにより実行可能な命令を備えていることを特徴とする請求項4に記載の装置。
第2のベクトルを変換して前記奇数インデックス変換係数にさせる前記命令は、前記プロセッサにより実行されると、(i)前記複数の連続して順序付けられた整数行列を通じて前記第2のベクトルを処理させ、および(ii)前記それぞれの複数の整数行列を通じて前記複数の連続して順序付けられた整数行列の最後から出力されたベクトルを処理させる、前記プロセッサにより実行可能な命令を備えていることを特徴とする請求項6に記載の装置。
前記基底ベクトルは、予め定義された閾値を満たす離散コサイン変換(DCT)歪みの尺度にしたがって、DCT行列の対応する基底ベクトルに近似していることを特徴とする請求項1乃至7のいずれか一項に記載の装置。
前記歪みの尺度は、前記基底ベクトルおよび前記DCT行列の前記対応する基底ベクトルの少なくともサブセットに基づいていることを特徴とする請求項8に記載の装置。
前記偶数変換は、少なくとも1つの整数行列を備えており、および、前記少なくとも1つの整数行列は、前記整数変換の前記次数よりも低い次数を有していることを特徴とする請求項1乃至9のいずれか一項に記載の装置。
前記奇数変換による変換は、前記奇数変換の1層ウェーブレット分解から生じる各サブバンドへの、前記整数変換の前記次数の4分の1の次数を有している変換の適用の結果を取得することを含むことを特徴とする請求項1乃至10のいずれか一項に記載の装置。
前記装置は、ビデオエンコーダ、ビデオデコーダ、ならびに、無線送信および/または受信ユニット(WTRU)のいずれかであることを特徴とする請求項1乃至12のいずれか一項に記載の装置。
前記連続して順序付けられた整数行列は、前記整数行列の前記次数の4分の1である次数を有している奇数部行列に基づいており、ならびに、前記連続して順序付けられた整数行列を通じて前記第2のベクトルを処理することは、
前記第2のベクトルの第1および第2のサブバンドを生成することと、
前記第1および第2のサブバンドの各々に、前記奇数部行列を適用することと
を備えていることを特徴とする請求項14に記載の方法。
前記連続して順序付けられた整数行列の少なくとも1つは、両方の対角線にしたがって対称の大きさを備えていることを特徴とする請求項14乃至16のいずれか一項に記載の方法。
16以上の次数を有する整数変換に全体として相当する偶数変換および奇数変換を使用して、残余ビデオデータを処理するための装置であって、前記装置は、条件付けユニット、第1の変換ユニット、および第2の変換ユニットを備えており、
前記条件付けユニットは、残余ビデオデータのベクトルを受信するように構成されており、
前記条件付けユニットは、残余ビデオデータの前記ベクトルを処理して、変換のために第1のベクトルおよび第2のベクトルを形成するように構成されており、
前記第1の変換ユニットは、前記第1のベクトルを受信するように構成されており、
前記第1の変換ユニットは、前記偶数変換の少なくとも1つの整数行列の基底ベクトルを使用して、前記第1のベクトルを変換して、偶数インデックス変換係数を形成するように構成されており、前記偶数変換の前記少なくとも1つの整数行列は、前記整数変換の前記次数よりも低い次数を有しており、
前記第2の変換ユニットは、前記第2のベクトルを受信するように構成されており、
前記第2の変換ユニットは、前記奇数変換の連続して順序付けられた整数行列を通じて前記第2のベクトルを処理することによって、前記第2のベクトルを変換して、奇数インデックス変換係数を形成するように構成されており、ならびに、
前記連続して順序付けられた整数行列の各々は、(i)前記整数変換の前記次数よりも低い次数を有しており、および(ii)行ごとに最大で2つの非ゼロ要素と、列ごとに最大で2つの非ゼロ要素とを有している
ことを特徴とする装置。
前記連続して順序付けられた整数行列は、前記整数変換の前記次数の4分の1である次数を有する奇数部行列に基づいており、ならびに、前記第2の変換ユニットは、(i)前記第2のベクトルの第1のサブバンドと第2のサブバンドとを生成し、および(ii)前記連続して順序付けられた整数行列を通じて前記第2のベクトルを処理するときに、前記奇数部行列を、前記第1のサブバンドと第2のサブバンドとの各々に適用するように構成されていることを特徴とする請求項20に記載の装置。
前記連続して順序付けられた整数行列の少なくとも1つは、両方の対角線にしたがって対称の大きさを備えていることを特徴とする請求項20乃至22のいずれか一項に記載の装置。
【発明を実施するための形態】
【0007】
以下の詳細な説明においては、多数の具体的な詳細について記載され、実施形態および/または本明細書に開示される例の十分な理解が提供される。しかし、そのような実施形態および例が、本明細書に開示される具体的な詳細のいくつかまたは全てを伴わずに実施されてもよいことは理解されるであろう。他の例においては、周知の方法、プロシージャ、コンポーネント、および回路は詳細には記載されず、以下の説明が不明瞭にならないようにされる。さらに、本明細書に具体的には記載されない実施形態および例が、実施形態および本明細書に開示される他の例の代わりに、またはそれらと組み合わせて実施されてもよい。
【0009】
図1Aは、1つまたは複数の実施形態が実行および/または実装されてもよい例示的なビデオエンコーディングおよびデコーディングシステム10を示すブロック図である。システム10は、エンコードされたビデオ情報を、通信チャネル16を介して宛先デバイス14に送信するソースデバイス12を含むことができる。
【0010】
ソースデバイス12および宛先デバイス14は、任意の広範囲なデバイスであってもよい。いくつかの実施形態において、ソースデバイス12および宛先デバイス14は、無線ハンドセットまたは通信チャネル16上でビデオ情報を通信することができる任意の無線デバイスなどの無線送信/受信ユニット(WTRU)が含んでもよく、このケースで、通信チャネル16は、無線リンクを含む。しかし、本明細書において、記載、開示、または他に黙示的、明示的、および/もしくは本質的に提供される(総称して「提供される」)、方法、装置、およびシステムは、無線の用途または設定に限定されない。例えば、これらの技術は、テレビ放送、ケーブルテレビ送信、衛星テレビ送信、インターネットビデオ送信、記憶媒体上にエンコードされたエンコードされたデジタルビデオ、または、他のシナリオに適用してもよい。従って、通信チャネル16は、エンコードされたビデオデータの送信に適切な無線もしくは有線媒体の任意の組み合わせを含んでよく、および/または、それらであってよい。
【0011】
ソースデバイス12は、ビデオエンコーダユニット18、送信および/または受信(Tx/Rx)ユニット20、および、Tx/Rx要素22を含んでもよい。図示されるように、ソースデバイス12は、選択的にビデオソース24を含んでもよい。宛先デバイス14は、Tx/RX要素26、Tx/Rxユニット28、および、ビデオデコーダユニット30を含んでもよい。図示されるように、宛先デバイス14には、選択的にディスプレイデバイス32が含まれてよい。Tx/Rx部20および28のそれぞれは、送信機、受信機、もしくは、送信機と受信機の組み合わせ(例えば、送受信機、すなわち送信機−受信機)であってもよく、または、それらを含んでもよい。Tx/Rx要素22および26のそれぞれは、例えば、アンテナであってもよい。本開示にしたがって、ソースデバイス12のビデオエンコーダユニット18および/または宛先デバイス14のビデオデコーダユニット30は、本明細書において提供される符号化技術を適用するように構成され、および/または、適合されてもよい(まとめて「適合される」)。
【0012】
ソースデバイス12および宛先デバイス14は、他の要素/コンポーネントまたは配置を含んでもよい。例えば、ソースデバイス12は、外部のビデオソースからビデオデータを受信するように適合されてもよい。また、宛先デバイス14は、(例えば、統合された)ディスプレイデバイス32を含み、および/または、使用するよりも、外部のディスプレイデバイス(図示せず)とインターフェースしてもよく。いくつかの実施形態において、ビデオエンコーダユニット18により生成されるデータストリームは、直接デジタル転送などにより、データを搬送波信号上に変調する必要なく、他のデバイスに搬送されてよく、他のデバイスは。送信に対してデータを変調してもよく、または、しなくてもよい。
【0013】
例示される
図1のシステム10は、単なる一例である。本明細書において提供される技術は、任意のデジタルビデオエンコーディングおよび/またはデコーディングデバイスにより実行されてもよい。概して、本明細書において提供される技術は、別個のビデオエンコーディングおよび/またはビデオデコーディングデバイスにより実行されるが、当該技術はまた、典型的には「コーデック」と称される、ビデオエンコーダ/デコーダの組み合わせにより実行されてもよい。さらに、本明細書において提供される技術は、ビデオプリプロセッサなどにより実行されてもよい。ソースデバイス12および宛先デバイス14は、ソースデバイス12が、宛先デバイス14への送信に対するエンコードされたビデオ情報を生成する(ならびに/または、ビデオデータを受信し、および、生成する)、符号化デバイスの単なる例である。いくつかの実施形態において、デバイス12、14は、実質的に対称な様式で動作することができるため、デバイス12、14のそれぞれが、ビデオエンコーディングおよびデコーディングコンポーネント、ならびに/または、要素(まとめて「要素」)の両方を含む。従って、システム10は、例えば、ビデオストリーミング、ビデオ再生、ビデオ放送、ビデオ電話、およびビデオ会議のいずれかに対して、デバイス12および14の間の片方向および双方向のビデオ送信のいずれかをサポートすることができる。いくつかの実施形態において、ソースデバイス12は、例えば、1つまたは複数の送信先デバイスに対して、エンコードされたビデオ情報を生成する(ならびに/またはビデオデータを受信し、および、生成する)ように適合されるビデオストリーミングサーバであってもよく、宛先デバイスは、有線および/または無線の通信システム上でソースデバイス12と通信してもよい。
【0014】
外部のビデオソースおよび/またはビデオソース24は、ビデオカメラなどのビデオキャプチャデバイス、以前キャプチャされたビデオを含むビデオアーカイブ、および/もしくは、ビデオコンテンツプロバイダからのビデオ供給(video feed)であってもよく、ならびに/または、それらを含んでもよい。代わりに、外部のビデオソースおよび/またはビデオソース24は、ソースビデオとしてのコンピュータグラフィックベースのデータ、または、ライブビデオ、アーカイブビデオ、およびコンピュータにより生成されたビデオの組み合わせを生成してもよい。いくつかの実施形態において、ビデオソース24がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、カメラ電話またはビデオ電話であってもよく、または、それを具現化してもよい。しかし、上述したように、本明細書において提供される技術は、概してビデオ符号化に適用可能であってもよく、ならびに、無線および/または有線の用途に適用されてもよい。いずれの場合も、キャプチャされたビデオ、プリキャプチャされたビデオ、コンピュータにより生成されたビデオ、ビデオ供給、または他のタイプのビデオデータ(総称して、「非エンコード化ビデオ」)は、ビデオエンコーダユニット18によりエンコードされて、エンコードされたビデオ情報を形成してもよい。
【0015】
Tx/Rxユニット20は、エンコードされたビデオ情報を、例えば、通信規格にしたがって変調して、エンコードされたビデオ情報を搬送する1つまたは複数の変調信号を形成してもよい。Tx/Rxユニット20はまた、送信に対するその送信機に変調信号を渡してもよい。送信機は、変調信号を、Tx/Rx要素22を介して宛先デバイス14に送信してもよい。
【0016】
宛先デバイス14において、Tx/Rxユニット28は、チャネル16上からTx/Rx要素26を介して、変調信号を受信してもよい。Tx/Rxユニット28は、変調信号を復調して、エンコードされたビデオ情報を取得してもよい。Tx/Rxユニット28は、エンコードされたビデオ情報をビデオデコーダユニット30に渡してもよい。
【0017】
ビデオデコーダユニット30は、エンコードされたビデオ情報をデコードして、デコードされたビデオデータを取得してもよい。エンコードされたビデオ情報は、ビデオエンコーダユニット18により定義されるシンタックス情報を含んでもよい。このシンタックス情報は、1つまたは複数の要素(「シンタックス要素」)を含んでもよく、その内のいくつかまたは全ては、エンコードされたビデオ情報のデコードに有用であってもよい。シンタックス要素は、例えば、エンコードされたビデオ情報の特徴を含んでもよい。シンタックス要素はまた、エンコードされたビデオ情報を形成するのに使用される非エンコード化ビデオの特徴を含んでもよく、および/または、その処理を記載してもよい。
【0018】
ビデオデコーダユニット30は、デコードされたビデオデータを、後の格納のために出力し、および/または、外部のディスプレイ(図示せず)上に表示してもよい。代わりに、ビデオデコーダユニット30は、デコードされたビデオデータをディスプレイデバイス32に出力してもよい。ディスプレイデバイス32は、デコードされたビデオデータをユーザに対して表示するように適合される様々なディスプレイデバイスのうちの、任意の個々の、複数の、組み合わせ、複数の組み合わせのデバイスであってもよく、および/または、それらを含んでもよい。そのようなディスプレイデバイスの例は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、ブラウン管(CRT)、などを含む。
【0019】
通信チャネル16は、無線周波数(RF)スペクトル、もしくは、1つまたは複数の物理伝送回線、または、無線もしくは有線媒体の任意の組み合わせなどの、任意の無線または有線の通信媒体であってもよい。通信チャネル16は、ローカルエリアネットワーク、ワイドエリアネットワーク、または、インターネットなどのグローバルネットワーク等の、パケットベースのネットワークの一部を形成してもよい。通信チャネル16は、概して、ビデオデータをソースデバイス12から宛先デバイス14に送信するための、任意の適切な通信媒体、または、異なる通信媒体の集合体を表し、有線もしくは無線媒体の任意の適切な組み合わせを含む。通信チャネル16は、ルータ、スイッチ、基地局、または、ソースデバイス12から宛先デバイス14への通信を円滑にするのに有用であり得る任意の他の機器を含んでもよい。デバイス12と14の間のそのような通信を円滑にすることができる例示的な通信システムの詳細は、
図8、9A−9Eを参照して以下で提供される。デバイス12、14の代表となるデバイスの詳細についても同様に、以下で提供される。
【0020】
ビデオエンコーダユニット18およびビデオデコーダユニット30は、例えば、MPEG−2、H.261、H.263、H.264、H.264/AVC、SVC拡張版に従って拡張されたH.264(「H.264/SVC」)などの1つまたは複数の規格および/または仕様にしたがって動作してもよい。しかし、本明細書において提供される方法、装置、およびシステムは、異なる規格にしたがって(および/または、準拠して)実装される他のビデオエンコーダ、デコーダ、および/もしくは、コーデック、または、これから開発されることになる将来のビデオエンコーダ、デコーダ、および/もしくはコーデックを含む、プロプライエタリビデオエンコーダ(proprietary video encoders)、デコーダ、および/もしくはコーデックに適用可能であることは理解されよう。さらに、本明細書において提供される技術は、しかしながら、任意の特定の符号化規格に限定されない。
【0021】
上述のH.264/AVCの関連部分は、国際電気通信連合から、ITU−T勧告H.264として、または、より具体的には、「ITU−T Rec.H.264およびISO/IEC14496−10(MPEG4−AVC)、『Advanced Video Coding for Generic Audiovisual Services』、v5、2010年3月」として利用可能であり、本明細書において参照により組み込まれ、また、本明細書においては、H.264規格、またはH.264仕様、または、H.264/AVC規格もしくは仕様と称されることもある。H.264/AVC規格は、ITU−Tのビデオコーディングエクスパーツグループ(VCEG)とISO/IEC MPEGとによる、ジョイントビデオチーム(JVT:joint video team)として知られる共同提携の成果として策定された。いくつかの態様において、本明細書において提供される技術は、概して、H.264規格に準拠するデバイスに適用されてもよい。JVTは、H.264/AVC規格への拡張に関する作業を継続している。
【0022】
H.264/AVC規格を発展させる作業が、キーテクノロジーズエリア(KTA:Key Technologies Area)フォーラムなどのITU−Tの種々のフォーラムで着手されている。フォーラムの少なくともいくつかは、部分的には、H.264/AVC規格により示されるものより高度な符号化効率を示す符号化技術の発展を追求する。例えば、ISO/IEC MPEGおよびITU−T VCEGは、Joint Collaborative Team on Video Coding(JCT−VC)を設立し、当該チームは次世代のビデオ符号化および/または圧縮規格、すなわち、高効率ビデオ符号化(HEVC:High Efficiency Video Coding)規格の開発を開始した。いくつかの態様において、本明細書において提供される技術は、H.264/AVCおよび/またはHEVC(現在草稿中の)規格に関連して、および/または、それにしたがって、符号化の向上を提供することができる。
【0023】
図1A−1Dには示されないが、いくつかの態様において、ビデオエンコーダユニット18およびビデオデコーダユニット30のそれぞれは、(必要に応じて)オーディオエンコーダおよび/もしくはデコーダを含んでもよく、ならびに/または、それに統合されてもよい。ビデオエンコーダユニット18およびビデオデコーダユニット30は、適切なMUX−DEMUXユニット、または、他のハードウェアおよび/もしくはソフトウェアを含んで、共通のデータストリーム、あるいは、別個のデータストリームにおけるオーディオおよびビデオの両方のエンコードを処理してもよい。適用可能な場合は、MUX−DEMUXユニットは、例えば、ITU−T勧告H.223多重化プロトコル、または、ユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠してもよい。
【0024】
ビデオエンコーダユニット18およびビデオデコーダユニット30のそれぞれまたは複数は、1つまたは複数のエンコーダまたはデコーダに含まれてよく、そのいずれかは、コーデックの一部として統合されてよく、ならびに、カメラ、コンピュータ、モバイルデバイス、加入者デバイス、放送デバイス、セットトップボックス、およびサーバなどのそれぞれと統合または組み合わされてもよい。さらに、ビデオエンコーダユニット18およびビデオデコーダユニット30は、それぞれ、1つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、個別論理、ソフトウェア、ハードウェア、ファームウェア、または、その任意の組み合わせなどの、任意の様々な適切なエンコーダおよびデコーダ回路として実装されてもよい。代わりに、ビデオエンコーダユニット18およびビデオデコーダユニット30の一方または両方は、実質的にソフトウェアで実装されてもよく、したがって、ビデオエンコーダユニット18および/またはビデオデコーダユニット30の要素の動作が、1つまたは複数のプロセッサ(図示せず)により実行される適切なソフトウェア命令によって実行されてもよい。また、そのような実施形態は、プロセッサに加えて、外部ストレージデバイス(例えば、不揮発性メモリの形式で)、入出力インターフェース等の外部コンポーネント(off-chip component)を含んでもよい。
【0025】
他の実施形態において、ビデオエンコーダユニット18およびビデオデコーダユニット30それぞれの要素のいくつかは、ハードウェアとして実装されてよく、一方、その他は、1つまたは複数のプロセッサ(図示せず)により実行される適切なソフトウェア命令を使用して実装されてもよい。ビデオエンコーダユニット18および/またはビデオデコーダユニット30の要素の動作が1つまたは複数のプロセッサにより実行される適切なソフトウェア命令により実行されてもよい、任意の実施形態において、そのようなソフトウェア命令は、コンピュータ可読媒体上で維持されてもよく、当該媒体は、磁気ディスク、光学ディスク、および、任意の他の揮発性(例えば、ランダムアクセスメモリ(「RAM」))もしくは不揮発性(例えば、リードオンリーメモリ(「ROM」))の、CPUにより読取可能な大容量記憶システムを含む。コンピュータ可読媒体は、協調または相互接続コンピュータ可読媒体を含んでもよく、当該媒体は、処理システム上に排他的に存在し、または、処理システムに対してローカルもしくはリモートとすることができる複数の相互接続される処理システム間で分散されてもよい。
【0026】
図IBは、
図1Aのシステム10などのビデオエンコーディングおよび/またはデコーディングシステムとの使用に対する、例示的なビデオエンコーダユニット18を示すブロック図である。ビデオエンコーダユニット18は、ビデオエンコーダ33、出力バッファ34、およびシステムコントローラ36を含んでもよい。全体として、ビデオエンコーダユニット18のように、ビデオエンコーダ33(または、その1つまたは複数の要素)は、例えば、H.261、H.263、H.264、H.264/AVC、H.264/SVC、HEVCなどの、1つもしくは複数の規格および/または仕様にしたがって実装されてもよい。しかし、本明細書において提供される方法、装置、およびシステムは、異なる規格にしたがって実装される他のビデオエンコーダ、または、これから開発されることになる将来のコーデックを含む、プロプライエタリコーデックに適用可能であることを理解されよう。
【0027】
ビデオエンコーダ33は、ビデオソース24および/または外部のビデオソースなどのビデオソースから提供されるビデオ信号を受信する。このビデオ信号は、非エンコード化ビデオを含んでもよい。ビデオエンコーダ33は、非エンコード化ビデオをエンコードし、および、エンコードされた(すなわち、圧縮された)ビデオビットストリーム(BS)を、その出力で提供してもよい。
【0028】
エンコードされたビデオビットストリームBSは、出力バッファ34に提供されてもよい。出力バッファ34は、エンコードされたビデオビットストリームBSをバッファリングし、および、そのようなエンコードされたビデオビットストリームBSを、バッファリングされたビデオビットストリーム(BBS)として通信チャネル16を介した送信に対して提供してもよい。
【0029】
出力バッファ34から出力されたバッファリングされたビデオビットストリームBBSは、ストレージデバイス(図示せず)に、後の閲覧または送信に対して提供されてもよい。代わりに、ビデオエンコーダユニット18は、バッファリングされたビデオビットストリームBBSを、通信チャネル16を介して特定の一定および/または可変なビットレート(例えば、非常に低いまたは最小限の遅延を伴う)で送信することができる、視覚的通信(visual communication)に対して構成されてもよい。
【0030】
エンコードされたビデオビットストリームBS、および、バッファリングされたビデオビットストリームBBSは、エンコードされたビデオ情報のビットを搬送してもよい。バッファリングされたビデオビットストリームBBSのビットは、エンコードされたビデオフレームのストリームとして配置されてもよい。エンコードされたビデオフレームは、当業者には理解されるように、イントラ符号化フレーム(例えば、Iフレーム)、インター符号化済フレーム(例えば、BフレームまたはP−フレーム)などであってもよい。エンコードされたビデオフレームのストリームは、例えば、特定の順序で配置された各GOPのエンコードされたビデオフレームを有する、一連のGOPとして配置されてもよい。概して、各GOPは、イントラ符号化フレーム(例えば、Iフレーム)で開始し、1つまたは複数のインター符号化フレーム(例えば、Pフレームおよび/またはBフレーム)が後に続く。各GOPは典型的には、単一のイントラ符号化フレームのみを含むが、GOPのいずれかは、複数含んでもよい。なお、従来のBフレームは、リアルタイム、すなわち低遅延のアプリケーションで使用されない(何故なら、例えば、双方向予測は典型的には、片方向予測(Pフレーム)に比べて、余分な符号化遅延を引き起こす)。追加的および/または他のフレームのタイプがサポートされ、ならbに、当業者には理解されるように、エンコードされたビデオフレームの特定の順序が修正されてもよい。
【0031】
各GOPは、シンタックスデータ(「GOPシンタックスデータ」)を含んでもよい。GOPシンタックスデータは、GOPのヘッダ、GOPの1つまたは複数のフレームのヘッダ、または、その他の場所に配置されてもよい。GOPシンタックスデータは、それぞれのGOPのエンコードされたビデオフレームの順序、量、および/もしくはタイプを示してもよく、ならびに/または、記述してもよい。各エンコードされたビデオフレームは、シンタックスデータ(「エンコードされたフレームシンタックスデータ」)を含んでもよいい。エンコードされたフレームシンタックスデータは、それぞれのエンコードされたビデオフレームに対するエンコードモードを示し、および/または、記述してもよい。
【0032】
システムコントローラ36は、チャネル16、ビデオエンコーダユニット18の計算能力、ユーザによる要求などに関連付けられた種々のパラメータおよび/または制約を監視してもよく、ならびに、ターゲットパラメータを確立して、チャネル16の特定の制約および/または条件に適切な付随する(attendant)ユーザ経験品質(QoE:quality of experience)を提供してもよい。ターゲットパラメータの1つまたは複数は、特定の制約および/またはチャネル条件に依存して、時に調整されてもよい。一例として、QoEは、例えば、一般的にはエンコードされたビデオシーケンスの相対的な知覚品質と称される基準を含む、ビデオ品質を査定(assess)するための1つまたは複数の基準を使用して、定量的に査定されてもよい。例えば、ピーク信号対雑音比(「PSNR」)基準を使用して測定される、エンコードされたビデオシーケンスの相対的な知覚品質は、エンコードされたビットストリームBSのビットレート(BR)により制御される。ターゲットパラメータ(例えば、量子化パラメータ(QP)を含む)の1つまたは複数は、エンコードされたビットストリームBSのビットレートBRに関連付けられた制約内でビデオの相対的な知覚品質を最大にするように調整されてもよい。
【0033】
図1Cは、
図1A−1Bのビデオエンコーダユニット18などのビデオエンコーダユニットとの使用に対する、例示的なビデオエンコーダ33を示すブロック図である。ビデオエンコーダ33は、入力38、モード決定・エンコーダコントローラユニット40、空間予測ユニット42、モーション/時間予測ユニット44、第1の加算器46、変換ユニット48、量子化ユニット50、エントロピ符号化ユニット52、逆量子化ユニット54、逆変換ユニット56、第2の加算器58、フィルタ60、リファレンスピクチャストア62、および、出力64を含んでもよい。ビデオエンコーダ33は、追加および/または別の要素を含んでもよい。そのような要素は、簡潔かつ明確にする目的で、示されない。
【0034】
さらに、
図1Cに示されおよび本明細書において提供されるビデオエンコーダ33の詳細は、単に例示であることが意図され、ならびに、実世界での実装は異なるものであってもよい。実世界の実装は、例えば、より多い、より少ない、および/もしくは異なる要素を含んでよく、ならびに/または、
図1Cに示す配置とは異なって配置されてもよい。例えば、別々に示されているが、変換ユニット48および量子化ユニット50の両方の一部もしくは全ての機能は、例えば、H.264規格の主要な変換を使用する実装などの実世界の実装の一部において高度に統合されてよい。同様に、逆量子化ユニット54および逆変換ユニット56は、実世界の実装(例えば、H.264規格に準拠する実装)の一部において高度に統合されてよいが、概念的な目的で、同様に別々に示される。
【0035】
上述したように、ビデオエンコーダ33は、その入力38においてビデオ信号を受信してもよい。ビデオエンコーダ33は、エンコードされたビデオ情報を、受信した非エンコード化ビデオから生成し、および、エンコードされたビデオ情報(例えば、イントラフレームまたはインターフレームのいずれか)を、その出力64からエンコードされたビデオビットストリームBSの形式で出力してもよい。ビデオエンコーダ33は、例えば、ハイブリッドビデオエンコーダとして動作してもよく、および、非エンコード化ビデオをエンコードするためのブロックベースの符号化処理を採用してもよい。そのようなエンコーディング処理を実行するときに、ビデオエンコーダ33は典型的には、非エンコード化ビデオの個々のフレーム、ピクチャまたは画像(総称して「非エンコード化ピクチャ」)上で動作してもよい。
【0036】
ブロックベースのエンコード処理を円滑にするために、ビデオエンコーダ33は、その入力38において受信した各非エンコード化ピクチャを複数の非エンコード化ビデオブロックに、スライスし、区分し、分割し、またはセグメント化してもよい(総称して「セグメント化する」)。いくつかの例において、ビデオエンコーダ33は、まず、非エンコード化ピクチャを複数の非エンコード化ビデオセグメント(例えば、スライス)にセグメント化し、次に、非エンコード化ビデオセグメントのそれぞれを非エンコード化ビデオブロックにセグメント化してもよい。ビデオエンコーダ33は、非エンコード化ビデオブロックを、空間予測ユニット42、モーション/時間予測ユニット44、および/もしくは、第1の加算器46に渡し、供給し、送信し、または提供してもよい。以下で更に詳細に説明するように、非エンコード化ビデオブロックは、ブロックバイブロックベースで提供されてもよい。
【0037】
空間予測ユニット42は、非エンコード化ビデオブロックを受信し、および、そのようなビデオブロックをイントラモードでエンコードしてもよい。イントラモードは、空間ベースの圧縮のいくつかのモードのいずれかを指し、イントラモードでのエンコードは、非エンコード化ピクチャの空間ベースの圧縮の提供を試みる。空間ベースの圧縮は、もしあれば、非エンコード化ピクチャ内のビデオ情報の空間的冗長性を減少または除去することから生じることがある。予測ブロックを形成する際、空間予測ユニット42は、既にエンコードされ(エンコードされたビデオブロック)、および/または、再構築された(再構築されたビデオブロック)非エンコード化ピクチャのうちの1つまたは複数のビデオブロックに関する各非エンコード化ビデオブロックの空間的予測(または、「イントラ予測」)を実行してもよい。エンコードされおよび/または再構築されたビデオブロックは、非エンコード化ビデオブロックに、隣接し、近接し、または近接近してもよい。
【0038】
モーション/時間予測ユニット44は、非エンコード化ビデオブロックを入力38から受信し、および、インターモードでエンコードしてもよい。インターモードは、例えば、Pモード(片方向予測)またはBモード(双方向予測)を含む時間ベースの圧縮のいくつかのモードのいずれかを指す。インターモードでのエンコードは、非エンコード化ピクチャの時間ベースの圧縮の提供を試みる。時間ベースの圧縮は、もしあれば、非エンコード化ピクチャおよび1つまたは複数のリファレンス(例えば、近接の)ピクチャ間のビデオ情報の時間的冗長性を減少または除去するから生じることがある。モーション/時間予測ユニット44は、リファレンスピクチャの1つまたは複数のビデオブロック(「リファレンスビデオブロック」)に関連した各非エンコード化ビデオブロックの時間的予測(または「インター予測」)を実行してもよい。実行される時間的予測は、片方向予測(例えば、Pモードに対する)、あるいは、双方向予測(例えば、Bモードに対する)であってもよい。
【0039】
片方向予測の下で、リファレンスビデオブロックは、事前にエンコードおよび/または再構築されたピクチャからのものであってもよく、ならびに、いくつかの例においては、1つのみの事前にエンコードおよび/または再構築された画像からのものであってもよい。エンコードおよび/または再構築されたピクチャは、非エンコード化ピクチャに隣接、近接、または近接近してもよい。
【0040】
双方向予測の下で、リファレンスビデオブロックは、1つまたは複数の事前にエンコードおよび/または再構築されたピクチャ、ならびに、ビデオストリームの1つまたは複数の他の非エンコード化ピクチャからのものであってもよい。エンコードおよび/または再構築されたピクチャおよび他の非エンコード化ピクチャは、非エンコード化ピクチャに隣接、近接、または近接近してもよい。
【0041】
複数のリファレンス画像がサポートされる場合(H.264/AVCまたはHEVCなどの最近のビデオ符号化規格の場合のように)、各ビデオブロックに対し、そのリファレンスピクチャインデックスが、エントロピ符号化ユニット52に、後続の出力および/または送信に対して送られてもよい。リファレンスインデックスは、時間的予測が、リファレンスピクチャストア62におけるどのリファレンス画像から生じるのかを識別するために使用されてもよい。
【0042】
典型的には高度に統合されているが、モーション推定およびモーション補償に対するモーション/時間予測ユニット44の機能は、別個のエンティティまたはユニット(図示せず)により実行されてよい。モーション推定は、リファレンスピクチャビデオブロックに関連する各非エンコード化ビデオブロックに対するモーションを推定するように実行されてよく、ならびに、非エンコード化ビデオブロックに対するモーションベクトルを生成することを含んでもよい。モーションベクトルは、符号化されている非エンコード化ビデオブロックに関連する予測ブロックの変位(displacement)を示してもよい。この予測ブロックは、画素差の観点で、符号化されている非エンコード化ビデオブロックに緊密にマッチすると認められるリファレンスピクチャビデオブロックである。マッチングは、絶対差の和(SAD:sum of absolute difference)、二乗差の和(SSD:sum of square difference)、または、他の差異基準により判定されてもよい。モーション補償は、モーション推定により判定されるモーションベクトルに基づいて、予測ブロックをフェッチし、または、生成することを含んでもよい。
【0043】
モーション/時間予測ユニット44は、非エンコード化ビデオブロックを、リファレンスピクチャストア64に格納されるリファレンス画像からのリファレンスビデオブロックと比較することにより、非エンコード化ビデオブロックに対するモーションベクトルを計算してもよい。モーション/時間予測ユニット44は、リファレンスピクチャストア62に含まれるリファレンスピクチャの断片的画素位置(fractional pixel positions)の値を計算してもよい。いくつかの例において、加算器58またはビデオエンコーダ33の別のユニットは、再構築されたビデオブロックに対する断片的画素位置の値を計算し、ならびに、再構築ビデオブロックを、断片的画素位置に対して計算された値とともに、リファレンスピクチャストア62に格納してもよい。モーション/時間予測ユニット44はまた、リファレンスピクチャの(例えば、IフレームまたはPフレームの)サブ整数画素を挿入(interpolate)してもよい。
【0044】
モーション/時間予測ユニット44は、選択されたモーション/予測に関するモーションベクトルをエンコードするように構成されてよい。モーション/時間予測ユニット44により選択されるモーション/予測は、例えば、既にエンコードされた隣接ブロックのモーションベクトルの平均に等しいベクトルであってもよい。非エンコード化ビデオブロックに対するモーションベクトルをエンコードするために、モーション/時間予測ユニット44は、モーションベクトルとモーション/予測との間の差を計算して、モーションベクトル差分値を形成してもよい。
【0045】
H.264は、潜在的な(potential)リファレンスフレームのセットを「リスト」と称する。リファレンスピクチャストア62に格納されるリファレンスピクチャのセットは、リファレンスフレームのそのようなリストに対応してもよい。モーション/時間予測ユニット44は、リファレンスピクチャストア62からのリファレンスピクチャのリファレンスビデオブロックを、(例えば、PフレームまたはBフレームの)非エンコード化ビデオブロックと比較してもよい。リファレンスピクチャストア62におけるリファレンスピクチャは、サブ整数画素に対する値を含むとき、モーション/時間予測ユニット44により計算されるモーションベクトルは、リファレンスピクチャのサブ整数画素の位置を参照してもよい。モーション/時間予測ユニット44は、計算されたモーションベクトルを、エントロピ符号化ユニット52およびモーション/時間予測ユニット44のモーション/補償機能に送信してもよい。モーション/時間予測ユニット44(または、そのモーション/補償機能)は、符号化されている非エンコード化ビデオブロックに関する予測ブロックに対する誤差値を計算してもよい。モーション/時間予測ユニット44は、予測ブロックに基づいて、予測データを計算してもよい。
【0046】
モード決定・エンコーダコントローラユニット40は、符号化モードの一方、イントラードまたはインターモードの1つを選択してもよい。モード決定・エンコーダコントローラユニット40は、例えば、レート歪み最適化方法、および/または、各モードで生成される誤差結果に基づいて、これを行ってもよい。
【0047】
ビデオエンコーダ33は、モーション/時間予測ユニット42から提供される予測データを、符号化されている非エンコード化ビデオブロックから減算することにより、残余のブロック(「残余ビデオブロック」)を形成してもよい。加算器46は、この減算動作を実行する要素または複数の要素を表す。
【0048】
変換ユニット48は、残余ビデオブロックへの変換を適用して、そのような残余ビデオブロックを、画素値ドメインから周波数ドメインなどの変換ドメインに変換してもよい。変換は、例えば、本明細書において提供される変換のいずれであってもよく、離散コサイン変換(DCT)、または、概念的に同様の変換であってもよい。変換の他の例は、H.264で定義される変換、ウェーブレット変換、整数変換、サブバンド変換、などを含む。いずれの場合も、変換ユニット48による残余ビデオブロックへの変換の適用は、残余ビデオブロックの変換係数(「残余−変換係数」)の対応数するブロックを産出する。これらの残余−変換係数は、残余ビデオブロックの周波数成分の大きさ(magnitudes)を表すことができる。変換ユニット48は、残余−変換係数およびモーションベクトルを量子化ユニット50に転送してもよい。
【0049】
量子化ユニット50は、残余−変換係数を量子化して、エンコード化ビットレートをさらに減少させることができる。量子化処理は、例えば、残余−変換係数の一部または全てに関連付けられたビット深度(bit depth)を減少させることができる。いくつかの例において、量子化ユニット50は、QPに対応する量子化レベルで残余−変換係数の値を分割して、量子化変換係数のブロックを形成してもよい。量子化の程度(degree)は、QP値を調整することにより修正されてもよい。概して、量子化ユニット50は、量子化を適用して、所望の数の量子化ステップを使用して残余−変換係数を表すことができ、使用されるステップの数は(または、それに応じて量子化レベルの値)、残余ビデオブロックを表すために使用されるエンコードされたビデオのビットの数を判定してもよい。量子化ユニット50は、QP値をレートコントローラ(図示せず)から取得してもよい。量子化に続き、量子化ユニット50は、量子化変換係数およびモーションベクトルを、エントロピ符号化ユニット52および逆量子化ユニット54に提供してもよい。
【0050】
エントロピ符号化ユニット52は、エントロピ符号化を量子化変換係数に適用して、エントロピ符号化された係数(すなわち、ビットストリーム)を形成してもよい。エントロピ符号化ユニット52は、コンテクスト適応可変長符号化(CAVLC:context adaptive variable length coding)、コンテクスト適応算術符号化(CABAC:context adaptive binary arithmetic coding)、または、他のエントロピ符号化技術を使用して、エントロピ符号化された係数を形成してもよい。CABACは、当業者には理解されるように、コンテクストの情報(「コンテクスト」)の入力を要求する。このコンテクストは、例えば、隣接ビデオブロックに基づいてもよい。
【0051】
エントロピ符号化ユニット52は、エントロピ符号化された係数をモーションベクトルとともに、未加工の(raw)エンコードされたビデオビットストリームの形式で、内部ビットストリームフォーマッタ(図示せず)に提供してもよい。ビットストリームフォーマッタは、未加工のエンコードされたビデオビットストリームに、ヘッダおよび/または他の情報を含む追加情報を付加することにより、出力バッファ34(
図IB)に提供されるエンコードされたビデオビットストリームBSを形成して、ビデオデコーダユニット30が、未加工のエンコードされたビデオビットストリームからエンコードされたビデオブロックをデコードすることが可能となるようにしてもよい。エントロピ符号化に続いて、エントロピ符号化ユニット52から出力バッファ34に提供されたエンコードされたビデオビットストリームBSは、チャネル16を介して宛先デバイス14に送信されてもよく、または、後の送信もしくは検索(retrieval)のためにアーカイブされてもよい。
【0052】
いくつかの実施形態において、エントロピ符号化ユニット52またはビデオエンコーダ33の別のユニットは、エントロピ符号化に加えて、別の符号化機能を実行するように構成されてもよい。例えば、エントロピ符号化ユニット52は、ビデオブロックに対するCBP値を判定するように構成されてもよい。また、いくつかの実施形態において、エントロピ符号化ユニット52は、ビデオブロックにおける量子化変換係数のランレングス符号化を実行してもよい。一例として、エントロピ符号化ユニット52は、ジグザグ走査または他の走査パターンを適用して、ビデオブロックにおいて量子化変換係数を配置してもよく、および、さらなる圧縮のために連続したゼロ(runs of zeros)をエンコードしてもよい。エントロピ符号化ユニット52はまた、エンコードされたビデオビットストリームBSにおいて、送信に対する適切なシンタックス要素でヘッダ情報を構築してもよい。
【0053】
逆量子化ユニット54および逆変換ユニット56はそれぞれ、逆量子化および逆変換を適用して、例えば、リファレンスビデオブロックの1つとして後に使用するために(例えば、リファレンスピクチャリストにおけるリファレンスピクチャのうちの1つの中に)、画素ドメインにおいて残余ビデオブロックを再構築してもよい。
【0054】
モード決定・エンコーダコントローラユニット40は、再構築された残余ビデオブロックを、リファレンスピクチャストア62に格納されたリファレンスピクチャのうちの1つの予測ブロックに追加することにより、リファレンスビデオブロックを計算してもよい。モード決定・エンコーダコントローラユニット40はまた、1つまたは複数の補間フィルタを、再構築された残余ビデオブロックに適用して、モーション推定において使用するためのサブ整数画素値(例えば、半画素位置(half-pixel positions))を計算してもよい。
【0055】
加算器58は、再構築された残余ビデオブロックを、モーション補償された予測ビデオブロックに追加して、リファレンスピクチャストア62に格納するための再構築されたビデオブロックを作成してもよい。再構築された(画素値ドメイン)ビデオブロックは、後続の非エンコード化ビデオにおける非エンコード化ビデオブロックをインター符号化するためのリファレンスブロックのうちの1つとして、モーション/時間予測ユニット44(または、そのモーション推定機能および/またはそのモーション補償機能)により使用されてもよい。
【0056】
フィルタ60は、非ブロック化フィルタ(deblocking filter)を含んでもよい。非ブロック化フィルタは、再構築されたマクロブロックにおいて存在することができる視覚的アーチファクトを除去するように動作してもよい。これらのアーチファクトは、例えば、Iタイプ、Pタイプ、またはBタイプなどの異なるエンコードのモードを使用に起因して、エンコード処理に導入されてもよい。アーチファクトは、例えば、受信されたビデオブロックの境界および/またはエッジにおいて存在してもよく、ならびに、非ブロック化フィルタは、ビデオブロックの境界および/またはエッジを滑らかにするように動作して、視覚的品質を向上させてもよい。必要に応じて、非ブロック化フィルタは典型的には、加算器58の出力をフィルタリングする。
【0057】
図1Dは、
図1A−IBのビデオデコーダユニット30などのビデオデコーダユニットととの使用のための例示的なビデオデコーダ35を示すブロック図である。ビデオデコーダ35は、入力66、エントロピデコードユニット68、モーション補償予測ユニット70、空間予測ユニット72、逆量子化ユニット74、逆変換ユニット76、リファレンスピクチャストア80、フィルタ82、加算器78、および出力84を含んでもよい。ビデオデコーダ35は、概して、ビデオエンコーダ33(
図1C)に関して提供されるエンコード処理と相反する符号化処理を実行してもよい。このデコード処理は、以下のように実行されてもよい。
【0058】
モーション補償予測ユニット70は、エントロピデコードユニット68から受信されるモーションベクトルに基づいて、予測データを生成してもよい。モーションベクトルは、エンコードされた運動ベクトルに対応するビデオブロックのモーションに対する予測に関連してエンコードされてもよい。モーション補償予測ユニット70は、例えば、デコードされることになるビデオブロックに隣接するブロックのモーションベクトルの中央値として、モーション予測を判定してもよい。モーション予測を判定した後に、モーション補償予測ユニット70は、モーションベクトル差分値を、エンコードされたビデオビットストリームBSから抽出し、ならびに、運動ベクトル差分値を、モーション予測に追加することによって、エンコードされたモーションベクトルをデコードしてもよい。モーション補償予測ユニット70は、モーション予測を、エンコードされたモーションベクトルと同一の分解能(resolution)に量子化してもよい。代わりに、モーション補償予測ユニット70は、全てのエンコードされたモーション予測に対して同一の精度を使用してもよい。別の代替として、モーション補償予測ユニット70は、上記の方法のいずれかを使用するように構成されてもよく、ならびに、エンコードされたビデオビットストリームBSから取得されたシーケンスパラメータセット、スライスパラメータセット、またはピクチャパラメータセットに含まれるデータを分析することによって、どの方法を使用するのかを判定するように構成されてよい。
【0059】
モーションベクトルをデコードした後に、モーション補償予測ユニット70は、モーションベクトルにより識別される予測ビデオブロックを、リファレンスピクチャストア80のリファレンスピクチャから抽出してもよい。モーションベクトルが、半画素などの断片的画素の位置(fractional pixel position)を指す場合、モーション補償予測ユニット70は、断片的画素の位置に対する値を補間してもよい。モーション補償予測ユニット70は、適応補間フィルタまたは固定補間フィルタを使用して、これらの値を補間してもよい。さらに、モーション補償予測ユニット70は、受信されたエンコードされたビデオビットストリームBSから、フィルタ82のうちのどれを使用するのかについてのインジケータ、および、いくつかの実施形態においては、フィルタ82に対する係数を取得してもよい。
【0060】
空間予測ユニット72は、エンコードされたビデオビットストリームBSにおいて受信されたイントラ予測モードを使用して、空間的に近接するブロックから予測ビデオブロックを形成してもよい。逆量子化ユニット74は、エンコードされたビデオビットストリームBSにおいて提供され、および、エントロピデコードユニット68によりデコードされた量子化されたブロック係数を、逆量子化、すなわち、非量子化(de-quantize)してもよい。逆量子化処理は、例えば、H.264により定義されるような従来の処理を含んでもよい。逆量子化処理はまた、各ビデオブロックに対してビデオエンコーダ33により計算される量子化パラメータQPを使用して、量子化の程度、同様に、適用されるべき逆量子化の程度を判定することを含んでもよい。
【0061】
逆変換ユニット76は、逆変換、例えば、本明細書において提供される変換のいずれかの逆、すなわち、逆DCT、逆整数変換、または、概念的に同様な逆変換処理を、変換係数に適用して、画素ドメインにおいて残余ビデオブロックを作成してもよい。モーション補償予測ユニット70は、場合によっては、補間フィルタに基づいて補間を実行して、モーション補償ブロックを作成してもよい。サブピクセル精度を有するモーション推定に使用されることになる補間フィルタに対する識別子は、ビデオブロックのシンタックス要素に含まれてもよい。モーション補償予測ユニット70は、ビデオブロックのエンコードの間にビデオエンコーダ33により使用されるように、補間フィルタを使用して、リファレンスブロックのサブ整数画素に対する補間値を計算してもよい。モーション補償予測ユニット70は、受信されたシンタックス情報にしたがって、ビデオエンコーダ33により使用される補間フィルタを判定し、ならびに、補間フィルタを使用して予測ブロックを作成してもよい。
【0062】
モーション補償予測ユニット70は、エンコードされたビデオシーケンスのピクチャのエンコードに使用されるビデオブロックのサイズを判定するためのシンタックス情報、エンコードされたビデオシーケンスのフレームの各ビデオブロックをどのように区分するのかを記述したパーティション情報、各パーティションをどのようにエンコードするのかを示すモード、各インターエンコードされたビデオブロックに対する1つまたは複数のリファレンスピクチャ、ならびに、エンコードされたビデオシーケンスをデコードするための他の情報うちのいくつかを使用してもよい。
【0063】
加算器78は、残余ブロックを、モーション補償予測ユニット70または空間予測ユニット72により生成される対応する予測ブロックと合計して、デコードされたビデオブロックを形成してもよい。必要に応じて、非ブロック化フィルタ(例えば、フィルタ82)がまた適用されて、ブロックノイズアーチファクト(blockiness artifacts)を除去するために、デコードされたビデオブロックをフィルタリングしてもよい。デコードされたビデオブロックは次に、リファレンスピクチャストア80に格納され、これにより、後続のモーション補償に対してリファレンスビデオブロックが提供され、ならびに、ディスプレイデバイス(
図1のディスプレイデバイス34など)上での提示のためのデコードされたビデオが作成される。
【0064】
各ビデオブロックがエンコード処理および/またはデコード処理を受けるので、そのようなビデオブロックのビデオ情報は、異なって表される。例えば、ビデオブロックは、(i)画素ドメインにおける画素データ、(ii)非エンコード化ビデオブロックと予測ブロックとの間の画素差を表す残余データ(「残余」)、(iii)変換ドメインにおける変換係数(例えば、以下の変換の適用)、および(iv)量子化された変換ドメインにおける量子化変換係数を含んでもよい。
【0065】
各ビデオブロックは、所与の大きさ(dimensions)、すなわち、まとめて「サイズ」を有する。ビデオブロックサイズは、符号化規格に依存してもよい。一例として、H.264規格は、ルーマコンポーネント(luma component)に対する16×16、8×8、または4×4、および、クロマコンポーネント(chroma component)に対する8×8などの種々のビデオブロックサイズにおいてイントラ予測をサポートし、ならびに、例えば、ルーマコンポーネントに対する16×16、16×8、8×16、8×8、8×4、4×8、4×4、および、クロマコンポーネントに対する対応するスケーリングされたサイズなどのサイズ種々のブロックサイズにおいて、インター予測をサポートする。H.264規格では、16×16画素の大きさのビデオブロックは、一般的にマクロブロック(MB)と称され、ならびに、16×16画素より少ないビデオブロックは、一般的にMBのパーティション(「MBパーティション」)と称される。HEVCでは、「コーディングユニット」すなわち「CU」と呼ばれるビデオブロックが使用されて、高解像度(例えば、1080p以上)のビデオ信号をより効率的に圧縮することができる。HEVCでは、CUサイズは、パラメータシーケンスセットに設定され、最大64×64画素または最小4×4画素に設定することができる。CUは、更に予測ユニット(PU)に区分することができ、これ対しては別の予測方法が適用される。各ビデオブロック(MB、CU、PU等に係わらず)は、空間予測ユニット42および/またはモーション/時間予測ユニット44を使用することによって処理されてもよい。
【0066】
本明細書で使用される時、「N×N」および「NバイN(N by N)」は、相互に置き換え可能に使用され、垂直および水平の次元(vertical and horizontal dimensions)において、コンポーネント(例えば、画素、残余、変換係数、量子化変換係数など)を単位とするブロックのサイズを指し、例えば、16×16の要素、または16バイ16の要素などとする。概して、16×16ビデオブロックは、垂直方向に16個の要素(y=16)、および、水平方向に16個の要素(x=16)を有する。同様に、N×Nのブロックは、概して、垂直方向にN個の要素、および、水平方向にN個の要素を有し、Nは、非負整数値を表す。ビデオブロックにおける要素は、行および列で配置されてもよい。さらに、ビデオブロックは、水平方向の画素の数は、垂直方向と同一または異なる数の画素を有してもよい。例えば、ビデオブロックは、N×M画素を含んでもよく、Mは必ずしもNと等しいとは限らない。
【0067】
H.264/AVC規格は、以下に示すように、4次および8次の整数変換、すなわち、T
4およびT
8を指定する。
【0068】
【数1】
[この文献は図面を表示できません]
【0069】
【数2】
[この文献は図面を表示できません]
【0070】
これら2つの整数変換、T4およびT8は、直交しており、非常に低い複雑度を有する。しかし、そのような変換の基底ベクトルは、DCTとは実質的に異なり、したがって、性能はDCTより悪い。加えて、基底ベクトルのノルムは互いに異なる。可逆性および省エネのために、スケーリング処理は、この欠点を補償するために変換の後に行われることになり、これにより、計算の複雑性およびメモリ要件が増加する。加えて、そのようなスケーリング行列は、変換毎に(from transform to transform)異なることが多い。例えば、4次および8次の変換、T
4およびT
8、は、異なるスケーリング行列を使用することを必要とする。異なるスケーリング行列の使用は、コーデックの設計および実装をさらに複雑にし、ならびに、追加的な変換が必要になったときに、そのサポートをさらに困難にする。
【0071】
上述したように、HEVCでは、CUサイズおよびPUサイズは、64×64要素の大きさであってもよく、4次および8次より大きい変換が必要とされる。現在、HEVCでは4つの変換サイズ、4次、8次、16次、および32次が使用される。
【0072】
本明細書では、装置、および変換行列のセットを有する有形のコンピュータ可読記憶媒体が開示される。変換行列のセットの各変換行列は直交し、ならびに、異なる数の要素を有する。それぞれの数の要素の各要素は整数である。各変換行列の基底ベクトルのノルム間の差は、所与の閾値を満たす。基底ベクトルは、DCT行列の対応する基底ベクトルに近似する。所与の閾値は、例えば、満たされるときに、基底ベクトルのノルム間の差が(例えば、一定程度の精度内で)重要でない(insignificant)ことを示す閾値であってもよい。代わりに、所与の閾値は、満たされるときに、基底ベクトルのノルムが略等しいこと示す閾値であってもよい。一実施形態において、基底ベクトルは、歪みの尺度(a measurement of distortion)にしたがって、対応するDCT基底ベクトルに近似する。一実施形態において、基底ベクトルは、予め定義される閾値を満たす歪みの尺度にしたがって、対応するDCT基底ベクトルに近似する。
【0073】
また、本明細書では、N次整数変換、すなわち、T
N、を生成および/または使用するための方法、装置、およびシステムが開示され、Nは、4、8、16、32などであってもよい。本明細書に開示される種々の実施形態において、変換の「次」数は、例えば、「K次」などを含む他の表記を使用して表現されてもよい。
【0074】
N次整数変換T
Nのそれぞれは、直交してもよい。直交しており、これらのN次整数変換T
Nは、再構築誤差の平均エネルギを、量子化誤差の平均エネルギに等しくすることができ(非垂直変換とは異なる)、ならびに、非直交変換よりも良好な変換性能を有する。
【0075】
N次整数変換T
Nのそれぞれは、ほぼ等しいノルム(「T
N基底ベクトルノルム」)を有する基底ベクトル(「T
N基底ベクトル」)を有する。例えば、T
N基底ベクトルノルム間の差は、所与の閾値より小さくてもよい。T
N基底ベクトルは、例えば、DCTの基底ベクトル(「DCT基底ベクトル」)に近似してもよい。T
N基底ベクトルとDCT基底ベクトルとの間の差は、DCT歪により測定されてもよい。T
N基底ベクトルは、DCT歪が、予め定義される閾値より小さいときに、DCT基底ベクトルに近似してよい。DCT歪の計算は、変換の基底ベクトルの全てまたは一部を含んでもよい。一実施形態において、T
NのDCT歪は以下のように計算されてよい。まず、T
N基底ベクトルのぞれぞれが正規化される。T
N基底ベクトルは、T
N基底ベクトルのそれぞれを、それ自身のノルムで分割することによって、正規化されてもよい。その後、DCT歪は、以下の式(3)および(4)を使用して計算されてよい。
【0076】
【数3】
[この文献は図面を表示できません]
【0077】
ICT
Nは、正規化されたT
Nであり、および、DCT
Nは、N×NのDCT行列である。
【0078】
【数4】
[この文献は図面を表示できません]
【0079】
Sは、変換の基底ベクトルの集合である。Sは、全ての基底ベクトル(例えば、sは{0,1,2,N−l}とすることができる)、または、基底ベクトルの一部(例えば、sは{0,1,2,7,10,...}とすることができる)を含んでもよい。
【0080】
一実施形態において、N次整数変換T
Nは、空間的対称性および構造を示すそれぞれの変換行列を有してもよい。これらの対称性および構造は、例えば、本明細書に開示されるような高速アルゴリズムの使用を円滑にすることができる。一実施形態において、N次整数変換T
Nの順変換、量子化、非量子化および/または逆変換のいずれかが、16ビット演算を使用して実装されてもよい。
【0081】
また、本明細書では、N次変換のファミリが開示され、Nは、8、16および32である。同一ファミリの各変換T
Nは、同一の構造(「変換ファミリ構造」)を有してもよい。例えば、8次変換ファミリの変換T
8が全て、8次変換ファミリ構造を有してもよい。16次変換ファミリの変換T
16は全て、16次変換ファミリ構造を有してもよく、および、32次変換ファミリの変換T
32は全て、32次変換ファミリ構造を有してもよい。変換ファミリ構造は、そのような対応するファミリの各変換T
Nが、高速アルゴリズムを使用して完全に因数分解され、および、実装されるようにすることを可能にする。完全因数分解を使用して実装可能であることに加えて、変換の各ファミリ内の多くの実施形態は、N次整数変換、すなわち、T
Nのように、は、(i)直交または略直交であってよく、(ii)ほぼ等しいノルムを有する基底ベクトルを有してもよい。これらの基底ベクトルは、同様に、DCTの基底ベクトルに近似してよい。さらに、そのような実施形態の順変換、量子化、非量子化、および/または逆変換のいずれかは、16ビット演算を使用するように構成される構造を使用して行われてもよく、ならびに/または、当該構造で実装されてもよい。代わりに、実施形態の順変換、量子化、非量子化および/または逆変換のいずれかは、同様に、他の演算フォーマットを使用するように構成される構造を使用して行われてもよく、ならびに/または、当該構造で実装されてもよい。
【0083】
一実施形態において、K次変換、T
Kは、中間行列、すなわち、T’
Kを使用して形成されてもよい。一実施形態にしたがって、中間行列T’
Kは、中間変換係数行列の偶数−奇数分解行列による行列乗算に関して(in terms of)表現されてもよい。中間変換係数行列は、偶数部および奇数部を含んでもよい。偶数−奇数分解行列のK次変換T
Kへの適用は、K次変換T
Kを偶数部および奇数部に分解することができる。偶数部は、例えば、N/2次(すなわち、低次)変換T
k/2であってもよく、および、奇数部は、低次変換行列P
k/2であってもよい。一実施形態において、中間行列T’
Kは以下のように表現されてもよい。
【0084】
【数5】
[この文献は図面を表示できません]
【0086】
【数6】
[この文献は図面を表示できません]
【0088】
【数7】
[この文献は図面を表示できません]
【0089】
は、偶数−奇数分解行列であってもよい。偶数−奇数分解行列において、I
NおよびJ
Nは以下のように定義されてもよい。
【0090】
【数8】
[この文献は図面を表示できません]
【0091】
【数9】
[この文献は図面を表示できません]
【0092】
中間行列T
N’からN次変換行列T
Nへの転換は、以下のように行うことができる。
【0093】
【数10】
[この文献は図面を表示できません]
【0094】
例として、8次変換、T
8、を形成するための中間行列、すなわち、T’
8は、一実施形態にしたがって、中間変換係数行列
【0095】
【数11】
[この文献は図面を表示できません]
【0097】
【数12】
[この文献は図面を表示できません]
【0098】
による行列乗算に関して表現されてもよい。例えば、中間行列T’
8 は以下のように表すことができる。
【0099】
【数13】
[この文献は図面を表示できません]
【0101】
【数14】
[この文献は図面を表示できません]
【0102】
は、偶数部および奇数部を含んでもよい。偶数部は、4次変換 T
4の変換行列(すなわち、低N/2次であり、N=8)であってもよく、奇数部は、低次行列P
4であってもよい。4次変換T
4(すなわち、式(9)に関して、「低次偶数部行列」)は、一実施形態にしたがって以下の通りとすることができる。
【0103】
【数15】
[この文献は図面を表示できません]
【0104】
4次変換T
4の変換係数は、多数の要因に基づいて、経験的に(empirically)判定されてもよい。これらの要因は、例えば、変換係数の全てが整数であること、4次変換T
4が直交していること、T
4基底ベクトルノルムが等しいもしくはほぼ等しいこと(例えば、閾値を満たす)、および、T
4基底ベクトルがDCT基底ベクトルに近似すること(例えば、DCT歪が、予め定義される閾値より小さいという条件を満たすこと)を含んでもよい。
【0105】
低次行列P
4(すなわち、式(9)に関して、「低次奇数部行列」)は、一実施形態にしたがって、以下の通りとすることができる。
【0106】
【数16】
[この文献は図面を表示できません]
【0107】
低次行列P
4の要素は、多数の要因に基づいて、経験的に判定されてもよい。これらの要因は、例えば、要素の全てが整数であること、低次行列P
4が直交していること、低次行列P
4基底ベクトルノルムが等しいもしくはほぼ等しいこと(例えば、閾値を満たす)、および、低次行列P
4基底ベクトルがDCT基底ベクトルに近似すること(例えば、DCT歪が、予め定義される閾値より小さいという条件を満たすこと)を含んでもよい。
【0108】
偶数−奇数分解行列のI
4およびJ
4は、それぞれ上記の式(6)および(7)のように表現されてもよい。
【0109】
式(8)から(11)を適用することにより、8次整数変換T8は以下の通りとすることができる。
【0110】
【数17】
[この文献は図面を表示できません]
【0111】
一実施形態において、N次整数変換T
Nのそれぞれは、低次整数変換に関して表現されてもよい。例えば、16次変換T
16を形成するための中間行列T’
16は、一実施形態にしたがって、中間変換係数行列
【0112】
【数18】
[この文献は図面を表示できません]
【0114】
【数19】
[この文献は図面を表示できません]
【0115】
との行列乗算に関して表現されてもよい。中間変換係数行列
【0116】
【数20】
[この文献は図面を表示できません]
【0117】
は、偶数部および奇数部を含んでもよい。偶数部は、8次(すなわち、低次)変換T
8であってもよく、および、奇数部は、低次変換行列P
4であってもよい。中間行列T’
16は、以下の通りに表すことができる。
【0118】
【数21】
[この文献は図面を表示できません]
【0119】
P
8は、以下のように定義することができる。
【0120】
【数22】
[この文献は図面を表示できません]
【0121】
式(6)−(8)および(13)−(14)に基づいて、16次変換行列T16は以下の通りとすることができる。
【0122】
【数23】
[この文献は図面を表示できません]
【0123】
一実施形態において、N次整数変換T
Nのそれぞれは、低次整数変換に関して表現されてもよい。32次変換T
32を形成するための中間行列T’
32は、一実施形態にしたがって、中間変換中間変換係数行列
【0124】
【数24】
[この文献は図面を表示できません]
【0126】
【数25】
[この文献は図面を表示できません]
【0127】
との行列乗算に関して表現されてもよい。中間変換係数行列
【0128】
【数26】
[この文献は図面を表示できません]
【0129】
は、偶数部および奇数部を含んでもよい。偶数部は、16次(すなわち、低次)変換T
16であってもよく、および、奇数部は、低次行列P
16であってもよい。中間行列T’
32は、以下の通りに表すことができる。
【0130】
【数27】
[この文献は図面を表示できません]
【0131】
一実施形態において、式(16)の低次行列P
16は、以下の通りに定義することができる。
【0132】
【数28】
[この文献は図面を表示できません]
【0133】
【数29】
[この文献は図面を表示できません]
【0134】
は、ウェーブレット分解に対する低次中間行列であり、Wは16×16ウェーブレット変換であってもよく、その一例を以下の通りに示すことができる。
【0135】
【数30】
[この文献は図面を表示できません]
【0136】
ウェーブレット変換は、例えば、Haar変換であってよい。ウェーブレット変換は、他のウェーブレット変換であってもよい。ウェーブレット分解に対する低次中間行列におけるP
8は、低8次変換T8(すなわち、N/4次変換)であってもよい。式(6)−(8)および(16)−(18)に基づいて、
図2に示す32次変換行列T
32が生成されてもよい。
【0138】
図1C−1Dを参照して、ビデオエンコーダ33およびビデオデコーダ35に対して、ビデオエンコーダ33の変換ユニット48への入力の動的レンジ、および、ビデオデコーダ35の逆変換ユニット76の出力の動的レンジは、同一であってよい。ビデオエンコーダ33および/またはビデオデコーダ35における変換動作に対して、この動的レンジが、最初に検出されて、次にビット深度(「BD」)により表されてもよい。一例として、動的レンジが[−255,255]の場合、BDは、8に等しい。動的レンジが[−1023,1023]の場合、BDは10に等しい。動的レンジを判定した後に、変数ΔBDが計算されてもよい。変数ΔBDは、例えば、BD−8として計算されてもよい。
【0139】
ビデオエンコーダ33において、サイズがM×N(M,N∈{4,8,16,32})の予測残余ブロックX
M×Nは、変換ユニット48、量子化ユニット50、逆量子化ユニット54、および逆変換ユニット56において、その結果として処理される。ビデオ処理のこれらの4つの動作は、以下でさらに詳細に提供される。本明細書で使用されるように、逆量子化ユニット54および逆変換ユニット56において実行される動作は、それぞれ、非量子化および逆変換と称されてもよい。ビデオデコーダ35において、逆量子化ユニット74および逆変換ユニット76において実行される動作は、典型的には、逆量子化ユニット54および逆変換ユニット56において実行されるものと同一である。
【0140】
<順変換>
順変換への入力は、予測残余ブロックであってもよく、X
M×Nと表される。2D順変換をX
M×Nに対して実行するために、X
M×NにおけるM行およびN列は、それぞれの次元で順次変換され(transformed in each dimension sequentially)、これは、それぞれ水平および垂直の順変換として既知である。水平または垂直の順変換のいずれかが最初に形成されてよい。
【0141】
水平順変換が最初に実行される場合、最初に、X
M×Nは、
【0142】
【数31】
[この文献は図面を表示できません]
【0143】
によって右乗算されてもよく(上付き文字Tは転置(transposition)を意味する)、16ビット演算に適応するため(accommodate)に適切な数のビットで右シフトされてもよい。結果は、以下のようにU
M×Nであってもよい。
【0144】
【数32】
[この文献は図面を表示できません]
【0145】
上記T
N (N∈{4,8,16,32})および「≫」は、右シフトを意味する。因数f
fwd,hは、四捨五入のためのものであり(for rounding)、
【0146】
【数33】
[この文献は図面を表示できません]
【0147】
の範囲にあってもよい。本明細書においては説明を簡略にするためにf
fwd,hは
【0148】
【数34】
[この文献は図面を表示できません]
【0150】
水平順変換の後、垂直順変換が中間ブロックU
M×Nに対して実行されてもよい。垂直順変換の処理は以下の通りとすることができる。
【0151】
【数35】
[この文献は図面を表示できません]
【0153】
【数36】
[この文献は図面を表示できません]
【0154】
の範囲にあってもよく、本明細書においては説明を簡略にするために、
【0155】
【数37】
[この文献は図面を表示できません]
【0157】
しかし、垂直順変換が最初に実行される場合、最初に、X
M×NはT
Mによって左乗算されてもよく、16ビット演算に適合するために適切な数のビットで右シフトされてもよい。結果は、以下のようにU
M×Nとすることができる。
【0158】
【数38】
[この文献は図面を表示できません]
【0159】
ここで、因数f
fwd,hは四捨五入のためのものであり、
【0160】
【数39】
[この文献は図面を表示できません]
【0161】
の範囲にあってもよい。本明細書においては説明を簡略にするために、f
fwd,hは
【0162】
【数40】
[この文献は図面を表示できません]
【0164】
垂直順変換の後、水平順変換を中間ブロックU
M×Nにに対して実行することができる。水平順変換の処理は、以下の通りとすることができる。
【0165】
【数41】
[この文献は図面を表示できません]
【0167】
【数42】
[この文献は図面を表示できません]
【0168】
の範囲にあるべきであり、本明細書においては説明を簡略にするために、
【0169】
【数43】
[この文献は図面を表示できません]
【0171】
<量子化>
量子化の入力は、2D順変換の出力、すなわち、Y
M×Nであってもよい。Y
M×Nにおける全ての要素に対する量子化処理は、同一または異なってもよい。要素Y
M×N(i,j)(0≦i≦M−1,0≦j≦N−1)、関連付けられた量子化ステップサイズW
M×N(i,j)とすると、量子化処理は以下の通りとすることができる。
【0172】
【数44】
[この文献は図面を表示できません]
【0173】
f
M×N,q(i,j)は四捨五入のための因数であり、
【0174】
【数45】
[この文献は図面を表示できません]
【0175】
の範囲にあってもよい。本明細書においては説明を簡略にするために、f
M×N,q(i,j)は
【0176】
【数46】
[この文献は図面を表示できません]
【0177】
と等しくてもよい。式(23)において、S
M×N(i,j)およびQ
M×N(i,j)は以下のような関係を満たすものであってもよい。
【0178】
【数47】
[この文献は図面を表示できません]
【0179】
【数48】
[この文献は図面を表示できません]
【0180】
は、S
M×N(i,j)の乗算、および、Q
M×N(i,j)ビットの右シフト(right shifting Q
M×N(i,j))が使用されて、量子化ステップサイズW
M×N(i,j)による除算に近似させることを意味する。より正確な近似は、Q
M×N(i,j)の右シフトビットの数を増加させることにより達成されてもよい。
【0181】
<非量子化 >
非量子化は、入力Z
M×Nを使用してY
M×Nを再構築することに使用されてもよい。再構築されたブロックは、Y’
M×Nと表される。直観的に、Y’
M×N(i,j)は、Z
M×N(i,j)に量子化ステップサイズW
M×N(i,j)を乗じたものに等しくてもよい。しかし、W
M×N(i,j)は、必ずしも整数でなくともよく、したがって、式(24)と同様の近似がまた、式(25)のように、非量子化に対して実行されてもよい。
【0182】
【数49】
[この文献は図面を表示できません]
【0183】
同様に、ラージ(large)IQ
M×N(i,j)は高精度を意味する。非量子化処理は、以下の通りとすることができる。
【0184】
【数50】
[この文献は図面を表示できません]
【0185】
f
M×N,dq(i,j)は、四捨五入のための因数であり、
【0186】
【数51】
[この文献は図面を表示できません]
【0187】
の範囲にあるべきである。本明細書においては説明を簡略にするために、f
M×N,dq(i,j)は、
【0188】
【数52】
[この文献は図面を表示できません]
【0189】
と等しくてもよく、および/または、それに準じてもよい。0未満である
【0190】
【数53】
[この文献は図面を表示できません]
【0191】
の値は、左シフトを意味し、その場合、f
M×N,dq(i,j)は0に設定されてもよい。
【0192】
<逆変換>
逆変換への入力は、非量子化ブロックY’
M×Nであってもよい。2D逆変換をY’
M×Nに対して実行するために、Y’
M×NにおけるM行およびN列が、それぞれ水平および垂直逆変換を使用して順次(in a sequential manner)変換される。水平または垂直逆変換のいずれかが、最初に実行されてもよい。
【0193】
水平逆変換が最初に実行される場合、最初に、Y’
M×NはT
Nによって右乗算されてもよく、16ビット演算に適応するために適切な数のビットで右シフトされてもよい。結果の中間ブロックY
M×Nは以下の通りとすることができる。
【0194】
【数54】
[この文献は図面を表示できません]
【0195】
因数f
inv,hは、[0,256]の範囲にあってもよい。本明細書においては説明を簡略にするために、f
inv,hは128と等しくてもよい。
【0196】
水平逆変換の後、垂直逆変換は中間ブロックV
M×Nに対して実行されてもよい。垂直逆変換の処理は、以下の通りとすることができる。
【0197】
【数55】
[この文献は図面を表示できません]
【0199】
【数56】
[この文献は図面を表示できません]
【0200】
の範囲にあってもよく、本明細書においては説明を簡略にするために、
【0201】
【数57】
[この文献は図面を表示できません]
【0203】
垂直逆変換が最初に実行される場合、最初に、Y’
M×Nは
【0204】
【数58】
[この文献は図面を表示できません]
【0205】
によって左乗算されてもよく、16ビット演算に適合するために適切な数のビットで右シフトされてもよい。結果の中間ブロックV
M×Nは以下の通りとすることができる。
【0206】
【数59】
[この文献は図面を表示できません]
【0207】
因数f
inv,hは、四捨五入のためのものであり、[0,256]の範囲にあてもよい。本明細書においては説明を簡略にするために、f
inv,hは、128と等しくてもよい。
【0208】
垂直逆変換の後、水平逆変換が中間ブロックV
M×Nに対して実行されてもよい。水平逆変換の処理は、以下の通りとすることができる。
【0209】
【数60】
[この文献は図面を表示できません]
【0211】
【数61】
[この文献は図面を表示できません]
【0212】
の範囲にあってもよく、本明細書においては説明を簡略にするために、
【0213】
【数62】
[この文献は図面を表示できません]
【0215】
以下の表1は、上記開示された動作の各ステップの後の動的レンジを要約したものであり、水平変換が垂直変換の前に実行されることを前提とする。表から明らかなように、処理の全てが、16ビット演算を使用して実装されてもよい。
【0216】
【表1】
[この文献は図面を表示できません]
【0217】
表1−種々の動作(水平変換が最初に実行される)の後の動的レンジ
【0219】
順変換および逆変換の定義は、式(19)−(22)、および(27)−(30)などの行列の乗算を含む。特定の実装プラットフォームに対し、行列の乗算の複雑度が高い。行列の乗算の単純化が、本明細書において提供される。単純化の少なくとも一部は、変換T
N、奇数部、ウェーブレット分解に対する低次中間行列、およびウェーブレット分解行列などの対称性に基づいて開発された。
【0220】
<変換に対する一般的な部分的因数分解>
【0221】
図3A−3Bは、K次変換に対する部分的因数分解を実行するための例示的な構造を示すブロック図である。K次変換(K∈{4,8,16,32})に対する部分的因数分解を実行するための例示的な順変換の構造、モジュールまたはユニット(まとめて「ユニット」)300が、
図3Aに示される。順変換ユニット300は、2つのステージに分解されてもよい。第1のステージは、ステージ1ユニット302を含んでもよく、および、第2のステージは、2つのステージ2ユニット304、306を含んでもよい。入力ベクトル、
【0222】
【数63】
[この文献は図面を表示できません]
【0223】
とすると、ステージ1ユニット302は、以下のように
【0224】
【数64】
[この文献は図面を表示できません]
【0225】
およびxの行列の乗算を実行するように適合されてもよい。
【0226】
【数65】
[この文献は図面を表示できません]
【0227】
【数66】
[この文献は図面を表示できません]
【0228】
は、ステージ1ユニット302の中間変換結果出力、ならびに、ステージ2ユニット304および306への入力である。ステージ2ユニット304、306は、中間変換結果aを2つの部分、すなわち、
【0229】
【数67】
[この文献は図面を表示できません]
【0230】
の第1および第2のハーフ(half)に分割してもよい。中間変換結果aの第1のハーフ、すなわち、
【0231】
【数68】
[この文献は図面を表示できません]
【0232】
は、ステージ2.1ユニット304への入力であってもよい。ステージ2.1ユニット304は、例えば、以下のように、T
k/2での行列の乗算を実行してもよい。
【0233】
【数69】
[この文献は図面を表示できません]
【0234】
【数70】
[この文献は図面を表示できません]
【0235】
は、変換行列T
Nの出力における偶数インデックス要素を表す。
【0236】
【数71】
[この文献は図面を表示できません]
【0237】
の各要素は、変換行列T
Kの偶数部の基底ベクトルに対応する。また、
【0238】
【数72】
[この文献は図面を表示できません]
【0239】
は1D順変換の出力である。中間変換結果aの第2のハーフ、すなわち、
【0240】
【数73】
[この文献は図面を表示できません]
【0241】
は、ステージ2.2ユニット306への入力であってもよい。ステージ2.2ユニット306は、例えば、以下のように、P
k/2での行列の乗算を実行してもよい。
【0243】
【数74】
[この文献は図面を表示できません]
【0244】
は、変換行列T
Nの出力における奇数インデックス要素を表す。
【0245】
【数75】
[この文献は図面を表示できません]
【0246】
の各要素は、変換行列T
Kの奇数部の基底ベクトルに対応する。
【0247】
K次変換(K∈{4,8,16,32})に対する部分的因数分解を実行するための、例示的な逆変換ユニット350が、
図3Bに示される。逆変換ユニット350は、2つのステージに分解されてもよい。第1のステージは、ステージ1ユニット352および354を含んでもよく、ならびに、第2のステージは、ステージ2ユニット356を含んでもよい。
【0248】
【数76】
[この文献は図面を表示できません]
【0249】
の偶数インデックス要素および奇数インデックス要素は、最初に別々にグループ化され、示されるように、それぞれステージ1.1ユニット352およびステージ1.2ユニット354に入力されてもよい。ステージ1.1ユニット352は、
【0250】
【数77】
[この文献は図面を表示できません]
【0252】
【数78】
[この文献は図面を表示できません]
【0253】
との行列の乗算を実行してもよく、ステージ1.2ユニット354は、
【0254】
【数79】
[この文献は図面を表示できません]
【0256】
【数80】
[この文献は図面を表示できません]
【0257】
との行列の乗算を実行してもよく、例えば、以下に示すようになる。
【0258】
【数81】
[この文献は図面を表示できません]
【0259】
【数82】
[この文献は図面を表示できません]
【0260】
ステージ1.1ユニット352およびステージ1.2ユニット354の出力は、それぞれ、中間逆変換結果
【0261】
【数83】
[この文献は図面を表示できません]
【0262】
の第1および第2のハーフであってもよく。中間逆変換結果bは、ステージ2ユニット356に入力されてもよい。ステージ2ユニット356は、例えば、以下のように
【0263】
【数84】
[この文献は図面を表示できません]
【0264】
とbとの行列の乗算を実行してもよい。
【0265】
【数85】
[この文献は図面を表示できません]
【0266】
ステージ2ユニット356はまた、偶数部および奇数部を組み合わせて最終出力変換係数にしてもよい。
【0267】
<32次変換に対する例示的な因数分解>
【0268】
Kが、例えば、32に等しい場合、32次変換に対する順変換ステージ2.2ユニット306および逆変換ステージ1.2ユニット354のそれぞれを、
図4Aおよび4Bに示すように、それぞれ2つのステージ400および450に因数分解することができる。
図4Aに示すように、ステージ2.2ユニット306は、ステージ2.2.1ユニット402、ステージ2.2.2ユニット404、およびステージ2.2.3ユニット406を使用して、実行(carry out)されてもよい。ユニット402、404および406により満たされる(completed)される行列の乗算は、以下の通りとすることができる。
【0269】
【数86】
[この文献は図面を表示できません]
【0270】
【数87】
[この文献は図面を表示できません]
【0271】
【数88】
[この文献は図面を表示できません]
【0272】
【数89】
[この文献は図面を表示できません]
【0273】
は、16×1の中間ベクトルであってもよい。
【0274】
図4Bに示すように、ステージ1.2ユニット354は、ステージ1.2.1ユニット452、ステージ1.2.2ユニット454、およびステージ1.2.3ユニット456を使用して実行されてもよい。ユニット452、454および456により実行される行列の乗算は、以下の通りとすることができる。
【0275】
【数90】
[この文献は図面を表示できません]
【0276】
【数91】
[この文献は図面を表示できません]
【0277】
【数92】
[この文献は図面を表示できません]
【0278】
【数93】
[この文献は図面を表示できません]
【0281】
変換行列T
8は、上述のように、低次偶数部行列および低次奇数部行列を含んでもよい。低次偶数部行列は、例えば、任意の4次変換の変換行列T
4であってもよく、例えば、式(10)の変換行列T
4を含む。低次奇数部行列はP
4であってもよく、10個のパラメータ、すなわち、{a,b,c,d,e,f,i,j,h,k}により以下のように定義されてもよい。
【0282】
【数94】
[この文献は図面を表示できません]
【0283】
低次奇数部行列P
4は、3つのN/2次行列、すなわち、
【0284】
【数95】
[この文献は図面を表示できません]
【0285】
【数96】
[この文献は図面を表示できません]
【0287】
【数97】
[この文献は図面を表示できません]
【0288】
の乗算と等しくてもよい。すなわち、低次奇数部行列
【0289】
【数98】
[この文献は図面を表示できません]
【0290】
である。一実施形態において、3つのN/2次行列
【0291】
【数99】
[この文献は図面を表示できません]
【0292】
【数100】
[この文献は図面を表示できません]
【0294】
【数101】
[この文献は図面を表示できません]
【0296】
【数102】
[この文献は図面を表示できません]
【0297】
一実施形態において、式(33)に示すような、ステージ2.2ユニット306により実行される動作は、以下のように実行されてもよい。
【0298】
【数103】
[この文献は図面を表示できません]
【0300】
【数104】
[この文献は図面を表示できません]
【0301】
【数105】
[この文献は図面を表示できません]
【0303】
【数106】
[この文献は図面を表示できません]
【0304】
との行列の乗算を順次行うことに完全に因数分解されてもよいことを意味する。同様に、逆変換については、式(35)に示すようなステージ1.2ユニット354の動作は、以下のように実行されてよい。
【0305】
【数107】
[この文献は図面を表示できません]
【0307】
【数108】
[この文献は図面を表示できません]
【0309】
【数109】
[この文献は図面を表示できません]
【0310】
【数110】
[この文献は図面を表示できません]
【0312】
【数111】
[この文献は図面を表示できません]
【0313】
との行列の乗算を順次行うことに完全に因数分解されてもよいことを意味する。
【0314】
図5A−5Bは、8次変換に対する完全因数分解を実行するための例示的な構造を示すブロック図である。パラメータセット{a,b,c,d,e,f,i,j,h,k}に対する例示的な値は、{3,2,5,1,37,24,37,48,1,1}および{3,2,5,1,144,99,72,99,0.5,1}を含む。式(10)の低次行列P
4は、例えば、例示的な値{3,2,5,1,37,24,37,48,1,1}を使用して生成されてもよい。
【0316】
変換行列T
16は、上述のように、低次偶数部行列および低次奇数部行列を含んでもよい。低次偶数部行列は、例えば、任意の8次変換の変換行列T
8であってもよく、例えば、上記の「8次変換の例示的な構造」の項で議論された変換行列T
8を含む。低次奇数部行列はP
8であってもよく、10個のパラメータ、すなわち、{a,b,c,d,e,f,g,h,k,1,i,j}により以下のように定義されてもよい。
【0317】
【数112】
[この文献は図面を表示できません]
【0318】
低次奇数部行列P
8は、4つのN/2次行列、すなわち、
【0319】
【数113】
[この文献は図面を表示できません]
【0320】
【数114】
[この文献は図面を表示できません]
【0321】
【数115】
[この文献は図面を表示できません]
【0323】
【数116】
[この文献は図面を表示できません]
【0325】
【数117】
[この文献は図面を表示できません]
【0326】
である。一実施形態において、4つのN/2次行列
【0327】
【数118】
[この文献は図面を表示できません]
【0328】
【数119】
[この文献は図面を表示できません]
【0329】
【数120】
[この文献は図面を表示できません]
【0331】
【数121】
[この文献は図面を表示できません]
【0333】
【数122】
[この文献は図面を表示できません]
【0334】
【数123】
[この文献は図面を表示できません]
【0335】
【数124】
[この文献は図面を表示できません]
【0336】
【数125】
[この文献は図面を表示できません]
【0337】
一実施形態において、式(33)に示すような、ステージ2.2ユニット306により実行される動作は、以下のように実行されてよい。
【0338】
【数126】
[この文献は図面を表示できません]
【0340】
【数127】
[この文献は図面を表示できません]
【0341】
【数128】
[この文献は図面を表示できません]
【0342】
【数129】
[この文献は図面を表示できません]
【0344】
【数130】
[この文献は図面を表示できません]
【0345】
との行列の乗算を順次行うことに完全に因数分解されてもよいことを意味する。同様に、逆変換については、式(35)に示すようなステージ1.2ユニット354の動作は、以下のように実行されてよい。
【0346】
【数131】
[この文献は図面を表示できません]
【0348】
【数132】
[この文献は図面を表示できません]
【0350】
【数133】
[この文献は図面を表示できません]
【0351】
【数134】
[この文献は図面を表示できません]
【0352】
【数135】
[この文献は図面を表示できません]
【0354】
【数136】
[この文献は図面を表示できません]
【0355】
との行列の乗算を順次行うことに完全に因数分解されてよいことを意味する。
【0356】
図6A−6Bは、16次変換に対する完全因数分解を実行するための例示的な構造を示すブロック図である。パラメータセット{a,b,c,d,e,f,g,h,k,1,i,j}に対する例示的な値が以下の表2に示される。
【0357】
【表2】
[この文献は図面を表示できません]
【0362】
変換行列T32は、上述のように、低次偶数部行列および低次奇数部行列を含んでもよい。低次偶数部行列は、例えば、任意の16次変換の変換行列T
16であってもよく、例えば、上記の「16次変換の例示的な構造例」の項で議論した変換行列T
16を含む。低次奇数部行列はP
16であってもよく、2つの行列XおよびYの行列の乗算により定義されてよく、すなわち、P
16=X×Yである。次に、式(33)により提供される処理は、それぞれ式(54)および(55)に示すように、2つのステージに分解されてもよい。
【0363】
【数137】
[この文献は図面を表示できません]
【0364】
【数138】
[この文献は図面を表示できません]
【0365】
【数139】
[この文献は図面を表示できません]
【0366】
は中間結果である。同様に、逆変換についても、式(35)により提供される処理は、それぞれ式(56)および(57)に示すように、2つのステージに分解されてよい。
【0367】
【数140】
[この文献は図面を表示できません]
【0368】
【数141】
[この文献は図面を表示できません]
【0369】
【数142】
[この文献は図面を表示できません]
【0371】
Xは、以下に示すように、5つの(5)パラメータ{A,a
2,B,b
1,b
2}により定義されてもよい。
【0372】
【数143】
[この文献は図面を表示できません]
【0373】
行列Xは、4つのN/2次行列、すなわち、
【0374】
【数144】
[この文献は図面を表示できません]
【0375】
【数145】
[この文献は図面を表示できません]
【0376】
【数146】
[この文献は図面を表示できません]
【0377】
および、
【数147】
[この文献は図面を表示できません]
【0379】
【数148】
[この文献は図面を表示できません]
【0380】
である。一実施形態において、4つのN/2次行列
【0381】
【数148】
[この文献は図面を表示できません]
【0382】
【数149】
[この文献は図面を表示できません]
【0383】
【数150】
[この文献は図面を表示できません]
【0384】
および、
【数151】
[この文献は図面を表示できません]
【0386】
【数152】
[この文献は図面を表示できません]
【0387】
【数153】
[この文献は図面を表示できません]
【0388】
【数154】
[この文献は図面を表示できません]
【0389】
【数155】
[この文献は図面を表示できません]
【0390】
式(54)における動作は、以下のようにさらに分解されてもよく、および、実行されてよい。
【0391】
【数156】
[この文献は図面を表示できません]
【0393】
【数157】
[この文献は図面を表示できません]
【0394】
【数158】
[この文献は図面を表示できません]
【0395】
【数159】
[この文献は図面を表示できません]
【0397】
【数160】
[この文献は図面を表示できません]
【0398】
との行列の乗算を順次行うことに完全に因数分解されてもよいことを意味する。同様に、式(57)における動作は、以下のようにさらに分解されてもよく、および、実行されてよい。
【0399】
【数161】
[この文献は図面を表示できません]
【0401】
【数162】
[この文献は図面を表示できません]
【0402】
【数163】
[この文献は図面を表示できません]
【0403】
【数164】
[この文献は図面を表示できません]
【0405】
【数165】
[この文献は図面を表示できません]
【0406】
との行列の乗算を順次行うことに完全に因数分解されてもよいことを意味する。
【0407】
図6A−6Bは、32次変換に対する完全因数分解を実行するための例示的な構造を示すブロック図である。パラメータセットX{A,a2,B,bl,b2}の例示的な値は、{3,2,5,2,5}、{3,2,13,5,12}、{7,5,5,2,5}、および{7,5,13,5,12}である。
【0408】
以下では、式(55)および(56)における高速アルゴリズムを円滑にするために、Yを因数分解するための処理を示す。
【0409】
まず、cにおける要素は、4つのベクトル、すなわち、
【0410】
【数166】
[この文献は図面を表示できません]
【0411】
【数167】
[この文献は図面を表示できません]
【0412】
【数168】
[この文献は図面を表示できません]
【0414】
【数169】
[この文献は図面を表示できません]
【0415】
にグループ化されてもよい。次に、行列の乗算が、c
0、c
1、c
2、およびc
3にそれぞれ以下のように適用されてもよい。
【0416】
【数170】
[この文献は図面を表示できません]
【0417】
【数171】
[この文献は図面を表示できません]
【0418】
【数172】
[この文献は図面を表示できません]
【0419】
【数173】
[この文献は図面を表示できません]
【0420】
式(65)−(68)における4つの出力ベクトルは、ベクトル
【0421】
【数174】
[この文献は図面を表示できません]
【0422】
【数175】
[この文献は図面を表示できません]
【0423】
と同一である。言い換えると、何らかの並べ替え動作で、式(55)における16×16の行列の乗算が、式(65)から(68)のように4つの4×4の行列の乗算に因数分解されてもよい。式(65)−(68)において、Y
0、Y
1、Y
2、およびY
3は以下のように式(69)−(72)でそれぞれ定義されてもよい。
【0424】
【数176】
[この文献は図面を表示できません]
【0425】
【数177】
[この文献は図面を表示できません]
【0426】
【数178】
[この文献は図面を表示できません]
【0427】
【数179】
[この文献は図面を表示できません]
【0428】
パラメータセットに対する例示的な値が以下の表3−6に示される。
【0429】
【表3】
[この文献は図面を表示できません]
【0430】
表3 {e1,f1,g1,h1,j1,k1,m1,n1}に対する実施形態
【0431】
【表4】
[この文献は図面を表示できません]
【0432】
表4 {e2,f2,g2,h2,j2,k2,m2,n2}に対する実施形態
【0433】
【表5】
[この文献は図面を表示できません]
【0434】
表5 {e3,f3,g3,h3,j3,k3,m3,n3}に対する実施形態
【0435】
【表6】
[この文献は図面を表示できません]
【0436】
表6 {e4,f4,g4,h4,j4,k4,m4,n4}に対する実施形態
【0437】
逆変換の一部として、式(56)における動作を、同様の方法で分解することができる。
【0438】
一例として、最初に、式(56)において
【0439】
【数180】
[この文献は図面を表示できません]
【0441】
【数181】
[この文献は図面を表示できません]
【0442】
とみなす。gにおける要素は、4つのベクトル、
【0443】
【数182】
[この文献は図面を表示できません]
【0444】
【数183】
[この文献は図面を表示できません]
【0445】
【数184】
[この文献は図面を表示できません]
【0447】
【数185】
[この文献は図面を表示できません]
【0448】
にグループ化されてもよい。次に、行列の乗算がg
0、g
1、g
2、およびg
3にそれぞれ式(73)−(76)に示すように適用する。
【0449】
【数186】
[この文献は図面を表示できません]
【0450】
【数187】
[この文献は図面を表示できません]
【0451】
【数188】
[この文献は図面を表示できません]
【0452】
【数189】
[この文献は図面を表示できません]
【0453】
式(73)−(76)における4つの出力ベクトル、式(56)における出力ベクトルd、
【0454】
【数190】
[この文献は図面を表示できません]
【0455】
を形成してもよい。言い換えると、何らかの並べ替え動作で、式(56)における16×16の行列の乗算が、式(73)から(76)のように4つの4×4の行列の乗算に因数分解されてもよい。
【0456】
<例示的な順変換および逆変換の動作>
【0457】
順変換への入力は、予測残余ブロックであってもよく、X
M×Nと表される。2D順変換をX
M×Nに対して実行するために、X
M×NにおけるM行およびN列が、それぞれの次元で順次変換され、それぞれ水平および垂直の順変換として既知である。水平または垂直の順変換のいずれかが最初に形成されてもよい。
【0458】
水平順変換が最初に実行される場合、最初に、X
M×Nは、
【0459】
【数191】
[この文献は図面を表示できません]
【0460】
によって右乗算されてもよく(上付き文字Tは転置を意味する)、16ビット演算に適合するために適切な数のビットで右シフトされてもよい。結果は、以下のようにU
M×Nとすることができる。
【0461】
【数192】
[この文献は図面を表示できません]
【0462】
「>>」は、右シフトを意味する。因数f
fwd,hは、四捨五入のためものであり、
【0463】
【数193】
[この文献は図面を表示できません]
【0464】
の範囲にあってもよい。本明細書においては説明を簡略にするためにf
fwd,hは
【0465】
【数194】
[この文献は図面を表示できません]
【0467】
水平順変換の後、垂直順変換が中間ブロックU
M×Nに対して実行されてもよい。垂直順変換の処理は以下の通りとすることができる。
【0468】
【数195】
[この文献は図面を表示できません]
【0470】
【数196】
[この文献は図面を表示できません]
【0471】
の範囲にあってもよく、本明細書においては説明を簡略にするために、
【0472】
【数197】
[この文献は図面を表示できません]
【0474】
垂直順変換が最初に実行される場合、最初に、X
M×Nは、T
Mによって左乗算されてもよく、16ビット演算に適合するために適切な数のビットで右シフトされてもよい。結果は、以下のようにU
M×Nとすることができる。
【0475】
【数198】
[この文献は図面を表示できません]
【0476】
因数f
fwd,hは四捨五入のためのものであり、
【0477】
【数199】
[この文献は図面を表示できません]
【0478】
の範囲にあってもよい。本明細書においては説明を簡略にするために、f
fwd,hは
【0479】
【数200】
[この文献は図面を表示できません]
【0481】
垂直順変換の後、水平順変換が中間ブロックU
M×Nに対して実行されてもよい。水平順変換の処理は、以下の通りとすることができる。
【0482】
【数201】
[この文献は図面を表示できません]
【0484】
【数202】
[この文献は図面を表示できません]
【0485】
の範囲にあってもよく、本明細書においては説明を簡略にするために、
【0486】
【数203】
[この文献は図面を表示できません]
【0488】
逆変換への入力は、非量子化ブロックY’
M×Nであってもよい。2D逆変換をY’
M×Nに対して実行するために、Y’
M×NにおけるM行およびN列が、それぞれ水平および垂直逆変換を使用して順次変換される。水平または垂直逆変換のいずれかが、最初に実行されてもよい。
【0489】
水平逆変換が最初に実行される場合、最初に、Y’
M×Nは、T
Nによって右乗算されてもよく、16ビット演算に適合するために適切な数のビットで右シフトされてもよい。結果のY
M×Nは以下の通りとすることができる。
【0490】
【数204】
[この文献は図面を表示できません]
【0492】
【数205】
[この文献は図面を表示できません]
【0493】
の範囲にあってもよい。本明細書においては説明を簡略にするために、f
inv,hは
【0494】
【数206】
[この文献は図面を表示できません]
【0496】
水平逆変換の後、垂直逆変換が中間ブロックV
M×Nに対して実行されてもよい。垂直逆変換の処理は、以下の通りとすることができる。
【0497】
【数207】
[この文献は図面を表示できません]
【0499】
【数208】
[この文献は図面を表示できません]
【0500】
の範囲にあってもよく、本明細書においては説明を簡略にするために、
【0501】
【数209】
[この文献は図面を表示できません]
【0503】
垂直逆変換が最初に実行される場合、最初に、Y’
M×Nは、
【0504】
【数210】
[この文献は図面を表示できません]
【0505】
によって左乗算されてもよく、16ビット演算に適合するために適切な数のビットで右シフトされてもよい。結果のV
M×Nは以下の通りとすることができる。
【0506】
【数211】
[この文献は図面を表示できません]
【0507】
因数f
inv,hは、四捨五入のためのものであり、
【0508】
【数212】
[この文献は図面を表示できません]
【0509】
の範囲にあってもよい。本明細書においては説明を簡略にするために、f
inv,hは、
【0510】
【数213】
[この文献は図面を表示できません]
【0512】
垂直逆変換の後、水平逆変換が中間ブロックV
M×Nに対して実行されてもよい。水平逆変換の処理は、以下の通りとすることができる。
【0513】
【数214】
[この文献は図面を表示できません]
【0515】
【数215】
[この文献は図面を表示できません]
【0516】
の範囲にあってもよく、本明細書においては説明を簡略にするために、
【0517】
【数216】
[この文献は図面を表示できません]
【0520】
図8は、非限定的な一実施形態にしたがった、通信システム800を例示する。例示のように、エンコーダ802は、接続808を介して、通信ネットワーク804と通信していてもよい。エンコーダ802は、本明細書において提供される要素および処理を利用してもよい。さらに、接続808は、有線接続または無線接続であってもよい。デコーダ806はまた、接続810を介して通信ネットワーク806と通信していてもよい。デコーダ806はまた、本明細書において提供される要素および処理を利用してもよい。さらに、接続810は、有線接続または無線接続であってもよい。通信ネットワーク806は、
図9A、9B、9C、9D、および9Eに関して以下でさらに詳細に提供されるように、任意の適切なタイプの通信システムであってもよい。エンコーダ806は、例えば、デジタルテレビ、無線通信デバイス、無線ブロードキャストシステム、携帯情報端末(PDA)、ラップトップもしくはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタルレコーディングデバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラもしくは衛星無線電話、およびデジタルメディアプレイヤなどの任意の多様な端末に組み込まれてもよいが、これらに限定されない。
【0521】
図9Aは、1つまたは複数の開示される実施形態を実装することができる例示的な通信システム900の図である。通信システム900は、音声、データ、ビデオ、メッセージ、放送等のコンテンツを複数の無線ユーザに提供する、多元アクセスシステムであってもよい。通信システム900は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にする。例えば、通信システム900は、符号分割多重アクセス(CDMA)、時分割多重アクセス(TDMA)、周波数分割多重アクセス(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)などの1つまたは複数のチャネルアクセス方法を採用してもよい。
【0522】
図9Aに示すように、通信システム900は、無線送信/受信ユニット(WTRU)902a、902b、902c、902d、無線アクセスネットワーク(RAN)904、コアネットワーク906、公衆交換電話網(PSTN)908、インターネット910、および他のネットワーク912を含んでもよいが、開示されている実施形態は、任意の数のWTRU、基地局、ネットワーク、および/または、ネットワーク要素を考慮しているとを理解されるであろう。WTRU902a、902b、902c、902dのそれぞれは、無線環境において動作および/または通信するように構成される任意のタイプのデバイスであってもよい。例として、WTRU902a、902b、902c、902dは、無線信号を送信および/または受信するように構成されてもよく、ならびに、ユーザ機器(UE)、移動局、固定もしくは移動加入者ユニット、ページャ、セルラ電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ノートブック、パーソナルコンピュータ、無線センサ、家庭用電化製品、または、圧縮されたビデオ通信を受信し、および、処理することが可能な任意の他の端末を含んでもよい。
【0523】
通信システム900はまた、基地局914aおよび基地局914bを含んでもよい。基地局914a、914bのそれぞれは、WTRU902a、902b、902c、902dのうちの少なくとも1つと無線でインターフェースして、コアネットワーク906、インターネット910、および/または、ネットワーク912などの1つまたは複数の通信ネットワークへのアクセスを円滑にするように構成される任意のタイプのデバイスであってもよい。例として、基地局914a、914bは、基地トランシーバ局(BTS)、NodeB、eNodeB、ホームNodeB、ホームeNodeB、サイトコントローラ、アクセスポイント(AP)、無線ルータなどであってもよい。基地局914a、914bは、単一の要素として示されているが、基地局914a、914bが、任意の数の相互接続される基地局および/またはネットワーク要素を含んでもよいことが理解されるであろう。
【0524】
基地局914aは、RAN904の一部であってもよく、RAN904はまた、他の基地局および/または、基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノード、などのネットワーク要素(図示せず)を含んでもよい。基地局914aおよび/または基地局914bは、セル(図示せず)と称されてよいも特定の地理的領域内で無線信号を送信および/または受信するように構成されてもよい。セルは、さらにセルセクタに分割されてもよい。例えば、基地局914aに関連付けられたセルは、3つのセクタに分割されてもよい。したがって、一実施形態において、基地局914aは、3つの送受信機、すなわち、セルの各セクタに対して1つを含んでもよい。別の実施形態において、基地局914aは、多入力多出力(MIMO)技術を採用してもよく、したがって、セルの各セクタに対して複数の送受信機を利用してもよい。
【0525】
基地局914a、914bは、WTRU902a、902b、902c902dのうちの1つまたは複数と、任意の適切な無線通信リンク(例えば、無線周波数(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光など)とすることができる無線インターフェース916上で通信してもよい。無線インターフェース916は、任意の適切な無線アクセス技術(RAT)を使用して、確立されてもよい。
【0526】
さらに具体的には、上述したように、通信システム900は、多元アクセスシステムであってもよく、また、CDMA、TDMA、FDMA、OFDMA、およびSC−FDMAなどの1つまたは複数のチャネルアクセススキームを採用してもよい。例えば、RAN904における基地局914a、およびWTRU902a、902b、902cは、広帯域CDMA(WCDMA:登録商標)を使用して無線インターフェース916を確立することができる、ユニバーサルモバイルテレコミュニケーションシステム(UMTS)地上波無線アクセス(UTRA)、などの無線技術を実装してもよい。WCDMAは、高速パケットアクセス(HSPA)および/または発展型HSPA(HSPA+)などの通信プロトコルを含んでもよい。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含んでもよい。
【0527】
別の実施形態において、基地局914aおよびWTRU902a、902b、902cは、ロングタームエボリューション(LTE)および/またはLTE−Advanced(LTE−A)を使用して無線インターフェース916を確立することができる、発展型UMTS地上波無線アクセス(E−UTRA)などの無線技術を実装してもよい。
【0528】
他の実施形態において、基地局914aおよびWTRU902a、902b、902cは、IEEE 802.16(すなわち、Worldwide Interoperability for Microwave Access(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV−DO、Interim Standard 2000(IS−2000)、Interim Standard 95(IS−95)、Interim Standard 856(IS−856)、Global system for Mobile communications(GSM:登録商標)、Enhanced Data rates for GSM Evolution(EDGE)、GSM EDGE(GERAN)などの無線技術を実装してもよい。
【0529】
図9Aにおける基地局914bは、例えば、無線ルータ、ホームNodeB、ホームeNodeB、またはアクセスポイントであってよく、事業所、家庭、自動車、およびキャンパスなどの局所的な領域において無線接続性を円滑にするための任意の適切なRATを利用してもよい。一実施形態において、基地局914bおよびWTRU902c、902dは、IEEE802.11などの無線技術を実装して、無線ローカルエリアネットワーク(WLAN)を確立してもよい。別の実施形態において、基地局914bおよびWTRU902c、902dは、IEEE802.15などの無線技術を実装して、無線パーソナルエリアネットワーク(WPAN)を確立してもよい。さらに別の実施形態において、基地局914bおよびWTRU902c、902dは、セルラーベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなど)を利用して、ピコセルまたはフェムトセルを確立してもよい。
図9Aに示すように、基地局914bは、インターネット910への直接接続を有してもよい。したがって、基地局914bは、コアネットワーク906を介してインターネット910にアクセスすることが必要されない。
【0530】
RAN904は、コアネットワーク906と通信していてもよく、コアネットワーク906は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスを、WTRU902a、902b、902c、902dのうちの1つまたは複数に提供するように構成された任意のタイプのネットワークであってもよい。例えば、コアネットワーク906は、呼制御、課金サービス、モバイルロケーションベースのサービス、プリペイドコーリング、インターネット接続、ビデオ配信、などを提供してもよく、および/または、ユーザ認証などの高レベルのセキュリティ機能を実行してもよい。
図9Aには示されないが、RAN904および/またはコアネットワーク906が、RAN904と同一のRATまたは異なるRATを採用する他のRANと直接的または間接的に通信してもよいことを理解されるであろう。例えば、E−UTRA無線技術を利用することができるRAN904と接続されることに加えて、コアネットワーク906はまた、GSM無線技術を採用する別のRAN(図示せず)と通信していてもよい。
【0531】
コアネットワーク906はまた、WTRU902a、902b、902c、902dに対するゲートウェイとしてサービスして、PSTN908、インターネット910、および/または、他のネットワーク912にアクセスしてもよい。PSTN908は、基本電話サービス(POTS)を提供する回線交換電話網を含んでもよい。インターネット910には、TCP/IPインターネットプロトコルスイートにおける伝送制御プロトコル(TCP)、ユーザーデータグラムプロトコル(UDP)、およびインターネットプロトコル(IP)などの共通通信プロトコルを使用する相互接続されたコンピュータおよびデバイスのグローバルシステムを含んでもよい。ネットワーク912は、他のサービスプロバイダにより所有および/または運営される有線または無線通信ネットワークを含んでもよい。例えば、ネットワーク912は、RAN904と同一のRATまたは異なるRATを採用することができる1つまたは複数のRANと接続される別のコアネットワークを含んでもよい。
【0532】
通信システム900におけるWTRU902a、902b、902c、902dの一部または全ては、マルチモードケイパビリティを含んでもよく、すなわち、WTRU902a、902b、902c、902dは、異なる無線リンク上で異なる無線ネットワークと通信するための複数の送受信機を含んでもよい。例えば、
図9Aに示すWTRU902cは、セルラーベースの無線技術を採用することができる基地局914a、および、IEEE802無線技術を採用することができる基地局914bと通信するように構成されてもよい。
【0533】
図9Bは、例示的なWTRU902のシステム図である。
図9Bに示すように、WTRU902は、プロセッサ918、送受信機920、送信/受信要素922、スピーカ/マイク924、キーパッド926、ディスプレイ/タッチパッド928、着脱不能メモリ906、着脱可能メモリ932、電源934、グローバルポジショニングシステム(GPS)チップセット936、および他の周辺機器938を含んでもよい。WTRU902が、一実施形態との一貫性を維持しながら、前述の要素のサブコンビネーションを含んでもよいことを理解されるであろう。
【0534】
プロセッサ918は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ(DSP)、グラフィックプロセシングユニット(GPU)、複数のマイクロプロセッサ、DSPコアに関連する1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、任意の他のタイプの集積回路(IC)、状態機械などであってもよい。プロセッサ918は、信号符号化、データ処理、電力制御、入出力処理、および/または、WTRU902が無線環境において動作することを可能にする任意の他の機能を実行してもよい。プロセッサ918は、送受信機920と結合されてもよく、送受信機920は送信/受信要素922を結合されてもよい。
図9Bは、プロセッサ918および送受信機920を別々のコンポーネントとして示すが、プロセッサ918および送受信機920は、1つの電子パッケージまたはチップに統合されてもよい。
【0535】
送信/受信要素922は、無線インターフェース916上で基地局(例えば、基地局914a)へ信号を送信し、または、基地局から信号を受信するように構成されてもよい。例えば、一実施形態において、送信/受信要素922は、RF信号を送信および/または受信するように構成されたアンテナであってもよい。別の実施形態において、送信/受信要素922は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成されたエミッタ/ディテクタであってもよい。さらに別の実施形態において、送信/受信要素922は、RF信号および光信号の両方を送信および受信するように構成されてもよい。送信/受信要素922が、無線信号の任意の組み合わせを送信および/または受信するように構成されてもよいことを理解されるであろう。
【0536】
加えて、
図9Bでは送信/受信要素922が信号要素として示されているが、WTRU902は、任意の数の送信/受信要素922を含んでもよい。より具体的には、WTRU902は、MIMO技術を採用してもよい。したがって、一実施形態において、WTRU902は、無線インターフェース916上で無線信号を送信および受信するための2つ以上の送信/受信要素922(例えば、複数のアンテナ)を含んでもよい。
【0537】
送受信機920は、送信/受信要素922により送信される信号を変調し、および、送信/受信要素922により受信される信号を復調するように構成されてもよい。上述したように、WTRU902は、マルチモード能力を有してもよい。したがって、送受信機920は、WTRU902が、UTRAおよびIEEE802.11などの複数のRATを介して通信することを可能にするための、複数の送受信機を含んでもよい。
【0538】
WTRU902のプロセッサ918は、スピーカ/マイク924、キーパッド926、および/または、ディスプレイ/タッチパッド928(例えば、液晶ディスプレイ(LCD)表示ユニットまたは有機発光ダイオード(OLED)表示ユニット)と結合されてもよく、ならびに、それらからユーザ入力データを受信してもよい。プロセッサ918はまた、スピーカ/マイク924、キーパッド926、および/または、ディスプレイ/タッチパッド928にユーザデータを出力してもよい。加えて、プロセッサ918は、着脱可能メモリ906および/または着脱可能メモリ932などの任意のタイプの適切なメモリからの情報にアクセスし、ならびに、それらにデータを格納してもよい。着脱不能メモリ906は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、ハードディスク、または、任意の他のタイプのメモリ記憶装置を含んでもよい。着脱可能メモリ932は、加入者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含んでもよい。他の実施形態において、プロセッサ918は、WTRU902上には物理的に位置しない、サーバまたは家庭用コンピュータ(図示せず)上などのメモリからの情報にアクセスし、ならびに、それらにデータを格納してもよい。
【0539】
プロセッサ918は、電源934から電力を受信してもよく、当該電力をWTRU902における他のコンポーネントに分配および/または制御するように構成されてもよい。電源934は、WTRU902に電力を供給するための任意の適切なデバイスであってもよい。例えば、電源934は、1つまたは複数の乾電池(例えば、ニッケル−カドミウム(NiCd)、ニッケル−亜鉛(NiZn)、ニッケル水素(NiMH)、リチウム−イオン(Li−ion)、など)、太陽電池、燃料電池などを含んでもよい。
【0540】
プロセッサ918はまた、GPSチップセット936に結合されてもよく、GPSチップセット936は、WTRU902の現在位置に関する位置情報(例えば、経度および緯度)を提供するように構成されてもよい。GPSチップセット936からの情報に加えて、またはその代わりに、WTRU902は、無線インターフェース916を介して基地局(例えば、基地局914a、914b)から位置情報を受信し、および/または、2つ以上の隣接基地局から受信している信号のタイミングに基づいて、その場所を判定してもよい。WTRU902が、一実施形態との整合性を維持しながら任意の適切な位置判定方法により位置情報を取得してもよいことを理解されるであろう。
【0541】
プロセッサ918はさらに、他の周辺機器938と結合されてもよく、周辺機器938は、追加的な特徴、機能および/または有線もしくは無線の接続性を提供する1つまたは複数のソフトウェアおよび/またはハードウェアのモジュールを含んでもよい。例えば、周辺機器938は、加速度計、電子コンパス、衛星送受信機、デジタルカメラ(写真、またはビデオ用)、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビ送受信機、ハンドフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレイヤ、メディアプレイヤ、ビデオゲームプレイヤモジュール、インターネットブラウザなどを含んでもよい。
【0542】
図9Cは、一実施形態にしたがった、RAN904およびコアネットワーク906のシステム図である。上述したように、RAN904は、UTRA無線技術を採用して、無線インターフェース916上でWTRU902a、902b、902cと通信してもよい。RAN904はまた、コアネットワーク906と通信してもよい。
図9Cに示すように、RAN904は、NodeB940a、940b、940cを含んでもよく、これらはそれぞれ無線インターフェース916上でWTRU902a、902b、902cと通信するための1つまたは複数の送受信機を含んでもよい。NodeB940a、940b、940cはそれぞれ、RAN904における特定のセル(図示せず)と関連付けられてもよい。RAN904はまた、RNC942a、942bを含んでもよい。RAN904は、一実施形態との整合性を維持しながら、任意の数のNodeおよびRNCを含んでもよいことを理解されるであろう。
【0543】
図9Cに示すように、NodeB940a、940bは、RNC942aと通信してもよい。加えて、NodeB940cは、RNC942bと通信してもよい。NodeB940a、940b、940cは、Iubインターフェースを介してRNC942a、942bぞれぞれと通信してもよい。RNC942a、942bは、Iurインターフェースを介して互いに通信してもよい。RNC942a、942bのそれぞれは、接続されたNodeB940a、940b、940cのそれぞれを制御するように構成されてもよい。加えて、RNC942a、942bのそれぞれは、アウターループ電力制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシチ、セキュリティ機能、データ暗号化などの他の機能を実行またはサポートするように構成されてもよい。
【0544】
図9Cに示すコアネットワーク906は、メディアゲートウェイ(MGW)944、モバイルスイッチングセンタ(MSC)946、サービングGPRSサポートノード(SGSN)948、および/または、ゲートウェイGPRSサポートノード(GGSN)950を含んでもよい。前述の要素のそれぞれがコアネットワーク906の一部として示されているが、これらの要素の任意の1つが、コアネットワークオペレータ以外のエンティティにより所有および/または操作されてよいことを理解されるであろう。
【0545】
RAN904におけるRNC942aは、IuCSインターフェースを介してコアネットワーク906におけるMSC946と接続されてもよい。MSC946はMGW944と接続されてもよい。MSC946およびMGW944は、WTRU902a、902b、902cに、PSTN908などの回路交換ネットワークへのアクセスを提供して、WTRU902a、902b、902cと、従来の地上の通信線の通信デバイスとの間の通信を円滑にしてもよい。
【0546】
RAN904におけるRNC942aはまた、IuPSインターフェースを介してコアネットワーク906におけるSGSN948と接続されてもよい。SGSN948はGGSN950と接続されてもよい。SGSN948およびGGSN950は、WTRU902a、902b、902cに、インターネット910などのパケット交換ネットワークへのアクセスを提供して、WTRU902a、902b、902cと、IP対応デバイスとの間の通信を円滑にしてもよい。
【0547】
上述したように、コアネットワーク906はまた、ネットワーク912と接続されてもよく、ネットワーク912は、他のサービスプロバイダにより所有および/または操作される他の有線または無線のネットワークを含んでもよい。
【0548】
図9Dは、別の実施形態にしたがった、RAN904およびコアネットワーク906のシステム図である。上述したように、RAN904は、E−UTRA無線技術を採用して、無線インターフェース916上でWTRU902a、902b、902cと通信してもよい。RAN904はまた、コアネットワーク906と通信してもよい。
【0549】
RAN904は、eNodeB960a、960b、960cを含んでもよいが、RAN904は、一実施形態との整合性を維持しながら、任意の数のeNodeBを含んでもよいことを理解されるであろう。eNodeB960a、960b、960cのそれぞれは、無線インターフェース916上でWTRU902a、902b、902cと通信するための1つまたは複数の送受信機を含んでもよい。一実施形態において、eNodeB960a、960b、960cは、MIMO技術を実装してもよい。したがって、eNodeB960aは、例えば、複数のアンテナを使用して、WTRU902aとの間で無線信号を送信し、および、無線信号を受信してもよい。
【0550】
eNodeB960a、960b、960cのそれぞれは、特定のセルと関連付けられてもよく、無線リソース管理決定、ハンドオーバ決定、アップリンクおよび/またはダウンリンクにおけるユーザスケジューリングなどを処理するように構成されてもよい。
図9Dに示すように、eNodeB960a、960b、960cは、X2インターフェース上で互いに通信してもよい。
【0551】
図9Dに示すコアネットワーク906は、モビリティ管理ゲートウェイ(MME)962、サービングゲートウェイ964、および、パケットデータネットワーク(PDN)ゲートウェイ966を含んでもよい。前述の要素のそれぞれがコアネットワーク906の一部として示されるが、これらの要素の任意の1つが、コアネットワークオペレータ以外のエンティティにより所有および/または操作されてもよいことを理解されるであろう。
【0552】
MME962は、SIインターフェースを介してRAN904におけるeNodeB960a、960b、960cのそれぞれと接続されてもよく、制御ノードとして機能してもよい。例えば、MME962は、WTRU902a、902b、902cのユーザの認証、ベアラの活性化/非活性化、WTRU902a、902b、902cの初期アタッチの間の特定のサービングゲートウェイの選択などを担当してもよい。MME962はまた、RAN904とGSMまたはWCDMAなどの他の無線技術を採用する他のRAN(図示せず)との間を切替えるための制御プレーン機能を提供してもよい。
【0553】
サービングゲートウェイ964は、S1インターフェースを介してRAN904におけるeNodeB960a、960b、960cのそれぞれと接続されてもよい。サービングゲートウェイ964は、概して、WTRU902a、902b、902cに対してユーザデータパケットをルーティングおよび転送してもよい。サービングゲートウェイ964はまた、eNodeB間ハンドオーバの間にユーザプレーンをアンカリングし、ダウンリンクデータがWTRU902a、902b、902cで利用可能なときにページングをトリガし、ならびに、WTRU902a、902b、902cのコンテクストを管理および格納するなどの他の機能を実行してもよい。
【0554】
サービングゲートウェイ964はまた、PDNゲートウェイ966と接続されてもよく、PDNゲートウェイ966は、WTRU902a、902b、902cに、インターネット910などのパケット交換ネットワークへのアクセスを提供して、WTRU902a、902b、902cと、IP対応のデバイスとの間の通信を円滑にしてもよい。
【0555】
コアネットワーク906は、他のネットワークとの通信を円滑にしてもよい。例えば、コアネットワーク906は、WTRU902a、902b、102cに、PSTN908などの回線交換ネットワークへのアクセスを提供して、WTRU902a、902b、902cと、従来の固定電話回線通信デバイスとの間の通信を円滑にしてもよい。例えば、コアネットワーク906は、コアネットワーク906とPSTN908との間のインターフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含んでもよく、またはこれと通信してもよい。加えて、コアネットワーク906は、WTRU902a、902b、902cにネットワーク912へのアクセスを提供してもよく、ネットワーク912は、他のサービスプロバイダにより所有および/または操作される他の有線または無線のネットワークを含んでもよい。
【0556】
図9Eは、別の実施形態にしたがった、RAN904およびコアネットワーク906のシステム図である。RAN904は、IEEE802.16無線技術を採用して、無線インターフェース916上でWTRU902a、902b、902cと通信する、アクセスサービスネットワーク(ASN)であってもよい。以下でさらに検討するように、異なる機能のエンティティであるWTRU902a、902b、902c、RAN904、およびコアネットワーク906の間の通信リンクは、参照ポイントとして定義されてもよい。
【0557】
図9Eに示すように、RAN904は、基地局970a、970b、970c、および、ASNゲートウェイ972を含んでもよいが、RAN904は、一実施形態との整合性を維持しながら、任意の数の基地局およびASNゲートウェイを含んでもよいことを理解されるであろう。基地局970a、970b、970cのそれぞれは、特定のセル(図示せず)と関連付けられてもよく、無線インターフェース916上でWTRU902a、902b、902cと通信するための1つまたは複数の送受信機を含んでもよい。一実施形態において、基地局970a、970b、970cは、MIMO技術を実装してもよい。したがって、基地局970aは、例えば、複数のアンテナを使用して、WTRU902aとの間で無線信号を送信し、および、無線信号を受信してもよい。基地局970a、970b、970cはまた、ハンドオフトリガ、トンネル確立、無線リソース管理、トラフィック分類、サービス品質(QoS)ポリシ施行などのモビリティ管理機能を提供してもよい。ASNゲートウェイ972は、トラフィックアグリゲーションポイントとして機能してもよく、ページング、加入者プロファイルのキャッシング、コアネットワーク906へのルーティングなどを担当してもよい。
【0558】
WTRU902a、902b、902cとRAN904との間の無線インターフェース916は、IEEE802.16仕様を実装するRl参照ポイントとして定義されてもよい。加えて、WTRU902a、902b、902cのそれぞれは、コアネットワーク906との論理インターフェース(図示せず)を確立してもよい。WTRU902a、902b、902cとコアネットワーク906との間の論理インターフェースは、R2参照ポイントとして定義されてもよく、R2参照ポイントは、認証、認可、IPホスト構成管理、および/または、モビリティ管理に使用されてもよい。
【0559】
各基地局970a、970b、970cの間の通信リンクは、WTRUハンドオーバおよび基地局間のデータの転送を円滑にするためのプロトコルを含むR8参照ポイントとして定義されてもよい。基地局970a、970b、970cとASNゲートウェイ972度の間の通信リンクは、参照ポイントとして定義されてもよい。R6参照ポイントは、WTRU902a、902b、902cのそれぞれと関連付けられたモビリティイベントに基づいてモビリティ管理を円滑にするためのプロトコルを含んでもよい。
【0560】
図9Eに示すように、RAN904は、コアネットワーク906に接続されてもよい。RAN104とコアネットワーク906との間の通信リンクは、例えば、データ転送およびモビリティ管理能力を円滑にするためのプロトコルを含むR3参照ポイントとして定義されてもよい。コアネットワーク906は、モビリティIPホームエージェント(MIP−HA)974、認証・認可・課金(AAA)サーバ976、およびゲートウェイ978を含んでもよい。前述の要素のそれぞれがコアネットワーク906の一部として示されるが、これらの要素の任意の1つが、コアネットワークオペレータ以外のエンティティにより所有および/または操作されてよいことを理解されるであろう。
【0561】
MIP−HA974は、IPアドレス管理を担当してもよく、WTRU902a、902b、902cが、異なるASNおよび/または異なるコアネットワーク間でローミングすることを可能にしてもよい。MIP−HA974は、WTRU902a、902b、902cに、インターネット910などのパケット交換ネットワークへのアクセスを提供して、WTRU902a、902b、902cと、IP対応のデバイスとの間の通信を円滑にしてもよい。AAAサーバ976は、ユーザ認証、およびユーザサービスサポートすることを担当してもよい。ゲートウェウィ978は、他のネットワークとのインターワーキングを円滑にしてもよい。例えば、ゲートウェイ978は、WTRU902a、902b、902cに、PSTN908などの回線交換ネットワークへのアクセスを提供して、WTRU902a、902b、902cと、従来の固定電話回線通信デバイスとの間の通信を円滑にしてもよい。加えて、ゲートウェイ978は、WTRU902a、902b、902cにネットワーク912へのアクセスを提供してもよく、ネットワーク912は、他のサービスプロバイダにより所有および/または操作される他の有線または無線のネットワークを含んでもよい。
【0562】
図9Eには示されないが、RAN904が他のASNと接続されてよく、および、コアネットワーク906が他のコアネットワークと接続されてよいことを理解されるであろう。RAN904と他のASNとの間の通信リンクは、R4参照ポイントとして定義されてもよく、R4参照ポイントは、RAN904と他のASNとの間のWTRU902a、902b、902cのモビリティを調整するためのプロトコルを含んでもよい。コアネットワーク906と他のコアネットワークとの間の通信リンクは、R5参照ポイントとして定義されてもよく、R5参照ポイントは、ホームコアネットワークと移動先コアネットワークとの間のインターワーキングを円滑にするためのプロトコルを含んでもよい。
【0564】
整数変換、および/または整数変換動作のための、すなわち、データ(例えば、残余ビデオデータ)を変換するための、方法、装置、およびシステムの種々の実施形態が、以下に提供される。一実施形態(「第1の実施形態」)において、装置は、プロセッサおよびメモリを含んでもよい。メモリは、変換行列のセットと、変換行列のセットのいずれかを使用してデータ(例えば、残余ビデオデータ)を変換するためのプロセッサにより実行可能な命令とを含んでもよい。変換行列のセットの各変換行列は直交し、および、異なる数の要素を有する。それぞれの数の要素の各要素は整数である。各変換行列の基底ベクトルのノルム間の差は、所与の閾値を満たし、基底ベクトルは、離散コサイン変換(DCT)行列の対応する基底ベクトルに近似する。
【0565】
一実施形態(「第2の実施形態」)において、変換行列のセットの各変換行列は略直交し、異なる数の要素を有し、および、十分に因数分解可能であってもよい。それぞれの数の要素の各要素は整数である。各変換行列の基底ベクトルのノルム間の差は、所与の閾値を満たしてもよく、および、基底ベクトルは、DCT行列の対応する基底ベクトルに近似してもよい。
【0566】
第1の実施形態および/または第2の実施形態などの実施形態において、所与の閾値は、満たされるときに、基底ベクトルのノルム間の差が有意でない(insignificant)(例えば、一定程度の精度内で)ことを示す閾値であってもよい。
【0567】
第1の実施形態および/または第2の実施形態などの実施形態において、所与の閾値は、満たされるときに、基底ベクトルのノルムが略等しいこと示す閾値であってもよい。
【0568】
第1の実施形態、第2の実施形態、および/または、任意の後続で提供される先行実施形態(「介在する実施形態」)などの実施形態において、基底ベクトルは、歪みの尺度(a measure of distortion)に従って(例えば、予め定義された閾値を満たす歪みの尺度に従って)、離散コサイン変換(DCT)行列の対応する基底ベクトルに近似してもよい。
【0569】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、歪みの尺度はDCT行列に基づいてもよい。
【0570】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、歪みの尺度は、基底ベクトルの少なくとも一部と、DCT行列の対応する基底ベクトルとに基づいてもよい。
【0571】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、歪みの尺度は、少なくとも部分的に式(3)および(4)において定義されてもよく、DCT
Nは、N×Nの要素を有するDCT行列であり、Sは、変換行列のセットの選択された変換行列の基底ベクトルの集合であり、ICT
Nは、N×Nの要素を有する選択された変換行列であり、その各基底ベクトルは正規化されており、
【0572】
【数217】
[この文献は図面を表示できません]
【0573】
は、DCT
Nの転置行列(transpose matrix)である。
【0574】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、基底ベクトルの集合は、選択された変換行列の基底ベクトルのうちのいくつかまたは全てを含んでもよい。
【0575】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、変換行列のセットの各変換行列は、偶数部および奇数部に分解可能であってもよい。
【0576】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、変換行列のセットの各変換行列は、2
N×2
Nの要素を含んでもよく、Nは正の整数であってもよい。
【0577】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、偶数部および奇数部のそれぞれは、2
N−1×2
N−1の要素を含んでもよい。
【0578】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、偶数部は、因数Mによりスケーリングされてよく、Mは正の整数であってもよい。
【0579】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、奇数部による変換は、1層ウェーブレット分解から生じる各サブバンドへの2
N−2次変換の適用の結果を含んでもよい。
【0580】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、結果は、因数Mによりスケーリングされてもよく、Mは正の整数であってもよい。
【0581】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、ウェーブレット変換は、Haar変換であってもよい。
【0582】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、メモリはさらに、変換行列のセットを生成し、および、メモリに格納するための、プロセッサにより実行可能な命令を含んでもよい。
【0583】
第1の実施形態、第2の実施形態、および/または任意の介在する実施形態などの実施形態において、装置は、ビデオエンコーダ、ビデオデコーダ、およびWTRUのうちのいずれかであってもよい。
【0584】
一実施形態に(「第3の実施形態」)おいて、有形のコンピュータ可読記憶媒体は、格納された変換行列のセットと、変換行列のセットのいずれかを使用してデータ(例えば、残余ビデオデータ)を変換するためのプロセッサにより実行可能な命令とを有してもよい。変換行列のセットの各変換行列は、直交してもよく、異なる数の要素を有してもよい。それぞれの数の要素の各要素は整数である。各変換行列の基底ベクトルのノルム間の差は、所与の閾値を満たしてもよく、基底ベクトルは、DCT行列の対応する基底ベクトルに近似してもよい。
【0585】
代替の第3の実施形態において、変換行列のセットの各変換行列は、略直交し、異なる数の要素を有し、および、十分に因数分解可能であってもよい。それぞれの数の要素の各要素は整数である。各変換行列の基底ベクトルのノルム間の差は、所与の閾値を満たしてもよく、基底ベクトルは、DCT行列の対応する基底ベクトルに近似してもよい。
【0586】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、所与の閾値は、満たされるときに、基底ベクトルのノルム間の差が(例えば、一定程度の精度内で)有意でないことを示す閾値であってもよい。
【0587】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、所与の閾値は、満たされるときに、基底ベクトルのノルムが略等しいこと示す閾値であってもよい。
【0588】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、基底ベクトルは、歪みの尺度に従って、DCT行列の対応する基底ベクトルに近似する。
【0589】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、基底ベクトルは、予め定義された閾値を満たす歪みの尺度に従って、DCT行列の対応する基底ベクトルに近似する。
【0590】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、歪みの尺度はDCT行列に基づいてもよい。
【0591】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、歪みの尺度は、基底ベクトルの少なくとも一部と、DCT行列の対応する基底ベクトルとに基づいてもよい。
【0592】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、歪みの尺度は、少なくとも部分的に式(3)および(4)において定義されてもよく、DCT
Nは、N×Nの要素を有するDCT行列であり、Sは、変換行列のセットの選択された変換行列の基底ベクトルの集合であり、ICT
Nは、N×Nの要素を有する選択された変換行列であり、その各基底ベクトルは正規化されており、
【0593】
【数218】
[この文献は図面を表示できません]
【0595】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、基底ベクトルの集合は、選択された変換行列の基底ベクトルのうちのいくつかまたは全てを含んでもよい。
【0596】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、変換行列のセットの各変換行列は、偶数部および奇数部に分解可能であってよい。
【0597】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、変換行列のセットの各変換行列は、2
N×2
Nの要素を含んでもよく、Nは正の整数であってもよい。
【0598】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、変換行列のセットの各変換行列は、偶数部および奇数部に分解可能であってよく、偶数部および奇数部のそれぞれが、2
N−1×2
N−1の要素を含んでもよい。
【0599】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、偶数部は、因数Mによりスケーリングされてよく、Mは正の整数であってもよい。
【0600】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、奇数部による変換は、1層ウェーブレット分解から生じる各サブバンドへの2
N−2次変換の適用の結果を含んでもよい。
【0601】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、結果は、因数Mによりスケーリングされてよく、Mは正の整数であってもよい。
【0602】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、ウェーブレット変換は、Haar変換であってよい。
【0603】
第3の実施形態、代替の第3の実施形態 および/または任意の介在する実施形態などの実施形態において、有形のコンピュータ可読記憶媒体は、変換行列のセットを生成するための、プロセッサにより実行可能な命令を格納してもよい。
【0604】
一実施形態(「第4の実施形態」)において、残余ビデオデータを変換するためのN次変換行列(「N次変換行列」)の変換行列を形成するための方法は、低次変換行列を使用して、中間変換行列の偶数部を形成するステップを含んでもよい。方法は、低次変換行列の低次奇数部を取得するステップを含んでもよい。方法は、低次変換行列の低次奇数部を使用して、ウェーブレット変換の低周波サブバンドおよび高周波サブバンドのそれぞれを処理することによって、中間変換行列の奇数部を形成するステップを含んでもよい。方法は、中間変換行列を偶数−奇数結合行列に適用するステップをも含んでもよい。
【0605】
第4の実施形態などの実施形態において、低次奇数部取得するステップは、偶数−奇数 分解行列使用して、低次変換行列を低次奇数部と低次偶数部とに分解するステップを含んでもよい。
【0606】
第4の実施形態および/または任意の介在する実施形態などの実施形態において、N次変換行列の各基底ベクトルは、それぞれの量のゼロ交差(respective amount of zero crossings)を有してもよく、方法は、ゼロ交差の量に基づいて、基底ベクトルを並べ替えるステップをさらに含んでもよい。
【0607】
第4の実施形態および/または任意の介在する実施形態などの実施形態において、基底ベクトルを並べ替えるステップは、基底ゼロ交差の量を増加させることによりベクトルを並べ替えるステップを含んでもよい。
【0608】
第4の実施形態および/または任意の介在する実施形態などの実施形態において、低次変換行列は、経験的に判定される変換係数を含んでもよい。
【0609】
第4の実施形態および/または任意の介在する実施形態などの実施形態において、ウェーブレット変換は、Haar変換であってもよい。
【0610】
一実施形態(「第5の実施形態」)において、残余ビデオデータを変換するためのN次整数変換(「N次変換行列」)の変換行列を形成するために構成される装置は、プロセッサおよびメモリを含んでもよい。メモリは、プロセッサにより実行可能な命令を含んでもよい。命令は、(i)低次変換行列を使用して、中間変換行列の偶数部を形成し、(ii)低次変換行列の低次奇数部と取得し、(iii)低次変換行列の低次奇数部を使用して、ウェーブレット変換の低周波サブバンドおよび高周波サブバンドのそれぞれを処理することによって、中間変換行列の奇数部を形成し、ならびに/または、(iv)中間変換行列を偶数−奇数結合行列に適用するためのプロセッサにより実行可能な命令を含んでもよい。
【0611】
第5の実施形態などの実施形態において、低次奇数部と取得するためのプロセッサにより実行可能な命令は、偶数−奇数分解行列を使用して、低次変換行列を低次奇数部と低次偶数部とに分解するための、プロセッサにより実行可能な命令を含んでもよい。
【0612】
第5の実施形態および/または任意の介在する実施形態などの実施形態において、N次変換行列の各基底ベクトルは、それぞれの量のゼロ交差を有してもよく、命令は、ゼロ交差の量に基づいて基底ベクトルを並べ替えるための、プロセッサにより実行可能な命令を含んでもよい。
【0613】
第5の実施形態および/または任意の介在する実施形態などの実施形態において、基底ベクトルを並べ替えるためのプロセッサにより実行可能な命令は、基底ゼロ交差の量を増加させることによって、ベクトルを並べ替えるための、プロセッサにより実行可能な命令を含んでもよい。
【0614】
第5の実施形態および/または任意の介在する実施形態などの実施形態において、低次変換行列は、経験的に判定される変換係数を含んでもよい。
【0615】
第5の実施形態および/または任意の介在する実施形態などの実施形態において、ウェーブレット変換は、Haar変換を含んでのよい。
【0616】
一実施形態(「第6の実施形態」)において、残余ビデオデータを変換するためのN次整数変換行列を形成するための方法は、N次変換行列を偶数部と奇数部とに分解するステップを含んでもよい。方法は、ウェーブレット変換を使用して、奇数部を第1および第2のサブバンドに分解するステップを含んでもよい。方法は、低N/4次変換行列を使用して、第1および第2のサブバンドのそれぞれを処理するステップを含んでもよい。
【0617】
第6の実施形態などの一実施形態において、第1および第2のサブバンドは、それぞれ低周波サブバンドおよび高周波サブバンドであってもよい。
【0618】
第6の実施形態、および/または任意の介在する実施形態などの実施形態において、ウェーブレット変換は、Haar変換であってよい.
【0619】
一実施形態(「第7の実施形態」)において、残余ビデオデータを変換するためのN次整数変換行列を形成するように構成される装置は、プロセッサおよびメモリを含んでもよい。メモリは、プロセッサにより実行可能な命令を含んでもよい。命令は、(i)N次変換行列を偶数部と奇数部とに分解し、(ii)ウェーブレット変換を使用して、奇数部を第1および第2のサブバンドに分解し、ならびに/または、(iii)低N/4次変換行列を使用して、第1および第2のサブバンドのそれぞれを処理する、ためのプロセッサにより実行可能な命令を含んでもよい。
【0620】
第7の実施形態などの実施形態において、第1および第2のサブバンドは、それぞれ低周波サブバンドおよび高周波サブバンドであってもよい。
【0621】
一実施形態(「第8の実施形態」)において、N次整数変換を使用して残余ビデオデータを処理するための方法は、条件付けユニットにおいて残余ビデオデータのベクトルを受信するステップを含んでもよい。方法は、条件付けユニットにおいて残余ビデオデータのベクトルを処理して、変換に対する第1および第2の中間出力ベクトルを形成するステップを含んでもよい。方法は、第1および第2の低次変換ユニットにおいてそれぞれ第1および第2の中間出力ベクトルを受信するステップを含んでもよい。方法は、第1の低次変換部において第1の中間出力ベクトルを変換して、N/2次整数変換の基底ベクトルを使用して偶数インデックス変換係数を形成するステップを含んでもよい。方法は、第2の低次変換部において第2の中間出力ベクトルを変換して、N/4次奇数部行列に基づいてN/2次整数行列を使用して奇数インデックス変換係数を形成するステップを含んでもよい。
【0622】
第8の実施形態などの実施形態において、条件付けユニットにおいて残余ビデオデータのベクトルを処理するステップは、残余ビデオデータのベクトルを変換に対して偶数−奇数分解行列に適用するステップを含むことができる。
【0623】
第8の実施形態および/または任意の介在する実施形態などの実施形態において、第1の低次変換ユニットにおいて第1の中間出力ベクトルを変換するステップは、中間変換行列の偶数部を第1の中間出力ベクトルに適用するステップを含んでもよく、中間変換行列の偶数部は、N/2次整数変換行列を含んでもよい。
【0624】
第8の実施形態および/または任意の介在する実施形態などの実施形態において、第2の低次変換ユニットにおいて第2の中間出力ベクトルを変換するステップは、第2の中間出力ベクトルの第1および第2のサブバンドを生成するステップ、および/または、N/4次奇数部行列を第1および第2のサブバンドのそれぞれに適用するステップを含んでもよい。
【0625】
第8の実施形態および/または任意の介在する実施形態などの実施形態において、第1および第2のサブバンドは、それぞれ低周波サブバンドおよび高周波サブバンドであってもよい。
【0626】
一実施形態(「第9の実施形態」)において、N次整数変換を使用して残余ビデオデータを処理するように構成される装置には、条件付けユニット、第1の低次変換ユニット、および第2の低次変換ユニットを含んでもよい。条件付けユニットは、残余ビデオデータのベクトルを受信するように適合されてもよい。条件付けユニットは、残余ビデオデータのベクトルを処理して、変換に対して第1および第2の中間出力ベクトルを形成するように適合されてもよい。第1および第2の低次変換ユニットは、それぞれ第1および第2の中間出力ベクトルを受信するように適合されてもよい。第1の低次変換ユニットは、第1の中間出力ベクトルを変換して、N/2次整数変換の基底ベクトルを使用して偶数インデックス変換係数を形成するように適合されてもよい。第2の低次変換ユニットは、第2の中間出力ベクトルを変換して、N/4次奇数部行列に基づいてN/2次整数行列を使用して奇数インデックス変換係数を形成するように適合されてもよい。
【0627】
第9の実施形態などの実施形態において、条件付けユニットは、変換に対して第1および第2の中間出力ベクトルを形成するときに、残余ビデオデータのベクトルを変換に対して偶数−奇数分解行列に適用するように適合されてもよい。
【0628】
第9の実施形態および/または任意の介在する実施形態などの実施形態において、第1の低次変換ユニットは、第1の中間出力ベクトルを変換するときに、中間変換行列の偶数部を第1の中間出力ベクトルに適用するように構成されてもよく、中間変換行列の偶数部は、N/2次整数変換行列を含んでもよい。
【0629】
第9の実施形態および/または任意の介在する実施形態などの実施形態において、第2の低次変換ユニットは、第2の中間出力ベクトルの第1および第2のサブバンドを生成し、ならびに、第2の中間出力ベクトルを形成するときに、N/4次奇数部行列を、第1および第2のサブバンドのそれぞれに適用するように構成されてもよい。
【0630】
第9の実施形態および/または任意の介在する実施形態などの実施形態において、第1および第2のサブバンドは、それぞれ低周波サブバンドおよび高周波サブバンドであってもよい。
【0631】
一実施形態(「第10の実施形態」)において、N次整数変換を使用して残余ビデオデータを処理するための方法は、条件付けユニットにおいて残余ビデオデータの複数のベクトルを受信するステップを含んでもよい。方法は、条件付けユニットにおいてベクトルを処理して、変換に対して第1および第2の中間出力ベクトルのそれぞれを形成するステップを含んでもよい。方法は、第1および第2の低次変換ユニットにおいてそれぞれ第1および第2の中間出力ベクトルを受信するステップを含んでもよい。方法は、第1の低次変換ユニットにおいて第1の中間出力ベクトルを変換して、N/2次整数変換の基底ベクトルを使用して偶数インデックス変換係数の第1のセットを形成するステップを含んでもよい。方法は、第2の低次変換ユニットにおいて第2の中間出力ベクトルを変換して、N/4次奇数部行列に基づいて、N/2次整数行列を使用して奇数インデックス変換係数の第1のセットを形成するステップを含んでもよい。方法は、条件付けユニットにおいて,偶数インデックス変換係数の第1のセットおよび奇数インデックス変換係数の第1のセットから形成される変換行列の複数のベクトルを受信するステップを含んでもよい。方法は、条件付けユニットにおいてベクトルを処理して、変換に対して第3および第4の中間出力ベクトルのそれぞれを形成するステップを含んでもよい。方法は、第1および第2の低次変換ユニットにおいてそれぞれ第3および第4の中間出力ベクトルを受信するステップを含んでもよい。方法は、第1の低次変換ユニットにおいて第3の中間出力ベクトルを変換して、N/2次整数変換の基底ベクトルを使用して偶数インデックス変換係数の第2のセットを形成するステップを含んでもよい。方法は、第2の低次変換ユニットにおいて第4の中間出力ベクトルを変換して、N/4次奇数部行列に基づいて、N/2次整数行列を使用して奇数インデックス変換係数の第2のセットを形成するステップを含んでもよい。
【0632】
第10の実施形態などの実施形態において、条件付けユニットにおいて残余ビデオデータのベクトルを分割するステップは、残余ビデオデータのベクトルを変換に対して偶数−奇数分解行列に適用するステップを含んでもよい。
【0633】
第10の実施形態および/または任意の介在する実施形態などの実施形態において、第1の低次変換ユニットにおいて第1の中間出力ベクトルを変換するステップは、中間変換行列の偶数部を第1の中間出力ベクトルに適用するステップを含んでもよく、中間変換行列の偶数部は、N/2次整数変換行列を含んでもよく、または、N/2次整数変換行列であってよい。
【0634】
第10の実施形態および/または任意の介在する実施形態などの実施形態において、第2の低次変換ユニットにおいて第2の低次中間出力ベクトルを変換するステップは、第2の中間出力ベクトルの第1および第2のサブバンドを生成するステップ、および/または、N/4次奇数部行列を第1および第2のサブバンドのそれぞれに適用するステップを含んでもよい。
【0635】
第10の実施形態および/または任意の介在する実施形態などの実施形態において、条件付けユニットにおいてベクトルを分割するステップは、基底ベクトルを変換に対して偶数−奇数分解行列に適用するステップを含んでもよい。
【0636】
第10の実施形態および/または任意の介在する実施形態などの実施形態において、第1の低次変換ユニットにおいて第3の中間出力ベクトルを変換するステップは、中間変換行列の偶数部を第3の中間出力ベクトルに適用するステップを含んでもよく、中間変換行列の偶数部は、N/2次整数変換行列を含んでもよく、または、N/2次整数変換行列であってもよい。
【0637】
第10の実施形態および/または任意の介在する実施形態などの実施形態において、第2の低次変換ユニットにおいて第4の中間出力ベクトルを変換するステップは、第2の中間出力ベクトルの第1および第2のサブバンドを生成するステップ、および/または、N/4次奇数部行列を第1および第2のサブバンドのそれぞれに適用するステップを含んでもよい。
【0638】
第10の実施形態および/または任意の介在する実施形態などの実施形態において、第1および第2のサブバンドは、それぞれ低周波サブバンドおよび高周波サブバンドであってもよい。
【0639】
第10の実施形態および/または任意の介在する実施形態などの実施形態において、条件付けユニット、第1の低次変換ユニット、および第2の低次変換ユニットのいずれかは、処理に対して16ビット演算を使用するように適合される。
【0640】
一実施形態(「第11の実施形態」)において、N次整数変換を使用して残余ビデオデータを処理するための装置は、条件付けユニット、第1の低次変換ユニット、および第2の低次変換ユニットを含んでもよい。条件付けユニットは、残余ビデオデータの複数のベクトルを受信するように適合されてもよい。条件付けユニットは、ベクトルを処理して変換に対して第1および第2の中間出力ベクトルのそれぞれを形成するように適合されてもよい。第1および第2の低次変換ユニットは、それぞれ第1および第2の中間出力ベクトルを受信するように適合されてもよい。第1の低次変換ユニットは、第1の中間出力ベクトルを変換して、N/2次整数変換の基底ベクトルを使用して偶数インデックス変換係数の第1のセットを形成するように適合されてもよい。第2の低次変換ユニットは、第2の中間出力ベクトルを変換して、N/4次奇数部行列に基づいて、N/2次整数行列を使用して奇数インデックス変換係数の第1のセットを形成するように適合されてもよい。条件付けユニットは、偶数インデックス変換係数の第1のセットおよび奇数インデックス変換係数の第1のセットから形成される変換行列の複数のベクトルを受信するように適合されてもよい。条件付けユニットは、ベクトルを処理して、変換に対して第3および第4の中間出力ベクトルのそれぞれを形成するように適合されてもよい。第1および第2の低次変換ユニットは、ぞれぞれ第3および第4の中間出力ベクトルを受信するように適合されてもよい。第1の低次変換ユニットは、第3の中間出力ベクトルを変換して、N/2次整数変換の基底ベクトルを使用して偶数インデックス変換係数の第2のセットを形成するように適合されてもよい。第2の低次変換ユニットは、第4の中間出力ベクトルを変換して、N/4次奇数部行列に基づいて、N/2次整数行列を使用して奇数インデックス変換係数の第2のセットを形成するように適合されてもよい。
【0641】
第11の実施形態などの実施形態において、条件付けユニットは、変換に対して第1および第2の中間出力ベクトルを形成するときに、残余ビデオデータのベクトルを変換に対して偶数−奇数分解行列に適用するように適合されてもよい。
【0642】
第11の実施形態および/または任意の介在する実施形態などの実施形態において、第1の低次変換ユニットは、第1の中間出力ベクトルを変換するときに、中間変換行列の偶数部を第1の中間出力ベクトルに適用するように構成されてもよく、中間変換行列の偶数部は、N/2次整数変換行列を含んでもよく、またはN/2次整数変換行列であってもよい。
【0643】
第11の実施形態および/または任意の介在する実施形態などの実施形態において、第2の低次変換ユニットは、第2の中間出力ベクトルの第1および第2のサブバンドを生成し、ならびに、第2の中間出力ベクトルを形成するときに、N/4次奇数部行列を、第1および第2のサブバンドのそれぞれに適用するように構成されてもよい。
【0644】
第11の実施形態および/または任意の介在する実施形態などの実施形態において、条件付けユニットは、変換に対して第3および第4の中間出力ベクトルを形成するときに、基底ベクトルを変換に対して偶数−奇数分解行列に適用するように適合されてもよい。
【0645】
第11の実施形態および/または任意の介在する実施形態などの実施形態において、第1の低次変換ユニットは、第3の中間出力ベクトルを変換するときに、中間変換行列の偶数部を第3の中間出力ベクトルに適用するように構成されてもよく、中間変換行列の偶数部は、N/2次整数変換行列を含んでもよく、または、N/2次整数変換行列であってもよい。
【0646】
第11の実施形態および/または任意の介在する実施形態などの実施形態において、第2の低次変換部は、第2の中間出力ベクトルの第1および第2のサブバンドを生成し、ならびに、第4の中間出力ベクトルを形成するときに、N/4次奇数部行列を、第1および第2のサブバンドのそれぞれに適用するように構成されてもよい。
【0647】
第11の実施形態および/または任意の介在する実施形態などの実施形態において、第1および第2のサブバンドは、それぞれ低周波サブバンドおよび高周波サブバンドであってもよい。
【0648】
第11の実施形態および/または任意の介在する実施形態などの実施形態において、条件付けユニット、第1の低次変換ユニット、および第2の低次変換ユニットのいずれかは、処理に対して16ビット演算を使用するように適合される。
【0649】
一実施形態(「第12の実施形態」)において、N次整数変換を使用して残余ビデオデータを処理するための方法は、第1の条件付けユニットにおいて残余ビデオデータのベクトルを受信するステップと、第1の条件付けユニットにおいて残余ビデオデータのベクトルを処理して、変換に対して第1および第2の中間出力ベクトルを形成するステップとを含んでもよい。方法は、第1の変換ユニットにおいて第1の中間出力ベクトルを受信するステップと、第1の変換ユニットにおいて第1の中間出力ベクトルを変換して、N/2次整数偶数部変換行列およびN/2次整数奇数部変換行列の基底ベクトルを使用して偶数インデックス変換係数を形成するステップとを含んでもよい。方法は、第2の変換ユニットにおいて第2の中間出力ベクトルを受信するステップと、第2の変換ユニットにおいて第2の中間出力ベクトルを変換して、連続N/2次整数行列を介して第2の中間出力ベクトルを処理することによって、奇数インデックス変換係数を形成するステップとを含んでもよい。N/2次整数行列は、N次変換行列の奇数部を集合的に因数分解してもよい。
【0650】
第12の実施形態などの実施形態において、連続N/2次整数行列は、N/4次奇数部行列に基づいてもよく、連続N/2次整数行列を介して第2の中間出力ベクトルを処理するステップは、第2の中間出力ベクトルの第1および第2のサブバンドを生成するステップ、および/または、N/4次奇数部行列を第1および第2のサブバンドのそれぞれに適用するステップを含んでもよい。
【0651】
第12の実施形態および/または任意の介在する実施形態などの実施形態において、第1の低次変換ユニットにおいて第1の中間出力ベクトルを変換するステップは、中間変換行列の偶数部を第1の中間出力ベクトルに適用するステップを含んでもよく、中間変換行列の偶数部は、N/2次整数変換行列を含んでもよく、またはN/2次整数変換行列であってよい。
【0652】
第12の実施形態および/または任意の介在する実施形態などの実施形態において、条件付けユニットにおいて残余ビデオデータのベクトルを処理するステップは、残余ビデオデータのベクトルを変換に対して偶数−奇数分解行列に適用するステップを含んでもよい。
【0653】
第12の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、8次整数変換であってもよく、連続N/2次整数行列は、3つの連続する4次整数行列を含んでもよく、または3つの連続する4次整数行列であってもよい。
【0654】
先行実施形態などの実施形態において、第1の連続する4次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがった奇数対称性(even symmetry along one diagonal and odd another diagonal)を有してもよく、第2の連続する4次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがったゼロ対称性(even symmetry along one diagonal and zero symmetry along another diagonal)を有してもよく、第3の連続する4次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがった奇数対称性を有してもよい。
【0655】
第12の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、16次整数変換であってもよく、連続N/2次整数行列は、4つの連続する8次整数行列を含んでもよく、または4つの連続する8次整数行列であってもよい。
【0656】
先行実施形態などの実施形態において、第1の連続する8次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがった奇数対称性を有してもよく、第2の連続する8次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがったゼロ対称性を有してもよく、第3の連続する8次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがったゼロ対称性を有してもよく、第4の連続する8次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがった奇数対称性を有してもよい。
【0657】
第12の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、8次整数変換であってもよく、連続N/2次整数行列を介して第2の中間出力ベクトルを処理するステップは、(i)第1の4次整数行列を介して第2の中間出力ベクトル処理して、中間変換要素の第1のセットを形成するステップ、(ii)第2の4次整数行列を介して中間変換要素の第1のセットを処理して、中間変換要素の第2のセットを形成するステップ、および/または、第3の4次整数行列を介して中間変換要素の第2のセットを処理して、奇数インデックス変換係数を形成するステップを含んでもよい。
【0658】
第12の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、16次整数変換であってもよく、連続N/2次整数行列を介して第2の中間出力ベクトルを処理するステップは、(i)第1の8次整数行列を介して第2の中間出力ベクトルを処理して、中間変換要素の第1のセットを形成するステップ、(ii)第2の8次整数行列を介して中間変換要素の第1のセットを処理して、中間変換要素の第2のセットを形成するステップ、(iii)第3の8次整数行列を介して中間変換要素の第2のセットを処理して、中間変換要素の第3のセットを形成するステップ、および/または、(iv)第4の8次整数行列を介して中間変換要素の第3のセットを処理して、奇数インデックス変換係数を形成するステップを含んでもよい。
【0659】
第12の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、32次整数変換であってもよく、連続N/2次整数行列を介して第2の中間出力ベクトルを処理するステップは、(i)第1の16次整数行列を介して第2の中間出力ベクトルを処理して、中間変換要素の第1のセットを形成するステップ、(ii)第2の16次整数行列を介して中間変換要素の第1のセットを処理して、中間変換要素の第2のセットを形成するステップ、(iii)第3の16次整数行列を介して中間変換要素の第2のセットを処理して、中間変換要素の第3のセットを形成するステップ、第4の16次整数行列を介して中間変換要素の第3のセットを処理して、中間変換要素の第3のセットを、変換に対して4つのベクトルに、それぞれの4次整数行列により、分解するステップ、および/または、(iv)4つのベクトルのそれぞれを、それぞれの4次整数行列に適用して、奇数インデックス変換係数を形成するステップを含んでもよい。
【0660】
一実施形態(「第13の実施形態」)において、N次整数変換を使用して残余ビデオデータを処理するための装置は、条件付けユニット、第1の変換ユニット、および、第2の変換ユニットを含んでもよい。条件付けユニットは、残余ビデオデータのベクトルを受信するように適合されてもよい。条件付けユニットは、残余ビデオデータのベクトルを処理して、変換に対して第1および第2の中間出力ベクトルを形成するように適合されてもよい。第1の変換ユニットは、第1の中間出力を受信するように適合されてもよい。第1の変換ユニットは、第1の中間出力ベクトルを変換して、N/2次整数偶数部変換行列およびN/2次整数奇数部行列の基底ベクトルを使用して偶数インデックス変換係数を形成するように適合されてもよい。第2の変換ユニットは、第2の中間出力ベクトルを受信するように適合されてもよい。第2の変換部は、第2の中間出力ベクトルを変換して、連続N/2次整数行列を介して第2の中間出力ベクトルを処理することによって、奇数インデックス変換係数を形成するように適合されてもよい。N/2次整数行列は、N次整数変換の奇数部を集合的に因数分解してもよい。
【0661】
第13の実施形態などの実施形態において、連続N/2次整数行列は、N/4次奇数部行列に基づいてもよく、第2の変換ユニットは、連続N/2次整数行列を介して第2の中間出力ベクトルを処理するときに、第2の中間出力ベクトルの第1および第2のサブバンドを生成し、ならびに、N/4次奇数部行列を第1および第2のサブバンドのそれぞれに適用するように適合されてもよい。
【0662】
第13の実施形態および/または任意の介在する実施形態などの実施形態において、第1の低次変換ユニットは、第1の中間出力ベクトルを変換するときに、中間変換行列の偶数部を第1の中間出力ベクトルに適用するように構成されてもよく、中間変換行列の偶数部は、低次変換行列を含んでもよく、または低次変換行列であってもよい。
【0663】
第13の実施形態および/または任意の介在する実施形態などの実施形態において、条件付けユニットは、変換に対して第1および第2の中間出力ベクトルを形成するときに、残余ビデオデータのベクトルを変換に対して偶数−奇数分解行列に適用するように適合されてもよい。
【0664】
第13の実施形態および/または任意の介在する実施形態などの実施形態において、第1の低次変換ユニットは、第1の中間出力ベクトルを変換するときに、中間変換行列の偶数部を第1の中間出力ベクトルに適用するように構成されてもよく、中間変換行列の偶数部は、低次変換行列を含んでもよく、または低次変換行列であってもよい。
【0665】
第13の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、8次整数変換であってもよく、連続N/2次整数行列は、3つの連続する4次整数行列を含んでもよく、または3つの連続する4次整数行列であってもよい。
【0666】
先行実施形態などの実施形態において、第1の連続する4次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがった奇数対称性を有してもよく、第2の連続する4次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがったゼロ対称性を有してもよく、第3の連続する4次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがった奇数対称性を有してもよい。
【0667】
第13の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、16次整数変換であってもよく、連続N/2次整数行列は、4つの連続する8次整数行列を含んでもよく、または4つの連続する8次整数行列であってもよい。
【0668】
第13の実施形態および/または任意の介在する実施形態などの実施形態において、第1の連続する8次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがった奇数対称性を有してもよく、第2の連続する8次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがったゼロ対称性を有してもよく、第3の連続する8次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがったゼロ対称性を有してもよく、第4の連続する8次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがった奇数対称性を有してもよい。
【0669】
第13の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、16次整数変換であってもよく、連続N/2次整数行列は、4つの連続する8次整数行列を含んでもよく、または4つの連続する8次整数行列であってもよい。
【0670】
先行実施形態などの実施形態において、第1の連続する4次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがった奇数対称性を有してもよく、第2の連続する4次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがったゼロ対称性を有してもよく、第3の連続する4次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがったゼロ対称性を有してもよく、第4の連続する4次整数行列は、1つの対角線にしたがった偶数対称性、および、別の対角線にしたがった奇数対称性を有してもよい。
【0671】
第13の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、8次整数変換であってもよく、連続N/2次整数行列を介して第2の中間出力ベクトルを処理するときに、第2の変換ユニットは、(i)第1の4次整数行列を介して第2の中間出力ベクトルを処理して、中間変換要素の第1のセットを形成し、(ii)第2の4次整数行列を介して中間変換要素の第1のセットを処理して、中間変換要素の第2のセットを形成し、および/または、(iii)第3の4次整数行列を介して中間変換要素の第2のセットを処理して、奇数インデックス変換係数を形成するように適合されてもよい。
【0672】
第13の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、16次整数変換であってもよく、連続N/2次整数行列を介して第2の中間出力ベクトルを処理するときに、第2の変換ユニットは、(i)第1の8次整数行列を介して第2の中間出力ベクトルを処理して、中間変換要素の第1のセットを形成し、(ii)第2の8次整数行列を介して中間変換要素の第1のセットを処理して、中間変換要素の第2のセットを形成し、(iii)第3の8次整数行列を介して中間変換要素の第2のセットを処理して、中間変換要素の第3のセットを形成し、および/または、(iv)第4の8次整数行列を介して中間変換要素の第3のセットを処理して、奇数インデックス変換係数を形成するように適合されてもよい。
【0673】
第13の実施形態および/または任意の介在する実施形態などの実施形態において、N次整数変換は、32次整数変換であってもよく、連続N/2次整数行列を介して第2の中間出力ベクトルを処理するときに、第2の変換ユニットは、(i)第1の16次整数行列を介して第2の中間出力ベクトルを処理して、中間変換要素の第1のセットを形成し、(ii)第2の16次整数行列を介して中間変換要素の第1のセットを処理して、中間変換要素の第2のセットを形成し、(iii)第3の16次整数行列を介して中間変換要素の第2のセットを処理して、中間変換要素の第3のセットを形成し、(iv)第4の16次整数行列を介して中間変換要素の第3のセットを処理して、中間変換要素の第3のセットを、変換用の4つのベクトルに、それぞれの4次整数行列により分解し、および/または、4つのベクトルのそれぞれを、それぞれの4次整数行列に適用して、奇数インデックス変換係数を形成するように適合されてもよい。
【0675】
上記では特徴および要素が特定の組み合わせで提供されるが、当業者は、各特徴または要素を、単独で、または、他の特徴および要素との任意の組み合わせで使用してもよいことを理解するであろう。加えて、本明細書において提供される方法は、コンピュータプログラム、ソフトウェア、または、コンピュータまたはプロセッサによる実行に対するコンピュータ可読媒体に組み込まれるファームウェアウエアにおいて実装されてもよい。コンピュータ可読媒体の例は、電子信号(有線または無線接続上を送信される)、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリ装置、内蔵ハードディスクなどの磁気媒体および着脱可能ディスク、磁気光学媒体、ならびに、CD−ROMディスクおよびデジタル多用途ディスク(DVD)などの光学媒体、を含むが、これに限定されない。ソフトウェアに関連するプロセッサを使用して、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータにおいて使用するための無線周波数送受信機を実装してもよい。
【0676】
上記で提供される種々の方法、装置、およびシステムが、本発明の範囲から逸脱することなく可能である。適用可能な多種多様の実施形態の観点から、例示される実施形態は単なる例であり、以下の特許請求の範囲を限定するものと解釈されるべきではないことを理解されるべきである。例えば、本明細書に提供される実施形態は、ハンドヘルドデバイスを含んでもよく、ハンドヘルドデバイスは、電池などの適切な電圧を提供する、任意の適切な電源を含んでもよく、または、任意の適切な電源と共に利用されてもよい。
【0677】
さらに、上記に提供される実施形態において、処理プラットフォーム、コンピュータシステム、コントローラ、および、プロセッサを含む他のデバイスが言及される。これらのデバイスは、少なくとも1つの中央処理装置(「CPU」)、およびメモリを含んでもよい。コンピュータプログラミングの当業者の慣行に従って、操作および命令の動作および象徴への言及が、種々のCPUおよびメモリにより実行されてよい。そのような動作および操作または命令は、「実行される」、「コンピュータにより実行される」または「CPUにより実行される」、と表現されてよい。
【0678】
当業者は、振舞いおよび象徴的に表された動作または命令は、CPUによる電気信号の動作を含むことを理解するであろう。電気システムは、電気信号の変換または還元を生じ、メモリシステムにおける記憶位置においてデータビットのメンテナンスを引き起こして、それにより、CPUの動作を再構築、または他の様式で変更し、同様に他の信号処理も行うデータビットを表す。データビットが保持される記憶位置は、特定の電気的、磁気的、光学的、または、有機的なデータビットに対応し、または、データビットを表す、特性を有する物理的な位置である。例示の実施形態が、上述のプラットフォームまたはCPUに限定されず、ならびに、他のプラットフォームおよびCPUが、提供される方法をサポートしてもよいことを理解すべきである。
【0679】
データビットはまた、磁気ディスク、光ディスク、および、任意の他の揮発性(例えば、ランダムアクセスメモリ(「RAM」))または不揮発性(例えば、リードオンリメモリ(「ROM」))の、CPUにより読取り可能な大容量記憶システムを含む、コンピュータ可読媒体上で保持されてよい。コンピュータ可読媒体は、組み込み、または、相互接続のコンピュータ可読媒体を含んでもよく、これらは、処理システム上に排他的に存在し、または、処理システムにローカルまたはリモートであってよい複数の相互接続の処理システム間に分散される。例示の実施形態が上述のメモリに限定されず、ならびに、他のプラットフォームおよびメモリが、提供される方法をサポートしてもよいことを理解すべきである。
【0680】
本願の記載において使用されるいかなる要素、動作、または命令も、重要または必須であるように明示的に提供されない場合は、本発明に重要または必須であると解釈されるべきではない。また、本明細書で使用される時、「ある(一つの)」という冠詞は、1つまたは複数の項目を含むことを意図する。例えば、「ある実施形態において」というフレーズにおける冠詞「ある(一つの)」は、例えば、「単一の実施形態において」、「複数の実施形態において」、「一実施形態において」、および/または「全ての実施形態において」を含むことを意図する。項目1つだけが意図される場合、用語「単一の」または同様の言語が使用される。さらに、用語「任意(いずれ)の」が、複数の項目、および/または、項目の複数の分類、のリストを伴う場合、本明細書で使用される時は、個々に、または、他の項目および/または項目の他の分類と併せて、項目および/または項目の分類の「任意(いずれ)の」、「任意(いずれ)の組み合わせ」、「任意(いずれ)の複数の」、および/または、「複数のうちの任意(いずれ)の組み合わせ」が含まれることが意図される。さらに、本明細書で使用される時、用途「セット」は、ゼロを含む任意の数の項目を意図される。加えて、本明細書で使用される時、用途「数」は、ゼロを含む任意の数を意図する。
【0681】
さらに、請求項は、その効果について記載されない限り、提供される順番または要素に限定されるものと読まれるべきではない。加えて、任意の請求項における用語「のための手段(ミーンズ)」の使用は、米国特許法第112条第6項、または、ミーンズプラスファンクションの請求項形式を思い起こさせることが意図され、「のための手段(ミーンズ)」を使用しない請求項はどれも、そのように意図されない。