IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヴィド スケール インコーポレイテッドの特許一覧

特開2024-74929ビデオ符号化のための一般化された多重仮説予測(Generalized Multi-Hypothesis Prediction)のためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024074929
(43)【公開日】2024-05-31
(54)【発明の名称】ビデオ符号化のための一般化された多重仮説予測(Generalized Multi-Hypothesis Prediction)のためのシステムおよび方法
(51)【国際特許分類】
   H04N 19/105 20140101AFI20240524BHJP
   H04N 19/463 20140101ALI20240524BHJP
   H04N 19/147 20140101ALI20240524BHJP
   H04N 19/176 20140101ALI20240524BHJP
【FI】
H04N19/105
H04N19/463
H04N19/147
H04N19/176
【審査請求】有
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2024060827
(22)【出願日】2024-04-04
(62)【分割の表示】P 2022184106の分割
【原出願日】2017-05-11
(31)【優先権主張番号】62/336,227
(32)【優先日】2016-05-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/342,772
(32)【優先日】2016-05-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/399,234
(32)【優先日】2016-09-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/415,187
(32)【優先日】2016-10-31
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】チュン-チ・チェン
(72)【発明者】
【氏名】シャオユ・シュウ
(72)【発明者】
【氏名】ユーウェン・ヘ
(72)【発明者】
【氏名】ヤン・イエ
(57)【要約】
【課題】一般化された双予測を使用するビデオ符号化のシステムおよび方法を提供する。
【解決手段】ビデオエンコーディング方法は、現在画像における少なくとも現在ブロックについて、第1の重みおよび第2の重みを識別するブロックレベル情報をエンコードすることであって、第1の重みおよび第2の重みの少なくとも1つは、0、0.5または1に等しくない値を有する、ことと、第1の基準画像における第1の基準ブロックと第2の基準画像における第2の基準ブロックとの加重和として現在ブロックを予測することであって、第1の基準ブロックは、第1の重みによって重み付けされ、第2の基準ブロックは、第2の重みによって重み付けされる、ことを備える。ブロックレベル情報をエンコードすることは、切り捨てられた単進符号を使用して重みインデックスを符号語にマッピングし、ビットストリームの符号語をエントロピエンコードすることを含む。
【選択図】図5
【特許請求の範囲】
【請求項1】
ビデオエンコーディング方法であって、
現在画像における少なくとも現在ブロックについて、第1の重みおよび第2の重みを識別するブロックレベル情報をエンコードすることであって、前記第1の重みおよび第2の重みの少なくとも1つは、0、0.5または1に等しくない値を有する、ことと、
前記現在ブロックにおける各サブブロックについて、
前記現在ブロックのアフィン動きモデルに基づいて、第1のサブブロック動きベクトルおよび第2のサブブロック動きベクトルを取得することと、
前記第1のサブブロック動きベクトルによって指し示される第1の基準画像における第1の基準ブロックと、前記第2のサブブロック動きベクトルによって指し示される第2の基準画像における第2の基準ブロックの加重和として前記サブブロックを予測することであって、前記第1の基準ブロックは、前記第1の重みによって重み付けされ、前記第2の基準ブロックは、前記第2の重みによって重み付けされる、ことと、
を備え、
前記第1の重みおよび前記第2の重みは、前記現在ブロックにおける前記サブブロックの各々にわたって共有される、方法。
【請求項2】
前記ブロックレベル情報をエンコードすることは、切り捨てられた単進符号を使用して重みインデックスを符号語にマッピングし、ビットストリームの前記符号語をエントロピエンコードすることを含む、請求項1の方法。
【請求項3】
前記第2の重みは、1から前記第1の重みを減算することによって識別される、請求項1の方法。
【請求項4】
前記第1の重みおよび前記第2の重みは、所定の重みのセットから識別される、請求項1の方法。
【請求項5】
ビデオ復号方法であって、
現在画像における少なくとも現在ブロックについて、第1の重みおよび第2の重みを識別するブロックレベル情報を復号することであって、前記第1の重みおよび第2の重みの少なくとも1つは、0、0.5または1に等しくない値を有する、ことと、
前記現在ブロックにおける各サブブロックについて、
前記現在ブロックのアフィン動きモデルに基づいて、第1のサブブロック動きベクトルおよび第2のサブブロック動きベクトルを取得することと、
前記第1のサブブロック動きベクトルによって指し示される第1の基準画像における第1の基準ブロックと、前記第2のサブブロック動きベクトルによって指し示される第2の基準画像における第2の基準ブロックの加重和として前記サブブロックを予測することであって、前記第1の基準ブロックは、前記第1の重みによって重み付けされ、前記第2の基準ブロックは、前記第2の重みによって重み付けされる、ことと、
を備え、
前記第1の重みおよび前記第2の重みは、前記現在ブロックにおける前記サブブロックの各々にわたって共有される、方法。
【請求項6】
前記ブロックレベル情報を復号することは、符号語をビットストリームからエントロピ復号し、切り捨てられた単進符号を使用して重みインデックスを前記符号語から回復することを含む、請求項5の方法。
【請求項7】
前記第2の重みは、1から前記第1の重みを減算することによって識別される、請求項5の方法。
【請求項8】
前記第1の重みおよび前記第2の重みは、所定の重みのセットから識別される、請求項5の方法。
【請求項9】
ビデオエンコーディング装置であって、
現在画像における少なくとも現在ブロックについて、第1の重みおよび第2の重みを識別するブロックレベル情報をエンコードすることであって、前記第1の重みおよび第2の重みの少なくとも1つは、0、0.5または1に等しくない値を有する、ことと、
前記現在ブロックにおける各サブブロックについて、
前記現在ブロックのアフィン動きモデルに基づいて、第1のサブブロック動きベクトルおよび第2のサブブロック動きベクトルを取得することと、
前記第1のサブブロック動きベクトルによって指し示される第1の基準画像における第1の基準ブロックと、前記第2のサブブロック動きベクトルによって指し示される第2の基準画像における第2の基準ブロックの加重和として前記サブブロックを予測することであって、前記第1の基準ブロックは、前記第1の重みによって重み付けされ、前記第2の基準ブロックは、前記第2の重みによって重み付けされる、ことと、
を少なくとも実行するように構成されたプロセッサを備え、
前記第1の重みおよび前記第2の重みは、前記現在ブロックにおける前記サブブロックの各々にわたって共有される、装置。
【請求項10】
前記ブロックレベル情報をエンコードすることは、切り捨てられた単進符号を使用して重みインデックスを符号語にマッピングし、ビットストリームの前記符号語をエントロピエンコードすることを含む、請求項9の装置。
【請求項11】
前記第2の重みは、1から前記第1の重みを減算することによって識別される、請求項9の装置。
【請求項12】
前記第1の重みおよび前記第2の重みは、所定の重みのセットから識別される、請求項9の装置。
【請求項13】
ビデオ復号装置であって、
現在画像における少なくとも現在ブロックについて、第1の重みおよび第2の重みを識別するブロックレベル情報を復号することであって、前記第1の重みおよび第2の重みの少なくとも1つは、0、0.5または1に等しくない値を有する、ことと、
前記現在ブロックにおける各サブブロックについて、
前記現在ブロックのアフィン動きモデルに基づいて、第1のサブブロック動きベクトルおよび第2のサブブロック動きベクトルを取得することと、
前記第1のサブブロック動きベクトルによって指し示される第1の基準画像における第1の基準ブロックと、前記第2のサブブロック動きベクトルによって指し示される第2の基準画像における第2の基準ブロックの加重和として前記サブブロックを予測することであって、前記第1の基準ブロックは、前記第1の重みによって重み付けされ、前記第2の基準ブロックは、前記第2の重みによって重み付けされる、ことと、
を少なくとも実行するように構成されたプロセッサを備え、
前記第1の重みおよび前記第2の重みは、前記現在ブロックにおける前記サブブロックの各々にわたって共有される、装置。
【請求項14】
前記ブロックレベル情報を復号することは、符号語をビットストリームからエントロピ復号し、切り捨てられた単進符号を使用して重みインデックスを前記符号語から回復することを含む、請求項13の装置。
【請求項15】
前記第2の重みは、1から前記第1の重みを減算することによって識別される、請求項13の装置。
【請求項16】
前記第1の重みおよび前記第2の重みは、所定の重みのセットから識別される、請求項13の装置。
【請求項17】
命令を含む非一時的コンピュータ可読媒体であって、前記命令は、実行されると、1つまたは複数のプロセッサに、
現在画像における少なくとも現在ブロックについて、第1の重みおよび第2の重みを識別するブロックレベル情報を復号することであって、前記第1の重みおよび第2の重みの少なくとも1つは、0、0.5または1に等しくない値を有する、ことと、
前記現在ブロックにおける各サブブロックについて、
前記現在ブロックのアフィン動きモデルに基づいて、第1のサブブロック動きベクトルおよび第2のサブブロック動きベクトルを取得することと、
前記第1のサブブロック動きベクトルによって指し示される第1の基準画像における第1の基準ブロックと、前記第2のサブブロック動きベクトルによって指し示される第2の基準画像における第2の基準ブロックの加重和として前記サブブロックを予測することであって、前記第1の基準ブロックは、前記第1の重みによって重み付けされ、前記第2の基準ブロックは、前記第2の重みによって重み付けされる、ことと、
を含む方法を実行させ、
前記第1の重みおよび前記第2の重みは、前記現在ブロックにおける前記サブブロックの各々にわたって共有される、非一時的コンピュータ可読媒体。
【請求項18】
前記ブロックレベル情報を復号することは、符号語をビットストリームからエントロピ復号し、切り捨てられた単進符号を使用して重みインデックスを前記符号語から回復することを含む、請求項17の非一時的コンピュータ可読媒体。
【請求項19】
前記第2の重みは、1から前記第1の重みを減算することによって識別される、請求項17の非一時的コンピュータ可読媒体。
【請求項20】
前記第1の重みおよび前記第2の重みは、所定の重みのセットから識別される、請求項17の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ符号化のための一般化された多重仮説予測のためのシステムおよび方法に関する。
【背景技術】
【0002】
関連出願の相互参照
本出願は、以下の米国仮特許出願、すなわち、2016年5月13日に出願された「Systems and Methods for Generalized Multi-Hypothesis Prediction for Video Coding」と題する第62/336227号、2016年5月27日に出願された「Systems and Methods for Generalized Multi-Hypothesis Prediction for Video Coding」と題する第62/342772号、2016年9月23日に出願された「Systems and Methods for Generalized Multi-Hypothesis Prediction for Video Coding」と題する第62/399234号、および2016年10月31日に出願された「Systems and Methods for Generalized Multi-Hypothesis Prediction for Video Coding」と題する第62/415187号の非仮出願であり、米国特許法第119条(c)の下で、それらからの利益を主張する。これらの出願のすべては、それらの全体が、参照によって本明細書に組み込まれる。
【0003】
ビデオ符号化システムは、デジタルビデオ信号を圧縮して、そのような信号の記憶要求および/または送信帯域幅を低減させるために、広く使用されている。ブロックベース、ウェーブレットベース、およびオブジェクトベースのシステムなど、ビデオ符号化システムの様々なタイプの中で、今日、ブロックベースのハイブリッドビデオ符号化システムが、最も広く使用され、展開されている。ブロックベースのビデオ符号化システムの例は、MPEG-1/2/4 part 2、H.264/MPEG-4 part 10 AVC、VC-1、ならびにITU-T/SG16/Q.6/VCEGおよびISO/IEC/MPEGのJCT-VC(ビデオ符号化に関する共同作業チーム(Joint Collaborative Team on Video Coding))によって開発された、高効率ビデオ符号化(HEVC)と呼ばれる、最新のビデオ符号化規格などの、国際ビデオ符号化規格を含む。
【0004】
ブロックベースの符号化を使用してエンコードされたビデオは、例えば、インターネット上において、電子的に送信されるデータのかなりの割合を占める。高品質のビデオコンテンツが、より少ないビットを使用して、記憶および送信されることができるように、ビデオ圧縮の効率を増加させることが望ましい。
【発明の概要】
【0005】
例示的な実施形態においては、一般化された双予測(bi-prediction)(GBi)を実行するためのシステムおよび方法が、説明される。例示的な方法は、現在画像、第1の基準画像、および第2の基準画像を含む、複数の画像を含む、ビデオをエンコードおよびデコード(一括して「符号化」)するステップを含み、各画像は、複数のブロックを含む。例示的な方法においては、少なくとも現在画像内の現在ブロックについて、重みのセットの中から第1の重みおよび第2の重みを識別する、ブロックレベルインデックスが、符号化され、重みのセット内の重みのうちの少なくとも1つは、0、0.5、または1に等しくない値を有する。現在ブロックは、第1の基準画像内の第1の基準ブロックと、第2の基準画像内の第2の基準ブロックとの加重和として予測され、第1の基準ブロックは、第1の重みによって重み付けされ、第2のブロックは、第2の重みによって重み付けされる。
【0006】
いくつかの実施形態においては(またはいくつかのブロックについては)、現在ブロックについての、第1の重みおよび第2の重みを識別するブロックレベル情報は、そのブロックのためのインデックスを符号化すること以外の手段によって、符号化されることができる。例えば、ブロックは、マージモードで符号化されることができる。そのようなケースにおいては、ブロックレベル情報は、複数のマージ候補ブロックから候補ブロックを識別する情報であることができる。その場合、第1の重みおよび第2の重みは、識別された候補ブロックを符号化するのに使用された重みに基づいて、識別されることができる。
【0007】
いくつかの実施形態においては、第1の基準ブロックおよび第2の基準ブロックは、現在画像のためのビットストリーム内においてシグナリングされる少なくとも1つのスケーリング係数によって、さらにスケーリングされる。
【0008】
いくつかの実施形態においては、重みのセットは、ビットストリーム内に符号化され、異なる重みセットが、異なるスライス、画像、またはシーケンスにおける使用のために、適合させられることを可能にする。他の実施形態においては、重みのセットは、予め定められる。いくつかの実施形態においては、2つの重みのうちの一方だけが、ビットストリーム内においてシグナリングされ、他方の重みは、シグナリングされた重みを1から減算することによって導出される。
【0009】
いくつかの実施形態においては、符号語(codeword)が、それぞれの重みに割り当てられ、重みは、対応する符号語を使用して識別される。重みへの符号語の割り当ては、予め定められた割り当てであることができ、または割り当ては、以前に符号化されたブロック内において使用された重みに基づいて、適合させられることができる。
【0010】
一般化された双予測を実行するための例示的なエンコーダおよびデコーダも、本明細書において説明される。
【0011】
本明細書において説明されるシステムおよび方法は、サンプル値のブロックの予測のための新規な技法を提供する。そのような技法は、エンコーダおよびデコーダの両方によって、使用されることができる。ブロックの予測は、エンコーディング方法において、ビットストリーム内にエンコードされる残差を決定するために、元の入力ブロックから減算されることができる、サンプル値のブロックをもたらす。デコーディング方法においては、残差が、ビットストリームからデコードされ、元の入力ブロックと同じ、または近似的に同じ再構成されたブロックを獲得するために、予測ブロックに加算されることができる。したがって、本明細書において説明されるような予測方法は、ビデオをエンコードおよびデコードするのに必要とされるビットの数を、少なくともいくつかの実装においては、減少させることによって、ビデオエンコーダおよびデコーダの動作を改善する。ビデオエンコーダおよびデコーダの動作に対する例示的な予測方法のさらなる利益は、詳細な説明において提供される。
【図面の簡単な説明】
【0012】
より詳細な理解は、以下でまず簡潔に説明される添付の図面と併せて、例として提示される、以下の説明から得られることができる。
【0013】
図1】ブロックベースのビデオエンコーダの例を示す機能ブロック図である。
図2】ブロックベースのビデオデコーダの例を示す機能ブロック図である。
図3】テンプレートTCならびに関連付けられた予測ブロックT0およびT1を使用する予測の概略図である。
図4】経時的な照度変化の概略図を提供するグラフである。
図5】いくつかの実施形態に従った、一般化された双予測を使用するように構成されたビデオエンコーダを示す機能ブロック図である。
図6】ビデオエンコーダにおいて使用するための例示的な一般化された双予測モジュールの機能ブロック図である。
図7】一般化された双予測において使用するための暗黙的な重み値の例示的なデコーダ側導出の概略図である。
図8】各円がシグナリングされるビットを表す、weight_idxを2進化するためのツリー構造の概略図である。
図9】いくつかの実施形態に従った、一般化された双予測を使用するように構成されたビデオデコーダを示す機能ブロック図である。
図10】ビデオデコーダにおいて使用するための例示的な一般化された双予測モジュールの機能ブロック図である。
図11A】符号語割り当て方法のうちの一定割り当ての概略図である。
図11B】符号語割り当て方法のうちの代替的割り当ての概略図である。
図12A】ブロック適応的符号語割り当ての例のうちの重み値フィールドを提供する概略図である。
図12B】ブロック適応的符号語割り当ての例のうちの一定割り当てから更新された結果の符号語割り当てを提供する概略図である。
図13】マージ候補位置の概略図である。
図14】重ね合わされたブロック動き補償(OBMC)の例の概略図であって、mが、OBMCを実行するための基本処理ユニットであり、N1からN8が、因果関係のある近隣内のサブブロックであり、B1からB7が、現在ブロック内のサブブロックである、概略図である。
図15】フレームレートアップコンバージョン(FRUC)の例を示す図であって、v0が、基準リストL0に対応する与えられた動きベクトルであり、v1が、v0および時間距離に基づいたスケーリングされたMVである、図である。
図16】符号化されたビットストリーム構造の例を示す図である。
図17】例示的な通信システムを示す図である。
図18】いくつかの実施形態においてエンコーダまたはデコーダとして使用されることができる、例示的な無線送受信ユニット(WTRU)を示す図である。
【発明を実施するための形態】
【0014】
ブロックベースのエンコーディング
図1は、汎用的なブロックベースのハイブリッドビデオエンコーディングシステム100のブロック図である。入力ビデオ信号102は、ブロック毎に処理される。HEVCにおいては、高解像度(1080p以上)のビデオ信号を効率的に圧縮するために、(「符号化ユニット」またはCUと呼ばれる)拡張されたブロックサイズが、使用される。HEVCにおいては、CUは、最大で64×64ピクセルであることができる。CUは、予測ユニットまたはPUにさらに区分されることができ、それらに対して、別々の予測方法が、適用される。入力ビデオブロック(MBまたはCU)毎に、空間的予測(160)および/または時間的予測(162)が、実行されることができる。空間的予測(または「イントラ予測」)は、同じビデオ画像/スライス内のすでに符号化された近隣ブロックからのピクセルを使用して、現在のビデオブロックを予測する。空間的予測は、ビデオ信号に内在する空間的冗長性を低減させる。(「インター予測」または「動き補償予測」とも呼ばれる)時間的予測は、すでに符号化されたビデオ画像からのピクセルを使用して、現在のビデオブロックを予測する。時間的予測は、ビデオ信号に内在する時間的冗長性を低減させる。与えられたビデオブロックについての時間的予測信号は、現在ブロックとそれの基準ブロックとの間の動きの量および方向を示す、1つまたは複数の動きベクトルによってシグナリングされることができる。また、(H.264/AVCまたはHEVCなど、最近のビデオ符号化規格のケースのように)複数の基準画像が、サポートされる場合、ビデオブロック毎に、基準画像の基準インデックスも、送信されることができる。基準インデックスは、時間的予測信号が、基準画像ストア(164)内のどの基準画像に由来するかを識別するために、使用される。空間的および/または時間的予測の後、エンコーダ内のモード決定ブロック(180)は、例えば、レート-歪み最適化方法に基づいて、最良の予測モードを選択する。予測ブロックは、その後、現在のビデオブロックから減算され(116)、予測残差は、変換(104)を使用して脱相関され、目標ビットレートを達成するために、量子化される(106)。量子化された残差係数は、逆量子化(110)および逆変換(112)されて、再構成された残差を形成し、それは、その後、予測ブロックに加算され戻されて(126)、再構成されたビデオブロックを形成する。さらに、デブロッキングフィルタおよび適応ループフィルタなどのインループフィルタリングが、再構成されたビデオブロックに適用されることができ(166)、その後、それは、基準画像ストア(164)に入れられ、さらなるビデオブロックを符号化するために使用される。出力ビデオビットストリーム120を形成するために、符号化モード(インターまたはイントラ)、予測モード情報、動き情報、および量子化された残差係数は、すべてが、エントロピ符号化ユニット(108)に送信され、さらに圧縮およびパックされて、ビットストリームを形成する。
【0015】
ブロックベースのデコーディング
図2は、ブロックベースのビデオデコーダ200の全体的なブロック図を与える。ビデオビットストリーム202は、エントロピデコーディングユニット208において、アンパックおよびエントロピデコードされる。符号化モードおよび予測情報は、(イントラ符号化の場合は)空間的予測ユニット260に、または(インター符号化の場合は)時間的予測ユニット262に送信されて、予測ブロックを形成する。残差変換係数は、逆量子化ユニット210および逆変換ユニット212に送信されて、残差ブロックを再構成する。予測ブロックおよび残差ブロックは、その後、226において、合算される。再構成されたブロックは、さらに、インループフィルタリングを通過することができ、その後、それは、基準画像ストア264内に記憶される。基準画像ストア内の再構成されたビデオは、その後、ディスプレイデバイスを駆動するために送出されるほか、さらなるビデオブロックを予測するためにも使用される。
【0016】
最新のビデオコーデックにおいては、双方向動き補償予測(MCP)が、画像間の時間的相関を利用することによって時間的冗長性を除去する際の、それの高い効率のために知られており、最新式のビデオコーデックのほとんどにおいて、広く採用されている。しかしながら、双予測信号は、単純に、0.5に等しい重み値を使用して、2つの片予測(uni-prediction)信号を結合することによって、形成される。これは、片予測信号を結合するためには最適であるとは限らず、1つの基準画像から別の基準画像に替わる際に照度が急速に変化する、ある条件において、特にそうである。したがって、いくつかの大域的または局所的な重みおよびオフセット値を、基準画像内のサンプル値の各々に適用することによって、経時的な照度変動を補償することを目指して、いくつかの予測技法が、開発されてきた。
【0017】
重み付けされた双予測
重み付けされた双予測は、動き補償を実行するときに、フェージング推移など、経時的な照度変化を補償するために主に使用される、符号化ツールである。スライス毎に、乗算的な重み値および加算的なオフセット値の2つのセットが、明示的に示され、基準リスト毎に、一度に1つずつ、動き補償予測に別々に適用される。この技法は、照度が、どの画像についても直線的かつ等しく変化するときは、最も効果的である。
【0018】
局所的な照度補償
局所的な照度補償においては、パラメータ(乗算的な重み値および加算的なオフセット値の2つのペア)が、ブロック毎に適合させられる。これらのパラメータをスライスレベルにおいて示す、重み付けされた双予測と異なり、この技法は、テンプレート(TC)の再構成信号と、テンプレートの予測信号(T0およびT1)との間の照度変化に、最適なパラメータを適合させることに訴える(図3を参照)。結果のパラメータは、(重みとオフセット値の第1のペアについては)TCとT0との間の照度差を、また(重みとオフセット値の第2のペアについては)TCとT1との間の照度差を、別々に最小化することによって、最適化される。その後、重み付けされた双予測に関するものと同じ動き補償プロセスが、導出されたパラメータを用いて実行される。
【0019】
照度変化の効果
空間および時間にわたる照度の変化は、動き補償予測の性能に深刻な影響を与えることができる。図4に見ることができるように、照度が、時間方向に沿って弱まるとき、動き補償予測は、良好な性能を提供しない。例えば、オブジェクトのサンプルが、t-3からtまでの時間の期間にわたって、移動し、このサンプルの強度値が、それの動きの軌跡に沿って、vt-3からvtに変化する。このサンプルが、第tの画像において予測されることになると仮定すると、それの予測値は、vt-3からvt-1のうちに制限され、したがって、貧弱な動き補償予測が、もたらされることがある。重み付けされた双予測および局所的な照度補償の上述の技法は、この問題を十分には解決しないことがある。照度は、画像内において、激しく変動することがあるので、重み付けされた双予測は、失敗することがある。局所的な照度補償は、ブロックとそれの関連付けられたテンプレートブロックとの間の低い照度相関が原因で、重みおよびオフセット値の貧弱な推定をときには生成する。これらの例は、大域的な記述およびテンプレートベースの局所的な記述が、空間および時間にわたる照度変動を表すために十分ではないことを示している。
【0020】
例示的な実施形態
本明細書において説明される例示的な実施形態は、重み付けされた動き補償予測についての予測効率を改善させることができる。いくつかの実施形態においては、動き補償予測、および多重仮説予測信号を線形結合するためのブロックレベルの重み値を使用する、一般化された多重仮説予測のためのシステムおよび方法が、提案される。いくつかの実施形態においては、重み値を使用する一般化された双予測フレームワークが、説明される。いくつかの実施形態においては、重みの有限セットが、シーケンス、画像、またはスライスレベルにおいて、使用され、重みのセットについての構築プロセスが、説明される。いくつかの実施形態においては、重み値は、与えられた重みセットに基づいて、決定され、現在ブロックおよびそれの基準ブロックの信号を考慮して、最適化される。重み値をシグナリングするための例示的な符号化方法が、説明される。提案される予測についての動き推定プロセスのための例示的なエンコーダ探索基準が、説明され、開示される時間的予測技法と組み合わされた、提案される予測プロセスが、説明される。
【0021】
本開示においては、一般化された多重仮説予測を使用する時間的予測のためのシステムおよび方法が、説明される。一般化された双予測を使用する、例示的なエンコーダおよびデコーダが、図5および図9に関して、説明される。本明細書において開示されるシステムおよび方法は、以下のように、セクションにおいて体系化される。セクション「一般化された多重仮説予測」は、一般化された多重仮説予測を使用する例示的な実施形態について説明する。セクション「一般化された双予測」は、一般化された双予測の例示的なフレームワークおよび予測プロセスを開示する。セクション「重みセットの構築」および「重みインデックス符号化」は、それぞれ、重みセットのための例示的な構築プロセスについて、およびこのセット内における重みの選択をシグナリングするための例示的な技法について説明する。セクション「高度な時間的予測技法への拡張」においては、例示的な提案される予測方法を、局所的な照度補償および重み付けされた双予測、マージモード、重ね合わされたブロック動き補償、アフィン予測、双予測オプティカルフロー、ならびにフレームレートアップコンバージョン双予測と呼ばれるデコーダ側動きベクトル導出技法を含む、高度なインター予測技法と組み合わせるための、システムおよび方法が、説明される。セクション「GBi予測探索戦略」においては、例示的な予測方法の効率を向上させるための、例示的なエンコーダ限定の方法が、説明される。
【0022】
一般化された多重仮説予測
本明細書において説明される例示的なシステムおよび方法は、一般化された多重仮説予測を利用する。一般化された多重仮説予測は、複数の動き補償予測信号の線形結合に基づいて、ピクセルの強度値の推定値を提供する、多重仮説予測の一般化された形式として、説明されることができる。一般化された多重仮説予測は、異なる品質を有する複数の予測を一緒に組み合わせることによって、それらの利益を利用することができる。正確な推定値に到達するために、動き補償予測信号が、予め定められた関数f(●)を通して、処理されることができ(例えば、ガンマ補正、局所的な照度補正、ダイナミックレンジ補正)、その後、線形結合されることができる。一般化された多重仮説予測は、式(1)を参照して、説明されることができ、
【0023】
【数1】
【0024】
ここで、P[x]は、画像位置xに配置されたサンプルxの結果の予測信号を表し、wiは、第iの基準画像からの、第iの動き仮説に適用される重み値を表し、Pi[x+vi]は、動きベクトル(MV)viを使用した、xの動き補償予測信号であり、nは、動き仮説の総数である。
【0025】
動き補償予測に関して検討すべき1つの因子は、最大のレート-歪み性能に到達するために、動きフィールド(motion fieldt)の正確性と必要とされる動きオーバヘッドとのバランスがどのように取られるかである。正確な動きフィールドは、より良好な予測を暗示するが、しかしながら、必要とされる動きオーバヘッドが、予測正確性の利益をときには上回ることがある。そのため、例示的な実施形態においては、提案されるビデオエンコーダは、動き仮説の異なる数nの間で、適応的に切り換わることが可能であり、最適なレート-歪み性能を提供するn値は、それぞれのPU毎に見出される。ほとんどの最新のビデオ符号化規格においては、2つの動き仮説が一般的に使用されるので、一般化された多重仮説予測がどのように機能するかについての説明を容易にするために、以下のセクションにおいては、例として、n=2の値が選択されるが、nの他の値も、代替的に使用されることができる。例示的な実施形態の理解を簡単にするために、式f(●)は、恒等関数として扱われ、したがって、明示的には説明されない。f(●)が恒等関数ではないケースに対する、本明細書において開示されるシステムおよび方法の適用は、本開示に照らして、当業者には明らかである。
【0026】
一般化された双予測
一般化された双予測(GBi)という用語は、動き仮説の数が2に制限される、すなわち、n=2である、一般化された多重仮説予測の特別なケースを指すために、本明細書においては使用される。このケースにおいては、式(1)によって与えられる、サンプルxにおける予測信号は、
P[x]=w0*P0[x+v0]+w1*P1[x+v1] (2)
に簡略化されることができ、ここで、w0およびw1は、ブロック内のすべてのサンプルにわたって共用される、2つの重み値である。この式に基づいて、重み値w0およびw1を調整することによって、多種多様な予測信号が、生成されることができる。基準リストL0を用いる片予測については、(w0,w1)=(1,0)、基準リストL1を用いる片予測については、(w0,w1)=(0,1)、および2つの基準リストを用いる双予測については、(w0,w1)=(0.5,0.5)など、w0およびw1についてのいくつかの構成は、従来の片予測および双予測と同じ予測をもたらすことができる。(1,0)および(0,1)のケースにおいては、動き情報の一方のセットだけが、シグナリングされるが、その理由は、ゼロに等しい重み値と関連付けられた他方のセットは、予測信号P[x]に対していかなる効力も生じないからである。
【0027】
特に、高いレベルの精度における、w0およびw1の値における柔軟性は、高いシグナリングオーバヘッドというコストを招くことができる。シグナリングオーバヘッドを減じるために、いくつかの実施形態においては、w0+w1=1という、ユニットゲイン制約が、適用され、したがって、GBi符号化されたPUのために、ブロック当たりただ1つの重み値が、明示的に示される。重みシグナリングのオーバヘッドをさらに低減させるために、PUレベルの代わりに、CUレベルにおいて、重み値が、シグナリングされることができる。説明を容易にするために、本開示の説明においては、w1が、シグナリングされ、したがって、式(2)は、
P[x]=(1-w1)*P0[x+v0]+w1*P1[x+v1] (3)
のように、さらに簡略化されることができる。例示的な実施形態においては、シグナリングオーバヘッドをさらに制限するために、頻繁に使用される重み値は、(これ以降、WL1と呼ばれる)セット内に配置されることができ、そのため、各重み値は、それがWL1内においてどのエントリを占有するかを指し示す、制限された範囲内のインデックス値weight_idxによって示されることができる。
【0028】
例示的な実施形態においては、一般化された双予測は、2つの基準ブロックの加重平均の生成をサポートするために、追加のデコーディング負荷を導入しない。最新のビデオ規格のほとんど(例えば、AVC、HEVC)は、重み付けされた双予測をサポートするので、同じ予測モジュールが、GBi予測における使用のために、適合させられることができる。例示的な実施形態においては、一般化された双予測は、従来の片予測および双予測ばかりでなく、アフィン予測、高度な時間的動きベクトル導出、および双予測オプティカルフローなど、他の高度な時間的予測技法にも適用されることができる。これらの技法は、非常に低い動きオーバヘッドを用いて、より精細なユニット(例えば、4×4)において、動きフィールド表現を導出することを目指す。アフィン予測は、モデルベースの動きフィールド符号化方法であり、1つのPU内の各ユニットの動きは、モデルパラメータに基づいて、導出されることができる。高度な時間的動きベクトル導出は、時間的基準画像の動きフィールドから、各ユニットの動きを導出することを含む。双予測オプティカルフローは、オプティカルフローモデルを使用して、各ピクセルのための動き微調整を導出することを含む。ユニットのサイズが何であったとしても、ブロックレベルにおいて、重み値が、ひとたび指定されると、提案されるビデオコーデックは、これらの導出された動き、および与えられた重み値を使用して、ユニット毎に一般化された双予測を実行することができる。
【0029】
一般化された双予測を利用する、例示的なエンコーダおよびデコーダが、以下でより詳細に説明される。
【0030】
一般化された双予測のための例示的なエンコーダ
図5は、一般化された双予測を実行するように適合された、例示的なビデオエンコーダのブロック図である。図1に示されたビデオエンコーダに類似して、例示的なビデオエンコーダにおいても、空間的予測および時間的予測は、2つの基本的なピクセル領域予測モジュールである。空間的予測モジュールは、図1に示されたものと同じであることができる。図1において「動き予測」と命名された時間的予測モジュールは、一般化された双予測(GBi)モジュール502によって置換されることができる。一般化された双予測(GBi)モジュールは、加重平均の方法で、2つの別々の動き補償予測(MCP)信号を結合するように動作可能であることができる。図6に示されるように、GBiモジュールは、以下のように、最終的なインター予測信号を生成するためのプロセスを実装することができる。GBiモジュールは、現在のビデオブロックと双予測との間の重み付けされた双予測誤差を最小化する2つの基準ブロックを指し示す、2つの最適な動きベクトル(MV)を探索するために、基準画像において動き推定を実行することができる。GBiモジュールは、これら2つの予測ブロックを、それらの2つの最適なMVを用いた動き補償を通して、フェッチすることができる。GBiモジュールは、その後、2つの予測ブロックの加重平均として、一般化された双予測の予測信号を計算することができる。
【0031】
いくつかの実施形態においては、すべての利用可能な加重値が、単一のセット内において指定される。加重値は、それらが、PUレベルにおいて両方の基準リストのためにシグナリングされる場合、それは、それが双予測PU当たり2つの別々の加重値をシグナリングすることを意味し、多数のビットというコストがかかることができるので、ユニットゲイン制約(重み値の和が1に等しい)が、適用されることができる。この制約下においては、PU当たり一方の単一の重み値だけが、シグナリングされ、一方、他方のものは、シグナリングされた重み値を1から減算することから導出されることができる。説明を容易にするために、本開示においては、基準リストL1と関連付けられた重み値が、シグナリングされ、重み値のセットは、WL1によって表される。シグナリングオーバヘッドをさらに減じるために、重み値は、WL1内におけるエントリ位置を指し示すインデックス値weight_idxによって符号化される。WL1への適切な割り当てを用いて、(一方の基準リストについては0、他方のリストについては1に等しい重みを有する)従来の片予測、および(両方の基準リストについて0.5に等しい重み値を有する)従来の双予測の両方は、GBiのフレームワーク下において表されることができる。WL1={0,0.5,1}の特別なケースにおいては、GBiモジュールは、図1に示された動き予測モジュールと同じ機能性を達成することができる。
【0032】
{0,0.5,1}に加えて、WL1のための追加の重み値が、スライス、画像、またはシーケンスレベルにおいて指定されることができ、非負の整数extra_number_of_weightsは、それらの数を示し、そのため、GBiのフレームワーク内には、extra_number_of_weights+3個の別個の重みが、存在する。特に、例示的な実施形態においては、extra_number_of_weightsが、ゼロよりも大きいとき、これらの追加の重み値のうちの1つは、スライス、画像、またはシーケンスレベルにおいて存在する、フラグimplicit_weight_flagの制御に依存して、ブロック毎ベースで導出されることができる。このフラグが、1に等しく設定されたとき、この特定の重み値は、シグナリングされないが、図7に示されるように、(テンプレートと呼ばれる)直接的な逆L字近傍の一般化された双予測信号と、テンプレートの再構成信号との間の差を最小化することができるものを見つけることによって、導出されることができる。WL1の構築に関連する上述のプロセスは、重みセット構築モジュール504によって実行されることができる。
【0033】
L1内の追加の重み値を、ダイナミクスの高い照度変化を有する画像に適合させるために、2つのスケーリング係数(gbi_scaling_factors)が、画像レベルにおいて、適用され、シグナリングされることができる。それらを用いて、重みセット構築モジュールは、GBi予測のための追加の重みの値をスケーリングすることができる。(提案されるビデオエンコーダにおけるGBi予測である)インター予測、およびイントラ予測の後、元の信号が、この最終的な予測信号から減算されることができ、そのようにして、符号化のための結果の予測残差信号が、生成される。
【0034】
例示的な提案されるビデオエンコーダにおいては、ブロック動き(動きベクトルおよび基準画像インデックス)、ならびに重み値インデックスが、各インター符号化されたPU毎に示される、唯一のブロックレベル情報である。
【0035】
例示的な実施形態においては、GBi予測のブロック動き情報は、基礎となるビデオコーデックのそれと同じ方法で、符号化される。weight_idxが、0または1に等しい重みと関連付けられるときを除いて、すなわち、片予測と等価なケースを除いて、PU当たり動き情報の2つのセットが、シグナリングされる。
【0036】
例示的なビデオエンコーダにおいては、各PUのweight_idxを2進化するために、重みインデックス符号化モジュール506が、使用される。重みインデックス符号化モジュールの出力は、weight_idxの一意的な2進表現binary_weight_idxであることができる。例示的な2進化方式のツリー構造が、図8に示されている。従来のインター予測におけるように、binary_weight_idxの第1のビットは、インターPU毎に、片予測(0または1に等しい重み値と関連付けられた重みインデックス)、ならびに双予測(WL1内の0および1以外の重み値と関連付けられた重みインデックス)を区別することができる。片予測ブランチにおいては、L0基準リスト(0に等しい重み値と関連付けられた重みインデックス)、またはL1基準リスト(1に等しい重み値と関連付けられた重みインデックス)のどちらが、参照されるかを示すために、別のビットが、シグナリングされる。双予測ブランチにおいては、各リーフノードは、WL1内の残りの重み値、すなわち、0でも1でもない重み値のうちの1つと関連付けられた、一意的な重みインデックス値を割り当てられる。スライスまたは画像レベルにおいて、例示的なビデオエンコーダは、いくつかの予め定められた割り当て方式の間で適応的に切り換わることができ、または先行する符号化ブロックからの重み値の使用に基づいて、各重みをPU毎ベースで動的に一意的なリーフノードに割り当てることができる。一般に、頻繁に使用される重みインデックスは、双予測ブランチ内のルートに近いリーフノードに割り当てられ、一方、その他は、対照的に、ルートから遠いより深部のリーフノードに割り当てられる。図8におけるこの木を辿りながら、あらゆるweight_idxは、エントロピ符号化のために、一意的なbinary_weight_idxに変換されることができる。
【0037】
一般化された双予測のデコーディングフレームワーク
図9は、いくつかの実施形態における、ビデオデコーダのブロック図である。図9のデコーダは、図5に示されたビデオエンコーダによって生成されたビットストリームをデコードするように動作可能であることができる。符号化モードおよび予測情報は、空間的予測または一般化された双予測を使用して、予測信号を導出するために、使用されることができる。一般化された双予測のために、ブロック動き情報および重み値が、受信され、デコードされる。
【0038】
重みインデックスデコーディングモジュール902は、提案されるビデオエンコーダ内の重みインデックス符号化モジュール506によって符号化された、重みインデックスをデコードする。重みインデックスデコーディングモジュール902は、図8において指定されたものと同じツリー構造を再構築し、ツリー上の各リーフノードは、提案されるビデオエンコーダにおけるのと同じ方法で、一意的なweight_idxを割り当てられる。この方法においては、このツリーは、提案されるビデオエンコーダおよびデコーダの間で同期させられる。このツリーを辿りながら、あらゆる受信されたbinary_weight_idxは、それと関連付けられたweight_idxを、ツリー上のあるリーフノードにおいて見出すことができる。例示的なビデオデコーダは、図5のビデオエンコーダと同様に、重みセットWL1を構築するための重みセット構築モジュール904を含む。implicit_weight_flagが1に等しいとき、WL1内の追加の重み値のうちの1つは、明示的にシグナリングされる代わりに、導出されることができ、WL1内のすべての追加の重み値は、gbi_scaling_factorsによって示されるスケーリング係数を使用して、さらにスケーリングされることができる。その後、重み値の再構成が、WL1からweight_idxによって指し示されるものをフェッチすることによって、行われることができる。
【0039】
デコーダは、各ブロックにおける重み値の選択に応じて、動き情報の1つまたは2つのセットを受信することができる。再構成された重み値が、0でも1でもないときは、動き情報の2つのセットが、受信されることができ、それ以外は(それが0または1であるときは)、非ゼロの重みと関連付けられた動き情報の1つのセットだけが、受信される。例えば、重み値が0に等しい場合は、基準リストL0のための動き情報だけが、シグナリングされ、そうではなく、重み値が1に等しい場合は、基準リストL1のための動き情報だけが、シグナリングされる。
【0040】
ブロック動き情報および重み値を用いて、図10に示される一般化された双予測モジュール1050は、一般化された双予測の予測信号を、2つの動き補償予測ブロックの加重平均として、計算するように動作することができる。
【0041】
再構成されたビデオブロック信号を取得するために、符号化モードに応じて、空間的予測信号または一般化された双予測信号が、再構成された残差信号と合算されることができる。
【0042】
重みセットの構築
明示的にシグナリングされた重み、デコーダ側で導出された重み、およびスケーリングされた重みを使用する、重みセットWL1の例示的な構築プロセスが、重みセットWL1のサイズをコンパクトにするための例示的な削減プロセスとともに、以下で説明される。
【0043】
明示的な重み値
明示的な重み値は、シーケンス、画像、およびスライスレベルの各々において、シグナリングされ、階層的に管理されることができる。より低いレベルにおいて指定された重みは、より高いレベルにおけるそれらを置換することができる。より高いレベルにおける明示的な重みの数がpであり、相対的により低いレベルにおけるそれがqであると仮定すると、より低いレベルにおいて重み値リストを構築するときに、置換のための以下のルールが、適用されることができる。
● p>qであるとき、より高いレベルにおける最後のq個の重みが、より低いレベルにおけるq個の重みによって置換される。
● p≦qであるとき、より高いレベルにおけるすべての重みが、より低いレベルにおいて指定されたそれらによって置換される。
【0044】
明示的な重み値の数は、シーケンス、画像、およびスライスレベルの各々において、extra_number_of_weightsによって示されることができる。いくつかの実施形態においては、スライスレベルにおいて、基本重みセットは、GBiが従来の片予測および双予測をサポートするために、{0,0.5,1}を形成する3つのデフォルト値を常に含み、そのため、ブロック毎に、合計で、(extra_number_of_weights+3)個の重みが、使用されることができる。例えば、シーケンス、画像、およびスライスレベルにおいて存在するextra_number_of_weightsの値が、それぞれ、2(例えば、wA、wB)、1(例えば、wC)、および3(例えば、wD、wE、wF)であるとき、シーケンス、画像、およびスライスレベルにおける利用可能な重み値は、それぞれ、{wA,wB}、{wA,wC}、および{0,0.5,1}∪{wD,wE,wF}である。この例においては、セクション「一般化された双予測」において言及されたWL1は、スライスレベルの重みセットである。
【0045】
暗黙的な重み値の導出プロセス
いくつかの実施形態においては、スライスレベルの重みセットWL1内の重み値は、シグナリングを用いずに、エンコーダおよびデコーダの両方において、テンプレートマッチングを通して導出される。図7に示されるように、この暗黙的な重み値は、現在ブロックの動き情報を有するテンプレートの予測信号(T0およびT1)と、テンプレートの再構成信号(すなわち、TC)との間の差を最小化することによって、導出されることができる。この問題は、
* = argminwΣX(TC[x]-(1-w)*T0[x+v0]-w*T1[x+v1])2 (4)
として定式化されることができ、ここで、v0およびv1は、現在ブロックの動きベクトルである。式(4)は、2次関数であるので、T0およびT1が、正確に同じでない場合、導出される重みの閉形式表現が、獲得されることができ、すなわち、
【0046】
【数2】
【0047】
となる。
【0048】
この方法の有効性は、現在ブロックの信号の重み値が、関連付けられたテンプレート予測信号のそれと相関させられるときに、見ることができるが、しかしながら、これは、常に保証されるとは限らず、現在ブロック内のピクセル、およびそれの関連付けられたテンプレートが、異なる動きオブジェクト内に配置されるときは、特にそうである。GBiの予測性能を最大化するために、extra_number_of_weights≧1であるとき、暗黙的な重みが使用されるかどうかを決定するために、フラグimplicit_weight_flagが、スライス、画像、またはシーケンスレベルにおいて、シグナリングされることができる。これが、ひとたび1に等しく設定されると、WL1内の最後のスライスレベルの重み値は、導出され、したがって、シグナリングされる必要はない。例えば、上のセクション「明示的な重み値」において上述されたwFは、シグナリングされる必要がなく、implicit_weight_flagが1に等しいときは、ブロックのための重みは、暗黙的に導出されることができる。
【0049】
重み値のスケーリングプロセス
いくつかの実施形態においては、明示的な重み値は、画像レベルにおいて示された2つのスケーリング係数gbi_scaling_factorsを使用することによって、さらにスケーリングされることができる。画像内における経時的なダイナミクスが高い可能な照度変化が原因で、これらの重み値のダイナミックレンジは、これらすべてのケースをカバーするには十分でないことがある。重み付けされた双予測は、画像間の照度差を補償することができるが、基礎となるビデオコーデックにおいてそれが可能にされると常に保証されるとは限らない。そのため、これらのスケーリング係数は、重み付けされた双予測が使用されないときに、複数の基準画像にわたる照度差を調節するために、使用されることができる。
【0050】
第1のスケーリング係数は、WL1内の各明示的な重み値を増大させることができる。これを用いると、式(3)におけるGBiの予測関数は、
【0051】
【数3】
【0052】
のように表現されることができ、ここで、αは、現在画像の第1のスケーリング係数であり、w1’は、スケーリングされた重み値(すなわち、α*(w1-0.5)+0.5)を表す。式(6)の第1の式は、式(3)と同じ形式で表現されることができる。唯一の違いは、式(6)および式(3)に適用される重み値である。
【0053】
第2のスケーリング係数は、P0およびP1の関連付けられた基準画像間の照度に関する差を低減させるために、使用されることができる。このスケーリング係数を用いると、式(6)は、
【0054】
【数4】
【0055】
のようにさらに再定式化されることができ、ここで、s、s0、およびs1は、それぞれ、現在画像、およびそれの2つの基準画像における、シグナリングされた第2のスケーリング係数を表す。式(7)によれば、変数sに対する1つの最適な割り当ては、現在画像におけるサンプルの平均値であることができる。したがって、基準画像の平均値は、第2のスケーリング係数が適用された後は、同様であることが予想されることができる。可換性のために、スケーリング係数をP0およびP1に適用することは、それらを重み値に適用することと同じであり、したがって、式(7)は、
【0056】
【数5】
【0057】
のように再解釈されることができる。
【0058】
したがって、重みセットの構築プロセスは、明示的な重み、暗黙的な重み、スケーリング係数、および基準画像の関数として表現されることができる。例えば、上述のスライスレベルの重みセットWL1は、{0,0.5,1}∪{(s/s1)*wD’,(s/s1)*wE’,(s/s1)*wF’}になり、L0のための重みセットは、{1,0.5,1}∪{(s/s0)*(1-wD’),(s/s0)*(1-wE’),(s/s0)*(1-wF’)}になり、ここで、s1は、現在ブロックのためのリストL1内の基準画像の平均サンプル値であり、s0は、現在ブロックのためのリストL0内の基準画像の平均サンプル値である。
【0059】
重み値の削減
例示的な実施形態は、WL1内の重み値の数をさらに低減させるように動作する。重み値を削減するための2つの例示的な手法が、以下で詳細に説明される。第1の手法は、動き補償予測結果に応答して、動作し、第2の手法は、0から1までの間の範囲の外の重み値に基づいて、動作する。
【0060】
予測ベースの手法。PUの動き情報が、与えられたとき、すべての重みが、実質的に他と異なる双予測を生成するわけではない。例示的な実施形態は、(類似した双予測信号を生成する)冗長な重み値を削減し、冗長な値の中からただ1つの重みを維持して、WL1をよりコンパクトにすることによって、この特性を利用する。そうするために、2つの異なる重み値の双予測信号の間の類似度を計算する関数が、使用されることができる。この関数は、コサイン類似度関数であることができるが、それに限定されず、以下のように動作し、
【0061】
【数6】
【0062】
ここで、w(i)およびw(j)は、WL1内の2つの独立した重み値であり、v0およびv1は、与えられた双予測動き情報であり、Ρ[x;w,v0,v1]は、与えられたw、v0、およびv1を用いる、式(3)、(6)、および(8)において示されたのと同じ予測関数を表す。式(9)の値が、(スライスレベルにおいて、weight_pruning_thresholdによって示される)与えられた閾値を下回るとき、重みのうちの1つが、このスライスレベルのシンタックスpruning_smaller_weight_flagに応じて、削減され得る。このフラグが1に等しく設定された場合、削減プロセスは、WL1からw(i)およびw(j)のうちの小さい方の重みを除去する。それ以外の場合は(このフラグが0に等しく設定されたときは)、大きい方が、除去される。例示的な実施形態においては、この削減プロセスは、WL1内の重み値の各ペアに適用され、結果として、結果のWL1内のどの2つの重み値も、類似した双予測信号を生成しない。2つの重み値間の類似度は、変換された差の絶対値の和(sum of absolute transformed differences)(SATD)を使用することによって、評価されることもできる。計算の複雑度を低減させるために、この類似度は、2つのサブサンプリングされた予測ブロックを使用して、評価されることができる。例えば、それは、水平および垂直方向の両方において、サンプルのサブサンプリングされた行またはサブサンプリングされた列を用いて、計算されることができる。
【0063】
重み値ベースの手法。0から1までの間の範囲の外の重み値(または、略して、範囲外重み)は、異なる符号化構造(例えば、階層的構造または低遅延構造)下における符号化性能に関して、異なる挙動を示すことができる。この事実を利用して、例示的な実施形態は、時間的レイヤ毎に別々に、範囲外重みの使用を制限するために、シーケンスレベルのインデックスweight_control_idxのセットを利用する。そのような実施形態においては、各weight_control_idxは、特定の時間的レイヤにおいて、すべての画像と関連付けられる。このインデックスがどのように構成されるかに応じて、範囲外重みは、以下のように条件別に、使用するために利用可能であることができ、または削減されることができる。
● weight_control_idx=0の場合、WL1は、関連付けられた画像について無変化のままである。
● weight_control_idx=1の場合、WL1内の範囲外重みは、関連付けられた画像に対して利用可能ではない。
● weight_control_idx=2の場合、WL1内の範囲外重みは、それの基準フレームが純粋に過去に由来する(例えば、HEVCおよびJEMにおける低遅延構成)、関連付けられた画像のいくつかに対して利用可能である。
● weight_control_idx=3の場合、WL1内の範囲外重みは、HEVCおよびJEMにおけるスライスレベルのフラグmvd_ll_zero_flagが有効であるときに限って、関連付けられた画像に対して利用可能である。
【0064】
重みインデックス符号化
重みインデックス符号化のための2進化および符号語割り当てのための例示的なシステムおよび方法が、以下でより詳細に説明される。
【0065】
重みインデックス符号化のための2進化プロセス
例示的な実施形態においては、各重みインデックス(weight_idx)は、エントロピ符号化の前に、システマティック符号を通して、一意的な2進表現(binary_weight_idx)に変換される。説明の目的で、提案される2進化方法のツリー構造が、図8に示されている。binary_weight_idxの第1のビットは、(0または1に等しい重みと関連付けられた)片予測と、双予測とを区別するために使用される。片予測ブランチにおいては、別のビットが、2つの基準リスト、すなわち、(0に等しい重み値を指し示す重みインデックスと関連付けられた)基準リストL0、または(1に等しい重み値を指し示す重みインデックスと関連付けられた)基準リストL1のうちのどちらが参照されるかを示すために、シグナリングされる。双予測ブランチにおいては、各リーフノードは、WL1内の残りの重み値、すなわち、0でも1でもない重み値のうちの1つと関連付けられた、一意的な重みインデックス値を割り当てられる。例示的なビデオコーデックは、切断単進符号(truncated unary code)(例えば、図8)、および指数ゴロム符号(Exponential-Golomb code)など、双予測ブランチを2進化するための、多様なシステマティック符号をサポートする。双予測ブランチ内の各リーフノードが一意的なweight_idxを割り当てられる、例示的な技法が、以下でより詳細に説明される。このツリー構造を調べることを通して、各重みインデックスは、一意的な符号語(例えば、binary_weight_idx)にマッピングされることができ、またはそれから回復されることができる。
【0066】
重みインデックス符号化のための適応的符号語割り当て
例示的な2進ツリー構造においては、各リーフノードは、1つの符号語に対応する。重みインデックスのシグナリングオーバヘッドを低減させるために、様々な適応的符号語割り当て方法が、双予測ブランチ内の各リーフノードを、一意的な重みインデックスにマッピングするために、使用されることができる。例示的な方法は、予め定められた符号語割り当て、ブロック適応的符号語割り当て、時間的レイヤベースの符号語割り当て、および時間遅延CTU適応的符号語割り当てを含む。これらの例示的な方法は、先に符号化されたブロックにおいて使用された重み値の発生に基づいて、双予測ブランチにおける符号語割り当てを更新する。頻繁に使用される重みは、より短い長さの符号語(すなわち、双予測ブランチにおけるより浅いリーフノード)に割り当てられることができ、一方、それ以外は、相対的により長い長さの符号語に割り当てられることができる。
【0067】
1)予め定められた符号語割り当て。予め定められた符号語割り当てを使用して、双予測ブランチ内のリーフノードに対して、一定の符号語割り当てが、提供されることができる。この方法においては、0.5の重みと関連付けられた重みインデックスは、最も短い符号語、すなわち、例えば、図8におけるノードiを割り当てられる。0.5以外の重み値は、2つのセットに分けられることができ、セット1は、0.5よりも大きいすべての値を含み、それは、昇順に順序付けられ、セット2は、0.5よりも小さいすべての値を含み、それは、降順に順序付けられる。その後、これら2つのセットは、インターリーブされて、セット1またはセット2から開始する、セット3を形成する。長さが短いものから長いものへと並んだ残りのすべての符号語は、セット3内の重み値に順番に割り当てられる。例えば、双予測ブランチ内のすべての可能な重み値からなるセットが、{0.1,0.3,0.5,0.7,0.9}であるとき、セット1は、{0.7,0.9}であり、セット2は、{0.3,0.1}であり、セット3は、インターリービングがセット1から開始する場合は、{0.7,0.3,0.9,0.1}である。長さが短いものから長いものへと並んだ符号語は、順番に、0.5、0.7、0.3、0.9、および0.1に割り当てられる。
【0068】
この割り当ては、動き情報の2つのセットが送信されたとき、あるコーデックが1つの動きベクトル差を落すことができる環境において、変化することができる。例えば、この挙動は、HEVCにおいては、スライスレベルのフラグmvd_ll_zero_flagから、見出されることができる。このケースにおいては、代替的な符号語割り当ては、0.5よりも大きく、かつ最も近い、重み値(例えば、w+)と関連付けられた重みインデックスに割り当てる。その後、w+よりも大きい(または小さい)もののうちでn番目に小さい(または大きい)ものである重み値と関連付けられた重みインデックスは、(2n+1)番目(または2n番目)に短い符号語を割り当てられる。先の例に基づくと、長さが短いものから長いものへと並んだ符号語は、順番に、0.7、0.5、0.9、0.3、および0.1に割り当てられる。両方の例の結果の割り当てが、図11A図11Bに示されている。
【0069】
2)因果関係のある近隣重み(causal-neighboring weight)を使用する、ブロック適応的符号語割り当て。因果関係のある近隣ブロックにおいて使用される重み値は、現在ブロックのために使用されるものと相関させられることができる。この知識、および与えられた符号語割り当て方法(例えば、一定割り当て、または代替的割り当て)に基づいて、因果関係のある近隣ブロックから見出されることができる重みインデックスは、より短い符号語長を有する、双予測ブランチ内のリーフノードに奨励される。動きベクトル予測リストの構築プロセスに類似して、因果関係のある近隣ブロックは、図12Aに示されるような順序付けられた順番で、アクセスされることができ、たかだか2つの重みインデックスが、奨励されることができる。図から分かるように、左下ブロックから左ブロックに向かって、最初の利用可能な重みインデックスは(存在すれば)、最も短い符号語長を奨励されることができ、右上ブロックから左上ブロックに向かって、最初の利用可能な重みインデックスは(存在すれば)、2番目に短い符号語長を奨励されることができる。他の重みインデックスについては、それらは、残りのリーフノードに、最初に与えられた割り当てにおけるそれらの符号語長に従って、最も浅いものから最も深いものに向かって、割り当てられることができる。図12Bは、与えられた符号語割り当てが、自らを因果関係のある近隣重みに対してどのように適合させることができるかを示す、例を与える。この例においては、一定割り当てが、使用され、0.3および0.9に等しい重み値が、奨励される。
【0070】
3)時間的レイヤベースの符号語割り当て。時間的レイヤベースの符号語割り当てを使用する例示的な方法においては、提案されるビデオエンコーダは、一定符号語割り当てと代替的符号語割り当てとの間で適応的に切り換わる。同じ時間的レイヤにおいて、または同じQP値を用いて、先に符号化された画像からの重みインデックスの使用に基づいて、最小の予想される符号語長の重みインデックスを用いる、最適な符号語割り当て方法は、以下のように見出されることができ、
【0071】
【数7】
【0072】
ここで、Lm(w)は、ある符号語割り当て方法mを使用したwの符号語長を表し、WL1 Biは、双予測だけのために使用される重み値セットであり、Probk(w)は、時間的レイヤにおけるk個の画像にわたるwの累積確率を表す。最良の符号語割り当て方法が、ひとたび決定されると、それは、現在画像についての重みインデックスのエンコーディング、または2進重みインデックスの解析に対して、適用されることができる。
【0073】
時間的画像にわたって重みインデックスの使用を蓄積するための、いくつかの異なる方法が、企図される。例示的な方法は、共通の式で定式化されることができ、
【0074】
【数8】
【0075】
ここで、wiは、WL1内のある重みであり、Countj(w)は、時間的レイヤの第jの画像における、ある重み値の発生を表し、nは、記憶される最近の画像の数を決定し、λは、忘却項(forgetting term)である。nおよびλは、エンコーダ限定のパラメータであり、それらは、各画像において、シーン変化に対するn=0、動きビデオに対するより小さいλなど、様々なエンコーディング条件に自らを適合させることができる。
【0076】
いくつかの実施形態においては、符号語割り当て方法の選択は、スライスレベルのシンタックス要素を使用して、明示的に示されることができる。そのため、デコーダは、経時的に重みインデックスの使用を維持する必要がなく、したがって、時間的画像にわたる重みインデックスに対する解析依存性は、完全に回避されることができる。そのような方法は、デコーディングロバスト性も改善する。
【0077】
4)CTU適応的符号語割り当て。先に符号化された画像の重み使用だけに基づいた、符号語割り当てのための異なる方法間の切り換えは、現在画像のそれと常によく合致するとは限らないことがある。これは、現在画像の重み使用に対する考慮の欠如に起因することができる。CTU適応的符号語割り当てを使用する例示的な実施形態においては、Probk(wi)は、現在のCTU行および直上のCTU行内における符号化されたブロックの重み使用に基づいて、更新されることができる。現在画像が、時間的レイヤ内における第(k+1)の画像であると仮定すると、Probk(wi)は、以下のように、CTU毎に更新されることができ、
【0078】
【数9】
【0079】
ここで、Bは、現在のCTU行および直上のCTU行における、符号化されたCTUのセットを表し、Count’j(w)は、セットBにおいて収集された、第jのCTUにおける、ある重み値の発生を表す。Probk(wi)が、ひとたび更新されると、それは、式(10)に適用され、したがって、最良の符号語割り当て方法が、決定されることができる。
【0080】
高度な時間的予測技法への拡張
一般化された双予測の適用を拡張して、局所的な照度補償、重み付けされた双予測、マージモード、双予測オプティカルフロー、アフィン動き予測、重ね合わされたブロック動き補償、およびフレームレートアップコンバージョン双予測を含む、他の符号化技術と一緒に用いるための実施形態が、以下で説明される。
【0081】
局所的な照度補償および重み付けされた双予測
例示的な一般化された双予測技法は、他の技法の中でもとりわけ、局所的な照度補償(IC)、および/または重み付けされた双予測の上で実行されることができる。ICおよび重み付けされた双予測の両方は、基準ブロック上における照度変化を補償するように動作する。それらの間の1つの相違は、ICの使用においては、重み(c0およびc1)ならびにオフセット値(o0およびo1)は、ブロック毎のテンプレートマッチングを通して導出され、一方、重み付けされた双予測の使用においては、これらのパラメータは、スライス毎に明示的にシグナリングされることである。これらのパラメータ(c0、c1、o0、o1)を用いると、GBiの予測信号は、
【0082】
【数10】
【0083】
のように計算されることができ、ここで、上述のセクション「重み値のスケーリングプロセス」において説明された、重み値のスケーリングプロセスが、適用される。このスケーリングプロセスが、適用されないとき、GBiの予測信号は、
P[x]=(1-w1)*(c0*P0[x+v0]+o0)+w1*(c1*P1[x+v1]+o1) (14)
のように計算されることができる。
【0084】
例えば、式(13)または式(14)において説明される、これらの組み合わされた予測プロセスの使用は、シーケンスレベル、画像レベル、またはスライスレベルにおいて、シグナリングされることができる。シグナリングは、GBiおよびICの組み合わせ用と、GBiおよび重み付けされた双予測の組み合わせ用とで、別々に行われることができる。いくつかの実施形態においては、式(13)または式(14)の組み合わされた予測プロセスは、重み値(w1)が、0、0.5、または1に等しくないときだけ、適用される。特に、組み合わされた予測プロセスの使用が、アクティブであるとき、(ICの使用を示すために使用される)ブロックレベルのICフラグの値は、(w1≠0,0.5,1を用いる)GBiがICと組み合わされるかどうかを決定する。そうではなく、組み合わされた予測プロセスが、使用されていないとき、(w1≠0,0.5,1を用いる)GBiおよびICは、2つの独立した予測モードを実行し、ブロック毎に、このブロックレベルのICフラグは、シグナリングされる必要はなく、したがって、ゼロであると推測される。
【0085】
いくつかの実施形態においては、GBiが、ICと組み合わされることができるか、それとも重み付けされた双予測と組み合わされることができるかは、gbi_ic_comb_flagおよびgbi_wb_comb_flagなどのフラグを使用する、高レベルのシンタックスを用いて、シーケンスパラメータセット(SPS)、画像パラメータセット(PPS)、またはスライスヘッダにおいて、別々にシグナリングされる。いくつかの実施形態においては、gbi_ic_comb_flagが0に等しい場合、GBiおよびICは、組み合わされず、したがって、GBi重み値(w1≠0,0.5,1)およびICフラグは、いずれの双予測符号化ユニットについても、共存しない。例えば、いくつかの実施形態においては、符号化ユニットのために、w1≠0、0.5、1であるGBi重みが、シグナリングされる場合、シグナリングされるICフラグは、存在せず、このフラグの値は、ゼロと推測され、それ以外の場合、ICフラグは、明示的にシグナリングされる。いくつかの実施形態においては、gbi_ic_comb_flagが、1に等しい場合、GBiおよびICは、組み合わされ、1つの符号化ユニットのために、GBi重みおよびICフラグの両方が、独立してシグナリングされる。同じセマンティクスが、gbi_wb_comb_flagに適用されることができる。
【0086】
マージモード
いくつかの実施形態においては、因果関係のある近隣ブロックからの動き情報ばかりではなく、同じ時間におけるそのブロックの重みインデックスも推測するために、マージモードが、使用される。(図13に示されるような)因果関係のある近隣ブロックに対するアクセス順序は、HEVCにおいて指定されたものと同じであることができ、空間的ブロックは、左、上、右上、左下、および右上ブロックの順序でアクセスされ、一方、時間的ブロックは、右下、および中央ブロックの順序でアクセスされる。いくつかの実施形態においては、空間的ブロックから最大で4つ、時間的ブロックから最大で1つ、最大で5つのマージ候補が、構築される。マージ候補を与えられると、式(3)、式(8)、式(13)、または式(14)において指定されたGBi予測プロセスが、適用されることができる。重みインデックスは、選択されたマージ候補の重み情報から推測されるので、それは、シグナリングされる必要がないことに留意されたい。
【0087】
JEMプラットフォームにおいては、高度時間的動きベクトル予測(advanced temporal motion vector prediction)(ATMVP)と呼ばれる追加のマージモードが、提供される。本開示のいくつかの実施形態においては、ATMVPは、GBi予測と組み合わされる。ATMVPにおいては、1つのCU内の各4×4ユニットの動き情報は、時間的基準画像の動きフィールドから導出される。ATMVPを使用する例示的な実施形態においては、GBi予測モードが有効であるとき(例えば、extra_number_of_weightsが0よりも大きいとき)、各4×4ユニットのための重みインデックスも、時間的基準画像内の対応する時間的ブロックのそれから推測されることができる。
【0088】
双予測オプティカルフロー
いくつかの実施形態においては、GBiの重み値は、双予測オプティカルフロー(BIO)モデルに適用されることができる。動き補償予測信号(P0[x+v0]およびP1[x+v1])に基づいて、BIOは、L0およびL1内の2つの対応するサンプル間の差を、それらの空間的垂直および水平勾配値に関して、低減させるために、オフセット値OBIO[x]を推定することができる。このオフセット値をGBi予測と組み合わせるために、式(3)は、
P[x]=(1-w1)*P0[x+v0]+w1*P1[x+v1]+oBIO[x] (15)
のように、再定式化されることができ、ここで、w1は、GBi予測を実行するために使用される重み値である。このオフセット値も、式(8)、式(13)、または式(14)のように、P0およびP1内の予測信号がスケーリングされた後、加算的オフセットとして、他のGBi変動に適用されることができる。
【0089】
アフィン予測
例示的な実施形態においては、GBi予測は、従来の双予測に対する拡張に類似した方式で、アフィン予測と組み合わされることができる。しかしながら、動き補償を実行するために使用される基本処理ユニットに、相違が存在する。アフィン予測は、PUの微細粒度の動きフィールド表現を形成するための、モデルベースの動きフィールド導出技法であり、各4×4ユニットの動きフィールド表現が、片予測または双予測変換動きベクトル、および与えられたモデルパラメータに基づいて導出される。すべての動きベクトルは、同じ基準画像を指し示すので、重み値を4×4ユニットの各々に適合させる必要はない。そのため、重み値は、各ユニットにわたって共用されることができ、PU当たりただ1つの重みインデックスが、シグナリングされることができる。4×4ユニットにおける動きベクトル、および重み値を用いて、GBiは、ユニット毎ベースで実行されることができ、そのため、同じ式(3)、式(8)、式(13)、および式(14)が、変更なしに、直接的に適用されることができる。
【0090】
重ね合わされたブロック動き補償
重ね合わされたブロック動き補償(OBMC)は、サンプル自らの動きベクトル、およびそれの因果関係のある近隣におけるそれらから導出された、動き補償信号に基づいて、このサンプルの強度値の予測を提供するための方法である。GBiの例示的な実施形態においては、OBMCのための動き補償においては、重み値も、考慮されることができる。例が、図14において示されており、現在ブロック内のサブブロックB1は、3つの動き補償予測ブロックを有し、それらの各々は、ブロックN1、N5、またはB1自体からの動き情報および重み値を使用することによって形成され、B1の結果の予測信号は、3つの加重平均であることができる。
【0091】
フレームレートアップコンバージョン双予測
いくつかの実施形態においては、GBiは、フレームレートアップコンバージョン(FRUC)と一緒に動作することができる。FRUCのために、2つの異なるモードが、使用されることができる。現在画像が、L0内の第1の基準画像とL1内の第1の基準画像との間に収まる場合、双予測モードが、使用されることができる。L0内の第1の基準画像およびL1内の第1の基準画像が、ともに、前方基準画像または後方基準画像である場合、片予測モードが、使用されることができる。FRUCにおける双予測ケースが、以下で詳細に説明される。JEMにおいては、FRUC双予測のために、等しい重み(すなわち、0.5)が、使用される。FRUC双予測における2つの予測因子の品質は、異なることができるが、等しい重みを使用して、等しくない予測品質を有する2つの予測因子を結合することは、準最適であることができる。GBiの使用は、等しくない重みの使用が原因で、最終的な双予測品質を改善することができる。例示的な実施形態においては、GBiの重み値は、FRUC双予測を用いて符号化されたブロックについて導出され、したがって、シグナリングされる必要はない。WL1内の各重み値は、FRUC双予測のMV導出プロセスを用いて、PU内の4×4サブブロックの各々について、独立に評価される。4×4ブロックについて、(2つの基準リストと関連付けられた2つの片予測動き補償予測因子間の絶対差の和である)最小バイラテラルマッチング誤差(minimal bilateral matching error)をもたらす重み値が、選択される。
【0092】
例示的な実施形態においては、FRUC双予測は、双予測マッチングを使用することによってMVを導出する、デコーダ側のMV導出技法である。PU毎に、因果関係のある近隣ブロックから収集された候補MVのリストが、形成される。一定の動きという仮定の下で、各候補MVは、他方の基準リスト内の第1の基準画像上に線形に投影され、投影のためのスケーリング係数は、(例えば、時間t0またはt1における)基準画像と、現在画像(tc)との間の時間距離に比例するように設定される。v0が、基準リストL0と関連付けられた候補MVである例として、図15を取ると、v1は、v0*(t1-tc)/(t0-tc)として計算される。したがって、バイラテラルマッチング誤差が、各候補MVのために、まだ計算されることができ、最小バイラテラルマッチング誤差に到達する最初のMVが、候補リストから選択される。この最初のMVをv0 INITと表す。v0 INITが指し示す最初のMVから開始して、予め定められた探索範囲内においてMVを見つけるために、デコーダ側の動き推定が、実行され、最小バイラテラルマッチング誤差に到達するMVが、PUレベルのMVとして選択される。v1が投影されたMVであると仮定すると、最適化プロセスは、
【0093】
【数11】
【0094】
のように定式化されることができる。FRUC双予測が、GBiと組み合わされるとき、式(16)における探索プロセスは、WL1内の重み値wを用いて、再定式化され、すなわち、
【0095】
【数12】
【0096】
となる。このPUレベルv0は、式(17)におけるのと同じバイラテラルマッチングを使用して、式(18)に示されるように、PU内の4×4サブブロック毎に、独立してさらに精緻化されることができる。
【0097】
【数13】
【0098】
L1内の利用可能な重み値毎に、式(18)は、評価されることができ、バイラテラルマッチング誤差を最小化する重み値が、最適な重みとして選択される。評価プロセスの終りに、PU内の各4×4サブブロックは、一般化された双予測を実行するための、それ自体の双予測MVおよび重み値を有する。そのような網羅的な探索方法の複雑度は、重みおよび動きベクトルが、共同方式で探索されるので、高くなることがある。別の実施形態においては、最適な動きベクトルおよび最適な重みを探すための探索は、2つのステップで行われることができる。第1のステップにおいて、4×4ブロック毎の動きベクトルが、wを初期値に、例えば、w=0.5に設定することによって、式(18)を使用して獲得されることができる。第2のステップにおいて、最適な動きベクトルを所与として、最適な重みが、探索されることができる。
【0099】
また別の実施形態においては、動き探索の正確性を改善するために、3つのステップが、適用されることができる。第1のステップにおいて、初期重みが、初期動きベクトルv0 INITを使用して、探索される。この初期最適重みをwINITと表す。第2のステップにおいて、4×4ブロック毎の動きベクトルが、wをwINITに設定することによって、式(18)を使用して獲得されることができる。第3のステップにおいて、最適な動きベクトルを所与として、最終的な最適重みが、探索されることができる。
【0100】
式(17)および式(18)から、目標は、2つの基準リストとそれぞれ関連付けられた2つの重み付けされた予測因子間の差を最小化することである。負の重みは、この目的にとっては、適切でないことがある。一実施形態においては、FRUCベースのGBiモードは、ゼロよりも大きい重み値を評価するだけである。複雑度を低減させるために、絶対差の和の計算は、各サブブロック内の部分的なサンプルを使用して、実行されることができる。例えば、絶対差の和は、偶数番目の行および列(またはあるいは、奇数番目の行および列)に配置されたサンプルだけを使用して、計算されることができる。
【0101】
GBi予測探索戦略
双予測探索のための初期基準リスト
双予測の動き推定(ME)ステージにおいて、2つの基準リストのうちのどちらが最初に探索されるべきかを決定することによって、GBiの予測性能を改善するための方法が、以下で説明される。従来の双予測と同様に、MEステージコスト、すなわち、
Cost(ti,Uj)=Σx|I[x]-P[x]|+λ*Bits(ti,uj,重みインデックス) (19)
を最小化するために決定される、それぞれ基準リストL0および基準リストL1と関連付けられた、2つの動きベクトルが、存在し、ここで、I[x]は、現在画像内のxに配置されたサンプルxの元の信号であり、P[x]は、GBiの予測信号であり、tiおよびujは、それぞれ、L0内の第iの基準画像およびL1内の第jの基準画像を指し示す、動きベクトルであり、λは、MEステージにおいて使用されるラグランジュパラメータであり、Bits(●)関数は、入力変数をエンコードするためのビットの数を推定する。式(3)、式(8)、式(13)、および式(14)の各々は、式(19)におけるP[x]を置換するために、適用されることができる。説明を簡潔にするために、以下のプロセスのための例として、式(3)について考察する。したがって、式(19)におけるコスト関数は、
Cost(ti,uj)=Σx|I[x]-(1-w1)*P0[x+ti]-w1*P1[x+uj]|+λ*Bits(ti,uj,重みインデックス) (20)
のように書き直されることができる。
【0102】
決定される2つのパラメータ(tiおよびuj)が、存在するので、反復手順が、利用されることができる。第1のそのような手順は、以下のように進行することができる。
1.{uj|∀j}における最良の動きを用いて、ti,∀iを最適化する。
2.{ti|∀i}における最良の動きを用いて、uj,∀jを最適化する。
3.tiおよびujが変更されなくなるまで、または反復の最大数に到達するまで、ステップ1およびステップ2を繰り返す。
【0103】
第2の例示的な反復手順は、以下のように進行することができる。
1.{ti|∀i}における最良の動きを用いて、uj,∀jを最適化する。
2.{uj|∀j}における最良の動きを用いて、ti,∀iを最適化する。
3.ujおよびtiが変更されなくなるまで、または反復の最大数に到達するまで、ステップ1およびステップ2を繰り返す。
【0104】
どちらの反復手順が選択されるかは、tiおよびujのMEステージコストにのみ依存することができ、すなわち、
【0105】
【数14】
【0106】
であり、ここで、MEステージコスト関数は、以下であることができる。
Cost(ti)=Σx|I[x]-P0[x+ti]|+λ*Bits(ti) (22)
Cost(uj)=Σx|I[x]-P1[x+uj]|+λ*Bits(uj) (23)
しかしながら、この初期化プロセスは、1-w1およびw1が等しくないケースにおいては、最適でないことがある。重み値の一方が、0にきわめて近い、例えば、w1=limw→0wであり、それの関連付けられた動きのMEステージコストが、他方よりもたまたま低い、典型的な例。このケースにおいては、式(20)は、
Cost(ti,uj)=Σx|I[x]-P0[x+ti]|+λ*Bits(ti,uj,重みインデックス) (24)
に退化する。ujのための費やされるオーバヘッドは、予測信号に何の貢献もせず、GBiについての貧弱な探索結果をもたらす。本開示においては、式(21)の代わりに、重み値の大きさが、使用され、すなわち、
【0107】
【数15】
【0108】
である。
【0109】
重みインデックスのための2分探索
評価される重み値の数は、追加の複雑度をエンコーダに導入することができるので、例示的な実施形態は、2分探索法を利用して、エンコーディングの初期ステージにおいて、可能性の低い重み値を削減する。1つのそのような探索方法においては、(0および1の重みと関連付けられた)従来の片予測、ならびに(0.5の重みと関連付けられた)双予測が、まさに開始時に実行され、WL1内の重み値は、4つのグループ、すなわち、A=[wmin,0]、B=[0,0.5]、C=[0.5,1]、およびD=[1,wmax]に分類されることができる。wminおよびwmaxは、それぞれ、WL1内の最小の重み値および最大の重み値を表し、一般性を失うことなく、wmin<0、およびwmax>1であることが、仮定される。可能性のある重み値の範囲を決定するために、以下のルールが、適用されることができる。
● w=0が、w=1よりも良いMEステージコストを与える場合、以下のルールが、適用される。
○ w=0.5が、w=0およびw=1よりも良いMEステージコストを与える場合、B内の重み値に基づいて、重みセットW(0)が、形成される。
○ それ以外の場合、A内の重み値に基づいて、W(0)が、形成される。
● それ以外の場合(w=1が、w=0よりも良いMEステージコストを与える場合)、以下のルールが、適用される。
○ w=0.5が、w=0およびw=1よりも良いMEステージコストを与える場合、C内の重み値に基づいて、W(0)が、形成される。
○ それ以外の場合、D内の重み値に基づいて、W(0)が、形成される。
【0110】
(0)が、形成された後、W(0)内の最小値および最大値に従って、それぞれ、wminおよびwmaxの値が、リセットされることができる。W(0)が、AおよびDと関連付けられる場合、それぞれ、A内のwminおよびD内のwmaxのMEステージコストが、計算されることができる。
【0111】
第kの反復において、3つ以上の重み値がセット内に存続するまで、反復プロセスが、動作して、W(k)を更新し続けることができる。プロセスが、第kの反復にあると仮定すると、反復プロセスは、以下のように指定されることができる。
1.(wmin+wmax)/2に最も近い重み値であるwmiddleを用いて、GBiを実行する。
2.wmiddleが、wminおよびwmaxよりも良いMEステージコストを与える場合、[wmin,wmiddle]および[wmiddle,wmax]の両方を独立にテストするために、W(k+1)に対する再帰プロセスが、呼び出され、反復プロセスは、ステップ6にジャンプする。
3.そうではなく、wmiddleが、wminおよびwmaxよりも悪いMEステージコストを与える場合、反復プロセスは、終了する。
4.そうではなく、wminが、wmaxよりも良いMEステージコストを与える場合、[wmin,wmiddle]内の重み値に基づいて、W(k+1)が、形成され、反復プロセスは、ステップ6にジャンプする。
5.それ以外の場合(wminが、wmaxよりも悪いMEステージコストを与える場合)、[wmiddle,wmax]内の重み値に基づいて、W(k+1)が、形成され、反復プロセスは、ステップ6にジャンプする。
6.W(k+1)内に存続する重み値の数が、3つ以上の場合、W(k+1)内の最小値および最大値に従って、wminおよびwmaxが、リセットされ、反復プロセスは、ステップ1に戻り、それ以外の場合、反復プロセスは、終了する。
【0112】
反復プロセスが、停止した後、すべてのテスト値の中で最も低いMEステージコストを達成した重み値が、一般化された双予測を実行するために、選択されることができる。
【0113】
非2N×2Nパーティションのための重み値推定
いくつかの実施形態においては、2N×2Nパーティションについての各重み値をテストした後、0、0.5、および1以外の最良実行重み値は、非2N×2Nパーティションの最適な重み値についての推定値として役立つことができる。いくつかの実施形態においては、n個の一意的な推定値が、存在すると仮定すると、0、0.5、1、およびn個の推定値に等しい重み値だけが、非2N×2Nパーティションのために評価される。
【0114】
非2N×2Nパーティションのためのパーティションサイズ推定
いくつかの実施形態においては、非2N×2Nパーティションのすべてが、例示的なビデオエンコーダによって、テストされるとは限らない。非2N×2Nパーティションは、2つのサブカテゴリに、すなわち、2N×NおよびN×2Nパーティションタイプを有する、対称的動きパーティション(SMP)と、2N×nU、2N×nD、nL×2N、およびnR×2Nパーティションタイプを有する、非対称的動きパーティション(AMP)とに、分類されることができる。SMPにおけるパーティションについてのレート-歪み(R-D)コストが、2N×2Nのそれよりも小さい場合、AMP内のパーティションタイプのいくつかが、エンコーダにおいて評価される。AMP内のどのパーティションタイプをテストするかについての決定は、2N×NおよびN×2Nのうちのどちらが、R-Dコストに関して、より良い性能を示すかに依存することができる。2N×Nのレート-歪みコストが、より小さい場合、パーティションタイプ2N×nUおよび2N×nDが、さらにチェックされることができ、それ以外の場合(N×2Nのコストが、より小さい場合)、パーティションタイプnL×2NおよびnR×2Nが、さらにチェックされることができる。
【0115】
マルチパスエンコーディングのための高速パラメータ推定
マルチパスエンコーダを使用する、例示的な実施形態においては、より以前のエンコーディングパスから最適化された(ブロック動きおよび重み値などの)予測パラメータが、後続のエンコーディングパスにおける初期パラメータ推定として、採用されることができる。そのようなエンコーダにおいては、画像から区分された符号化ブロックは、2回またはさらに多く、予測およびエンコードされることができ、エンコーディング複雑度のかなりの増加をもたらす。この複雑度を低減させるための1つの技法は、初期エンコーディングパスからの最適化された予測パラメータをバッファし、以降のエンコーディングパスにおいて、それらをさらなる精緻化のための初期パラメータ推定として取ることである。例えば、初期パスにおいて、インター予測モードが、たまたま最良のモードである場合、エンコーダは、エンコーディングパスの残りにおいて、インター予測モードだけを評価する。いくつかの実施形態においては、バッファリングが、WL1内における重み値の選択、選択された重み値と関連付けられた双予測MV、ICフラグ、OBMCフラグ、整数動きベクトル(IMV)フラグ、および符号化ブロックフラグ(CBF)など、GBiに関連する予測パラメータについて実行される。そのような実施形態においては、これらのバッファされたパラメータの値は、後続のエンコーディングパスにおいて、再使用または精緻化されることができる。特に、上述の双予測MVが、取られるとき、これらのMVは、双予測探索のための初期探索位置として役立つことができる。その後、それらは、動き推定ステージにおいて精緻化され、その後、次のエンコーディングパスのための初期探索位置として取られる。
【0116】
例示的なビットストリーム通信フレームワーク
図16は、符号化されたビットストリーム構造の例を示す概略図である。符号化されたビットストリーム1000は、多数のNAL(ネットワークアブストラクションレイヤ)ユニット1001から成る。NALユニットは、符号化されたスライス1006などの、符号化されたサンプルデータ、またはパラメータセットデータ、スライスヘッダデータ1005、もしくは(SEIメッセージと呼ばれることがある)補助強化情報(supplemental enhancement information)データ1007などの、高レベルシンタックスメタデータを含み得る。パラメータセットは、複数のビットストリームレイヤに適用することができる(例えば、ビデオパラメータセット1002(VPS))、または1つのレイヤ内の符号化されたビデオシーケンスに適用することができる(例えば、シーケンスパラメータセット1003(SPS))、または1つの符号化されたビデオシーケンス内の多数の符号化された画像に適用することができる(例えば、画像パラメータセット1004(PPS))、基本的なシンタックス要素を含む、高レベルシンタックス構造である。パラメータセットは、ビデオビットストリームの符号化された画像と一緒に送信されること、または(信頼できるチャネルを使用した帯域外送信、ハードコーディングなどを含む)他の手段を通して送信されることができる。スライスヘッダ1005も、相対的に小さい、またはあるスライスもしくは画像タイプにだけ関連する、何らかの画像関連情報を含むことができる、高レベルシンタックス構造である。SEIメッセージ1007は、デコーディングプロセスによって必要とされないことがあるが、画像出力タイミングまたは表示、ならびに損失検出および隠蔽など、様々な他の目的のために使用されることができる情報を搬送する。
【0117】
図17は、通信システムの例を示す概略図である。通信システム1300は、エンコーダ1302と、通信ネットワーク1304と、デコーダ1306とを備えることができる。エンコーダ1302は、有線接続または無線接続であることができる、接続1308を介して、ネットワーク1304と通信することができる。エンコーダ1302は、図1のブロックベースのビデオエンコーダに類似することができる。エンコーダ1302は、シングルレイヤコーデック(例えば、図1)、またはマルチレイヤコーデックを含むことができる。例えば、エンコーダ1302は、画像レベルのILPサポートを有する、マルチレイヤ(例えば、2レイヤ)スケーラブル符号化システムであることができる。デコーダ1306は、有線接続または無線接続であることができる、接続1310を介して、ネットワーク1304と通信することができる。デコーダ1306は、図2のブロックベースのビデオデコーダに類似することができる。デコーダ1306は、シングルレイヤコーデック(例えば、図2)、またはマルチレイヤコーデックを含むことができる。例えば、デコーダ1306は、画像レベルのILPサポートを有する、マルチレイヤ(例えば、2レイヤ)スケーラブルデコーディングシステムであることができる。
【0118】
エンコーダ1302および/またはデコーダ1306は、デジタルテレビ、無線放送システム、ネットワーク要素/端末、(例えば、ハイパーテキスト転送プロトコル(HTTP)サーバなど)コンテンツもしくはウェブサーバなどのサーバ、パーソナルデジタルアシスタント(PDA)、ラップトップもしくはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル録画デバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラもしくは衛星無線電話、および/またはデジタルメディアプレーヤなどの、しかし、それらに限定されない、多種多様な有線通信デバイスおよび/または無線送受信ユニット(WTRU)内に組み込まれることができる。
【0119】
通信ネットワーク1304は、適切なタイプの通信ネットワークであることができる。例えば、通信ネットワーク1304は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであることができる。通信ネットワーク1304は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信ネットワーク1304は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、および/またはシングルキャリアFDMA(SC-FDMA)など、1つまたは複数のチャネルアクセス方法を利用することができる。通信ネットワーク1304は、複数の接続された通信ネットワークを含むことができる。通信ネットワーク1304は、インターネット、ならびに/またはセルラネットワーク、WiFiホットスポット、および/もしくはインターネットサービスプロバイダ(ISP)ネットワークなどの、1つもしくは複数のプライベート商用ネットワークを含むことができる。
【0120】
図18は、本明細書において説明されたエンコーダまたはデコーダが実装されることができる、例示的なWTRUのシステム図である。示されるように、例示的なWTRU1202は、プロセッサ1218、送受信機1220、送信/受信要素1222、スピーカ/マイクロフォン1224、キーパッドもしくはキーボード1226、ディスプレイ/タッチパッド1228、非リムーバブルメモリ1230、リムーバブルメモリ1232、電源1234、全地球測位システム(GPS)チップセット1236、および/または他の周辺機器1238を含むことができる。WTRU1202は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。さらに、エンコーダ(例えば、エンコーダ100)および/またはデコーダ(例えば、デコーダ200)が組み込まれる端末は、図18のWTRU1202内に示され、それを参照して本明細書において説明される、要素のいくつかまたはすべてを含むことができる。
【0121】
プロセッサ1218は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、グラフィックス処理ユニット(GPU)、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、および状態機械などであることができる。プロセッサ1218は、信号符号化、データ処理、電力制御、入力/出力処理、ならびに/またはWTRU1202が有線および/もしくは無線環境において動作することを可能にする他の任意の機能性を実行することができる。プロセッサ1218は、送受信機1220に結合されることができ、送受信機1220は、送信/受信要素1222に結合されることができる。図18は、プロセッサ1218と送受信機1220を別個の構成要素として示しているが、プロセッサ1218と送受信機1220は、電子パッケージおよび/またはチップ内に一緒に統合されることができることが理解されよう。
【0122】
送信/受信要素1222は、エアインターフェース1215上において、別の基地局に信号を送信し、および/または別の基地局から信号を受信するように構成されることができる。例えば、1つまたは複数の実施形態においては、送信/受信要素1222は、RF信号を送信および/または受信するように構成されたアンテナであることができる。1つまたは複数の実施形態においては、送信/受信要素1222は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器であることができる。1つまたは複数の実施形態においては、送信/受信要素1222は、RF信号および光信号の両方を送信および/または受信するように構成されることができる。送信/受信要素1222は、無線信号の任意の組み合わせを送信および/または受信するように構成されることができることが理解されよう。
【0123】
加えて、図18においては、送信/受信要素1222は単一の要素として示されているが、WTRU1202は、任意の数の送信/受信要素1222を含むことができる。より具体的には、WTRU1202は、MIMO技術を利用することができる。したがって、一実施形態においては、WTRU1202は、エアインターフェース1215上において無線信号を送信および受信するための2つ以上の送信/受信要素1222(例えば、複数のアンテナ)を含むことができる。
【0124】
送受信機1220は、送信/受信要素1222によって送信されることになる信号を変調し、および/または送信/受信要素1222によって受信された信号を復調するように構成されることができる。上で言及されたように、WTRU1202は、マルチモード機能を有することができる。したがって、送受信機1220は、WTRU1202が、例えば、UTRAおよびIEEE802.11など、複数のRATを介して通信することを可能にするための、複数の送受信機を含むことができる。
【0125】
WTRU1202のプロセッサ1218は、スピーカ/マイクロフォン1224、キーパッド1226、および/またはディスプレイ/タッチパッド1228(例えば、液晶表示(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合されることができ、それらからユーザ入力データを受信することができる。プロセッサ1218は、スピーカ/マイクロフォン1224、キーパッド1226、および/またはディスプレイ/タッチパッド1228にユーザデータを出力することもできる。加えて、プロセッサ1218は、非リムーバブルメモリ1230および/またはリムーバブルメモリ1232など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。非リムーバブルメモリ1230は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ1232は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含むことができる。1つまたは複数の実施形態においては、プロセッサ1218は、サーバまたはホームコンピュータ(図示されず)上などの、WTRU1202上に物理的に配置されていないメモリから情報を入手することができ、それらにデータを記憶することができる。
【0126】
プロセッサ1218は、電源1234から電力を受信することができ、WTRU1202内の他の構成要素への電力の分配および/または制御を行うように構成されることができる。電源1234は、WTRU1202に給電するための任意の適切なデバイスであることができる。例えば、電源1234は、1つまたは複数の乾電池(例えば、ニッケル-カドミウム(NiCd)、ニッケル-亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li-ion)など)、太陽電池、および燃料電池などを含むことができる。
【0127】
プロセッサ1218は、GPSチップセット1236に結合されることができ、GPSチップセット1236は、WTRU1202の現在ロケーションに関するロケーション情報(例えば、経度および緯度)を提供するように構成されることができる。GPSチップセット1236からの情報に加えて、またはその代わりに、WTRU1202は、端末(例えば、基地局)からエアインターフェース1215上においてロケーション情報を受信することができ、および/または2つ以上の近くの基地局から受信されている信号のタイミングに基づいて、自らのロケーションを決定することができる。WTRU1202は、実施形態との整合性を保ちながら、任意の適切なロケーション決定方法を用いて、ロケーション情報を獲得することができることが理解されよう。
【0128】
プロセッサ1218は、他の周辺機器1238にさらに結合されることができ、他の周辺機器1238は、追加的な特徴、機能性、および/または有線もしくは無線接続性を提供する、1つまたは複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含むことができる。例えば、周辺機器1238は、加速度計、向きセンサ、動きセンサ、近接センサ、eコンパス、衛星送受信機、(写真および/またはビデオ用の)デジタルカメラおよび/またはビデオレコーダ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、ならびにデジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュールなどのソフトウェアモジュール、ならびにインターネットブラウザなどを含むことができる。
【0129】
例として、WTRU1202は、無線信号を送信および/または受信するように構成されることができ、ユーザ機器(UE)、移動局、固定もしくは移動加入者ユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント(PDA)、スマートフォン、ラップトップ、ネットブック、タブレットコンピュータ、パーソナルコンピュータ、無線センサ、家電製品、または圧縮されたビデオ通信を受信および処理することが可能な他の任意の端末を含むことができる。
【0130】
WTRU1202および/または通信ネットワーク(例えば、通信ネットワーク1304)は、広帯域CDMA(WCDMA(登録商標))を使用してエアインターフェース1215を確立することができる、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実装することができる。WCDMAは、高速パケットアクセス(HSPA)および/またはEvolved HSPA(HSPA+)などの通信プロトコルを含むことができる。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含むことができる。WTRU1202および/または通信ネットワーク(例えば、通信ネットワーク1304)は、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE-A)を使用してエアインターフェース1215を確立することができる、Evolved UMTS地上無線アクセス(E-UTRA)などの無線技術を実装することができる。
【0131】
WTRU1202および/または通信ネットワーク(例えば、通信ネットワーク1304)は、IEEE802.16(例えば、マイクロ波アクセス用の世界的相互運用性(Worldwide Interoperability for Microwave Access)(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定標準2000(IS-2000)、暫定標準95(IS-95)、暫定標準856(IS-856)、移動体通信用グローバルシステム(GSM(登録商標))、GSMエボリューション用の高速データレート(Enhanced Data rates for GSM Evolution)(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実装することができる。WTRU1202および/または通信ネットワーク(例えば、通信ネットワーク804)は、IEEE802.11またはIEEE802.15などの無線技術を実装することができる。
【0132】
説明された実施形態の1つまたは複数における様々なハードウェア要素は、「モジュール」と呼ばれ、それぞれのモジュールに関連する、本明細書において説明された様々な機能を実行(すなわち、実行、実行など)することに留意されたい。本明細書において使用される場合、モジュールは、与えられた実装のために適切であると当業者によって見なされたハードウェア(例えば、1つまたは複数のプロセッサ、1つまたは複数のマイクロプロセッサ、1つまたは複数のマイクロコントローラ、1つまたは複数のマイクロチップ、1つまたは複数の特定用途向け集積回路(ASIC)、1つまたは複数のフィールドプログラマブルゲートアレイ(FPGA)、1つまたは複数のメモリデバイス)を含む。各説明されたモジュールは、それぞれのモジュールによって実行されるものとして説明された1つまたは複数の機能を実行するための、実行可能な命令も含むことができ、それらの命令は、ハードウェア(すなわち、配線接続)命令、ファームウェア命令、および/もしくはソフトウェア命令などの形態を取ること、またはそれらを含むことができ、一般に、RAM、ROMなどと呼ばれる、1つまたは複数の任意の適切な非一時的コンピュータ可読媒体内に記憶されることができることが注目される。
【0133】
上では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用されることができ、または他の特徴および要素との任意の組み合わせで使用されることができることを当業者は理解されよう。加えて、本明細書において説明された方法は、コンピュータまたはプロセッサによって実行するための、コンピュータ可読媒体内に組み込まれた、コンピュータプログラム、ソフトウェア、またはファームウェアで実装されることができる。コンピュータ可読媒体の例は、(有線または無線接続上で送信される)電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、ならびにCD-ROMディスクおよびデジタル多用途ディスク(DVD)などの光媒体を含むが、それらに限定されない。WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータにおいて使用するための無線周波数送受信機を実装するために、ソフトウェアと連携するプロセッサが、使用されることができる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11A
図11B
図12A
図12B
図13
図14
図15
図16
図17
図18