(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167336
(43)【公開日】2024-12-03
(54)【発明の名称】対称的マージモード動きベクトル符号化
(51)【国際特許分類】
H04N 19/105 20140101AFI20241126BHJP
H04N 19/176 20140101ALI20241126BHJP
H04N 19/139 20140101ALI20241126BHJP
【FI】
H04N19/105
H04N19/176
H04N19/139
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2024147527
(22)【出願日】2024-08-29
(62)【分割の表示】P 2021555299の分割
【原出願日】2020-03-11
(31)【優先権主張番号】62/816,586
(32)【優先日】2019-03-11
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
2.WCDMA
3.3GPP
(71)【出願人】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ヤン、フア
(72)【発明者】
【氏名】フ、ユーウェン
(57)【要約】
【課題】対称的マージモード動きベクトル符号化のためのシステム、デバイス、および方法を提供する。
【解決手段】対称的な双方向予測動きベクトル(MVs)は、規則的なインター予測マージモードおよび/またはアフィン予測マージモードについてのマージ候補リスト内の利用可能な候補から構築され得る。利用可能なMVマージ候補は、例えば、双方向動き補償予測を可能にするピクチャを符号化する場合、(例えば、現在のピクチャの前後の参照ピクチャ間の)どちらの方向にも対称的に拡張またはマッピングされ得る。対称的な双方向予測マージ候補は、現在の予測ユニットの動き情報を予測するためのマージ候補の中から選択され得る。対称的なマッピング構築は、例えば、エンコーダにおける同じマージ候補および符号化されたMVを取得するために、エンコーダによって(例えば、MVマージ候補リストの符号化されたインデックスに基づいて)繰り返され得る。
【選択図】
図11A
【特許請求の範囲】
【請求項1】
現在のピクチャにおける予測ユニット(PU)について、第1の参照ピクチャリスト内の第1の参照ピクチャに関連付けられた第1の動きベクトル(MV)を含む第1のマージ候補を有するマージ候補リストを取得することと、
前記第1のマージ候補に基づいて対称的なマージ候補を取得することであって、前記対称的なマージ候補は、前記第1のMVに対照的な、第2の参照ピクチャリスト内の第2の参照ピクチャに関連付けられた第2のMVを含む、ことと、
前記対照的なマージ候補を、前記PUについてのMVを予測するための前記マージ候補リストと組み合わせることと、
を少なくとも実行するように構成されたプロセッサを備えた、デバイス。
【請求項2】
現在のピクチャにおける予測ユニット(PU)について、マージ候補リストを取得することと、
前記マージ候補リストから、第1の参照ピクチャリスト内の第1の参照ピクチャに関連付けられた第1の動きベクトル(MV)を含む第1のマージ候補を有するマージ候補リストを取得することと、
前記第1のマージ候補に基づいて対称的なマージ候補を取得することであって、前記対称的なマージ候補は、前記第1のMVに対照的な、第2の参照ピクチャリスト内の第2の参照ピクチャに関連付けられた第2のMVを含む、ことと、
前記対照的なマージ候補を、前記PUについてのMVを予測するための前記マージ候補リストと組み合わせることと、
前記PUについての動き情報として、前記マージ候補リスト内のマージ候補を選択することと、
を含む、方法。
【請求項3】
前記第1の参照ピクチャおよび前記第2の参照ピクチャは、前記現在のピクチャに対して反対の方向において同じピクチャオーダカウント(POC)距離を有する、請求項1に記載のデバイスまたは請求項2に記載の方法。
【請求項4】
前記第2の参照ピクチャリストが、前記第1の参照ピクチャと前記現在のピクチャとの間のピクチャオーダカウント(POC)距離と等しい前記現在のピクチャまでのPOC距離を有する対照的な参照ピクチャを含むかどうかを決定することと、
前記第2の参照ピクチャリストが前記対照的な参照ピクチャを含む旨の前記決定に基づいて、前記対称的なマージ候補を導出するために前記第1のマージ候補を選択することと、
を実行するように前記プロセッサがさらに構成された請求項1に記載のデバイス、またはをさらに含む請求項2に記載の方法。
【請求項5】
前記第1の参照ピクチャと前記現在のピクチャとの間のピクチャオーダカウント(POC)距離と等しい前記現在のピクチャまでのPOC距離を有する対照的な参照ピクチャが前記第2の参照ピクチャリスト内に存在するかどうかを決定することと、
前記対照的な参照ピクチャが前記第2の参照ピクチャリスト内に存在しないときに、前記第2の参照ピクチャリスト内において、前記第2の参照ピクチャとして、前記第1の参照ピクチャと前記現在のピクチャとの間の前記POC距離に近い前記現在のピクチャまでのPOC距離を有する参照ピクチャを選択することと、
を実行するように前記プロセッサがさらに構成された請求項1に記載のデバイス、またはをさらに含む請求項2に記載の方法。
【請求項6】
前記方法は、
前記第2の参照ピクチャと前記現在のピクチャとの間の前記POC距離および前記第1の参照ピクチャと前記現在のピクチャとの間の前記POC距離に基づいて、前記対照的なマージ候補について前記第2のMVを構築するために動きベクトルスケーリングを適用することをさらに含む、請求項5に記載のデバイスまたは方法。
【請求項7】
前記第1のマージ候補が一方向予測マージ候補であることを条件に、前記対照的なマージ候補は構築されて前記マージ候補リストに追加される、請求項1に記載のデバイスまたは請求項2に記載の方法。
【請求項8】
前記第1のマージ候補が、前記第1の参照ピクチャリスト内の前記第1の参照ピクチャに基づいた前記第1のMVおよび前記第2の参照ピクチャリスト内の第3の参照ピクチャに基づいた第3のMVを有する双方向予測候補であると決定することと、
前記第3のMVに対照的な、前記第1の参照ピクチャリスト内の第4の参照ピクチャに関連付けられた第4のMVを取得することであって、前記第4の参照ピクチャと前記現在のピクチャとの間のピクチャオーダカウント(POC)値が前記第3の参照ピクチャと前記現在のピクチャとの間のPOC値と等しいまたは同様であり、前記第1のマージ候補の前記対照的なマージ候補が前記第1の参照ピクチャリスト内の前記第4の参照ピクチャに関連付けられた前記第4のMVをさらに含む、ことと、
を実行するように前記プロセッサがさらに構成された請求項1に記載のデバイス、またはをさらに含む請求項2に記載の方法。
【請求項9】
前記マージ候補リストに前記対照的なマージ候補を追加する前に、前記対照的なマージ候補が前記マージ候補リスト内の任意の他のマージ候補と冗長ではないと決定すること、
を実行するように前記プロセッサがさらに構成された請求項1に記載のデバイス、またはをさらに含む請求項2に記載の方法。
【請求項10】
前記マージ候補リストに前記対照的なマージ候補を追加する前に、前記マージ候補リストに前記対照的なマージ候補を追加することが、許容されるマージ候補の数および許容される対称的なマージ候補の数のうちの少なくとも1つを越えないと決定すること、
を実行するように前記プロセッサがさらに構成された請求項1に記載のデバイス、またはをさらに含む請求項2に記載の方法。
【請求項11】
前記対照的なマージを前記マージ候補リストと組み合わせることは、
前記マージ候補リストに、前記マージ候補リスト内の非ゼロMVマージ候補の後かつ任意のゼロMVマージ候補の前の順序で、前記マージ候補リストに前記対照的なマージを追加すること
を含む、請求項1に記載のデバイスまたは請求項2に記載の方法。
【請求項12】
前記第1のマージ候補および前記対照的なマージ候補はアフィンマージ候補である、請求項1に記載のデバイスまたは請求項2に記載の方法。
【請求項13】
前記第1のマージ候補は、xおよびyの空間の変換、ズーム係数、並びに、回転角を有する候補制御点MV(CPMV)であり、
前記CPMVの対象的なマッピングを行って、負のxおよびyの空間変換、逆ズーム係数、並びに、前記回転角の大きさと同じ大きさを有する負の回転角を含む対照的なアフィンパラメータを決定することと、
アフィンCPMVパラメータに基づいて前記対照的なマージ候補の対照的なCPMVを生成することと、
を実行するように前記プロセッサがさらに構成された請求項12に記載のデバイス、または、をさらに含む請求項12に記載の方法。
【請求項14】
前記第1のマージ候補は候補制御点MV(CPMV)であり、前記第1のマージ候補は
第2のCPMVをさらに含み、前記対照的なマージ候補は少なくとも2つのCPMCを含み、前記少なくとも2つCPMVは、前記第1のマージ候補の前記CPMVの対照的なマッピングを介して導出される、請求項12に記載のデバイスまたは方法。
【請求項15】
前記デバイスはデコーディングデバイスを含む、請求項1に記載のデバイス。
【請求項16】
前記デバイスはエンコーディングデバイスを含む、請求項1に記載のデバイス。
【請求項17】
前記対照的なマージ候補は、前記第1の参照ピクチャリスト内の前記第1の参照ピクチャに関連付けられた前記第1の動きベクトル(MV)をさらに含む、請求項1に記載のデバイスまたは請求項2に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、対称的マージモード動きベクトル符号化に関する。
【背景技術】
【0002】
関連出願の相互参照
本出願は、2019年3月11日に出願され、「Symmetric Motion Vector Difference Coding」と題された米国特許仮出願第62/816,586号の優先権を主張し、この米国特許仮出願の全体は、あたかも本明細書において完全に記載されているかのように参照によって組み込まれている。
【0003】
ビデオ符号化システムは、デジタルビデオ信号を圧縮するために使用されて、例えば、そのような信号のために必要とされるストレージおよび/または送信帯域幅を低減し得る。ビデオ符号化システムは、ブロックベースのシステム、ウェーブレットベースのシステム、および/またはオブジェクトベースのシステムを含み得る。
【発明の概要】
【0004】
対称的マージモード動きベクトル符号化のためのシステム、デバイス、および方法が、本明細書において説明される。対称的な双方向予測(bi-pred:bi-prediction)動きベクトル(MVs:motion vectors)は、規則的なインター予測マージモードおよび/またはアフィン予測マージモードについてのマージ候補リスト内の利用可能な候補から構築され得る。利用可能なMVマージ候補は、例えば、双方向動き補償予測(MCP:motion compensation prediction)を可能にするピクチャを符号化する場合、(例えば、現在のピクチャの前後の参照ピクチャ間の)どちらの方向にも対称的に拡張またはマッピングされ得る。対称的なbi-pred MVは、現在の予測ユニット(PU:prediction unit)についてのMVとして、マージ候補の中から選択され得る。対称的なマッピング構築は、例えば、エンコーディングデバイスにおける同じマージ候補および符号化されたMVをデコーディングデバイスにおいて取得するために、(例えば、MVマージ候補リストの符号化されたインデックスに基づいて)繰り返され得る。
【0005】
例において、現在のピクチャにおける予測ユニット(PU)についての動きベクトル(MV)を含む、動き情報を決定するための方法が実装され得る。本方法は、例えば、コンピュータ実行可能な命令を記憶するコンピュータ可読記憶媒体、および/またはコンピュータ実行可能な命令を実行するように構成されたプロセッサを備え得るデバイスであって、コンピュータ実行可能な命令は、実行された場合、現在のピクチャにおける予測ユニット(PU)についての動きベクトル(MV)を決定するための方法を実行する、デバイスによって実装され得る。方法は、現在のピクチャにおけるPUについてのマージ候補リストを取得するステップ(例えば、取り出すステップ、生成するステップまたは構築するステップ)を含み得る。マージ候補リストは、第1の参照ピクチャリスト内の第1の参照ピクチャに関連付けられた第1のMVを含む第1のマージ候補を含み得る。対称的なマージ候補は、例えば、第1のマージ候補の対称的なマッピングを介して、取得され(例えば、構築され)得る。対称的なマージ候補は、第1のMVに対称的な第2のMVを含み得る。対称的なマージ候補は、第2の参照ピクチャリストにおける第2の参照ピクチャに関連付けられ得る。対称的なマージ候補は、双方向予測マージ候補であってもよく、第1の参照ピクチャリストにおける第1の参照ピクチャに関連付けられた第1のMVと、第2の参照ピクチャリストにおける第2の参照ピクチャに関連付けられた第1のMVに対称的な第2のMVとを含んでもよい。対称的なマージ候補はマージ候補リストに統合(例えば、追加)されてもよい。マージ候補(例えば、対称的なマージ候補)は、PUについてのMVを予測するためのマージ候補リストから選択され得る。
【0006】
第1の参照ピクチャおよび第2の参照ピクチャは、現在のピクチャに対して対称的であり得る。例えば、第1の参照ピクチャおよび第2の参照ピクチャは、現在のピクチャに対して、例えば、反対の方向において、同じピクチャオーダカウント(POC)距離を有してもよい。
【0007】
対称的なマージ候補の構築は、例えば、現在のピクチャへのピクチャオーダカウント(POC)距離が、第1の参照ピクチャと現在のピクチャとの間のPOC距離に等しい状態で、第2の参照ピクチャリストが第1の参照ピクチャの対称的な参照ピクチャを含有するかどうかに基づき得る。例において、対称的な参照ピクチャが、第2の参照ピクチャリスト内に存在するという条件の下で、第1のマージ候補は、対称的なマージ候補を導出するために選択されてもよい。対称的な参照ピクチャは、対称的なマージ候補の第2の参照ピクチャである。
【0008】
その他の参照ピクチャリストは、対称的な参照ピクチャを含まないことがあり得る。最も近いPOC距離を有する参照ピクチャは、対称的なマージ候補の第2の参照ピクチャとして選択され得る。例えば、現在のピクチャへのPOC距離が、第1の参照ピクチャと現在のピクチャとの間のPOC距離に最も近い、第2の参照ピクチャリスト内の参照ピクチャが選択されてもよい。
【0009】
動きベクトルスケーリングは、例えば、対称的なマージ候補についての第2のMVを構築するために適用され得る。スケーリングは、第2の参照ピクチャと現在のピクチャとの間のPOC距離、および第1の参照ピクチャと現在のピクチャとの間のPOC距離に基づき得る。
【0010】
例において、例えば、第1のマージ候補が、一方向予測マージ候補である場合にのみ、対称的なマージ候補が構築され、マージ候補リストに追加され得る。様々な実装において、例えば、第1のマージ候補が、双方向予測(bi-pred)マージ候補であるか、または単予測マージ候補であるかにかかわらず、対称的なマージ候補が構築され、マージ候補リストに追加されてもよい。
【0011】
例えば、第1のマージ候補は、第1の参照ピクチャリスト内の第1の参照ピクチャに基づいた第1のMVと、第2の参照ピクチャリスト内の第3の参照ピクチャに基づいた第3のMVとを有する双方向予測候補である、という決定が行われ得る。第2の対称的なマージ候補は、第1のマージ候補の対称的なマッピングを介して構築され得、第2の対称的なマージ候補は、第3のMVに対称的な第4のMVであって、第1の参照ピクチャリスト内の第4の参照ピクチャに関連付けられる第4のMVを含み得る。第4の参照ピクチャと現在のピクチャとの間のPOC距離は、第3の参照ピクチャと現在のピクチャとの間のPOC距離に等しく、または同様であり得る。
【0012】
マージ候補リストへの対称的なマージ候補の追加は、例えば、マージ候補リストに対称的なマージ候補を追加する前の、対称的なマージ候補はマージ候補リスト内のいかなる他のマージ候補とも冗長ではないという決定に基づき得る。
【0013】
マージ候補リストへの対称的なマージ候補の追加は、例えば、マージ候補リストに対称的なマージ候補を追加する前の、マージ候補リストにマージ候補を追加することは、許容されるマージ候補の最大数と許容される対称的なマージ候補の最大数とのうちの少なくとも1つを越えないであろうという決定に基づき得る。
【0014】
対称的なマージ候補は、マージ候補リストに特定の順序で、例えば、マージ候補リスト内の非ゼロMVマージ候補の後であって、かつ、任意のゼロMVマージ候補の前に、追加され得る。
【0015】
マージ候補は、規則的なマージ候補であっても、またはアフィンマージ候補であってもよい。例えば、第1のマージ候補は、少なくとも2つの候補制御点MV(CPMVs:control point MVs)を含んでもよく、対称的なマージ候補は、第1のマージ候補の少なくとも2つのCPMVにそれぞれ対称的な、少なくとも2つの対称的にマッピングされたCPMVを含んでもよい。少なくとも2つの対称的にマッピングされたCPMVは、少なくとも2つのCPMVの対称的なマッピングによって導出され得る。
【0016】
4つのパラメータのアフィンモデルの例において、対称的なマージ候補の第1の対称的なCPMVおよび第2の対称的なCPMVに対する、第1のマージ候補の第1の候補CPMVおよび第2の候補CPMVの対称的なマッピングがあってもよい。例えば、xおよびyの空間変換、ズーム係数および回転角を含む、4つのアフィン候補CPMVパラメータが、負のxおよびyの空間変換、逆ズーム係数および負の回転角を含む、4つのアフィン対称的なCPMVパラメータに対称的にマッピングされてもよい。第1の対称的なCPMVおよび第2の対称的なCPMVは、4つのアフィン対称的なCPMVパラメータに基づいて導出され得る。
【0017】
6つのパラメータのアフィンモデルの例において、対称的なマージ候補の第1の対称的なCPMV、第2の対称的なCPMV、および第3の対称的なCPMVに対する、第1のマージ候補の第1の候補CPMV、第2の候補CPMV、および第3の候補CPMVの対称的なマッピングがあってもよい。例えば、xおよびyの空間の変換、xおよびyのズーム係数、ならびにxおよびyの回転角を含む、6つのアフィン候補CPMVパラメータが、xおよびyの負の空間変換、xおよびyの逆ズーム係数、ならびにxおよびyの負の回転角を含む、6つのアフィン対称CPMVパラメータに対称的にマッピングされてもよい。第1の対称的なCPMV、第2の対称的なCPMV、および第3の対称的なCPMVは、6つのアフィン対称CPMVパラメータに基づいて導出され得る。
【0018】
本明細書において説明される方法は、デコーダによって実行されてもよい。いくつかの例において、本明細書における方法または対応する方法は、エンコーダによって実行されてもよい。コンピュータ可読媒体は、1つまたは複数のプロセッサに、本明細書において説明される方法を実行させるための命令を含み得る。命令を含むコンピュータプログラム製品は、プログラムが1つまたは複数のプロセッサによって実行される場合に、1つまたは複数のプロセッサに、本明細書において説明される方法を行わせ得る。
【図面の簡単な説明】
【0019】
【
図1A】1つまたは複数の開示されている実施形態が実装され得る例示的な通信システムを例示するシステム図である。
【
図1B】一実施形態による、
図1Aに例示される通信システム内で使用され得る例示的なワイヤレス送信/受信ユニット(WTRU)を例示するシステム図である。
【
図1C】一実施形態による、
図1Aに例示される通信システム内で使用され得る、例示的な無線アクセスネットワーク(RAN)および例示的なコアネットワーク(CN)を例示するシステム図である。
【
図1D】一実施形態による、
図1Aに例示される通信システム内で使用され得る、さらなる例示的なRANおよびさらなる例示的なCNを例示するシステム図である。
【
図2】例示的なブロックベースのビデオエンコーダを示す図である。
【
図4】様々な態様および例が実装され得るシステムの例を示す図である。
【
図5】空間マージ候補の例示的な位置を示す図である。
【
図6】時間マージ候補についての動きベクトルスケーリングの例を示す図である。
【
図7A】4つのパラメータのアフィンモデルを含む制御点ベースのアフィン動きモデルの例を示す図である。
【
図7B】6つのパラメータのアフィンモデルを含む制御点ベースのアフィン動きモデルの例を示す図である。
【
図7C】サブブロックごとのアフィン動きベクトルフィールドを含む制御点ベースのアフィン動きモデルの例を示す図である。
【
図8A】継承されたアフィン動き予測因子の例示的なロケーションを示す図である。
【
図8B】制御点動きベクトル継承の例を示す図である。
【
図9】構築されたアフィンマージモードについての候補位置の例示的なロケーションを示す図である。
【
図10】デコーダ側の動きベクトル精緻化の例を示す図である。
【
図11A】規則的な動きについての対称的なマージMV候補構築の例を示す図である。
【
図11B】アフィン動きについての対称的なマージMV候補構築の例を示す図である。
【発明を実施するための形態】
【0020】
ここで、例示的な実施形態の詳細な説明が、様々な図を参照しつつ説明されることになる。本説明は、可能な実装の詳細な例を提供するが、詳細は、例示となるように意図されており、適用の範囲をいかなる形でも限定しないことが留意されるべきである。
【0021】
図1Aは、1つまたは複数の開示されている実施形態が実装され得る例示的な通信システム100を例示する図である。通信システム100は、コンテンツ、例えば、音声、データ、ビデオ、メッセージング、ブロードキャスト等などを複数の無線ユーザへ提供する多元接続システムであり得る。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースを共有することを通じて、そのようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム100は、1つまたは複数のチャネルアクセス法、例えば、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)、ゼロテールユニークワードDFT拡散OFDM(ZT UW DTS-s OFDM)、ユニークワードOFDM(UW-OFDM)、リソース、ブロックフィルタードOFDM、フィルタバンクマルチキャリア(FBMC)等などを採用してもよい。
【0022】
図1Aに示されるように、通信システム100は、無線送信/受信ユニット(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公衆交換電話網(PSTN)108、インターネット110、および他のネットワーク112を含み得るが、開示されている実施形態は任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を想定することが認識されるであろう。WTRU102a、102b、102c、102dの各々は、無線環境内で動作および/または通信するように構成された、任意のタイプのデバイスであり得る。例として、いずれも「局」および/または「STA」と称され得る、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成され得、ユーザ機器(UE)、移動局、固定加入者ユニットまたは移動加入者ユニット、加入ベースのユニット、ページャ、携帯電話、携帯情報端末(PDA)、スマートフォン、ラップトップコンピュータ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサ、ホットスポットまたはMi-Fiデバイス、モノのインターネット(IoT)デバイス、時計または他の着用可能物、頭部装着型ディスプレイ(HMD:head-mounted display)、車両、ドローン、医療デバイスおよび適用例(例えば遠隔手術)、産業デバイスおよび適用例(例えば、産業処理チェーンコンテキストおよび/または自動処理チェーンコンテキストにおいて動作する、ロボットおよび/または他のワイヤレスデバイス)、家電デバイス、商業無線ネットワークおよび/または産業無線ネットワーク上で動作するデバイス等を含んでもよい。WTRU102a、102b、102cおよび102dのいずれも、UEと互換的に称され得る。
【0023】
通信システム100は、基地局114aおよび/または基地局114bも含み得る。基地局114a、114bの各々は、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインターフェースして、1つまたは複数の通信ネットワーク、例えば、CN106/115、インターネット110、および/または他のネットワーク112へのアクセスを促進するように構成された、任意のタイプのデバイスであり得る。例として、基地局114a、114bは、基地送受信局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、gNB、NRノードB、サイトコントローラ、アクセスポイント(AP)、無線ルータ等であってもよい。基地局114a、114bは、単一の要素として各々図示されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含んでもよいことが認識されるであろう。
【0024】
基地局114aは、RAN104/113の一部であり得、RAN104/113は、他の基地局および/またはネットワーク要素(図示せず)、例えば、基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノード等なども含み得る。基地局114aおよび/または基地局114bは、セル(図示せず)と称され得る、1つまたは複数の搬送周波数上で、無線信号を送信および/または受信するように構成され得る。これらの周波数は、認可されたスペクトル、認可されていないスペクトル、または認可されたスペクトルと認可されていないスペクトルとの組み合わせ内にあり得る。セルは、相対的に固定され得る、または時間と共に変化し得る特定の地理的エリアに対する無線サービスのためのカバレッジを提供し得る。セルは、セルセクタへさらに分けられ得る。例えば、基地局114aに関連付けられたセルは、3つのセクタへ分けられてもよい。したがって、1つの実施形態において、基地局114aは、3つの送受信器、すなわち、セルのセクタごとに1つの送受信器を含んでもよい。一実施形態において、基地局114aは、多入力多出力(MIMO)技術を採用してもよく、セルのセクタごとに複数の送受信器を利用してもよい。例えば、所望の空間方向における信号を送信および/または受信するために、ビームフォーミングが使用されてもよい。
【0025】
基地局114a、114bは、WTRU102a、102b、102c、102dのうちの1つまたは複数とエアインターフェース116上で通信し得、エアインターフェース116は、任意の適切な無線通信リンク(例えば、無線周波数(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光線、等)であってもよい。エアインターフェース116は、任意の適切な無線アクセス技術(RAT)を使用して確立され得る。
【0026】
より詳細には、上記のように、通信システム100は、多元接続システムであってもよく、1つまたは複数のチャネルアクセススキーム、例えば、CDMA、TDMA、FDMA、OFDMA、SC-FDMA等などを採用してもよい。例えば、RAN104/113における基地局114aおよびWTRU102a、102b、102cは、無線技術、例えば、ユニバーサル移動体通信システム(UMTS:Universal Mobile Telecommunications System)地上無線アクセス(UTRA: Terrestrial Radio Access)を実装してもよく、UTRAは、広帯域CDMA(WCDMA)を使用して、エアインターフェース115/116/117を確立し得る。WCDMAは、通信プロトコル、例えば、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などを含み得る。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)および/または高速ULパケットアクセス(HSUPA)を含み得る。
【0027】
一実施形態において、基地局114aおよびWTRU102a、102b、102cは、無線技術、例えば、進化型UMTS地上無線アクセス(E-UTRA)などを実装してもよく、E-UTRAは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE-A)および/またはLTEアドバンストプロ(LTE-A Pro)を使用して、エアインターフェース116を確立してもよい。
【0028】
一実施形態において、基地局114aおよびWTRU102a、102b、102cは、無線技術、例えば、NR無線アクセスなどを実装してもよく、NR無線アクセスは、新無線(NR:New Radio)を使用して、エアインターフェース116を確立してもよい。
【0029】
一実施形態において、基地局114aおよびWTRU102a、102b、102cは、複数の無線アクセス技術を実装してもよい。例えば、基地局114aおよびWTRU102a、102b、102cは、例えば、デュアル接続性(DC:dual connectivity)原理を使用して、LTE無線アクセスとNR無線とを共に実装してもよい。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術および/または複数のタイプの基地局(例えば、eNBおよびgNB)へ/から送られる送信によって特徴づけられ得る。
【0030】
他の実施形態において、基地局114aおよびWTRU102a、102b、102cは、無線技術、例えば、IEEE802.11(すなわち、ワイヤレスフィデリティー(WiFi)、IEEE802.16(すなわち、マイクロ波アクセスのための世界的な相互運用(WiMAX:Worldwide Interoperability for Microwave Access))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定標準2000(IS-2000)、暫定標準95(IS-95)、暫定標準856(IS-856)、グローバル移動体通信システム(GSM)、GSM進化型高速データレート(EDGE:Enhanced Data rates for GSM Evolution)、GSM EDGE(GERAN)などを実装してもよい。
【0031】
図1Aにおける基地局114bは、例えば、無線ルータ、ホームノードB、ホームeノードB、またはアクセスポイントであってもよく、局所的なエリア、例えば、事業所、家庭、車両、キャンパス、産業施設、(例えば、ドローンによる使用のための)空中回廊)、車道等などにおける無線接続性を促進するために、任意の適切なRATを利用してもよい。1つの実施形態において、基地局114bおよびWTRU102c、102dは、無線技術、例えば、IEEE802.11などを実装して、無線ローカルエリアネットワーク(WLAN)を確立してもよい。一実施形態において、基地局114bおよびWTRU102c、102dは、無線技術、例えばIEEE802.15などを実装して、無線パーソナルエリアネットワーク(WPAN)を確立してもよい。また別の実施形態において、基地局114bおよびWTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)を利用して、ピコセルまたはフェムトセルを確立してもよい。
図1Aに示されるように、基地局114bは、インターネット110への直接接続を有し得る。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスすることを必要とされなくてもよい。
【0032】
RAN104/113は、CN106/115と通信し得、CN106/115は、音声、データ、アプリケーション、および/またはボイスオーバーインターネットプロトコル(VoIP)サービスをWTRU102a、102b、102c、102dのうちの1つまたは複数に提供するように構成された、任意のタイプのネットワークであり得る。データは、様々なサービス品質(QoS)要件、例えば、異なるスループット要件、レイテンシ要件、誤差許容要件、信頼性要件、データスループット要件、モビリティ要件等を有し得る。CN106/115は、呼制御、課金サービス、モバイルロケーションベースサービス、プリペイド通話、インターネット接続性、ビデオ配信等を提供し、および/または高度なセキュリティ機能、例えばユーザ認証などを実行し得る。
図1Aには図示されていないが、RAN104/113および/またはCN106/115は、RAN104/113と同じRATまたは異なるRATを採用する他のRANと直接的または間接的に通信し得ることが認識されるであろう。例えば、NR無線技術を利用していてもよい、RAN104/113に接続されることに加えて、CN106/115は、GSM、UMTS、CDMA 2000、WiMAX、E-UTRA、またはWiFi無線技術を採用する別のRAN(図示せず)とも通信してもよい。
【0033】
CN106/115は、WTRU102a、102b、102c、102dがPSTN108、インターネット110、および/または他のネットワーク112にアクセスするためのゲートウェイとしての役割も果たし得る。PSTN108は、旧来の電話サービス(POTS:plain old telephone service)を提供する回路交換電話網を含んでもよい。インターネット110は、一般の通信プロトコル、例えば、TCP/IPインターネットプロトコルスイートにおける送信制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)および/またはインターネットプロトコル(IP)などを使用する、相互接続されたコンピュータネットワークおよびデバイスのグローバルなシステムを含み得る。ネットワーク112は、他のサービスプロバイダによって所有および/または運用される、有線通信ネットワークおよび/または無線通信ネットワークを含み得る。例えば、ネットワーク112は、1つまたは複数のRANに接続された別のCNを含んでもよく、1つまたは複数のRANは、RAN104/113と同じRATまたは異なるRATを採用してもよい。
【0034】
通信システム100におけるWTRU102a、102b、102c、102dのうちの一部または全部は、マルチモード能力を含み得る(例えば、WTRU102a、102b、102c、102dは、異なる無線リンク上で異なる無線ネットワークと通信するための複数の送受信器を含み得る)。例えば、
図1Aに示されるWTRU102cは、セルラベースの無線技術を採用し得る基地局114a、およびIEEE802無線技術を採用し得る基地局114bと通信するように構成されてもよい。
【0035】
図1Bは、例示的なWTRU102を例示するシステム図である。
図1Bに示されるように、WTRU102は、プロセッサ118、送受信器120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(GPS)チップセット136、および/または他の周辺装置138を特に含み得る。WTRU102は、実施形態と合致したままで、前述の要素の任意のサブ組み合わせを含み得ることが認識されるであろう。
【0036】
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと関連付けられた1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、任意の他のタイプの集積回路(IC)、状態機械等であってもよい。プロセッサ118は、信号コーディング、データ処理、電力制御、入力/出力処理、および/または、WTRU102が無線環境内で動作することを可能にする任意の他の機能性を実行し得る。プロセッサ118は、送受信器120に結合されてもよく、送受信器120は、送信/受信要素122に結合されてもよい。
図1Bは、プロセッサ118と送受信器120とを別個の構成要素として図示しているが、プロセッサ118および送受信器120は、電子パッケージまたはチップにおいて共に一体化されてもよいことが認識されるであろう。
【0037】
送信/受信要素122は、エアインターフェース116上で基地局(例えば基地局114a)へ信号を送信し、または基地局から信号を受信するように構成され得る。例えば、1つの実施形態において、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナであってもよい。一実施形態において、送信/受信要素122は、例えば、IR信号、UV信号、または可視光線信号を送信および/または受信するように構成されたエミッタ/検出器であってもよい。また別の実施形態において、送信/受信要素122は、RF信号と光信号との両方を送信および/または受信するように構成されてもよい。送信/受信要素122は、無線信号の任意の組み合わせを送信および/または受信するように構成され得ることが、認識されるであろう。
【0038】
送信/受信要素122は、
図1Bにおいて単一の要素として図示されているが、WTRU102は、任意の数の送信/受信要素122を含んでもよい。より詳細には、WTRU102は、MIMO技術を採用してもよい。したがって、1つの実施形態において、WTRU102は、エアインターフェース116上で無線信号を送信および受信するために、2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含んでもよい。
【0039】
送受信器120は、送信/受信要素122によって送信されるべき信号を変調し、送信/受信要素122によって受信される信号を復調するように構成され得る。上記のように、WTRU102は、マルチモード能力を有し得る。したがって、送受信器120は、WTRU102が複数のRAT、例えば、NRおよびIEEE802.11などを介して通信することを可能にするために、複数の送受信器を含み得る。
【0040】
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶ディスプレイ(LCD)ディスプレイユニット、もしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合され得、これらからユーザ入力データを受け取り得る。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128へユーザデータを出力もし得る。また、プロセッサ118は、任意のタイプの適切なメモリ、例えば、非リムーバブルメモリ130および/またはリムーバブルメモリ132などからの情報にアクセスし、任意のタイプの適切なメモリ内にデータを記憶し得る。非リムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク、または任意の他のタイプのメモリ記憶デバイスを含んでもよい。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカード等を含んでもよい。他の実施形態において、プロセッサ118は、WTRU102に物理的に位置しないメモリ、例えば、サーバまたはホームコンピュータ(図示せず)上のメモリなどからの情報にアクセスし、WTRU102に物理的に位置しないメモリ内にデータを記憶し得る。
【0041】
プロセッサ118は、電源134から電力を受け取り、WTRU102における他の構成要素に電力を分配および/または制御するように構成され得る。電源134は、WTRU102に電力供給するための任意の適切なデバイスであり得る。例えば、電源134は、1つまたは複数の乾電池バッテリ(例えば、ニッケルーカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li-ion)等)、太陽電池、燃料電池等を含んでもよい。
【0042】
プロセッサ118は、GPSチップセット136にも結合され得、GPSチップセット136は、WTRU102の現在の位置に関する位置情報(例えば、経度および緯度)を提供するように構成され得る。GPSチップセット136からの情報に加えて、またはこの情報の代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース116上で位置情報を受信し、および/または、2つ以上の近くの基地局から受信されている信号のタイミングに基づいて、その位置を決定し得る。WTRU102は、実施形態と合致したままで、任意の適切な位置決定方法によって位置情報を獲得し得ることが認識されるであろう。
【0043】
プロセッサ118は、他の周辺装置138にさらに結合され得、他の周辺装置138は、付加的な特徴、機能性および/または有線接続性もしくは無線接続性を提供する、1つまたは複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含み得る。例えば、周辺装置138は、加速度計、eコンパス、衛星送受信器、(写真および/またはビデオのための)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビ送受信器、ハンズフリーヘッドセット、ブルートゥース(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実および/または拡張現実(VR/AR)デバイス、アクティビティトラッカー等を含んでもよい。周辺装置138は、1つまたは複数のセンサを含んでもよく、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、向きセンサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、生体認証センサ、および/または湿度センサのうちの1つまたは複数であってもよい。
【0044】
WTRU102は、(例えば、(例えば、送信のための)ULと(例えば、受信のための)ダウンリンクとの両方についての特定のサブフレームに関連付けられた)信号の一部または全部の送信および受信が並行および/または同時であり得る全二重無線を含み得る。全二重無線は、ハードウェア(例えばチョーク)、またはプロセッサを介した(例えば、別個のプロセッサ(図示せず)もしくはプロセッサ118を介した)信号処理のいずれかを介して、自己干渉を低減し、および/または実質的に除去する干渉管理ユニットを含み得る。一実施形態において、WRTU102は、(例えば、(例えば、送信のための)ULと(例えば、受信のための)ダウンリンクとのいずれかについての特定のサブフレームに関連付けられた)信号の一部または全部の送信および受信のための半二重無線を含んでもよい。
【0045】
図1Cは、一実施形態に係るRAN104およびCN106を例示するシステム図である。上記のように、RAN104は、エアインターフェース116上でWTRU102a、102b、102cと通信するために、E-UTRA無線技術を採用し得る。RAN104は、CN106とも通信し得る。
【0046】
RAN104は、eノードB160a、160b、160cを含み得るが、RAN104は、実施形態と合致したままで、任意の数のeノードBを含み得ることが認識されるであろう。eノードB160a、160b、160cは各々、エアインターフェース116上でWTRU102a、102b、102cと通信するための1つまたは複数の送受信器を含み得る。1つの実施形態において、eノードB160a、160b、160cは、MIMO技術を実装してもよい。したがって、eノードB160aは、例えば、WTRU102aへ無線信号を送信し、および/またはWTRU102aから無線信号を受信するために、複数のアンテナを使用し得る。
【0047】
eノードB160a、160b、160cの各々は、特定のセル(図示せず)に関連付けられ得、無線リソース管理判定、ハンドオーバ判定、ULおよび/またはDLにおけるユーザのスケジューリング等を取り扱うように構成され得る。
図1Cに示されたように、eノードB160a、160b、160cは、X2インターフェース上で互いに通信し得る。
【0048】
図1Cに示されるCN106は、モビリティ管理エンティティ(MME)162、サービングゲートウェイ(SGW)164、およびパケットデータネットワーク(PDN)ゲートウェイ(すなわちPGW)166を含み得る。前述の要素の各々は、CN106の一部として図示されているが、これらの要素のいずれも、CN運用者以外のエンティティによって所有および/または運用されてもよいことが認識されるであろう。
【0049】
MME162は、S1インターフェースを介して、RAN104内のeノードB162a、162b、162cの各々に接続され得、制御ノードとしての役割を果たし得る。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラアクティブ化/非アクティブ化、WTRU102a、102b、102cの初期アタッチ期間中に特定のサービングゲートウェイを選択すること等に関与し得る。MME162は、RAN104と、他の無線技術、例えばGSMおよび/またはWCDMAなどを採用する他のRAN(図示せず)との間の切り替えのための制御プレーン機能を提供し得る。
【0050】
SGW164は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続され得る。SGW164は、一般に、WTRU102a、102b、102cへ/からユーザデータパケットをルーティングし、転送し得る。SGW164は、他の機能、例えば、eノードB間のハンドオーバ期間中にユーザプレーンをアンカリングすること、DLデータがWTRU102a、102b、102cにとって利用可能である場合にページングをトリガすること、WTRU102a、102b、102cのコンテキストを管理し、記憶すること等などを実行し得る。
【0051】
SGW164は、PGW166に接続され得、PGW166は、WTRU102a、102b、102cにパケット交換ネットワーク、例えばインターネット110などへのアクセスを提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を促進し得る。
【0052】
CN106は、他のネットワークとの通信を促進し得る。例えば、CN106は、WTRU102a、102b、102cに回路交換ネットワーク、例えばPSTN108などへのアクセスを提供して、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を促進し得る。例えば、CN106は、CN106とPSTN108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含んでもよく、またはIPゲートウェイと通信してもよい。また、CN106は、WTRU102a、102b、102cに他のネットワーク112へのアクセスを提供し得、他のネットワーク112は、他のサービスプロバイダによって所有および/または運用される、他の有線ネットワークおよび/または無線ネットワークを含み得る。
【0053】
WTRUは、
図1A~
図1Dにおいて無線端末として説明されているが、一定の代表的実施形態において、そのような端末は、通信ネットワークとの有線通信インターフェースを(例えば、一時的にまたは恒久的に)使用し得ることが想定される。
【0054】
代表的実施形態において、他のネットワーク112はWLANであってもよい。
【0055】
インフラストラクチャベーシックサービスセット(BSS)モードにおけるWLANは、BSSのためのアクセスポイント(AP)と、APに関連付けられた、1つまたは複数の局(STA)とを有し得る。APは、配電システム(DS:Distribution System)、またはBSSへの/からのトラフィックを搬送する別のタイプの有線/無線ネットワークへのアクセスを有し、または、これらへのインターフェースを有し得る。BSS外に由来するSTAへのトラフィックは、APを通じて到来し得、STAへ配信され得る。STAに由来する、BSS外の目的地へのトラフィックは、APへ送られて、それぞれの目的地へ配信され得る。例えば、ソースSTAが、APへトラフィックを送り得、APが、目的地STAへトラフィックを配信して得る場合、BSS内のSTA間のトラフィックは、APを通じて送られ得る。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックとして考慮され、および/または称され得る。ピアツーピアトラフィックは、ソースと、ダイレクトリンクセットアップ(DLS)を有する目的地STAとの間で(例えば、これらの間で直接)送られ得る。一定の代表的実施形態において、DLSは、802.11e DLSまたは802.11zトンネル化DLS(TDLS:tunneled DLS)を使用し得る。独立BSS(IBSS)モードを使用するWLANは、APを有しなくてもよく、IBSS内のSTA(例えば、全てのSTA)またはIBSSを使用するSTAは、互いに直接通信してもよい。IBSS通信モードは、本明細書において、通信の「アドホック」モードと称されることもある。
【0056】
802.11acインフラストラクチャ動作モードまたは同様の動作モードを使用する場合、APは、固定チャネル、例えば1次チャネル上などでビーコンを送信し得る。1次チャネルは、固定幅(例えば、20MHzの広帯域幅)であっても、またはシグナリングを介して動的に設定される幅であってもよい。1次チャネルは、BSSの運用チャネルであってもよく、APとの接続を確立するためにSTAによって使用されてもよい。一定の代表的実施形態において、搬送波感知多重アクセス/衝突回避(CSMA/CA:Carrier Sense Multiple Access with Collision Avoidance)は、例えば、802.11システムにおいて実装され得る。CSMA/CAの場合、APを含むSTA(例えば、あらゆるSTA)が、1次チャネルを感知し得る。1次チャネルが、特定のSTAによって、使用中であると感知され/検出され、および/または決定された場合、特定のSTAは後退し得る。1つのSTA(例えば、1つのみの局)は、所与のBSSにおいて任意の所与の時間に送信し得る。
【0057】
高スループット(HT)STAは、例えば、40MHzの広帯域チャネルを形成するための、20MHzの1次チャネルと、隣接するまたは隣接しない20MHzのチャネルとの組み合わせを介して、40MHzの広帯域チャネルを通信のために使用し得る。
【0058】
超高スループット(VHT)STAは、20MHz、40MHz、80MHz、および/または160MHzの広帯域チャネルをサポートし得る。40MHzのチャネル、および/または80MHzのチャネルは、連続する20MHzのチャネルを組み合わせることによって形成されてもよい。160MHzのチャネルは、8つの連続する20MHzのチャネルを組み合わせることによって、または2つの連続しない80MHzのチャネルを組み合わせることによって形成されてもよく、後者は、80+80構成と称され得る。80+80構成の場合、データは、チャネル符号化の後に、データを2つのストリームに分け得るセグメントパーサを通過させられ得る。逆高速フーリエ変換(IFFT)処理、および時間ドメイン処理は、各ストリームに対して別々に行われ得る。ストリームは、2つの80MHzのチャネル上へマッピングされ得、データは、送信元STAによって送信され得る。受信側STAの受信器において、80+80構成についての上述された動作は逆にされてもよく、組み合わされたデータは、メディアアクセス制御(MAC)へ送られ得る。
【0059】
サブ1GHzの動作モードは、802.11afおよび802.11ahによってサポートされている。チャネル動作帯域幅、および搬送波は、802.11n、および802.11acにおいて使用されるものと比べて、802.11afおよび802.11ahにおいては低減される。802.11afは、テレビホワイトスペース(TVWS)スペクトルにおける5MHz、10MHzおよび20MHzの帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1MHz、2MHz、4MHz、8MHz、および16MHzの帯域幅をサポートする。代表的実施形態によれば、802.11ahは、メータタイプ制御/マシンタイプ通信、例えば、マクロカバレッジエリア内のMTCデバイスなどをサポートし得る。MTCデバイスは、一定の能力、例えば、一定の帯域幅および/または限定された帯域幅のためのサポート(例えば、これらのためのサポートのみ)を含む、限定された能力を有し得る。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するための)閾値を超えるバッテリ寿命を有するバッテリを含み得る。
【0060】
複数のチャネル、およびチャネル帯域幅をサポートし得るWLANシステム、例えば、802.11n、802.11ac、802.11af、および802.11ahなどは、1次チャネルとして指定され得るチャネルを含む。1次チャネルは、BSS内の全てのSTAによってサポートされる最も一般的な動作帯域幅に等しい帯域幅を有し得る。1次チャネルの帯域幅は、BSS内で動作する全てのSTAのうちで、最小帯域幅の動作モードをサポートするSTAによって、設定および/または限定され得る。802.11ahの例において、たとえAP、およびBSS内の他のSTAが、2MHz、4MHz、8MHz、16MHz、および/または他のチャネル帯域幅の動作モードをサポートする場合でも、1次チャネルは、1MHzモードをサポートする(例えば、1MHzモードのみをサポートする)STA(例えばMTCタイプデバイス)のための1MHz幅であり得る。搬送波感知および/またはネットワーク割り当てベクトル(NAV)設定は、1次チャネルの状態に依存し得る。例えば、(1MHzの動作モードのみをサポートする)STAがAPへ送信することに起因して、1次チャネルが使用中である場合、たとえ周波数帯域の大部分がアイドリング状態のままであり、利用可能であり得るとしても、利用可能な周波数帯域全体が使用中であると考えられ得る。
【0061】
米国において、802.11ahによって使用され得る利用可能な周波数帯域は、902MHzから928MHzである。韓国において、利用可能な周波数帯域は、917.5MHzから923.5MHzである。日本において、利用可能な周波数帯域は、916.5MHzから927.5MHzである。802.11ahに対して利用可能な総帯域幅は、国コードに応じて、6MHzから26MHzである。
【0062】
図1Dは、一実施形態に係るRAN113およびCN115を例示するシステム図である。上記のように、RAN113は、エアインターフェース116上でWTRU102a、102b、102cと通信するために、NR無線技術を採用し得る。RAN113は、CN115とも通信し得る。
【0063】
RAN113は、gNB180a、180b、180cを含み得るが、RAN113は、実施形態と合致したままで、任意の数のgNBを含み得ることが認識されるであろう。gNB180a、180b、180cは各々、エアインターフェース116上でWTRU102a、102b、102cと通信するための、1つまたは複数の送受信器を含み得る。1つの実施形態において、gNB180a、180b、180cは、MIMO技術を実装し得る。例えばgNB180a、108bは、gNB180a、180b、180cへ信号を送信し、および/またはgNB180a、180b、180cから信号を受信するために、ビームフォーミングを利用してもよい。したがって、gNB180aは、例えば、WTRU102aへ無線信号を送信し、および/またはWTRU102aから無線信号を受信するために、複数のアンテナを使用し得る。一実施形態において、gNB180a、180b、180cは、キャリアアグリゲーション技術を実装してもよい。例えば、gNB180aは、WTRU102a(図示せず)へ複数のコンポーネントキャリアを送信してもよい。これらのコンポーネントキャリアのサブセットは、認可されていないスペクトル上にあり得、一方で、残りのコンポーネントキャリアは、認可されたスペクトル上にあり得る。一実施形態において、gNB180a、180b、180cは、多地点協調(CoMP)技術を実装してもよい。例えば、WTRU102aは、gNB180aおよびgNB180b(および/またはgNB180c)から協調送信を受信してもよい。
【0064】
WTRU102a、102b、102cは、スケーラブルなヌメロロジーと関連付けられた送信を使用して、gNB180a、180b、180cと通信し得る。例えば、OFDMシンボル間隔および/またはOFDM副搬送波間隔は、異なる送信、異なるセル、および/または無線送信スペクトルの異なる部分に対して変化し得る。WTRU102a、102b、102cは、(例えば、様々な数のOFDMシンボルを含む、および/または様々な長さの絶対時間持続する)様々な長さまたはスケーラブルな長さのサブフレームまたは送信時間間隔(TTI)を使用して、gNB180a、180b、180cと通信し得る。
【0065】
gNB180a、180b、180cは、スタンドアロン構成および/または非スタンドアロン構成においてWTRU102a、102b、102cと通信するように構成され得る。スタンドアロン構成において、WTRU102a、102b、102cは、他のRAN(例えば、eノードB160a、160b、160cなど)にもアクセスせずに、gNB180a、180b、180cと通信し得る。スタンドアロン構成において、WTRU102a、102b、102cは、gNB180a、180b、180cのうちの1つまたは複数をモビリティアンカーポイントとして利用してもよい。スタンドアロン構成において、WTRU102a、102b、102cは、認可されていない帯域内の信号を使用して、gNB180a、180b、180cと通信してもよい。非スタンドアロン構成において、WTRU102a、102b、102cは、別のRAN、例えば、eノードB160a、160b、160cなどとも通信および/または接続しながら、gNB180a、180b、180cと通信および/または接続し得る。例えば、WTRU102a、102b、102cは、1つまたは複数のgNB180a、180b、180cおよび1つまたは複数のeノードB160a、160b、160cと実質的に同時に通信するために、DC原理を実装してもよい。非スタンドアロン構成において、eノードB160a、160b、160cは、WTRU102a、102b、102cのためのモビリティアンカーとしての役割を果たしてもよく、gNB180a、180b、180cは、WTRU102a、102b、102cにサービス提供するための付加的なカバレッジおよび/またはスループットを提供してもよい。
【0066】
gNB180a、180b、180cの各々は、特定のセル(図示せず)に関連付けられてもよく、無線リソース管理判定、ハンドオーバ判定、ULおよび/またはDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアル接続性、NRとE-UTRAとの間の相互作用、ユーザプレーン機能(UPF)184a、184bへのユーザプレーンデータのルーティング、アクセスおよびモビリティ管理機能(AMF:Access and Mobility Management Function)182a、182bへの制御プレーン情報のルーティング等を取り扱うように構成され得る。
図1Dに示されるように、gNB180a、180b、180cは、Xnインターフェース上で互いに通信し得る。
【0067】
図1Dに示されるCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(SMF)183a、183b、および、場合により、データネットワーク(DN)185a、185bを含み得る。前述の要素の各々は、CN115の一部として図示されているが、これらの要素のいずれも、CN運用者以外のエンティティによって所有および/または運用されてもよいことが認識されるであろう。
【0068】
AMF182a、182bは、N2インターフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続され得、制御ノードとしての役割を果たし得る。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシングのためのサポート(例えば、異なる要件を有する異なるPDUセッションの取り扱い)、特定のSMF183a、183bを選択すること、登録エリアの管理、NASシグナリングの終了、モビリティ管理等に関与し得る。ネットワークスライシングは、WTRU102a、102b、102cに利用されているサービスのタイプに基づいて、WTRU102a、102b、102cに対するCNサポートをカスタマイズするために、AMF182a、182bによって使用され得る。例えば、異なるネットワークスライスは、異なる使用例、例えば、超高信頼低遅延(URLLC:ultra-reliable low latency)アクセスに依拠したサービス、高度モバイルブロードバンド(eMBB:enhanced massive mobile broadband)アクセスに依拠したサービス、マシンタイプ通信(MTC)アクセスのためのサービス等などのために確立され得る。AMF162は、RAN113と、他の無線技術、例えばLTE、LTE-A、LTE-A Proなど、および/または非3GPPアクセス技術、例えばWiFiなどを採用する他のRAN(図示せず)との間の切り替えのための制御プレーン機能を提供し得る。
【0069】
SMF183a、183bは、N11インターフェースを介してCN115内のAMF182a、182bに接続され得る。SMF183a、183bは、N4インターフェースを介してCN115内のUPF184a、184bにも接続され得る。SMF183a、183bは、UPF184a、184bを選択および制御し得、UPF184a、184bを通じてトラフィックのルーティングを構成し得る。SMF183a、183bは、他の機能、例えば、UE IPアドレスを管理し割り当てること、PDUセッションを管理すること、ポリシー施行およびQoSを制御すること、ダウンリンクデータ通知を提供すること等などを実行し得る。PDUセッションタイプは、IPベース、非IPベース、イーサネット(登録商標)ベース等であってもよい。
【0070】
UPF184a、184bは、N3インターフェースを介してRAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続され得、このことは、WTRU102a、102b、102cにパケット交換ネットワーク、例えばインターネット110などへのアクセスを提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を促進し得る。UPF184、184bは、他の機能、例えば、パケットをルーティングおよび転送すること、ユーザプレーンポリシーを施行すること、マルチホームPDUセッションをサポートすること、ユーザプレーンQoSを取り扱うこと、ダウンリンクパケットをバッファリングすること、モビリティアンカリングを提供すること等などを実行し得る。
【0071】
CN115は、他のネットワークとの通信を促進し得る。例えば、CN115は、CN115とPSTN108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含んでもよく、またはIPゲートウェイと通信してもよい。また、CN115は、WTRU102a、102b、102cに他のネットワーク112へのアクセスを提供し得、他のネットワーク112は、他のサービスプロバイダによって所有および/または運用される、他の有線ネットワークおよび/または無線ネットワークを含み得る。1つの実施形態において、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェースと、UPF184a、184bとDN185a、185bとの間のN6インターフェースとを介して、UPF184a、184bを通じてローカルデータネットワーク(DN)185a、185bに接続され得る。
【0072】
図1A~
図1D、および
図1A~
図1Dの対応する説明を考慮して、WTRU102a~d、基地局114a~b、eノードB160a~c、MME162、SGW164、PGW166、gNB180a~c、AMF182a~b、UPF184a~b、SMF183a~b、DN185a~b、および/または本明細書において説明される任意の他のデバイスのうちの1つまたは複数に関して、本明細書において説明される機能のうちの1つもしくは複数、または全部は、1つまたは複数のエミュレーションデバイス(図示せず)によって実行されてもよい。エミュレーションデバイスは、本明細書において説明される機能の1つもしくは複数、または全部をエミュレートするように構成された、1つまたは複数のデバイスであり得る。例えば、エミュレーションデバイスは、他のデバイスをテストするために、ならびに/またはネットワークおよび/もしくはWTRU機能をシミュレートするために、使用され得る。
【0073】
エミュレーションデバイスは、実験室環境内および/または運用者ネットワーク環境内の他のデバイスの1つまたは複数のテストを実装するように設計され得る。例えば、1つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線通信ネットワークおよび/または無線通信ネットワークの一部として完全にまたは部分的に実装および/または展開されつつ、1つもしくは複数、または全部の機能を実行してもよい。1つまたは複数のエミュレーションデバイスは、有線通信ネットワークおよび/または無線通信ネットワークの一部として一時的に実装/展開されつつ、1つもしくは複数、または全部の機能を実行してもよい。エミュレーションデバイスは、テストの目的のために別のデバイスに直接結合されてもよく、および/または、無線での(over-the-air)無線通信を使用してテストを実行してもよい。
【0074】
1つまたは複数のエミュレーションデバイスは、有線通信ネットワークおよび/または無線通信ネットワークの一部として実装/展開されずに、全てを含めて、1つもしくは複数の機能を実行してもよい。例えば、エミュレーションデバイスは、1つまたは複数の構成要素のテストを実装するために、テスト実験室ならびに/または未展開の(例えばテスト用)有線通信ネットワークおよび/もしくは無線通信ネットワークにおけるテストシナリオにおいて利用されてもよい。1つまたは複数のエミュレーションデバイスは、テスト機器であってもよい。直接的なRF結合および/または無線通信を介した(例えば、1つもしくは複数のアンテナを含み得る)RF回路類が、データを送信および/または受信するためにエミュレーションデバイスによって使用されてもよい。
【0075】
本出願は、ツール、特徴、例、モデル、アプローチ等を含む、多種多様な態様を説明する。これらの態様の多くは、具体性と共に説明されており、少なくとも個々の特性を示すために、多くの場合、限定的に聞こえ得る手法で説明されている。しかしながら、これは、説明における明確さの目的のためであり、それらの態様の適用または範囲を限定しない。実際には、異なる態様の全部が、組み合わされ、置換されて、さらなる態様を提供し得る。さらに、態様は、より早期の出願において説明されている態様とも組み合わされ、置換されてもよい。
【0076】
本出願において説明および想定される態様は、多くの異なる形式において実装され得る。本明細書において説明される
図5~
図11は、いくつかの例を提供し得るが、他の例が想定される。
図5~
図11の議論は、実装の広さを限定しない。態様のうちの少なくとも1つは、一般に、ビデオエンコーディングおよびデコーディングに関し、少なくとも1つの他の態様は、一般に、生成またはエンコードされたビットストリームを送信することに関する。これらの態様および他の態様は、方法、装置、説明される方法のいずれかに従ってビデオデータをエンコードまたはデコードするための命令を記憶したコンピュータ可読記憶媒体、および/または、説明される方法のいずれかに従って生成されるビットストリームを記憶したコンピュータ可読記憶媒体として実装され得る。
【0077】
本出願において、「再構築される」および「デコードされる」という用語は、互換的に使用されることがあり、「ピクセル」および「サンプル」という用語は、互換的に使用されることがあり、「画像」、「ピクチャ」および「フレーム」という用語は、互換的に使用されることがある。
【0078】
様々な方法が本明細書において説明され、方法の各々は、説明される方法を達成するための1つまたは複数のステップまたはアクションを含む。特定の順序のステップまたはアクションが、方法の適当な動作のために必要とされない限り、特定のステップおよび/またはアクションの順序および/または使用は、変形されてもよく、または組み合わされてもよい。また、「第1の」、「第2の」等などの用語は、例えば、「第1のデコーディング」および「第2のデコーディング」のように、要素、構成要素、ステップ、動作等を修飾するために様々な例において使用され得る。そのような用語の使用は、特に必要とされない限り、修飾された動作に対する順序付けを示唆しない。そのため、この例において、第1のデコーディングは、第2のデコーディングの前に実行される必要がなく、例えば、第2のデコーディングの前に、第2のデコーディング期間中に、または第2のデコーディングと重複する時間期間に発生してもよい。
【0079】
本出願において説明される様々な方法および他の態様は、
図2および
図3に示されるようなビデオエンコーダ100およびデコーダ200のモジュール、例えば、デコーディングモジュールを変形するために使用されてもよい。さらに、明細書において開示される主題は、例えば、標準または推奨において説明されているものであれ、既存または将来開発されるものであれ、任意のタイプ、フォーマットまたはバージョンのビデオ符号化、ならびに任意のそのような標準および推奨の拡張に適用され得る。別段述べられない限り、または技術的に除外されない限り、本出願において説明される態様は、個々にまたは組み合わせて使用され得る。
【0080】
様々な数値、例えば、マージリストの最大許容サイズとしての6、4×4輝度サブブロック、4×4彩度サブブロック、1/16分数精度、4つのパラメータのアフィンモデル、6つのパラメータのアフィンモデル等などが、本出願において説明される例において使用される。これらの値および他の特定の値は、例を説明する目的のためのものであり、説明される態様は、これらの特定の値に限定されない。
【0081】
図2は、例示的なビデオエンコーダを示す図である。例示的なエンコーダ200のバリエーションが想定されるが、エンコーダ200は、予想されるバリエーション全ては説明せずに、明確さの目的のために以下に説明される。
【0082】
エンコードされる前に、ビデオシーケンスは、エンコーディング前処理(201)、例えば、入力カラーピクチャに色変換(例えば、RGB 4:4:4からYCbCr 4:2:0への変換)を適用すること、または、(例えば、色成分のうちの1つのヒストグラム等化を使用した)圧縮に対してより弾力性のある信号分布を得るために、入力ピクチャ構成要素の再マッピングを実行することを経由し得る。メタデータは、前処理に関連付けられ、ビットストリームに添付され得る。
【0083】
エンコーダ200において、ピクチャは、以下に説明されるようにエンコーダ要素によってエンコードされる。エンコード対象のピクチャは、例えば、符号化ユニット(CUs:coding units)の単位で、パーティション化され(202)、処理される。各ユニットは、例えば、イントラモードまたはインターモードのどちらかを使用して、エンコードされる。ユニットがイントラモードでエンコードされる場合、それはイントラ予測(260)を実行する。インターモードにおいては、動き推定(275)および補償(270)が実行される。エンコーダは、ユニットをエンコードするためにイントラモードまたはインターモードのうちのどちらを使用するかを決め(205)、例えば、予測モードフラグによって、イントラ/インター決定を示す。予測残差は、例えば、元の画像ブロックから予測されるブロックを減算すること(210)によって計算される。
【0084】
予測残差は、次いで、変換され(225)、量子化される(230)。量子化された変換係数、ならびに動きベクトルおよび他のシンタックス要素は、エントロピーコーディングされ(245)て、ビットストリームが出力される。エンコーダは、変換をスキップし、変換されていない残差信号に量子化を直接適用することができる。エンコーダは、変換と量子化との両方をバイパスすることができ、すなわち、残差は、変換プロセスまたは量子化プロセスの適用なしに、直接符号化される。
【0085】
エンコーダは、エンコードされているブロックをデコードして、さらなる予測のための参照を提供する。量子化された変換係数は、逆量子化され(240)、逆変換され(250)て、予測残差がデコードされる。デコードされた予測残差と予測されたブロックとを組み合わせ(255)て、画像ブロックが再構築される。インループフィルタ(265)が、再構築されたピクチャに適用されて、例えば、非ブロック化/SAO(Sample Adaptive Offset(サンプル適応オフセット))フィルタリングが実行されて、エンコーディングアーチファクトが低減される。フィルタリングされた画像は、参照ピクチャバッファ(280)において記憶される。
【0086】
図3は、ビデオデコーダの例を示す図である。例示的なデコーダ300において、ビットストリームは、以下に説明されるようなデコーダ要素によってデコードされる。ビデオデコーダ300は、一般に、
図2において説明されたようなエンコーディングパスと逆のデコーディングパスを実行する。エンコーダ200も、一般に、ビデオデータをエンコードすることの一部として、ビデオデコーディングを実行する。
【0087】
特に、デコーダの入力は、ビデオビットストリームを含み、ビデオビットストリームは、ビデオエンコーダ200によって生成され得る。ビットストリームは、まず、エントロピーデコードされ(330)て、変換係数、動きベクトル、および他の符号化された情報が取得される。ピクチャパーティション情報は、どのようにピクチャがパーティション化されているかを示す。したがって、デコーダは、デコードされたピクチャパーティション化情報に従って、ピクチャを分割し(335)得る。変換係数は、逆量子化され(340)、逆変換され(350)て、予測残差がデコードされる。デコードされた予測残差と予測されたブロックとを組み合わせ(355)て、画像ブロックが再構築される。予測されたブロックは、イントラ予測(360)または動き補償された予測(すなわち、インター予測)(375)から取得され(370)得る。インループフィルタ(365)が、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(380)において記憶される。
【0088】
デコードされたピクチャは、デコーディング後処理(385)、例えば、逆色変換(例えば、YCbCr 4:2:0からRGB 4:4:4への変換)、または、エンコーディング前処理(201)において実行された再マッピングプロセスの逆を実行する逆再マッピングをさらに経由することができる。デコーディング後処理は、エンコーディング前処理において導出され、ビットストリームにおいてシグナリングされるメタデータを使用することができる。
【0089】
図4は、本明細書において説明される様々な態様および例が実装され得るシステムの例を示す図である。システム400は、以下に説明される様々な構成要素を含むデバイスとして具現化され得、本文書において説明される態様のうちの1つまたは複数を実行するように構成される。そのようなデバイスの例は、様々な電子デバイス、例えば、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ録画システム、コネクテッド家電、およびサーバなどを含むが、これらに限定されない。システム400の要素は、単独でまたは組み合わせて、単一の集積回路(IC)、複数のIC、および/またはディスクリート部品において具体化されてもよい。例えば、少なくとも1つの例において、システム400の処理要素およびエンコーダ/デコーダ要素は、複数のICおよび/またはディスクリート部品にわたって分散される。様々な例において、システム400は、1つまたは複数の他のシステム、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力ポートおよび/もしくは出力ポートを通じて、通信可能に結合される。様々な例において、システム400は、本文書において説明される態様のうちの1つまたは複数を実装するように構成される。
【0090】
システム400は、例えば、本文書において説明される様々な態様を実装するために、プロセッサ410にロードされる命令を実行するように構成された、少なくとも1つのプロセッサ410を含む。プロセッサ410は、組み込みメモリ、入出力インターフェース、および本技術分野において知られているような様々な他の回路構成を含むことができる。システム400は、少なくとも1つのメモリ420(例えば、揮発性メモリデバイス、および/または不揮発性メモリデバイス)を含む。システム400は、ストレージデバイス440を含み、ストレージデバイス440は、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、読み出し専用メモリ(ROM)、プログラマブル読み出し専用メモリ(PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュ、磁気ディスクドライブ、および/または光ディスクドライブを含むが、これらに限定されない、不揮発性メモリおよび/または揮発性メモリを含むことができる。ストレージデバイス440は、非限定的な例として、内部ストレージデバイス、付属ストレージデバイス(取り外し可能なストレージデバイスと取り外し不可能なストレージデバイスとを含む)、および/またはネットワークアクセス可能なストレージデバイスを含むことができる。
【0091】
システム400は、例えば、エンコードされたビデオまたはデコードされたビデオを提供するためにデータを処理するように構成されたエンコーダ/デコーダモジュール430を含み、エンコーダ/デコーダモジュール430は、それ自体のプロセッサおよびメモリを含むことができる。エンコーダ/デコーダモジュール430は、エンコーディング機能および/またはデコーディング機能を実行するためにデバイス内に含まれ得るモジュールを表す。知られているように、デバイスは、エンコーディングモジュールおよびデコーディングモジュールのうちの一方または両方を含むことができる。また、エンコーダ/デコーダモジュール430は、システム400の別個の要素として実装されてもよく、または、当業者に知られているように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ410内に組み込まれていてもよい。
【0092】
本文書において説明される様々な態様を実行するためにプロセッサ410またはエンコーダ/デコーダ430にロードされるべきプログラムコードは、ストレージデバイス440に記憶され、続いて、プロセッサ410による実行のためにメモリ420にロードされ得る。様々な例によれば、プロセッサ410、メモリ420、ストレージデバイス440、およびエンコーダ/デコーダモジュール430のうちの1つまたは複数は、本文書において説明されるプロセスの実行期間中に、様々なアイテムのうちの1つまたは複数を記憶することができる。そのような記憶されるアイテムは、入力ビデオ、デコードされたビデオまたはデコードされたビデオの部分、ビットストリーム、行列、変数、ならびに、等式、公式、動作、および動作ロジックの処理からの中間結果または最終的な結果を含むことができるが、これらに限定されない。
【0093】
いくつかの例において、プロセッサ410および/またはエンコーダ/デコーダモジュール430の内部のメモリは、命令を記憶するために、ならびにエンコーディングまたはデコーディング期間中に必要とされる処理のための作業メモリを提供するために使用される。しかしながら、他の例において、処理デバイス(例えば、処理デバイスは、プロセッサ410またはエンコーダ/デコーダモジュール430のどちらかであり得る)の外部のメモリは、これらの機能のうちの1つまたは複数のために使用される。外部メモリは、メモリ420および/またはストレージデバイス440、例えば、ダイナミック揮発性メモリおよび/または不揮発性フラッシュメモリであってもよい。いくつかの例において、外部の不揮発性フラッシュメモリは、例えば、テレビのオペレーティングシステムを記憶するために使用される。少なくとも1つの例において、RAMなどの高速な外部のダイナミック揮発性メモリが、ビデオ符号化およびデコーディング動作のための作業メモリとして使用される。
【0094】
システム400の要素への入力は、ブロック445に示されるような様々な入力デバイスを通じて提供され得る。そのような入力デバイスは、(i)例えば、ブロードキャスタによって無線で送信されるRF信号を受信する無線周波数(RF)部分、(ii)コンポーネント(COMP)入力端子(もしくはCOMP入力端子のセット)、(iii)ユニバーサルシリアルバス(USB)入力端子、および/または(iv)高解像度マルチメディアインターフェース(HDMI)入力端子を含むが、これらに限定されない。
図4に示されない他の例は、コンポジットビデオを含む。
【0095】
様々な例において、ブロック445の入力デバイスは、本技術分野において知られているような関連付けられたそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択すること(信号を選択すること、または信号を周波数の帯域へと帯域制限することとも称される)、(ii)選択された信号をダウンコンバートすること、(iii)一定の例においてチャネルとして称され得る(例えば)信号周波数帯域を選択するために、より狭い周波数の帯域に再び帯域制限すること、(iv)ダウンコンバートおよび帯域制限された信号を復調すること、(v)誤り訂正を実行すること、ならびに(vi)データパケットの所望のストリームを選択するために逆多重化すること、に適した要素と関連付けられ得る。様々な例のRF部分は、これらの機能を実行するための1つまたは複数の要素、例えば、周波数セレクタ、信号セレクタ、帯域制限器、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサを含む。RF部分は、例えば、受信された信号をより低い周波数(例えば、中間周波数もしくはベースバンド付近の周波数)、またはベースバンドへダウンコンバートすることを含む、これらの機能のうちの様々なものを実行するチューナを含むことができる。1つのセットトップボックス例において、RF部分およびその関連付けられた入力処理要素は、有線(例えば、ケーブル)媒体上で送信されたRF信号を受信し、所望の周波数帯域へとフィルタリングし、ダウンコンバートし、再びフィルタリングすることによって周波数選択を実行する。様々な例は、上述された(および他の)要素の順序を並べ替え、これらの要素のうちのいくつかを除去し、ならびに/または同様の機能もしくは異なる機能を実行する他の要素を追加する。要素を追加することは、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ/デジタル変換器を挿入することなどを含むことができる。様々な例において、RF部分は、アンテナを含む。
【0096】
また、USB端子および/またはHDMI端子は、システム400をUSB接続および/またはHDMI接続で他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リード-ソロモン誤り訂正が、例えば、必要に応じて、別個の入力処理IC内にまたはプロセッサ410内に実装されてもよいことが理解されるべきである。同様に、USBインターフェース処理またはHDMIインターフェース処理の態様は、必要に応じて、別個のインターフェースIC内に、またはプロセッサ410内に実装されてもよい。復調され、誤り訂正され、かつ、逆多重化されたストリームは、例えば、プロセッサ410と、出力デバイス上での提示のために必要に応じてデータストリームを処理するために、メモリおよび記憶要素と組み合わせて動作するエンコーダ/デコーダ430とを含む、様々な処理要素へ提供される。
【0097】
システム400の様々な要素は、一体化されたハウジング内に提供され得る。一体化されたハウジング内で、様々な要素は、適切な接続構成425、例えば、IC間(I2C)バス、配線、およびプリント回路基板を含む、本技術分野において知られているような内部バスを使用して、相互接続され、様々な要素間でデータを送信し得る。
【0098】
システム400は、通信チャネル460を介して他のデバイスとの通信を可能にする通信インターフェース450を含む。通信インターフェース450は、通信チャネル460上で、データを送信および受信するように構成された送受信器を含むことができるが、これに限定されない。通信インターフェース450は、モデムまたはネットワークカードを含むことができるが、これらに限定されず、通信チャネル460は、例えば、有線媒体および/またはワイヤレス媒体内に実装されてもよい。
【0099】
データは、様々な例において、Wi-Fiネットワークなどのワイヤレスネットワーク、例えば、IEEE 802.11(IEEEとは米国電気電子学会を指す)を使用して、システム400へストリーミングされ、または他の方法で提供される。これらの例のWi-Fi信号は、Wi-Fi通信のために適合される通信チャネル460および通信インターフェース450上で受信される。これらの例の通信チャネル460は、典型的には、アプリケーションおよび他のオーバーザトップ通信をストリーミングすることを可能にするためのインターネットを含む外部ネットワークへのアクセスを提供する、アクセスポイントまたはルータに接続される。他の例は、ストリーミングされるデータを、入力ブロック445のHDMI接続上でデータを配信するセットトップボックスを使用して、システム400に提供する。また他の例は、ストリーミングされるデータを、入力ブロック445のRF接続を使用して、システム400に提供する。上記に示されるように、様々な例は、非ストリーミング手法でデータを提供する。また、様々な例は、Wi-Fi以外のワイヤレスネットワーク、例えばセルラーネットワークまたはブルートゥースネットワークを使用する。
【0100】
システム400は、ディスプレイ475、スピーカ485、および他の周辺デバイス495を含む、様々な出力デバイスに出力信号を提供することができる。様々な例のディスプレイ475は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、曲面ディスプレイ、および/または折り畳み可能ディスプレイのうちの1つまたは複数を含む。ディスプレイ475は、テレビ、タブレット、ラップトップ、セル式電話(携帯電話)、または他のデバイスのためのものであってもよい。ディスプレイ475は、(例えば、スマートフォンにおけるように)他の構成要素に一体化されること、または別個(例えば、ラップトップのための外部モニタ)とすることも可能である。他の周辺デバイス495は、例の様々な例において、スタンドアロンのデジタルビデオディスク(またはデジタル多用途ディスク)(両方の用語について、DVD)、ディスクプレーヤ、ステレオシステム、および/または照明システムのうちの1つまたは複数を含む。様々な例は、システム400の出力に基づいた機能を提供する、1つまたは複数の周辺デバイス495を使用する。例えば、ディスクプレーヤは、システム400の出力を再生する機能を実行する。
【0101】
様々な例において、制御信号は、AVリンク、家電制御(CEC)、またはユーザ介入の有無にかかわらず、デバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム400とディスプレイ475、スピーカ485、または他の周辺デバイス495との間で通信される。出力デバイスは、それぞれのインターフェース470、480、および490を通じた専用接続を介してシステム400に通信可能に結合され得る。代替として、出力デバイスは、通信インターフェース450を介して通信チャネル460を使用して、システム400に接続されてもよい。ディスプレイ475およびスピーカ485は、例えば、テレビなどの電子デバイスにおいて、システム400の他の構成要素と共に単一のユニットにおいて一体化されてもよい。様々な例において、ディスプレイインターフェース470は、例えば、タイミングコントローラ(T Con)チップなどのディスプレイドライバを含む。
【0102】
例えば、入力445のRF部分が、別個のセットトップボックスの一部である場合、ディスプレイ475およびスピーカ485は、代替として、他の構成要素の1つまたは複数と別個とすることができる。ディスプレイ475およびスピーカ485が外部構成要素である、様々な例において、出力信号は、例えば、HDMIポート、USBポート、またはCOMP出力を含む、専用出力接続部を介して提供され得る。
【0103】
例は、プロセッサ410によってもしくはハードウェアによって実装されたコンピュータソフトウェアによって、またはハードウェアとソフトウェアとの組み合わせによって、実行され得る。非限定的な例として、例は、1つまたは複数の集積回路によって実装されてもよい。メモリ420は、技術的な環境に適当な任意のタイプのものであってもよく、非限定的な例として、任意の適当なデータストレージ技術、例えば、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、およびリムーバブルメモリなどを使用して実装されてもよい。プロセッサ410は、技術的な環境に適当な任意のタイプのものであってもよく、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づいたプロセッサのうちの1つまたは複数を包含することができる。
【0104】
様々な実装は、デコーディングを伴う。本出願において使用されるような「デコーディング」は、例えば、ディスプレイのために適した最終的な出力を生み出すために、受信されたエンコードされたシーケンスに対して実行される処理の全部または一部を包含することができる。様々な例において、そのような処理は、典型的にはデコーダによって実行される処理、例えば、エントロピーデコーディング、逆量子化、逆変換、および差動デコーディングのうちの1つまたは複数を含む。様々な例において、そのような処理は、加えてまたは代替として、本出願において説明される様々な実装のデコーダによって実行される処理、例えば、対称的マージモードMVデコーディングを実行すること、マージ候補リストを生成すること、動き補償された予測(MCP)のために動きベクトル(MV)をデコーディングすること、規則的なインター予測およびアフィンインター予測のために対称的なマージ候補を生成すること、履歴ベースのMVP(HMVP:history-based MVP)マージ候補を生成すること、双方向予測MVのMV精緻化検索を実行すること(例えば、デコーダ側の動きベクトル精緻化(DMVR:decoder side motion vector refinement)を実行すること)、アフィンモデルパラメータ値について解くためにルックアップテーブル(LUT)を利用すること、ならびに/または、MVPおよびMV差(MVD:MV difference)についてのMVPリストのインデックスをデコーディングすること等を含む。
【0105】
さらなる例として、1つの例において「デコーディング」は、エントロピーデコーディングのみを指し、別の例において「デコーディング」は、差動デコーディングのみを指し、別の例において「デコーディング」は、エントロピーデコーディングと差動デコーディングとの組み合わせを指す。「デコーディングプロセス」という句が、動作のサブセットを具体的に指すように意図されているのか、または、より広いデコーディングプロセスを一般に指すように意図されているのかは、特定の説明の文脈に基づいて明らかとなり、当業者によって十分に理解されると考えられる。
【0106】
様々な実装は、エンコーディングを伴う。「デコーディング」に関する上記の議論に類似した手法で、本出願において使用されるような「エンコーディング」は、例えば、エンコードされたビットストリームを作るために入力ビデオシーケンスに対して実行されるプロセスの全部または一部を包含することができる。様々な例において、そのようなプロセスは、エンコーダによって典型的には実行される処理、例えば、パーティション化、差動エンコーディング、変換、量子化、およびエントロピーエンコーディングのうちの1つまたは複数を含む。様々な例において、そのようなプロセスは、加えてまたは代替として、本出願において説明される様々な実装のエンコーダによって実行されるプロセス、例えば、対称的マージモードMVエンコーディングを実行すること、マージ候補リストを生成すること、動き補償された予測(MCP)についての動きベクトル(MV)をエンコーディングすること、規則的なインター予測およびアフィンインター予測についての対称的なマージ候補を生成すること、履歴ベースのMVP(HMVP)のマージ候補を生成する、双方向予測MVのMV精緻化検索を実行すること、アフィンモデルパラメータ値について解くためにルックアップテーブル(LUT)を利用すること、ならびに/または、MVPおよびMV差(MVD)についてのMVPリストのインデックスをデコーディングすること等を含む。
【0107】
さらなる例として、1つの例において「エンコーディング」は、エントロピーエンコーディングのみを指し、別の例において「エンコーディング」は、差動エンコーディングのみを指し、別の例において「エンコーディング」は、差動エンコーディングとエントロピーエンコーディングとの組み合わせを指す。「エンコーディングプロセス」という句が、動作のサブセットを具体的に指すように意図されているのか、または、より広いエンコーディングプロセスを一般に指すように意図されているのかは、特定の説明の文脈に基づいて明らかとなり、当業者によって十分に理解されると考えられる。
【0108】
本明細書において使用されるようなシンタックス要素、例えば、マージモード上でのコーディングシンタックス(例えば、merge_flagおよびmerge_index)、アフィンマージモード上でのコーディングシンタックス(例えば、merge_subblock_flagおよび/またはmerge_subblock_index)等は、記述的な用語であることに留意されたい。そのため、それらは、他のシンタックス要素名称の使用を妨げない。
【0109】
図が、フロー図として提示される場合、それは、対応する装置のブロック図も提供することが理解されるべきである。同様に、図が、ブロック図として提示される場合、それは、対応する方法/プロセスのフロー図も提供することが理解されるべきである。
【0110】
様々な例は、レート歪み最適化に言及する。特に、エンコーディングプロセス期間中に、レートと歪みとの間のバランスまたはトレードオフが通常は考慮され、多くの場合、計算の複雑さの制約を与える。レート歪み最適化は、通常は、レート歪み関数を最小化するものとして公式化され、レート歪み関数は、レートと歪みとの加重和である。レート歪み最適化問題を解くための様々なアプローチがある。例えば、アプローチは、考慮されるモードまたは符号化パラメータ値を全て含む、全てのエンコーディングオプションの広範囲なテストに、符号化およびデコーディングの後のそれらの符号化コストおよび再構築された信号の関連する歪みの完全な評価と共に、基づき得る。より高速のアプローチも、特に、再構築された信号ではなく、予測または予測残差信号に基づいて近似された歪みの計算と共に、エンコーディング複雑度を軽減するために使用され得る。これらの2つのアプローチの混合も、例えば、可能なエンコーディングオプションのうちのいくつかのみに対しては、近似された歪みを使用し、他のエンコーディングオプションに対しては、完全な歪みを使用することなどによって、使用されることが可能である。他のアプローチは、可能なエンコーディングオプションのサブセットを評価するのみである。より一般的には、多くのアプローチが、最適化を実行するために多種多様な技法のうちのいずれかを採用するが、最適化は、必ずしも符号化コストと関連する歪みとの両方の完全な評価とは限らない。
【0111】
本明細書において説明される実装および態様は、例えば、方法またはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実装され得る。実装の単一の形式の文脈においてのみ論じられている(例えば、方法としてのみ論じられている)場合であっても、論じられている特徴の実装は、他の形式(例えば、装置またはプログラム)においても実装されることが可能である。装置は、例えば、適当なハードウェア、ソフトウェア、およびファームウェアにおいて実装され得る。方法は、例えば、プロセッサにおいて実装されてもよく、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む、処理デバイス一般を指す。プロセッサは、通信デバイス、例えば、コンピュータ、セル式電話、ポータブル/携帯情報端末(「PDA」)、およびエンドユーザ間の情報の通信を容易にする他のデバイスなども含む。
【0112】
「1つの例」もしくは「例」または「1つの実装」もしくは「実装」、および、それらの他のバリエーションへの言及は、例に関連して説明される特定の特徴、構造、特性などが少なくとも1つの例に含まれることを意味する。したがって、本出願の全体にわたって様々な場所に出現する、「1つの例において」もしくは「例において」または「1つの実装において」もしくは「実装において」という句、および、任意の他のバリエーションの出現は、必ずしも全て同じ例を指すとは限らない。
【0113】
また、本出願は、様々な情報を「決定すること」に言及し得る。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を取り出すことのうちの1つまたは複数を含むことができる。取得することは、受信すること、取り出すること、構築すること、生成すること、および/または決定することを含んでもよい。
【0114】
さらに、本出願は、様々な情報に「アクセスすること」に言及し得る。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取り出すこと、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの1つまたは複数を含むことができる。
【0115】
また、本出願は、様々な情報を「受信すること」に言及し得る。受信することは、「アクセスする」ことと同じように、広い用語であるように意図されている。情報を受信することは、例えば、情報にアクセスすること、または(例えば、メモリから)情報を取り出すことのうちの1つまたは複数を含むことができる。さらに、「受信すること」は、典型的には、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することなどの動作期間中に、何らかの形で、伴われる。
【0116】
例えば、「A/B」、「Aおよび/またはB」ならびに「AおよびBのうちの少なくとも1つ」の場合における、以下の「/」、「および/または」、ならびに「のうちの少なくとも1つ」のいずれかの使用は、1番目に列挙されるオプション(A)のみの選択、2番目に列挙されるオプション(B)のみの選択、または両方のオプション(AおよびB)の選択を包含するように意図されていることが認識されるべきである。さらなる例として、「A、B、および/またはC」ならびに「A、B、およびCのうちの少なくとも1つ」の場合において、そのような語法は、1番目に列挙されるオプション(A)のみの選択、または2番目に列挙されるオプション(B)のみの選択、または3番目に列挙されるオプション(C)のみの選択、または1番目および2番目に列挙されるオプション(AおよびB)のみの選択、または1番目および3番目に列挙されるオプション(AおよびC)のみの選択、または2番目および3番目に列挙されるオプション(BおよびC)のみの選択、または3つのオプション全て(AおよびBおよびC)の選択を包含するように意図されている。これは、本技術分野および関連する技術分野における当業者にとって明らかであるように、列挙されるのと同数のアイテムについて拡張され得る。
【0117】
また、本明細書において使用されるように、「シグナリングする」という単語は、とりわけ、対応するデコーダに対して何かを示すことを指す。エンコーダ信号は、例えば、マージ候補リストのサイズ、マージMV予測候補リストの符号化されたマージ候補インデックス等を含んでもよい。このようにして、例において、同じパラメータが、エンコーダ側とデコーダ側との両方において使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信すること(明示的なシグナリング)ができる。反対に、デコーダが、特定のパラメータおよび他のパラメータを既に有する場合、シグナリングは、送信することなしに(黙示的なシグナリング)使用されて、デコーダが特定のパラメータを知り、選択することを単純に可能にし得る。任意の実際の機能の送信を回避することによって、ビット節約が様々な例において実現される。シグナリングは多種多様な手法で達成され得ることが、認識されるべきである。例えば、1つまたは複数のシンタックス要素、フラグなどは、様々な例において、対応するデコーダへ情報をシグナリングするために使用される。前述の内容は、「signal(シグナリングする)」という単語の動詞に関連するが、「signal(信号)」という単語は、本明細書において名詞として使用されることもある。
【0118】
当業者には明白であるように、実装は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされた多種多様な信号を作り得る。情報は、例えば、方法を実行するための命令、または説明される実装のうちの1つによって作られたデータを含むことができる。例えば、信号は、説明される例のビットストリームを搬送するようにフォーマットされてもよい。そのような信号は、例えば、(例えば、スペクトルの無線周波数部分を使用して)電磁波として、またはベースバンド信号として、フォーマットされてもよい。フォーマットすることは、例えば、データストリームをエンコーディングすること、およびエンコードされたデータストリームにより搬送波を変調することを含み得る。信号が搬送する情報は、例えば、アナログ情報であっても、またはデジタル情報であってもよい。信号は、知られているように、多種多様な異なる有線リンクまたはワイヤレスリンク上で送信され得る。信号は、プロセッサ可読媒体上に記憶され得る。
【0119】
多くの例が、本明細書において説明される。例の特徴は、様々な請求項カテゴリおよびタイプにわたって、単独でまたは任意の組み合わせで提供され得る。さらに、例は、本明細書において説明される特徴、デバイス、または態様のうちの1つまたは複数を、単独でまたは任意の組み合わせで、様々な請求項カテゴリおよびタイプにわたって含み得る。
【0120】
ビデオ符号化システムは、デジタルビデオ信号を圧縮するために使用され得、これは、ストレージ必要性および/またはビデオ信号の送信帯域幅を低減し得る。ビデオ符号化システムは、ブロックベースのシステム、ウェーブレットベースのシステム、および/またはオブジェクトベースのシステムを含み得る。
【0121】
ブロックベースのハイブリッド符号化アーキテクチャは、インターピクチャ予測とイントラピクチャ予測とを組み合わせ、エントロピーコーディングにより符号化を変換し得る。1つまたは複数の符号化態様は、例えば、(i)符号化構造、(ii)イントラ予測、(iii)インター予測、変換、量子化および係数符号化、(iv)インループフィルタ、ならびに/または(v)スクリーンコンテンツ符号化のうちの1つまたは複数を含んで、(例えば符号化効率のために)実装されてもよい。
【0122】
符号化構造は、例えば、四分木、二分木および三分木パーティション化などの、マルチタイプツリーブロックパーティション化を用いて実装されてもよい。
【0123】
イントラ予測は、例えば、広角予測および/または線形モデル(LM)彩度モードのうちの1つまたは複数を含む、例えば、65個の角度イントラ予測方向と共に、実装され得る。
【0124】
インター予測は、例えば、アフィン動きモデル、サブブロック時間的動きベクトル予測(SbTMVP:sub-block temporal motion vector prediction)、適応動きベクトル精度、デコーダ側の動きベクトル精緻化(DMVR)、三角形のパーティション、イントラ予測およびインター予測の組み合わせ(CIIP:combined intra and inter prediction)、動きベクトル差を有するマージモード(MMVD:merge mode with motion vector difference)、双方向オプティカルフロー(BDOF:bi-directional optical flow)、および/または双方向予測加重平均(BPWA:bi-predictive weighted averaging)のうちの1つまたは複数を用いて実装され得る。
【0125】
変換、量子化および係数符号化は、例えば、離散コサイン変換(DCT)2、離散サイン変換(DST)7およびDCT8を用いる複数の一次変換選択、51個から63個に増加された最大量子化パラメータ(QP)を用いる依存量子化、ならびに/または、変形された変換係数符号化のうちの1つまたは複数を用いて、実装され得る。
【0126】
インループフィルタは、例えば、汎用適応ループフィルタ(GALF:generalized adaptive loop filter)を用いて実装され得る。スクリーンコンテンツ符号化は、例えば、イントラブロックコピー(IBC)を用いて実装され得る。360度のビデオ符号化は、例えば、水平なラップアラウンド動き補償を用いて実装され得る。
【0127】
異なるMV符号化モード(例えば、マージモードおよびアドバンスト動きベクトル予測(AMVP)モード)は、例えば、動き補償された予測(MCP)についての動きベクトル(MV)をエンコードするために実装され得る。マージモードにおいて、近隣のPU(例えば、空間的におよび/または時間的に近隣のPU)からの符号化されたMVが収集されて、マージMV候補リストが作成され得る。リストに対するインデックスは、符号化され、および/またはデコーダへ送信され得る。AMVPモードにおいて、近隣のPUからのMV候補は、MV予測因子(MVPs:MV predictors)として使用され得、付加的なMV差(MVD)が符号化され得る。
【0128】
動き軌道の連続性は、例えば、双方向予測を可能にするピクチャについて、(例えば、符号化効率のために)仮定され、利用され得る。対称的なMVDマッピングは、例えば、前方予測のためにMVDを符号化し、(例えば、対称的なマッピングを介して)前方予測から後方予測のためのMVDを導出し得る。対称的なMVDマッピングは、例えば、(例えば、デコーダ側において)双方向予測MVのMV精緻化検索を実行するために、(例えば、DMVRにおいて)使用され得る。
【0129】
対称的なマッピングは、マージモードMV符号化において使用され得る。マージモードMV候補は、収集されてもよく、または構築されてもよい。例えば、マージ候補は、空間的に近隣のCUからの符号化されたMV、一時的に併置されたCUからの符号化されたMV、(例えば、アフィン動きモードについての)空間的に近隣のCUからの構築されたMV、以前に符号化されたCUからのMV、既存のマージ候補リストの上位候補からのペアワイズ平均されたMV、構築された対称的な双方向予測(bi-pred)MV、およびゼロMVのうちの1つまたは複数を含み得る。
【0130】
対称的な双方向予測(bi-pred)MVは、マージ候補リスト内の利用可能な(例えば、既存の)候補から構築され得る。例えば、現在のピクチャの前後の参照ピクチャからの動き補償された予測(MCP)を伴う、双方向予測を可能にするピクチャを符号化する場合に、動きの連続性が活用され得る。例えば、双方向予測を可能にするピクチャを符号化する場合、利用可能なMVマージ候補は、どちらかの方向へ(例えば、参照ピクチャ間の後方へまたは前方へ)に対称的に延長され/マッピングされ得る。構築された対称的なbi-predマージ候補は、エンコーダまたはデコーダが選ぶMVマージ候補として(例えば、マージ候補リスト内で)使用され得る。例えば、動き連続性が成り立つ場合、(例えば、現在のPUについてのMVとして符号化するために)対称的なbi-pred MV候補が選択され得る。デコーダは、エンコーダによって実装される対称的なマッピング構築を繰り返して、例えば、符号化されたMVを取得し得る。MVマージ候補リストの符号化されたインデックスは、デコーダに対して提供され、デコーダによって使用されて、例えば、マージされた候補リストおよび/または符号化されたMVが生成され得る。符号化効率は、例えば、対称的なbi-pred MVを構築し、マージ候補リストに追加することによって、符号化ビットコストを招かずに、改善され得る。
【0131】
本明細書において説明される方法は、デコーダによって実行され得る。いくつかの例において、本明細書における方法または対応する方法は、エンコーダによって実行されてもよい。コンピュータ可読媒体は、1つまたは複数のプロセッサに、本明細書において説明される方法を実行させるための命令を含み得る。コンピュータプログラム製品は、命令を含み、命令は、プログラムが1つまたは複数のプロセッサによって実行される場合に、1つまたは複数のプロセッサに、本明細書において説明される方法を実行させ得る。
【0132】
(例えば、符号化ブロック(CB)または予測のユニット(PU)に対して)マージモードMV符号化が実行され得る。例えば、CBまたはPUのMVは、マージモードまたはAMVPモードにおいてエンコードされ得る。マージモードにおいて、近隣のPUについての符号化されたMVは、(例えば、現在のPUを符号化するために)マージ候補リスト内のMV候補として収集され得る。候補リストのインデックスは、符号化され、デコーダへ送信され得る。デコーダは、例えば、PUのMCPのために使用するために、(例えば、符号化されたインデックスに基づいて)MV候補を再現し得る。AMVPモードにおいて、近隣の符号化されたMVは、(例えば、AMVP候補リスト(AMVPCL:AMVP candidate list)内の)MVPとして使用され得る。エンコーダは、MVPリストのインデックスおよび(例えば、残りの)MV差(MVD)を(例えば、デコーダのために)エンコードし得る。
【0133】
マージモードは、規則的な並進動きモデルベースのMCPおよび/またはアフィン動きモデルベースのMCPのために使用され得る。
【0134】
規則的なインター予測のマージモードが実行され得る。規則的なインター予測マージモード(例えば、非アフィン並進動きモデルベースのMCP)において、マージ候補リストは、例えば、(例えば、順番に)以下のタイプの候補、すなわち、空間的に近隣の符号化ユニット(CU)からの空間的MVP、併置されたCUからの時間的MVP、先入先出(FIFO)表からの履歴ベースのMVP、ペアワイズ平均MVP、対称的なbi-pred MV、および/またはゼロMVのうちの1つまたは複数を用いて構築され得る。
【0135】
マージリストのサイズは、例えば、スライスヘッダ内で、シグナリングされ得る。マージリストは、最大サイズ(例えば、候補の最大数)を有してもよい。例において、マージリストの最大サイズは、例えば、6であってもよい。他の例は、異なる最大値を有してもよく、または候補の最大数を有しなくてもよい。最良のマージ候補のインデックスは、例えば、マージモードで符号化された(例えば、各)CUについて、エンコードされ得る。異なるカテゴリのマージ候補は、異なる生成手順を有し得る。
【0136】
マージ候補は、空間候補を含み得る。空間マージ候補が導出されてもよい。例において、(例えば、最大で4つの)マージ候補が、
図5に描かれた場所に位置する候補の中から選択されてもよい。
【0137】
図5は、空間マージ候補の例示的な場所を示す図である。導出の順序は、例えば、A
1、B
1、B
0、A
0およびB
2であってもよい。場所B2は、例えば、場所A
1、B
1、B
0、A
0のCUが使用されず、および/または、イントラ符号化される場合(場合にのみ)、考慮され得る。場所A
1、B
1、B
0、A
0のCUは、例えば、場所A
1、B
1、B
0、A
0のCUが別のスライスもしくはタイルに所属する場合、またはさもなければ利用可能でない場合、使用されなくてもよい。場所A
1、B
1、B
0、A
0のCUのうちの1つまたは複数は、例えば、場所A
1、B
1、B
0、A
0のCUのうちの1つまたは複数が利用可能であるが、イントラ符号化される場合、現在のCUのマージモードについてのMV候補を提供しなくてもよい。候補の追加は、例えば、(例えば、場所A
1における)第1の候補が追加された後に、冗長検査を受け得る。冗長検査は、同じ動き情報を有する冗長な候補を(例えば、マージ候補リストから)除去し得る。冗長検査は、(例えば、計算の複雑さを低減するために)選択された候補ペアを考慮し得る。
【0138】
マージ候補は、時間候補を含み得る。例において、(例えば、1つのみの)時間的MVP(TMVP:temporal MVP)候補が、マージ候補リストに追加されてもよい。時間マージ候補が導出され得る。(例えば、時間マージ候補について)スケーリングされた動きベクトルは、例えば、併置された参照ピクチャに所属する、併置されたCUに基づいて、導出されてもよい。併置されたCUの導出のために使用される参照ピクチャリストは、例えば、スライスヘッダ内で、例えば、明示的なシグナリングによって、示され得る。時間マージ候補についてのスケーリングされた動きベクトルは、例えば、
図6において点線によって例示されるように、取得され得る。
【0139】
図6は、時間マージ候補についての動きベクトルスケーリングの例を示す図である。時間マージ候補についてのスケーリングされた動きベクトルは、例えば、POC(ピクチャオーダカウント)距離tbおよびtdを使用して、例えば、併置されたCUについての動きベクトルに基づいて、スケーリングされ得る。POC距離tbは、現在のピクチャと現在のピクチャの参照ピクチャとの間のPOC差を示し得る。POC距離tdは、併置されたピクチャと併置されたピクチャの参照ピクチャとの間のPOC差を示し得る。時間マージ候補の参照ピクチャインデックスは、ゼロに等しく設定され得る。時間候補についての場所は、例えば、併置された中心候補CUと併置された右下CUとの間で、選択されてもよい。
【0140】
マージ候補は、履歴ベースのマージ候補を含み得る。履歴ベースのMVP(HMVP)のマージ候補は、例えば、空間的MVPおよびTMVPマージ候補の後に、マージ候補リストに追加され得る。以前に符号化されたブロックの動き情報は、表に記憶され、および/または現在のCUについてのMVPとして使用され得る。以前に符号化されたブロックは、すぐ近隣のCUからのものであってもよく、すぐ近隣のCUからのものでなくてもよい。複数のHMVP候補を有する表は、例えば、エンコーディング/デコーディングプロセス期間中に、維持され得る。例えば、異なる符号化ツリーユニット(CTU)行に(例えば、初めて)遭遇した場合、表は、(例えば、表を空にすることによって)リセットされ得る。例えば、(例えば、アファインモードについての)非サブブロックのインター符号化されたCUがある場合(例えば、その時)、動き情報は、(例えば、新しいHMVP候補として)表の最後のエントリに追加され得る。
【0141】
HMVPテーブルサイズSは、テーブルエントリの最大数に限定され得る。例において、HMVPテーブルサイズSは、6に設定されてもよく、これは、最大で6つのHMVP候補が表に追加されてもよいことを示し得る。例えば、(例えば、新しい)動き候補を表内に挿入する場合、制約付きの先入先出(FIFO)規則が利用されてもよい。同一のHMVPが表にあるかどうかを決定するために、冗長検査が適用され得る。同一の(例えば、冗長な)HMVPは、表から除去され得る。例えば、候補が除去される場合、HMVP候補は前方へ移動させられ得る。
【0142】
(例えば、HMVP表内の)HMVP候補は、マージ候補リスト構築プロセスにおいて使用され得る。(例えば、表内の)HMVP候補は、例えば、HMVP候補がマージ候補になるべきかどうかを決定するために、(例えば順番に)検査され得る。HMVP候補は、例えば、TMVP候補の後に、マージ候補リスト内へ挿入されてもよい。冗長検査は、例えば、空間マージ候補または時間マージ候補に対して、例えば、HMVP候補が冗長であるかどうかを決定するために、適用され得る。例において、冗長検査動作の回数は、低減されてもよい。
【0143】
マージ候補は、ペアワイズ平均マージ候補を含み得る。ペアワイズ平均候補は、例えば、利用可能な(例えば、既存の)マージ候補リスト内の予め定義されたペアの候補を平均することによって、生成され得る。予め定義されたペアは、例えば、{(0、1)、(0、2)、(1、2)、(0、3)、(1、3)、(2、3)}として定義されてもよい。数字は、マージ候補リストに対するマージインデックスを表し得る。平均された動きベクトルは、例えば、参照リストごとに別々に、計算され得る。1つの参照リスト内で利用可能な2つの(例えば両方の)動きベクトルは、例えば、動きベクトルが異なる参照ピクチャを指す場合であっても、平均され得る。1つの動きベクトルのみが利用可能な場合、動きベクトルは直接使用され得る。動きベクトルが利用可能でない場合、リストは無効となり得る。
【0144】
マージ候補は、対称的なbi-pred動きベクトルを含み得る。対称的なbi-pred動きベクトルの構築は、以下により詳細に論じられる。
【0145】
マージ候補は、ゼロMVPを含んでもよい。マージリストは、対称的なbi-pred MVマージ候補がマージリストに追加された後に、完全ではないことがあり得る。ゼロMVPが、例えば、マージ候補の最大数まで、マージ候補リストの終わりに挿入され得る。
【0146】
アフィン動き補償された予測が実行され得る。ブロックベースのアフィン変換動き補償予測(MCP)は、例えば、多くの種類の動き、例えば、ズームイン/アウト、回転、視点の動きおよび他の不規則な動きに対して、(本明細書において説明されるように)適用され得る。
【0147】
図7A~
図7Cは、4つのパラメータのアフィンモデル、6つのパラメータのアフィンモデル、およびサブブロックごとのアフィン動きベクトルフィールド(MVF)を含む、制御点ベースのアフィン動きモデルの例を示す図である。ブロックのアフィン動きフィールドは、2つの制御点(例えば、4つのパラメータ)または3つの制御点(例えば、6つのパラメータ)の動きベクトルの動き情報によって説明され得る。
【0148】
(例えば、
図7Aに示されるような)4つのパラメータのアフィン動きモデルの場合、ブロック内のサンプルロケーション(x、y)における動きベクトルは、例えば、式1を使用して、導出され得る。
【0149】
【0150】
(例えば、
図7Bに示されるような)6つのパラメータのアフィン動きモデルの場合、ブロック内のサンプルロケーション(x、y)における動きベクトルは、例えば、式2を使用して、導出され得る。
【0151】
【0152】
図7Aおよび7Bならびに式1および式2を参照すると、左上隅の制御点v
0の動きベクトルは、(mv
0x、mv
0y)によって示され得る。右上隅の制御点v
1の動きベクトルは、(mv
1x、mv
1y)によって示され得る。左下隅の制御点v
2の動きベクトルは、(mv
2x、mv
2y)によって示され得る。
【0153】
ブロックベースのアフィン変換予測は、例えば、動き補償予測を単純化するために適用され得る。サブブロックの中心サンプルの動きベクトルは、4×4輝度サブブロックについての動きベクトルを導出するために計算され得る。例において、
図7Cに示されるように、各サブブロックの中心サンプルの動きベクトルは、例えば、各4×4輝度サブブロックについての動きベクトルを導出するために、式1および/または式2に従って計算され得る。動きベクトルは、1/16の分数精度で丸められてもよい。動き補償補間フィルタは、例えば、導出された動きベクトルを用いて(例えば、各)サブブロックについての予測を生成するために、適用され得る。彩度成分のサブブロックサイズは、例えば、4×4に設定されてもよい。4×4彩度サブブロックのMVは、例えば、4つの対応する4×4輝度サブブロックのMVの平均値として、計算され得る。
【0154】
例えば、複数のモードの並進動きインター予測と同様の、複数のアフィン動きインター予測モード(例えば、アフィンマージモードおよびアフィンAMVPモードを含む)があってもよい。
【0155】
アフィン予測についてのマージモードが実行され得る。アフィンマージモードは、例えば、8以上の幅および高さを有するCUに対して適用されてもよい。アフィンマージモードにおいて、現在のCUについての制御点MV(CPMV)は、例えば、空間的に近隣のCUについての動き情報に基づいて、生成され得る。CPMVP候補の数は、(例えば、候補の最大数に)限定され得る。例において、1つまたは複数の(例えば、最大で5つの)CPMVP候補があってもよい。インデックスは、現在のCUに対して使用されるべきCPMVP候補を示すために(例えば、エンコーダによってデコーダへ)シグナリングされ得る。アフィンマージ候補リストは、以下のタイプのCPMV候補、すなわち、近隣のCUのCPMVから外装され得る継承されたアフィンマージ候補、近隣のCUの並進MVを使用して導出され得る構築されたアフィンマージ候補CPMVP、既存のアフィンマージ候補の対称的なマッピングによって導出され得る構築された対称的なアフィンマージ候補、および/またはゼロMVのうちの1つまたは複数を含み得る。
【0156】
継承されたアフィンマージ候補は、アフィン予測のために使用され得る。継承されたアフィンマージ候補の数は、限定され得る。例において、最大で2つの継承されたアフィン候補がアフィンマージ候補リスト内にあってもよい。継承されたアフィン候補は、例えば、近隣のブロック(例えば、左側の近隣のCUからのブロック、および上側の近隣のCUからのブロック)のアフィン動きモデルから導出され得る。
【0157】
図8Aおよび
図8Bは、継承されたアフィン動き予測因子の例示的なロケーションおよび制御点動きベクトル継承の例を示す図である。
図8Aは、例示的な候補ブロックを示す。(例えば、左側の予測因子についての)例において、走査順序は、A0からA1であってもよい。(例えば、上側の予測因子についての)例において、走査順序は、B0からB1からB2であってもよい。例において、各側からの最初に継承された候補が選択されてもよい。枝刈りチェックは、2つの継承された候補間で実行されなくてもよい。例において(例えば、近隣のアフィンCUが識別される場合)、近隣のアフィンCUの制御点動きベクトルは、例えば、現在のCUのアフィンマージリスト内のCPMVP候補を導出するために使用され得る。例において(例えば、
図8Bに示されるように、近隣の左下のブロックAがアフィンモードで符号化される場合)、(例えば、ブロックAを含有するCUの左上隅、右上隅および左下隅の)動きベクトルv
2、v
3、およびv
4が得られ得る。例えば、ブロックAが、4つのパラメータのアフィンモデルを用いて符号化される場合、現在のCUの2つのCPMVは、例えば、v
2およびv
3に従って計算され得る。例えば、ブロックAが、6つのパラメータのアフィンモデルを用いて符号化される場合、現在のCUの3つのCPMVは、例えば、v
2、v
3およびv
4に従って計算され得る。
【0158】
構築されたアフィン候補は、アフィン予測のために使用され得る。アフィン候補は、例えば、(例えば、各)制御点からの近隣の並進動き情報を組み合わせることによって、構築され得る。
【0159】
図9は、構築されたアフィンマージモードについての候補位置の例示的なロケーションを示す図である。制御点についての動き情報は、(例えば、
図9における例によって示される)特定された空間的な近隣および時間的な近隣から導出され得る。CPMV
k(k=1、2、3、4)は、k番目の制御点を表し得る。(例えば、CPMV
1についての)例において、ブロックは、順番に(例えば、ブロックB2、次いでB3、次いでA2)利用可能性について検査され得る。第1の利用可能なブロックのMVが使用され得る。(例えば、CPMV
2についての)例において、ブロックは、順番に(例えば、ブロックB1、次いでB0)利用可能性について検査され得る。(例えば、CPMV
3についての)例において、ブロックは、順番に(例えば、ブロックA1、次いでA0)利用可能性について検査され得る。例えば、TMVPが利用可能である場合、TMVPは、CPMV
4として使用されてもよい。
【0160】
アフィンマージ候補は、例えば、4つの制御点のMVが得られた後、動き情報に基づいて構築され得る。制御点MVの組み合わせは、(例えば、順番に)以下を構築するために使用され得る。
【0161】
{CPMV1、CPMV2、CPMV3}、{CPMV1、CPMV2、CPMV4}、{CPMV1、CPMV3、CPMV4}、{CPMV2、CPMV3、CPMV4}、{CPMV1、CPMV2}、{CPMV1、CPMV3}
【0162】
3つのCPMVの組み合わせは、6つのパラメータのアフィンマージ候補を構築し得る。2つのCPMVの組み合わせは、4つのパラメータのアフィンマージ候補を構築し得る。例えば、制御点の参照インデックスが、例えば、動きスケーリングプロセスを回避するために、異なる場合、制御点MVの関連する組み合わせが廃棄されてもよい。
【0163】
構築された対称的なアフィンマージ候補は、アフィン予測のために使用され得る。構築された対称的なアフィンマージ候補は、既存のアフィンマージ候補の対称的なマッピングによって導出され得る。構築された対称的なアフィンマージ候補は、以下により詳細に論じられる。
【0164】
ゼロMVは、アフィン予測のために使用され得る。例えば、構築された対称的なアフィンマージ候補などの、他の構築されたアフィンマージ候補が検査された後に、例えば、リストが依然として完全でない場合、ゼロMVがアフィンマージ候補リストの終わりに挿入される。
【0165】
双方向予測についての対称的なMV差(MVD)が実行され得る。前方および後方の参照ピクチャにおける動きベクトルは、例えば、双方向予測における動き軌道の連続性に起因して、対称的であり得る。対称的な動きベクトル差(MVD)は、双方向予測における動き軌道の連続性を使用するインター符号化モードを含み得る。対称的なMVDモードにおいて、参照ピクチャリスト1のMVDは、リスト0のMVDと対称的になり得る。例において、参照ピクチャリスト0のMVD(例えば、参照ピクチャリスト0のMVDのみ)が、(例えば、符号化効率のために)シグナリングされ得る。対称的なMVDモードにおいて現在のピクチャについて符号化されたMVは、例えば、式3を使用して導出され得る。
【0166】
【0167】
式3における下付き文字は、参照リスト0または1を示し得る。方向は、xおよびyによって示され得る(例えば、xは水平方向を示し得、yは垂直方向を示し得る)。
【0168】
対称的なMVDモードは、例えば、以下、すなわち、(i)参照リスト0は、前方参照ピクチャを含有し、参照リスト1は、後方参照ピクチャを含有する、および/または、(ii)参照リスト0は、後方参照ピクチャを含有し、参照リスト1は、前方参照ピクチャを含有する、のうちのどちらかが真である場合に、双方向予測のために利用可能であり得る。
【0169】
例において、参照リスト0およびリスト1の参照ピクチャインデックスは、例えば、対称的なMVDモードにおいて、シグナリングされなくてもよい。参照リスト0およびリスト1の参照ピクチャインデックスは、例えば、対称的なMVDモードにおいては、導出され得る。
【0170】
例において(例えば、参照リスト0が、前方参照ピクチャを含有し、参照リスト1が、後方参照ピクチャを含有する場合)、リスト0内の参照ピクチャインデックスは、現在のピクチャに対して最も近い前方参照ピクチャに設定されてもよく、リスト1の参照ピクチャインデックスは、現在のピクチャに対して最も近い後方参照ピクチャに設定されてもよい。例において(例えば、参照リスト0が、後方参照ピクチャを含有し、参照リスト1が、前方参照ピクチャを含有する場合)、リスト0内の参照ピクチャインデックスは、現在のピクチャに対して最も近い後方参照ピクチャに設定されてもよく、リスト1の参照ピクチャインデックスは、現在のピクチャに対して最も近い前方参照ピクチャに設定されてもよい。
【0171】
対称的なMVDは、シグナリングオーバーヘッドおよび/または符号化複雑度を低減し得る。例えば、対称的なMVDモードは、両方の参照ピクチャリストについての参照ピクチャインデックスをシグナリングすることを回避し得る。対称的なMVDモードは、1つのリスト(例えば、リスト0)についてのMVDの1つのセット(例えば、MVDの1つのセットのみ)をシグナリングし得る。
【0172】
デコーダ側の動きベクトル精緻化(DMVR)が実行され得る。バイラテラルマッチング(BM)ベースのデコーダ側の動きベクトル精緻化は、例えば、マージモードのMVの精度を高めるために、適用され得る。精緻化されたMVは、例えば、双方向予測動作において、参照ピクチャリストL0および/または参照ピクチャリストL1内の最初のMVのまわりで検索されてもよい。BMは、参照ピクチャリストL0およびリストL1内の2つの候補ブロック間の歪みを計算し得る。
【0173】
図10は、デコーディング側の動きベクトル精緻化の例を示す図である。
図10に例示されるように、ブロック1004とブロック1006との間の差分絶対値和(SAD:sum of absolute difference)は、例えば、最初のMVのまわりの各MV候補に基づいて、計算され得る。最も低いSADを有するMV候補が、精緻化されたMVとなり得、および/または双方向予測された信号を生成するために使用され得る。
【0174】
(例えば、DMVRプロセスによって導出される)精緻化されたMVは、インター予測サンプルを生成するために使用され得、および/または将来のピクチャ符号化のために時間的動きベクトル予測において使用され得る。元のMVは、非ブロック化プロセスにおいて使用され得、および/または将来のCU符号化のために空間的動きベクトル予測において使用され得る。
【0175】
図10に示されるように、検索点は、最初のMVを囲み得る。MVオフセットは、MV差ミラーリング(例えば、対称的な)規則に従い得る。点は、例えば、式4に従って、(例えば、候補MVペア(MV0、MV1)によって表される)DMVRによって検査され得る。
【0176】
【0177】
MVoffsetは、例えば、参照ピクチャのうちの1つにおいて、最初のMVと精緻化されたMVとの間の精緻化オフセットを表し得る。精緻化検索範囲は、例えば、最初のMVからの2つの整数輝度サンプルであってもよい。検索複雑度は、例えば、早期終了トリガを有する高速検索方法を使用することによって、低減され得る。
【0178】
マージモードMV候補は、(例えば、双方向予測を可能にする)PUについて構築され得る。マージモードMV候補は、例えば、一方向から他方向への(例えば、前方参照ピクチャから後方参照ピクチャへの、および、この逆への)(例えば、既存の)候補MVの対称的なマッピングを介して、構築されてもよい。マージモードMV候補は、例えば、規則的なインター予測マージモードおよび/またはアフィン予測マージモードについて、構築されてもよい。例えば、動き軌道がビデオフレーム間で連続的である場合、対称的なマッピングを介した対称的なMV候補構築が使用されてもよい。
【0179】
図11Aは、規則的な動きについての対称的なマージMV候補構築の例を示す図である。(例えば、
図11に示されるような)例において、元のマージMV候補(MV
x0、MV
y0)は、リスト0内の参照ピクチャを使用し得る。他方の参照ピクチャリスト1内のMVの対称的なマッピングは、元のマージMV候補(MV
x0、MV
y0)から導出され得る。導出された対称的にマッピングされたMV候補は、(MV
x1、MV
y1)となり得る。短い矢印付きの直線のMVは、MVの大きさを示し得る。長い矢印付きの直線は、ピクチャ間(例えば、リスト0内の参照ピクチャから現在のピクチャまで、および/または現在のピクチャからリスト1内の参照ピクチャまで)の動き軌道を例示し得る。τ
0、τ
1は、リスト0内の参照ピクチャと現在のピクチャとの間の時間距離(例えばPOC距離)、または現在のピクチャとリスト1内の参照ピクチャとの間の時間距離(例えばPOC距離)をそれぞれ表し得る。例において、並進動きベクトルMV0およびMV1(例えば、短い矢印付きの直線)は、対称的な並進動きベクトル(例えば、MV1=-MV0)を示し得る。
【0180】
対称的なマージ候補は、規則的なインター予測について、(例えば、利用可能なマージ候補から)構築され得る。マージ候補リスト(例えば、利用可能なマージ候補リスト)は、例えば、以下、すなわち、空間的に近隣のMV、時間的に併置されたMV、履歴MVP、ペアワイズ平均MV、および/またはゼロMVのうちの1つまたは複数を含み得る。例において、1つまたは複数の対称的な双方向予測MV候補は、例えば、(i)非ゼロMVの後であって、かつ、ゼロMVの前、(ii)履歴MVPの後であって、かつ、ペアワイズ平均MVの前、および/または(iii)時間的に併置されたMVの後であって、かつ、履歴MVPの前、に位置し得る。対称的な双方向予測MV候補のロケーションは、例えば、テスト結果に依存してもよい。ゼロMVの直前に位置することは、最も保守的なロケーションであり得る。
【0181】
対称的なマージ候補は、双方向予測を可能にするPUに対して使用され得る。例えば、対称的なマージ候補は、タイルグループタイプBについての、および/またはBスライス/ピクチャについての、PUに対して使用されてもよい。
【0182】
対称的なMV候補は、利用可能な(例えば、既存の)マージ候補に基づいて、構築され、および/または追加され得る。例示的な手続きは、(例えば、利用可能なマージ候補に基づいて)対称的なMV候補を構築するために本明細書において提供される。
【0183】
例において、以下の例示的な手続きは、マージ候補リストにおいて(例えば、最上位候補から開始して)、(例えば各)利用可能な(例えば、既存の)マージMV候補(例えば、候補i)に対して実装され得る。
【0184】
マージ候補リスト内の既存のマージモードMV候補(例えば、マージ候補i)は、水平MvCandi,x、垂直MvCandi,y、予測参照ピクチャリストrefPicList、参照ピクチャインデックスrefPicIdx、および参照ピクチャオーダカウント(POC)refPicPocを有し得る。候補iが一方向予測(uni-pred)MVであるかどうかの決定が行われ得る。現在のピクチャとマージ候補iによって参照されるピクチャリストとの間のPOC距離と、現在のピクチャ、現在のタイルグループ、または現在のスライスまで等しいPOC距離である、異なる参照ピクチャリスト(例えば、リスト(1-refPicList))内の参照ピクチャがあるかどうかの決定が(例えば、uni-pred MV iについて)行われ得る。例えば、式5が真であるかどうかの決定が行われ得る。
refPicPocCandi-curPicPoc==curPicPoc-refPicPocSymj 式5
ただし、refPicPocCandi、curPicPoc、およびrefPicPocSymjは、マージ候補i(例えば、評価されている候補)の参照ピクチャのPOC、現在のピクチャ/スライスのPOC、および異なる参照ピクチャリスト(例えば、リスト(1-refPicList))からの参照ピクチャjのPOCをそれぞれ表し得る。
【0185】
例えば、等価なPOCを有する対称的な参照ピクチャが、異なる参照ピクチャリスト(例えば、リスト(1-refPicList))内に含まれる場合、対称的なbi-pred MV候補が、マージ候補iについて作成され得る。Uni-predマージ候補MV(例えばマージ候補i)は、refPicList MVと表され得る。refPicList MVから導出される対称的なbi-pred MV候補は、(1-refPicList)MVと表されてもよく、uni-predマージ候補MVの予測方向と反対の予測方向におけるMVを示す。対称的なbi-pred MV候補は、例えば、式6を使用して、uni-pred候補MVの対称的なマッピングとして導出され得る。
MvSymi,x=-MvCandi,x,MvSymi,y=-MvCandi,y 式6
【0186】
対称的なMV候補は、例えば、1つまたは複数の条件などの、1つまたは複数の係数/参照に基づいて、マージ候補リストに追加されてもよい。例において、対称的なbi-predマージ候補は、(i)対称的なbi-pred候補(例えば、新しく作成された対称的なbi-pred候補)が、既にマージ候補リストにない(例えば、リスト内の候補と冗長でない)場合、(ii)リスト内の利用可能なマージ候補の総数が、許容されるマージ候補の最大数未満である場合、および、(iii)マージ候補リスト内の対称的なマージ候補の総数が、許容される対称的なマージ候補の最大数未満である場合、マージ候補リストに追加されてもよい。例において、例えば、例における(i)、(ii)または(iii)が真ではない場合、対称的なMV候補は、マージ候補リストに追加されなくてもよい。
【0187】
候補iがbi-pred MVであるかどうかの決定が行われ得る。(例えば、候補iがbi-pred MVである)例において、2つの参照ピクチャリストに関連付けられた候補iのMVは、2つの個々の(例えば、異なる)uni-pred候補として別々に考慮され得る。対称的なbi-pred候補を構築するための(例えば、および、マージ候補リストに条件付きで追加するための)前述の対称的なマッピング手続きは、2つの個々のuni-pred候補の各々に適用され得る。2つの個々のuni-pred候補に適用される対称的なマッピングは、2つの異なる対称的なマージ候補を生成し得る。2つの異なる対称的なマージ候補を追加するかどうかの決定は、個々に行われ、例えば、各対称的なマージ候補に別々に適用され得る。
【0188】
マージ候補リスト内の各既存のマージ候補を検査する手続きは、例えば、必要とされるマージ候補の最大数および/または許容される対称的なマージ候補の最大数に達した場合に、停止され得る。リスト内の次に利用可能な候補は、例えば、必要とされるマージ候補の最大数および許容される対称的なマージ候補の最大数に達しない場合、例えば、候補iが本明細書において説明されるように処理されるにつれて、処理され得る。追加された(例えば、新しく追加された)対称的な候補は、例えば、候補iが本明細書において説明されるように処理されるにつれて、処理されなくてもよい。
【0189】
例において、対称的な参照ピクチャ(例えば、等しいPOC距離)条件は、例えば、既存のマージ候補について対称的なbi-predマージ候補を生成するべきかどうかを考慮するために、等価なPOC距離ではなく、最も近いPOC距離に基づき得る。例において、最も近いPOCは、(例えば、差分がゼロである)等価なPOCを含み得る。条件付きのPOC距離が、等しいか、最も近いか、または、別の距離であるかは、例えば、テスト結果に依存し得る。例において、異なる(例えば、他方の)参照リストを本明細書において説明されるように検査することは、(例えば、式5において提供されるような)等しいPOC距離条件を満たすために、現在のピクチャに最も近いPOC距離を提供する参照ピクチャを検索することを含み得る。例えば、式7が使用され得る。
【0190】
【0191】
(例えば、式7が使用される)例において、MVスケーリングは、例えば、現在のピクチャへの異なるPOC距離に基づいて、適用され得る。例において、MVスケーリングは、式8に従って適用され得る。
【0192】
【0193】
例において、許容される対称的なマージ候補の最大数は、例えば、1または2に設定されてもよい。対称的なマージ候補の最大数は、例えば、テスト結果に依存してもよい。
【0194】
例において、(例えば、本明細書において説明されるような)対称的なマージ候補構築は、例えば、利用可能な(例えば、既存の)uni-predマージ候補(例えば、既存のuni-predマージ候補のみ)、bi-predマージ候補(例えば、既存のbi-predマージ候補のみ)、および/または、uni-predマージ候補もしくはbi-predマージ候補(例えば、uni-predであるか、もしくはbi-predであるかにかかわらず、全ての既存の候補)に、適用されてもよい。
【0195】
(例えば、本明細書において説明されるような)対称的なマージ候補構築は、エンコーダ側および/またはデコーダ側で行われ得る。デコーダは、例えば、マージ候補リストの符号化されたマージ候補インデックスに基づいて、エンコーダによって構築されたのと同じ対称的なマージ候補を生み出し得る。対称的なマージ候補をマージ候補リストに(例えば、本明細書において説明されるように)追加することは、余分な符号化コストおよび/またはシグナリングコストを招かずに、符号化効率を改善し得る。
【0196】
マージモードでの符号化シンタックス(例えば、merge_flagおよびmerge_index等)が提供され得る。マージ候補リスト構築が提供され得る。例において、対称的なマージ候補は、マージ候補リスト内の1つまたは複数のロケーションに(例えば、ペアワイズ平均MV候補とゼロMV候補との間に)追加され得る。
【0197】
対称的なマージ候補は、アフィンモード予測について構築され得る。マージモードは、例えば、アフィンモードMCPについて使用されてもよい。アフィンモードについてのマージ候補リストは、規則的なインター予測についてのマージ候補リストとは異なり得る。アフィンモード予測の例において、マージ候補は、例えば、継承されたアフィンマージ候補、構築されたアフィンマージ候補、および/またはゼロMVのうちの1つまたは複数を含み得る。(例えば、本明細書において説明されるように作成された)対称的なアフィンマージ候補は、例えば、アフィンマージ候補リストにおいて、非ゼロMV候補の後であって、かつ、ゼロMV候補の前に位置してもよい。
【0198】
図11Bは、アフィン動きについての対称的なマージMV候補構築の例を示す図である。(例えば、
図11Bにおいて示されるような)例において、(例えば、複数のMVを有する)元のアフィンマージ候補は、リスト0内の参照ピクチャを使用し得る。他方の参照ピクチャリスト1内のMVの対称的なマッピングは、元のアフィンマージ候補MVから導出され得る。例において、並進動きベクトルMV0およびMV1(例えば、短い矢印付きの直線)は、対称的な並進動きベクトル(例えば、MV1=-MV0)を示し得る。回転角θ
0およびθ
1により表される回転矢印は、対称的な回転動きベクトル(例えば、θ
1=-θ
0)を示し得る。ズーム係数ρ0およびρ1は、対称的なズーム動きベクトル(例えば、ρ1=1/ρ0)を示し得る。
図11Aと同様に、τ
0、τ
1は、リスト0内の参照ピクチャと現在のピクチャとの間の時間距離(例えばPOC距離)、または現在のピクチャとリスト1内の参照ピクチャとの間の時間距離(例えばPOC距離)をそれぞれ表し得る。
【0199】
例において、対称的なアフィンマージ候補構築は、規則的なインター予測のための対称的なマージ候補構築と同様であってもよい。アフィンモードおよび規則的なインター予測についての対称的なマッピング間の差が、以下に説明される。
【0200】
(例えば、uni-pred候補についての)アファインモードにおいて、2つまたは3つの制御点MVが、4つのパラメータおよび6つのパラメータのアフィンモデルに対してそれぞれ(例えば、本明細書において説明されるように)使用され得る。(例えば、式6に示されるような)対称的なマッピングは、左上の制御点MVに対して適用され得る。左上の制御点MVは、規則的なインター予測モードにおけるMVと同じ並進動きを表し得る。その他の(例えば、1つまたは2つの)制御点(例えば、右上の制御点および左下の制御点)についてのMVは、異なる対称的なマッピング計算に従ってもよい。その他の1つまたは2つの制御点(例えば、右上の制御点および左下の制御点)についてのMVは、ズームおよび/または回転動き情報を表し得る。
【0201】
アフィン動きモデルは、例えば、式9に従って表現され得る。
【0202】
【0203】
式9に示されるように、
【0204】
【0205】
および
【0206】
【0207】
は、場所(x、y)におけるMVの水平成分および垂直成分であり得、dx、dyは、空間的な並進であり得、ρx、ρyは、ズーム係数であり得、θx、θyは、回転角であり得、x、yは、水平方向および垂直方向をそれぞれ表し得る。式9は、6つのパラメータのアフィン動きモデルを表し得る。4つのパラメータのアフィンモデルは、式9および式10と調和し得る。
ρx=ρy、θx=θy 式10
【0208】
例えば、4つのパラメータのアフィンモデルにおいて、2つの制御点のMVは、uni-pred MV候補から知られ得る。2つの制御点のMVは、例えば、(0、0)における左上の制御点0の
【0209】
【0210】
、および、(w、0)における右上の制御点の
【0211】
【0212】
を含んでもよく、ただし、wは、CUの幅であり得る。2つの場所およびMVを式9に代入し、式10の仮定と組み合わせると、式11および式12を生じさせ得る。
【0213】
【0214】
式11を式12に代入することは、式13を生じさせ得る。
【0215】
【0216】
例において、ルックアップ表(LUT)が、例えば、ρ、sinθ、および/またはcosθのうちの1つまたは複数の値について解くために使用され、その結果、エンコーダおよびデコーダは、同じ計算結果を生じさせ得る。例において、LUTは、式14を使用して作成され得る。
【0217】
【0218】
式14に示されるように、Nは、制御精度(例えば、256)とすることができ、a=0...Nであり、b=1...Nである。式14の右辺で使用されている角括弧は、最も近い整数への丸めを表し得る。
【0219】
異なる予測方向(例えば、反対の予測方向)への対称的なマッピングの例において、4つのアフィンモデルパラメータ(d
x、d
y、ρ、θ)は、(-d
x、-d
y、ρ
-1、-θ)に(例えば、対称的に)マッピングされてもよい。ズーム率ρの対称的なマッピングは、ズーム率ρの逆数(例えば、
図11を参照すると、ρ1=1/ρ0)となり得る。(例えば、反対の予測方向からの)他方の参照ピクチャリストの対応する2つの制御点MVは、例えば、式15および式16に示されるように導出され得る。
【0220】
【0221】
式15および式16に示されるように、
【0222】
【0223】
、
【0224】
【0225】
は、他方の予測方向からの2つの制御点MVを表し得る。
【0226】
式9から開始すると、(例えば、本明細書において説明されるような)4つのパラメータのアフィン動き対称的マッピングプロセスは、6つのパラメータのアフィンモデルについて左下の制御点の対称的なマッピングMVを解くために、および/または計算するために、拡張され得る。式17において、
【0227】
【0228】
は、(0、h)における左下の制御点を表すことができ、ただし、hは、CUの高さである。
【0229】
(0、h)を式9に代入することは、式17を生じさせ得る。
【0230】
【0231】
式9の6つのパラメータのアフィンモデルにおいて、4つのパラメータモデルにおける本明細書において導出された(ρ、θ)は、(ρx、θx)となり得、これは、水平方向に沿ったズーム率および回転角を表す。式17は、(ρy、θy)を解くために使用されることができ、これは、垂直方向に沿ったズーム率および回転角を表す。
【0232】
式11を式17に代入することは、式18を生じさせ得る。
【0233】
【0234】
1つまたは複数のLUT(例えば、本明細書において説明されるLUTと同様に適用される)は、ρy、sinθy、および/またはcosθyのうちの1つまたは複数を解くために使用され得る。(例えば、1つまたは複数のLUTを使用する)対称的なマッピングは、(dx、dy、ρy、θy)から(-dx、-dy、ρy
-1、-θy)にマッピングするためにモデルパラメータに対して行われ得る。他方の方向からの左下の制御点MVは、例えば、式19によって提供され得る。
【0235】
【0236】
本明細書において例として提示されているように、異なる対称的なマッピングスキームが、規則的なインター予測についての対称的なアフィンマージ候補および対称的なマージ候補を構築するために使用され得る。規則的なインター予測についての対称的なアフィンマージ候補構築および対称的なマージ候補構築のために使用される、1つまたは複数の態様、考察またはバリエーションは、同様(例えば、同じ)であり得る。同様の考察またはバリエーションは、例えば、以下、すなわち、等しい(例えば、または最も近い)POC距離条件、許容される対称的なマージ候補の最大数、対称的な候補を構築するために使用され得る既存のマージ候補のタイプ(例えば、uni-predのみ、bi-predのみ、または両方)等のうちの1つまたは複数を含み得る。
【0237】
アフィンマージモードでの符号化シンタックス(例えば、merge_subblock_flagおよびmerge_subblock_index)が提供され得る。アフィンマージ候補リスト構築が提供され得る。(例えば、本明細書において説明されるような)対称的なアフィンマージ候補は、例えば、構築されたアフィンマージMV候補の後であって、かつ、ゼロMV候補の前に、アフィンマージ候補リストに追加されてもよい。
【0238】
特徴および要素は、特定の組み合わせにおいて上述されているが、当業者は、各特徴または要素が単独でまたは他の特徴および要素との任意の組み合わせにおいて使用されることが可能であることを認識するであろう。また、本明細書において説明される方法は、コンピュータまたはプロセッサによる実行のためのコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実装されてもよい。コンピュータ可読媒体の例は、(有線接続またはワイヤレス接続で送信される)電気信号およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、読出専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスクなどの磁気媒体、磁気光学媒体、ならびに、CD-ROMディスクおよびデジタル多用途ディスク(DVD)などの光学媒体を含むが、これらに限定されない。ソフトウェアと関連するプロセッサは、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータにおける使用のための無線周波数送受信器を実装するために使用されてもよい。
【手続補正書】
【提出日】2024-09-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオデコーディングのためのデバイスであって、
現在のピクチャにおける予測ユニット(PU)について、マージ候補リストを取得し、
前記マージ候補リストのアフィンマージ候補に基づいて対称的なアフィンマージ候補を取得し、前記対称的なアフィンマージ候補は、第1の対称的な動きベクトル差(MVD)を備え、
前記PUについてのMVDの予測のための更新されたマージ候補リストを生成し、前記更新されたマージ候補リストは、前記アフィンマージ候補および前記対称的なアフィンマージ候補を備え、
前記PUについての前記MVDの前記予測に基づいて前記PUを備えた前記現在のピクチャをデコードする、
ように構成されたプロセッサを備えた、デバイス。
【請求項2】
前記第1の対称的なMVDは、前記アフィンマージ候補に関連付けられた第1の制御点のMVDに基づいて決定される、請求項1に記載のデバイス。
【請求項3】
前記対称的なアフィンマージ候補は、第2の対称的なMVDをさらに備え、前記プロセッサは、
前記アフィンマージ候補の第2の制御点に関連付けられたズーム係数に対して逆であるズーム係数を用いて前記第2の対称的なMVDを決定する、
ようにさらに構成されている、請求項2に記載のデバイス。
【請求項4】
前記対称的なアフィンマージ候補は、第2の対称的なMVDをさらに備え、前記プロセッサは、
前記アフィンマージ候補の第2の制御点に関連付けられた回転角に対して反対の方向の回転角を用いて前記第2の対称的なMVDを決定する、
ようにさらに構成されている、請求項2に記載のデバイス。
【請求項5】
前記第1の対称的なMVDは、前記アフィンマージ候補に関連付けられた制御点の前記MVDに対して対称な並進MVDを示し、前記更新されたマージ候補リストは、前記マージ候補リストに前記対称的なアフィンマージ候補を挿入することにより生成される、請求項1に記載のデバイス。
【請求項6】
ビデオデコーディングのための方法であって、
現在のピクチャにおける予測ユニット(PU)について、マージ候補リストを取得することと、
前記マージ候補リストのアフィンマージ候補に基づいて対称的なアフィンマージ候補を取得することであって、前記対称的なアフィンマージ候補は、第1の対称的な動きベクトル差(MVD)を備える、ことと、
前記PUについてのMVDの予測のための更新されたマージ候補リストを生成することであって、前記更新されたマージ候補リストは、前記アフィンマージ候補および前記対称的なアフィンマージ候補を備える、ことと、
前記PUについての前記MVDの前記予測に基づいて前記PUを備えた前記現在のピクチャをデコードすることと、
を含む、方法。
【請求項7】
前記第1の対称的なMVDは、前記アフィンマージ候補に関連付けられた第1の制御点のMVDに基づいて決定される、請求項6に記載の方法。
【請求項8】
前記対称的なアフィンマージ候補は、第2の対称的なMVDをさらに備え、前記方法は、
前記アフィンマージ候補の第2の制御点に関連付けられたズーム係数に対して逆であるズーム係数を用いて前記第2の対称的なMVDを決定すること、
をさらに、請求項7に記載の方法。
【請求項9】
前記対称的なアフィンマージ候補は、第2の対称的なMVDをさらに備え、前記方法は、
前記アフィンマージ候補の第2の制御点に関連付けられた回転角に対して反対の方向の回転角を用いて前記第2の対称的なMVDを決定すること、
をさらに含む、請求項7に記載の方法。
【請求項10】
ビデオエンコーディングのためのデバイスであって、
現在のピクチャにおける予測ユニット(PU)について、マージ候補リストを取得し、
前記マージ候補リストのアフィンマージ候補に基づいて対称的なアフィンマージ候補を取得し、前記対称的なアフィンマージ候補は、第1の対称的な動きベクトル差(MVD)を備え、
前記PUについてのMVDの予測のための更新されたマージ候補リストを生成し、前記更新されたマージ候補リストは、前記アフィンマージ候補および前記対称的なアフィンマージ候補を備え、
前記PUについての前記MVDの前記予測に基づいて前記PUを備えた前記現在のピクチャをエンコードする、
ように構成されたプロセッサを備えた、デバイス。
【請求項11】
前記第1の対称的なMVDは、前記アフィンマージ候補に関連付けられた第1の制御点のMVDに基づいて決定される、請求項10に記載のデバイス。
【請求項12】
前記対称的なアフィンマージ候補は、第2の対称的なMVDをさらに備え、前記プロセッサは、
ズーム係数又は回転角のうちの少なくとも1つを用いて前記第2の対称的なMVDを決定する、ようにさらに構成され、前記ズーム係数は、前記アフィンマージ候補の第2の制御点に関連付けられたズーム係数に対して逆であり、前記回転角は、前記アフィンマージ候補の前記第2の制御点に関連付けられた回転角に対して反対の方向である、請求項10に記載のデバイス。
【請求項13】
ビデオエンコーディングのための方法であって、
現在のピクチャにおける予測ユニット(PU)について、マージ候補リストを取得することと、
前記マージ候補リストのアフィンマージ候補に基づいて対称的なアフィンマージ候補を取得することであって、前記対称的なアフィンマージ候補は、第1の対称的な動きベクトル差(MVD)を備える、ことと、
前記PUについてのMVDの予測のための更新されたマージ候補リストを生成することであって、前記更新されたマージ候補リストは、前記アフィンマージ候補および前記対称的なアフィンマージ候補を備える、ことと、
前記PUについての前記MVDの前記予測に基づいて前記PUを備えた前記現在のピクチャをエンコードすることと、
を含む、方法。
【請求項14】
前記第1の対称的なMVDは、前記アフィンマージ候補に関連付けられた第1の制御点のMVDに基づいて決定される、請求項13に記載の方法。
【請求項15】
前記対称的なアフィンマージ候補は、第2の対称的なMVDをさらに備え、前記方法は、
ズーム係数又は回転角のうちの少なくとも1つを用いて前記第2の対称的なMVDを決定すること、をさらに含み、前記ズーム係数は、前記アフィンマージ候補の第2の制御点に関連付けられたズーム係数に対して逆であり、前記回転角は、前記アフィンマージ候補の前記第2の制御点に関連付けられた回転角に対して反対の方向である、請求項13に記載の方法。