IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヴィド スケール インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-16
(45)【発行日】2022-08-24
(54)【発明の名称】局所照明補償に基づいた動き補償双予測
(51)【国際特許分類】
   H04N 19/105 20140101AFI20220817BHJP
   H04N 19/136 20140101ALI20220817BHJP
   H04N 19/176 20140101ALI20220817BHJP
   H04N 19/583 20140101ALI20220817BHJP
   H04N 19/577 20140101ALI20220817BHJP
【FI】
H04N19/105
H04N19/136
H04N19/176
H04N19/583
H04N19/577
【請求項の数】 23
(21)【出願番号】P 2020537618
(86)(22)【出願日】2019-01-15
(65)【公表番号】
(43)【公表日】2021-08-05
(86)【国際出願番号】 US2019013623
(87)【国際公開番号】W WO2019143602
(87)【国際公開日】2019-07-25
【審査請求日】2021-02-15
(31)【優先権主張番号】62/647,273
(32)【優先日】2018-03-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/786,671
(32)【優先日】2018-12-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/617,964
(32)【優先日】2018-01-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】シウ、シャオユウ
(72)【発明者】
【氏名】フ、ユーウェン
(72)【発明者】
【氏名】ユー、ヤン
(72)【発明者】
【氏名】ボンドパッダエ、サウラヴ
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第2018/067732(WO,A1)
【文献】国際公開第2017/197146(WO,A1)
【文献】米国特許出願公開第2016/0165209(US,A1)
【文献】米国特許出願公開第2014/0112392(US,A1)
【文献】米国特許出願公開第2014/0003522(US,A1)
【文献】H. Liu, Y. Chen, J. Chen, L. Zhang, and M. Karczewicz,Local Illumination Compensation,TU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG),VCEG-AZ06,52nd Meeting: Warsaw, Poland,2015年06月,pp.1-4
【文献】Xiaoyu Xiu, et al.,Description of SDR, HDR, and 360° video coding technology proposal by InterDigital Communications and Dolby Laboratories,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-J0015-v1,10th Meeting: San Diego, US,2018年04月,pp.10-11
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
レント符号化ユニット(カレントCU)を取得するステップと、
前記カレントCUが双予測されるかどうかを判定するステップと、
前記カレントCUが双予測されるとの判定に基づいて、第1の時間参照CUに隣接した参照テンプレートサンプルの第1のセットおよび第2の時間参照CUに隣接した参照テンプレートサンプルの第2のセットを識別するステップであって、前記参照テンプレートサンプルの第1のセットおよび前記参照テンプレートサンプルの第2のセットは、前記カレントCUに隣接したテンプレートサンプルのセットに対応している、ステップと、
前記識別された参照テンプレートサンプルの第1のセットおよび前記識別された参照テンプレートサンプルの第2のセットに基づいて、双予測された参照テンプレートサンプルのセットを取得するステップと、
前記取得された双予測された参照テンプレートサンプルのセットおよび前記カレントCUについての前記テンプレートサンプルのセットの間の差を最小化することに基づいて、前記双予測されたカレントCUに対する局所照明補償(LIC)スケーリングファクタを取得するステップと、
前記取得されたLICスケーリングファクタに基づいて、前記カレントCU内の調節されたサンプルを取得するステップ
備えことを特徴とするデコードするための方法。
【請求項2】
カレント符号化ユニット(カレントCU)を取得するステップと、
前記カレントCUが双予測されるかどうかを判定するステップと、
前記カレントCUが双予測されるとの判定に基づいて、第1の時間参照CUに隣接した参照テンプレートサンプルの第1のセットおよび第2の時間参照CUに隣接した参照テンプレートサンプルの第2のセットを識別するステップであって、前記参照テンプレートサンプルの第1のセットおよび前記参照テンプレートサンプルの第2のセットは、前記カレントCUに隣接したテンプレートサンプルのセットに対応している、ステップと、
前記識別された参照テンプレートサンプルの第1のセットおよび前記識別された参照テンプレートサンプルの第2のセットに基づいて、双予測された参照テンプレートサンプルのセットを取得するステップと、
前記取得された双予測された参照テンプレートサンプルのセットおよび前記カレントCUについての前記テンプレートサンプルのセットの間の差を最小化することに基づいて、前記双予測されたカレントCUに対する局所照明補償(LIC)スケーリングファクタを取得するステップと、
前記取得されたLICスケーリングファクタに基づいて、前記カレントCUをエンコードするステップと
を備えることを特徴とするエンコードするための方法
【請求項3】
前記カレントCUは、カレントブロックまたはカレントサブブロックを含む、ことを特徴とする請求項1または2に記載の方法。
【請求項4】
前記双予測された参照テンプレートサンプルのセットを取得するステップは、前記第1の時間参照CUに隣接した前記参照テンプレートサンプルの第1のセットおよび前記第2の時間参照CUに隣接した前記参照テンプレートサンプルの第2のセットを平均化することを含むことを特徴とする請求項1または2に記載の方法。
【請求項5】
前記第1の時間参照CUに隣接した前記参照テンプレートサンプルの第1のセットおよび前記第2の時間参照CUに隣接した前記参照テンプレートサンプルの第2のセットは、前記カレントCUの動きベクトルに基づいて識別される、ことを特徴とする請求項1または2に記載の方法。
【請求項6】
前記双予測された参照テンプレートサンプルのセットと前記カレントCUについての前記テンプレートサンプルのセットとの間の前記差は、最小2乗法誤差(LMSE)アプローチに基づいて最小化されることを特徴とする請求項1または2に記載の方法。
【請求項7】
前記LICスケーリングファクタは、前記双予測された参照テンプレートサンプルのセットおよび前記カレントCUについての前記テンプレートサンプルのセットと関連付けられた最小値または最大値の少なくとも1つを使用した線形モデルアプローチに基づいて取得されることを特徴とする請求項1または2に記載の方法。
【請求項8】
前記カレントCUのサブブロックが前記カレントCUの境界にあるかどうかを判定するステップと、
前記カレントCUの前記サブブロックが前記カレントCUの前記境界にあるとの判定に基づいて、前記サブブロックの複数の隣接サブブロックを識別するステップと、
複数のテンプレート参照サンプルを導出するよう、前記識別された複数の隣接サブブロックと関連付けられた複数の動きベクトルを前記サブブロック内のサンプルに適用するステップと、
前記複数のテンプレート参照サンプルに基づいて、重複ブロック動き補償(OBMC)予測サンプルを取得するステップと、
前記取得されたLICスケーリングファクタを前記OBMC予測サンプルに適用するステップと、
さらに備えことを特徴とする請求項1または2に記載の方法。
【請求項9】
前記カレントCUについての前記テンプレートサンプルのセットは、前記カレントCUの隣接サンプルのセットを含むことを特徴とする請求項1または2に記載の方法。
【請求項10】
ビデオデコーディングデバイスであって、
レント符号化ユニット(カレントCU)を取得し、
前記カレントCUが双予測されるかどうかを判定し、
前記カレントCUが双予測されるとの判定に基づいて、第1の時間参照CUに隣接した参照テンプレートサンプルの第1のセットおよび第2の時間参照CUに隣接した参照テンプレートサンプルの第2のセットを識別し、前記参照テンプレートサンプルの第1のセットおよび前記参照テンプレートサンプルの第2のセットは、前記カレントCUに隣接したテンプレートサンプルのセットに対応しており
前記識別された参照テンプレートサンプルの第1のセットおよび前記識別された参照テンプレートサンプルの第2のセットに基づいて、双予測された参照テンプレートサンプルのセットを取得し、
前記取得された双予測された参照テンプレートサンプルのセットおよび前記カレントCUについての前記テンプレートサンプルのセットの間の差を最小化することに基づいて、前記双予測されたカレントCUに対する局所照明補償(LIC)スケーリングファクタを取得し、
前記取得されたLICスケーリングファクタに基づいて、前記カレントCU内の調節されたサンプルを取得す
うに構成されたプロセッサを備えたことを特徴とするビデオデコーディングデバイス。
【請求項11】
前記カレントCUは、カレントブロックまたはカレントサブブロックを含む、ことを特徴とする請求項10に記載のビデオデコーディングデバイス。
【請求項12】
前記双予測された参照テンプレートサンプルのセットを取得するように構成された前記プロセッサは、前記第1の時間参照CUに隣接した前記参照テンプレートサンプルの第1のセットおよび前記第2の時間参照CUに隣接した前記参照テンプレートサンプルの第2のセットを平均化するように構成された前記プロセッサを含むことを特徴とする請求項10に記載のビデオデコーディングデバイス。
【請求項13】
前記第1の時間参照CUに隣接した前記参照テンプレートサンプルの第1のセットおよび前記第2の時間参照CUに隣接した前記参照テンプレートサンプルの第2のセットは、前記カレントCUの動きベクトルに基づいて識別されることを特徴とする請求項10に記載のビデオデコーディングデバイス。
【請求項14】
前記双予測された参照テンプレートサンプルのセットと前記カレントCUについての前記テンプレートサンプルのセットとの間の前記差は、最小2乗法誤差(LMSE)アプローチに基づいて最小化されることを特徴とする請求項10に記載のビデオデコーディングデバイス。
【請求項15】
前記LICスケーリングファクタは、前記双予測された参照テンプレートサンプルのセットおよび前記カレントCUについての前記テンプレートサンプルのセットと関連付けられた最小値または最大値の少なくとも1つを使用した線形モデルアプローチを使用することに基づいて取得されることを特徴とする請求項10に記載のビデオデコーディングデバイス。
【請求項16】
前記プロセッサは、
前記カレントCUのサブブロックが前記カレントCUの境界にあるかどうかを判定し、
前記カレントCUの前記サブブロックが前記カレントCUの前記境界にあるとの判定に基づいて、前記サブブロックの複数の隣接サブブロックを識別し、
複数のテンプレート参照サンプルを導出するよう、前記識別された複数の隣接サブブロックと関連付けられた複数の動きベクトルを前記サブブロック内のサンプルに適用し、
前記複数のテンプレート参照サンプルに基づいて、重複ブロック動き補償(OBMC)予測サンプルを取得し、
前記取得されたLICスケーリングファクタを前記OBMC予測サンプルに適用する、
ようにさらに構成されていることを特徴とする請求項10に記載のビデオデコーディングデバイス。
【請求項17】
前記カレントCUについての前記テンプレートサンプルのセットは、前記カレントCUの隣接サンプルのセットを含むことを特徴とする請求項10に記載のビデオデコーディングデバイス。
【請求項18】
LICパラメータは、前記LICスケーリングファクタおよびLICオフセットを含み、前記プロセッサは、前記取得された双予測された参照テンプレートサンプルのセットおよび前記カレントCUについての前記テンプレートサンプルのセットに基づいて、前記LICオフセットを取得するようにさらに構成されていることを特徴とする請求項10に記載のビデオデコーディングデバイス
【請求項19】
LICパラメータは、前記LICスケーリングファクタおよびLICオフセットを含み、前記プロセッサは、前記取得された双予測された参照テンプレートサンプルのセットおよび前記カレントCUについての前記テンプレートサンプルのセットに基づいて、前記LICオフセットを取得するように構成されていることを特徴とする請求項10に記載のビデオデコーディングデバイス。
【請求項20】
ビデオエンコーディングデバイスであって、
カレント符号化ユニット(カレントCU)を取得し、
前記カレントCUが双予測されるかどうかを判定し、
前記カレントCUが双予測されるとの判定に基づいて、第1の時間参照CUに隣接した参照テンプレートサンプルの第1のセットおよび第2の時間参照CUに隣接した参照テンプレートサンプルの第2のセットを識別し、前記参照テンプレートサンプルの第1のセットおよび前記参照テンプレートサンプルの第2のセットは、前記カレントCUに隣接したテンプレートサンプルのセットに対応しており、
前記識別された参照テンプレートサンプルの第1のセットおよび前記識別された参照テンプレートサンプルの第2のセットに基づいて、双予測された参照テンプレートサンプルのセットを取得し、
前記取得された双予測された参照テンプレートサンプルのセットおよび前記カレントCUについての前記テンプレートサンプルのセットの間の差を最小化することに基づいて、前記双予測されたカレントCUに対する局所照明補償(LIC)スケーリングファクタを取得し、
前記取得されたLICスケーリングファクタに基づいて、前記カレントCUをエンコードする
ように構成されたプロセッサを備えたことを特徴とするビデオエンコーディングデバイス
【請求項21】

前記プロセッサは、
前記カレントCUのサブブロックが前記カレントCUの境界にあるかどうかを判定し、
前記カレントCUの前記サブブロックが前記カレントCUの前記境界にあるとの判定に基づいて、前記サブブロックの複数の隣接サブブロックを識別し、
複数のテンプレート参照サンプルを導出するよう、前記識別された複数の隣接サブブロックと関連付けられた複数の動きベクトルを前記サブブロック内のサンプルに適用し、
前記複数のテンプレート参照サンプルに基づいて、重複ブロック動き補償(OBMC)予測サンプルを取得し、
前記取得されたLICスケーリングファクタを前記OBMC予測サンプルに適用する
ようにさらに構成されていることを特徴とする請求項20に記載のビデオエンコーディングデバイス
【請求項22】
LICパラメータは、前記LICスケーリングファクタおよびLICオフセットを含み、前記プロセッサは、前記取得された双予測された参照テンプレートサンプルのセットおよび前記カレントCUについての前記テンプレートサンプルのセットに基づいて、前記LICオフセットを取得するようにさらに構成されていることを特徴とする請求項20に記載のビデオエンコーディングデバイス
【請求項23】
請求項1または請求項2の方法をプロセッサに実施させる命令を含むコンピュータ読取り可能媒体
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、参照によってその内容が本明細書に組み込まれる、2018年1月16日に出願された米国仮特許出願第62/617,964号、2018年3月23日に出願された米国仮特許出願第62/647,273号および2018年12月31日に出願された米国仮特許出願第62/786,671号の利益を主張する。
【背景技術】
【0002】
ビデオ符号化システムは、ビデオ信号を圧縮して、例えば、そのような信号の記憶空間および/または伝送帯域幅を削減するために使用されることがある。ブロックベース、ウェーブレットベース、オブジェクトベースシステム、および/またはブロックベースハイブリッドビデオ符号化システムなどの様々なタイプのビデオ符号化システムが存在することがある。ブロックベースのビデオ符号化システムは、MPEG1/2/4 part2、H.264/MPEG-4 part10 AVC、VC-1、および/またはHigh Efficiency Video Coding(HEVC)などの国際的なビデオ符号化標準をサポートすることができる。
【発明の概要】
【0003】
双予測された(bi-predicted)参照テンプレートサンプルおよびテンプレートサンプルに基づいて局所照明補償(LIC:local illumination compensation)パラメータを計算するシステム、方法、および機器が本明細書で説明される。計算されたLICパラメータは、時間隣接ピクチャの間で存在することがある局所照明変化(local illumination change)に対処するために使用されてもよい。例えば、カレント符号化ユニット(CU)に対する計算されたLICパラメータは、局所照明変化に対処するようカレントCUに対して調節されたサンプルを生成するために使用されてもよい。
【0004】
ビデオCUが処理されてもよい。例えば、ビデオCUは、符号化ブロックもしくはサブブロックであってもよく、または符号化ブロックもしくはサブブロックを含んでもよい。サブブロックは、標準符号化ブロックを分割することによって導出されてもよい。カレントCUは、ビデオビットストリームにおいて受信されてもよい。
【0005】
カレントCUが予測されてもよい。カレントCUが双予測されるかどうかが判定されてもよい。カレントCUが双予測される場合、カレントCUと関連付けられた参照テンプレートサンプルが識別されてもよい。例えば、参照テンプレートサンプルは、カレントCUの隣接時間参照CUであってもよい。参照テンプレートサンプルは、カレントCUに隣接したカレントCUについてのテンプレートサンプルに対応してもよい。例えば、カレントCUについてのテンプレートサンプルは、カレントCUの隣接サンプルであってもよい。時間参照CUに隣接した参照テンプレートサンプルは、例えば、カレントCUの動きベクトルに基づいて識別されてもよい。
【0006】
双予測された参照テンプレートサンプルは、参照テンプレートサンプルに基づいて生成されてもよい。例えば、双予測された参照テンプレートサンプルは、時間参照CUに隣接した参照テンプレートサンプルを平均化することに基づいて生成されてもよい。カレントCUについての参照テンプレートサンプルが識別されてもよい。参照テンプレートサンプルは、カレントCUについてのテンプレートサンプルに対応するカレントCUの時間参照CUに隣接してもよい。
【0007】
双予測された参照テンプレートサンプルは、LICパラメータを計算するために使用されてもよい。例えば、ICパラメータは、生成された双予測された参照テンプレートサンプルおよびカレントCUについてのテンプレートサンプルに基づいて計算されてもよい。実施例では、LICパラメータは、双予測された参照テンプレートサンプルとカレントCUについてのテンプレートサンプルとの間の差を最小化することによって計算されてもよい。
【0008】
双予測された参照テンプレートサンプルのセットとカレントCUについてのテンプレートサンプルのセットとの間の差は、最小2乗法誤差(LMSE)アプローチに基づいて最小化されてもよい。実施例では、LICパラメータは、双予測された参照テンプレートサンプルのセットおよびカレントCUについてのテンプレートサンプルのセットと関連付けられた最小値および最大値を使用した線形モデルアプローチに基づいて計算されてもよい。計算されたLICパラメータは、双予測されたCUに適用されてもよく、調節された双予測されたカレントCUを生成することができる。
【0009】
LICパラメータは、重複ブロック動き補償(OBMC)段階において適用されてもよい。例えば、カレントCUのサブブロックがカレントCUの境界にあるかどうかが判定されてもよい。カレントCUのサブブロックがカレントCUの境界にある場合、サブブロックの1つまたは複数の隣接サブブロックが識別されてもよい。隣接サブブロックと関連付けられた1つまたは複数の動きベクトルは、1つまたは複数のテンプレート参照サンプルを導出するよう、サブブロックにおけるサンプルに適用されてもよい。OBMC予測サンプルは、テンプレート参照サンプルに基づいて生成されてもよい。例えば、OBMC予測サンプルは、は、テンプレート参照サンプルを平均化することに基づいて生成されてもよい。LICパラメータは、生成されたOBMC予測サンプルに適用されてもよい。実施例では、動き補償段階において計算されたLICパラメータは、メモリまたはバッファにキャッシュされてもよく、OBMC段階において使用されてもよい。実施例では、LICパラメータは、メモリまたはバッファからフェッチされてもよく、OBMC段階において使用されてもよい。
【0010】
実施例では、カレントCUについてのテンプレートサンプルが識別されてもよい。テンプレートサンプルがサブサンプリングされてもよい。LICパラメータは、サブサンプリングされたテンプレートサンプルに基づいて計算されてもよい。カレントCUについてのテンプレートサンプルは、サブサンプリングされたテンプレートサンプルの間で識別されてもよい。
【0011】
実施例では、LICパラメータ計算に対して使用される参照テンプレートサンプルが識別されてもよい。参照テンプレートサンプルは、カレントCUについてのテンプレートサンプルに対応する時間参照CUに隣接してもよい。参照テンプレートサンプルがサブサンプリングされてもよい。LICパラメータは、サブサンプリングされた参照テンプレートサンプルに基づいて計算されてもよい。LIC計算に対して使用される参照テンプレートサンプル(例えば、カレントCUについてのテンプレートサンプルに対応する時間参照CUに隣接した)は、サブサンプリングされた参照テンプレートサンプルから識別されてもよい。
【図面の簡単な説明】
【0012】
図1】ブロックベースハイブリッドビデオ符号化システム(block-based hybrid video encoding system)の例を示す図である。
図2】ブロックベースビデオデコーダの例を示す図である。
図3】局所照明補償(LIC)処理の例を示す図である。
図4】改良された時間動きベクトル予測(ATMVP)演算の例を示す図である。
図5】空間-時間動きベクトル予測(STMV:spatial-temporal motion vector prediction)演算の例を示す図である。
図6A】テンプレートマッチングを使用したフレームレートアップコンバージョン(FRUC:frame-rate up conversion)演算の例を示す図である。
図6B】バイラテラルマッチング(bilateral-matching)を使用したFRUC演算の例を示す図である。
図7】重複(overlapped)ブロック動き補償(OBMC)演算の例を示す図である。
図8A】LICが適用されるときの符号化ブロックに対して予測信号を生成することと関連付けられた動き補償演算の例を示す図である。
図8B】LICが適用されるときの符号化ブロックに対して予測信号を生成することと関連付けられた動き補償演算の例を示す図である。
図9】双方向LIC演算の例を示す図である。
図10A】双方向LICが適用されるときの動き補償演算の例を示す図である。
図10B】双方向LICが適用されるときの動き補償演算の例を示す図である。
図11A】LICパラメータがOBMC段階において一度導出されるときの動き補償演算の例を示す図である。
図11B】LICパラメータがOBMC段階において一度導出されるときの動き補償演算の例を示す図である。
図12A】その間に標準動き補償から導出されたLICパラメータをOBMCに対して再使用することができる動き補償演算の例を示す図である。
図12B】その間に標準動き補償から導出されたLICパラメータをOBMCに対して再使用することができる動き補償演算の例を示す図である。
図13A】OBMCに対して予測信号が生成された後にLICが実行される補償演算の例を示す図である。
図13B】OBMCに対して予測信号が生成された後にLICが実行される補償演算の例を示す図である。
図14A】LICパラメータが標準動き補償段階において導出され、OBMCの後にLICベースサンプル調節(LIC-based sample adjustment)が実行される補償演算の例を示す図である。
図14B】LICパラメータが標準動き補償段階において導出され、OBMCの後にLICベースサンプル調節が実行される補償演算の例を示す図である。
図15】汎用双予測(GBi:generalized bi-prediction)サポートによるビデオエンコーダの例示的なブロック図を示す。
図16】GBiモジュールのブロック図の例示的なブロック図を示す。
図17】GBiモジュールをサポートするビデオデコーダの例示的なブロック図を示す。
図18】GBiモジュールの例示的なブロック図を示す。
図19A】1つまたは複数の開示される実施形態を実装することができる例示的な通信システムを示すシステム図である。
図19B】実施形態に従った、図19Aに示された通信システム内で使用することができる例示的な無線送信/受信ユニット(WTRU)を示すシステム図である。
図19C】実施形態に従った、図19Aに示された通信システム内で使用することができる例示的な無線アクセスネットワーク(RAN)および例示的なコアネットワーク(CN)を示すシステム図である。
図19D】実施形態に従った、図19Aに示された通信システム内で使用することができる更なる例示的なRANおよび更なる例示的なCNを示すシステム図である。
【発明を実施するための形態】
【0013】
ここで、例示的な実施形態の詳細な説明が様々な図を参照して説明される。この説明は、考えられる実装態様の詳細な例を提供するが、その詳細は例示であることを意図しており、本出願の範囲を限定することを意図していないことに留意されるべきである。
【0014】
ビデオ符号化システムは、例えば、デジタルビデオ信号の記憶および/または配信と関連付けられた記憶空間および/または伝送帯域幅を削減するために、デジタルビデオ信号を含んでもよい。ビデオ符号化システムは、ブロックベースシステム、ウェーブレットベースシステム、および/またはオブジェクトベースシステムなどを含んでもよい。ブロックベースビデオ符号化システムは、MPEG-1/2/4 part 2、H.264/MPEG-4 part 10 AVC、VC-1、および/またはHigh Efficiency Video Coding(HEVC)などの国際ビデオ符号化標準をサポートすることができる。
【0015】
HEVCは、前の世代のビデオ符号化技術(例えば、H.264/MPEGAVC)と比較して、ビットレート節約(例えば、約50%)または同等の知覚品質をもたらすことができる。HEVCを通じて優れた符号化効率を達成することができる(例えば、追加の符号化ツールにより)。Joint Exploration Model(JEM)などのソフトウェアコードベースは、HEVCモデル(HM)に基づいてもよい。符号化は、JEMソフトウェアに統合されてもよく、例えば、JVET共通検査条件(CTC:common test condition)を使用して検査されてもよい。HMおよび/またはJEMソフトウェアは、ブロックベースハイブリッドビデオ符号化フレームワークに基づいてもよい。
【0016】
図1は、ブロックベースハイブリッドビデオ符号化システム600の例を示す。入力ビデオ信号602は、符号化ユニット(CU:coding unit)単位で処理されてもよい。CUは、1つまたは複数ビデオブロックまたはサブブロックを含んでもよい。CU(例えば、ビデオブロックまたはサブブロック)は、特定のサイズ(例えば、画素の数)と関連付けられてもよく、高解像度(例えば、1080ピクセル以上)ビデオ信号を圧縮するために使用されてもよい(例えば、HEVCにおいて)。CUは、例えば、64×64画素を含んでもよい。CUは、区分化されてもよい(例えば、予測ユニット(PU:prediction unit)に)。別個の(例えば、同一または異なる)予測手順がPUに適用されてもよい。例えば、(例えば、各々の)入力ビデオブロック(例えば、マクロブロック(MB)またはCU)に対して空間予測660および/または時間予測662が実行されてもよい。
【0017】
空間予測(例えば、イントラ予測)は、例えば、1つ以上の既に符号化された隣接ブロックのサンプル(例えば、参照サンプル)からの画素を使用することによって、カレントビデオブロックを予測することができる。カレントビデオブロックおよび1つまたは複数の既に符号化された隣接ブロックは、同一のビデオピクチャまたはビデオスライスにあってもよい。空間予測は、ビデオ信号に内在することがある時間冗長性を削減することができる。時間予測(例えば、インター予測、動き補償予測など)は、例えば、1つまたは複数の既に符号化されたビデオピクチャからの再構築された画素を使用することによって、カレントビデオブロックを予測することができる。時間予測は、ビデオ信号に内在することがある空間冗長性を削減することができる。例えば、1つまたは複数の動きベクトル(MV)によって、カレントブロックと参照ブロックとの間の動きの量および/または動きの方向を示すことができる、所与のビデオブロックに対する時間予測信号がシグナリングされてもよい。例えば、複数の参照ピクチャをサポートすることができるとき(例えば、H.264/AVCまたはHEVCに対して)、参照ピクチャインデックスが送信されてもよい(例えば、ビデオブロックごとに)。参照インデックスは、それから時間予測信号を導出することができる参照ピクチャ(例えば、参照ピクチャストア664内の)を識別するために使用されてもよい。
【0018】
エンコーダにおけるモード決定および制御ロジックユニット680は、例えば、レート歪み最適化手順に基づいて、(例えば、最良の)予測モードを選択してもよい(例えば、空間予測および/または時間予測の後)。予測ブロックは、カレントビデオブロック616から差し引かれてもよい。予測残差は、非相関にされてもよく(例えば、変換ユニット604において)、量子化されてもよい(例えば、量子化ユニット606において)。量子化された残差係数は、例えば、再構築された残差を形成するよう、逆量子化されてもよく(例えば、610において)、逆変換されてもよい(例えば、612において)。再構築された残差は、例えば、再構築されたビデオブロックを形成するよう、予測ブロック626に再度追加されてもよい。例えば、参照ピクチャストア664に置かれる前に、インループフィルタリング(例えば、デブロッキングフィルタおよび/または適応ループフィルタ)が再構築されたビデオブロックに適用されてもよい(例えば、ループフィルタ666によって)。再構築されたビデオブロックは、後のビデオブロックを符号化するために使用されてもよい。符号化モード情報(例えば、インターもしくはイントラ)、予測モード情報、動き情報、および/または量子化された残差係数は、エントロピ符号化ユニット608に送信されてもよい。情報のうちの1つまたは複数は、エントロピ符号化ユニット608によって圧縮されてもよく、出力ビットストリーム620にパック(pack)されてもよい。
【0019】
図2は、ブロックベースビデオ復号システム(例えば、ビデオデコーダ)の例を示す。ビデオビットストリーム202は、エントロピ復号ユニット208においてアンパック(unpack)およびエントロピ復号されてもよい。符号化モードおよび/または予測モード情報は、例えば、予測ブロックを形成するよう、空間予測ユニット260(例えば、イントラ符号化されるとき)または動き補償予測ユニット262などの時間予測ユニット(例えば、インター符号化されるとき)に送信されてもよい。残差変換係数は、例えば、残差ブロックを再構築するよう、逆量子化ユニット210および逆変換ユニット212に提供されてもよい。予測ブロックおよび残差ブロックは、例えば、226において加算演算を介して共に加算されてもよい。インループフィルタリング266は、例えば、参照ピクチャストア264に記憶される前に再構築されたブロックに適用されてもよい。再構築ピクチャストア264に記憶される前に再構築されたビデオ220は、ディスプレイデバイスを駆動し、および/または後のビデオブロックを予測するよう送出されてもよい(例えば、参照ピクチャストア264から)。
【0020】
符号化システムは、図1および2に示された例示的な符号化/復号ワークフローを実装することができる。符号化システムは、空間予測ユニット(例えば、イントラ予測のための)、時間予測ユニット(例えば、インター予測のための)、変換ユニット、量子化ユニット、エントロピ符号化ユニット、および/またはループフィルタなど、図1および2に示された機能的ユニットのうちの1つまたは複数を含んでもよい。
【0021】
実施例では(例えば、動き補償予測が使用されるときの)、対応する参照ピクチャ(例えば、エンコーダとデコーダとの間で同期することができる)内の対応する一致ブロック(matching block)を追跡するために、動き情報(例えば、動きベクトル(MV)および/または参照ピクチャインデックス)が使用されてもよい(例えば、イントラ符号化されたブロックごとに)。インターブロックの動き情報を符号化して、例えば、ビットストリームにおいて動き情報を送信することと関連付けられたオーバヘッドを削減するために、複数のモード(例えば、2つのモード)が使用されてもよい。モードは、例えば、マージモードおよび非マージモードを含んでもよい。ブロックが非マージモードを使用して符号化される場合、MVは、MV予測子を使用して符号化されてもよく(例えば、差次的符号化される)、MVとMV予測子との間の差は、デコーダに送信されてもよい。ブロックがマージモードを使用して符号化される場合、ブロックの動き情報は、空間および/または時間隣接ブロックから導出されてもよく、候補ブロックのグループに基づいて動き(例えば、最良の動き)を選択するために競合ベース方式(competition based scheme)が適用されてもよい。選択された動き(例えば、最良の動き)のインデックスは、デコーダにおいて同一の動き情報を再確立するために使用されてもよい。
【0022】
局所照明変化に対処するために、局所照明補償(LIC)が使用されてもよい。局所照明変化は、例えば、時間隣接ピクチャの間で存在することがある。LICは、線形モデルに基づいてもよい。LICは、スケーリングファクタおよびオフセットを参照サンプルに適用してもよい。例えば、LICは、スケーリングファクタおよびオフセットを参照サンプルに適用してもよく、カレントブロックの予測サンプルを取得してもよい。LICは、以下の式(1)のような数式によって表されてもよい。
【0023】
【数1】
【0024】
P(x,y)は、座標(x,y)におけるカレントブロックの予測信号であってもよい。Pr(x+vx,y+vy)は、動きベクトル(vx,vy)によって示された参照ブロックであってもよい。LICパラメータαおよびβは、参照ブロックに適用することができる、スケーリングファクタおよびオフセットをそれぞれ表してもよい。
【0025】
図3は、LIC演算の例を示す図である。示されるように、LICがCUなどのビデオブロックに対して適用されるとき、LICパラメータ(例えば、αおよびβ)を導出するために最小2乗法誤差(LMSE)アプローチが採用されてもよい。処理は、カレントブロックの隣接サンプル(例えば、図3に示されるように、テンプレートT内のテンプレートサンプル)と1つまたは複数の時間参照ピクチャ内のそれらの対応する参照サンプル(例えば、図3に示されるように、T0および/またはT1などの参照テンプレートサンプル)との間の差を最小化することを含んでもよい。例えば、処理は、カレントブロックに対するテンプレートサンプルとカレントCUに対するテンプレートサンプルに対応する時間参照CUに隣接した参照テンプレートサンプルとの間の差を最小化してもよい。これは、式(2)および(3)によって示されてもよい。
【0026】
【数2】
【0027】
【数3】
【0028】
パラメータNは、LICパラメータを導出するために使用することができるテンプレートサンプルの数を表してもよい。T(xi,yi)は、座標(xi,yi)におけるカレントブロックのテンプレートサンプルを表してもよい。
【0029】
【数4】
【0030】
は、カレントブロックと関連付けられた動きベクトル(例えば、L0と関連付けられたMV0またはL1と関連付けられたMV1)に基づいたテンプレートサンプル(例えば、参照テンプレートサンプル)に対応する参照サンプルを表してもよい。テンプレートサンプル(例えば、カレントCUに対する)および参照テンプレートサンプル(例えば、時間参照CUに隣接している)は、LICパラメータを導出するようサブサンプリングされてもよい(例えば、2:1サブサンプリングを介して)。例えば、図3に示される影付きのサンプルは、LICパラメータを導出するために使用されてもよい。
【0031】
予測方向、例えば、L0およびL1に対してLICパラメータが導出および適用されてもよい。実施例では、LICが双方向ブロックに適用されるとき、またはカレントブロックが2つの時間予測ブロックによって予測されるとき、予測方向、例えば、L0およびL1に対してLICパラメータが導出および適用されてもよい。異なる方向に対してLICパラメータが導出および適用されてもよい(例えば、別個に導出および適用される)。図3は、2つの動きベクトルMV0およびMV1に基づいて、2つの参照テンプレートサンプルT0およびT1を取得することができることを示す。2つの方向におけるLICパラメータの対応するペアは、例えば、T0とTとの間、およびT1とTとの歪みを別個に最小化することによって、式(2)および(3)に従って導出されてもよい。カレントブロックの双方向予測信号(例えば、双方向予測信号)は、式(4)に示されるように、2つのLIC単予測ブロックを組み合わせることによって生成されてもよい。
【0032】
【数5】
【0033】
α0およびβ0は、L0動きベクトル
【0034】
【数6】
【0035】
と関連付けられたLICパラメータであってもよい。α1およびβ1は、L1動きベクトル
【0036】
【数7】
【0037】
と関連付けられたLICパラメータであってもよい。
【0038】
【数8】
【0039】
および
【0040】
【数9】
【0041】
は、リストL0およびL1のそれぞれからのカレントブロックの対応する時間参照ブロックであってもよい。
【0042】
動き補償は、サブブロックベースであってもよい。サブブロックレベル動き補償アプローチは、改良された時間動きベクトル予測(ATMVP:advanced temporal motion vector prediction)、空間-時間動きベクトル予測(STMVP:spatial-temporal motion vector prediction)、および/またはフレームレートアップコンバージョン(FRUC:frame-rate up conversion)モードなどを含んでもよい。本明細書で説明されるように、符号化ブロックは、予測方向に対して動きベクトルと関連付けられてもよい。符号化ブロックは、複数の小型サブブロックに更に分割されてもよく(例えば、上記言及された符号化モードのうちの1つまたは複数において)、(例えば、各々の)サブブロックに対する動きブロックは別個に導出されてもよい。例えば、動き補償段階においてサブブロックに対して(例えば、最終的には符号化ブロックに対して)予測信号を生成するためにサブブロック動き情報が使用されてもよい。本明細書で言及される符号化ユニットは、符号化ブロックまたはサブブロックであってもよく、またはそれらを含んでもよい。CUは、複数のビデオ処理および分配ユニット(VPDU:video processing and distribution unit)を含んでもよい。例えば、CUは、そのサイズに応じて複数のVPDUを含んでもよい。VPDUは、領域(例えば、64×64の正方形領域)を、他の領域(例えば、他の64×64の正方形領域)の処理を開始する前に処理してもよい。VPDUは、ハードウェアの実装態様に含まれてもよい。VPDUは、1つまたは複数のCU分割制約を課してもよい。例えば、親ブロックのサイズが1つの方向において64個のサンプルよりも大きい場合、トリプルツリー(TT:triple tree)分割は可能にされないことがある。例えば、結果として生じる子CUのサイズが1つの方向において64個のサンプルよりも小さく、他の方向において64個のサンプルよりも大きい場合、バイナリツリー(BT:binary tree)分割は可能にされないことがある。当業者は、本明細書の全体を通じて使用されるCUまたはCUレベルがVPDUまたはVPDUレベルを含んでもよく、CUまたはCUレベルがVPDUまたはVPDUレベルと交換可能に使用されてもよいことを認識するであろう。
【0043】
ATMVPにより、例えば、ブロックがカレントブロック内のサブブロックに対して複数の動き情報(例えば、動きベクトルおよび参照インデックスに関連する情報)を導出することを可能にすることによって、時間動きベクトル予測を改善することができる。サブブロックに対する動き情報は、例えば、カレントピクチャの時間隣接ピクチャの対応する小型ブロックから導出されてもよい。以下のうちの1つまたは複数が実行されてもよい。カレントブロックに対応する配列された(collocated)ブロックなどのブロックは、時間参照ピクチャ(例えば、配列されたピクチャ)内で識別されてもよい。カレントブロックは、1つまたは複数のサブブロックに分割されてもよい。サブブロックの動き情報は、配列されたピクチャ内の対応する小型ブロックに基づいて導出されてもよい。
【0044】
図4は、ATMVP演算の例を示す図である。配列されたブロックおよび配列されたピクチャは、例えば、カレントブロックの1つまたは複数の空間隣接ブロックと関連付けられた動き情報に基づいて識別されてもよい。実施例では、図4に示されるように、マージ候補リスト内の第1の利用可能な候補が考慮されてもよい。例えば、ブロックAは、カレントブロックと関連付けられたマージ候補リストの走査順に基づいて、カレントブロックの第1の利用可能なマージ候補であると推定されてもよい。カレントブロックに対して配列されたピクチャおよび配列されたブロックを識別するために、ブロックAの対応する動きベクトル(例えば、MVA)およびその参照インデックスが使用されてもよい。例えば、ブロックAの動きベクトル(例えば、MVA)をカレントブロックの座標に追加することによって、配列されたピクチャ内の配列されたブロックの位置が判定されてもよい。
【0045】
例えば、配列されたブロック内のサブブロッの対応する小型ブロック(例えば、図4における短い矢印によって示されるような)に基づいて、カレントブロックのサブブロックと関連付けられた動き情報が導出されてもよい。これは、カレントブロック内の1つまたは複数のサブブロッに対して行われてもよい。配列されたブロック内の(例えば、各々の)小型ブロックの識別された動き情報は、カレントブロック内の対応するサブブロックに対する動きベクトル参照インデックスに変換されてもよい。変換は、例えば、時間動きベクトルスケーリングを適用することができる、時間動きベクトル予測(TMVP)と同様の方式において実行されてもよい。
【0046】
符号化ブロックのサブブロックと関連付けられた動き情報は、再帰的方式において(例えば、STVMPにおいて)導出されてもよい。図5は、STMVP演算の例を示す図である。例えば、図5は、カレントブロックが4個のサブブロック(例えば、A、B、C、およびD)を含んでもよいことを示す。カレントサブブロックAの隣接小型ブロック(例えば、サブブロック)(例えば、サブブロックAの空間的隣接)は、a、b、c、およびdとラベル付けされてもよい(例えば、図5に示される影付きブロック)。隣接小型ブロックは、カレントサブブロックAと同一のサイズを有してもよい(例えば、各々が有する)。サブブロックAについての動き導出は、その空間的隣接(例えば、2つの空間的隣接)を識別することができる。第1の隣接は、カレントサブブロックAの上に位置することができる、小型ブロックcであってもよい。小型ブロックが利用可能でなく、またはイントラ符号化される場合、1つまたは複数の他の隣接小型ブロック(例えば、カレントブロックの上にあるブロック)は、特定の順序において(例えば、左から右に)チェックされてもよい。
【0047】
サブブロックAの第2の隣接は、カレントサブブロックAの左に位置することができる、小型ブロックbであってもよい。小型ブロックbが利用可能でなく、またはイントラ符号化される場合、1つまたは複数の他の隣接小型ブロック(例えば、カレントブロックの左にあるブロック)は、特定の順序において(例えば、上から下に)チェックされてもよい。サブブロックAの1つまたは複数の空間的隣接と関連付けられた動き情報は、フェッチされてもよい。サブブロックAの1つまたは複数の時間的隣接と関連付けられた動き情報は、TMVP処理と同様の手順に従うことによって取得されてもよい。利用可能な空間的および時間的隣接と関連付けられ動き情報は(例えば、3つまでの)、平均化されてもよく、サブブロックAについての動き情報として使用されてもよい。本明細書で説明されるSTMVP処理は、カレントビデオブロック内のサブブロックについての動き情報を導出するよう繰り返されてもよい。例えば、STMVP処理は。カレントビデオブロック内のサブブロックについての動き情報を導出するよう、ラスタスキャン順に基づいて繰り返されてもよい。
【0048】
例えば、インター符号化されたブロックに対してFRUCが実行されてもよい。FRUCにより、符号化されたブロックと関連付けられた動き情報(例えば、動きベクトルおよび/または参照インデックスと関連付けられた情報)をシグナリングすることがスキップされてもよい。動き情報は、例えば、テンプレートマッチングおよび/またはバイラテラルマッチング技術を使用して、デコーダ側で導出されてもよい。カレントブロックと関連付けられたマージ候補リストおよび/または先行動きベクトル(preliminary motion vector)のセットは、最小絶対差合計(SAD)を提供することができる候補を識別するようチェックされてもよい(例えば、デコーダにおける動き導出手順の間)。先行動きベクトルのセットは、カレントブロックの1つまたは複数の時間的に配列されたブロックと関連付けられた1つまたは複数の動きベクトルに基づいて生成されてもよい。候補は、開始点として選択されてもよい。開始点の周りの局所探索が実行されてもよい。例えば、局所探索は、テンプレートマッチングおよび/またはバイラテラルマッチングなどに基づいてもよい。最小SADをもたらすことがあるMVは、カレントブロック全体についてのMVと見なされてもよい。動き情報は、サブブロックレベルにおいて精緻化されてもよい。
【0049】
図6Aおよび図6Bは、FRUCの例を示す図である。図6Aは、テンプレートマッチングの例を示す。図6Bは、バイラテラルマッチングの例を示す。テンプレートマッチング(例えば、図6Aに示されるような)は、例えば、カレントピクチャ内のテンプレート(例えば、カレントブロックの上および/または左隣接ブロック)と参照ピクチャ内のブロック(例えば、テンプレートと同一のサイズを有する)との間の一致(例えば、最良の一致)を発見することによって、カレントブロックの動き情報を導出するために使用されてもよい。バイラテラルマッチング(例えば、図6Bに示されるような)は、例えば、複数の(例えば、2つの)異なる参照ピクチャ内のカレントブロックの動き軌道に沿った2つのブロックの間の最良の一致を発見することによって、カレントブロックの動き情報を導出するために使用されてもよい。バイラテラルマッチングの動き探索処理は、動き軌道に基づいてもよい。実施例では、参照ブロックを示す動きベクトル(例えば、MV0およびMV1)は、カレントピクチャと(例えば、各々の)参照ピクチャ(例えば、T0および/またはT1)との間の時間距離に比例してもよい。
【0050】
FRUC動き探索(例えば、テンプレートマッチングおよびバイラテラルマッチングのコンテキストにおける)が実行されてもよい。CUレベルの動き探索が実行されてもよい。初期MVは、全体のCU(例えば、カレントCU)に対して導出されてもよい。CUと関連付けられた動き情報は、例えば、導出されたCUレベルのMVを開始点として使用して、サブブロックレベルにおいて精緻化されてもよい。カレントCUは、1つまたは複数のサブブロック(例えば、M×Mサブブロック)に分割されてもよい。Mの値は、例えば、式(5)に従って計算されてもよい。
【0051】
【数10】
【0052】
wおよびhは、カレントCUの幅および高さをそれぞれ表してもよい。パラメータDは、例えば、3に設定されてもよく、シーケンスパラメータセット(SPS)においてシグナリングされてもよい、予め定義された分割幅(splitting depth)であってもよい。
【0053】
重複ブロック動き補償(OBMC)は、動き補償段階において阻害するアーチファクトを取り除くために適用されてもよい。OBMCは、ブロックの右および下境界を除く、1つまたは複数の(例えば、全ての)ブロック間境界に対して実行されてもよい。実施例では、ビデオブロックがサブブロックモード(例えば、ATMVP、STMVP、および/またはFRUC、など)において符号化されるとき、OBMCは、サブブロックの境界のうちの1つまたは複数(例えば、サブブロックの境界の全ての4個)に対して実行されてもよい。
【0054】
図7は、OBMC演算の例を示す図である。OBMCは、サブブロック(例えば、図7におけるサブブロックA)および/またはカレントサブブロックと関連付けられた動きベクトル)に適用されてもよい。OBMCがサブブロックに適用される場合、隣接サブブロック(例えば、4個の隣接サブブロックまで)と関連付けられた動きベクトルは、カレントサブブロックの予測信号を導出するために使用されてもよい。隣接サブブロックと関連付けられた動きベクトルを使用した予測ブロックは、カレントサブブロックに対して予測信号を生成するために平均化されてもよい。
【0055】
ブロックに対して予測信号を生成するために、OBMCにおいて加重平均が使用されてもよい。隣接サブブロックの動きベクトルを使用した予測信号は、PNと表されてもよい。カレントサブブロックAの動きベクトルを使用した予測信号は、PCと表されてもよい。PNの特定の行および/または列(例えば、最初および/または最後の4個の行/列)内のサンプル(例えば、OBMCが適用されるときの)は、PC内の同一の位置においてサンプルにより加重平均されてもよい。加重平均が適用されるサンプルは、対応する隣接サブブロックに対して判定されてもよい。例えば、加重平均が適用されるサンプルは、隣接サブブロックの位置に基づいて、対応する隣接サブブロックに対して判定されてもよい。
【0056】
実施例では、隣接サブブロックがカレントサブブロックAの上にあるとき(例えば、図7における隣接サブブロックbなど)、カレントサブブロックの最初のX個の行内のサンプルが調節されてもよい。実施例では、隣接サブブロックがカレントサブブロックAの下にあるとき(例えば、図7における隣接サブブロックdなど)、カレントサブブロックの最後のX個の行内のサンプルが調節されてもよい。実施例では、隣接サブブロックがカレントサブブロックの左にあるとき(例えば、図7におけるサブブロックaなど)、カレントサブブロックの最初のX個の列内のサンプルが調節されてもよい。実施例では、隣接サブブロックがカレントサブブロックの右にあるとき(例えば、図7におけるサブブロックcなど)、カレントサブブロックの最後のX個の列内のサンプルが調節されてもよい。
【0057】
Xおよび/または重みの値は、カレントブロックを符号化するために使用される符号化モードに基づいて判定されてもよい。実施例では、カレントブロック符号化がサブブロックモードにおいてスキップされるとき、重み係数{1/4,1/8,1/16,1/32}がPNの最初の4個の行/列に対して使用されてもよく、重み係数{3/4,7/8,15/16,31/32}がPCの最初の4個の行/列に対して使用されてもよい。実施例では、カレントブロックがサブブロックモードおいて符号化されるとき、PNおよびPC最初の2つの行/列(例えば、最初の2つの行/列のみ)が平均化されてもよい。それらの実施例では、PNに対して重み係数{1/4,1/8}が使用されてもよく、PCに対して重み係数{3/4,7/8}が使用されてもよい。
【0058】
汎用双予測(GBi)は、双予測モードに対して動き補償予測を改善することができる。双予測モードでは、式(6)に示されるサンプルxにおける予測信号は、式(6)によって計算されてもよい。
【0059】
【数11】
【0060】
P[x]は、ピクチャ位置xに位置するサンプルxの予測信号(例えば、結果として生じる予測信号)を表してもよい。Pi[x+vi]は、i番目のリスト(例えば、リスト0、リスト1)についての動きベクトル(MV)viを使用したxの動き補償予測信号を示してもよい。パラメータw0およびw1は、ブロック内の1つまたは複数の(例えば、全ての)サンプルにわたって共有される重み値を示してもよい。式(6)に基づいて、例えば、w0およびw1などの重み値を調節することによって、1つまたは複数の予測信号が取得されてもよい。例えば、重み値w0および/またはw1は、単予測および双予測と同一の予測を示すように構成されてもよい。重み値は、参照リストL0による単予測に対して(w0,w1)=(1,0)、参照リストL1による単予測に対して(w0,w1)=(0,1)、および2つの参照リストによる双予測に対して(w0,w1)=(0.5,0.5)であるように構成されてもよい。重みは、CUごとにシグナリングされてもよい。重み値は、w0+w1=1に設定されてもよい。そのようなケースでは、1つの重み(例えば、1つの重みのみ)がシグナリングされてもよく、式(6)は、式(7)に示されるように単純化されてもよい。
【0061】
【数12】
【0062】
重み値w1は、離散化されてもよく、例えば、{-1/4,1/4,3/8,1/2,5/8,3/4,5/4}であってもよい。重み値は、範囲内の(例えば、小さい制限範囲)内のインデックス値によって示されてもよい。
【0063】
図15は、汎用GBiサポートによるビデオエンコーダの例示的なブロック図を示す。図1に示されたビデオエンコーダと同様に、空間予測および時間予測は、図15に示されるビデオエンコーダにおける2つの画素ドメイン予測モジュールであってもよい。空間予測モジュールは、図1において導入された1つと同様(例えば、同一)であってもよい。図1における動き予測のための時間予測モジュールは、例えば、双予測が加重平均方式において2つの別個の予測信号を組み合わせることを可能にすることによって、GBiサポートにより拡張されてもよい。選択された重みインデックスは、ビットストリームにおいてシグナリングされてもよい。図16は、双予測モジュールの例示的なブロック図を示す。図16に表されるように、GBi推定モジュールは、インター予測信号を生成する処理を含んでもよい。GBi推定モジュールは、参照ピクチャ(複数化)において動き推定を実行してもよい。例えば、GBi推定モジュールは、カレントビデオブロックと双予測との間の重み付け双予測誤差を最小化するよう、2つの参照ブロックを示す2つの動きベクトル(MV)(例えば、2つの最適MV)を探索してもよく、重みインデックス(例えば、最適重みインデックス)を探索してもよい。
【0064】
汎用双予測の予測信号は、例えば、2つの予測ブロックの加重平均として算出されてもよい。
【0065】
図17は、GBiモジュールをサポートし、ビデオエンコーダ(例えば、図15に示された)によって生成されたビットストリームを復号するビデオデコーダの例示的なブロック図を示す。符号化モードおよび予測情報は、例えば、空間予測または動き補償予測(例えば、汎用双予測サポートによる)を使用して、予測信号を導出するために使用されてもよい。汎用双予測に対し、例えば、予測ブロックを生成するよう、ブロック動き情報および重み値(例えば、重み値を示すインデックスの形式にある)が受信されてもよく、復号されてもよい。
【0066】
ブロック動き情報および重み値により、汎用双予測モジュール(例えば、図16に示される)は、例えば、2つの動き補償予測ブロックの加重平均として、汎用双予測の予測信号を算出してもよい。図18は、双予測モジュールの例示的なブロック図を示す。図18に示されるように、GBi推定ユニットは、重み値推定ユニットおよび動き推定ユニットを含んでもよい。GBi推定ユニットは、最終インター予測信号などのインター予測信号を生成してもよい。重み値推定ユニットは、カレントビデオブロックと双予測との間の重み付け双予測誤差を最小化するよう、重みインデックス(例えば、最適重みインデックス)を探索してもよい。
【0067】
本明細書で説明されるGBiは、双予測的加重平均(BPWA:bi-predictive weighted averaging)であってもよく、またはそれを含んでもよい。
【0068】
本明細書で説明されるように、LICは、例えば、動き補償段階において異なるピクチャの間の照明変化に対処することによって、標準動き補償予測を拡張することができる。図8A~8Bは、LICが適用されるときの符号化ブロックに対して予測信号を生成することと関連付けられた例示的な動き補償演算を示す図である。図8A~8Bの例では、符号化ブロックは、双予測であってもよく、複数のサブブロックを含んでもよい(例えば、ブロックは、サブブロックモードにおいて符号化されてもよい)。図8A~8Bにおける点線のテキストのブロックは、LIC関連演算を説明することができる。
【0069】
実施例では、カレントブロックまたはサブブロックが双予測されるとき、例えば、式(4)に示されたように、参照リストL0およびL1における予測信号に別個にLICが適用されてもよい。LICパラメータ推定および/またはLICベースサンプル調節(例えば、式(1)に示された)は、カレントブロックまたはサブブロックについての予測信号を生成するよう、2回実行されてもよい。そのようなアプローチ(例えば、(2)および(3)に示された)は、LICスケーリングファクタおよびオフセットを導出することができる(例えば、テンプレートベースアプローチを使用して)。LICパラメータ(例えば、LICスケーリングファクタおよび/またはオフセット)は、サブブロック符号化モード(例えば、ATMVP、STMVP、および/またはFRUCなど)と組み合わされてもよい。サブブロック符号化モードにより、ブロックは、1つまたは複数の(例えば、複数の)サブブロックに分割されてもよく、サブブロックは、対応する動きベクトル(例えば、一意な動きベクトル)と関連付けられてもよい。LICがブロックに適用されるとき、LICパラメータは、サブブロックの予測方向(例えば、L0およびL1)に対して導出されてもよい。
【0070】
実施例では、LICが符号化ブロックに適用されるとき(例えば、図8A~8Bに示されるように)、動き補償段階(例えば、標準動き補償段階)および/またはOBMC段階においてLICが有効にされてもよい。LICは、1つまたは複数の(例えば、複数の)機会において呼び出され(invocate)てもよい。例えば、LICは、動き補償段階および/またはOBMC段階において呼び出されてもよい。呼び出されたLICは、カレントブロックについての予測信号を生成してもよい。符号化ブロックの内部のサブブロックは、動きベクトル(例えば、その自身の動きベクトル)が割り当てられてもよい。LIC演算(例えば、LICパラメータ推定および/またはLICベースサンプル調節)は、動きベクトルに対して実行されてもよい。図7は、本明細書で説明されるアプローチと関連付けられた実施例を示す。図7におけるサブブロックA、a、b、c、およびdが双予測される場合、サブブロックAについての予測信号を生成するよう、8回のLIC演算がOBMC段階において実行されてもよい。8回のLIC演算のうちの2回は、隣接サブブロックと関連付けられた動きベクトルを使用したLICベース動き補償に関連してもよい。Kがカレントブロックの内部のサブブロックの数を表す場合、カレントブロックについての予測信号を生成するよう、合計で10×K回のLICの呼び出し(例えば、標準動き補償と関連付けられた2×K回のLIC呼び出しおよびOBMCと関連付けられた2×4×K回のLIC呼び出し)が実行されてもよい。
【0071】
LICは、1つまたは複数の時間参照ピクチャとカレントピクチャとの間の照明変化を補償するために採用されてもよい(例えば、動き補償段階において)。LICは、線形モデルに基づいて適用されてもよい。本明細書で説明されるように、双予測が適用されるとき、スケーリングファクタおよび/または重みが予測方向に対して推定されてもよい(例えば、別個に推定される)。
【0072】
LIC演算を実行するときに、以下のうちの1つ以上が適用されてもよい。LICパラメータは、双予測されたビデオ符号化ユニット(例えば、ブロックまたはサブブロック)に対して推定されてもよい(例えば、1回推定される)。例えば、LICパラメータは、カレントブロックまたはサブブロックと関連付けられたテンプレートサンプルの双予測参照テンプレートサンプルを考慮することによって(例えば、参照テンプレートサンプルを平均化することによって)推定されてもよい。カレントブロックまたはサブブロックについてのテンプレートサンプルの双予測参照テンプレートサンプルを考慮することによって、カレントブロック/サブブロックについての予測信号を生成するよう、より少ないLIC演算(例えば、1つのLICパラメータ推定および1つのLICベースサンプル調節を実行することができる。
【0073】
LICパラメータを導出および/または調節するために、最適化アプローチが使用されてもよい。リストL0およびL1と関連付けられたスケーリングファクタおよびオフセットが共同で最適化されてもよい(例えば、共同で調節される)。
【0074】
サブブロックモードのコンテキストにおいていくつかの実施例が本明細書で提供される。例えば、符号化ブロックは、1つまたは複数のサブブロックに分割されてもよく、サブブロックは、動きベクトルが割り当てられてもよい。当業者は、異なる符号化モードにおいて符号化されたビデオブロック(例えば、分割されていなくてもよく、および/または単一の動きを有さなくてもよい符号化ブロック)に本明細書で説明されるアプローチが適用されてもよいことを認識するであろう。
【0075】
カレントブロックおよび/またはカレントサブブロックは、双予測されてもよい。実施例では、カレントブロックまたはサブブロックが双予測される場合、LICパラメータが導出されてもよく(例えば、別個に導出される)、参照リストL0およびL1に対して適用されてもよい。参照リストと関連付けられたLIC予測信号は、カレントブロックまたはサブブロックについての予測信号を生成するよう平均化されてもよい。本明細書で説明されるいくつかの実施例では、LMSEベースLIC導出が1つ以上の回数で実行されてもよい。
【0076】
双予測参照テンプレートサンプル(例えば、双予測された参照テンプレートサンプル)は、カレントブロックまたはサブブロックと関連付けられたテンプレートサンプルに対して生成されてもよい。参照テンプレートサンプルは、例えば、カレントブロックまたはサブブロックと関連付けられた1つまたは複数の動きベクトルに基づいて識別されてもよい。例えば、参照テンプレートサンプルは、カレントCUの隣接時間参照CUであってもよく、カレントCUについてのテンプレートサンプルに対応してもよい。参照テンプレートサンプルは、LICパラメータ導出において共同で考慮されてもよい(例えば、平均化される)。例えば、テンプレートサンプルについての識別された参照テンプレートサンプルは、双予測された参照テンプレートサンプルを生成するよう平均化されてもよい。実施例では、LMSEベースアプローチ(例えば、LMSE推定または計算)は、カレントブロックまたはサブブロックについての予測信号を調節するために使用することができるLICパラメータを導出するために適用されてもよい。例えば、LMSEベースアプローチは、LICパラメータを判定し、その結果、双予測された参照テンプレート参照サンプルとカレントCUについてのテンプレートサンプルとの間の差を最小化することができるように実行されてもよい。
【0077】
実施例では、LICパラメータは、線形モデルアプローチを使用することに基づいて計算されてもよい。例えば、線形モデルアプローチは、双予測された参照テンプレートサンプルおよびテンプレートサンプルと関連付けられた最小値および/または最大値を使用してもよい。テンプレートサンプルおよび双予測された参照テンプレートサンプルの最小値および/または最大値は、LICパラメータを判定するために使用されてもよい。
【0078】
図9は、本明細書で説明されるLIC演算(例えば、双方向予測または双予測されたCUに対する)の例を示す図である。T(x,y)は、座標(x,y)におけるカレントブロックまたはサブブロックについてのテンプレートサンプルを表してもよい。
【0079】
【数13】
【0080】
および
【0081】
【数14】
【0082】
はそれぞれ、カレントCUについてのテンプレートサンプルに対応する、時間参照CU(例えば、L0およびL1リストのそれぞれ)に隣接した参照テンプレートサンプルを表してもよい。参照テンプレートサンプルは、カレントブロックまたはサブブロックの双方向動きベクトル
【0083】
【数15】
【0084】
および
【0085】
【数16】
【0086】
に基づいて導出されてもよい。テンプレートサンプルの双予測された参照テンプレートサンプルが生成されてもよい。例えば、双予測された参照テンプレートサンプルは、カレントCUについてのテンプレートサンプルの識別された参照テンプレートサンプル(例えば、図9に示されたL0およびL1などの隣接時間参照CUと関連付けられた)を平均化することによって、式(8)に基づいて生成されてもよい。
【0087】
【数17】
【0088】
LMSEベースアプローチは、LICと関連付けられたスケーリングファクタおよび/またはオフセットなどのLICパラメータを導出するために使用されてもよい。LICと関連付けられたスケーリングファクタおよび/またはオフセットは、例えば、式(9)および(10)に示されるように、テンプレートサンプル(例えば、カレントCUについての)と対応する双予測された参照テンプレートサンプル(例えば、双方向参照サンプル)との間の差を最小化することによって、LMSEベースアプローチを使用して導出されてもよい。
【0089】
【数18】
【0090】
【数19】
【0091】
パラメータNは、カレントブロック/サブブロックと関連付けられたテンプレートサンプルの数を表してもよい。
【0092】
当業者は、本明細書で説明されるLMSEアプローチが、LICパラメータを導出する例であってもよいことを認識するであろう。そのようにして、本明細書で説明される線形モデルアプローチなどの1つまたは複数のアプローチは、双予測された参照テンプレートサンプルを使用してLICパラメータを導出するために使用されてもよい。
【0093】
導出されたLICパラメータは、例えば、式(11)に示されるように、線形モデルに基づいてカレントブロックまたはサブブロックの双予測された参照テンプレートサンプル信号に適用されてもよい。
【0094】
【数20】
【0095】
P(x,y)は、カレントブロックまたはサブブロックの予測信号であってもよい。
【0096】
【数21】
【0097】
および
【0098】
【数22】
【0099】
は、L0およびL1のそれぞれと関連付けられたカレントブロックまたはサブブロックの2つの参照ブロックおよび/またはサブブロックであってもよい。
【0100】
本明細書で説明されるように、双予測されたブロックまたはサブブロックについての予測信号を導出するよう、1回のLICパラメータ推定および1回のLICベースサンプル調節が実行されてもよい。図10A~10Bは、本明細書で説明される双方向LICが適用された後の動き補償演算の例を示す図である。
【0101】
パラメータKは、カレント符号化ブロック内のサブブロックの総数を表してもよい。図8A~8Bに示されたように、1つまたは複数の予測方向に対してLICパラメータを別個に推定することは、カレントブロックについての予測信号を生成する約10×K回のLIC演算をもたらすことができる。図10A~10Bに示されるアプローチを使用して、カレントブロックについての予測信号を生成するよう、約5×K回のLIC演算が実行されてもよい。5×K回のLIC演算は、例えば、標準動き補償と関連付けられた約K回のLIC演算およびOBMCと関連付けられた約4×K回のLIC演算を含んでもよい。
【0102】
図8A~8Bに示されたように、LICは、OBMC段階において有効にされてもよい。例えば、LICは、LICが符号化ブロックに適用されるときに有効にされてもよい。OBMC段階においてLICを有効にすることは、1つまたは複数の(例えば、複数の)LIC呼び出しをもたらすことができ、カレントブロックについての予測信号を生成することができる。ブロックが複数のサブブロックおよび動きベクトルを有するサブブロックに分割されることを可能にするサブブロックモード(例えば、ATMVP、STMVP、および/またはFRUCなど)においてLICが適用されるとき、例えば、カレントサブブロックの空間的隣接と関連付けられた動きベクトルを使用してOBMCベース動き補償の間にLICパラメータ導出を頻繁に呼び出すことができるので、LIC呼び出しの数が更に増加することができる。
【0103】
参照テンプレートサンプルは、OBMC段階においてLICパラメータを導出するよう組み合わされてもよい。OBMC段階におけるLIC演算は、簡易化されてもよい。カレントブロックまたはサブブロックについてのテンプレートサンプルと関連付けられた参照テンプレートサンプルは、(例えば、参照テンプレートサンプルを平均化することによって)組み合わされてもよい。スケーリングファクタおよびオフセットのペアが推定されてもよい。例えば、スケーリングファクタおよびオフセットのペアは、テンプレートサンプルと組み合わされた参照テンプレートサンプルとの間の差を最小化することによって推定されてもよい。スケーリングファクタおよびオフセットのペアは、カレントブロックまたはサブブロックのOBMCベース動き補償に対して使用されてもよい。図7に示された例を使用して、カレントサブブロックAのテンプレートサンプルについての組み合わされた予測信号は、隣接サブブロック、例えば、a、b、c、およびdなどの4個の隣接サブブロックの動きベクトルを使用して、対応する参照テンプレートサンプルを平均化することによって生成されてもよい。隣接サブブロックの動きベクトルを使用して参照テンプレートサンプルを平均化することを、式(12)によって示すことができる。
【0104】
【数23】
【0105】
サンプル
【0106】
【数24】
【0107】
【0108】
【数25】
【0109】
【0110】
【数26】
【0111】
、および
【0112】
【数27】
【0113】
は、隣接サブブロックa、b、c、およびdのそれぞれと関連付けられ動きベクトルを使用して生成された参照テンプレートサンプルであってもよい。LICパラメータのセットは、例えば、式(9)および(10)に基づいて、T(x,y)とTave(x,y)との間の差を最小化するようLMSEベース最適化を適用することによって推定されてもよい。スケーリングファクタαおよびオフセットβなど、LICパラメータの導出された値は、隣接サブブロックa、b、c、およびdからのOBMCベース動き補償に対して(例えば、隣接サブブロックa、b、c、およびdからの1つまたは複数のOBMCベース動き補償に対して)使用されてもよい。
【0114】
図11A~11Bは、OBMC段階においてLICパラメータが導出されるときの(例えば、1回導出される)動き補償演算の例を示す図である。本明細書で説明されるアプローチの例を使用して、LIC導出の総数は、2×Kまで減少することができる(例えば、標準動き補償に対するK回の導出およびOBMCに対するK回の導出)。
【0115】
LICパラメータ導出およびサンプル調節は、例えば、標準動き補償および/またはOBMCに対して実行されてもよい。標準動き補償の間に導出されたLICパラメータは、OBMCに対して再使用されてもよい。例えば、LICパラメータは、標準動き補償段階においてカレントブロックの内部の1つまたは複数のサブブロックに対して導出および記憶されてもよい。OBMC段階において、記憶されたLICパラメータは、カレントサブブロックのOBMCベース動き補償に対して再使用されてもよい(例えば、フェッチされる)。
【0116】
図12A~12Bは、その間にOBMCに対して標準動き補償から導出されたLICパラメータを再使用することができる動き補償演算の例を示す図である。LICパラメータが再使用される場合、LIC導出の総数は、約Kまで減少することができる(例えば、標準動き補償に対するK回の導出およびOBMCに対するK回の導出の2×Kから)。
【0117】
図12A~12Bに示されるアプローチの例を使用して、ICパラメータ導出の数が減少することができる。標準動き補償段階および/またはOBMC段階において実行することができるLICベースサンプル調節の総数は(例えば、式(1)に従った)は、例えば、JEMにおけるものと同様であってもよい(例えば、同一)。例えば、約5×K回のLICベースサンプル調節(例えば、K回のLICベースサンプル調節が標準動き補償段階において行われてもよく、4×K回のLICベースサンプル調節がOBMC段階において行われてもよい)は、カレントブロックの予測信号が生成される前に実行されてもよい。標準動き補償段階から導出されたLICパラメータがOBMC段階において再使用されるとき、オンチップモリ(例えば、追加のオンチップモリ)は、LICパラメータ(例えば、スケーリングファクタαおよびオフセットβ)を記憶するために使用されてもよい。例えば、最大符号化ツリーユニット(CTU)サイズは、128×128であってもよく、サブブロックサイズは、4×4であってもよい。スケーリングファクタαおよびオフセットβはそれぞれ、5ビットの精度および入力ビデオのビット深度により表してもよい。10ビットの入力ビデオについて、LICパラメータをキャッシュするためのオンチップモリのサイズは、約3キロバイトに等しくてもよい(例えば、(128/4)×(128/4)×(1バイト+2バイト)=32×32×3バイト)。
【0118】
本明細書で議論されるように、OBMCにおけるLICベースサンプル調節および複数の予測サンプルの加重平均の計算は、線形演算を伴ってもよい。丸め誤差の影響は(例えば、浮動小数点演算を固定小数点演算に変換することによって生じることがある)は、小さいことがある。LICベースサンプル調節およびBMCベースサンプル平均化の次元を変更する前および後の符号化性能は、相互に類似することがある。
【0119】
OBMCベースサンプル平均化が行われた後に、1回以上のLIC演算が実行されてもよい。図13A~13Bは、本明細書で説明されるアプローチを使用した動き補償演算の例を示す。示されるように、標準動き補償は、CUの内部のサブブロックについての動き補償予測信号を生成するために適用されてもよい。OBMCは、サブブロックの予測信号を1つまたは複数の空間的隣接の動きベクトルを使用して生成された1つまたは複数の予測信号と組み合わせることによって、サブブロック(例えば、CUの内部のサブブロック)に適用されてもよい。
【0120】
LICがCUに対して有効にされる場合、LICパラメータは、本明細書で説明される双方向LICパラメータ導出アプローチを使用して、CUの1つまたは複数のサブブロックに対して導出されてもよい(例えば、計算される)。サブブロックの予測サンプルは、導出されたLICパラメータを使用して調節されてもよい。例えば、図13A~13Bに示されるように、LICベースパラメータ導出および/またはLICベースサンプル調節に対するLICベース演算の総数は、Kまで減少することができる。LICパラメータの記憶は、LICパラメータをキャッシュするために使用されるメモリ空間(例えば、メモリバッファ)を節約することができるように省略されてもよい(例えば、OBMCの後にLICが実行されるので)。
【0121】
図13A~13Bに示されるように、LICパラメータ導出および/またはLICベースサンプル調節は、サブブロックのOBMCが終了した後に実行されてもよい。このアプローチを使用して、LICパラメータの記憶が省略されてもよい。
【0122】
LICパラメータ導出は、標準動き補償段階において実行されてもよい。導出されたLICパラメータは、サンプル調節に対して使用されてもよい。例えば、導出されたLICパラメータは、サブブロックのOBMCが終了し、OBMC予測信号(例えば、組み合わされたOBMC予測信号)が生成された後にサンプル調節に対して使用されてもよい。LICベースサンプル調節は、標準動き補償段階において無効にされてもよい。LICベースサンプル調節が標準動き補償段階において無効にされる場合、標準動き補償段階において導出されたLICパラメータは、標準動き補償段階から生成された予測サンプルを調節するために使用されなくてもよい。
【0123】
図14A~14Bは、本明細書で説明されるアプローチを使用した動き補償演算の例を示す(例えば、標準動き補償段階においてLICパラメータを導出し、OBMCの後にLICベースサンプル調節を実行することによる動き補償)。LICパラメータ導出およびOBMCは、並列して実行されてもよい(例えば、サブブロックに対するLICパラメータの導出およびOBMCは、同時におよび/または並列して実行されてもよい)。減少した待ち時間(例えば、最小待ち時間)によりLIC調節予測サンプルを取得することができる。
【0124】
双方向LICパラメータ導出アプローチがOBMC段階におけるLIC簡易化を促進するとして本明細書で説明されるが、そのような簡易化は、双方向LICパラメータ導出アプローチが無効にされるときに実現されてもよいことに留意されるべきである。本明細書で説明されるLIC簡易化処理は、他のLICスキームとの組み合わせにおいて実装されてもよい。例えば、本明細書で説明されるLIC簡易化処理は、LIC設計と組み合わされてもよい。LICパラメータは、例えば、図13A~13Bおよび図14A~14Bに示されたように、予測リストL0およびL1に対して導出(例えば、別個に導出)および適用されてもよい。LIC調節予測信号は、サブブロックの予測信号を生成するよう平均化されてもよい。それらの例では(例えば、図14A~14Bに示される例)、LICパラメータの2つの異なるセット(例えば、スケーリングファクタおよびオフセットを含むことができる)は、予測方向L0およびL1のそれぞれに対して標準動き補償段階において維持されてもよい。
【0125】
LIC演算は、OBMC段階において無効にされてもよい。例えば、LICは、カレントブロック内の1つまたは複数のサブブロックのOBMCベース動き補償の間(例えば、サブブロックの隣接と関連付けられた動きベクトルを使用した)にスキップされてもよい。実施例では、LICは、LICが標準動き補償の間にカレントブロックに適用されるかどうかに関わらず、無効にされてもよい。
【0126】
LIC演算(複数可)は、サブブロック符号化モード(例えば、ATMVP、STMVP、および/またはFRUCなど)に対して無効にされてもよい。サブブロックモード(複数可)によって符号化されたブロック(複数可)について、ブロック(複数可)は、精細粒度の動き場を生成するよう、各々が動きベクトル(例えば、一意な動きベクトル)を有する、1つまたは複数の(例えば、複数の)サブブロックに分割されてもよい(例えば、更に分割される)。本明細書で説明されるように、ATMVPサブブロックモードに対するLIC演算が無効にされてもよい。
【0127】
参照リストL0および参照リストL1と関連付けられたLICパラメータ(例えば、LICスケーリングファクタおよびオフセット)が最適化されてもよい。例えば、LICパラメータは、共同で最適化されてもよい(例えば、共同で調節される)。カレントCUについてのテンプレートサンプルならびに動き補償された参照テンプレートサンプル(例えば、参照リストL0およびL1関連付けられた)は、L0およびL1におけるスケーリングファクタおよびオフセットを共同で最適化する(例えば、共同で調節する)ための入力として使用されてもよい。テンプレートサンプルと組み合わされた参照テンプレートサンプルとの間の歪み(例えば、差)が最小化されてもよい。例えば、式(1)~(4)において使用される同一の表記に基づいて、LMSE推定が、式(13)のように実行されてもよい。
【0128】
【数28】
【0129】
示されるように、パラメータNは、カレントブロックまたはサブブロックと関連付けられたテンプレートサンプルの数を表してもよい。サンプル
【0130】
【数29】
【0131】
および
【0132】
【数30】
【0133】
は、参照リストL0およびL1のそれぞれと関連付けられたテンプレートサンプルT(xi、yi)の参照テンプレートサンプルを表してもよい。LICパラメータ
【0134】
【数31】
【0135】
のそれぞれのセットは、参照リストL0およびL1に対して判定されてもよく、その結果、L0およびL1についてのテンプレートサンプルと組み合わされた参照テンプレートサンプルとの間の差を最小化することができる。そのような差は、複数の(例えば、2つの)テンプレートサンプルからL0およびL1の両方についてのLIC調節参照サンプルを減算することによって計算されてもよい。
【0136】
LIC技術は、GBiにより双予測CUに対して簡易化されてもよい。GBi/BPWAが有効にされる場合、重みインデックスは、双予測CUに対してシグナリングされてもよい。GBiは、LICのトップで実行されてもよい。例えば、LICは、2つの予測ブロック(例えば、2つの予測ブロックの各々)に対して参照リストL0およびL1に適用されてもよい。双予測に対する2つの照明補償予測ブロック(例えば、双予測に対する2つの照明補償予測ブロックの各々)に対して提供された汎用双予測重みは、予測テンプレートを組み合わせるために使用されてもよい。
【0137】
汎用双予測は、2つの予測リストからのテンプレートサンプルに対して実行されてもよく、GBiベース双予測テンプレート参照サンプルを生成することができる。LICが推定されてもよい。例えば、LICパラメータは、GBiベース双予測テンプレート参照サンプルおよびカレントCUのテンプレートサンプルを使用して推定されてもよい。GBiおよびLICは、カレントブロック/サブブロックの双方向予測信号に対して実行されてもよい(例えば、GBiとそれに続いてLIC)。
【0138】
式(8)へのGBiの拡張は、式(14)において数学的に示されてもよい。LICでは、テンプレートの双方向予測信号が生成されてもよい。例えば、テンプレートの双方向予測信号は、L0およびL1におけるテンプレートの2つの参照サンプルを加重平均することによって生成されてもよい。
【0139】
【数32】
【0140】
w(x,y)は、テンプレートの双方向予測信号を表してもよい。
【0141】
【数33】
【0142】
および
【0143】
【数34】
【0144】
は、カレントブロック/サブブロックの双方向動きベクトル
【0145】
【数35】
【0146】
および
【0147】
【数36】
【0148】
のそれぞれによって示されるようなテンプレートのL0およびL1参照サンプルを示してもよい。重み(1-w)およびwは、L0および参照サンプルに適用されるGBi重みを表してもよい。
【0149】
本明細書で説明されるLMSEベース手順などの線形モデルパラメータ導出は、例えば、式(9)および(10)によって与えられるテンプレートサンプルと双方向参照サンプルとの間の差を最小化することによって、LICに対して使用されるスケーリングファクタおよびオフセットの値を計算するために使用されてもよく、式(14)を使用して計算されるTw(x,y)は、Tavg(x,y)の代わりに使用されてもよい。
【0150】
導出されたLICパラメータは、例えば、式(15)に従って、
【0151】
【数37】
【0152】
線形モデルに基づいてカレントブロック/サブブロックの双方向予測信号に適用されてもよく、P(x,y)は、カレントブロック/サブブロックの予測信号を示してもよい。
【0153】
【数38】
【0154】
および
【0155】
【数39】
【0156】
は、L0およびL1のそれぞれにおけるカレントブロック/サブブロックの2つの参照を示してもよい。パラメータα0およびβ0は、LIC勾配およびオフセットパラメータを示してもよい。式(13)内のリストL0およびL1におけるスケーリングファクタおよびオフセットは、共同で最適化されてもよい。
【0157】
図19Aは、1つまたは複数の開示される実施形態を実装することができる、例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであってもよい。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通じて、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)、ゼロテールユニークワードDFT拡散OFDM(ZT UW DTS-s OFDM)、ユニークワードOFDM(UW-OFDM)、リソースブロックフィルタードOFDM、およびフィルタバンクマルチキャリア(FBMC)など、1つまたは複数のチャネルアクセス方法を利用してもよい。
【0158】
図19Aに示されるように、通信システム100は、無線送信/受信ユニット(WTRU)102a、102b、102c、102dと、RAN104/113と、CN106/115と、公衆交換電話網(PSTN)108と、インターネット110と、他のネットワーク112とを含んでもよいが、開示される実施形態は、いずれかの数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を考慮していることが認識されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作および/または通信するように構成されたいずれかのタイプのデバイスであってもよい。例として、そのいずれかが、「局」および/または「STA」と称されてもよい、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成されてもよく、ユーザ機器(UE)、移動局、固定または移動加入者ユニット、サブスクリクションベースのユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはMi-Fiデバイス、モノノインターネット(IoT)デバイス、ウォッチまたは他のウェアラブル、ヘッドマウントディスプレイ(HMD)、車両、ドローン、医療用デバイスおよびアプリケーション(例えば、遠隔手術)、工業用デバイスおよびアプリケーション(例えば、工業用および/または自動化された処理チェーン状況において動作するロボットおよび/または他の無線デバイス)、家電デバイス、ならびに商業用および/または工業用無線ネットワーク上において動作するデバイスなどを含んでもよい。WTRU102a、102b、102c、102dのいずれも、交換可能にUEと称されてもよい。
【0159】
通信システム100はまた、基地局114aおよび/または基地局114bを含んでもよい。基地局114a、114bの各々は、CN106/115、インターネット110、および/または他のネットワーク112など、1つまたは複数の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインタフェースをとるように構成されたいずれかのタイプのデバイスであってもよい。例として、基地局114a、114bは、基地送受信機局(BTS)、NodeB、eNodeB、ホームNodeB、ホームeNodeB、gNB、NR NodeB、サイトコントローラ、アクセスポイント(AP)、および無線ルータなどであってもよい。基地局114a、114bは、各々が、単一の要素として表されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含んでもよいことが理解されよう。
【0160】
基地局114aは、RAN104/113の一部であってもよく、RAN104/113は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示されず)も含んでもよい。基地局114aおよび/または基地局114bは、セル(図示されず)と称されてもよい、1つまたは複数のキャリア周波数上において、無線信号を送信および/または受信するように構成されてもよい。これらの周波数は、認可スペクトル、非認可スペクトル、または認可スペクトルと非認可スペクトルとの組み合わせの中にあってもよい。セルは、相対的に固定であってもよくまたは時間とともに変化してもよい特定の地理的エリアに、無線サービス用のカバレージを提供してもよい。セルは、更に、セルセクタに分割されてもよい。例えば、基地局114aと関連付けられたセルは、3つのセクタに分割されてもよい。したがって、一実施形態では、基地局114aは、送受信機を3つ、すなわち、セルの各セクタに対して1つずつ含んでよい。実施形態では、基地局114aは、多入力多出力(MIMO)技術を利用してもよく、セルの各セクタに対して複数の送受信機を利用してもよい。例えば、所望の空間方向において信号を送信および/または受信するために、ビームフォーミングが使用されてもよい。
【0161】
基地局114a、114bは、エアインタフェース116上において、WTRU102a、102b、102c、102dのうちの1つまたは複数と通信してもよく、エアインタフェース116は、いずれかの適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光など)であってもよい。エアインタフェース116は、任意の適切な無線アクセス技術(RAT)を使用して確立されてもよい。
【0162】
より具体的には、上述されたように、通信システム100は、多元接続システムであってもよく、CDMA、TDMA、FDMA、OFDMA、およびSC-FDMAなど、1つまたは複数のチャネルアクセス方式を採用してもよい。例えば、RAN104/113内の基地局114aと、WTRU102a、102b、102cとは、広帯域CDMA(WCDMA)を使用して、エアインタフェース115/116/117を確立してもよい、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実装してもよい。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含んでよい。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)、および/または高速アップリンク(UL)パケットアクセス(HSUPA)を含んでもよい。
【0163】
実施形態では、基地局114a、およびWTRU102a、102b、102cは、ロングタームエボリューション(LTE)、および/またはLTEアドバンスト(LTE-A)、および/またはLTEアドバンストプロ(LTE-A Pro)を使用して、エアインタフェース116を確立してもよい、進化型UMTS地上無線アクセス(E-UTRA)などの無線技術を実装してもよい。
【0164】
実施形態では、基地局114a、およびWTRU102a、102b、102cは、ニューラジオ(NR)を使用して、エアインタフェース116を確立してもよい、NR無線アクセスなどの無線技術を実装してもよい。
【0165】
実施形態では、基地局114a、およびWTRU102a、102b、102cは、複数の無線アクセス技術を実装してもよい。例えば、基地局114a、およびWTRU102a、102b、102cは、例えば、デュアルコネクティビティ(DC)原理を使用して、LTE無線アクセスおよびNR無線アクセスを共に実装してもよい。したがって、WTRU102a、102b、102cによって利用されるエアインタフェースは、複数のタイプの無線アクセス技術、ならびに/または複数のタイプの基地局(例えば、eNBおよびgNB)に送信される/そこから送信される送信によって特徴付けられてもよい。
【0166】
他の実施形態では、基地局114a、およびWTRU102a、102b、102cは、IEEE802.11(すなわち、ワイヤレスフィデリティ(WiFi))、IEEE802.16(すなわち、Worldwide Interoperability for Microwave Access(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定標準2000(IS-2000)、暫定標準95(IS-95)、暫定標準856(IS-856)、移動体通信用グローバルシステム(GSM)、GSMエボリューション用高速データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実装してもよい。
【0167】
図19Aにおける基地局114bは、例えば、無線ルータ、ホームNodeB、ホームeNodeB、またはアクセスポイントであってもよく、事業所、自宅、車両、キャンパス、産業用施設、(例えば、ドローンによって使用される)エアコリド、および車道など、局所化されたエリアにおける無線接続性を容易にするために、任意の適切なRATを利用してもよい。一実施形態では、基地局114bと、WTRU102c、102dとは、IEEE802.11などの無線技術を実装して、無線ローカルエリアネットワーク(WLAN)を確立してもよい。実施形態では、基地局114bと、WTRU102c、102dとは、IEEE802.15などの無線技術を実装して、無線パーソナルエリアネットワーク(WPAN)を確立してもよい。また別の実施形態では、基地局114bと、WTRU102c、102dとは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NRなど)を利用して、ピコセルまたはフェムトセルを確立してもよい。図19Aに示されるように、基地局114bは、インターネット110への直接的な接続を有してもよい。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がないことがある。
【0168】
RAN104/113は、CN106/115と通信してもよく、CN106/115は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスを、WTRU102a、102b、102c、102dのうちの1つまたは複数に提供するように構成された任意のタイプのネットワークであってもよい。データは、異なるスループット要件、遅延要件、エラー耐性要件、信頼性要件、データスループット要件、およびモビリティ要件など、様々なサービス品質(QoS)要件を有してもよい。CN106/115は、呼制御、ビリングサービス、モバイルロケーションベースのサービス、プリペイド発呼、インターネット接続性、ビデオ配信などを提供してもよく、および/またはユーザ認証など、高レベルセキュリティ機能を実行してもよい。図19Aには示されていないが、RAN104/113および/またはCN106/115は、RAN104/113と同じRATまたは異なるRATを利用する他のRANと直接的または間接的通信を行ってもよいことが理解されよう。例えば、NR無線技術を利用していることがあるRAN104/113に接続されていることに加えて、CN106/115は、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、またはWiFi無線技術を利用する別のRAN(図示されず)とも通信してもよい。
【0169】
CN106/115は、WTRU102a、102b、102c、102dが、PSTN108、インターネット110、および/または他のネットワーク112にアクセスするためのゲートウェイとしての役割も果たしてもよい。PSTN108は、基本電話サービス(POTS)を提供する、回線交換電話網を含んでよい。インターネット110は、TCP/IPインターネットプロトコルスイート内の送信制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、および/またはインターネットプロトコル(IP)など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなる地球規模のシステムを含んでよい。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される、有線および/または無線通信ネットワークを含んでもよい。例えば、ネットワーク112は、RAN104/113と同じRATまたは異なるRATを利用してもよい1つまたは複数のRANに接続された、別のCNを含んでもよい。
【0170】
通信システム100内のWTRU102a、102b、102c、102dのうちのいくつかまたは全ては、マルチモード機能を含んでよい(例えば、WTRU102a、102b、102c、102dは、異なる無線リンク上において、異なる無線ネットワークと通信するための、複数の送受信機を含んでよい)。例えば、図19Aに示されるWTRU102cは、セルラベースの無線技術を採用してもよい基地局114aと通信するように、またIEEE802無線技術を利用してもよい基地局114bと通信するように構成されてもよい。
【0171】
図19Bは、例示的なWTRU102を示すシステム図である。図19Bに示されるように、WTRU102は、とりわけ、プロセッサ118、送受信機120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(GPS)チップセット136、および/または他の周辺機器138を含んでよい。WTRU102は、実施形態との整合性を維持しながら、上記の要素の任意のサブコンビネーションを含んでよいことが理解されよう。
【0172】
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、および状態機械などであってもよい。プロセッサ118は、信号コーディング、データ処理、電力制御、入力/出力処理、および/またはWTRU102が無線環境において動作することを可能にする他の任意の機能性を実行してもよい。プロセッサ118は、送受信機120に結合されてもよく、送受信機120は、送信/受信要素122に結合されてもよい。図19Bは、プロセッサ118と送受信機120を別個の構成要素として表しているが、プロセッサ118と送受信機120は、電子パッケージまたはチップ内に一緒に統合されてもよいことが理解されよう。
【0173】
送信/受信要素122は、エアインタフェース116上において、基地局(例えば、基地局114a)に信号を送信し、または基地局から信号を受信するように構成されてもよい。例えば、一実施形態では、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナであってもよい。実施形態では、送信/受信要素122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器であってもよい。また別の実施形態では、送信/受信要素122は、RF信号および光信号の両方を送信および/または受信するように構成されてもよい。送信/受信要素122は、無線信号の任意の組み合わせを送信および/または受信するように構成されてもよいことが理解されよう。
【0174】
図19Bにおいては、送信/受信要素122は、単一の要素として表されているが、WTRU102は、任意の数の送信/受信要素122を含んでよい。より具体的には、WTRU102は、MIMO技術を利用してもよい。したがって、一実施形態では、WTRU102は、エアインタフェース116上において無線信号を送信および受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含んでよい。
【0175】
送受信機120は、送信/受信要素122によって送信されることになる信号を変調し、送信/受信要素122によって受信された信号を復調するように構成されてもよい。上で言及されたように、WTRU102は、マルチモード機能を有してもよい。したがって、送受信機120は、WTRU102が、例えば、NRおよびIEEE802.11など、複数のRATを介して通信することを可能にするための、複数の送受信機を含んでよい。
【0176】
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶表示(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合されてもよく、それらからユーザ入力データを受信してもよい。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力してもよい。加えて、プロセッサ118は、非リムーバブルメモリ130および/またはリムーバブルメモリ132など、任意のタイプの適切なメモリから情報を入手してもよく、それらにデータを記憶してもよい。非リムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含んでよい。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含んでよい。他の実施形態では、プロセッサ118は、サーバまたはホームコンピュータ(図示されず)上などに配置された、WTRU102上に物理的に配置されていないメモリから情報にアクセスしてもよく、それらにデータを記憶してもよい。
【0177】
プロセッサ118は、電源134から電力を受信してもよく、WTRU102内の他の構成要素に電力を分配するように、および/またはそれらへの電力を制御するように構成されてもよい。電源134は、WTRU102に給電するための任意の適切なデバイスであってもよい。例えば、電源134は、1つまたは複数の乾電池(例えば、ニッケル-カドミウム(NiCd)、ニッケル-亜鉛(NiZn)、ニッケル水素(NiMH)、リチウム-イオン(Li-ion)など)、太陽電池、および燃料電池などを含んでよい。
【0178】
プロセッサ118は、GPSチップセット136にも結合されてもよく、GPSチップセット136は、WTRU102の現在の位置に関する位置情報(例えば、経度および緯度)を提供するように構成されてもよい。GPSチップセット136からの情報に加えて、またはそれの代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインタフェース116上において位置情報を受信してもよく、および/または2つ以上の近くの基地局から受信されている信号のタイミングに基づいて、自身の位置を決定してもよい。WTRU102は、実施形態との整合性を維持しながら、任意の適切な位置決定方法を用いて、位置情報を取得してもよいことが理解されよう。
【0179】
プロセッサ118は、更に他の周辺機器138に結合されてもよく、他の周辺機器138は、追加の特徴、機能性、および/または有線もしくは無線接続性を提供する、1つまたは複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含んでよい。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、(写真および/またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実および/または拡張現実(VR/AR)デバイス、ならびにアクティビティトラッカなどを含んでよい。周辺機器138は、1つまたは複数のセンサを含んでよく、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および/または湿度センサのうちの1つまたは複数であってもよい。
【0180】
WTRU102は、(例えば、(例えば、送信用の)ULと(例えば、受信用の))ダウンリンクの両方のための特定のサブフレームと関連付けられた信号のいくつかまたは全ての送信および受信が、並列および/または同時であってもよい、全二重無線を含んでよい。全二重無線は、ハードウェア(例えば、チョーク)を介して、またはプロセッサ(例えば、別個のプロセッサ(図示されず)もしくはプロセッサ118)を介する信号処理を介して、自己干渉を低減させ、および/または実質的に除去するために、干渉管理ユニット139を含んでよい。実施形態では、WTRU102は、(例えば、(例えば、送信用の)ULまたは(例えば、受信用の)ダウンリンクのどちらかのための特定のサブフレームと関連付けられた)信号のいくつかまたは全ての送信および受信のための、半二重無線を含んでよい。
【0181】
図19Cは、実施形態に従った、RAN104およびCN106を例示するシステム図である。上述されたように、RAN104は、エアインタフェース116を通じてWTRU102a、102b、102cと通信するためにE-UTRA無線技術を採用してもよい。RAN104は、CN106とも通信してもよい。
【0182】
RAN104は、eNodeB160a、160b、160cを含んでよいが、RAN104は、実施形態との整合性を維持しながら、任意の数のeNodeBを含んでよいことが理解されよう。eNodeB160a、160b、160cは、各々が、エアインタフェース116上においてWTRU102a、102b、102cと通信するための、1つまたは複数の送受信機を含んでよい。一実施形態では、eNodeB160a、160b、160cは、MIMO技術を実装してもよい。したがって、eNodeB160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、および/またはWTRU102aから無線信号を受信してもよい。
【0183】
eNodeB160a、160b、160cの各々は、特定のセル(図示されず)と関連付けられてもよく、無線リソース管理決定、ハンドオーバ決定、ならびにULおよび/またはDLにおけるユーザのスケジューリングなどを処理するように構成されてもよい。図19Cに示されるように、eNodeB160a、160b、160cは、X2インタフェース上において、相互に通信してもよい。
【0184】
図19Cに示されるCN106は、モビリティ管理エンティティ(MME)162と、サービングゲートウェイ(SGW)164と、パケットデータネットワーク(PDN)ゲートウェイ(またはPGW)166とを含んでよい。上記の要素の各々は、CN106の部分として描かれているが、これらの要素のうちのいずれも、CNオペレータとは異なるエンティティによって所有および/または運営されてもよいことが理解されよう。
【0185】
MME162は、S1インタフェースを介して、RAN104内のeNodeB160a、160b、160cの各々に接続されてもよく、制御ノードとしての役割を果たしてもよい。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラアクティブ化/非アクティブ化、およびWTRU102a、102b、102cの初期アタッチ中に特定のサービングゲートウェイを選択することなどを担ってもよい。MME162は、RAN104と、GSMおよび/またはWCDMAなどの他の無線技術を利用する他のRAN(図示されず)との間における交換のためのコントロールプレーン機能を提供してもよい。
【0186】
SGW164は、S1インタフェースを介して、RAN104内のeNodeB160a、160b、160cの各々に接続されてもよい。SGW164は、一般に、ユーザデータパケットを、WTRU102a、102b、102cに/WTRU102a、102b、102cからルーティングおよび転送してもよい。SGW164は、eNodeB間ハンドオーバ中にユーザプレーンをアンカリングすること、DLデータがWTRU102a、102b、102cに利用可能なときにページングをトリガすること、ならびにWTRU102a、102b、102cのコンテキストを管理および記憶することなど、他の機能を実行してもよい。
【0187】
SGW164は、PGW166に接続されてもよく、PGW166は、インターネット110など、パケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にしてもよい。
【0188】
CN106は、他のネットワークとの通信を容易にすることができる。例えば、CN106は、PSTN108など、回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の固定電話回線通信デバイスとの間の通信を容易にしてもよい。例えば、CN106は、CN106とPSTN108との間のインタフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含んでよく、またはそれと通信してもよい。加えて、CN106は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供してもよく、他のネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含んでもよい。
【0189】
図19A乃~19Dにおいては、WTRUは、無線端末として説明されるが、ある代表的な実施形態では、そのような端末は、通信ネットワークとの有線通信インタフェースを(例えば、一時的または永続的に)使用することができることが企図されている。
【0190】
代表的な実施形態では、他のネットワーク112は、WLANであってもよい。
【0191】
インフラストラクチャ基本サービスセット(BSS)モードにあるWLANは、BSSのためのアクセスポイント(AP)と、APと関連付けられた1つまたは複数の局(STA)とを有してもよい。APは、トラフィックをBSS内および/またはBSS外に搬送する、ディストリビューションシステム(DS)または別のタイプの有線/無線ネットワークへのアクセスまたはインタフェースを有してもよい。BSS外部から発信されたSTAへのトラフィックは、APを通じて到着してもよく、STAに配送されてもよい。STAからBSS外部の送信先に発信されたトラフィックは、それぞれの送信先に配送するために、APに送信されてもよい。BSS内のSTA間のトラフィックは、APを通じて送信されてもよく、例えば、送信元STAは、トラフィックをAPに送信してもよく、APは、トラフィックを送信先STAに配送してもよい。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックと見なされてもよく、および/またはピアツーピアトラフィックと呼ばれてもよい。ピアツーピアトラフィックは、直接リンクセットアップ(DLS)を用いて、送信元STAと送信先STAとの間で(例えば、直接的に)送信されてもよい。ある代表的な実施形態では、DLSは、802.11e DLSまたは802.11zトンネルDLS(TDLS)を使用してもよい。独立BSS(IBSS)モードを使用するWLANは、APを有さなくてもよく、IBSS内の、またはIBSSを使用するSTA(例えば、STAの全て)は、相互に直接的に通信してもよい。IBSSモードの通信は、本明細書においては、ときに「アドホック」モードの通信と称されてもよい。
【0192】
802.11acインフラストラクチャモードの動作または類似したモードの動作を使用するとき、APは、プライマリチャネルなどの固定されたチャネル上において、ビーコンを送信してもよい。プライマリチャネルは、固定された幅(例えば、20MHz幅帯域幅)、またはシグナリングを介して動的に設定された幅であってもよい。プライマリチャネルは、BSSの動作チャネルであってもよく、APとの接続を確立するために、STAによって使用されてもよい。ある代表的な実施形態では、例えば、802.11システムにおいては、キャリアセンス多重アクセス/衝突回避(CSMA/CA)が、実装されてもよい。CSMA/CAの場合、APを含むSTA(例えば、あらゆるSTA)は、プライマリチャネルをセンスしてもよい。プライマリチャネルが、センス/検出され、および/または特定のSTAによってビジーであると決定された場合、特定のSTAは、バックオフしてもよい。与えられたBSS内においては、任意の与えられた時間に、1つのSTA(例えば、ただ1つの局)が、送信してもよい。
【0193】
高スループット(HT)STAは、例えば、プライマリ20MHzチャネルを隣接または非隣接20MHzチャネルと組み合わせて、40MHz幅のチャネルを形成することを介して、通信のために40MHz幅チャネルを使用してもよい。
【0194】
超高スループット(VHT)STAは、20MHz、40MHz、80MHz、および/または160MHz幅のチャネルをサポートすることができる。40MHzおよび/または80MHzチャネルは、連続する20MHzチャネルを組み合わせることによって形成されてもよい。160MHzチャネルは、8つの連続する20MHzチャネルを組み合わせることによって形成されてもよく、または2つの非連続な80MHzチャネルを組み合わせることによって形成されてもよく、これは、80+80構成と呼ばれてもよい。80+80構成の場合、データは、チャネルエンコーディングの後、データを2つのストリームに分割し得るセグメントパーサを通過させられてもよい。各ストリームに対して別々に、逆高速フーリエ変換(IFFT)処理、および時間領域処理が、行われてもよい。ストリームは、2つの80MHzチャネル上にマッピングされてもよく、データは、送信STAによって送信されてもよい。受信STAの受信機においては、80+80構成のための上で説明された動作が、逆転されてもよく、組み合わされたデータは、媒体アクセス制御(MAC)に送信されてもよい。
【0195】
1GHz未満モードの動作は、802.11afおよび802.11ahによってサポートされる。チャネル動作帯域幅およびキャリアは、802.11nおよび802.11acにおいて使用されるそれらと比べて、802.11afおよび802.11ahにおいては低減させられる。802.11afは、TVホワイトスペース(TVWS)スペクトルにおいて、5MHz、10MHz、および20MHz帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1MHz、2MHz、4MHz、8MHz、および16MHz帯域幅をサポートする。代表的な実施形態に従うと、802.11ahは、マクロカバレージエリアにおけるMTCデバイスなど、メータタイプ制御/マシンタイプコミュニケーションをサポートしてもよい。MTCデバイスは、一定の機能を、例えば、一定の帯域幅および/または限られた帯域幅のサポート(例えば、それらのサポートだけ)を含む限られた機能を有してもよい。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するために)閾値を上回るバッテリ寿命を有するバッテリを含んでよい。
【0196】
802.11n、802.11ac、802.11af、および802.11ahなど、複数のチャネルおよびチャネル帯域幅をサポートすることができるWLANシステムは、プライマリチャネルとして指定されてもよいチャネルを含む。プライマリチャネルは、BSS内の全てのSTAによってサポートされる最大の共通動作帯域幅に等しい帯域幅を有してもよい。プライマリチャネルの帯域幅は、BSS内において動作する全てのSTAの中の、最小帯域幅動作モードをサポートするSTAによって設定および/または制限されてもよい。802.11ahの例においては、BSS内のAPおよび他のSTAが、2MHz、4MHz、8MHz、16MHz、および/または他のチャネル帯域幅動作モードをサポートする場合であっても、1MHzモードをサポートする(例えば、それだけをサポートする)STA(例えば、MTCタイプデバイス)のために、プライマリチャネルは、1MHz幅であってもよい。キャリアセンシングおよび/またはネットワークアロケーションベクトル(NAV)設定は、プライマリチャネルのステータスに依存してもよい。例えば、(1MHz動作モードだけをサポートする)STAが、APに送信しているせいで、プライマリチャネルが、ビジーである場合、周波数バンドの大部分が、アイドルのままであり、利用可能であり得るとしても、利用可能な周波数バンド全体が、ビジーと見なされてもよい。
【0197】
米国では、802.11ahによって使用されてもよい利用可能な周波数バンドは、902MHzから928MHzである。韓国においては、利用可能な周波数バンドは、917.5MHzから923.5MHzである。日本においては、利用可能な周波数バンドは、916.5MHzから927.5MHzである。802.11ahのために利用可能な合計帯域幅は、国の規則に応じて、6MHzから26MHzである。
【0198】
図19Dは、実施形態に従った、RAN113およびCN115を例示するシステム図である。上述されたように、RAN113は、NR無線技術を利用して、エアインタフェース116上において、WTRU102a、102b、102cと通信してもよい。RAN113は、CN115とも通信してもよい。
【0199】
RAN113は、gNB180a、180b、180cを含んでよいが、RAN113は、実施形態との整合性を維持しながら、任意の数のgNBを含んでよいことが理解されよう。gNB180a、180b、180cは、各々が、エアインタフェース116上においてWTRU102a、102b、102cと通信するための、1つまたは複数の送受信機を含んでよい。一実施形態では、gNB180a、180b、180cは、MIMO技術を実装してもよい。例えば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信し、および/またはgNB180a、180b、180cから信号を受信してもよい。したがって、gNB180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、および/またはWTRU102aから無線信号を受信してもよい。実施形態では、gNB180a、180b、180cは、キャリアアグリゲーション技術を実装してもよい。例えば、gNB180aは、WTRU102aに複数のコンポーネントキャリアを送信してもよい(図示されず)。これらのコンポーネントキャリアのサブセットは、免許不要スペクトル上にあってもよいが、残りのコンポーネントキャリアは、免許要スペクトル上にあってもよい。実施形態では、gNB180a、180b、180cは、多地点協調(CoMP)技術を実装してもよい。例えば、WTRU102aは、gNB180aとgNB180b(および/またはgNB180c)とから調整された送信を受信してもよい。
【0200】
WTRU102a、102b、102cは、スケーラブルなヌメロロジ(numerology)と関連付けられた送信を使用して、gNB180a、180b、180cと通信してもよい。例えば、OFDMシンボル間隔、および/またはOFDMサブキャリア間隔は、異なる送信、異なるセル、および/または無線送信スペクトルの異なる部分ごとに様々であってもよい。WTRU102a、102b、102cは、(例えば、様々な数のOFDMシンボルを含む、および/または様々な長さの絶対時間だけ持続する)様々なまたはスケーラブルな長さのサブフレームまたは送信時間間隔(TTI)を使用して、gNB180a、180b、180cと通信してもよい。
【0201】
gNB180a、180b、180cは、スタンドアロン構成および/または非スタンドアロン構成で、WTRU102a、102b、102cと通信するように構成されてもよい。スタンドアロン構成においては、WTRU102a、102b、102cは、(例えば、eNodeB160a、160b、160cなどの)他のRANにアクセスすることもなしに、gNB180a、180b、180cと通信してもよい。スタンドアロン構成においては、WTRU102a、102b、102cは、gNB180a、180b、180cのうちの1つまたは複数を、モビリティアンカポイントとして利用してもよい。スタンドアロン構成においては、WTRU102a、102b、102cは、免許不要バンド内において信号を使用して、gNB180a、180b、180cと通信してもよい。非スタンドアロン構成においては、WTRU102a、102b、102cは、eNodeB160a、160b、160cなどの別のRANとも通信し/別のRANにも接続しながら、gNB180a、180b、180cと通信し/gNB180a、180b、180cに接続してもよい。例えば、WTRU102a、102b、102cは、DC原理を実装して、1つまたは複数のgNB180a、180b、180c、および1つまたは複数のeNodeB160a、160b、160cと実質的に同時に通信してもよい。非スタンドアロン構成においては、eNodeB160a、160b、160cは、WTRU102a、102b、102cのためのモビリティアンカとしての役割を果たしてもよく、gNB180a、180b、180cは、WTRU102a、102b、102cにサービスするための追加のカバレージおよび/またはスループットを提供することができる。
【0202】
gNB180a、180b、180cの各々は、特定のセル(図示されず)と関連付けられてもよく、無線リソース管理決定、ハンドオーバ決定、ULおよび/またはDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、NRとE-UTRAとの間のインターワーキング、ユーザプレーンデータのユーザプレーン機能(UPF)184a、184bへのルーティング、ならびにコントロールプレーン情報のアクセスおよびモビリティ管理機能(AMF)182a、182bへのルーティングなどを処理するように構成されてもよい。図19Dに示されるように、gNB180a、180b、180cは、Xnインタフェース上において、互いに通信してもよい。
【0203】
図19Dに示されるCN115は、少なくとも1つのAMF182a、182bと、少なくとも1つのUPF184a、184bと、少なくとも1つのセッション管理機能(SMF)183a、183bと、おそらくは、データネットワーク(DN)185a、185bとを含んでよい。上記の要素の各々は、CN115の部分として描かれているが、これらの要素のうちのいずれも、CNオペレータとは異なるエンティティによって所有および/または運営されてもよいことが理解されよう。
【0204】
AMF182a、182bは、N2インタフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続されてもよく、制御ノードとしての役割を果たしてもよい。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシングのサポート(例えば、異なる要件を有する異なるPDUセッションの処理)、特定のSMF183a、183bを選択すること、レジストレーションエリアの管理、NASシグナリングの終了、およびモビリティ管理などを担ってもよい。ネットワークスライシングは、WTRU102a、102b、102cによって利用されるサービスのタイプに基づいて、WTRU102a、102b、102cに対するCNサポートをカスタマイズするために、AMF182a、182bによって使用されてもよい。例えば、超高信頼低遅延(URLLC)アクセスに依存するサービス、高速大容量モバイルブロードバンド(eMBB)アクセスに依存するサービス、および/またはマシンタイプコミュニケーション(MTC)アクセスのためのサービスなど、異なる使用事例のために、異なるネットワークスライスが、確立されてもよい。AMF162は、RAN113と、LTE、LTE-A、LTE-A Pro、および/またはWiFiなどの非3GPPアクセス技術など、他の無線技術を利用する他のRAN(図示されず)との間の交換のためのコントロールプレーン機能を提供してもよい。
【0205】
SMF183a、183bは、N11インタフェースを介して、CN115内のAMF182a、182bに接続されてもよい。SMF183a、183bは、N4インタフェースを介して、CN115内のUPF184a、184bにも接続されてもよい。SMF183a、183bは、UPF184a、184bを選択および制御し、UPF184a、184bを通じたトラフィックのルーティングを構成してもよい。SMF183a、183bは、UE IPアドレスの管理および割り当てを行うこと、PDUセッションを管理すること、ポリシ実施およびQoSを制御すること、ならびにダウンリンクデータ通知を提供することなど、他の機能を実行してもよい。PDUセッションタイプは、IPベース、非IPベース、およびイーサネットベースなどであってもよい。
【0206】
UPF184a、184bは、N3インタフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続されてもよく、それらは、インターネット110など、パケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にしてもよい。UPF184a、184bは、パケットをルーティングおよび転送すること、ユーザプレーンポリシを実施すること、マルチホーミングPDUセッションをサポートすること、ユーザプレーンQoSを処理すること、ダウンリンクパケットをバッファすること、ならびにモビリティアンカリングを提供することなど、他の機能を実行してもよい。
【0207】
CN115は、他のネットワークとの通信を容易にすることができる。例えば、CN115は、CN115とPSTN108との間のインタフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含んでよく、またはそれと通信してもよい。加えて、CN115は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供してもよく、他のネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含んでよい。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インタフェース、およびUPF184a、184bとDN185a、185bとの間のN6インタフェースを介して、UPF184a、184bを通じて、ローカルデータネットワーク(DN)185a、185bに接続されてもよい。
【0208】
図19A図19D、および図19A図19Dについての対応する説明に鑑みて、WTRU102a乃至d、基地局114a乃至b、eNodeB160a乃至c、MME162、SGW164、PGW166、gNB180a乃至c、AMF182a乃至b、UPF184a乃至b、SMF183a乃至b、DN185a乃至b、および/または本明細書において説明される他の任意のデバイスのうちの1つまたは複数に関する、本明細書において説明される機能の1つもしくは複数または全ては、1つまたは複数のエミュレーションデバイス(図示されず)によって実行されてもよい。エミュレーションデバイスは、本明細書において説明される機能の1つもしくは複数または全てをエミュレートするように構成された、1つまたは複数のデバイスであってもよい。例えば、エミュレーションデバイスは、他のデバイスをテストするために、ならびに/またはネットワークおよび/もしくはWTRU機能をシミュレートするために、使用されてもよい。
【0209】
エミュレーションデバイスは、実験室環境において、および/またはオペレータネットワーク環境において、他のデバイスの1つまたは複数のテストを実施するように設計されてもよい。例えば、1つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および/または無線通信ネットワークの一部として、完全または部分的に実施および/または展開されながら、1つもしくは複数または全ての機能を実行してもよい。1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として、一時的に実施/展開されながら、1つもしくは複数または全ての機能を実行してもよい。エミュレーションデバイスは、テストの目的で、別のデバイスに直接的に結合されてもよく、および/またはオーバザエア無線通信を使用して、テストを実行してもよい。
【0210】
1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として実施/展開されずに、全ての機能を含む、1つまたは複数の機能を実行してもよい。例えば、エミュレーションデバイスは、1つまたは複数の構成要素のテストを実施するために、テスト実験室、ならびに/または展開されていない(例えば、テスト)有線および/もしくは無線通信ネットワークにおける、テストシナリオにおいて利用されてもよい。1つまたは複数のエミュレーションデバイスは、テスト機器であってもよい。データを送信および/または受信するために、直接RF結合、および/または(例えば、1つもしくは複数のアンテナを含んでよい)RF回路を介した無線通信が、エミュレーションデバイスによって使用されてもよい。
【0211】
特徴および要素が特定の組み合わせで上記説明されたが、当業者は、各々の特徴または要素が単独で、または他の特徴および要素とのいずれかの組み合わせで使用されてもよいことを認識するであろう。加えて、本明細書で説明される方法は、コンピュータまたはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実装されてもよい。コンピュータ可読媒体の例は、電子信号(有線または無線接続を通じて送信される)およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、磁気光学媒体、ならびにCD-ROMディスクおよびデジタル多用途ディスク(DVD)などの光学媒体を含むが、それらに限定されない。ソフトウェアと関連してプロセッサは、WTRU、UE、端末、基地局、RNC、またはいずれかのホストコンピュータにおける使用のために無線周波数送受信機を実装するために使用されてもよい。
図1
図2
図3
図4
図5
図6A
図6B
図7
図8A
図8B
図9
図10A
図10B
図11A
図11B
図12A
図12B
図13A
図13B
図14A
図14B
図15
図16
図17
図18
図19A
図19B
図19C
図19D