(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-22
(54)【発明の名称】双方向オプティカルフローのための切り替え論理
(51)【国際特許分類】
H04N 19/117 20140101AFI20221115BHJP
H04N 19/176 20140101ALI20221115BHJP
H04N 19/136 20140101ALI20221115BHJP
H04N 19/523 20140101ALI20221115BHJP
【FI】
H04N19/117
H04N19/176
H04N19/136
H04N19/523
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022518773
(86)(22)【出願日】2020-09-23
(85)【翻訳文提出日】2022-04-21
(86)【国際出願番号】 US2020052207
(87)【国際公開番号】W WO2021061764
(87)【国際公開日】2021-04-01
(32)【優先日】2019-09-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】チェン、ウェイ
(72)【発明者】
【氏名】フ、ユーウェン
(72)【発明者】
【氏名】ヤン、ホア
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MA14
5C159MA21
5C159MC11
5C159ME01
5C159NN11
5C159NN14
5C159NN21
5C159RC38
5C159TA26
5C159TA68
5C159TB08
5C159TC26
5C159TC35
5C159TD12
5C159UA02
5C159UA05
5C159UA16
5C159UA22
(57)【要約】
装置は、コーディングブロックのための、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャを決定するように構成され得る。装置は、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、コーディングブロックに対して双方向オプティカルフロー(bi-directional optical flow、BDOF)を実行するかどうかを決定するように構成され得る。装置は、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを復号するように構成され得る。
【選択図】
図6
【特許請求の範囲】
【請求項1】
ビデオ処理のための装置であって、1つ以上のプロセッサを備え、前記1つ以上のプロセッサが、
コーディングブロックに対して、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャを決定することと、
前記コーディングブロックに関連付けられたピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の間隔が前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、前記コーディングブロックに対して双方向オプティカルフロー(BDOF)を実行するかどうかを決定することと、
前記コーディングブロックに対してBDOFを実行するかどうかを前記決定することに基づいて、前記コーディングブロックを復号することと、を行うように構成されている、装置。
【請求項2】
ビデオ処理のための装置であって、1つ以上のプロセッサを備え、前記1つ以上のプロセッサが、
コーディングブロックに対して、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャを決定することと、
前記コーディングブロックに関連付けられたピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の間隔が前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、前記コーディングブロックに対して双方向オプティカルフロー(BDOF)を実行するかどうかを決定することと、
前記コーディングブロックに対してBDOFを実行するかどうかを前記決定することに基づいて、前記コーディングブロックを符号化することと、を行うように構成されている、装置。
【請求項3】
ビデオ処理のための方法であって、
コーディングブロックに対して、第1の参照ピクチャリストにリストされた参照ピクチャと、第2の参照ピクチャリストにリストされた参照ピクチャとを決定することと、
前記コーディングブロックに関連付けられたピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の間隔が前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、前記コーディングブロックに対して双方向オプティカルフロー(BDOF)を実行するかどうかを決定することと、
前記コーディングブロックに対してBDOFを実行するかどうかを前記決定することに基づいて、前記コーディングブロックを復号することと、を含む、方法。
【請求項4】
ビデオ処理のための方法であって、
コーディングブロックのための、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャを決定することと、
前記コーディングブロックに関連付けられたピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の間隔が前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、前記コーディングブロックに対して双方向オプティカルフロー(BDOF)を実行するかどうかを決定することと、
前記コーディングブロックに対してBDOFを実行するかどうかを前記決定することに基づいて、前記コーディングブロックを符号化することと、を含む、方法。
【請求項5】
前記コーディングブロックに関連付けられた前記ピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔が前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔と異なるかどうかに少なくとも部分的に基づいて前記コーディングブロックに対してBDOFを実行するかどうかを前記決定することは、前記コーディングブロックに関連付けられた前記ピクチャが、前記第1の参照ピクチャリストにリストされた前記参照ピクチャと、及び前記第2の参照ピクチャリストにリストされた前記参照ピクチャと等しいピクチャ順序カウント差を有するかどうかを決定することを含む、請求項1若しくは2に記載の装置、又は請求項3若しくは4に記載の方法。
【請求項6】
前記1つ以上のプロセッサは、
前記コーディングブロックに関連付けられた前記ピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔が、前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔に等しいと決定することであって、BDOFが前記コーディングブロックに対して実行される、決定すること、を行うように更に構成されている、請求項1、2、又は5のいずれか一項に記載の装置。
【請求項7】
前記1つ以上のプロセッサは、
前記コーディングブロックに関連付けられた前記ピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔が、前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔と異なると決定することであって、BDOFが前記コーディングブロックに対してバイパスされる、決定すること、を行うように更に構成されている、請求項1、2、又は5のいずれか一項に記載の装置。
【請求項8】
前記1つ以上のプロセッサは、前記コーディングブロックに関連付けられた前記ピクチャと前記第1の参照ピクチャリストにリストされた前記ピクチャとの間の前記間隔が前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔に等しいと決定することに基づいて、前記コーディングブロック内の位置に関連付けられた勾配を使用して前記コーディングブロックのサブブロックに関連付けられた動きベクトルを補正するように更に構成され、前記コーディングブロックが、前記コーディングブロックの前記サブブロックに関連付けられた補正された前記動きベクトルに基づいて復号される、請求項1又は5に記載の装置。
【請求項9】
前記方法は、
前記コーディングブロックに関連付けられた前記ピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔が、前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔に等しいと決定することであって、BDOFが前記コーディングブロックに対して実行される、決定すること、を更に含む、請求項3~5のいずれか一項に記載の方法。
【請求項10】
前記コーディングブロックに関連付けられた前記ピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔が前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔と異なると決定することであって、BDOFが前記コーディングブロックに対してバイパスされる、決定すること、を更に含む、請求項3~5のいずれか一項に記載の方法。
【請求項11】
前記コーディングブロックに関連付けられた前記ピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔が前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔に等しいと決定することに基づいて、前記コーディングブロック内の位置に関連付けられた勾配を使用して前記コーディングブロックのサブブロックに関連付けられた動きベクトルを補正することであって、前記コーディングブロックが前記コーディングブロックの前記サブブロックに関連付けられた補正された前記動きベクトルに基づいて復号される、補正すること、を更に含む、請求項3又は5に記載の方法。
【請求項12】
前記コーディングブロックに関連付けられた前記ピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔が、前記コーディングブロックに関連付けられた前記ピクチャと前記第1の参照ピクチャリストにリストされた前記参照ピクチャとの間のピクチャ順序カウント(POC)差であり、前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間の前記間隔が、前記コーディングブロックに関連付けられた前記ピクチャと前記第2の参照ピクチャリストにリストされた前記参照ピクチャとの間のPOC差である、請求項1、2及び6~8のいずれか一項に記載の装置、又は請求項3、4及び9~11のいずれか一項に記載の方法。
【請求項13】
前記第1の参照ピクチャリストが、参照ピクチャリスト0であり、前記第2の参照ピクチャリストが、参照ピクチャリスト1である、請求項1、2、5~8及び12のいずれか一項に記載の装置、又は請求項3~5及び9~12のいずれか一項に記載の方法。
【請求項14】
請求項3~5及び9~13のいずれか一項に記載の方法に従って生成されたデータコンテンツを収容する、非一時的コンピュータ可読媒体。
【請求項15】
1つ以上のプロセッサに、請求項3~5及び9~13のいずれか一項に記載の方法を実行させるための命令を含む、コンピュータ可読媒体。
【請求項16】
1つ以上のプロセッサによって実行されるとき、請求項3~5及び9~13のいずれか一項に記載の方法を実行するための命令を含む、コンピュータプログラム製品。
【請求項17】
デバイスであって、
請求項1、2、5~8、12及び13のいずれか一項に記載の装置と、
(i)信号を受信するように構成されたアンテナであって、前記信号が画像を表すデータを含む、アンテナ、(ii)受信された前記信号を、前記画像を表す前記データを含む周波数帯域に制限するように構成された帯域制限器、又は(iii)前記画像を表示するように構成されたディスプレイのうちの少なくとも1つと、を備える、デバイス。
【請求項18】
TV、携帯電話、タブレット、又はセットトップボックス(STB)、を含む、請求項1、2、5~8、12及び13のいずれか一項に記載のデバイス。
【請求項19】
請求項3~5及び9~13のいずれか一項に記載の方法に従って前記コーディングブロックに対して双方向オプティカルフロー(BDOF)を実行するかどうかを前記決定することに基づいて生成される残差を含む、信号。
【請求項20】
装置であって、
請求項3~5及び9~13のいずれか一項に記載の方法に従って前記コーディングブロックに対して双方向オプティカルフロー(BDOF)を実行するかどうかを前記決定することに基づいて生成される残差を含むデータにアクセスするように構成されたアクセスユニットと、
前記残差を含む前記データを送信するように構成された送信器と、を備える、装置。
【請求項21】
方法であって、
請求項3~5及び9~13のいずれか一項に記載の方法に従って前記コーディングブロックに対して双方向オプティカルフロー(BDOF)を実行するかどうかを前記決定することに基づいて生成される残差を含むデータにアクセスすることと、
前記残差を含む前記データを送信することと、を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2019年9月23日に出願された米国特許第62/904,234号の利益を主張し、その開示全体は、参照により本明細書に組み込まれる。
【背景技術】
【0002】
ビデオコーディングシステムは、デジタルビデオ信号を圧縮して、例えば、かかる信号に関連付けられた記憶容量及び/又は送信帯域幅を低減するために使用され得る。ビデオコーディングシステムは、ブロックベース、ウェーブレットベース、及び/又はオブジェクトベースのシステムを含み得る。ブロックベースのハイブリッドビデオコーディングシステムが展開され得る。
【発明の概要】
【0003】
コーディングブロックに対して双方向オプティカルフロー(bi-directional optical flow、BDOF)を実行するかどうかを決定するためのシステム、方法、及び手段が記載される。
【0004】
1つ以上のプロセッサを備える装置が、コーディングブロックのための、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャを決定するように構成され得る。1つ以上のプロセッサは、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定するように構成され得る。1つ以上のプロセッサは、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを復号するように構成され得る。
【0005】
1つ以上のプロセッサを備える装置は、コーディングブロックのための、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャを決定するように構成され得る。1つ以上のプロセッサは、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定するように構成され得る。1つ以上のプロセッサは、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを符号化するように構成され得る。
【0006】
1つ以上のプロセッサは、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と等しいと決定し、コーディングブロックに対してBDOFを実行するように構成され得る。1つ以上のプロセッサは、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なると決定し、コーディングブロックに対してBDOFをバイパスするように構成され得る。1つ以上のプロセッサは、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされたピクチャとの間の間隔がコーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいという決定に基づいてコーディングブロック内の位置に関連付けられた勾配を使用してコーディングブロックのサブブロックに関連付けられた動きベクトルを補正し、コーディングブロックのサブブロックに関連付けられた補正された動きベクトルを使用してコーディングブロックを復号又は符号化するように構成され得る。例えば、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔は、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間のPOC差であり、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔は、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間のPOC差である。1つ以上のプロセッサは、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャと、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいピクチャ順序カウント差を有するかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定するように構成され得る。1つ以上のプロセッサは、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャと、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいピクチャ順序カウント差を有するという決定に基づいて、コーディングブロックに対してBDOFを実行するように構成され得る。1つ以上のプロセッサは、コーディングブロックピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャと、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいピクチャ順序カウント差を有しないという決定に少なくとも部分的に基づいて、コーディングブロックに対してに関連付けられたBDOFをバイパスするように構成され得る。
【0007】
デバイスは、記載の装置、及び(i)信号を受信するように構成されたアンテナであって、信号が画像を表すデータを含む、アンテナ、(ii)受信された信号を、画像を表すデータを含む周波数帯域に制限するように構成された帯域制限器、又は(iii)画像を表示するように構成されたディスプレイのうちの少なくとも1つを含み得る。かかるデバイスの非限定的な例は、TV、携帯電話、タブレット、又はセットトップボックス(set-top box、STB)を含む。装置は、BDOFを実行するかどうかに基づいて生成されたデータ(例えば、残差を含む)にアクセスするように構成されたアクセスユニット、及びデータ(例えば、残差を含む)を送信するように構成された送信器を備え得る。
【0008】
方法は、コーディングブロックのための、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャを決定することと、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔がコーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定することと、を含み得る。本方法は、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを復号することを含み得る。本方法は、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを符号化することを含み得る。
【0009】
非一時的なコンピュータ可読媒体は、記載の方法のうちのいずれかに従って生成されたデータコンテンツを含み得る。非一時的なコンピュータ可読媒体は、1つ以上のプロセッサに記載の方法のうちのいずれかを実行させ得る。
【0010】
コンピュータプログラム製品は、1つ以上のプロセッサによって実行されるときに記載の方法のうちのいずれかを実行するための命令を含み得る。
【0011】
信号は、記載の方法のうちのいずれかに従ってBDOFを実行するかどうかを決定すること基づいて生成された残差を含み得る。
【0012】
方法は、記載の方法のうちのいずれかに従ってBDOFを実行するかどうかを決定することに基づいて生成される残差を含むデータにアクセスすることと、残差を含むデータを送信することと、を含み得る。
【図面の簡単な説明】
【0013】
【
図1A】例示的な通信システムを図示するシステム図である。
【0014】
【
図1B】
図1Aに図示される通信システム内で使用され得る例示的な無線送/受信ユニット(wireless transmit/receive unit、WTRU)を図示するシステム図である。
【0015】
【
図1C】
図1Aに図示される通信システム内で使用され得る例示的な無線アクセスネットワーク(radio access network、RAN)及び例示的なコアネットワーク(core network、CN)を図示するシステム図である。
【0016】
【
図1D】
図1Aに図示される通信システム内で使用され得る更なる例示的なRAN及び更なる例示的なCNを図示するシステム図である。
【0017】
【0018】
【0019】
【
図4】本明細書に記載の様々な態様及び実施例が実装され得るシステムの実施例を示す図である。
【0020】
【
図5】デコーダ側動きベクトル補正の実施例を示す。
【0021】
【
図6】コーディングブロックに対してBDOFを実行するかどうかを決定するための方法の実施例を図示する。
【0022】
【
図7】例示的な双方向オプティカルフローを図示する。
【発明を実施するための形態】
【0023】
図1Aは、1つ以上の開示される実施例が実装され得る例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する複数のアクセスシステムであり得る。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じて、そのようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム100は、符号分割多重アクセス(code division multiple access、CDMA)、時分割多重アクセス(time division multiple access、TDMA)、周波数分割多重アクセス(frequency division multiple access、FDMA)、直交FDMA(orthogonal FDMA、OFDMA)、シングルキャリアFDMA(single-carrier FDMA、SC-FDMA)、ゼロテールユニークワードDFT-Spread OFDM(zero-tail unique-word DFT-Spread OFDM、ZT UW DTS-s OFDM)、ユニークワードOFDM(unique word OFDM、UW-OFDM)、リソースブロックフィルタ処理OFDM、フィルタバンクマルチキャリア(filter bank multicarrier、FBMC)、及び/又は同様のものなど、1つ以上のチャネルアクセス方法を採用し得る。
【0024】
図1Aに示されるように、通信システム100は、無線送/受信ユニット(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公衆交換電話網(public switched telephone network、PSTN)108、インターネット110、及び他のネットワーク112を含み得るが、開示される実施例は、任意の数のWTRU、基地局、ネットワーク、及び/又はネットワーク要素を企図し得ることが理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作し、かつ/又は通信するように構成された任意のタイプのデバイスであり得る。例として、それらのいずれも「局」及び/又は「STA」と称され得るWTRU102a、102b、102c、102dは、無線信号を送信及び/又は受信するように構成され得、ユーザ機器(user equipment、UE)、移動局、固定又は移動加入者ユニット、加入ベースのユニット、ページャ、セルラ電話、携帯情報端末(personal digital assistant、PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポット又はMi-Fiデバイス、モノのインターネット(Internet of Things、IoT)デバイス、ウォッチ又は他のウェアラブル、ヘッドマウントディスプレイ(head-mounted display、HMD)、車両、ドローン、医療デバイス及びアプリケーション(例えば、遠隔手術)、工業用デバイス及びアプリケーション(例えば、工業用及び/又は自動処理チェーンコンテキストで動作するロボット及び/又は他の無線デバイス)、家電デバイス、商業用及び/又は工業用無線ネットワークで動作するデバイスなどを含み得る。WTRU102a、102b、102c、及び102dのいずれも、互換的にUEと称され得る。
【0025】
通信システム100はまた、基地局114a、及び/又は基地局114bを含み得る。基地局114a、114bの各々は、CN106/115、インターネット110、及び/又は他のネットワーク112など、1つ以上の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインターフェース接続するように構成された、任意のタイプのデバイスであり得る。例として、基地局114a、114bは、基地局トランシーバ(base transceiver station、BTS)、ノードB、eNodeB、ホームノードB、ホームeNodeB、gNB、NR NodeB、サイトコントローラ、アクセスポイント(access point、AP)、無線ルータなどであり得る。基地局114a、114bは各々単一の要素として示されているが、基地局114a、114bは、任意の数の相互接続された基地局及び/又はネットワーク要素を含み得ることが理解されるであろう。
【0026】
基地局114aは、基地局コントローラ(base station controller、BSC)、無線ネットワークコントローラ(radio network controller、RNC)、リレーノードなど、他の基地局及び/又はネットワーク要素(図示せず)も含み得る、RAN104/113の一部であり得る。基地局114a及び/又は基地局114bは、セル(図示せず)と称され得る、1つ以上のキャリア周波数で無線信号を送信及び/又は受信するように構成され得る。これらの周波数は、認可スペクトル、未認可スペクトル、又はライセンス及び未認可スペクトルの組み合わせであり得る。セルは、比較的固定され得るか又は経時的に変化し得る特定の地理的エリアに無線サービスのカバレッジを提供し得る。セルは更にセルセクタに分割され得る。例えば、基地局114aに関連付けられたセルは、3つのセクタに分割され得る。したがって、実施例では、基地局114aは、3つのトランシーバ、すなわち、セルのセクタごとに1つのトランシーバを含み得る。実施例では、基地局114aは、多重入力多重出力(multiple-input multiple output、MIMO)技術を採用し得、セルのセクタごとに複数のトランシーバを利用し得る。例えば、ビームフォーミングを使用して、所望の空間方向に信号を送信及び/又は受信することができる。
【0027】
基地局114a、114bは、エアインターフェース116を介してWTRU102a、102b、102c、102dのうちの1つ以上と通信し得、これは、任意の好適な無線通信リンク(例えば、無線周波数(radio frequency、RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(infrared、IR)、紫外線(ultraviolet、UV)、可視光など)であり得る。エアインターフェース116は、任意の好適な無線アクセス技術(radio access technology、RAT)を使用して確立され得る。
【0028】
より具体的には、上記のように、通信システム100は、複数のアクセスシステムであり得、CDMA、TDMA、FDMA、OFDMA、SC-FDMAなどの1つ以上のチャネルアクセススキームを用いることができる。例えば、RAN104/113内の基地局114a、及びWTRU102a、102b、102cは、ユニバーサル移動体通信システム(Universal Mobile Telecommunications System、UMTS)地上無線アクセス(UMTS Terrestrial Radio Access、UTRA)などの無線技術を実装し得、これは広帯域CDMA(wideband CDMA、WCDMA)を使用してエアインターフェース115/116/117を確立し得る。WCDMAは、高速パケットアクセス(High-Speed Packet Access、HSPA)及び/又は進化型HSPA(HSPA+)などの通信プロトコルを含み得る。HSPAは、高速ダウンリンク(Downlink、DL)パケットアクセス(High-Speed Downlink Packet Access、HSDPA)及び/又は高速アップリンクパケットアクセス(High-Speed UL Packet Access、HSUPA)を含み得る。
【0029】
実施例では、基地局114a及びWTRU102a、102b、102cは、進化型UMTS地上無線アクセス(Evolved UMTS Terrestrial Radio Access、E-UTRA)などの無線技術を実装し得、これにより、ロングタームエボリューション(Long Term Evolution、LTE)及び/又はLTEアドバンスト(LTE-Advanced、LTE-A)及び/又はLTEアドバンストプロ(LTE-Advanced Pro、LTE-APro)を使用してエアインターフェース116を確立し得る。
【0030】
実施例では、基地局114a及びWTRU102a、102b、102cは、NR無線アクセスなどの無線技術を実装し得、これにより、New Radio(NR)を使用してエアインターフェース116が確立され得る。
【0031】
実施例では、基地局114a及びWTRU102a、102b、102cは、複数の無線アクセス技術を実装し得る。例えば、基地局114a及びWTRU102a、102b、102cは、例えば、デュアル接続性(dual connectivity、DC)原理を使用して、LTE無線アクセス及びNR無線アクセスを一緒に実装し得る。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、並びに/又は複数のタイプの基地局(例えば、eNB及びgNB)に送信される/そこから送信される送信によって特徴付けられ得る。
【0032】
他の実施例では、基地局114a及びWTRU102a、102b、102cは、IEEE802.11(すなわち、無線フィデリティ(Wireless Fidelity、WiFi)、IEEE802.16(すなわち、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス(Worldwide Interoperative for Microword Access、WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、暫定標準2000(Interim Standard 2000、IS-2000)、暫定標準(Interim Standard 95、IS-95)、暫定標準(Interim Standard 856、IS-856)、汎欧州デジタル移動電話方式(Global System for Mobile communications、GSM)、GSM進化型高速データレート(Enhanced Data rates for GSM Evolution、EDGE)、GSM EDGE(GERAN)などの無線技術を実装し得る。
【0033】
図1Aの基地局114bは、例えば、無線ルータ、ホームノードB、ホームeNode B又はアクセスポイントであってもよく、事業所、家庭、車両、キャンパス、工業施設、(例えば、ドローンによる使用のための)空中回廊、道路などの場所などの局所的エリアにおける無線接続を容易にするために、任意の好適なRATを利用することができる。実施例では、基地局114b及びWTRU102c、102dは、IEEE802.11などの無線技術を実装して、無線ローカルエリアネットワーク(wireless local area network、WLAN)を確立し得る。実施例では、基地局114b及びWTRU102c、102dは、IEEE802.15などの無線技術を実装して、無線パーソナルエリアネットワーク(wireless personal area network、WPAN)を確立し得る。実施例では、基地局114b及びWTRU102c、102dは、セルラーベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-APro、NRなど)を利用して、ピコセル又はフェムトセルを確立し得る。
図1Aに示すように、基地局114bは、インターネット110への直接接続を有し得る。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がない場合がある。
【0034】
RAN104/113は、CN106/115と通信し得、これは、音声、データ、アプリケーション、及び/又はボイスオーバインターネットプロトコル(voice over internet protocol、VoIP)サービスをWTRU102a、102b、102c、102dのうちの1つ以上に提供するように構成された、任意のタイプのネットワークであり得る。データは、異なるスループット要件、待ち時間要件、エラー許容要件、信頼性要件、データスループット要件、モビリティ要件などの様々なサービス品質(quality of service、QoS)要件を有し得る。CN106/115は、呼制御、支払い請求サービス、移動体位置ベースのサービス、プリペイド呼、インターネット接続性、ビデオ配信などを提供し、かつ/又はユーザ認証などの高レベルセキュリティ機能を実施し得る。
図1Aには示されていないが、RAN104/113及び/又はCN106/115は、RAN104/113と同じRAT又は異なるRATを使用する他のRANと直接又は間接的に通信し得ることが理解されよう。例えば、NR無線技術を利用し得るRAN104/113に接続されることに加えて、CN106/115はまた、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、又はWiFi無線技術を採用して別のRAN(図示せず)と通信し得る。
【0035】
CN106/115はまた、PSTN108、インターネット110、及び/又は他のネットワーク112にアクセスするために、WTRU102a、102b、102c、102dのためのゲートウェイとしての機能を果たし得る。PSTN108は、基本電話サービス(plain old telephone service、POTS)を提供する公衆交換電話網を含み得る。インターネット110は、TCP/IPインターネットプロトコルスイートの送信制御プロトコル(transmission control protocol、TCP)、ユーザデータグラムプロトコル(datagram protocol、UDP)、及び/又はインターネットプロトコル(internet protocol、IP)などの共通通信プロトコルを使用する、相互接続されたコンピュータネットワーク及びデバイスのグローバルシステムを含み得る。ネットワーク112は、他のサービスプロバイダによって所有及び/又は操作される有線及び/又は無線通信ネットワークを含み得る。例えば、ネットワーク112は、RAN104/113と同じRAT又は異なるRATを採用し得る、1つ以上のRANに接続された別のCNを含み得る。
【0036】
通信システム100におけるWTRU102a、102b、102c、102dのいくつか又は全ては、マルチモード能力を含んでもよい(例えば、WTRU102a、102b、102c、102dは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数のトランシーバを含み得る)。例えば、
図1Aに示されるWTRU102cは、セルラーベースの無線技術を用いることができる基地局114a、及びIEEE802無線技術を用いることができる基地局114bと通信するように構成され得る。
【0037】
図1Bは、例示的なWTRU102を示すシステム図である。
図1Bに示すように、WTRU102は、とりわけ、プロセッサ118、トランシーバ120、送/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(global positioning system、GPS)チップセット136、及び/又は他の周辺機器138を含み得る。WTRU102は、前述の要素の任意の二次組み合わせを含み得ることが理解されよう。
【0038】
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(digital signal processor、DSP)、複数のマイクロプロセッサ、DSPコアに関連付けられた1つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)回路、任意の他のタイプの集積回路(integrated circuit、IC)、状態機械などであり得る。プロセッサ118は、信号符号化、データ処理、電力制御、入力/出力処理、及び/又はWTRU102が無線環境で動作することを可能にする任意の他の機能を実行し得る。プロセッサ118は、送/受信要素122に結合され得るトランシーバ120に結合され得る。
図1Bは、プロセッサ118及びトランシーバ120を別個のコンポーネントとして示しているが、プロセッサ118及びトランシーバ120は、電子パッケージ又はチップにおいて一緒に統合され得ることが理解されよう。
【0039】
送/受信要素122は、エアインターフェース116を介して基地局(例えば、基地局114a)に信号を送信するか又は基地局(例えば、基地局114a)から信号を受信するように構成され得る。例えば、実施例では、送/受信要素122は、RF信号を送信及び/又は受信するように構成されたアンテナであり得る。実施例では、送/受信要素122は、例えば、IR、UV又は可視光信号を送信及び/又は受信するように構成されたエミッタ/検出器であり得る。実施例では、送/受信要素122は、RF信号及び光信号の両方を送信及び/又は受信するように構成され得る。送/受信要素122は、無線信号の任意の組み合わせを送信及び/又は受信するように構成され得ることが理解されよう。
【0040】
送/受信要素122は、単一の要素として
図1Bに示されているが、WTRU102は、任意の数の送/受信要素122を含み得る。より具体的には、WTRU102は、MIMO技術を用いることができる。したがって、実施例では、WTRU102は、エアインターフェース116を介して無線信号を送信及び受信するための2つ以上の送/受信要素122(例えば、多重アンテナ)を含み得る。
【0041】
トランシーバ120は、送/受信要素122によって送信される信号を変調し、送/受信要素122によって受信される信号を復調するように構成され得る。上記のように、WTRU102は、マルチモード能力を有し得る。したがって、トランシーバ120は、例えばNR及びIEEE802.11などの複数のRATを介してWTRU102が通信することを可能にするための複数のトランシーバを含み得る。
【0042】
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128(例えば、液晶ディスプレイ(liquid crystal display、LCD)表示ユニット若しくは有機発光ダイオード(organic light-emitting diode、OLED)表示ユニット)に結合され得、これらからユーザ入力データを受信することができる。プロセッサ118はまた、ユーザデータをスピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128に出力し得る。更に、プロセッサ118は、非リムーバブルメモリ130及び/又はリムーバブルメモリ132などの任意のタイプの好適なメモリから情報にアクセスし、当該メモリにデータを記憶することができる。非リムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、ハードディスク又は任意の他のタイプのメモリ記憶デバイスを含み得る。リムーバブルメモリ132は、加入者識別モジュール(subscriber identity module、SIM)カード、メモリスティック、セキュアデジタル(secure digital、SD)メモリカードなどを含み得る。実施例では、プロセッサ118は、サーバ又はホームコンピュータ(図示せず)上など、WTRU102上に物理的に位置していないメモリから情報にアクセスし、そのメモリにデータを記憶し得る。
【0043】
プロセッサ118は、電源134から電力を受信し得、WTRU102における他のコンポーネントに電力を分配し、かつ/又は制御するように構成され得る。電源134は、WTRU102に電力を供給するための任意の好適なデバイスであり得る。例えば、電源134は、1つ以上の乾電池(例えば、ニッケルカドミウム(nickel-cadmium、NiCd)、ニッケル亜鉛(nickel-zinc、NiZn)、ニッケル金属水素化物(nickel metal hydride、NiMH)、リチウムイオン(lithium-ion、Li-ion)など)、太陽電池、燃料電池などを含み得る。
【0044】
プロセッサ118はまた、GPSチップセット136に結合され得、これは、WTRU102の現在の場所に関する場所情報(例えば、経度及び緯度)を提供するように構成され得る。GPSチップセット136からの情報に加えて又はその代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース116を介して場所情報を受信し、かつ/又は2つ以上の近くの基地局から受信されている信号のタイミングに基づいて、その場所を決定し得る。WTRU102は、任意の好適な場所決定方法によって場所情報を取得し得ることが理解されよう。
【0045】
プロセッサ118は、他の周辺機器138に更に結合され得、これは、追加の特徴、機能、及び/又は有線若しくは無線接続を提供する1つ以上のソフトウェア及び/又はハードウェアモジュールを含み得る。例えば、周辺機器138は、加速度計、電子コンパス、衛星トランシーバ、(写真及び/又は映像のための)デジタルカメラ、ユニバーサルシリアルバス(universal serial bus、USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(frequency modulated、FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実、及び/又は拡張現実(Virtual Reality/Augmented Reality、VR/AR)デバイス、活動トラッカなどを含み得る。周辺機器138は、1つ以上のセンサを含み得、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、生体認証センサ、及び/又は湿度センサのうちの1つ以上であり得る。
【0046】
WTRU102は、(例えば、UL(例えば、送信用)及びダウンリンク(例えば、受信用)の両方のための特定のサブフレームに関連付けられた)信号のいくつか又は全ての送信及び受信が並列及び/又は同時であり得る、全二重無線機を含み得る。全二重無線機は、ハードウェア(例えば、チョーク)又はプロセッサを介した信号処理(例えば、別個のプロセッサ(図示せず)又はプロセッサ118を介した)信号処理のいずれかを介した自己干渉を低減及び又は実質的に排除するための干渉管理ユニット139を含み得る。実施形態では、WRTU102は、(例えば、UL(例えば、送信用)又はダウンリンク(例えば、受信用)のいずれかのための特定のサブフレームに関連付けられた)信号の一部又は全ての送信及び受信のための半二重無線を含み得る。
【0047】
図1Cは、例示的なRAN104及びCN106を図示するシステム図である。上記のように、RAN104は、E-UTRA無線技術を用いて、エアインターフェース116を介してWTRU102a、102b、102cと通信することができる。RAN104はまた、CN106と通信し得る。
【0048】
RAN104は、eNode-B160a、160b、160cを含み得るが、RAN104は、任意の数のeNode-Bを含み得ることが理解されよう。eNode-B160a、160b、160cは各々、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つ以上のトランシーバを含み得る。実施形態では、eNode-B160a、160b、160cは、MIMO技術を実装し得る。したがって、eNode-B160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、かつ/又はWTRU102aから無線信号を受信することができる。
【0049】
eNode-B160a、160b、160cの各々は、特定のセル(図示せず)と関連付けられ得、UL及び/又はDLにおいて、無線リソース管理決定、ハンドオーバ決定、ユーザのスケジューリングなどを処理するように構成され得る。
図1Cに示すように、eNode-B160a、160b、160cは、X2インターフェースを介して互いに通信することができる。
【0050】
図1Cに示されるCN106は、モビリティ管理エンティティ(mobility management entity、MME)162、サービングゲートウェイ(serving gateway、SGW)164、及びパケットデータネットワーク(packet data network、PDN)ゲートウェイ(又はPGW)166を含み得る。前述の要素の各々は、CN106の一部として描写されているが、これらの要素のいずれも、CNオペレータ以外のエンティティによって所有及び/又は操作され得ることが理解されよう。
【0051】
MME162は、S1インターフェースを介して、RAN104におけるeNode-B162a、162b、162cの各々に接続され得、制御ノードとして機能し得る。例えば、MME162は、WTRU102a、102b、102c、ベアラアクティブ化/非アクティブ化のユーザを認証し、WTRU102a、102b、102cの初期アタッチ中に特定のサービングゲートウェイを選択する役割を果たし得る。MME162は、RAN104と、GSM及び/又はWCDMAなどの他の無線技術を用いる他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
【0052】
SGW164は、S1インターフェースを介してRAN104におけるeNode B160a、160b、160cの各々に接続され得る。SGW164は、概して、ユーザデータパケットをWTRU102a、102b、102cに/からルーティングし、転送することができる。SGW164は、eNode B間ハンドオーバ中にユーザプレーンをアンカする機能、DLデータがWTRU102a、102b、102cに利用可能であるときにページングをトリガする機能、WTRU102a、102b、102cのコンテキストを管理及び記憶する機能などの他の機能を実行することができる。
【0053】
SGW164は、PGW166に接続され得、PGW166は、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にするために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。
【0054】
CN106は、他のネットワークとの通信を容易にすることができる。例えば、CN106は、WTRU102a、102b、102cと従来の地上回線通信デバイスとの間の通信を容易にするために、PSTN108などの回路交換ネットワークへのアクセスをWTRU102a、102b、102cに提供し得る。例えば、CN106は、CN106とPSTN108との間のインターフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むか、又はそれと通信し得る。更に、CN106は、他のサービスプロバイダによって所有及び/又は操作される他の有線及び/又は無線ネットワークを含み得る他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供し得る。
【0055】
WTRUは、無線端末として
図1A~
図1Dに記載されているが、いくつかの実施例では、かかる端末は、通信ネットワークとの有線通信インターフェースを(例えば、一時的又は永続的に)使用し得ることが企図される。
【0056】
実施例では、他のネットワーク112は、WLANであり得る。
【0057】
インフラストラクチャ基本サービスセット(Basic Service Set、BSS)モードのWLANは、BSSのアクセスポイント(AP)及びAPに関連付けられた1つ以上のステーション(STA)を有し得る。APは、配信システム(Distribution System、DS)若しくはBSSに入る、かつ/又はBSSから出るトラフィックを搬送する別のタイプの有線/無線ネットワークへのアクセス又はインターフェースを有し得る。BSS外から生じるSTAへのトラフィックは、APを通って到達し得、STAに提供され得る。STAからBSS外の宛先への生じるトラフィックは、APに送信されて、それぞれの宛先に送信され得る。BSS内のSTA間のトラフィックは、例えば、APを介して送信され得、ソースSTAは、APにトラフィックを送信し得、APは、トラフィックを宛先STAに提供し得る。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックとしてみなされ、かつ/又は参照され得る。ピアツーピアトラフィックは、ソースSTAと宛先STAとの間で(例えば、間で直接的に)、直接リンクセットアップ(direct link setup、DLS)で送信され得る。実施例では、DLSは、802.11e DLS又は802.11zトンネルDLS(tunneled DLS、TDLS)を使用し得る。独立BSS(Independent BSS、IBSS)モードを使用するWLANは、APを有さない場合があり、IBSS内又はそれを使用するSTA(例えば、STAの全部)は互いに直接通信し得る。通信のIBSSモードは、本明細書では、「アドホック」通信モードと称され得る。
【0058】
802.11acインフラストラクチャ動作モード又は同様の動作モードを使用するときに、APは、一次チャネルなどの固定チャネル上にビーコンを送信し得る。一次チャネルは、固定幅(例えば、20MHz幅の帯域幅)又はシグナリングを介して動的に設定される幅であり得る。一次チャネルは、BSSの動作チャネルであり得、APとの接続を確立するためにSTAによって使用され得る。実施例では、搬送波感知多重アクセス/衝突回避(Carrier Sense Multiple Access/Collision Avoidance、CSMA/CA)が、例えば、802.11システムにおいて実装され得る。CSMA/CAの場合、APを含むSTA(例えば、全てのSTA)は、一次チャネルを感知し得る。一次チャネルが特定のSTAによってビジーであると感知され/検出され、かつ/又は決定される場合、特定のSTAはバックオフされ得る。1つのSTA(例えば、1つのステーションのみ)は、所与のBSSにおける任意の所与の時間に送信し得る。
【0059】
高スループット(High Throughput、HT)STAは、例えば、一次20MHzチャネルと隣接又は非隣接20MHzチャネルとの組み合わせを介して、通信のための40MHz幅のチャネルを使用して、40MHz幅のチャネルを形成することができる。
【0060】
非常に高いスループット(Very High Throughput、VHT)STAは、20MHz、40MHz、80MHz、及び/又は160MHz幅のチャネルをサポートし得る。40MHz及び/又は80MHzは、連続する20MHzチャネルを組み合わせることによって形成され得る。160MHzチャネルは、8つの連続する20MHzチャネルを組み合わせることによって又は80+80構成と称され得る2つの連続していない80MHzチャネルを組み合わせることによって、形成され得る。80+80構成の場合、チャネル符号化後、データは、データを2つのストリームに分割し得るセグメントパーサを通過し得る。逆高速フーリエ変換(Inverse Fast Fourier Transform、IFFT)処理及び時間ドメイン処理は、各ストリームで別々に行われ得る。ストリームは、2つの80MHzチャネルにマッピングされ得、データは、送信STAによって送信され得る。受信STAの受信機では、80+80構成に対する上記の動作を逆にすることができ、組み合わされたデータを媒体アクセス制御(Medium Access Control、MAC)に送信することができる。
【0061】
サブ1GHzの動作モードは、802.11af及び802.11ahによってサポートされる。チャネル動作帯域幅及びキャリアは、802.11n及び802.11acで使用されるものと比較して、802.11af及び802.11ahで低減される。802.11afは、TVホワイトスペース(TV White Space、TVWS)スペクトルにおいて、5MHz、10MHz及び20MHz帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1MHz、2MHz、4MHz、8MHz、及び16MHz帯域幅をサポートする。実施例によれば、802.11ahは、マクロカバレッジエリア内のMTCデバイスなど、メータタイプ制御/マシンタイプ通信をサポートし得る。MTCデバイスは、例えば、特定の、かつ/又は限定された帯域幅のためのサポート(例えば、そのためのみのサポート)を含む限定された能力を有し得る。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するために)閾値を超えるバッテリ寿命を有するバッテリを含み得る。
【0062】
複数のチャネル、並びに802.11n、802.11ac、802.11af、及び802.11ahなどのチャネル帯域幅をサポートし得るWLANシステムは、一次チャネルとして指定され得るチャネルを含む。一次チャネルは、BSSにおける全てのSTAによってサポートされる最大共通動作帯域幅に等しい帯域幅を有し得る。一次チャネルの帯域幅は、最小帯域幅動作モードをサポートするBSSで動作する全てのSTAの中から、STAによって設定され、かつ/又は制限され得る。802.11ahの例では、一次チャネルは、AP及びBSSにおける他のSTAが2MHz、4MHz、8MHz、16MHz、及び/又は他のチャネル帯域幅動作モードをサポートする場合であっても、1MHzモードをサポートする(例えば、それのみをサポートする)STA(例えば、MTCタイプデバイス)に対して1MHz幅であり得る。キャリア感知及び/又はネットワーク割り当てベクトル(Network Allocation Vector、NAV)設定は、一次チャネルの状態に依存し得る。例えば、APに送信する(1MHz動作モードのみをサポートする)STAに起因してプライマリチャネルがビジーである場合、周波数帯域の大部分がアイドルのままであり、利用可能であり得るとしても、利用可能な周波数帯域全体がビジーであると見なされ得る。
【0063】
米国では、802.11ahにより使用され得る利用可能な周波数帯域は、902MHz~928MHzである。韓国では、利用可能な周波数帯域は917.5MHz~923.5MHzである。日本では、利用可能な周波数帯域は916.5MHz~927.5MHzである。802.11ahに利用可能な総帯域幅は、国のコードに応じて6MHz~26MHzである。
【0064】
図1Dは、例示的なRAN113及びCN115を図示するシステム図である。上記のように、RAN113は、NR無線技術を採用して、エアインターフェース116を介してWTRU102a、102b、102cと通信し得る。RAN113はまた、CN115と通信し得る。
【0065】
RAN113は、gNB180a、180b、180cを含み得るが、RAN113は、任意の数のgNBを含み得ることが理解されよう。gNB180a、180b、180cは各々、エアインターフェース116を介してWTRU102a、102b、102cと通信するための1つ以上のトランシーバを含み得る。実施例では、gNB180a、180b、180cは、MIMO技術を実装し得る。例えば、gNB180a、108bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信及び/又は受信することができる。したがって、gNB180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、かつ/又はWTRU102aから無線信号を受信することができる。実施例では、gNB180a、180b、180cは、キャリアアグリゲーション技術を実装し得る。例えば、gNB180aは、複数のコンポーネントキャリアをWTRU102a(図示せず)に送信し得る。これらのコンポーネントキャリアのサブセットは、未認可スペクトル上にあり得、残りのコンポーネントキャリアは、認可スペクトル上にあり得る。実施例では、gNB180a、180b、180cは、多地点協調(Coordinated Multi-Point、CoMP)技術を実装し得る。例えば、WTRU102aは、gNB180a及びgNB180b(及び/又はgNB180c)からの協調送信を受信することができる。
【0066】
WTRU102a、102b、102cは、拡張可能なヌメロロジに関連付けられた送信を使用して、gNB180a、180b、180cと通信することができる。例えば、OFDMシンボル間隔及び/又はOFDMサブキャリア間隔は、無線送信スペクトルの異なる送信、異なるセル及び/又は異なる部分に対して変化し得る。WTRU102a、102b、102cは、(例えば、様々な数のOFDMシンボルを含む、かつ/又は様々な長さの絶対時間が持続する)様々な又はスケーラブルな長さのサブフレーム又は送信時間間隔(transmission time interval、TTI)を使用して、gNB180a、180b、180cと通信し得る。
【0067】
gNB180a、180b、180cは、スタンドアロン構成及び/又は非スタンドアロン構成でWTRU102a、102b、102cと通信するように構成され得る。スタンドアロン構成では、WTRU102a、102b、102cは、他のRAN(例えば、eNode-B160a、160b、160cなど)にアクセスすることなく、gNB180a、180b、180cと通信し得る。スタンドアロン構成では、WTRU102a、102b、102cは、モビリティアンカポイントとしてgNB180a、180b、180cのうちの1つ以上を利用することができる。スタンドアロン構成では、WTRU102a、102b、102cは、未認可バンドにおける信号を使用して、gNB180a、180b、180cと通信することができる。非スタンドアロン構成WTRU102a、102b、102cは、gNB180a、180b、180cと通信し、これらに接続する一方で、eNode-B160a、160b、160cなどの別のRANとも通信し、これらに接続することができる。例えば、WTRU102a、102b、102cは、1つ以上のgNB180a、180b、180c及び1つ以上のeNode-B160a、160b、160cと実質的に同時に通信するためのDC原理を実装し得る。非スタンドアロン構成では、eNode-B160a、160b、160cは、WTRU102a、102b、102cのモビリティアンカとして機能し得、gNB180a、180b、180cは、WTRU102a、102b、102cをサービスするための追加のカバレッジ及び/又はスループットを提供し得る。
【0068】
gNB180a、180b、180cの各々は、特定のセル(図示せず)と関連付けられ得、無線リソース管理決定、ハンドオーバ決定、UL及び/又はDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、NRとE-UTRAとの間のインターワーキング、ユーザプレーン機能(User Plane Function、UPF)184a、184bへのユーザプレーンデータのルーティング、アクセス及びモビリティ管理機能(Access and Mobility Management Function、AMF)182a、182bへの制御プレーン情報のルーティングなどを処理するように構成され得る。
図1Dに示すように、gNB180a、180b、180cは、Xnインターフェースを介して互いに通信し得る。
【0069】
図1Dに示されるCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(Session Management Function、SMF)183a、183b、及び場合によってはデータネットワーク(Data Network、DN)185a、185bを含み得る。前述の要素の各々は、CN115の一部分として描写されているが、これらの要素のうちのいずれも、CNオペレータ以外のエンティティによって所有及び/又は操作され得ることが理解されよう。
【0070】
AMF182a、182bは、N2インターフェースを介してRAN113内のgNB180a、180b、180cのうちの1つ以上に接続され得、制御ノードとして機能し得る。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシングのためのサポート(例えば、異なる要件を有する異なるPDUセッションの処理)、特定のSMF183a、183bを選択すること、登録エリアの管理、NASシグナリングの終端、モビリティ管理などを担い得る。ネットワークスライスは、WTRU102a、102b、102cを利用しているサービスのタイプに基づいて、WTRU102a、102b、102cのCNサポートをカスタマイズするために、AMF182a、182bによって使用され得る。例えば、異なるネットワークスライスは、高信頼低遅延(ultra-reliable low latency、URLLC)アクセスに依存するサービス、高速大容量(enhanced massive mobile broadband、eMBB)アクセスに依存するサービス、マシンタイプ通信(machine type communication、MTC)アクセスのためのサービス、及び/又は同様のものなどの異なる使用事例のために確立され得る。AMF162は、RAN113とLTE、LTE-A、LTE-A Pro、及び/又はWiFiなどの非3GPPアクセス技術などの他の無線技術を採用する他のRAN(図示せず)との間で切り替えるための制御プレーン機能を提供し得る。
【0071】
SMF183a、183bは、N11インターフェースを介して、CN115内のAMF182a、182bに接続され得る。SMF183a、183bはまた、N4インターフェースを介して、CN115内のUPF184a、184bに接続され得る。SMF183a、183bは、UPF184a、184bを選択及び制御し、UPF184a、184bを通るトラフィックのルーティングを構成することができる。SMF183a、183bは、UE IPアドレスを管理して割り当てること、PDUセッションを管理すること、ポリシー執行及びQoSを制御すること、ダウンリンクデータ通知を提供することなど、他の機能を実施し得る。PDUセッションタイプは、IPベース、非IPベース、イーサネットベースなどであり得る。
【0072】
UPF184a、184bは、N3インターフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つ以上に接続され得、これにより、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にするために、インターネット110などのパケット交換ネットワークへのアクセスがWTRU102a、102b、102cに提供され得る。UPF184、184bは、パケットをルーティングして転送すること、ユーザプレーンポリシーを執行すること、マルチホームPDUセッションをサポートすること、ユーザプレーンQoSを処理すること、ダウンリンクパケットをバッファすること、モビリティアンカリングを提供することなど、他の機能を実施し得る。
【0073】
CN115は、他のネットワークとの通信を容易にし得る。例えば、CN115は、CN115とPSTN108との間のインターフェースとして機能するIPゲートウェイ(例えば、IPマルチメディアサブシステム(IP multimedia subsystem、IMS)サーバ)を含むか、又はそれと通信し得る。更に、CN115は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供し得、これにより、他のサービスプロバイダによって所有及び/又は操作される他の有線及び/又は無線ネットワークが含まれ得る。実施例では、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェース、及びUPF184a、184bとDN185a、185bとの間のN6インターフェースを介して、UPF184a、184bを通じてローカルデータネットワーク(DN)185a、185bに接続され得る。
【0074】
図1A~
図1D、及び
図1A~
図1Dの対応する説明を鑑みると、WTRU102a-d、基地局114a~b、eNode-B160a~c、MME162、SGW164、PGW166、gNB180a~c、AMF182a~ab、UPF 184a-b、SMF 183a-b、DN185a~b、及び/又は本明細書に記載の任意の他のデバイスのうちの1つ以上に関して本明細書に記載の機能のうちの1つ以上又は全ては、1つ以上のエミュレーションデバイス(図示せず)によって実行され得る。エミュレーションデバイスは、本明細書に記載の機能の1つ以上又は全てをエミュレートするように構成された1つ以上のデバイスであり得る。例えば、エミュレーションデバイスを使用して、他のデバイスを試験し、かつ/又はネットワーク及び/若しくはWTRU機能をシミュレートすることができる。
【0075】
エミュレーションデバイスは、ラボ環境及び/又はオペレータネットワーク環境における他のデバイスの1つ以上の試験を実装するように設計され得る。例えば、1つ以上のエミュレーションデバイスは、通信ネットワーク内の他のデバイスを試験するために、有線及び/又は無線通信ネットワークの一部として完全に若しくは部分的に実装され、かつ/又は展開されている間、1つ以上若しくは全ての機能を実行し得る。1つ以上のエミュレーションデバイスは、有線及び/又は無線通信ネットワークの一部として一時的に実装され/展開されている間、1つ以上若しくは全ての機能を実行し得る。エミュレーションデバイスは、試験を目的として別のデバイスに直接結合され得、かつ/又は地上波無線通信を使用して試験を実施し得る。
【0076】
1つ以上のエミュレーションデバイスは、有線及び/又は無線通信ネットワークの一部として実装/展開されていない間、全てを含む1つ以上の機能を実行し得る。例えば、エミュレーションデバイスは、1つ以上のコンポーネントの試験を実装するために、試験実験室、及び/又は展開されていない(例えば、試験する)有線及び/又は無線通信ネットワークにおける試験シナリオにおいて利用され得る。1つ以上のエミュレーションデバイスは、試験機器であり得る。(例えば、1つ以上のアンテナを含み得る)RF回路を介した直接RF結合通信及び/又は無線通信は、データを送信及び/又は受信するためにエミュレーションデバイスによって使用され得る。
【0077】
本出願は、ツール、特徴、実施例、モデル、アプローチなどを含む様々な態様を記載している。これらの態様の多くは、具体的に記載され、少なくとも個々の特性を示すために、限定的であり得るように記載されることが多い。しかしながら、これは記載を明確にするためであり、それらの態様の適用又は範囲を限定するものではない。実際、異なる態様の全てが組み合わされ、交換されて、更なる態様を提供し得る。その上、態様は、同様に、先の出願に記載の態様と組み合わせられ、交換され得る。
【0078】
本出願において記載及び企図される態様は、多くの異なる形態で実装され得る。本明細書に記載の
図5~
図6は、いくつかの実施例を提供し得るが、他の実施例も企図される。
図5~
図6の考察は、実装形態の幅を限定するものではない。態様のうちの少なくとも1つは、概して、ビデオ符号化及び復号に関し、少なくとも1つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び他の態様は、方法、装置、記載の方法のうちのいずれかに従ってビデオデータを符号化又は復号するための命令を記憶したコンピュータ可読記憶媒体、及び/又は記載の方法のうちのいずれかに従って生成されたビットストリームを記憶したコンピュータ可読記憶媒体として実装され得る。
【0079】
本出願では、「再構成された(reconstructed)」及び「復号された(decoded)」という用語は、交換可能に使用され得、「ピクセル(pixel)」及び「サンプル(sample)」という用語は、交換可能に使用され得、「画像(image)」、「ピクチャ(picture)」、及び「フレーム(frame)」という用語は、交換可能に使用され得る。通常、必ずしもではないが、「再構成された(reconstructed)」という用語は、エンコーダ側で使用され、「復号された(decoded)」は、デコーダ側で使用される。
【0080】
様々な方法が本明細書に記載されており、本方法の各々は、記載の方法を達成するための1つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び/又はアクションの順序及び/又は使用は、修正又は組み合わせられ得る。加えて、「第1の(first)」、「第2の(second)」などの用語は、様々な実施例において、例えば、「第1の復号(first decoding)」及び「第2の復号(second decoding)」などの要素、コンポーネント、ステップ、動作などを修正するために使用され得る。かかる用語の使用は、具体的に必要とされない限り、修正された動作に対する順序付けを意味するものではない。そのため、この実施例では、第1の復号は、第2の復号の前に実行される必要はなく、例えば、第2の復号の前、第2の復号の間、又は第2の復号と重複する時間中に発生し得る。
【0081】
本出願に記載の様々な方法及び他の態様は、
図2及び
図3に示すように、ビデオエンコーダ200及びデコーダ300のモジュール、例えば、復号モジュールを修正するために使用され得る。その上、本明細書で開示される主題は、例えば、標準又は推奨に記載されているかどうかにかかわらず、既存の又は将来開発されるかどうかにかかわらず、任意のタイプ、形式、又はバージョンのビデオコーディング、並びに任意のかかる標準及び推奨の拡張に適用され得る。別段の指示がない限り、又は技術的に除外されない限り、本出願に記載の態様は、個々に又は組み合わせて使用され得る。
【0082】
本出願に記載の実施例では、符号化ユニット幅及び高さ、フィルタtapの数、フィルタ係数、RDコスト比、MVD正確度などの様々な数値が使用される。これら及び他の特定の値は、実施例を記載するためのものであり、記載の態様は、これらの特定の値に限定されない。
【0083】
図2は、例示的なビデオエンコーダを示す図である。例示的なエンコーダ200の変形例が企図されるが、エンコーダ200は、全ての予想される変形例を説明することなく、明確にする目的で以下に記載される。
【0084】
符号化される前に、ビデオシーケンスは、符号化前処理(201)、例えば、入力カラーピクチャに色変換(例えば、RGB4:4:4からYCbCr4:2:0への変換)を適用すること、又は圧縮に対してより弾力的な信号分布を得るために(例えば、色成分のうちの1つのヒストグラム等化を使用して)入力ピクチャコンポーネントの再マッピングを実行することを受け得る。メタデータは、その前処理と関連付けられ、ビットストリームに添付され得る。
【0085】
エンコーダ200において、ピクチャは、以下に記載するエンコーダ要素によって符号化される。符号化されるピクチャは、分割され(202)、例えば、符号化ユニット(coding unit、CU)の単位で処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、イントラ予測(260)を実行する。インターモードでは、動き推定(275)及び動き補償(270)が実行される。エンコーダは、ユニットを符号化するために使用するためにイントラモード又はインターモードのいずれを使用するかを決定し(205)、例えば、予測モードフラグによってイントラ/インター決定を示す。予測残差は、例えば、元の画像ブロックからの予測ブロックを減算する(210)ことによって計算される。
【0086】
次いで、予測残差が変換され(225)、量子化される(230)。量子化された変換係数、並びに動きベクトル及び他のシンタックス要素は、エントロピー符号化され(245)、ビットストリームを出力する。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接符号化される。
【0087】
エンコーダは、コーディングブロックを復号して、更なる予測のための参照を提供する。量子化された変換係数は、量子化され(240)、逆変換され(250)、予測残差を復号する。復号された予測残差及び予測ブロックを組み合わせると(255)、画像ブロックが再構成される。ループ内フィルタ(265)が再構成されたピクチャに適用されて、例えば、符号化アーチファクトを低減するために脱ブロック化/SAO(サンプル適応オフセット、Sample Adaptive Offset)フィルタ処理を実行する。フィルタ処理された画像は、参照ピクチャバッファに記憶される(280)。
【0088】
図3は、ビデオデコーダの実施例を示す図である。例示的なデコーダ300では、ビットストリームは、以下に記載のように、デコーダ要素によって復号される。ビデオデコーダ300は、概して、
図2に記載のように、符号化パスとは逆の復号パスを実行する。エンコーダ200はまた、概して、ビデオデータを符号化する一部分としてビデオ復号を実行し得る。例えば、エンコーダ200は、本明細書に提示されるビデオ復号ステップのうちの1つ以上を実行し得る。エンコーダは、復号された画像を再構築し、例えば、参照ピクチャ、エントロピー符号化コンテキスト、及び他のデコーダ関連状態変数のうちの1つ以上に関してデコーダとの同期を維持する。
【0089】
特に、デコーダの入力は、ビデオエンコーダ200によって生成され得るビデオビットストリームを含む。最初に、ビットストリームをエントロピー復号して(330)、変換係数、動きベクトル、及び他の符号化情報を取得する。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがって、デコーダは、復号されたピクチャ分割情報に従ってピクチャを分割し得る(335)。変換係数を脱量子化し(340)、逆変換して(350)、予測残差を復号する。復号された予測残差及び予測ブロックを組み合わせると(355)、画像ブロックが再構成される。予測ブロックは、イントラ予測(360)から又は動き補償予測(すなわち、インター予測)(375)から取得され得る(370)。ループ内フィルタ(365)が再構成された画像に適用される。フィルタ処理された画像は、参照ピクチャバッファ(380)に記憶される。
【0090】
復号されたピクチャは、復号後処理(385)、例えば、逆色変換(例えば、YCbCr4:2:0からRGB4:4:4への変換)又は符号化前処理(201)において実行される再マッピングプロセスの逆を実行する逆再マッピングを更に受けることができる。復号後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。実施例では、復号された画像(例えば、復号後処理が使用される場合、ループ内フィルタ(365)の適用後及び/又は復号後処理(385)の後)は、ユーザへのレンダリングのためにディスプレイデバイスに送信され得る。
【0091】
図4は、本明細書に記載の様々な態様及び実施例が実装され得るシステムの実施例を示す図である。システム400は、以下に記載の様々なコンポーネントを含むデバイスとして具体化され得、本明細書に記載の態様のうちの1つ以上を実行するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電、及びサーバなどの様々な電子デバイスが挙げられる。システム400の要素は、単独で、又は組み合わせて、単一の集積回路(integrated circuit、IC)、複数のIC、及び/又は別個のコンポーネントに具現化され得る。例えば、少なくとも1つの実施例では、システム400の処理及びエンコーダ/デコーダ要素は、複数のIC及び/又は別個のコンポーネントにわたって分散される。様々な実施例では、システム400は、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通じて、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施例では、システム400は、本明細書に記載の態様のうちの1つ以上を実装するように構成されている。
【0092】
システム400は、少なくとも1つのプロセッサ410を含み、プロセッサは、例えば、本明細書に記載の様々な態様を実装するために、その中にロードされた命令を実行するように構成されている。プロセッサ410は、埋め込みメモリ、入力出力インターフェース、及び当技術分野で知られている様々な他の回路を含むことができる。システム400は、少なくとも1つのメモリ420(例えば、揮発性メモリデバイス、及び/又は不揮発性メモリデバイス)を含む。システム400は、記憶デバイス440を含み、これは、不揮発性メモリ及び/又は揮発性メモリを含むことができ、これらのメモリとしては、これらに限定されないが、電気的消去可能なプログラマブル読出し専用メモリ(Electrically Erasable Programmable Read-Only Memory、EEPROM)、読出し専用メモリ(Read-Only Memory、ROM)、プログラマブル読出し専用メモリ(Programmable Read-Only Memory、PROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory、SRAM)、フラッシュ、磁気ディスクドライブ、及び/又は光ディスクドライブが挙げられる。記憶デバイス440は、非限定的な実施例として、内部記憶デバイス、取り付けられた記憶デバイス(着脱可能及び着脱不能な記憶デバイスを含む)、及び/又はネットワークアクセス可能記憶デバイスを含むことができる。
【0093】
システム400は、例えば、データを処理して符号化ビデオ又は復号化ビデオを提供するように構成されたエンコーダ/デコーダモジュール430を含み、そのエンコーダ/デコーダモジュール430は、それ自体のプロセッサ及びメモリを含むことができる。エンコーダ/デコーダモジュール430は、符号化機能及び/又は復号化機能を実行するためにデバイスに含まれ得るモジュールを表す。知られているように、デバイスは、符号化モジュール及び復号化モジュールのうちの一方又は両方を含むことができる。加えて、エンコーダ/デコーダモジュール430は、システム400の個別の要素として実装され得、又は当業者に知られているように、ハードウェア及びソフトウェアの組み合わせとしてプロセッサ410内に組み込まれ得る。
【0094】
本明細書に記載の様々な態様を実行するためにプロセッサ410又はエンコーダ/デコーダ430にロードされるプログラムコードは、記憶デバイス440に記憶され、その後、プロセッサ410による実行のためにメモリ420上にロードされ得る。様々な実施例によれば、プロセッサ410、メモリ420、記憶デバイス440、及びエンコーダ/デコーダモジュール430のうちの1つ以上は、本明細書に記載のプロセスの実行中に様々なアイテムのうちの1つ以上を記憶することができる。かかる記憶されたアイテムは、これらに限定されないが、入力ビデオ、復号化ビデオ、又は復号化ビデオの一部分、ビットストリーム、行列、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含むことができる。
【0095】
いくつかの実施例では、プロセッサ410及び/又はエンコーダ/デコーダモジュール430の内部のメモリは、命令を記憶し、符号化又は復号中に必要な処理のための作業メモリを提供するために使用される。ただし、他の実施例では、処理デバイスの外部のメモリ(例えば、処理デバイスは、プロセッサ410又はエンコーダ/デコーダモジュール430のいずれかであり得る)が、これらの機能のうちの1つ以上のために使用される。外部メモリは、メモリ420及び/又は記憶デバイス440、例えば、ダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリであり得る。いくつかの実施例では、外部不揮発性フラッシュメモリが、例えば、テレビのオペレーティングシステムを記憶するために使用される。少なくとも1つの実施例では、RAMなどの高速外部ダイナミック揮発性メモリが、ビデオ符号化及び復号化動作のためのワーキングメモリとして使用される。復号化及び符号化動作の実施例には、MPEG-2(MPEGは、Moving Picture Experts Groupを指し、MPEG-2は、ISO/IEC 13818とも称され、13818-1は、H.222としても知られており、13818-2は、H.262としても知られている)、HEVC(HEVCはHigh Efficiency Video Codingを指し、H.265及びMPEG-H Part 2とも称される)、又はVVC(Versatile Video Coding、これはJVET、Joint Video Experts Teamによって開発されている新しい規格である)が含まれる。
【0096】
システム400の要素への入力は、ブロック445に示すように、様々な入力デバイスを通して提供され得る。かかる入力デバイスとしては、これらに限定されないが、(i)例えば、放送業者によって空中で送信されるRF信号を受信する無線周波数(radio frequency、RF)部分、(ii)コンポーネント(COMP)入力端子(又は一組のCOMP入力端子)、(iii)ユニバーサルシリアルバス(Universal Serial Bus、USB)入力端子、及び/又は(iv)高解像度マルチメディアインターフェース(High Definition Multimedia Interface、HDMI)入力端子が挙げられる。他の実施例は、
図4に示されていないが、複合ビデオを含む。
【0097】
様々な実施例では、ブロック445の入力デバイスは、当技術分野で知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択すること(信号を選択すること、又は信号をある周波数帯域に帯域制限することとも称される)、(ii)選択された信号をダウンコンバートすること、(iii)(例えば、)特定の実施例においてチャネルと称され得る信号周波数帯域を選択するために、狭い周波数帯域に再び帯域制限すること、(iv)ダウンコンバートされ帯域制限された信号を復調すること、(v)誤り訂正を実行すること、及び(vi)データパケットの所望のストリームを選択するために多重分離すること、に適した要素と関連付けられ得る。様々な実施例のRF部分は、これらの機能を実行するための1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、及び多重分離器を含む。RF部分は、これらの機能の種々を実行するチューナを含むことができ、例えば、受信した信号をより低い周波数(例えば、中間周波数又は近ベースバンド周波数)に又はベースバンドにダウンコンバートすることを含む。1つのセットトップボックスの実施例では、RF部分及びその関連付けられた入力処理要素は、有線(例えば、ケーブル)媒体によって送信されたRF信号を受信し、フィルタ処理、ダウンコンバート、及び所望の周波数帯域への再度のフィルタ処理によって周波数選択を実行する。様々な実施例は、上述の(及び他の)要素の順序を再配列し、これらの要素のいくつかを除去し、及び/又は他の要素を追加して、類似の機能又は異なる機能を実行する。要素を追加することは、既存の要素間に要素を挿入すること、例えば、増幅器及びアナログ-デジタル変換器を挿入することなどを含むことができる。様々な実施例では、RF部分は、アンテナを含む。
【0098】
加えて、USB及び/又はHDMI端子は、システム400をUSB及び/又はHDMI接続にわたって他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、個別の入力処理IC内又はプロセッサ410内に実装され得ることを理解されたい。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて、個別のインターフェースIC内又はプロセッサ410内に実装され得る。復調され、誤り訂正され、多重分離されたストリームは、例えば、プロセッサ410、並びに、メモリ及び記憶要素と組み合わせて動作して、出力デバイス上に提示するのに必要なデータストリームを処理するエンコーダ/デコーダ430を含む様々な処理要素に提供される。
【0099】
システム400の様々な要素は、一体型ハウジング内に提供され得る。一体型ハウジング内では、様々な要素が相互接続され、適切な接続配列425、例えば、Inter-IC(I2C)バス、配線、及びプリント回路基板を含む当技術分野で知られている内部バスを使用して、それらの間でデータを送信し得る。
【0100】
システム400は、通信チャネル460を介して他のデバイスとの通信を可能にする通信インターフェース450を含む。通信インターフェース450は、通信チャネル460によってデータを送信及び受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース450は、モデム又はネットワークカードを含むことができるが、これに限定されず、通信チャネル460は、例えば、有線及び/又は無線媒体内に実装され得る。
【0101】
データは、様々な実施例において、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、the Institute of Electrical and Electronics Engineersを指す)などの無線ネットワークを使用して、システム400にストリーミングされるか、又は他の方法で提供される。これらの実施例のWi-Fi信号は、Wi-Fi通信用に適合された通信チャネル460及び通信インターフェース450を介して受信される。これらの実施例の通信チャネル460は、典型的には、ストリーミングアプリケーション及び他のオーバートップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施例は、入力ブロック445のHDMI接続によってデータを提供するセットトップボックスを使用して、ストリーミングされたデータをシステム400に提供する。更に他の実施例は、入力ブロック445のRF接続を使用して、ストリーミングされたデータをシステム400に提供する。上記のように、様々な実施例は、非ストリーミング方式でデータを提供する。加えて、様々な実施例は、Wi-Fi以外の無線ネットワーク、例えば、セルラーネットワーク又はBluetooth(登録商標)ネットワークを使用する。
【0102】
システム400は、ディスプレイ475、スピーカ485、及び他の周辺デバイス495を含む、様々な出力デバイスに出力信号を提供することができる。様々な実施例のディスプレイ475は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(organic light-emitting diode、OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み式ディスプレイのうちの1つ以上を含む。ディスプレイ475は、テレビ、タブレット、ラップトップ、携帯電話(モバイルフォン)、又は他のデバイスのためのものであり得る。ディスプレイ475はまた、他のコンポーネント(例えば、スマートフォンにおけるように)と、又は個別(例えば、ラップトップのための外部モニタ)に、統合され得る。他の周辺デバイス495は、様々な実施例において、スタンドアロンデジタルビデオディスク(又はデジタル多用途ディスク)(両方の用語についてDVD)、ディスクプレーヤ、ステレオシステム、及び/又は照明システムのうちの1つ以上を含む。様々な実施例は、システム400の出力に基づいて機能を提供する1つ以上の周辺デバイス495を使用する。例えば、ディスクプレーヤは、システム400の出力を再生する機能を実行する。
【0103】
様々な実施例では、制御信号は、AV.Link、コンシューマエレクトロニクス制御(Consumer Electronics Control、CEC)、又はユーザ介入の有無を問わずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム400とディスプレイ475、スピーカ485、又は他の周辺デバイス495との間で通信される。出力デバイスは、それぞれのインターフェース470、480、及び490を通じた専用接続を介してシステム400に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース450を介して通信チャネル460を使用してシステム400に接続され得る。ディスプレイ475及びスピーカ485は、例えば、テレビなどの電子デバイス内のシステム400の他のコンポーネントと単一のユニットに統合され得る。様々な実施例では、ディスプレイインターフェース470は、例えば、タイミングコントローラ(timing controller、TCon)チップなどのディスプレイドライバを含む。
【0104】
ディスプレイ475及びスピーカ485は、代替的に、例えば、入力445のRF部分が個別のセットトップボックスの一部分である場合、他のコンポーネントのうちの1つ以上から分離され得る。ディスプレイ475及びスピーカ485が外部コンポーネントである様々な実施例では、出力信号は、例えば、HDMIポート、USBポート、又はCOMP出力を含む専用の出力接続を介して提供され得る。
【0105】
これらの実施例は、プロセッサ410によって、又はハードウェアによって、又はハードウェア及びソフトウェアの組み合わせによって実装されるコンピュータソフトウェアによって実行され得る。非限定的な実施例として、これらの実施例は、1つ以上の集積回路によって実装され得る。メモリ420は、技術環境に適切な任意のタイプであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリなどの任意の適切なデータ記憶技術を使用して実装され得る。プロセッサ410は、技術環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ以上を包含することができる。
【0106】
様々な実装形態は、復号化を伴う。本出願で使用される場合、「復号化」は、例えば、ディスプレイに適した最終出力を作り出すために受信された符号化シーケンス上で実行されるプロセスの全て又は一部分を包含することができる。様々な実施例では、かかるプロセスは、典型的には、デコーダによって実行されるプロセス、例えば、エントロピー復号化、逆量子化、逆変換、及び差分復号化のうちの1つ以上を含む。様々な実施例では、かかるプロセスはまた、又は代替的に、本出願に記載の様々な実装形態のデコーダによって実行されるプロセス、例えば、コーディングブロックのための、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャを決定することと、コーディングブロックに対してBDOFを実行するかどうかを決定することと、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なるかどうかを決定することと、などを含む。
【0107】
更なる実施例として、一実施例では、「復号化(decoding)」はエントロピー復号化のみを指し、別の実施例では、「復号化(decoding)」は、差分復号化のみを指し、別の実施例では、「復号化(decoding)」は、エントロピー復号化及び差分復号化の組み合わせを指す。「復号化プロセス(decoding process)」という語句が動作のサブセットを具体的に指すことを意図しているか、又はより広い復号化プロセスを広く指すことを意図しているかどうかは、具体的な記載の文脈に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0108】
様々な実装形態は、符号化を伴う。「復号化(decoding)」に関する上記の考察と同様に、本出願で使用される「符号化(encoding)」は、例えば、符号化されたビットストリームを作り出すために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部分を包含することができる。様々な実施例では、かかるプロセスは、典型的には、エンコーダによって実行されるプロセス、例えば、分割、差動符号化、変換、量子化、及びエントロピー符号化のうちの1つ以上を含む。様々な実施例では、かかるプロセスはまた、又は代替的に、本出願に記載の様々な実装形態のエンコーダによって実行されるプロセス、例えば、コーディングブロックのための、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャを決定することと、コーディングブロックに対してBDOFを実行するかどうかを決定することと、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なるかどうかを決定することと、などを含む。
【0109】
更なる実施例として、一実施例では、「符号化(encoding)」は、エントロピー符号化のみを指し、別の実施例では、「符号化(encoding)」は、差分符号化のみを指し、別の実施例では、「符号化(encoding)」は、差分符号化及びエントロピー符号化の組み合わせを指す。「符号化プロセス(encoding process)」という語句が、具体的に動作のサブセットを指すことを意図しているか、又はより広い符号化プロセスを広く指すことを意図しているかどうかは、具体的な記載の文脈に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0110】
本明細書で使用されるシンタックス要素、例えば、use_integer_mv_flag、参照ピクチャリストL0、参照ピクチャリストL1などは、記述用語であることに留意されたい。したがって、それらは他のシンタックス要素名の使用を排除しない。
【0111】
図がフロー図として提示されるとき、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されるとき、対応する方法/プロセスのフロー図も提供することを理解されたい。
【0112】
様々な実施例は、復号化に言及している。コンテンツ適応変換が適用され得る。特に、装置は、コンテンツを表すビデオビットストリームを受信し得る。ビデオビットストリームは、1つ以上のブロックに対する量子化変換係数を含み得る。正確度係数(例えば、shift)が取得され(例えば、決定又はシグナリングされ)得る。正確度係数は、エンコーダ又はデコーダ動作で使用される1つ以上の正確度値、又は量子化プロセス又は逆量子化プロセスで使用される1つ以上のシフト値を有し得る。正確度係数は、ブロック上で少なくとも1つの復号化機能を実行するためにブロックと関連付けられ得る。実施例では、正確度係数は、ブロックに対する変換係数の大きさに基づき得る。正確度係数は、16ビット内に適合するように最大の大きさの変換係数を低減させ得る。
【0113】
本明細書に記載の実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装され得る。たとえ単一の形態の実装形態の文脈でのみ考察された(例えば、方法としてのみ考察された)としても、考察される特徴の実装はまた、他の形態(例えば、装置又はプログラム)に実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。本方法は、例えば、プロセッサで実装され得るが、プロセッサは、一般に処理デバイスを指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスが含まれる。プロセッサはまた、例えば、コンピュータ、携帯電話、ポータブル/パーソナルデジタルアシスタント(「portable/personal digital assistant、PDA」)、及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
【0114】
「一実施例(one example)」若しくは「実施例(an example)」又は「一実装形態(one implementation)」若しくは「実装形態(an implementation)」、並びにそれらの他の変形例への言及は、実施例に関連して記載される特定の特徴、構造、特性などが少なくとも1つの実施例に含まれることを意味する。そのため、本出願全体を通して様々な場所に現れる「一実施例では(in one example)」若しくは「実施例では(in an example)」又は「一実装形態では(in one implementation)」若しくは「実装形態では(in an implementation)」という語句、並びに任意の他の変形例の出現は、必ずしも全てが同じ実施例を指すとは限らない。
【0115】
加えて、本出願は、様々な情報を「決定する(determining)」ことに言及し得る。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの1つ以上を含むことができる。取得することは、受信すること、取り出すこと、構築すること、生成すること、及び/又は決定することを含み得る。
【0116】
更に、本出願は、様々な情報に「アクセスすること(accessing)」に言及し得る。情報にアクセスすることは、例えば、情報を受信すること、情報を(例えば、メモリから)取り出すこと、情報を記憶すること、情報を移動させること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することのうちの1つ以上を含むことができる。
【0117】
加えて、本出願は、様々な情報を「受信すること(receiving)」に言及し得る。受信することは、「アクセスすること(accessing)」と同様に、広範な用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は情報を(例えば、メモリから)取り出すことのうちの1つ以上を含むことができる。更に、「受信すること(receiving)」は、典型的には、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動させ、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定するなどの動作中に、何らかの形で関与する。
【0118】
例えば、「A/B」、「A及び/又はB(A and/or B)」及び「A及びBのうちの少なくとも1つ(at least one of A and B)」の場合、つぎの「/」、「及び/又は(and/or)」、及び「のうちの少なくとも1つ(at least one of)」のいずれかの使用は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「A、B、及び/又はC(A,B,and/or C)」及び「A、B、及びCのうちの少なくとも1つ(at least one of A,B,and C)」の場合、かかる表現は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は第3のリストされた選択肢(C)のみの選択、又は第1及び第2のリストされた選択肢(A及びB)のみの選択、又は第1及び第3のリストされた選択肢(A及びC)のみの選択、又は第2及び第3のリストされた選択肢のみの選択(B及びC)のみ、又は3つ全ての選択肢の選択(A及びB及びC)を包含することが意図される。これは、当業者に明らかなように、リストされる多くの項目について拡張され得る。
【0119】
また、本明細書で使用される場合、「信号(signal)」という用語は、とりわけ、対応するデコーダに何かを示すことを指す。エンコーダ信号は、例えば、BDOFが(例えば、シーケンス又はピクチャレベルで)使用可能にされているかどうか、DMVRが(例えば、シーケンス又はピクチャレベルなどで)使用可能にされているかどうか、などを含み得る。このようにして、実施例では、同じパラメータがエンコーダ側及びデコーダ側の両方で使用される。そのため、例えば、エンコーダは、特定のパラメータをデコーダに送信(明示的にシグナリング)することができ、それにより、デコーダは同じ特定のパラメータを使用することができる。逆に、デコーダが既に特定のパラメータ並びに他のパラメータを有する場合、シグナリングを使用して、送信(暗黙的なシグナリング)することなく、単にデコーダが特定のパラメータを知り選択することを可能にし得る。任意の実際の機能の送信を回避することによって、様々な実施例においてビット節約が実現される。シグナリングは、様々な方法で達成され得ることが理解されるべきである。例えば、様々な実施例では、1つ以上のシンタックス要素、フラグなどを使用して、対応するデコーダに情報をシグナリングする。上記は、「信号(signal)」という単語の動詞形態に関するものであるが、「信号(signal)」という単語は、本明細書では名詞として使用することもできる。
【0120】
当業者には明らかであるように、実装形態は、例えば、記憶又は送信され得る情報を搬送するようにフォーマットされた様々な信号を作り出し得る。情報は、例えば、方法を実行するための命令、又は記載の実装形態のうちの1つによって作り出されたデータを含むことができる。例えば、信号は、記載の実施例のビットストリームを搬送するようにフォーマットされ得る。かかる信号は、例えば、(例えば、スペクトルの無線周波数部分を使用して)電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する信号は、例えば、アナログ情報又はデジタル情報であり得る。信号は、知られているように、様々な異なる有線又は無線リンクによって送信され得る。信号は、プロセッサ可読媒体に記憶され得る。
【0121】
多くの実施例が、本明細書に記載されている。実施例の特徴は、様々な特許請求のカテゴリ及びタイプにわたって単独で又は任意の組み合わせで提供され得る。更に、実施例は、本明細書に記載の特徴、デバイス、又は態様のうちの1つ以上を、単独で又は任意の組み合わせで、様々な特許請求のカテゴリ及びタイプにわたって含み得る。例えば、本明細書に記載の特徴は、本明細書に記載されるように生成された情報を含むビットストリーム又は信号に実装され得る。情報により、デコーダが、記載の実施形態のいずれかに従って、ビットストリーム、エンコーダ、ビットストリーム、及び/又はデコーダを復号することが可能になり得る。例えば、本明細書に記載の特徴は、ビットストリーム又は信号を作成及び/又は送信及び/又は受信及び/又は受信及び/又は復号することによって実装され得る。例えば、本明細書に記載の特徴が実装され得、方法、プロセス、装置、データを記憶する媒体、命令を記憶する媒体、又は信号。例えば、本明細書に記載の特徴は、TV、セットトップボックス、携帯電話、タブレット、又は復号化を実行する他の電子デバイスによって実装され得る。TV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、結果として生じる画像(例えば、ビデオビットストリームの残差再構成からの画像)を(例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して)表示し得る。TV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、符号化された画像を含む信号を受信し、復号化を実行し得る。
【0122】
1つ以上(例えば、65)の角度イントラ予測方向、修正係数符号化、高度多重変換(advanced multiple transform、AMT)+4x4非分離性二次変換(non-separable secondary transform、NSST)、アフィン動きモデル、一般化適応ループフィルタ(generalized adaptive loop filter、GALF)、高度時間的動きベクトル予測(advanced temporal motion vector prediction、ATMVP)、適応動きベクトル正確度、デコーダ側動きベクトル補正(decoder-side motion vector refinement、DMVR)、及び/又は線形モデル(linear model、LM)クロマモードのうちの1つ以上が使用され得る。
【0123】
双方向の動き補償予測(motion compensated prediction、MCP)は、例えば、ピクチャ間の時間的相関を利用することによって、時間的冗長性を除去するために使用され得る。双予測信号は、例えば、加重値(例えば、0.5に等しい加重値)を使用して、2つの単予測信号を組み合わせることによって形成され得る。照度は、ピクチャごとに(例えば、急速に)変化し得る。本明細書の1つ以上の実施例を使用して、参照ピクチャ内の1つ以上のサンプル値(例えば、各サンプル値)に全体的及び/又は局所的な加重及び/又はオフセット値を適用することによって、経時的な照度変動を補償し得る。
【0124】
(例えば、各)インター予測されたコーディングユニット(CU)は、1つ以上の動きパラメータを含み得る。動きパラメータは、動きベクトル、参照ピクチャインデックス、及び/又は参照ピクチャリスト使用インデックスのうちの1つ以上を含み得る。動きパラメータは、インター予測されたサンプルを生成するために使用される情報を含み得る。1つ以上の動きパラメータは、(例えば、明示的又は暗黙的に)シグナリングされ得る。CUがスキップモードで符号化されるとき、CUは、PUと関連付けられ得、小さい(例えば、有意な残留係数がない)残差係数を有するか、又は残差係数を有さないことがあり得、及び/又は符号化された動きベクトルデルタ若しくは参照ピクチャインデックスを有さないことがあり得る。マージモードが使用され得、それによって、CU(例えば、現在のCU)に対する1つ又は動きパラメータが、例えば、空間的候補及び/又は時間的候補を含む1つ以上の隣接するCUから取得され得る。マージモードは、インター予測されたCU(例えば、スキップモードで符号化されたCU、及びスキップモードで符号化されていないCUを含む任意のCU)に適用され得る。動きパラメータは、(例えば、明示的に)送信され得る。動きベクトル、(例えば、各々の)参照ピクチャリストの対応する参照ピクチャインデックス、及び/又はフラグなどの参照ピクチャリスト使用指示は、(例えば、各々の)CUに対して(例えば、明示的に)シグナリングされ得る。動きパラメータは、動きベクトル、参照ピクチャリストの対応する参照ピクチャインデックス、又は参照ピクチャリスト使用指示のうちの1つ以上を含み得る。
【0125】
適応動きベクトル分解能(Adaptive motion vector resolution、AMVR)が使用され得る。第1の動きベクトル(例えば、CUの動きベクトル)と第2の動きベクトル(例えば、CUの予測動きベクトル)との間の動きベクトル差分(motion vector difference、MVD)は、指示(例えば、use_integer_mv_flag)がスライスヘッダ内の特定の値(例えば、ゼロ)に等しいときに、1/4輝度サンプルの単位でシグナリングされ得る。その値は、MVDがシグナリングされるかどうかを示し得る。その値は、MVDがinteger-sample正確度でシグナリングされるかどうかを示し得る。CUレベルAMVRは、CUを処理(例えば、符号化)するために使用され得る。AMVRを使用することにより、CUの1つ以上のMVDが異なる正確度で符号化することを可能にする。現在のCUのモード(例えば、正常なAMVPモード又はアフィンAMVPモード)に応じて、現在のCUの1つ以上のMVD(正確度)が適応的に選択され得る。例えば、第1のMVD正確度(例えば、1/4輝度サンプル、半輝度サンプル、整数輝度サンプル、又は4輝度サンプル)が、正常なAMVPモードにおいて現在のCUに対して選択され得る。第2のMVD正確度(例えば、1/4輝度サンプル、整数輝度サンプル、又は1/16輝度サンプル)が、アフィンAMVPモードにおいて現在のCUに対して選択され得る。
【0126】
例えば、CUレベルMVD分解能指示は、現在のCUが1つ以上の非ゼロMVDコンポーネントを有する場合、シグナリングされ得る。MVDコンポーネント(例えば、参照リストL0及びL1に対する水平及び垂直MVD)がゼロである場合、MVD正確度(例えば、MVD分解能)は、例えば、1/4輝度サンプルであるように決定され得る(例えば、推測され得る)。
【0127】
1つ以上の非ゼロMVDコンポーネントを有するCUの場合、指示(例えば、第1のフラグ)がシグナリングされ得、これは、1/4輝度サンプルMVD正確度がCUに使用されるかどうかを示す。指示(例えば、第1のフラグ)が、1/4輝度サンプルMVD正確度がCUに対して使用されることを示す値(例えば、0)を有する場合、1/4輝度サンプルMVD正確度がCUに対して使用され得、更なるシグナリングがスキップされ得る。指示(例えば、第1のフラグ)が、1/4輝度サンプルMVD正確度がCUに対して使用されないことを示す値(例えば、1)を示す値を有する場合、指示(例えば、第2のフラグ)がシグナリングされ、半輝度サンプルMVD正確度がAMVP CUに対して使用されるかどうかを示し得る。指示(例えば、第2のフラグ)が、半輝度サンプルMVD正確度がAMVP CUに対して使用されることを示す場合、半輝度サンプル位置に対して(例えば、デフォルトであり得る8-tap補間フィルタの代わりに)6-tap補間フィルタが使用され得る。指示(例えば、第2のフラグ)が、半輝度サンプルMVD正確度がAMVP CUに使用されないことを示す場合、指示(例えば、第3のフラグ)が、4輝度サンプルMVD正確度又は整数輝度サンプルMVD正確度がAMVP CUに対して使用されるかどうかを示すようにシグナリングされ得る。
【0128】
アフィンAMVP CUの場合、指標(例えば、第2のフラグ)は、整数輝度サンプルMVD正確度又は1/16輝度サンプルMVD正確度が使用されるかどうかを示すために使用され得る。CUについての1つ以上の動きベクトル予測子は、(例えば、MVDに追加される前に)MVDのものと同じ正確度に丸められ得、例えば、それにより、再構成されたMVは、意図された正確度(例えば、1/4輝度サンプル、半輝度サンプル、整数輝度サンプル、又は4輝度サンプル)を有する。動きベクトル予測子は、ゼロに向かって丸められ得る(例えば、負の動きベクトルは正の無限大に向かって丸められ得、正の動きベクトル予測子は負の無限大に向かって丸められ得る)。
【0129】
ビデオ処理デバイスは、例えば、RD検査を使用して、現在のCUについての動きベクトル正確度(例えば、動きベクトル分解能)を決定し得る。ビデオ処理デバイスは、エンコーダを含み得る。1つ以上のMVD正確度(例えば、1/4輝度サンプルMVD正確度以外)についてのRD検査は、いくつかの実施例においてスキップされ得、他の実施例において(例えば、条件付きで)起動され得る。正常なAMVPモードの場合、1/4輝度サンプルMVD正確度及び/又は整数輝度サンプルMV正確度についてのRDコストが取得され(例えば、計算され)得る。整数輝度サンプルMVD正確度のRDコストは、例えば、4輝度サンプルMVD正確度のRDコストを更に検査するかどうかを決定するために、1/4輝度サンプルMVD正確度のRDコストと比較され得る。1/4輝度サンプルMVD正確度のRDコストが整数輝度サンプルMVD正確度のRDコストよりも(例えば、ある値だけ)小さい場合、4輝度サンプルMVD正確度のRD検査はスキップされ得る。例えば、4輝度サンプルMVD正確度のRD検査は、中間輝度サンプルMVD予測のRDコストと1/4輝度サンプルMVD正確度のRDコストとの比が、約1.04~1.1の範囲(例えば、1.06)である場合に、スキップされ得る。半輝度サンプルMVD正確度の検査は、整数輝度サンプルMVD正確度のRDコストが以前に試験されたMVD正確度の最良のRDコストよりも(例えば、著しく)大きい場合、スキップされ得る。例えば、半輝度サンプルMVD正確度の検査は、整数輝度サンプルのRDコストと最良のRDコストとの比が約1.2~1.3の範囲(例えば、1.25)である場合、スキップされ得る。アフィンのAMVPモードの場合、アフィンのマージ/スキップモード、マージ/スキップモード、1/4輝度サンプルMVD正確度AMVPモード及び/又は1/4輝度サンプルMVD正確度アフィンAMVPモードのレート-歪みコストを検査した後にアフィンインターモードが選択されない場合、1/16輝度サンプルMV正確度及び/又は1画素MV正確度アフィンインターモードが検査され得ない。1/4輝度サンプルMV正確度アフィンインターモードにおいて取得された1つ以上のアフィンパラメータは、1/16輝度サンプル及び/又は1/4輝度サンプルMV正確度アフィンインターモードの開始検索点として使用され得る。
【0130】
切り替え半画素補間フィルタ(switched half-pel interpolation filter、SIF)は、例えば、半画素位置に対して使用され得る。並進インター予測ブロックのMVDが、1つ以上(例えば、3)の精度のうちの1つで取得され(例えば、符号化され)得、その精度は、1/4画素精度、1画素精度、及び/又は4画素精度であり得る。(例えば、各々の)分数位置に対して使用される補間フィルタは、固定であり得る。1つ以上の輝度補間フィルタを、半画素位置に対して使用され得る。使用される輝度補間フィルタ間の切り替えは、CUレベルで実行され得る。切り替えは、使用される動きベクトル精度に依存し得る。AMVRは、半画素輝度動きベクトル精度をサポートし得る。半画素動きベクトル精度モードが使用される場合(例えば、本明細書で半画素動きベクトル精度モードが使用される場合のみ)、半画素補間フィルタが使用され得る。使用される半画素補間フィルタは、代替の半画素補間フィルタであり得る。シンタックス要素は、どの補間フィルタが使用されるかを示し得る。空間的マージ候補を伴うスキップモード又はマージモードでは、シンタックス要素の値は、隣接するブロックから継承され得る。
【0131】
6-tap補間フィルタが(例えば、半画素位置に対して)使用され得る。使用される6-tap補間フィルタは、代替補間フィルタであり得る。6-tap補間フィルタの係数は、表1に示すとおりであり得る。表1は、例えば、ガウス輝度補間フィルタを含む。
【表1】
表1
【0132】
デコーダ側動きベクトル補正(Decoder-side motion vector refinement、DMVR)が実行され得る。例えば、バイラテラルマッチング(BM)ベースのDMVRが、マージモードのMVの精度を高めるために適用され得る。双予測動作では、MV(例えば、補正MV)は、参照ピクチャリストL0及びL1内の初期MVの周りで探索され得る。装置(例えば、ビデオ処理装置)は、第1の参照ピクチャリスト(例えば、参照ピクチャリストL0)内の参照ピクチャ、及び第2の参照ピクチャリスト内の参照ピクチャリスト(例えば、参照ピクチャリストL1)を決定し得る。BMを使用して、例えば、参照ピクチャリストL0及びL1内の2つの候補ブロック間の歪みを計算し得る。
【0133】
図5は、デコーダ側動きベクトル補正の実施例を示す図である。
図5に示すように、候補ブロック(例えば、
図5に示すブロックA及びB)間の差分絶対値和(sum of absolute difference、SAD)は、初期MVの周りの1つ以上(例えば、各)MV候補に基づいて計算され得る。最も低いSADを有するMV候補は、補正されたMVになり得、及び/又は双予測信号を生成するために使用され得る。
【0134】
DMVRによって導出された補正されたMVは、1つ以上のインター予測サンプルを生成するために使用され得、及び/又は1つ以上のピクチャを取得(例えば、符号化)するための時間的動きベクトル予測において使用され得る。元のMVは、デブロッキングのために、及び/又は(例えば、現在のCUと隣接CUとの間のMV依存性を回避するために)符号化又は復号を含むCU処理のための空間的動きベクトル予測のために使用され得る。
【0135】
図5に示すように、1つ以上の検索点が、初期MVを取り囲み得る。MVオフセット(例えば、MV
diff)は、MV差分ミラーリング(例えば、対称)規則に基づいて(例えば、従って)取得され得る。例えば、(例えば、候補MV対(MV0、MV1)として示され得る)DMVRによって検査される1つ以上の点(例えば、点のうちのいずれか)は、以下の式1に基づいて取得され得る。
【数1】
可変式MV
offsetは、初期MV(例えば、MV0及びMV1)と参照ピクチャにおける補正MV(例えば、MV0’及びMV1’)との間の補正オフセットを表し得る。補正検索範囲は、初期MVからの複数(例えば、2つ)の整数輝度サンプルであり得る。早期終了を伴う高速検索が、(例えば、探索複雑性を低減するために)適用され得る。
【0136】
DMVRは、以下のモード、条件及び/又は特徴のうちの1つ以上を使用して、CU、例えば、処理(例えば、符号化)されるCUに適用され得、この条件及び/又は特徴には、双予測MVとのCUレベルマージモード、第1の参照ピクチャ(例えば、現在のピクチャに対する過去の1つの参照ピクチャ)及び第2の参照ピクチャ(例えば、現在のピクチャに対する未来の別の参照ピクチャは)、両方の参照ピクチャから現在のピクチャへの間隔(例えば、ピクチャ順序カウント差)が同じであること、CUが特定の数(例えば、64などの閾値)を超える輝度サンプルを有すること、CU高さ及びCU幅が輝度サンプルの特定の数(例えば、8などの閾値)以上であること、CU加重指数を用いる双予測(bi-prediction with CU weights、BCW)が等しい加重を示すこと、加重予測(weighted prediction、WP)が現在のブロックに対して利用可能でないこと、イントラ及びインター組み合わせ予測(combined intra and inter prediction、CIIP)モードが現在のブロックに対して使用されないこと、などがある。
【0137】
BDOFは、例えば、あるレベル(例えば、4×4サブブロックレベル)でCUの双予測信号を補正するために使用され得る。BDOFは、BIOと称され得る。BDOFは、乗数を含み得る。
図7に示す実施例は、BDOFを示し得る。
【0138】
BDOFがCUに対して実行されるかどうかは、1つ以上の条件が満たされるかどうかに基づき得る。BDOFは、以下(例えば、条件)のうちの1つ以上(例えば、全て)が満たされる場合、CU(例えば、全て)が満たされる場合、CUに対して実行され(例えば、適用され)得、この条件には、CUが双予測モードを使用して取得されること(例えば、CUの参照ピクチャのうちの1つが第1の参照ピクチャリストからのものであり(例えば、CUの参照ピクチャは表示及び/又は出力の順序において現在のピクチャに先行していおり)、参照ピクチャのうちの1つが第2の参照ピクチャリストからのものである(例えば、CUの参照ピクチャのうちの1つは表示及び/又は出力の順序において現在のプクチャの後にある)こと)、CUがアフィンモード又はATMVPマージモードを使用して符号化されないこと、CUが特定の数(例えば、64などの閾値)を超える輝度サンプルを有すること、CU高さ及びCU幅が輝度サンプルの特定の数(例えば、8などの閾値)以上であること、BCW加重指数が等しい加重を示すこと、WPが現在のブロックに対して使用可能にされていないこと、CIIPモードが現在のブロックには使用されないこと、コーディングブロックに関連付けられたピクチャと参照ピクチャリスト0にリストされた参照ピクチャとの間のPOC差が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間のPOC差に等しいこと、などがある。
【0139】
BDOFは、輝度コンポーネントに(例えば、のみ)適用され得る。BDOFは、オプティカルフローに基づき得、これにより、オブジェクトの動きが平滑であると仮定し得る。(例えば、各)サブブロック(例えば、4×4サブブロック)の場合、動き補正(vx、vy)は、参照ピクチャリストL0と参照ピクチャリストL1の予測サンプル間の(例えば、L0とL1と予測サンプル間の差を最小化することによって計算される)差に基づいて取得され得る。動き補正は、サブブロック内の双予測サンプル値を修正(例えば、調整)するために使用され得る。
【0140】
AMVRにより、CUのMVDが異なる正確度に処理される(例えば、符号化される)ことが可能になり得る。(例えば、特定の)補間フィルタは、正確度(例えば、各正確度)に対して使用され得る。(例えば、各)正確度に対する補間フィルタは、固定であり得る。半画素正確度の場合、第1の補間フィルタ(例えば、表1に示されるような、ガウス輝度補間フィルタ)が使用され得る。ガウス輝度補間フィルタは、例えば、第2の補間フィルタ(例えば、HEVCフィルタを含む他の補間フィルタ)と比較して、より高い平滑化効果を生成し得る。半画素MV正確度は、(例えば、ガウス輝度補間フィルタを適用するために)シグナリングされ得る。半画素MV正確度は、平滑化され得るコンテンツに対してシグナリングされ得る。
【0141】
平滑化補間フィルタ(例えば、ガウス輝度補間フィルタ)を使用することにより、平滑化効果がもたらされ得る。平滑化補間フィルタは、シグナリング(例えば、明示的なシグナリング)に基づいて使用され得る。平滑化補間フィルタの使用は、例えば、過剰平滑化を回避する、及び/又はシグナリングオーバーヘッドを低減するために無効にされ得る。DMVR及びBDOFの制御論理は、統合され得る。
【0142】
半画素MV正確度に対して使用される補間フィルタは、ガウス輝度補間フィルタであり得、これは、平滑化効果を導入し得る。ガウス輝度補間フィルタの使用は、例えば、平滑化が好ましくない(例えば、双予測がリスト0及びリスト1に対して異なるMV正確度を有する)ときに制限され得る。
【0143】
双予測モードでは、リスト(例えば、参照ピクチャリスト1)のMVD値がセロであり、他方のリストのMVD値(例えば、参照ピクチャリスト0)がゼロではない場合は、2つのリストからの予測値は、異なる正確度を有し得、平滑化補間フィルタの適用は使用不能にされ得る。(例えば、エンコーダ側での)動き推定中の半画素MV正確度評価及び/又は(例えば、エンコーダによる)半画素MV正確度シグナリングが、スキップされ得る。
【0144】
半画素MV正確度シグナリングは、明示的又は暗黙的であり得る。明示的なシグナリングの場合、半画素正確度がブロックに対して使用されるかどうかを示すために、いくつかのビットが、ブロックに対して明示的にシグナリングされ得る。暗黙的なシグナリングの場合、現在のブロックが半画素MV正確度を使用するかどうかの情報が、隣接するブロック(例えば、現在のブロックに隣接するブロック)から継承され得る。ブロックは、CUを含み得る。「隣接する」は、空間的隣接又は時間的隣接性などの異なるタイプの隣接を含み得る。
【0145】
半画素MV正確度は、双予測モード(例えば、明示的な双予測モード)に対して使用不能にされ得、それにより、平滑補間フィルタが使用不能にされ得る。並進動きモデルを使用する双予測インターモードに基づいてCUが取得される(例えば、符号化される)場合、半画素MV正確度は使用不能にされ得、(例えば、)1/4画素、1画素及び4画素だけが許可され得、半画素MV正確度はシグナリングされ得ない。半画素MV正確度は、低遅延ピクチャについての明示的な双予測モードに対して(例えば、低遅延ピクチャにおいてのみ)使用不能にされ得る。半画素MV正確度は、非低遅延ピクチャについての明示的な双予測モードに対して(例えば、非低遅延ピクチャにおいてのみ)使用不能にされ得る。平滑補間フィルタは、半画素MV正確度が使用不能にされている場合、使用され得ない。
【0146】
半画素正確度を使用可能にするかどうかは、CUのサイズに基づいて決定され得る。CUは、サイズを有し得る。特定のCUサイズ値は、例えば、閾値(CUサイズ閾値)として定義又は予め設定され得る。閾値は、半画素MV正確度の使用を決定する(例えば、制限する)ために使用され得る。例えば、閾値は、CU幅(例えば、32ピクセル)とCU高さ(例えば、32ピクセル)との組み合わせであり得る。閾値は、指定されたCU幅(例えば、32ピクセル)であり得る。閾値は、指定されたCU高さ(例えば、32ピクセル)であり得る。閾値は、CU面積、例えばCU幅とCU高さの乗算(例えば、32ピクセルのCU幅*32ピクセルのCU高さに基づく1024)であり得る。閾値は、単予測又は双予測に依存し(例えば、それらに関して分離され)得る。閾値は、単予測モードに使用され得、閾値は、双予測モードに使用され得る。単予測モードに使用される閾値は、双予測モードに使用される閾値とは異なるか、又は同じであり得る。例えば、第1の閾値は、単予測モードに使用され得、第2の閾値は、双予測モードに使用され得、第1の閾値は、第2の閾値よりも大きくてもよい。平滑化補間フィルタは、半画素MV正確度と関連付けられ得る。CUサイズ(例えば、CU面積)が閾値よりも大きい場合、半画素MV正確度が不許可にされ得(例えば、平滑化補間フィルタが不許可にされ得)、半画素MV正確度のAMVRインジケータはシグナリングされ得ない。半画素MV正確度が使用されるかどうかは、CUサイズとCUサイズ閾値との間の比較(例えば、CUサイズがCUサイズ閾値より大きいか、又は小さいか)に基づいて決定され得る。半画素MV正確度がシグナリングされるかどうかは、CUサイズとCUサイズ閾値との間の比較に基づいて決定され得る。
【0147】
実施例では、平滑化補間フィルタ(例えば、ガウス輝度補間フィルタ)の使用は、MV正確度のシグナリングに非依存であり得る。例えば、専用シグナリングが、平滑化補間フィルタが使用されるかどうかを示すために使用され得る。専用シグナリングは、例えば、平滑化がブロックに対して好ましくない(又は使用されない)(例えば、リスト0及びリスト1の予測の加重平均が既に適用されている、及び/又は、例えば、シャープなエッジを有するコンテンツに対して過剰平滑化である)ときに、スキップされ得る。平滑化補間フィルタの使用は、例えば、平滑化がブロックに対して好ましくない(又は使用されない)ときに、例えば、ブロックに対して制限され(例えば、不許可にされ)得る。
【0148】
平滑化補間フィルタの使用は、特徴(例えば、適応MV正確度)に依存し得る。特徴は、例えば、平滑化補間フィルタの使用を使用不能にするために使用不能にされ得る。
【0149】
平滑化補間フィルタを使用するかどうかは、CUのサイズに基づいて決定され得る。CUは、サイズを有し得る。特定のCUサイズ値は、例えば、閾値(CUサイズ閾値)として定義又は予め設定され得る。閾値は、平滑化補間フィルタの使用を決定する(例えば、制限する)ために使用され得る。例えば、閾値は、CU幅(例えば、32ピクセル)とCU高さ(例えば、32ピクセル)との組み合わせであり得る。閾値は、指定されたCU幅(例えば、32ピクセル)であり得る。閾値は、指定されたCU高さ(例えば、32ピクセル)であり得る。閾値は、CU面積、例えばCU幅とCU高さの乗算(例えば、32ピクセルのCU幅*32ピクセルのCU高さに基づく1024)であり得る。閾値は、単予測又は双予測に依存し(例えば、それらに関して分離され)得る。閾値は、単予測モードに使用され得、閾値は、双予測モードに使用され得る。単予測モードに使用される閾値は、双予測モードに使用される閾値とは異なるか、又は同じであり得る。例えば、第1の閾値は、単予測モードに使用され得、第2の閾値は、双予測モードに使用され得、第1の閾値は、第2の閾値よりも大きくてもよい。平滑化補間フィルタは、半画素MV正確度と関連付けられ得る。CUサイズ(例えば、CU面積)が閾値よりも大きい場合、半画素MV正確度が不許可にされ得(例えば、平滑化補間フィルタが不許可にされ得)、半画素MV正確度のAMVRインジケータはシグナリングされ得ない。平滑化補間フィルタが使用されるかどうかは、CUサイズとCUサイズ閾値との間の比較(例えば、CUサイズがCUサイズ閾値よりも大きいか小さいか)に基づいて決定され得る。
【0150】
DMVRは、参照ピクチャから現在のピクチャまで間隔(例えば、POC差)が同じであるときに(例えば、そのときのみに)適用され得る。実施例では、DMVRは、参照ピクチャから現在のピクチャまでの間隔が同じであるか又は異なるときに(例えば、そのいずれであるかにかかわらず)適用され得る。参照ピクチャから現在の電流までのPOC差は、参照ピクチャから現在のピクチャまでの時間的間隔を示し得る。1つ以上の実施例では、参照ピクチャから現在のピクチャまでの間隔、現在のピクチャから参照ピクチャまでの間隔、参照ピクチャと現在のピクチャとの間の間隔、及び現在のピクチャと参照ピクチャとの間の間隔が交換可能に使用され得る。
【0151】
本明細書に記載のように、BDOFは、1つ以上の条件が満たされる場合、コーディングブロックに対して実行され(例えば、適用され)得る。例えば、1つ以上の条件は、コーディングブロックが双予測モードを使用して取得される(例えば、CUの第1の参照ピクチャが、表示及び/又は出力の順序において現在のピクチャより前にあり、第2の参照ピクチャが表示及び/又は出力の順序において現在のピクチャの後にある)条件を含み得る。第1の参照ピクチャは、第1の参照ピクチャリスト(例えば、参照ピクチャリスト0)にリストされ得る。第2の参照ピクチャは、第2の参照ピクチャリスト(例えば、参照ピクチャリスト1)にリストされ得る。BDOFは、参照ピクチャからコーディングブロックに関連付けられたピクチャ(例えば、現在のピクチャ)までの間隔(例えば、POC差)が同じであるか又は異なるときに適用され得る。例えば、DMVR及びBDOFは、参照ピクチャから現在のピクチャまでの間隔が同じであるか又は異なるときに適用され得る。
【0152】
実施例では、DMVR及び/又はBDOFは、参照ピクチャからコーディングブロックに関連付けられたピクチャ(例えば、現在のピクチャ)までの間隔が同じであるときに(例えば、そのときのみ)、適用され得る。BDOFは、コーディングブロックに関連付けられたピクチャ(例えば、現在のピクチャ)と第1の参照ピクチャリストにリストされたピクチャとの間の間隔と、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔とが同じである(例えば、等しい)ときに(例えば、そのときのみ)、コーディングブロックに対して実行され得る。
【0153】
BDOFは、コーディングブロックに関連付けられたピクチャ(例えば、現在のピクチャ)と第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔とが異なる(例えば、等しくない)ときに、バイパスされ得る。
【0154】
図6は、ビデオ処理(例えば、符号化及び/又は復号化)のための方法600の実施例を示している。本明細書に開示の実施例及び他の実施例は、例示的な方法600に従って動作し得、例えば、1つ以上のプロセッサを備える装置が、本方法を実行し得る。
図6は、コーディングブロックに対してBDOFを実行するかどうかを決定するための方法の実施例を図示している。610において、1つ以上のプロセッサは、コーディングブロックのための、(例えば、
図5に示されるか、又はそうでなければ本明細書に記載の)第1の参照ピクチャリストにリストされた参照ピクチャ、及び(例えば、
図5に示されるか、又はそうでなければ本明細書に記載の)第2の参照ピクチャリストにリストされた参照ピクチャを決定し得る。620において、例えば、本明細書に記載のように、1つ以上のプロセッサは、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決し得る。630において、1つ以上のプロセッサは、本明細書に記載のように、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを復号又は符号化し得る。
図6の方法がデコーダに適用されるとき、610、620、及び630はデコーダによって実行され得る。630は、コーディングブロックを復号することを伴い得る。
図6の方法がエンコーダ適用されるとき、610、620、及び630はエンコーダによって実行され得る。630は、コーディングブロックを符号化することを伴い得る。
【0155】
ビデオコーディングにおける双予測は、複数の時間的予測ブロックの組み合わせ(例えば、L0にリストされた参照ピクチャに関連付けられた第1の予測ブロック、及びL1にリストされた参照ピクチャに関連付けられた第2の予測ブロック)に基づき得る。時間的予測ブロックは、組み合わされ得る。実施例では、再構成された参照ピクチャから取得された2つの時間的予測ブロックが、平均化を使用して組み合わされ得る。双予測は、ブロックベースの動き補償に基づき得る。比較的小さな動きが、双予測における(例えば、2つの)予測ブロック間で観察され得る。
【0156】
BDOFは、例えば、予測ブロック間で観察された比較的小さい動きを補償するために使用され得る。BDOFは、ブロック内部のサンプルに対してかかる動きを補償するために適用され得る。実施例では、BDOFは、例えば、動き補正(vx、vy)に基づいて、ブロック内部の個々のサンプルに対してかかる動きを補償し得る。このことは、動き補償予測の効率を高め得る。
【0157】
BDOFは、オプティカルフローに基づき得る。BDOFは、ブロックに関連付けられた動きベクトルを補正することを含み得る。BDOFは、双予測が使用されるときに、(例えば、ブロックベースの動き補償予測に重ねて実行される(vx、vy)を使用してサンプル面での動き補正を含み得る。BDOFは、サンプルについての補正動きベクトルを取得すること(例えば、導出すること)を含み得る。BDOFの実施例として、ブロック内の個々のサンプルに対する補正動きベクトルの導出は、本明細書に記載のように、オプティカルフローモデルに基づき得る。
【0158】
BDOFは、(例えば、4×4サブブロックレベルで)ブロックに関連付けられたサブブロックの動きベクトルを補正することを含み得、この補正は、ブロック内の位置、ブロック内の位置に関連付けられた勾配(例えば、水平、垂直、及び/又は同様のもの)、その位置の対応する参照ピクチャリストに関連付けられたサンプル値、及び/又は同様のもの、のうちの1つ以上に基づく。BDOFは、コーディングブロック内の位置に関連付けられた勾配を使用して、コーディングブロックのサブブロックに関連付けられた動きベクトルを補正するために使用され得る。コーディングブロック及びCUは、本明細書の1つ以上の実施例において交換可能に使用され得る。式2は、サンプルに対する補正動きベクトルを導出するために使用され得る。式2に示されるように、I
(k)(x、y)は、参照ピクチャリストk(k=0、1)から導出された予測ブロックの座標(x、y)におけるサンプル値を示し得る。∂I
(k)(x,y)/∂x及び∂I
(k)(x,y)/∂yは、サンプルの水平勾配及び垂直勾配であり得る。(x、y)における動き補正(v
x、v
y)は、式2を使用して導出され得る。式2は、オプティカルフローモデルが有効であるという仮定に基づき得る。
【数2】
【0159】
図7は、例示的な双方向オプティカルフローを示している。
図7において、(MV
x0、MV
y0)及び(MV
x1、MV
y1)は、ブロックレベルの動きベクトルを示し得る。ブロックレベル動きベクトルは、予測ブロックI
(0)及びI
(1)を生成するために使用され得る。サンプル位置(x、y)における動き補正パラメータ(v
x、v
y)は、例えば、動き補正後のサンプル(例えば、
図7における、現在のピクチャと後方参照ピクチャAとの間の動きベクトル、及び現在のピクチャとフォワード参照ピクチャとの間の動きベクトルBとの間の動きベクトル)の動きベクトル値間の差Δを最小化することによって、参照ピクチャリストL0と参照ピクチャリストL1の予測サンプル間の差に基づいて計算され得る。動き補正後のサンプルの動きベクトル値間の差Δは、例えば、式3を使用して計算され得る。
【数3】
【0160】
BDOFの場合、動き補正は、例えば、1つのユニット(例えば、4×4ブロック)内部のサンプルに対して整合的であると仮定され得る。かかる仮定は、導出された動き補正の規則性をサポートし得る。
【数4】
の値は、例えば、式4に示されるように、各4×4ブロックの周りの6×6ウィンドウΩ内部のΔを最小化することによって導出され得る。
【数5】
【0161】
BDOFは、例えば、式4に関連して使用されるように、水平方向(例えば、第1の)及び垂直方向(例えば、第2の)における動き補正を最適化し得るプログレッシブ技法を含み得る。これは、式5をもたらし得る。
【数6】
式中、
【数7】
は、入力以下の最大値を出力する床関数であり得る。th
BIOは、例えば、コーディングノイズ及び不規則な局所動きによる、例えば、それによる誤差伝播を防止するために使用される特定の動き補正値(例えば、閾値)であり得る。実施例として、動き補正値は、2
18-BDであり得る。S
1、S
2、S
3、S
5及びS
6の値は、例えば、式6及び式7に示されるように計算され得る。
【数8】
式中、
【数9】
【0162】
水平方向及び垂直方向における等式7のBDOF勾配は、L0/L1予測ブロックのサンプル位置における複数の隣接するサンプル間の差を計算することによって得られ得る。実施例では、差は、例えば、式8を使用して、各L0/L1予測ブロックのうちの1つのサンプル位置に導出される勾配の方向に応じて、水平方向又は垂直方向に2つの隣接するサンプル間で計算され得る。
【数10】
【0163】
動き補正は、サブブロック内の双予測サンプル値を修正(例えば、調整)するために使用され得る。式6において、は、例えば、データ正確度を維持するために、内部BDOFのビット深度増加であり得る。Lは、5に設定され得る。式5における調整パラメータr及びmは、式9に示されるように(例えば、より小さい値による除算を回避するために)定義され得る。
【数11】
BDは、入力ビデオのビット深度であり得る。現在のCUの双予測信号(例えば、最終双予測信号)は、例えば、オプティカルフロー式2及び式5によって導出される動き補正に基づいて動き軌道に沿ってL0/L1予測サンプルを補間することによって、計算され得る。現在のCUの双予測信号は、式10を使用して計算され得る。
【数12】
shift及びo
offsetは、L0及びL1の予測信号を双予測のために組み合わせるために適用されるオフセット及び右シフトであり得、これは、それぞれ、15-BD及び1≪(14-BD)+2・(1≪13)に等しく設定され得る。rnd(.)は、入力値を最も近い整数値に丸める丸め関数であり得る。
【0164】
多くの実施形態が、本明細書に記載されている。実施形態の特徴は、様々な特許請求のカテゴリ及びタイプにわたって単独で又は任意の組み合わせで提供され得る。更に、実施形態は、本明細書に記載の特徴、デバイス、又は態様のうちの1つ以上を、例えば、以下のいずれかなどの様々な特許請求のカテゴリ及びタイプにわたって単独で又は任意の組み合わせで含み得る。
【0165】
図6に記載の方法は、例えば、デコーダによる、本明細書に記載の1つ以上の実施例に基づき得る。デコーダ(例えば、
図3のデコーダ300)は、コーディングブロックのための、(例えば、
図5に示されるか又はそうでなければ本明細書に記載の)第1の参照ピクチャリストにリストされた参照ピクチャ、及び(例えば、
図5に示されるか又はそうでなければ本明細書に記載の)第2の参照ピクチャリストにリストされた参照ピクチャを決定し得る。デコーダは、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリスト(例えば、参照ピクチャリスト0)にリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリスト(例えば、参照ピクチャリスト1)された参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定し得る。デコーダは、例えば、本明細書に記載のように、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを復号し得る。デコーダは、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいと決定し、コーディングブロックに対してBDOFを実行し得る。デコーダは、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なると決定し、コーディングブロックに対してBDOFをバイパスし得る。デコーダは、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされたピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいという決定に基づいて、コーディングブロック内の位置に関連付けられた勾配を使用してコーディングブロックのサブブロックに関連付けられた動きベクトルを補正し得、デコーダは、コーディングブロックのサブブロックに関連付けられた補正された動きベクトルに基づいて、コーディングブロックを復号し得る。例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔は、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間のPOC差であり得、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔は、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間のPOC差であり得る。この実施例では、デコーダは、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有するかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定し得る。デコーダは、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有するという決定に基づいて、コーディングブロックに対してBDOFを実行し得る。デコーダは、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有しないという決定に少なくとも部分的に基づいて、コーディングブロックに対してBDOFをバイパスし得る。
【0166】
エントロピー復号化、逆量子化、逆変換、及び差分復号化のうちの1つ以上を含む復号化ツール及び技術を使用して、デコーダにおいて
図6に記載の方法を可能にし得る。これらの復号化ツール及び技術を使用して、コーディングブロックのための、(例えば、
図5に示されるか又はそうでなければ本明細書に記載の)第1の参照ピクチャリストにリストされた参照ピクチャ、及び(例えば、
図5に示されるか又はそうでなければ本明細書に記載の)第2の参照ピクチャリストにリストされた参照ピクチャにリストされた参照ピクチャを決定することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリスト(例えば、参照ピクチャリスト0)にリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリスト(例えば、参照ピクチャリスト1)にリストされた参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定することと、例えば、本明細書に記載のように、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを復号することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいと決定し、コーディングブロックに対してBDOFを実行することと、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なると決定し、コーディングブロックに対してBDOFをバイパスすることと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされたピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいという決定に基づいて、コーディングブロック内の位置に関連付けられた勾配を使用してコーディングブロックのサブブロックに関連付けられた動きベクトルを補正し、コーディングブロックのサブブロックに関連付けられた補正された動きベクトルに基づいてコーディングブロックを復号することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有するかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有するという決定に基づいて、コーディングブロックに対してBDOFを実行することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有しないという決定に少なくとも部分的に基づいて、コーディングブロックに対してBDOFをバイパスすることと、上記のいずれかに関連する他のデコーダ挙動と、のうちの1つ以上を可能にし得る。
【0167】
図6に記載の方法は、例えば、エンコーダによる、本明細書に記載の1つ以上の実施例に基づき得る。エンコーダ(例えば、
図2のエンコーダ200)は、コーディングブロックのための、(例えば、
図5に示されるか又はそうでなければ本明細書に記載の)第1の参照ピクチャリストにリストされた参照ピクチャ、及び(例えば、
図5に示されるか又はそうでなければ本明細書に記載の)第2の参照ピクチャリストにリストされた参照ピクチャを決定し得る。エンコーダは、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリスト(例えば、参照ピクチャリスト0)にリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリスト(例えば、参照ピクチャリスト1)にリストされた参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定し得る。エンコーダは、例えば、本明細書に記載のように、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを符号化し得る。エンコーダは、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいと決定し、コーディングブロックに対してBDOFを実行し得る。エンコーダは、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされたピクチャとの間の間隔と異なると決定し、コーディングブロックに対してBDOFをバイパスし得る。エンコーダは、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされたピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいという決定に基づいて、コーディングブロック内の位置に関連付けられた勾配を使用してコーディングブロックのサブブロックに関連付けられた動きベクトルを補正し得、エンコーダは、コーディングブロックのサブブロックに関連付けられた補正された動きベクトルに基づいてコーディングブロックを符号化し得る。例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔は、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間のPOC差であり得、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔は、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間のPOC差であり得る。この例では、エンコーダは、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有するかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定し得る。エンコーダは、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有するという決定に基づいて、コーディングブロックに対してBDOFを実行し得る。エンコーダは、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有しないという決定に少なくとも部分的に基づいて、コーディングブロックに対してBDOFをバイパスし得る。
【0168】
量子化、エントロピー符号化、逆量子化、逆変換、及び差分符号化のうちの1つ以上を含む符号化ツール及び技術を使用して、エンコーダにおける
図6に記載の方法を可能にし得る。これらの符号化ツール及び技術を使用して、コーディングブロックのための、(例えば、
図5に示されるか又はそうでなければ本明細書に記載の)第1の参照ピクチャリストにリストされた参照ピクチャ、及び(例えば、
図5に示されるか又はそうでなければ本明細書に記載の)第2の参照ピクチャリストにリストされた参照ピクチャにリストされた参照ピクチャを決定することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリスト(例えば、参照ピクチャリスト0)にリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリスト(例えば、参照ピクチャリスト1)にリストされた参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定することと、例えば、本明細書に記載のように、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを符号化することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいと決定し、コーディングブロックに対してBDOFを実行することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なると決定し、コーディングブロックに対してBDOFをバイパスすることと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされたピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいという決定に基づいて、コーディングブロック内の位置に関連付けられた勾配を使用してコーディングブロックのサブブロックに関連付けられた動きベクトルを補正し、コーディングブロックのサブブロックに関連付けられた補正された動きベクトルに基づいてコーディングブロックを符号化することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有するかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有するという決定に基づいて、コーディングブロックに対してBDOFを実行することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差、を有しないという決定に少なくとも部分的に基づいて、コーディングブロックに対してBDOFをバイパスすることと、上記のいずれかに関連する他のエンコーダ挙動と、のうちの1つ以上を可能にする。
【0169】
シンタックス要素が、例えば、デコーダが
図6に記載の方法、又は使用すべき方法を実行することに関連付けられた指示を識別することを可能にするために、シグナリング中に挿入され得る。例えば、シンタックス要素は、参照ピクチャリスト0及び参照ピクチャリスト1を構築するために、デコーダが使用し得る情報を含み得る。シンタックス要素は、BDOFがピクチャレベルで使用可能にされるかどうかの指示、及びデコーダが本明細書の1つ以上の実施例を実行するために使用するパラメータの指示を含み得る。
【0170】
図6に記載の方法は、例えば、デコーダにおおいて適用すべきシンタックス要素に基づいて、選択及び/又は適用され得る。例えば、デコーダは、ピクチャに対してBDOFを使用可能にすることを示す指示を受信し得る。この指示に基づいて、デコーダは、ピクチャに関連付けられたコーディングブロックに対して
図6に記載の方法を実行し得る。
【0171】
エンコーダは、本明細書の1つ以上の実施例に基づいて予測残差を適応させ得る。残差は、例えば、元の画像ブロックから予測されたビデオブロックを減算することによって取得され得る。例えば、エンコーダは、本明細書に記載のように、ビデオブロックに対してBDOFを実行するかどうかに基づいて、ビデオブロックを予測し得る。エンコーダは、元の画像ブロックを取得し、予測されたビデオブロックを元の画像ブロックから減算して、予測残差を生成し得る。
【0172】
ビットストリーム又は信号は、記載のシンタックス要素又はその変形のうちの1つ以上を含み得る。例えば、ビットストリーム又は信号は、デコーダが、参照ピクチャリスト0及び参照ピクチャリスト1を構築するために使用し得るシンタックス要素、又はBDOFがピクチャレベルで使用可能にされているかどうかを示すシンタックス要素を含み得る。
【0173】
ビットストリーム又は信号は、本明細書の1つ以上の実施例に従って生成された情報を搬送するシンタックスを含み得る。例えば、情報又はデータは、
図6に示される実施例を実行する際に生成され得る。生成された情報又はデータは、ビットストリーム又は信号に含まれるシンタックスで搬送され得る。
【0174】
デコーダがエンコーダによって使用される方法に対応する方法で残基を適応させることを可能にするシンタックス要素が、信号に挿入され得る。例えば、残差は、本明細書の1つ以上の実施例を使用して生成され得る。
【0175】
記載のシンタックス要素のうちの1つ以上を含むビットストリーム又は信号を作成及び/又は送信及び/又は受信及び/又は復号するための方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号、又はそれらの変形例。
【0176】
記載の実施例のいずれかによる、作成及び/又は送信及び/又は受信及び/又は復号するための方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号。
【0177】
これらに限定されないが、コーディングブロックのための、(例えば、
図5に示されるか又はそうでなければ本明細書に記載の)第1の参照ピクチャリストにリストされた参照ピクチャ、及び(例えば、
図5に示されるか又はそうでなければ本明細書に記載の)第2の参照ピクチャリストにリストされた参照ピクチャを決定することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリスト(例えば、参照ピクチャリスト0)にリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリスト(例えば、参照ピクチャリスト1)にリストされた参照ピクチャとの間の間隔と異なるかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定することと、例えば、本明細書に記載のように、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを復号することと、例えば、本明細書に記載のように、コーディングブロックに対してBDOFを実行するかどうかを決定することに基づいて、コーディングブロックを符号化することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいと決定し、コーディングブロックに対してBDOFを実行することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされた参照ピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔と異なると決定し、コーディングブロックに対してBDOFをバイパスすることと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされたピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいという決定に基づいて、コーディングブロック内の位置に関連付けられた勾配を使用してコーディングブロックのサブブロックに関連付けられた動きベクトルを補正し、コーディングブロックのサブブロックに関連付けられた補正された動きベクトルに基づいてコーディングブロックを復号することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャと第1の参照ピクチャリストにリストされたピクチャとの間の間隔が、コーディングブロックに関連付けられたピクチャと第2の参照ピクチャリストにリストされた参照ピクチャとの間の間隔に等しいという決定に基づいて、コーディングブロック内の位置に関連付けられた勾配を使用してコーディングブロックのサブブロックに関連付けられた動きベクトルを補正し、コーディングブロックのサブブロックに関連付けられた補正された動きベクトルに基づいてコーディングブロックを符号化することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有するかどうかに少なくとも部分的に基づいて、コーディングブロックに対してBDOFを実行するかどうかを決定することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャと、及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有するという決定に基づいて、コーディングブロックに対してBDOFを実行することと、例えば、本明細書に記載のように、コーディングブロックに関連付けられたピクチャが、第1の参照ピクチャリストにリストされた参照ピクチャ及び第2の参照ピクチャリストにリストされた参照ピクチャと等しいPOC差を有しないという決定に少なくとも部分的に基づいて、コーディングブロックに対してBDOFをバイパスすることと、のうちの1つ以上によるが、これらに限定されない、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号。
【0178】
TV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、記載の実施例のいずれかに従って、コーディングブロックに対してBDOFを実行するかどうかを決定し得る。
【0179】
TV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、記載の実施例のいずれかに従って、コーディングブロックに対してBDOFを実行するかどうかを決定し、結果として生じる画像を(例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して)表示し得る。
【0180】
TV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、符号化された画像を含む信号を受信するためにチャネルを(例えば、チューナを使用して)選択し、記載の実施例のいずれかに従ってコーディングブロックに対してBDOFを実行するかどうかを決定し得る。
【0181】
TV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、符号化された画像を含む空中の信号を(例えば、アンテナを使用して)受信し、記載の施例のいずれかに従ってコーディングブロックに対してBDOFを実行するかどうかを決定し得る。
【0182】
特徴及び要素は、特定の組み合わせで上述されているが、当業者は、各特徴又は要素が単独で又は他の特徴及び要素との任意の組み合わせで使用され得ることを理解されよう。更に、本明細書に記載の方法は、コンピュータ又はプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア又はファームウェアに実装され得る。コンピュータ可読媒体の例には、電子信号(有線又は無線接続を介して送信される)及びコンピュータ可読記憶媒体が含まれる。コンピュータ可読記憶媒体の例としては、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスク及びリムーバブルディスクなどの磁気媒体、磁気光学媒体及びCD-ROMディスク及びデジタル多用途ディスク(digital versatile disk、DVD)などの光学媒体が挙げられるが、これらに限定されない。ソフトウェアに関連付けられたプロセッサを使用して、WTRU、UE、端末、基地局、RNC又は任意のホストコンピュータにおいて使用するための無線周波数トランシーバを実装することができる。
【手続補正書】
【提出日】2022-05-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ビデオ処理のための装置であって、1つ以上のプロセッサを含み、前記1つ以上のプロセッサが、
コーディングブロックを取得することと、
前記コーディングブロックのサイズに基づいて、前記コーディングブロックのための第1の参照サンプルを取得するために補間フィルタを使用するかどうかを決定することであって、前記コーディングブロックの前記サイズが値以上であるという条件に基づいて、前記決定することが、前記コーディングブロックのための前記第1の参照サンプルを取得するために前記補間フィルタを使用しないことであり、前記コーディングブロックの前記サイズが前記値未満であるという条件に基づいて、前記決定することが、前記コーディングブロックのための前記第1の参照サンプルを取得するために前記補間フィルタを使用することである、決定することと、
前記コーディングブロックのための前記第1の参照サンプルを取得するために前記補間フィルタを使用するかどうかを前記決定することに基づいて、前記コーディングブロックを予測することと、を行うように構成されている、装置。
【請求項2】
前記第1の参照サンプルが、分数参照サンプル位置におけるサンプル値を示す、請求項1に記載の装置。
【請求項3】
前記コーディングブロックの前記サイズが前記値以上であるという条件に基づいて、前記コーディングブロックが、前記コーディングブロックのための第2の参照サンプルを使用して予測され、前記コーディングブロックの前記サイズが前記値未満であるという条件に基づいて、前記コーディングブロックが、前記第1の参照サンプルを使用して予測され、前記第1の参照サンプルが、前記補間フィルタを使用して取得され、前記第1の参照サンプルが、前記第2の参照サンプルと異なる、請求項1に記載の装置。
【請求項4】
前記補間フィルタが、平滑化補間フィルタを含む、請求項1に記載の装置。
【請求項5】
前記1つ以上のプロセッサが、前記コーディングブロックに関連付けられた動きベクトル(MV)精度を決定するように構成され、前記MV精度が、半画素であり、前記平滑化補間フィルタが、切り替え可能補間フィルタ(SIF)を含む、請求項4に記載の装置。
【請求項6】
前記第1の参照サンプルが、参照ピクチャリストの参照ピクチャと関連付けられている、請求項1に記載の装置。
【請求項7】
前記1つ以上のプロセッサが、前記コーディングブロックのための第1の参照ピクチャリストと関連付けられた第1の動きベクトル差(MVD)、及び前記コーディングブロックのための第2の参照ピクチャリストと関連付けられた第2のMVDを決定するように構成され、前記第1のMVD及び前記第2のMVDが、ゼロである、請求項1に記載の装置。
【請求項8】
前記第1の参照ピクチャリストが、参照ピクチャリスト0であり、前記第2の参照ピクチャリストが、参照ピクチャリスト1である、請求項7に記載の装置。
【請求項9】
前記装置が、エンコーダ又はデコーダである、請求項1に記載の装置。
【請求項10】
ビデオ処理のための方法であって、
コーディングブロックを取得することと、
前記コーディングブロックのサイズに基づいて前記コーディングブロックのための第1の参照サンプルを取得するために補間フィルタを使用するかどうかを決定することであって、前記コーディングブロックの前記サイズが値以上であるという条件に基づいて、前記決定することが、前記コーディングブロックのための前記第1の参照サンプルを取得するために前記補間フィルタを使用しないことであり、前記コーディングブロックの前記サイズが前記値未満であるという条件に基づいて、前記決定することが、前記コーディングブロックのための前記第1の参照サンプルを取得するために前記補間フィルタを使用することである、決定することと、
前記コーディングブロックのための前記第1の参照サンプルを取得するために前記補間フィルタを使用するかどうかを前記決定することに基づいて、前記コーディングブロックを予測することと、を含む、方法。
【請求項11】
前記第1の参照サンプルが、分数参照サンプル位置におけるサンプル値を示す、請求項10に記載の方法。
【請求項12】
前記コーディングブロックの前記サイズが前記値以上であるという条件に基づいて、前記コーディングブロックが、前記コーディングブロックのための第2の参照サンプルを使用して予測され、前記コーディングブロックの前記サイズが前記値未満であるという条件に基づいて、前記コーディングブロックが、前記第1の参照サンプルを使用して予測され、前記第1の参照サンプルが、前記補間フィルタを使用して取得され、前記第1の参照サンプルが、前記第2の参照サンプルと異なる、請求項10に記載の方法。
【請求項13】
前記補間フィルタが、平滑化補間フィルタを含む、請求項10に記載の方法。
【請求項14】
前記方法が、デコーダ又はエンコーダによって実行される、請求項10に記載の方法。
【請求項15】
1つ以上のプロセッサに、請求項10~14のいずれか一項に記載の方法を実行させるための命令を含む、コンピュータ可読媒体。
【国際調査報告】